Lotook
O mais perigoso nas respostas de IA não é que elas estejam frequentemente erradas. É que uma resposta errada chega exatamente no mesmo tom confiante e organizado de uma resposta correta.
O caso que hoje todo mundo da área jurídica conhece é Mata v. Avianca. Em 2023, advogados de um processo federal em Nova York apresentaram uma petição que citava decisões judiciais inventadas pelo ChatGPT, com direito a citações falsas. Quando perguntaram se os casos eram reais, o ChatGPT garantiu que eles “de fato existem” e poderiam ser encontrados em bancos de dados jurídicos. Não existiam. Em junho de 2023, Judge P. Kevin Castel aplicou uma multa de $5,000 aos advogados e ao escritório deles.
As ferramentas melhoraram muito desde então, mas a lição continua a mesma: você não pode pedir ao modelo que ateste a própria confiabilidade. Este guia apresenta a rotina que eu recomendaria para verificar uma resposta de IA antes de confiar nela. Leva cerca de cinco minutos e identifica a maioria dos problemas.
Por que as respostas de IA dão errado
Entender como os erros acontecem ajuda a saber onde procurar.
- O plausível vence o verdadeiro. Modelos de linguagem produzem textos que seguem padrões aprendidos. Quando não sabem algo, podem produzir uma resposta que apenas parece correta em vez de dizer “Não sei”.
- O conhecimento fica desatualizado. Um modelo pode não saber de acontecimentos recentes, a menos que pesquise na web, e mesmo assim pode recorrer a informações mais antigas.
- As fontes se misturam. Dois estudos, duas pessoas com nomes parecidos ou duas versões de uma política podem se fundir em uma única frase confiante.
- Referências são inventadas ou interpretadas incorretamente. Um link pode não existir, levar a uma página sem relação com o assunto ou dizer algo diferente do resumo baseado nele.
- Os números mudam. Os erros se concentram em porcentagens, datas, unidades e moedas.
Assistentes que pesquisam na web e mostram suas fontes estão muito melhores do que há alguns anos. Mesmo assim, ainda cometem todos esses erros de vez em quando.
Primeiro, decida quanto é preciso verificar
Nem toda resposta exige o mesmo nível de análise. Ajuste o esforço à importância da questão.
| Importância | Exemplos | O que fazer |
|---|---|---|
| Baixa | Ter ideias de nomes, reformular um e-mail, explicar um conceito que você estudará de qualquer maneira | Leia com senso crítico. Não é necessária uma verificação formal |
| Média | Fatos em um documento de trabalho, um resumo que você compartilhará, instruções que seguirá | Faça a verificação de cinco minutos abaixo |
| Alta | Decisões sobre saúde, questões jurídicas, dinheiro ou segurança; qualquer conteúdo que você publicará | Faça a verificação e depois confirme com fontes primárias ou um profissional qualificado |
A verificação de cinco minutos
Primeiro minuto: liste as afirmações
Leia a resposta rapidamente e destaque o que pode ser verificado: nomes, números, datas, citações, referências e afirmações de causa e efeito como “X levou a Y”. Ignore o texto de ligação. A maioria das respostas se baseia em três a seis afirmações, e é isso que você precisa verificar.
Se não encontrar uma única afirmação verificável, observe isso também. É difícil provar que respostas vagas estão erradas, mas também é difícil confiar nelas.
Segundo minuto: abra todas as fontes
Se o assistente citou fontes, clique em todas. Para cada uma, faça três perguntas. A página existe? Ela é o tipo de fonte que diz ser, como uma página oficial, um estudo ou um veículo respeitável, em vez de uma fábrica de conteúdo? E ela realmente diz o que a resposta afirma que diz?
A última pergunta identifica a maioria dos erros. Na prática, uma fonte real acompanhada de um resumo errado é muito mais comum do que um link falso e passa despercebida com muito mais facilidade, porque o link parece correto.
Se não houver fontes, peça por elas e confira. Só não aceite a palavra do modelo de que suas fontes são reais. Foi exatamente isso que deu errado em Mata v. Avianca.
Terceiro minuto: leia lateralmente
Verificadores de fatos não avaliam uma fonte apenas lendo-a com atenção. Eles abrem uma nova aba e veem o que outras pessoas dizem sobre ela. O pesquisador de letramento digital Mike Caulfield transformou isso em um método chamado SIFT:
- Stop: pare antes de reagir ou compartilhar, especialmente se uma afirmação provocar uma reação intensa de indignação ou alegria.
- Investigate the source: investigue a fonte. Quem está por trás dela e pelo que é conhecido?
- Find better coverage: procure uma cobertura melhor. Outras fontes confiáveis estão relatando a mesma coisa?
- Trace claims: rastreie as afirmações até o contexto original: o estudo de fato, a citação completa, a foto original.
Pesquisar a frase-chave entre aspas, ou um nome junto com uma palavra-chave, costuma revelar o original em segundos.
Quarto minuto: confira números e datas
Examine cada número com atenção.
- Está atualizado? Procure uma data de referência. Preços, leis, recursos de produtos e estatísticas mudam constantemente.
- É a medida correta? Receita e lucro, usuários e usuários ativos mensais, porcentagem e pontos percentuais são frequentemente confundidos.
- A conta fecha? Se algo “dobrou” de 40 para 70, isso não aconteceu.
- As unidades estão corretas? Preste atenção a moedas, milhões e bilhões, e aos sistemas métrico e imperial.
Quinto minuto: pergunte o que mudaria a resposta
Peça ao assistente que procure falhas na própria resposta. Por exemplo: “De quais partes da sua resposta você tem menos certeza e o que eu precisaria verificar para confirmá-las?”
Isso costuma revelar rapidamente os pontos fracos. Trate a resposta, porém, como uma lista de tarefas, não como uma verificação. O modelo ainda está corrigindo a própria lição de casa. Para assuntos importantes, fazer a mesma pergunta a um modelo de outro fornecedor é uma maneira barata de obter uma segunda opinião; nosso guia sobre como escolher um modelo de IA explica quando vale a pena buscar uma segunda opinião.
Sinais de alerta que merecem uma segunda análise
| Sinal de alerta | Por que importa |
|---|---|
| Números muito precisos sem fonte | A precisão pode ser inventada tão facilmente quanto qualquer outra coisa |
| Citações de pessoas famosas | Citações atribuídas incorretamente estão por toda parte nos dados de treinamento |
| Referências com títulos genéricos ou links que levam a uma página inicial | Sinais comuns de uma referência inexistente |
| Descrições detalhadas de acontecimentos recentes por uma ferramenta sem acesso à web | Ela pode estar preenchendo lacunas com informações mais antigas |
| Uma resposta que muda quando você a gera novamente | O modelo está inseguro, mesmo que cada versão pareça confiante |
| Uma resposta que diz exatamente o que você esperava | Modelos tendem a acompanhar a forma como uma pergunta é feita |
O último sinal é o mais traiçoeiro. Se você perguntar “Por que X é uma boa ideia?”, normalmente receberá motivos pelos quais X é uma boa ideia. Em vez disso, pergunte: “Quais são os argumentos mais fortes a favor e contra X?”
Casos especiais
Imagens, capturas de tela e vídeo
Imagens geradas e editadas por IA são comuns hoje, e uma captura de tela de uma “publicação” pode ser falsificada em segundos. Faça uma busca reversa de imagem para encontrar cópias anteriores e o contexto original. Verifique se o arquivo contém Content Credentials, o padrão de procedência da coalizão C2PA que algumas câmeras, aplicativos de edição e geradores de IA acrescentam às imagens.
A regulamentação começa a ajudar. Desde 2 de agosto de 2026, as regras de transparência do EU AI Act exigem que fornecedores de sistemas de IA generativa marquem conteúdo sintético de uma forma legível por máquina e que quem publica deepfakes informe isso. Sistemas que já estavam no mercado antes de 2 de agosto têm até 2 de dezembro de 2026 para acrescentar a marcação. Nosso artigo sobre as regras da UE para rotulagem de conteúdo de IA explica os detalhes. Rótulos ainda podem estar ausentes ou ser removidos, então trate a ausência como “desconhecido”, não como “real”.
Saúde, direito e dinheiro
Use a IA para entender sua situação e preparar perguntas melhores, não para tomar a decisão final. Confirme tudo sobre o que você pretende agir em uma fonte primária, como uma página oficial do governo ou o texto de uma lei ou política, ou com um profissional qualificado.
Notícias de última hora
As primeiras notícias frequentemente estão erradas, e os resumos de IA herdam esses erros. Em acontecimentos que mudam rapidamente, espere a confirmação de vários veículos reconhecidos ou consulte-os diretamente.
Peça respostas fáceis de verificar
Você pode economizar tempo pedindo uma resposta verificável logo de início:
- “Cite uma fonte para cada afirmação factual, com um link direto e uma breve citação da página.”
- “Separe o que está bem estabelecido do que é incerto ou controverso.”
- “Inclua a data à qual cada estatística se refere.”
- “Se não souber, diga isso em vez de adivinhar.”
Nenhum desses pedidos garante a precisão. Cada um facilita a identificação de problemas. E, se você colar documentos para o modelo usar na verificação, remova primeiro qualquer informação sensível. Nosso guia sobre como usar IA no trabalho sem vazar dados sensíveis explica o que deixar de fora.
O hábito mais importante
Se você guardar apenas uma coisa deste guia, que seja esta: abra as fontes. A maioria dos erros de IA que causam danos reais teria sido descoberta se alguém tivesse clicado no link e lido a página.
A mesma regra vale quando um agente de IA relata o trabalho que fez para você. “Tarefa concluída” é uma afirmação, não uma prova. Nosso guia sobre o que é um agente de IA explica por que isso se torna mais importante à medida que os agentes assumem tarefas mais longas.
Fontes
- LawNext, Court imposes sanctions on lawyers who filed bogus cases after relying on ChatGPT for legal research, 22 de junho de 2023
- Wikipedia, Mata v. Avianca, Inc.
- Mike Caulfield, SIFT (The Four Moves), 19 de junho de 2019
- C2PA, a Coalition for Content Provenance and Authenticity
- European Commission, Guidelines on transparency obligations for providers and deployers of certain AI systems
- Morgan Lewis, EU AI Act’s transparency rules: what went into effect on 2 August, agosto de 2026
