Taxas de alucinação IA por modelo: o que os rankings medem

Comparar as taxas de alucinação IA entre modelos traz respostas diferentes conforme o teste consultado. Em 1º de novembro de 2026, o Gemini 4 Argon do Google apresenta a menor taxa de alucinação no teste de conhecimento da Artificial Analysis (4%), mas a maior entre os quatro principais modelos de ponta no ranking de resumo de documentos da Vectara (12.1%).

Uma alucinação de IA é uma afirmação feita com confiança por um modelo que está errada ou não consta no texto de origem. A taxa de alucinação é a porcentagem de respostas ou, dependendo do teste, de perguntas não respondidas e erradas em que o modelo inventa fatos em vez de se apoiar em fontes ou admitir que não sabe.

Taxas de alucinação IA por modelo: os números de 2026 em resumo

As taxas atuais por modelo diferem muito entre testes baseados em documentos e testes de memória sem consulta. Em 1º de novembro de 2026, os dois rankings públicos mais citados, o Hallucination Leaderboard da Vectara (atualizado pela última vez em 22 de outubro de 2026) e o AA-Omniscience v1.1 da Artificial Analysis (lançado em outubro de 2026, consultado em 1º de novembro de 2026), colocam os mesmos modelos avançados em ordem quase oposta.

Modelo	Taxa de alucinação Vectara (22 out. 2026)	Taxa de alucinação AA-Omniscience v1.1	Precisão AA-Omniscience v1.1
GPT-6 Astra	8.7%	49.8% (Max)	61.6%
GPT-6 Sol / GPT-6.1 Sol*	6.5% (GPT-6 Sol)	51.9% (GPT-6.1 Sol, Max)	61.8% (GPT-6.1 Sol)
Claude Opus 5.5	9.9%	50.3% (Max)	65.5%
Claude Sonnet 5.5	Não testado	43.3% (Max)	51.5%
Gemini 4 Argon	12.1%	4% (High)	Não registrada
Grok 4.7	Não testado	20.0% (Xhigh)	42.7%

Nota: o ranking da Vectara de 22 de outubro de 2026 testa o GPT-6 Sol da OpenAI, enquanto o AA-Omniscience v1.1 testa o mais recente GPT-6.1 Sol. São versões diferentes, sem correspondência direta.

Ao colocar as duas colunas lado a lado, fica claro por que as manchetes confundem. Na Vectara, GPT-6 Sol (6.5%) e GPT-6 Astra (8.7%) superam Claude Opus 5.5 (9.9%) e Gemini 4 Argon (12.1%). Na Artificial Analysis, Gemini 4 Argon está em 4% e Grok 4.7 em 20.0%, enquanto GPT-6 Astra (49.8%) e Claude Opus 5.5 (50.3%) ficam perto de 50%.

Nenhum dos rankings está com defeito. Eles medem duas tarefas completamente diferentes.

O que o ranking de alucinação da Vectara mede?

O ranking da Vectara mede se um modelo permanece fiel a um documento de referência que recebe para resumir. Na atualização de 22 de outubro de 2026, a Vectara pede a cada modelo, com temperatura 0 quando possível, que resuma artigos “usando apenas os fatos apresentados no documento”.

Para avaliar os resultados, a Vectara usa seu modelo comercial de avaliação de alucinações, HHEM-2.3, em um conjunto privado de mais de 7,700 artigos de 50 a 24,000 palavras sobre notícias, tecnologia, ciência, medicina, direito, esportes, negócios e educação. Manter os artigos privados impede que desenvolvedores treinem modelos especificamente para se sair bem no teste.

A Vectara informa dois números para cada modelo:

• Taxa de alucinação: a parcela de resumos que não são factualmente consistentes com o documento de origem.
• Taxa de resposta: a frequência com que o modelo aceitou resumir o documento em vez de recusar.

A Vectara argumenta que só é possível avaliar alucinações com confiança quando há um texto de referência em mãos. Assim, o teste serve como indicador para geração aumentada por recuperação (RAG) e pipelines de agentes que resumem resultados de busca. Em 22 de outubro de 2026, a menor pontuação de todo o ranking pertence a antgroup/finix_s1_32b, com 1.8% (taxa de resposta de 99.5%). Entre modelos conhecidos, o antigo Grok 3 da xAI marca 5.8% (embora com taxa de resposta menor, de 93.0%), GPT-6 Sol chega a 6.5% (taxa de resposta de 100%) e GPT-6 Astra a 8.7% (taxa de resposta de 100%). Entre os modelos com piores resultados na lista, grok-4-1-fast da xAI marca 17.8% no modo sem raciocínio (taxa de resposta de 98.5%) e 19.2% no modo de raciocínio (taxa de resposta de 99.7%), enquanto o3-pro da OpenAI fica em 23.3% (taxa de resposta de 100%). Em 22 de outubro de 2026, GPT-6.1 Sol, Claude Sonnet 5.5, Claude Haiku 5.5 e Grok 4.7 não constam no ranking da Vectara.

Se seu trabalho diário envolve colar um PDF, contrato ou transcrição de reunião em uma ferramenta de IA e pedir um resumo, o teste da Vectara corresponde ao seu fluxo de trabalho.

O que o AA-Omniscience mede?

O AA-Omniscience v1.1 da Artificial Analysis mede se um modelo conhece fatos de memória e se admite quando não sabe. Ao contrário da Vectara, o AA-Omniscience não fornece documentos de referência: é uma prova sem consulta com 3,000 perguntas em seis áreas, atualizada em outubro de 2026 a partir de um conjunto v1 anterior com 6,000 perguntas.

O teste é descrito no artigo AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models, de Jackson, Keating, Cameron e Hill-Smith. Para cada modelo, a Artificial Analysis informa três métricas principais e a taxa de tentativa:

• Precisão: respostas corretas divididas por todas as 3,000 perguntas.
• Taxa de alucinação: respostas erradas divididas por todas as perguntas que o modelo não acertou (erradas + parciais + não tentadas). Em outras palavras: entre as perguntas que não acertou, com que frequência o modelo inventou uma resposta errada em vez de dizer “Não sei”?
• Pontuação líquida (AA-Omniscience Index): escala de −100 a 100 que recompensa respostas corretas, penaliza as erradas e não penaliza a recusa em responder. Uma pontuação de 0 significa que o modelo deu o mesmo número de respostas corretas e erradas.

Por causa desse denominador, uma taxa de alucinação de 50% no AA-Omniscience não significa que o modelo erre metade das vezes. Veja Claude Opus 5.5 (Max) em 1º de novembro de 2026: ele acerta 65.5% de todas as perguntas. Nas perguntas restantes, que não acertou, inventa uma resposta errada em 50.3% das vezes em vez de se abster, resultando em pontuação líquida de 48.1.

Veja uma seleção mais ampla de modelos no AA-Omniscience v1.1 em 1º de novembro de 2026:

Modelo (configuração AA)	Pontuação líquida	Precisão	Taxa de alucinação	Taxa de tentativa
Gemini 4 Carbon (High)*	53.5	58.3%	11.4%	64.3%
Claude Opus 5.5 (Max)	48.1	65.5%	50.3%	86.7%
Claude Fable 5.1 (Max)	46.3	68.4%	70.0%	93.7%
Gemini 4 Argon (High)	46	Não registrada	4%	Não registrada
GPT-6 Astra (Max)	42.4	61.6%	49.8%	82.4%
GPT-6.1 Sol (Max)	42.0	61.8%	51.9%	83.5%
Grok 4.7 (Xhigh)	31.2	42.7%	20.0%	55.7%
Claude Sonnet 5.5 (Max)	30.5	51.5%	43.3%	76.3%
GPT-6.1 Terra (Max)	29.6	47.6%	34.5%	68.4%
Gemini 3.8 Flash (High)	23.3	50.5%	55.1%	80.6%
Claude Haiku 5.5 (Max)	12.3	34.7%	34.2%	60.0%
MiniMax-M3.1-Flash	−6.4	45.1%	93.7%	98.7%
GPT-6 Luna (Max)	−8.3	39.6%	79.3%	90.4%

Nota: quando esses números foram registrados em 1º de novembro de 2026, Gemini 4 Carbon estava disponível apenas pelo Fairwind Program do Google. Tornou-se disponível ao público na Gemini API em 10 de novembro de 2026; veja nosso guia do Gemini 4 Carbon.

Se você digita uma pergunta factual diretamente em um chatbot sem colar fontes nem ativar a busca na web, o AA-Omniscience reflete o risco que está correndo.

Por que os rankings de alucinação de LLM discordam?

Os rankings de alucinação de LLM ordenam os mesmos modelos de formas diferentes porque testam tipos distintos de falha e usam cálculos diferentes. Gemini 4 Argon é o exemplo mais claro: em 1º de novembro de 2026, tem a menor taxa de alucinação entre os modelos de ponta no AA-Omniscience v1.1 (4%), mas a maior entre os quatro modelos de ponta testados pela Vectara (12.1%, atrás de GPT-6 Sol com 6.5%, GPT-6 Astra com 8.7% e Claude Opus 5.5 com 9.9%).

Três fatores explicam essa diferença:

1. Fundamentação versus calibração

A Vectara testa a fundamentação: o modelo consegue resumir um documento diante dele sem acrescentar detalhes externos ou distorcer uma frase? O AA-Omniscience testa a calibração: quando o modelo não sabe um fato de memória, ele se abstém ou chuta? Um modelo pode ser treinado para se abster educadamente quando questionado sobre fatos pouco conhecidos (e obter boa pontuação no AA-Omniscience), mas ainda assim acrescentar detalhes ou parafrasear livremente ao resumir um artigo (e ter pontuação pior na Vectara).

2. Denominadores diferentes

A Vectara divide os resumos inconsistentes por todos os resumos escritos pelo modelo. O AA-Omniscience divide as respostas erradas apenas pelas perguntas que o modelo não acertou. Como os denominadores são completamente diferentes, não se pode comparar 8.7% na Vectara com 49.8% no AA-Omniscience.

3. O equilíbrio entre cautela e ousadia

Ao examinar as taxas de tentativa no AA-Omniscience v1.1, surge um padrão claro: modelos que tentam quase todas as perguntas também inventam respostas com mais frequência nas que erram. O modelo mais caro da Anthropic, Claude Fable 5.1 (Max), apresenta a maior precisão do ranking, 68.4%, junto a uma taxa de tentativa de 93.7%; nas perguntas que não acerta, essa alta taxa vem acompanhada de uma taxa de alucinação de 70.0%. Outros modelos com alta taxa de tentativa mostram o mesmo padrão com precisão menor: GPT-6 Luna (Max) tenta 90.4% das perguntas, acerta 39.6%, inventa respostas em 79.3% das que erra e termina com pontuação líquida de −8.3. MiniMax-M3.1-Flash tenta 98.7% das perguntas, acerta 45.1% e apresenta taxa de alucinação de 93.7% (pontuação líquida de −6.4).

Por outro lado, modelos que recusam mais vezes mantêm baixas as taxas de alucinação, embora respondam a menos perguntas no total do que os líderes em precisão. Grok 4.7 (Xhigh) tenta 55.7% do teste e registra taxa de alucinação de 20.0% com precisão de 42.7%. Gemini 4 Carbon (High) tenta 64.3% das perguntas e combina precisão de 58.3% com taxa de alucinação de 11.4%, alcançando a maior pontuação líquida do ranking: 53.5.

Por que há números diferentes para o mesmo modelo?

Números conflitantes de alucinação para o mesmo modelo geralmente vêm de atualizações do benchmark e datas de teste diferentes. Se você acompanhou os lançamentos de modelos de IA do outono de 2026, pode ter visto uma reportagem muito compartilhada do The Next Web de 2 de outubro de 2026 informando que Gemini 4 Argon tinha taxa de alucinação de 15% no AA-Omniscience, contra 51% para GPT-6 Astra e 54% para GPT-6.1 Sol, e acertava 50% das respostas contra 63% do Astra.

Algumas semanas depois, na página da Artificial Analysis de 1º de novembro de 2026, Argon (High) aparece com 4%, GPT-6 Astra (Max) com 49.8% (precisão de 61.6%) e GPT-6.1 Sol (Max) com 51.9% (precisão de 61.8%).

Parte da diferença é a atualização do benchmark: em outubro de 2026, a Artificial Analysis mudou o AA-Omniscience de v1 (6,000 perguntas) para v1.1 (3,000 perguntas) e removeu perguntas saturadas. Como observa a Artificial Analysis em sua página de avaliação, a maioria dos modelos obtém pontuações menores no v1.1, mudança que reflete a alteração do conjunto de dados, e não uma regressão dos modelos. Além disso, os testes de 2 de outubro ocorreram durante o acesso antecipado ao Argon, quando o Google havia disponibilizado o modelo apenas a um pequeno grupo de defensores cibernéticos antes do lançamento mais amplo. Além da alteração dos dados e do momento dos testes, a Artificial Analysis não detalha as razões exatas das mudanças individuais de pontuação. Portanto, o hábito mais seguro é verificar sempre a versão do benchmark e a data de cada número.

Quando ler uma manchete afirmando que um modelo alucina em determinada porcentagem, confira rapidamente quatro pontos antes de confiar nela:

1. Qual é o teste? Resumo baseado em fontes (como Vectara) e recuperação de fatos sem consulta (como AA-Omniscience) não são intercambiáveis.
2. Qual é a versão do benchmark e a data? Um número do AA-Omniscience v1 do início de outubro de 2026 não pode ser comparado diretamente a um número do v1.1 de 1º de novembro de 2026.
3. Qual é a versão e a configuração do modelo? GPT-6 Sol e GPT-6.1 Sol são versões diferentes; a AA também identifica esforço de raciocínio ou nível com configurações como (Max), (High) ou (Xhigh).
4. Qual é o denominador? Verifique se a porcentagem considera todos os prompts ou apenas aqueles que o modelo não respondeu corretamente.

Claude alucina menos que ChatGPT?

Comparando os modelos isolados em 1º de novembro de 2026, Claude Opus 5.5 da Anthropic e GPT-6 Astra da OpenAI alucinam em taxas quase idênticas, sem ampla vantagem para nenhum dos dois.

No ranking de resumo da Vectara de 22 de outubro de 2026, a OpenAI tem uma pequena vantagem: GPT-6 Astra alucina em 8.7% dos resumos e GPT-6 Sol em 6.5%, contra 9.9% de Claude Opus 5.5.

No AA-Omniscience v1.1 (consultado em 1º de novembro de 2026), os dois modelos de ponta estão praticamente empatados em taxa de alucinação: 50.3% para Claude Opus 5.5 (Max), contra 49.8% para GPT-6 Astra (Max) e 51.9% para GPT-6.1 Sol (Max). No entanto, Claude Opus 5.5 responde corretamente a mais perguntas (precisão de 65.5% contra 61.6% do Astra e 61.8% do 6.1 Sol), dando ao Opus 5.5 uma pontuação líquida maior (48.1 contra 42.4 e 42.0).

Nos níveis menores do AA-Omniscience v1.1, a diferença aumenta a favor da Anthropic: Claude Sonnet 5.5 (Max) apresenta taxa de alucinação de 43.3% (precisão de 51.5%) e Claude Haiku 5.5 (Max) de 34.2% (precisão de 34.7%, taxa de tentativa de 60.0%), enquanto GPT-6 Luna (Max) da OpenAI, voltado a alto volume de uso, inventa respostas em 79.3% das perguntas que erra.

Uma ressalva importante para o uso diário: “Claude” e “ChatGPT” são aplicativos para consumidores, enquanto os rankings testam modelos API isolados. Ao usar o aplicativo ChatGPT ou Claude no trabalho, recursos como a busca integrada na web podem mudar o resultado ao trazer fontes atuais para o prompt.

O que o Stanford AI Index 2026 acrescenta e o erro de prompt que derruba a precisão

O 2026 AI Index Report do Stanford HAI (capítulo 3, Responsible AI) coloca esses números em um contexto mais amplo. Ao examinar gerações anteriores nos dois benchmarks, Stanford observou que os 15 melhores modelos no ranking HHEM da Vectara variavam de 1.8% a 5.4% (a maioria entre 4% e 5%), enquanto 26 modelos testados no AA-Omniscience v1 de 6,000 perguntas variavam de 22% a 94%: Grok 4.20 Beta 0305 era o menor, com 22%, e Claude 4.5 Haiku tinha 26%, enquanto gpt-oss-20B (high) chegava a 94% e Gemini 3 Flash a 92%. Stanford resumiu a métrica AA assim: “Uma taxa menor de alucinação indica que o modelo sabe mais ou reconhece melhor quando está inseguro”.

Stanford também destacou que os desenvolvedores ainda divulgam poucos resultados de benchmarks de IA responsável, enquanto os incidentes de IA documentados na AI Incident Database subiram de 233 em 2024 para 362 em 2025.

Para quem usa IA no trabalho, a descoberta mais prática do capítulo de Stanford não é uma pontuação, mas a dificuldade dos modelos em separar o conhecimento objetivo da crença de um usuário. Quando pesquisadores apresentaram uma afirmação falsa no prompt como algo que o usuário acreditava ser verdade, a precisão factual despencou:

• GPT-4o caiu de 98.2% para 64.4% de precisão.
• DeepSeek R1 despencou de mais de 90% para 14.4% de precisão.

Em outras palavras, mesmo um modelo que conhece o fato correto muitas vezes o abandona e valida sua premissa falsa se você induzir a resposta.

O que eu realmente faria

Se você depende dessas ferramentas no trabalho, não precisa memorizar cada decimal de um gráfico. Veja como eu transformaria essas descobertas em hábitos diários:

1. Escolha o ranking adequado à tarefa. Se você está construindo um pipeline RAG ou resumindo seus próprios PDFs, observe os números da Vectara, onde GPT-6 Sol (6.5%), GPT-6 Astra (8.7%) e Claude Opus 5.5 (9.9%) superam Gemini 4 Argon (12.1%). Se faz perguntas factuais sem consulta e quer um modelo que admita quando não sabe, Argon (4% no AA v1.1) é muito mais cauteloso ao chutar que Astra (49.8%) ou Opus 5.5 (50.3%). Para uma visão mais ampla da escolha do nível certo, use nosso guia sobre como escolher um modelo de IA.
2. Ative a busca na web ou forneça o documento. Dar ao modelo o texto de origem ou permitir que o aplicativo busque na web transforma uma pergunta de memória sem consulta em uma tarefa baseada em fontes, como as medidas pelos testes da Vectara, e fornece um documento de referência para conferir a resposta.
3. Dê permissão explícita para o modelo se abster. Vários modelos avançados no AA-Omniscience tentam mais de 80% das perguntas e inventam respostas em cerca de metade das que erram. Acrescente uma frase ao prompt: “Se você não tiver certeza ou se a resposta não estiver no texto fornecido, diga ‘Não sei’ em vez de chutar.”
4. Nunca comece o prompt com sua própria suposição. Lembre-se da descoberta de Stanford sobre conhecimento e crença. Não pergunte: “Acho que este contrato permite um aviso de rescisão de 60 dias, certo?” Pergunte: “O que a seção 8 diz sobre prazos de aviso de rescisão?” Perguntas neutras evitam que o modelo ceda ao seu palpite.
5. Verifique tudo que possa gerar custos. Nenhum modelo dos dois rankings está em 0%. Antes de apresentar uma estatística, citação jurídica ou afirmação médica a um cliente ou chefe, siga nossa lista de como verificar respostas de IA.

FAQ

Qual modelo de IA alucina mais?

Isso depende do benchmark. No AA-Omniscience v1.1 (consultado em 1º de novembro de 2026), MiniMax-M3.1-Flash (93.7%) e o pequeno GPT-6 Luna da OpenAI (79.3%) são os que mais inventam respostas quando erram uma pergunta, enquanto Claude Fable 5.1 (70.0%) tem a maior taxa entre os modelos de ponta. No ranking de resumo da Vectara de 22 de outubro de 2026, o3-pro da OpenAI (23.3%) e os modelos grok-4-1-fast da xAI com raciocínio (19.2%) e sem raciocínio (17.8%) estão perto do fim da lista.

Quanto os modelos de IA alucinam?

Isso depende de você fornecer documentos de origem. Em resumo baseado em fontes (Vectara, 22 de outubro de 2026), o ranking vai de 1.8% a 24.2%, e os quatro modelos de ponta atuais ficam entre 6.5% e 12.1%. Em perguntas factuais sem consulta (AA-Omniscience v1.1), quando não sabem uma resposta, muitos modelos avançados inventam em cerca de metade das vezes (GPT-6 Astra 49.8%, Claude Opus 5.5 50.3%, GPT-6.1 Sol 51.9%).

Claude alucina menos que ChatGPT?

Na comparação direta, Claude e GPT-6 estão quase empatados em 1º de novembro de 2026. No teste de resumo da Vectara de 22 de outubro de 2026, GPT-6 Astra (8.7%) supera ligeiramente Claude Opus 5.5 (9.9%). No AA-Omniscience v1.1, Opus 5.5 (50.3%) e Astra (49.8%) empatam em taxa de alucinação, embora Opus 5.5 acerte mais respostas no total (65.5% contra 61.6%). Nos níveis menores, Claude Haiku 5.5 (34.2%) inventa respostas muito menos que GPT-6 Luna (79.3%).

Qual é a taxa de alucinação do Grok?

Em 1º de novembro de 2026, Grok 4.7 (Xhigh) da xAI registra taxa de alucinação de 20.0% no AA-Omniscience v1.1, com precisão de 42.7% e uma cautelosa taxa de tentativa de 55.7%. Grok 4.7 não consta na Vectara em 22 de outubro de 2026, onde modelos anteriores da xAI marcaram 5.8% (grok-3), 17.8% (grok-4-1-fast sem raciocínio) e 19.2% (grok-4-1-fast com raciocínio). Anteriormente, o 2026 AI Index de Stanford registrou Grok 4.20 Beta 0305 como o menor entre 26 modelos no AA-Omniscience v1, com 22%.

Números verificados pela última vez em 1º de novembro de 2026. Próxima revisão: 30 de novembro de 2026.

Fontes

• Vectara, Hallucination Leaderboard (atualizado em 22 de outubro de 2026) e ranking interativo no Hugging Face
• Artificial Analysis, AA-Omniscience Evaluation, v1.1 (consultado em 1º de novembro de 2026), e Jackson, Keating, Cameron e Hill-Smith, AA-Omniscience: Evaluating Cross-Domain Knowledge Reliability in Large Language Models
• The Next Web, reportagem sobre a taxa de alucinação do Gemini 4 Argon na Artificial Analysis em comparação com GPT-6 Astra, 2 de outubro de 2026
• Stanford HAI, 2026 AI Index Report — capítulo 3: Responsible AI e PDF do capítulo 3