Como checar os fatos de respostas de IA em cinco passos
Este método funciona com qualquer chatbot. Leva alguns minutos para uma resposta comum e vale a pena para qualquer coisa que tenha consequências.
Separe as afirmações verificáveis
Nomes, números, datas, citações e referências. É aí que as alucinações se escondem e onde os erros custam mais caro.
Pergunte a um modelo diferente
Passe a pergunta e a resposta para um modelo de outro fornecedor e peça que ele aponte erros, fatos desatualizados e contexto ausente. Ou compare modelos de IA lado a lado.
Vá à fonte primária
Um banco de dados de tribunal, a estatística oficial, o próprio artigo científico. Uma segunda IA reduz o que precisa ser checado; ela não substitui a fonte.
Confirme que as referências existem
Abra cada referência. Confira se ela existe e se realmente diz o que a resposta afirma que ela diz.
Pare quando houver divergência
Se dois modelos discordarem sobre um fato, verifique-o antes de usá-lo. Em trabalhos jurídicos, médicos ou financeiros, inclua a revisão de um profissional qualificado.
A Auto Verification executa o passo 2 para você depois de cada resposta e exibe um selo. Os passos 3 a 5 continuam por sua conta em tudo o que for importante.
Como funcionaCasos reais: quanto já custaram respostas de IA não verificadas
Números muito compartilhados, como "US$ 67,4 bilhões em perdas globais", vêm de compilações de marketing sem metodologia publicada, por isso os deixamos de fora. Os casos abaixo são de registro público.
Em Mata v. Avianca, a petição dos advogados de março de 2023 citava seis decisões judiciais que não existiam. Quando perguntado se os casos eram reais, o ChatGPT disse que sim e que podiam ser encontrados em "bases de dados jurídicas confiáveis, como LexisNexis e Westlaw". Em junho de 2023, o juiz P. Kevin Castel classificou a análise jurídica de uma das decisões falsas como "algaravia" e multou os advogados e o escritório em US$ 5.000.
O padrão se repetiu desde então, dos tribunais aos relatórios de consultoria: uma resposta de IA cheia de confiança, nenhuma checagem independente e uma correção pública. A solução não é parar de usar IA. É parar de confiar em uma única resposta não verificada.
Com que frequência a IA erra fatos?
Depende muito da tarefa e do modelo. Duas medições bem documentadas:
| Teste | Taxa de alucinação | O que mostra |
|---|---|---|
| Perguntas jurídicas específicas GPT-3.5, PaLM 2, Llama 2 · Stanford, 2024 | 69–88% pelo menos 75% sobre o entendimento central de um tribunal | A linguagem jurídica é fácil de imitar, então citações inventadas parecem reais. |
| Perguntas sobre pessoas (PersonQA) System card do OpenAI o3 e o4-mini, abril de 2025 | o1: 16% · o3: 33% · o4-mini: 48% | Modelos de raciocínio mais novos podem alucinar mais em fatos simples, e não menos. |
Leia esses números com cuidado. Os dois testes usam conjuntos de perguntas difíceis e modelos que já foram substituídos, e os modelos mais novos se saem melhor em muitos benchmarks. Mas nenhuma taxa publicada diz se a resposta à sua frente está certa. É por isso que você checa a resposta, e não a reputação do modelo.
Por que os modelos alucinam, em resumo
Um modelo de linguagem não é uma consulta a um banco de dados. Ele prevê as próximas palavras mais plausíveis. Em temas comuns, plausível e verdadeiro costumam coincidir. As alucinações aparecem nessa brecha: temas raros, eventos posteriores à data de corte do treinamento e coisas com um formato conhecido, como a citação de um processo, exista ele ou não.
É também por isso que "tem certeza?" não funciona. A resposta mais plausível para essa pergunta é "sim". A confiança é gerada, não medida.
Por que um segundo modelo de outra família ajuda
A verificação entre famílias diferentes funciona melhor
Um estudo de dezembro de 2025 sobre LLMs como verificadores concluiu que a verificação entre famílias de modelos é mais eficaz do que a autoverificação ou a verificação dentro da mesma família. Os ganhos foram maiores em tarefas de matemática e lógica.
Os benchmarks usam juízes variados por um motivo
O benchmark FACTS Grounding, do Google DeepMind, avalia as respostas com três juízes (Gemini 1.5 Pro, GPT-4o e Claude 3.5 Sonnet) para reduzir o viés de um juiz que favorece respostas da sua própria família de modelos.
Treinamento diferente, pontos cegos diferentes
Modelos de um mesmo fornecedor compartilham dados de treinamento e hábitos, então tendem a falhar nos mesmos pontos. Um modelo de outro fornecedor muitas vezes pega o que o primeiro deixou passar, embora nem sempre.
Como funciona a Auto Verification do MultipleChat
Depois que uma resposta é entregue, o MultipleChat pode submetê-la automaticamente a uma checagem de precisão factual usando o Google Gemini. A checagem procura erros factuais, informações desatualizadas e contexto ausente e, em seguida, exibe um selo na resposta.
Seu modelo responde
Você conversa com o ChatGPT, Claude, Grok, Perplexity ou Gemini como sempre. A resposta é entregue primeiro, então você não fica esperando pela checagem.
O Gemini confere
O Gemini recebe a sua pergunta original e a resposta. Em uma única chamada, ele decide se a verificação faz sentido para esse tipo de conteúdo e, se fizer, o que está correto e quais problemas existem.
Você vê um selo
Verificado se nenhum problema for encontrado, ou Problemas encontrados com uma breve descrição do problema.
Pulo inteligente
A verificação é pulada automaticamente, economizando créditos, quando uma checagem factual acrescenta pouco:
Como ativar
A Auto Verification vem desativada por padrão. Ative Verificar respostas automaticamente no menu de ferramentas ao lado da caixa de mensagem (planos pagos). Depois de ativada, cada resposta é checada logo após ser entregue, e cada checagem conta como uma mensagem.
Fonte: documentação do MultipleChat. Quando você conversa com o próprio Gemini, a checagem vem da mesma família de modelos. Para uma visão entre famílias diferentes, use o Compare Mode.
Exemplo prático: uma citação fabricada
Um exemplo ilustrativo da falha que afundou Mata v. Avianca. Os nomes dos casos abaixo foram inventados para esta página.
"Cite três casos federais dos EUA sobre suspensão equitativa do prazo prescricional em ações de danos pessoais envolvendo voos internacionais."
"Três precedentes relevantes são Henderson v. KLM Royal Dutch Airlines, 412 F.3d 332 (2d Cir. 2005); Cordova v. Avianca Airlines, 549 F. Supp. 2d 1208 (S.D.N.Y. 2008); e Patel v. Air India, 627 F.3d 415 (9th Cir. 2010)..."
Formatadas como citações reais e afirmadas com total confiança.
"Não foi possível confirmar os três casos citados, e eles parecem ter sido fabricados. Verifique qualquer citação em uma base de dados jurídica antes de se apoiar nela."
O alerta mostra onde olhar. Confirmar o que diz a lei continua sendo trabalho seu, ou do seu advogado.
Onde a verificação ainda falha
Pontos cegos compartilhados
Se os dois modelos aprenderam o mesmo fato errado, o verificador o confirma. A checagem entre famílias diferentes reduz esse risco; não o elimina.
Informações muito recentes
Nenhum modelo consegue verificar um evento que nunca viu. Para fatos atuais, use a pesquisa na web ou o modo Research com fontes.
Erros de grau
Um verificador detecta fatos inventados com mais confiabilidade do que um número ligeiramente errado, como 30% quando o correto é 26%.
Quando ativar a Auto Verification
| Caso de uso | Recomendação | Por quê |
|---|---|---|
| Pesquisa jurídica | ✅ Ativada, mais uma base de dados jurídica | A fabricação de citações é a falha mais bem documentada. |
| Perguntas médicas e de saúde | ✅ Ativada, mais um profissional de saúde ou orientações oficiais | Um erro pode causar danos, não só constrangimento. |
| Números financeiros | ✅ Ativada, mais o documento oficial ou relatório | É fácil afirmar números com confiança e de forma errada. |
| Citações, estatísticas, frases citadas | ✅ Ativada | Cada um é uma afirmação verificável. |
| Pessoas, datas, história | ✅ Ativada | Até modelos de raciocínio recentes erram com frequência fatos sobre pessoas específicas. |
| Código | ⏭️ Pulada automaticamente | Em vez disso, execute e teste o código. |
| Escrita criativa, opiniões, brainstorming | ⏭️ Pulada automaticamente | A veracidade não é a medida relevante. |
| Matemática, instruções passo a passo, definições, gramática | ⏭️ Pulada automaticamente | Uma checagem factual acrescenta pouco aqui. |
Tenha uma segunda opinião sobre cada resposta
Converse com o ChatGPT, Claude, Grok ou Perplexity e deixe o Gemini checar cada resposta em busca de erros, fatos desatualizados e contexto ausente. Disponível nos planos pagos.
Perguntas frequentes
O que é um verificador de fatos com IA?
Um verificador de fatos com IA é um segundo modelo de IA que revisa uma resposta em busca de erros factuais, informações desatualizadas e falta de contexto antes que você confie nela. Funciona melhor quando o verificador vem de uma família de modelos diferente da do modelo que escreveu a resposta.
Como checar os fatos de respostas de IA?
Liste as afirmações verificáveis (nomes, números, datas, citações e referências), peça a um modelo de outra família que as revise ou compare vários modelos lado a lado e depois confirme tudo o que for importante em uma fonte primária. Onde os modelos discordarem, verifique antes de agir.
Uma IA consegue checar os fatos da própria resposta?
Só de forma limitada. Um estudo de 2025 sobre verificadores baseados em LLMs constatou que a verificação entre famílias de modelos é mais eficaz que a autoverificação ou a verificação dentro da mesma família. Um modelo a quem se pergunta se tem certeza tende a repetir a própria resposta.
Como funciona o Auto Verification do MultipleChat?
Depois que uma resposta é entregue, o Gemini recebe a sua pergunta original e a resposta. Em uma única chamada, ele decide se a verificação é adequada para aquele tipo de conteúdo e, em caso afirmativo, o que está correto e quais problemas existem. A resposta então exibe um selo Verified, ou um selo Issues found com uma breve descrição.
O Auto Verification vem ativado por padrão?
Não. O Auto Verification vem desativado por padrão. Ative a opção Auto-verify answers no menu de ferramentas ao lado da caixa de mensagem; ela está disponível nos planos pagos. Depois de ativada, cada resposta é verificada logo após ser entregue, e cada verificação conta como uma mensagem.
O Auto Verification verifica todas as respostas?
Não. Ele ignora conteúdos em que uma checagem de fatos acrescenta pouco, o que economiza créditos: matemática e cálculos simples, geração e depuração de código, escrita criativa, opiniões e perguntas subjetivas, instruções passo a passo e definições ou ajuda com gramática.
E se o verificador de fatos com IA estiver errado?
Pode estar. Quando dois modelos têm o mesmo ponto cego, ambos podem errar da mesma forma; por isso, um selo é um sinal, não uma prova. Para tudo o que você for publicar, protocolar ou usar como base para agir, confirme as principais afirmações em uma fonte primária e mantenha um revisor humano no processo.
Alucinações de IA já causaram danos reais?
Sim. No caso Mata v. Avianca (2023), um juiz federal multou dois advogados e o escritório deles em US$ 5.000 depois que uma petição citou seis decisões judiciais inexistentes geradas pelo ChatGPT. Em 2025, a Deloitte Austrália concordou em devolver parte dos honorários de A$ 440.000 por um relatório governamental que continha uma citação judicial inventada e referências a artigos científicos que não existem.
Fontes
- Mata v. Avianca, Inc., No. 1:22-cv-01461 (S.D.N.Y., 22 de junho de 2023), decisão sobre sanções; noticiado pelo ABA Journal.
- Smith v. Farwell (Mass. Super. Ct., fev. de 2024); noticiado pela Maryland State Bar Association.
- Associated Press, "Deloitte to partially refund Australian government for report with apparent AI-generated errors", 7 de outubro de 2025 (via CTV News).
- Dahl, Magesh, Suzgun e Ho, "Large Legal Fictions: Profiling Legal Hallucinations in Large Language Models", Stanford RegLab e HAI, 2024 (resumo).
- OpenAI, system card do o3 e o4-mini, abril de 2025, avaliação PersonQA (noticiado pelo Techzine).
- Lu, Teehan, Jin e Ren, "When Does Verification Pay Off? A Closer Look at LLMs as Solution Verifiers", arXiv:2512.02304, dezembro de 2025.
- Google DeepMind, "FACTS Grounding: A new benchmark for evaluating the factuality of large language models", 17 de dezembro de 2024.
- Documentação do MultipleChat: Auto-Verification.