O Benchmark de IA
do MultipleChat

O MultipleChat tem um modo colaborativo em que o prompt do usuário é enviado a vários modelos de ponta em paralelo e as respostas são exibidas lado a lado. O usuário então escolhe com qual resposta continuar, qual copiar ou qual refinar. Isso gera um fluxo contínuo de dados de preferência comportamental — os usuários votam com o próprio fluxo de trabalho, não com um questionário.

O T2 2026 abrange todas as comparações no modo colaborativo entre 1º de abril e 30 de junho de 2026 em que pelo menos três modelos de ponta retornaram respostas válidas ao mesmo prompt. Total: 50.142 comparações em 11 categorias de tarefa de ~8.400 usuários únicos. {{MOCK}}

A categorização das tarefas foi feita automaticamente pelo Gemini Flash e depois validada por amostragem em 500 prompts (concordância κ = 0,81 com dois revisores humanos). Categorias: escrita, programação, resumo, tradução, raciocínio, perguntas e respostas factuais, matemática, pesquisa, criatividade, conversação, extração estruturada.

Critério de vitória. Uma "vitória" é registrada quando o usuário (a) continua a conversa com a resposta daquele modelo OU (b) copia/salva explicitamente essa resposta em até 90 segundos após receber as respostas paralelas. Empates são divididos. Prompts sem continuação em até 5 minutos são excluídos do cálculo da taxa de vitória, mas mantidos nas métricas de alucinação e latência.

Sinalização de alucinações. Uma resposta é sinalizada como possível alucinação quando (a) contém uma citação ou afirmação factual que não passa na verificação automática em fontes confiáveis OU (b) o usuário aciona a função "regenerar" com um prompt que indica dúvida factual (por exemplo, "isso está errado", "checar fatos"). A taxa de falsos positivos das sinalizações é revisada em uma amostra aleatória de 200 respostas.

O que excluímos. Prompts com dados pessoais identificáveis, prompts com menos de 8 tokens, prompts em que algum modelo apresentou erro no meio da resposta e as primeiras 100 comparações de cada novo usuário (viés de aquecimento). O texto bruto dos prompts nunca sai dos servidores do MultipleChat — apenas o resultado agregado.

O Grok domina este gráfico. A ~$5,90 por 1.000 vitórias, ele custa cerca de metade da média e 40% menos do que o modelo mais caro. Para uma equipe que faz 100 mil consultas por mês, a diferença entre usar sempre o Claude e usar o Grok como padrão com alternativa é de aproximadamente $11.000/mês em custo de inferência.

As respostas caras são as raras. O $/vitória do Perplexity Sonar parece alto porque ele só concorre em tarefas de pesquisa (em que sua taxa de vitória é de 51%); considerando apenas as tarefas em que ele realmente vence, é competitivo.

O paradoxo dos modelos de raciocínio. Pesquisas independentes mostraram que o modelo de raciocínio o3 da OpenAI alucinou 33% das vezes no benchmark de factualidade PersonQA — mais que o dobro do seu antecessor sem raciocínio, o o1, com 16%. Nossos dados reproduzem o padrão dentro do MultipleChat: quando os usuários enviam perguntas factuais simples a modelos de raciocínio, as sinalizações de alucinação aumentam 2,1× em comparação com os modelos equivalentes sem raciocínio. {{MOCK}}

Onde isso importa. Não use modelos de raciocínio para consultas factuais pontuais. Use-os em problemas com várias etapas, em que o raciocínio é o que agrega valor. O mesmo modelo que resolve corretamente uma demonstração matemática difícil vai se lembrar errado, com toda a confiança, do nome de um CEO.

O risco por domínio persiste. Estudos independentes de 2026 relatam 6,4% de alucinação em consultas jurídicas, 10–20% em consultas médicas e até 33% em ferramentas jurídicas baseadas em RAG. Nossas sinalizações equivalentes nas categorias jurídica e médica do nosso conjunto de dados ficam em 7,2% e 12,4%, respectivamente. Use esses modelos para rascunhos, não para o diagnóstico final. {{MOCK}}

Viés de autosseleção. Nossos usuários são profissionais focados em produtividade que usam uma plataforma com vários modelos — podem ser diferentes do público em geral. Temos representação acima da média em programação, escrita e pesquisa, e abaixo da média em bate-papo casual e roleplay.

O sinal de "vitória" é comportamental. Um usuário continuar com a resposta do modelo X significa que essa resposta foi boa o suficiente para ser usada, não necessariamente a melhor possível. Trocamos verificabilidade por autenticidade — o LMSYS Arena recebe votos mais deliberados; nós recebemos votos mais honestos.

As versões dos modelos mudam rápido. "Claude" neste conjunto de dados significa o que a Anthropic estava servindo em cada dia de medição — registramos os IDs de build específicos no conjunto de dados para download. Os números principais vão mudar quando novas versões forem lançadas.

Vendemos acesso a esses modelos. O MultipleChat cobra pelo acesso aos cinco fornecedores e não tem nenhuma preferência contratual. Temos um incentivo óbvio para defender uma plataforma com vários modelos — e fazemos isso abertamente. Não temos incentivo para favorecer nenhum fornecedor específico.