Le benchmark
IA MultipleChat

MultipleChat propose un mode collaboratif dans lequel le prompt d’un utilisateur est envoyé en parallèle à plusieurs modèles de pointe, et les réponses s’affichent côte à côte. L’utilisateur choisit ensuite la réponse à poursuivre, à copier ou à affiner. Cela produit un flux continu de données de préférence comportementales : les utilisateurs votent par leur façon de travailler, pas via un questionnaire.

Le T2 2026 couvre toutes les comparaisons en mode collaboratif réalisées entre le 1er avril et le 30 juin 2026, pour lesquelles au moins trois modèles de pointe ont renvoyé une réponse valide au même prompt. Total : 50 142 comparaisons sur 11 catégories de tâches provenant d’environ 8 400 utilisateurs uniques. {{MOCK}}

La catégorisation des tâches a été réalisée automatiquement par Gemini Flash, puis vérifiée par échantillonnage sur un échantillon de 500 prompts (accord κ = 0,81 avec deux relecteurs humains). Catégories : rédaction, code, synthèse, traduction, raisonnement, questions factuelles, mathématiques, recherche, création, conversation, extraction structurée.

Critère de victoire. Une « victoire » est enregistrée lorsque l’utilisateur (a) poursuit la conversation avec la réponse de ce modèle, OU (b) copie/enregistre explicitement cette réponse dans les 90 secondes suivant la réception des réponses parallèles. Les égalités sont partagées. Les prompts sans suite dans les 5 minutes sont exclus du calcul du taux de victoire, mais conservés pour les métriques d’hallucination et de latence.

Signalement des hallucinations. Une réponse est signalée comme hallucination potentielle lorsque (a) elle contient une citation ou une affirmation factuelle qui échoue à la vérification automatisée auprès de sources faisant autorité, OU (b) l’utilisateur déclenche la fonction « régénérer » avec un prompt exprimant un doute factuel (par ex. « c’est faux », « vérifie les faits »). Le taux de faux positifs des signalements est contrôlé sur un échantillon aléatoire de 200 réponses.

Ce que nous excluons. Les prompts contenant des données personnelles, les prompts de moins de 8 tokens, les prompts pour lesquels un modèle a planté en cours de génération, ainsi que les 100 premières comparaisons de tout nouvel utilisateur (biais de prise en main). Le texte brut des prompts ne quitte jamais les serveurs de MultipleChat — seul le résultat agrégé en sort.

Grok domine ce graphique. À environ 5,90 $ pour 1 000 victoires, il coûte à peu près moitié moins que la moyenne et 40 % de moins que le modèle le plus cher. Pour une équipe qui envoie 100k requêtes par mois, l’écart entre « toujours Claude » et « Grok par défaut avec secours » représente environ 11 000 $/mois de coût d’inférence.

Les réponses chères sont les plus rares. Le $/victoire de Perplexity Sonar paraît élevé parce qu’il n’est en compétition que sur les tâches de recherche (où son taux de victoire atteint 51 %) ; rapporté aux tâches qu’il remporte réellement, il est compétitif.

Le paradoxe des modèles de raisonnement. Des recherches indépendantes ont montré que le modèle de raisonnement o3 d’OpenAI hallucinait à hauteur de 33 % sur le benchmark de factualité PersonQA — plus du double de son prédécesseur sans raisonnement o1, à 16 %. Nos données reproduisent ce schéma dans MultipleChat : lorsque les utilisateurs posent des questions factuelles simples à des modèles de raisonnement, les signalements d’hallucinations augmentent de 2,1× par rapport à leurs équivalents sans raisonnement. {{MOCK}}

Pourquoi c’est important. N’utilisez pas les modèles de raisonnement pour vérifier un fait isolé. Utilisez-les pour les problèmes en plusieurs étapes, où leur réflexion fait toute la valeur. Le même modèle qui résout correctement une démonstration mathématique difficile se trompera avec aplomb sur le nom d’un PDG.

Le risque par domaine persiste. Des études indépendantes de 2026 font état de 6,4 % d’hallucinations sur les requêtes juridiques, de 10 à 20 % en médecine et jusqu’à 33 % dans les outils juridiques basés sur le RAG. Nos signalements équivalents dans les catégories juridique et médicale de notre jeu de données s’établissent respectivement à 7,2 % et 12,4 %. Utilisez ces modèles pour rédiger des brouillons, pas pour le diagnostic final. {{MOCK}}

Biais d’autosélection. Nos utilisateurs sont des professionnels axés sur la productivité qui utilisent une plateforme multi-modèles — ils peuvent différer du grand public. Le code, la rédaction et la recherche sont surreprésentés ; la conversation informelle et le jeu de rôle sont sous-représentés.

Le signal de « victoire » est comportemental. Qu’un utilisateur poursuive avec la réponse du modèle X signifie que cette réponse était assez bonne pour être utilisée, pas forcément la meilleure possible. Nous sacrifions de la vérifiabilité au profit de l’authenticité — l’arène LMSYS obtient des votes plus réfléchis, nous en obtenons de plus sincères.

Les versions des modèles évoluent vite. Dans ce jeu de données, « Claude » désigne la version qu’Anthropic servait chaque jour de mesure — nous enregistrons les identifiants de build précis dans le jeu de données téléchargeable. Les chiffres clés évolueront à la sortie de nouvelles versions.

Nous vendons l’accès à ces modèles. MultipleChat facture l’accès aux cinq fournisseurs et n’a aucune préférence contractuelle. Nous avons un intérêt évident à défendre l’idée d’une plateforme multi-modèles — ce que nous faisons ouvertement. Nous n’avons aucun intérêt à favoriser un fournisseur en particulier.