Der MultipleChat
KI-Benchmark

MultipleChat bietet einen kollaborativen Modus, in dem der Prompt eines Nutzers parallel an mehrere Spitzenmodelle gesendet wird und die Antworten nebeneinander angezeigt werden. Der Nutzer wählt dann, mit welcher Antwort er weiterarbeitet, welche er kopiert oder verfeinert. So entsteht ein kontinuierlicher Strom an Präferenzdaten aus dem Nutzerverhalten – die Nutzer stimmen mit ihrem Workflow ab, nicht per Umfrage.

Q2 2026 umfasst alle Vergleiche im kollaborativen Modus zwischen dem 1. April und dem 30. Juni 2026, bei denen mindestens drei Spitzenmodelle gültige Antworten auf denselben Prompt lieferten. Insgesamt: 50.142 Vergleiche in 11 Aufgabenkategorien von ~8.400 einzelnen Nutzern. {{MOCK}}

Die Aufgaben wurden automatisch von Gemini Flash kategorisiert und anschließend stichprobenartig an 500 Prompts validiert (κ = 0,81 Übereinstimmung mit zwei menschlichen Prüfern). Kategorien: Schreiben, Programmieren, Zusammenfassen, Übersetzen, logisches Denken, Faktenfragen, Mathematik, Recherche, Kreatives, Konversation, strukturierte Extraktion.

Gewinnkriterium. Ein „Gewinn“ wird gezählt, wenn der Nutzer (a) den Gesprächsverlauf mit der Antwort dieses Modells fortsetzt ODER (b) diese Antwort innerhalb von 90 Sekunden nach Erhalt der parallelen Ausgaben ausdrücklich kopiert/speichert. Unentschieden werden geteilt. Prompts ohne Fortsetzung innerhalb von 5 Minuten werden aus der Berechnung der Gewinnquote ausgeschlossen, für Halluzinations- und Latenzkennzahlen aber beibehalten.

Markierung von Halluzinationen. Eine Antwort wird als möglicher Halluzinationsfall markiert, wenn sie (a) eine Quellenangabe oder Faktenaussage enthält, die einer automatisierten Prüfung anhand maßgeblicher Quellen nicht standhält, ODER (b) der Nutzer die Funktion „Neu generieren“ mit einem Prompt aufruft, der auf inhaltliche Zweifel hinweist (z. B. „das ist falsch“, „Faktencheck“). Die Rate falsch positiver Markierungen wird an einer Zufallsstichprobe von 200 Antworten überprüft.

Was wir ausschließen. Prompts mit personenbezogenen Daten, Prompts unter 8 Tokens, Prompts, bei denen ein Modell mitten in der Ausgabe einen Fehler hatte, sowie die ersten 100 Vergleiche jedes neuen Nutzers (Einarbeitungsverzerrung). Der rohe Prompt-Text verlässt nie die Server von MultipleChat – nur das aggregierte Ergebnis.

Grok dominiert dieses Diagramm. Mit ~$5,90 pro 1.000 Gewinne kostet es etwa halb so viel wie der Durchschnitt und 40 % weniger als das teuerste Modell. Für ein Team mit 100k Anfragen/Monat beträgt der Unterschied zwischen „immer Claude“ und „Grok als Standard mit Fallback“ rund $11.000/Monat an Inferenzkosten.

Die teuren Antworten sind die seltenen. Der $/Gewinn-Wert von Perplexity Sonar wirkt hoch, weil es nur bei Rechercheaufgaben antritt (wo seine Gewinnquote 51 % beträgt); bezogen auf die Aufgaben, die es tatsächlich gewinnt, ist es konkurrenzfähig.

Das Paradox der Reasoning-Modelle. Unabhängige Untersuchungen zeigten, dass das Reasoning-Modell o3 von OpenAI im Faktentreue-Benchmark PersonQA zu 33 % halluzinierte – mehr als doppelt so oft wie sein Vorgänger o1 ohne Reasoning mit 16 %. Unsere Daten bestätigen das Muster in MultipleChat: Wenn Nutzer Reasoning-Modellen einfache Faktenfragen stellen, steigen die Halluzinationsmarkierungen im Vergleich zu verwandten Modellen ohne Reasoning um das 2,1-Fache. {{MOCK}}

Wo das wichtig ist. Nutzen Sie Reasoning-Modelle nicht für das Nachschlagen einzelner Fakten. Setzen Sie sie für mehrstufige Probleme ein, bei denen ihr Denkprozess den eigentlichen Wert ausmacht. Dasselbe Modell, das einen schwierigen mathematischen Beweis korrekt löst, verwechselt mit voller Überzeugung den Namen eines CEOs.

Das Risiko je nach Fachgebiet bleibt. Unabhängige Studien aus dem Jahr 2026 berichten von 6,4 % Halluzinationen bei juristischen Anfragen, 10–20 % bei medizinischen und bis zu 33 % bei RAG-basierten Rechtstools. Die entsprechenden Markierungen in den Kategorien Recht/Medizin unseres Datensatzes liegen bei 7,2 % bzw. 12,4 %. Nutzen Sie diese Modelle für Entwürfe, nicht für die abschließende Diagnose. {{MOCK}}

Selbstselektionsverzerrung. Unsere Nutzer sind produktivitätsorientierte Fachleute, die eine Multi-Modell-Plattform verwenden – sie können sich von der Allgemeinheit unterscheiden. Programmieren, Schreiben und Recherche sind bei uns überrepräsentiert, lockerer Chat und Rollenspiele unterrepräsentiert.

Das „Gewinn“-Signal basiert auf Verhalten. Wenn ein Nutzer mit der Antwort von Modell X weiterarbeitet, heißt das, dass diese Antwort gut genug zur Verwendung war – nicht unbedingt die bestmögliche. Wir tauschen Überprüfbarkeit gegen Authentizität: Die LMSYS Arena erhält bewusstere Stimmen, wir ehrlichere.

Modellversionen ändern sich schnell. „Claude“ bezeichnet in diesem Datensatz die Version, die Anthropic am jeweiligen Messtag bereitstellte – die konkreten Build-IDs erfassen wir im herunterladbaren Datensatz. Die Hauptwerte werden sich verschieben, sobald neue Versionen erscheinen.

Wir verkaufen Zugang zu diesen Modellen. MultipleChat berechnet Gebühren für den Zugang zu allen fünf Anbietern und hat keine vertraglich festgelegte Präferenz. Wir haben einen offensichtlichen Anreiz, für eine Multi-Modell-Plattform zu argumentieren – was wir ausdrücklich tun. Einen Anreiz, einen einzelnen Anbieter zu bevorzugen, haben wir nicht.