Il MultipleChat
AI Benchmark

MultipleChat offre una modalità collaborativa in cui il prompt dell'utente viene inviato in parallelo a più modelli di frontiera e le risposte vengono mostrate fianco a fianco. L'utente sceglie poi con quale risposta proseguire, quale copiare o perfezionare. Ne deriva un flusso continuo di dati sulle preferenze comportamentali: gli utenti votano con il loro flusso di lavoro, non con un sondaggio.

Il Q2 2026 comprende tutti i confronti in modalità collaborativa tra il 1° aprile e il 30 giugno 2026 in cui almeno tre modelli di frontiera hanno restituito risposte valide allo stesso prompt. Totale: 50.142 confronti in 11 categorie di compiti da ~8.400 utenti unici. {{MOCK}}

La categorizzazione dei compiti è stata eseguita automaticamente da Gemini Flash, poi verificata a campione su 500 prompt (κ = 0,81 di concordanza con due revisori umani). Categorie: scrittura, programmazione, riassunto, traduzione, ragionamento, domande fattuali, matematica, ricerca, creatività, conversazione, estrazione strutturata.

Criterio di vittoria. Una “vittoria” viene registrata quando l'utente (a) prosegue la conversazione con la risposta di quel modello, OPPURE (b) copia o salva esplicitamente quella risposta entro 90 secondi dalla ricezione degli output paralleli. I pareggi vengono divisi. I prompt senza alcuna prosecuzione entro 5 minuti sono esclusi dal calcolo del tasso di vittoria, ma restano conteggiati nelle metriche di allucinazione e latenza.

Segnalazione delle allucinazioni. Una risposta viene segnalata come possibile allucinazione quando (a) contiene una citazione o un'affermazione fattuale che non supera la verifica automatica rispetto a fonti autorevoli, OPPURE (b) l'utente usa la funzione “rigenera” con un prompt che esprime un dubbio sui fatti (ad es. “è sbagliato”, “verifica i fatti”). Il tasso di falsi positivi delle segnalazioni viene controllato su un campione casuale di 200 risposte.

Cosa escludiamo. Prompt contenenti dati personali, prompt sotto gli 8 token, prompt in cui un modello ha restituito un errore a metà generazione e i primi 100 confronti di ogni nuovo utente (bias di riscaldamento). Il testo grezzo dei prompt non lascia mai i server di MultipleChat: solo l'esito aggregato.

Grok domina questo grafico. Con ~$5,90 per 1.000 vittorie, costa circa la metà della media e il 40% in meno del modello più costoso. Per un team che esegue 100k richieste al mese, la differenza tra usare sempre Claude e Grok come predefinito con riserva è di circa $11.000/mese in costi di inferenza.

Le risposte costose sono quelle rare. Il $/vittoria di Perplexity Sonar sembra alto perché compete solo sui compiti di ricerca (dove il suo tasso di vittoria è del 51%); considerando solo i compiti in cui vince davvero, è competitivo.

Il paradosso dei modelli di ragionamento. Ricerche indipendenti hanno mostrato che il modello di ragionamento o3 di OpenAI allucina nel benchmark di fattualità PersonQA nel 33% dei casi, più del doppio del suo predecessore senza ragionamento o1, fermo al 16%. I nostri dati replicano lo schema all'interno di MultipleChat: quando gli utenti inviano domande fattuali semplici ai modelli di ragionamento, le segnalazioni di allucinazione aumentano di 2,1× rispetto ai modelli equivalenti senza ragionamento. {{MOCK}}

Dove conta. Non usare i modelli di ragionamento per la ricerca di singoli fatti. Usali per problemi in più passaggi, dove il loro ragionamento è il vero valore. Lo stesso modello che risolve correttamente una difficile dimostrazione matematica ricorderà male, con assoluta sicurezza, il nome di un CEO.

Il rischio di dominio persiste. Studi indipendenti del 2026 riportano il 6,4% di allucinazioni nelle richieste legali, il 10–20% in quelle mediche e fino al 33% negli strumenti legali basati su RAG. Le segnalazioni equivalenti nelle categorie legale e medica del nostro dataset si attestano rispettivamente al 7,2% e al 12,4%. Usa questi modelli per le bozze, non per la diagnosi finale. {{MOCK}}

Bias di autoselezione. I nostri utenti sono professionisti orientati alla produttività che usano una piattaforma multi-modello: possono differire dal pubblico generale. Siamo sovrarappresentati su programmazione, scrittura e ricerca e sottorappresentati su chat informali e giochi di ruolo.

Il segnale di “vittoria” è comportamentale. Se un utente prosegue con la risposta del modello X, significa che quella risposta era abbastanza buona da essere usata, non necessariamente la migliore possibile. Scambiamo verificabilità con autenticità: l'arena LMSYS ottiene voti più ponderati, noi più sinceri.

Le versioni dei modelli cambiano in fretta. In questo dataset “Claude” indica qualunque versione Anthropic servisse in ciascun giorno di misurazione: registriamo gli ID di build specifici nel dataset scaricabile. I numeri principali cambieranno con l'uscita di nuove versioni.

Vendiamo l'accesso a questi modelli. MultipleChat fa pagare l'accesso a tutti e cinque i fornitori e non ha preferenze contrattuali. Abbiamo un incentivo evidente a sostenere le piattaforme multi-modello, cosa che facciamo apertamente. Non abbiamo alcun incentivo a favorire un singolo fornitore.