I benchmark assegnano un punteggio ai modelli su dataset fissi, così che sistemi diversi possano essere confrontati ad armi pari. Un esempio molto citato è MMLU (Hendrycks et al., 2021), che verifica conoscenze e ragionamento in 57 materie, dalla matematica al diritto.
I benchmark sono essenziali ma imperfetti: i risultati possono essere gonfiati dalla contaminazione dei dati di addestramento, e un punteggio alto su un test fisso non garantisce un buon comportamento sui tuoi prompt specifici e reali. È anche per questo che MultipleChat ti permette di confrontare i modelli direttamente sulle tue domande.