Les benchmarks notent les modèles sur des jeux de données fixes afin de comparer différents systèmes sur un pied d’égalité. Un exemple très cité est MMLU (Hendrycks et al., 2021), qui évalue les connaissances et le raisonnement dans 57 disciplines, des mathématiques au droit.
Les benchmarks sont indispensables mais imparfaits : les résultats peuvent être gonflés par la contamination des données d’entraînement, et un score élevé à un test figé ne garantit pas un bon comportement sur vos prompts concrets et spécifiques — c’est en partie pour cela que MultipleChat vous permet de comparer les modèles directement sur vos propres questions.