Os benchmarks pontuam modelos em conjuntos de dados fixos para que sistemas diferentes possam ser comparados em pé de igualdade. Um exemplo muito citado é o MMLU (Hendrycks et al., 2021), que testa conhecimento e raciocínio em 57 disciplinas, da matemática ao direito.
Os benchmarks são essenciais, mas imperfeitos: os resultados podem ser inflados pela contaminação dos dados de treinamento, e uma nota alta em um teste fixo não garante um bom comportamento nos seus prompts específicos do mundo real — parte do motivo pelo qual o MultipleChat permite comparar modelos diretamente nas suas próprias perguntas.