Los benchmarks puntúan los modelos sobre conjuntos de datos fijos para poder comparar distintos sistemas en igualdad de condiciones. Un ejemplo muy citado es MMLU (Hendrycks et al., 2021), que evalúa el conocimiento y el razonamiento en 57 materias, de las matemáticas al derecho.
Los benchmarks son imprescindibles, pero imperfectos: los resultados pueden inflarse por la contaminación de los datos de entrenamiento, y una puntuación alta en una prueba fija no garantiza un buen comportamiento con tus prompts concretos del mundo real. Es una de las razones por las que MultipleChat te permite comparar modelos directamente con tus propias preguntas.