Benchmarks bewerten Modelle anhand fester Datensätze, damit sich unterschiedliche Systeme unter gleichen Bedingungen vergleichen lassen. Ein häufig zitiertes Beispiel ist MMLU (Hendrycks et al., 2021), das Wissen und Schlussfolgern in 57 Fachgebieten von Mathematik bis Recht prüft.
Benchmarks sind unverzichtbar, aber unvollkommen: Ergebnisse können durch Kontamination der Trainingsdaten geschönt sein, und eine hohe Punktzahl in einem festen Test garantiert kein gutes Verhalten bei Ihren konkreten Prompts aus der Praxis – auch deshalb können Sie in MultipleChat Modelle direkt anhand Ihrer eigenen Fragen vergleichen.