Die Alignment-Forschung soll sicherstellen, dass leistungsfähige Modelle tun, was ihre Entwickler und Nutzer tatsächlich wollen. Zu den praktischen Techniken gehören das Lernen aus menschlichen Präferenzen (Christiano et al., 2017), das Befolgen von Anweisungen mittels RLHF (Ouyang et al., 2022) und regelgeleitete Selbstverbesserung wie bei Constitutional AI (Bai et al., 2022).
Alignment ist ein offenes Problem und kein abgehaktes Kästchen: Je leistungsfähiger Modelle werden, desto schwieriger – nicht leichter – wird es, das beabsichtigte Verhalten festzulegen und zu überprüfen.