La ricerca sull'allineamento mira a garantire che i modelli più capaci facciano ciò che i loro progettisti e utenti vogliono davvero. Tra le tecniche pratiche figurano l'apprendimento dalle preferenze umane (Christiano et al., 2017), il rispetto delle istruzioni tramite RLHF (Ouyang et al., 2022) e l'auto-miglioramento guidato da regole, come nella Constitutional AI (Bai et al., 2022).
L'allineamento è un problema aperto, non una casella già spuntata: man mano che i modelli diventano più capaci, specificare e verificare il comportamento desiderato diventa più difficile, non più facile.