A pesquisa em alinhamento busca garantir que modelos capazes façam o que seus criadores e usuários realmente querem. As técnicas práticas incluem o aprendizado a partir de preferências humanas (Christiano et al., 2017), o seguimento de instruções via RLHF (Ouyang et al., 2022) e o autoaperfeiçoamento guiado por regras, como na Constitutional AI (Bai et al., 2022).
O alinhamento é um problema em aberto, não uma caixa já marcada: à medida que os modelos ficam mais capazes, especificar e verificar o comportamento pretendido fica mais difícil, e não mais fácil.