Un jailbreak contourne les garde-fous mis en place par l’entraînement de sécurité. Wei et al. (2023) attribuent son succès à deux modes de défaillance — des objectifs concurrents et une généralisation inadaptée — et Zou et al. (2023) ont montré que des suffixes adverses optimisés automatiquement peuvent se transférer à de nombreux modèles, y compris des modèles commerciaux fermés.
Le jailbreak se distingue de l’injection de prompt : un jailbreak vise la politique de sécurité propre au modèle, tandis que l’injection fait passer des instructions en douce via les données que le modèle traite. Ce sont deux problèmes de sécurité actifs et non résolus.