Un jailbreak aggira le protezioni introdotte dall'addestramento alla sicurezza. Wei et al. (2023) ne attribuiscono il successo a due modalità di fallimento, obiettivi in conflitto e generalizzazione non allineata, e Zou et al. (2023) hanno dimostrato che suffissi avversari ottimizzati automaticamente possono trasferirsi a molti modelli, compresi quelli commerciali chiusi.
Il jailbreak è diverso dalla prompt injection: un jailbreak prende di mira la policy di sicurezza del modello stesso, mentre l'injection introduce di nascosto istruzioni attraverso i dati che il modello elabora. Entrambi sono problemi di sicurezza attivi e ancora irrisolti.