Un jailbreak sortea las barreras de protección instaladas por el entrenamiento de seguridad. Wei et al. (2023) atribuyen su éxito a dos modos de fallo (objetivos en conflicto y generalización desajustada), y Zou et al. (2023) demostraron que los sufijos adversarios optimizados automáticamente pueden transferirse a muchos modelos, incluidos los comerciales cerrados.
El jailbreak se diferencia de la inyección de prompts: un jailbreak ataca la propia política de seguridad del modelo, mientras que la inyección cuela instrucciones a través de los datos que procesa el modelo. Ambos son problemas de seguridad activos y sin resolver.