Ein Jailbreak umgeht die Schutzmechanismen, die durch das Sicherheitstraining eingebaut wurden. Wei et al. (2023) führen den Erfolg auf zwei Fehlermodi zurück – konkurrierende Ziele und nicht übereinstimmende Generalisierung –, und Zou et al. (2023) zeigten, dass automatisch optimierte gegnerische Suffixe auf viele Modelle übertragbar sind, auch auf geschlossene kommerzielle.
Jailbreaking unterscheidet sich von Prompt Injection: Ein Jailbreak zielt auf die eigene Sicherheitsrichtlinie des Modells, während eine Injection Anweisungen über Daten einschleust, die das Modell verarbeitet. Beides sind aktuelle, ungelöste Sicherheitsprobleme.