ジェイルブレイク

ジェイルブレイクは、安全性トレーニングによって設けられたガードレールをすり抜ける手法です。Wei ら（2023）はその成功要因を「目的の競合」と「汎化の不一致」という2つの失敗モードに求め、Zou ら（2023）は、自動的に最適化された敵対的サフィックスが、クローズドな商用モデルを含む多くのモデルに転用できることを示しました。

ジェイルブレイクはプロンプトインジェクションとは異なります。ジェイルブレイクがモデル自体の安全ポリシーを標的にするのに対し、インジェクションはモデルが処理するデータに指示を紛れ込ませます。どちらも現在進行形の、未解決のセキュリティ課題です。