プロンプトインジェクション

モデルはコンテキスト内のあらゆるテキストを指示の可能性があるものとして扱うため、攻撃者が仕込んだテキストによって本来の振る舞いが覆されることがあります。Perez と Ribeiro（2022）は目的の乗っ取り（goal hijacking）やプロンプト漏洩（prompt leaking）の攻撃を実証し、Greshake ら（2023）は、モデルが後で取得する Web ページや文書に悪意のある指示を仕込む間接的プロンプトインジェクションを示しました。

プロンプトインジェクションは、OWASP によって LLM アプリケーションの最大のセキュリティリスクとされています。その防御は現在も活発に研究されている分野で、完全な解決策はまだありません。