越狱会绕过安全训练所设置的防护机制。Wei 等人(2023)将越狱的成功归因于两种失效模式——目标冲突和泛化不匹配;Zou 等人(2023)则证明,自动优化得到的对抗性后缀可以迁移到众多模型上,包括闭源的商业模型。
越狱不同于提示词注入:越狱针对的是模型自身的安全策略,而注入则是借助模型处理的数据夹带指令。两者都是仍在持续、尚未解决的安全问题。
检测到异常活动,你的会话已被标记。
请确认你是真人后继续。
一种精心构造的提示词,用于绕过模型的安全训练,诱使它生成本应拒绝的内容。
越狱会绕过安全训练所设置的防护机制。Wei 等人(2023)将越狱的成功归因于两种失效模式——目标冲突和泛化不匹配;Zou 等人(2023)则证明,自动优化得到的对抗性后缀可以迁移到众多模型上,包括闭源的商业模型。
越狱不同于提示词注入:越狱针对的是模型自身的安全策略,而注入则是借助模型处理的数据夹带指令。两者都是仍在持续、尚未解决的安全问题。
本定义所依据的一手文献、同行评审文献和存档资料。
将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。
免费试用 MultipleChat了解更多