由于模型会把上下文中的所有文本都视为可能的指令,攻击者控制的文本就能颠覆预期行为。Perez 和 Ribeiro(2022)演示了目标劫持和提示词泄露攻击,Greshake 等人(2023)则展示了间接提示词注入:恶意指令被预先埋在网页或文档中,等模型日后检索时触发。
OWASP 将提示词注入列为 LLM 应用的头号安全风险。针对它的防御仍是一个活跃的研究领域,目前尚无完整的解决方案。
检测到异常活动,你的会话已被标记。
请确认你是真人后继续。
一种攻击手段:把恶意指令偷偷混入模型的输入(直接输入或通过检索到的内容),以覆盖其系统提示词或劫持其行为。
由于模型会把上下文中的所有文本都视为可能的指令,攻击者控制的文本就能颠覆预期行为。Perez 和 Ribeiro(2022)演示了目标劫持和提示词泄露攻击,Greshake 等人(2023)则展示了间接提示词注入:恶意指令被预先埋在网页或文档中,等模型日后检索时触发。
OWASP 将提示词注入列为 LLM 应用的头号安全风险。针对它的防御仍是一个活跃的研究领域,目前尚无完整的解决方案。
本定义所依据的一手文献、同行评审文献和存档资料。
将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。
免费试用 MultipleChat了解更多