安全信息安全 2026 年更新

红队测试(Red Teaming)

定义

在部署前用对抗性输入刻意试探模型,以发现有害、不安全或违反政策的行为。

红队测试通过设法让模型“出错”来对其进行压力测试——诱导它产生不安全、有偏见或被禁止的输出,以便在发布前修复。Perez 等人(2022)证明,这一过程可以部分自动化:用一个语言模型针对另一个模型生成对抗性测试用例,从而大规模地发现数以万计的失败案例。

红队测试与越狱和提示词注入研究相辅相成,如今已是负责任的模型发布流程中的标准环节。

参考文献

本定义所依据的一手文献、同行评审文献和存档资料。

Red Teaming Language Models with Language Models
Perez, E., Huang, S., Song, F., Cai, T., Ring, R., Aslanides, J., Glaese, A., McAleese, N., & Irving, G. (2022). Proceedings of EMNLP 2022.

词典与百科条目

引用本条目

MultipleChat.《红队测试(Red Teaming)》,MultipleChat AI 与 LLM 术语表,2026。https://multiple.chat/ai-glossary/red-teaming

相关术语

实际体验一下

将同一个提示词同时发给 ChatGPT、Claude、Gemini、Grok 和 Perplexity,并排对比——用你自己的文件作为上下文,得到可以相互核对的答案。

免费试用 MultipleChat

了解更多

查看付费方案