レッドチーミング

レッドチーミングは、あえてモデルを失敗させようとすることで、その耐性を検証する手法です。危険な出力、偏った出力、禁止された出力を引き出し、公開前に修正できるようにします。Perez ら（2022）は、ある言語モデルを使って別のモデルに対する敵対的なテストケースを生成することで、このプロセスを部分的に自動化でき、数万件規模の失敗例を洗い出せることを示しました。

レッドチーミングは、ジェイルブレイクやプロンプトインジェクションの研究を補完するもので、現在では責任あるモデル公開の標準的な工程となっています。