Beim Red Teaming wird ein Modell einem Stresstest unterzogen, indem man versucht, es zum Scheitern zu bringen – also unsichere, voreingenommene oder unzulässige Ausgaben hervorzurufen, damit sie vor der Veröffentlichung behoben werden können. Perez et al. (2022) zeigten, dass sich dies teilweise automatisieren lässt: Ein Sprachmodell erzeugt adversariale Testfälle gegen ein anderes und deckt so Zehntausende Fehlerfälle in großem Maßstab auf.
Red Teaming ergänzt die Forschung zu Jailbreaks und Prompt Injection und ist heute fester Bestandteil einer verantwortungsvollen Modellveröffentlichung.