Le red teaming met un modèle à l’épreuve en cherchant à le faire échouer, c’est-à-dire à lui faire produire des sorties dangereuses, biaisées ou interdites afin de les corriger avant sa publication. Perez et al. (2022) ont montré que ce processus peut être en partie automatisé, en utilisant un modèle de langage pour générer des cas de test adverses contre un autre et faire émerger des dizaines de milliers de cas d’échec à grande échelle.
Le red teaming complète les recherches sur le jailbreak et l’injection de prompt, et fait désormais partie intégrante d’une publication responsable des modèles.