Da ein Modell jeden Text in seinem Kontext als potenzielle Anweisung behandelt, kann von Angreifern kontrollierter Text das beabsichtigte Verhalten unterlaufen. Perez & Ribeiro (2022) demonstrierten Goal-Hijacking- und Prompt-Leaking-Angriffe, und Greshake et al. (2023) zeigten indirekte Prompt Injection, bei der bösartige Anweisungen in Webseiten oder Dokumenten platziert werden, die das Modell später abruft.
OWASP stuft Prompt Injection als größtes Sicherheitsrisiko für LLM-Anwendungen ein; die Abwehr ist ein aktives Forschungsfeld ohne vollständige Lösung.