Poiché un modello tratta tutto il testo nel suo contesto come potenzialmente istruttivo, un testo controllato da un attaccante può sovvertirne il comportamento previsto. Perez & Ribeiro (2022) hanno dimostrato attacchi di goal hijacking e prompt leaking, e Greshake et al. (2023) hanno mostrato la prompt injection indiretta, in cui le istruzioni malevole vengono inserite in pagine web o documenti che il modello recupera in seguito.
L'OWASP riconosce la prompt injection come il principale rischio di sicurezza per le applicazioni basate su LLM, e la difesa da questo attacco è un campo di ricerca attivo, ancora privo di una soluzione completa.