Comme les modèles de langage produisent un token à la fois, une API peut émettre chaque token dès qu’il est prêt au lieu de mettre en mémoire tampon la réponse complète. Ce flux est généralement transmis via Server-Sent Events, un mécanisme de streaming natif des navigateurs défini dans le HTML Living Standard.
Le streaming réduit la latence perçue (l’utilisateur voit les mots s’afficher immédiatement), même si la durée totale de génération reste inchangée.