Da Sprachmodelle ein Token nach dem anderen erzeugen, kann eine API jedes Token ausgeben, sobald es bereitsteht, statt die vollständige Antwort zwischenzuspeichern. Übertragen wird dies meist über Server-Sent Events, einen browsereigenen Streaming-Mechanismus, der im HTML Living Standard definiert ist.
Streaming senkt die gefühlte Latenz – der Nutzer sieht sofort Wörter –, obwohl die gesamte Generierungszeit unverändert bleibt.