Como los modelos de lenguaje producen un token cada vez, una API puede emitir cada token en cuanto está listo en lugar de almacenar en búfer la respuesta completa. Esto suele hacerse mediante Server-Sent Events, un mecanismo de streaming nativo del navegador definido en el HTML Living Standard.
El streaming reduce la latencia percibida (el usuario ve las palabras de inmediato), aunque el tiempo total de generación no cambie.