Como os modelos de linguagem produzem um token por vez, uma API pode emitir cada token assim que ele fica pronto, em vez de acumular a resposta inteira. Isso costuma ser feito via Server-Sent Events, um mecanismo de streaming nativo dos navegadores definido no HTML Living Standard.
O streaming reduz a latência percebida — o usuário vê as palavras imediatamente —, embora o tempo total de geração não mude.