ストリーミング

言語モデルは1トークンずつ出力するため、API は回答全体をバッファリングせず、準備ができたトークンから順に送り出せます。これは一般に、HTML Living Standard で定義されたブラウザ標準のストリーミング機構である Server-Sent Events を通じて配信されます。

ストリーミングによって、生成にかかる総時間は変わらなくても、体感的なレイテンシは下がります。ユーザーにはすぐに文字が表示されるからです。