언어 모델은 한 번에 한 토큰씩 생성하므로, API는 전체 답변을 버퍼에 모아 두지 않고 각 토큰이 준비되는 즉시 내보낼 수 있습니다. 이는 보통 HTML Living Standard에 정의된 브라우저 기본 스트리밍 메커니즘인 Server-Sent Events(서버 전송 이벤트)를 통해 전달됩니다.
전체 생성 시간은 그대로이지만, 사용자가 곧바로 글자를 볼 수 있기 때문에 스트리밍은 체감 지연 시간을 줄여 줍니다.
인프라UX
2026년 업데이트
스트리밍(Streaming)
정의
전체 답변이 완성될 때까지 기다리지 않고, 모델의 응답을 생성되는 대로 토큰 단위로 전송하여 텍스트가 점진적으로 표시되도록 하는 방식입니다.
참고문헌
이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.
Server-sent events (HTML Living Standard, §9.2)
사전 및 백과사전 항목
- MDN Web Docs — 서버 전송 이벤트 사용하기
- Wikipedia — Server-sent events
이 항목 인용하기
MultipleChat. “스트리밍(Streaming).” MultipleChat AI·LLM 용어집, 2026. https://multiple.chat/ai-glossary/streaming