지연 시간(Latency)

LLM 시스템의 지연 시간은 보통 첫 토큰까지의 시간(time-to-first-token)과 출력 토큰당 시간(time-per-output-token)으로 나뉩니다. 어텐션 비용이 컨텍스트의 양에 비례해 커지기 때문에 두 값 모두 모델 크기와 시퀀스 길이에 따라 증가합니다. Tay 외(2022)의 서베이 논문은 이를 완화하기 위해 개발된 효율화 기법들을 정리하고 있습니다.

지연 시간을 줄이는 방법으로는 희소성(Mixture of Experts), 양자화, 캐싱, 스트리밍 등이 있으며, 각각 정확도, 메모리 또는 복잡성을 일부 희생하는 대신 속도를 얻습니다.