LLM 아키텍처효율성 2026년 업데이트

전문가 혼합(Mixture of Experts, MoE)

정의

각 입력을 모델 전체가 아닌 소수의 특화된 하위 네트워크로 라우팅하는 아키텍처로, 쿼리당 비용을 낮추면서도 큰 용량을 확보할 수 있습니다.

전문가 혼합(Mixture-of-Experts) 모델에서는 게이팅 네트워크가 각 토큰을 "전문가" 하위 네트워크 중 일부에만 보내므로, 입력마다 모델의 일부분만 활성화됩니다. Shazeer 외(2017)가 희소 게이트 MoE 레이어를 처음 제안했고, Fedus 외(2021)는 Switch Transformer에서 라우팅을 단순화하여 토큰당 연산량을 거의 일정하게 유지하면서 1조 파라미터 규모의 모델로 확장했습니다.

MoE를 사용하면 모델이 막대한 전체 용량을 갖추면서도 추론 비용은 훨씬 작은 밀집(dense) 모델에 가깝게 유지할 수 있습니다.

참고문헌

이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.

Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer
Shazeer, N., Mirhoseini, A., Maziarz, K., Davis, A., Le, Q., Hinton, G., & Dean, J. (2017). International Conference on Learning Representations (ICLR 2017).
Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity
Fedus, W., Zoph, B., & Shazeer, N. (2022). Journal of Machine Learning Research, 23(120).

사전 및 백과사전 항목

이 항목 인용하기

MultipleChat. "전문가 혼합(Mixture of Experts, MoE)." MultipleChat AI 및 LLM 용어집, 2026. https://multiple.chat/ai-glossary/moe

관련 용어

Transformer(트랜스포머)
사실상 모든 최신 대규모 언어 모델의 기반이 되는 신경망 아키텍처로, …메커니즘을 토대로 합니다
LLM(대규모 언어 모델)
LLM은 대규모 언어 모델(large language model)의 약자로, 방대한 텍스트로 학습해 다음 토큰을 예측하는 AI 시스템입니다…
지연 시간(Latency)
프롬프트를 보낸 뒤 응답을 받기까지 걸리는 시간입니다. 모델이 클수록, 컨텍스트가 길수록 늘어나며…
전체 용어집으로 돌아가기

실제로 확인해 보기

같은 프롬프트를 ChatGPT, Claude, Gemini, Grok, Perplexity에서 나란히 실행해 보세요. 내 파일을 컨텍스트로 활용하고, 답변을 서로 교차 검증할 수 있습니다.

MultipleChat 무료로 사용해 보기

더 알아보기

관련 AI 가이드와 다음 단계

유료 요금제 보기
비교

AI 모델 비교

같은 프롬프트를 여러 모델에 보내고 어떤 답변이 버티는지 확인하세요.

 휴머나이저

AI 휴머나이저

AI 초안을 다른 모델로 다시 써서 자연스럽게 읽히게 만드세요.

 무료

무료 AI 휴머나이저

유료 요금제로 넘어가기 전에 AI 문장을 무료로 다듬어 보세요.

 탐지기

AI 탐지기

AI 특유의 패턴을 찾아내고 손봐야 할 부분만 고치세요.

 가이드

AI 탐지 회피

탐지기가 무엇을 측정하는지 이해하고 정직하게 쓰는 법을 익히세요.

 워크스페이스

올인원 AI

ChatGPT, Claude, Gemini, Grok, Perplexity를 하나의 작업 공간에서.

 무료 도구

무료 AI 도구

무료 도구로 시작하고, 멀티 모델 작업이 시간을 아껴줄 때 유료로 옮기세요.