LLM의 기술적 정의는 다음과 같습니다. 대규모 언어 모델은 광범위한 텍스트 코퍼스로 학습하여, 앞선 모든 내용이 주어졌을 때 다음 토큰이 나올 확률을 모델링하는 Transformer 신경망입니다. Brown 외(2020)는 충분한 규모에서 이 단일 목표만으로도, 명시적으로 학습하지 않은 수많은 작업을 프롬프트만으로 수행할 수 있는 모델이 만들어진다는 것을 보여 주었습니다. 이러한 인컨텍스트 학습(in-context learning) 능력이 바로 현대 LLM을 규정하는 특징입니다.
ChatGPT, Claude, Gemini, Grok은 모두 LLM을 기반으로 만들어졌습니다. 학습 데이터, 규모, 정렬(alignment) 방식, 도구 구성이 서로 다르기 때문에 같은 질문에도 답변이 엇갈릴 수 있습니다.
LLM이란? 쉽게 풀어 본 의미
일상적인 말로 하면 LLM의 의미는 간단합니다. 대규모 언어 모델은 엄청난 양의 텍스트를 읽고 언어의 통계적 패턴을 학습한 프로그램입니다. 여기서 "대규모"는 학습 데이터의 양과 모델의 크기를 모두 가리킵니다. 현대 LLM은 수십억 개 이상의 파라미터, 즉 학습한 내용을 저장하는 조정 가능한 가중치를 갖고 있습니다. 대부분의 연구소는 더 이상 자사 플래그십 모델의 정확한 크기를 공개하지 않습니다.
LLM에 질문을 하면 LLM은 답을 찾아보지 않습니다. 지금까지의 모든 내용에 이어질 가능성이 높은 다음 내용을 매번 선택하면서, 한 번에 한 토큰씩 답변을 작성합니다. 그래서 LLM은 유창하고 유연하지만, 동시에 틀린 내용을 자신 있게 말할 수도 있습니다.
대규모 언어 모델은 어떻게 학습되는가
학습은 보통 여러 단계로 진행되며, 각 단계는 이전 단계를 토대로 이루어집니다.
- 1사전 학습(Pre-training). 방대한 텍스트 모음으로 다음 토큰을 예측하면서 모델은 언어, 사실, 추론 패턴을 익힙니다.
- 2
- 3
LLM이 할 수 있는 일과 할 수 없는 일
LLM은 다양한 언어 작업을 처리합니다.
- 원하는 어조로 글 초안 작성, 편집, 다시 쓰기
- 긴 문서 요약 및 언어 간 번역
- 질문에 답하고 개념을 단계별로 설명
- 코드 작성, 리뷰, 설명
- 여러 단계의 추론이 필요한 문제 풀이
한계도 그만큼 중요합니다. LLM은 사실을 환각으로 지어낼 수 있고, 내장된 지식은 학습 데이터 기준 시점에서 멈춰 있으며, 컨텍스트 윈도우에 들어가는 만큼의 텍스트만 고려할 수 있습니다. 검색 증강(RAG), 웹 검색, 그리고 다른 모델과 답변을 교차 검증하는 방법이 이 세 가지 한계를 모두 보완해 줍니다.
MultipleChat에서 중요한 이유
모든 면에서 최고인 LLM은 없습니다. MultipleChat은 같은 프롬프트로 ChatGPT, Claude, Gemini, Grok, Perplexity를 나란히 실행하므로, 답변을 비교하고 한 모델의 강점으로 다른 모델의 사각지대를 보완할 수 있습니다. 비교 기능이 작동하는 방식을 확인해 보세요.