모델 및 제품LLM 아키텍처 2026년 업데이트

BERT(Bidirectional Encoder Representations from Transformers)

정의

텍스트를 양방향으로 동시에 읽도록 사전 학습된 인코더 전용 Transformer로, 분류, 검색, 정보 추출 같은 이해 중심 작업에 널리 쓰입니다.

Devlin 외(2019)가 발표한 BERT는 마스크 언어 모델링 목표로 사전 학습됩니다. 무작위로 토큰을 가린 뒤 왼쪽과 오른쪽 문맥을 모두 활용해 그 토큰을 예측하도록 학습하는 방식입니다. 이러한 양방향 읽기 덕분에 언어 이해에서 탁월한 성능을 보였고, 수많은 NLP 벤치마크에서 최고 성능 기록을 새로 썼습니다.

GPT와 달리 BERT는 자유로운 생성보다는 이해를 위해 만들어진 인코더이며, 지금도 많은 검색 및 분류 시스템의 근간이 되고 있습니다.

참고문헌

이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2019). Proceedings of NAACL-HLT 2019, pp. 4171–4186.

출처 arXiv:1810.04805 DOI:10.18653/v1/N19-1423

사전 및 백과사전 항목

Wikipedia — BERT (language model)
IBM — Think / Topics — What is BERT?

이 항목 인용하기

MultipleChat. “BERT(Bidirectional Encoder Representations from Transformers).” MultipleChat AI·LLM 용어집, 2026. https://multiple.chat/ai-glossary/bert

관련 용어

Transformer(트랜스포머)

사실상 모든 최신 대규모 언어 모델의 기반이 되는 신경망 아키텍처로, …메커니즘을 토대로 합니다

GPT(Generative Pre-trained Transformer)

대규모 텍스트…로 다음 토큰을 예측하도록 사전 학습된 디코더 전용 Transformer 모델 계열

파인튜닝(Fine-Tuning)

사전 학습된 모델을 추가적인 전문 데이터로 계속 학습시켜 특정 도메인, 작업 또는…에 맞추는 것

전체 용어집으로 돌아가기

실제로 확인해 보기

같은 프롬프트를 ChatGPT, Claude, Gemini, Grok, Perplexity에서 나란히 실행해 보세요. 내 파일을 컨텍스트로 활용하고, 답변을 서로 교차 검증할 수 있습니다.

MultipleChat 무료로 사용해 보기

더 알아보기

유료 요금제 보기

AI 모델 비교

같은 프롬프트를 여러 모델에 보내고 어떤 답변이 버티는지 확인하세요.

휴머나이저

AI 휴머나이저

AI 초안을 다른 모델로 다시 써서 자연스럽게 읽히게 만드세요.

무료 AI 휴머나이저

유료 요금제로 넘어가기 전에 AI 문장을 무료로 다듬어 보세요.

AI 탐지기

AI 특유의 패턴을 찾아내고 손봐야 할 부분만 고치세요.

AI 탐지 회피

탐지기가 무엇을 측정하는지 이해하고 정직하게 쓰는 법을 익히세요.

워크스페이스

올인원 AI

ChatGPT, Claude, Gemini, Grok, Perplexity를 하나의 작업 공간에서.

무료 AI 도구

무료 도구로 시작하고, 멀티 모델 작업이 시간을 아껴줄 때 유료로 옮기세요.