AI 용어집

Adam (Optimizer)

파라미터마다 학습률을 다르게 조정해 신경망 학습을 더 빠르고 안정적으로 만들어 주는, 가장 널리 쓰이는 최적화 알고리즘입니다.

AI Agent

한 번 대답하고 끝나는 것이 아니라, 도구를 호출하고 그 결과를 확인하며 다음 행동을 스스로 판단해 여러 단계에 걸친 작업을 계획하고 실행하는 AI 시스템입니다.

Alignment

AI 시스템의 행동을 인간의 의도와 가치에 맞추는 작업으로, 모델이 지시를 안정적으로 따르고 유해한 요청을 거부하는 것도 바로 이 작업 덕분입니다.

API (Application Programming Interface)

채팅 화면을 거치지 않고 소프트웨어가 모델과 직접 통신할 수 있게 해주는 프로그래밍 인터페이스로, 구조화된 데이터를 반환하며 토큰 단위로 요금이 부과됩니다.

Attention Mechanism

모델이 출력의 각 부분을 만들어낼 때 입력의 어느 부분이 얼마나 중요한지 가중치를 매기는 기법으로, 모든 Transformer의 핵심 연산입니다.

Backpropagation

예측 오차를 뒤에서 앞으로 전파시켜 각 가중치를 조정함으로써 신경망을 학습시키는 알고리즘으로, 거의 모든 딥러닝의 근간이 되는 기술입니다.

Batch Normalization

각 레이어에 들어가는 입력값을 정규화해 더 깊은 신경망도 더 빠르고 안정적으로 학습할 수 있게 해주는 학습 기법입니다.

Benchmark

추론, 지식, 코딩 같은 과제에서 모델의 성능을 측정하고 비교하기 위한 표준화된 테스트입니다. 순위를 매기는 데는 유용하지만, 직접 자신의 업무에 써 보는 것을 완전히 대체하지는 못합니다.

BERT (Bidirectional Encoder Representations from Transformers)

텍스트를 양방향으로 동시에 읽도록 사전 학습된 인코더 전용 Transformer로, 분류·검색·정보 추출 같은 이해 중심 작업에 널리 쓰입니다.

BLEU

기계 번역 결과가 사람이 만든 참조 번역과 단어 시퀀스 면에서 얼마나 겹치는지를 점수화하는, 오래전부터 쓰여 온 자동 평가 지표입니다.

Catastrophic Forgetting

신경망이 새로운 데이터로 학습할 때 이전에 익힌 능력을 잃어버리는 현상으로, 모델을 계속 업데이트하는 데 있어 핵심적인 난제입니다.

Chain of Thought (CoT)

최종 답을 내놓기 전에 모델이 중간 추론 과정을 거치도록 유도하는 프롬프트 기법으로, 여러 단계를 거쳐야 하는 문제의 정확도를 높여줍니다.

ChatGPT

2022년 11월 출시된 OpenAI의 대화형 AI 어시스턴트로, 명령어에 맞춰 응답하도록 튜닝된 대규모 언어모델을 대중에게 널리 알린 서비스입니다.

Claude

긴 컨텍스트, 뛰어난 추론 능력, 그리고 Constitutional AI라는 안전성 접근 방식으로 잘 알려진 Anthropic의 대규모 언어모델 시리즈입니다.

CNN (Convolutional Neural Network)

학습된 필터를 이용해 공간적 패턴을 감지하는 신경망 구조로, 현대 컴퓨터 비전의 근간이 되는 기술입니다.

Context Window

모델이 한 번의 호출에서 고려할 수 있는 전체 텍스트의 양을 토큰 단위로 나타낸 것으로, 시스템 프롬프트·대화 이력·첨부 파일·그리고 생성 중인 답변까지 모두 포함됩니다.

관련 도구: Context Window Visualizer.

Cosine Similarity

두 벡터 사이의 각도로 유사도를 측정하는 방법으로, 검색과 RAG에서 임베딩을 비교할 때 표준적으로 사용됩니다.

DALL·E

자연어 설명만으로 이미지를 생성하는 OpenAI의 텍스트-이미지 모델로, 프롬프트 기반 이미지 생성을 대중화시킨 주역입니다.

Diffusion Model

점진적으로 노이즈를 더하는 과정을 거꾸로 되돌리는 방식으로 데이터를 생성하는 방법을 학습하는 생성 모델로, 오늘날 대부분의 AI 이미지 생성 기술의 기반입니다.

DPO (Direct Preference Optimization)

RLHF에서 쓰이는 별도의 보상 모델 없이, 사람이 매긴 선호도 쌍 데이터로 간단한 분류 손실 함수를 이용해 모델을 직접 학습시키는 정렬 기법입니다.

Dropout

학습 중에 뉴런 일부를 무작위로 비활성화해 과적합을 막고 일반화 성능을 높이는 정규화 기법입니다.

Embedding

텍스트 한 조각의 의미를 숫자 목록으로 표현한 것으로, 의미가 비슷한 항목일수록 벡터 공간에서 서로 가깝게 위치합니다.

Few-Shot Prompting

프롬프트 안에 몇 가지 예시를 함께 넣어주어, 모델이 패턴을 스스로 파악한 뒤 답하도록 하는 방법입니다.

Fine-Tuning

사전 학습된 모델을 특정 도메인이나 작업, 스타일에 맞는 추가 데이터로 계속 학습시켜, 처음부터 새로 만들지 않고도 목적에 맞게 다듬는 과정입니다.

GAN (Generative Adversarial Network)

가짜 데이터를 만들어내는 생성자와 그것을 가려내려는 판별자, 두 신경망을 서로 경쟁시켜 학습하는 생성 모델 구조입니다.

Gemini

텍스트, 이미지, 오디오, 비디오를 함께 처리하도록 처음부터 멀티모달로 설계된 Google DeepMind의 모델 시리즈입니다.

GPT (Generative Pre-trained Transformer)

대규모 텍스트 코퍼스에서 다음 토큰을 예측하도록 사전 학습된 뒤, 다양한 후속 작업에 맞게 조정되는 디코더 전용 Transformer 모델 시리즈입니다.

Grok

X(구 트위터) 플랫폼과 연동되어 실시간 정보와 대화체 스타일을 내세우는 xAI의 대규모 언어모델 겸 AI 어시스턴트입니다.

Hallucination

언어모델이 유창하고 자신 있는 어조로 말하지만, 실제로는 사실과 다르거나 근거 자료로 뒷받침되지 않는 내용을 만들어내는 현상입니다.

In-Context Learning

가중치를 전혀 바꾸지 않고도, 추론 시점에 프롬프트에 담긴 예시나 지시만으로 모델이 새로운 작업을 익히는 능력입니다.

Instruction Tuning

자연어 지시문 형태로 표현된 다양한 작업들로 모델을 파인튜닝하는 과정으로, 이렇게 학습한 모델은 학습 때 본 적 없는 작업에서도 새로운 지시를 잘 따르게 됩니다.

Jailbreak

모델의 안전 학습을 우회해, 원래는 거부하도록 되어 있는 콘텐츠를 만들어내게 하려는 목적으로 설계된 프롬프트입니다.

Knowledge Distillation

크기가 작은 "학생" 모델이 더 큰 "교사" 모델을 모방하도록 학습시켜, 성능은 상당 부분 유지하면서 더 저렴하고 빠른 모델로 옮겨 담는 방법입니다.

Knowledge Graph

개체와 개체 사이의 관계를 구조화된 네트워크 형태로 표현한 것으로, 기계가 조회하고 추론할 수 있는 형태로 사실 정보를 저장하는 데 쓰입니다.

Latency

프롬프트를 보내고 응답을 받기까지 걸리는 지연 시간입니다. 모델이 크고 컨텍스트가 길수록 지연 시간도 늘어나며, 이는 AI 제품에서 속도를 결정짓는 가장 큰 요인입니다.

Llama

Meta가 공개적으로 배포한 대규모 언어모델 시리즈로, 강력하면서도 로컬에서 직접 구동할 수 있는 모델을 연구자와 개발자들에게 널리 보급한 것으로 평가받습니다.

LLM (Large Language Model)

방대한 양의 텍스트로 다음 토큰을 예측하도록 학습된 신경망으로, 범용적인 언어 이해와 생성 능력을 갖추고 있습니다.

LoRA (Low-Rank Adaptation)

원래 가중치는 그대로 고정한 채, 작게 추가한 행렬만 학습시켜 대형 모델을 적은 자원으로 파인튜닝하는 기법입니다.

LSTM (Long Short-Term Memory)

게이트 구조를 이용해 긴 시퀀스에 걸친 정보를 기억할 수 있는 순환 신경망 구조로, Transformer가 등장하기 전까지 시퀀스 모델링의 주력 기술이었습니다.

MCP (Model Context Protocol)

AI 어시스턴트를 외부 도구나 데이터 소스에 연결하기 위한 공개 표준으로, 한 번 만든 연동을 여러 모델에서 그대로 재사용할 수 있게 해줍니다.

Mixture of Experts (MoE)

입력마다 전체 모델이 아니라 그중 특화된 일부 서브 네트워크만 골라 처리하도록 하는 구조로, 쿼리당 비용은 낮추면서도 큰 모델 용량을 확보할 수 있습니다.

Model Card

모델의 용도, 그룹별 성능 차이, 한계점을 정리한 짧고 표준화된 문서로, 투명하고 책임감 있는 모델 공개를 돕기 위해 만들어집니다.

Multimodal

텍스트, 이미지, 오디오, 비디오처럼 서로 다른 종류의 데이터를 한 시스템 안에서 함께 다루는 모델을 가리킵니다.

Nucleus Sampling (Top-p)

확률을 높은 순으로 더했을 때 합이 p가 되는 가장 작은 후보 집합에서 다음 토큰을 뽑는 디코딩 방식으로, 지나치게 반복적이거나 앞뒤가 맞지 않는 문장을 모두 피할 수 있습니다.

Perplexity

언어모델의 품질을 나타내는 대표적인 내재적 지표로, 모델이 처음 보는 텍스트에 얼마나 "놀라는지"를 나타냅니다. 수치가 낮을수록 실제 텍스트를 더 잘 예측한다는 뜻입니다.

Prompt

모델에게서 원하는 응답을 이끌어내기 위해 입력하는 텍스트입니다. 문장을 어떻게 쓰는지, 예시를 넣는지, 구조를 어떻게 잡는지가 결과물의 품질을 크게 좌우합니다.

Prompt Injection

악의적인 지시문을 직접, 혹은 검색된 콘텐츠를 통해 모델의 입력에 몰래 끼워 넣어 시스템 프롬프트를 무력화하거나 모델의 동작을 가로채려는 공격 기법입니다.

Quantization

모델 가중치를 더 낮은 수치 정밀도로 저장해 메모리 사용량을 줄이고 추론 속도를 높이는 기법으로, 보통 품질 저하는 크지 않습니다.

RAG (Retrieval-Augmented Generation)

질의 시점에 관련 문서를 검색해 언어모델에 함께 제공하는 기법으로, 답변이 모델의 기억에만 의존하지 않고 실제 근거 자료에 기반하도록 해줍니다.

Red Teaming

배포하기 전에 적대적인 입력으로 모델을 의도적으로 시험해, 유해하거나 안전하지 않거나 정책을 위반하는 동작을 미리 찾아내는 작업입니다.

Reranking

1차로 검색된 후보 문서들을 더 정교한 모델로 다시 채점해, 실제로 가장 관련성 높은 결과를 상위로 끌어올리는 2단계 검색 과정입니다.

RLHF (Reinforcement Learning from Human Feedback)

사람이 매긴 선호도 평가를 이용해 사람들이 실제로 선호하는 응답이 무엇인지 모델에게 가르치는 학습 방법으로, 모델을 더 도움이 되고 의도에 맞게 만들어줍니다.

ROUGE

생성된 텍스트와 사람이 작성한 참조 요약문 사이의 중복 정도를 측정하는, 요약 작업용 자동 평가 지표 모음입니다.

Scaling Laws

파라미터, 데이터, 연산량을 늘릴수록 모델 성능이 어떻게 예측 가능한 방식으로 향상되는지를 보여주는 경험적 법칙입니다.

Self-Consistency

같은 질문에 대해 여러 개의 사고 과정을 샘플링한 뒤, 그중 가장 많이 일치하는 답을 최종 답으로 채택하는 추론 기법입니다.

Sequence-to-Sequence (Seq2Seq)

하나의 시퀀스를 다른 시퀀스로 변환하는 인코더-디코더 신경망 구조로, 신경망 기반 기계 번역과 이후의 생성형 대화까지 가능하게 만든 설계입니다.

Speculative Decoding

작고 빠른 모델이 먼저 여러 토큰을 초안으로 생성하면 큰 모델이 이를 한꺼번에 검증하는 추론 가속 기법으로, 결과는 동일하면서도 속도가 더 빠릅니다.

Stable Diffusion

잠재 공간에서 동작하는 오픈소스 텍스트-이미지 디퓨전 모델로, 고품질 이미지 생성을 일반 소비자용 하드웨어에서도 가능하게 만들었습니다.

Streaming

전체 답변이 완성될 때까지 기다리지 않고, 모델이 생성하는 대로 토큰 단위로 응답을 전송해 텍스트가 점진적으로 나타나게 하는 방식입니다.

System Prompt

대화가 시작되기 전에 모델의 역할, 말투, 규칙을 정해두는 숨겨진 최우선 지시문으로, 이후 이어지는 모든 응답의 틀을 결정합니다.

Temperature

모델 출력의 무작위성을 조절하는 설정값입니다. 낮게 설정하면 일관되고 예측 가능한 답이 나오고, 높게 설정하면 더 다양하고 창의적인 답이 나옵니다.

Token

언어모델이 실제로 읽고 쓰는 최소 단위로, 보통 온전한 단어가 아니라 그보다 작은 조각 단위입니다. 컨텍스트 한도, 요금, 속도는 모두 토큰 단위로 측정됩니다.

관련 도구: AI Token Counter.

Tool Use / Function Calling

모델이 웹 검색, 코드 실행, 데이터베이스 조회 같은 외부 함수를 직접 호출하고, 그 결과를 답변 안에 반영할 수 있게 하는 기능입니다.

Transformer

오늘날 거의 모든 대규모 언어모델의 근간이 되는 신경망 구조로, 순환이나 합성곱 대신 셀프 어텐션이라는 메커니즘 위에 세워져 있습니다.

Tree of Thoughts (ToT)

모델이 여러 갈래로 뻗어나가는 풀이 경로를 탐색하고 평가하며 필요하면 되돌아갈 수 있게 하는 추론 프레임워크로, 한 번에 답을 찍기보다는 신중하게 탐색해 나가는 방식입니다.

VAE (Variational Autoencoder)

확률적인 잠재 공간을 학습하는 생성 모델로, 데이터를 압축하는 동시에 그 공간에서 새로운 샘플을 만들어낼 수도 있습니다.

Vector Database

정확히 일치하는 값을 찾는 대신 임베딩 유사도를 기준으로 색인하고 검색하는 데이터베이스로, 의미상 관련된 콘텐츠를 밀리초 단위로 찾아낼 수 있습니다.

Vision Transformer (ViT)

이미지 패치에 직접 적용한 Transformer로, 언어모델을 떠받치는 구조가 컴퓨터 비전에서도 뛰어난 성능을 낸다는 것을 보여주었습니다.

Watermarking

AI가 생성한 텍스트에 눈에 띄지 않으면서도 통계적으로 감지 가능한 신호를 심어두는 기술로, 나중에 이 텍스트가 기계로 만들어졌음을 식별할 수 있게 해줍니다.

Whisper

매우 크고 다양한 음성 데이터셋으로 학습되어, 여러 언어에 걸쳐 안정적으로 음성을 받아쓰고 번역할 수 있는 OpenAI의 음성 인식 모델입니다.

Zero-Shot Prompting

예시를 전혀 주지 않고, 오직 지시문과 모델이 사전 학습으로 쌓은 지식만으로 작업을 수행하도록 요청하는 방식입니다.