LLM 아키텍처기초 2026년 업데이트

멀티모달(Multimodal)

정의

하나의 시스템 안에서 텍스트, 이미지, 오디오, 비디오 등 두 가지 이상의 데이터 유형을 다루는 모델입니다.

멀티모달 모델은 여러 데이터 유형에 걸친 공통 표현을 학습하므로, 예를 들어 이미지에 대한 질문에 답하거나 캡션을 생성할 수 있습니다. Radford 외(2021)는 CLIP을 통해 이미지–텍스트 쌍으로 학습하면 공동 임베딩 공간이 만들어지고, 이를 바탕으로 자연어 프롬프트만으로도 강력한 제로샷 시각 인식이 가능하다는 것을 보여 주었습니다.

오늘날 주요 어시스턴트는 모두 멀티모달입니다. 차트, 스크린샷, 사진을 붙여 넣고 채팅에서 바로 질문할 수 있습니다.

참고문헌

이 정의의 근거가 된 1차 자료, 동료 심사 자료 및 기록 자료입니다.

Learning Transferable Visual Models From Natural Language Supervision (CLIP)

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Proceedings of the 38th International Conference on Machine Learning (ICML 2021).

출처 arXiv:2103.00020