多模态模型会学习一种跨数据类型的共享表示，因此能够做到诸如回答关于图像的问题或生成图片说明等事情。Radford 等人（2021）通过 CLIP 证明，基于图像–文本对进行训练可以得到一个联合嵌入空间，从而凭借自然语言提示实现强大的零样本视觉识别。
如今领先的 AI 助手都是多模态的：你可以直接在聊天中粘贴图表、截图或照片，并就其内容提问。
LLM 架构基础概念
2026 年更新
多模态
定义
一种能在同一系统中处理多种数据类型（如文本、图像、音频或视频）的模型。
参考文献
本定义所依据的一手文献、同行评审文献和存档资料。
Learning Transferable Visual Models From Natural Language Supervision (CLIP)
词典与百科条目
- Wikipedia — Multimodal learning
- IBM — Think / Topics — What is multimodal AI?
引用本条目
MultipleChat.《多模态（Multimodal）》. MultipleChat AI 与 LLM 术语表，2026. https://multiple.chat/ai-glossary/multimodal