LLM アーキテクチャ基礎 2026年更新

マルチモーダル

定義

テキスト、画像、音声、動画など、複数の種類のデータを1つのシステムで扱えるモデル。

マルチモーダルモデルは、異なる種類のデータに共通する表現を学習します。これにより、たとえば画像について質問に答えたり、キャプションを生成したりできます。Radford ら（2021）は CLIP で、画像とテキストのペアで学習すると共通の埋め込み空間が得られ、自然言語のプロンプトから高精度なゼロショット画像認識が可能になることを示しました。

現在の主要なアシスタントはマルチモーダルに対応しています。グラフ、スクリーンショット、写真を貼り付けて、チャットでそのまま質問できます。

参考文献

この定義の根拠となる一次資料、査読済み資料、アーカイブ資料です。

Learning Transferable Visual Models From Natural Language Supervision (CLIP)

Radford, A., Kim, J. W., Hallacy, C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., Krueger, G., & Sutskever, I. (2021). Proceedings of the 38th International Conference on Machine Learning (ICML 2021).

出典 arXiv:2103.00020