Les modèles multimodaux apprennent une représentation commune à plusieurs types de données, ce qui leur permet par exemple de répondre à des questions sur une image ou d’en générer une légende. Avec CLIP, Radford et al. (2021) ont montré qu’un entraînement sur des paires image-texte produit un espace d’embeddings commun permettant une reconnaissance visuelle zero-shot performante à partir de prompts en langage naturel.
Les principaux assistants actuels sont multimodaux : vous pouvez coller un graphique, une capture d’écran ou une photo et poser directement vos questions dessus dans le chat.