Multimodale Modelle lernen eine gemeinsame Repräsentation über verschiedene Datentypen hinweg, sodass sie etwa Fragen zu einem Bild beantworten oder eine Bildunterschrift erzeugen können. Radford et al. (2021) zeigten mit CLIP, dass das Training auf Bild-Text-Paaren einen gemeinsamen Embedding-Raum ergibt, der eine starke Zero-Shot-Bilderkennung anhand natürlichsprachlicher Prompts ermöglicht.
Die führenden Assistenten von heute sind multimodal: Sie können ein Diagramm, einen Screenshot oder ein Foto einfügen und direkt im Chat danach fragen.