I modelli multimodali apprendono una rappresentazione condivisa tra tipi di dati diversi, così possono, per esempio, rispondere a domande su un'immagine o generarne una didascalia. Radford et al. (2021) hanno dimostrato con CLIP che l'addestramento su coppie immagine–testo produce uno spazio di embedding congiunto che consente un riconoscimento visivo zero-shot molto efficace a partire da prompt in linguaggio naturale.
Gli assistenti più diffusi oggi sono multimodali: puoi incollare un grafico, uno screenshot o una foto e fare domande direttamente in chat.