Os modelos multimodais aprendem uma representação compartilhada entre tipos de dados para poder, por exemplo, responder perguntas sobre uma imagem ou gerar uma legenda. Radford et al. (2021) mostraram com o CLIP que o treinamento com pares imagem–texto gera um espaço de embeddings conjunto, que permite um reconhecimento visual zero-shot robusto a partir de prompts em linguagem natural.
Os principais assistentes de hoje são multimodais: você pode colar um gráfico, uma captura de tela ou uma foto e perguntar sobre ela diretamente no chat.