Los modelos multimodales aprenden una representación compartida entre tipos de datos para poder, por ejemplo, responder preguntas sobre una imagen o generar un pie de foto. Radford et al. (2021) demostraron con CLIP que entrenar con pares imagen–texto produce un espacio de embeddings conjunto que permite un reconocimiento visual zero-shot muy sólido a partir de prompts en lenguaje natural.
Los asistentes líderes de hoy son multimodales: puedes pegar un gráfico, una captura de pantalla o una foto y preguntar sobre ello directamente en el chat.