Um embedding mapeia palavras, frases ou documentos em um espaço vetorial contínuo, em que a distância reflete o significado. Mikolov et al. (2013) mostraram que esses vetores, aprendidos a partir de texto bruto, capturam relações surpreendentemente ricas; Pennington et al. (2014) os derivaram de estatísticas globais de coocorrência de palavras no método GloVe.
Os LLMs modernos constroem embeddings contextuais — a mesma palavra recebe vetores diferentes conforme o contexto ao redor. Os embeddings são a ponte entre a linguagem humana e as operações numéricas que um modelo executa.
Por que isso importa
Os embeddings impulsionam a busca semântica, a geração aumentada por recuperação e o agrupamento (clustering). É por meio deles que uma base de conhecimento encontra o trecho que realmente responde a uma pergunta, mesmo quando nenhuma palavra-chave coincide.