La alucinación se refiere al contenido generado que no es fiel a la entrada o a los hechos del mundo. El estudio de Ji et al. (2023) distingue entre alucinaciones intrínsecas, que contradicen la fuente, y extrínsecas, que no pueden verificarse con ella, y cataloga sus causas en distintas tareas de generación de lenguaje natural.
Las alucinaciones surgen porque un modelo optimiza continuaciones plausibles, no la verdad. Se reducen (aunque no se eliminan) con el anclaje en fuentes recuperadas, un mejor entrenamiento y la verificación.
Por qué importa en MultipleChat
Comparar varios modelos y anclarlos en fuentes recuperadas permite a MultipleChat sacar a la luz los desacuerdos y señalar las afirmaciones sin respaldo antes de que lleguen al usuario.