Per allucinazione si intende un contenuto generato che non è fedele all'input o ai fatti del mondo. La rassegna di Ji et al. (2023) distingue le allucinazioni intrinseche, che contraddicono la fonte, da quelle estrinseche, che non possono essere verificate rispetto a essa, e cataloga le loro cause nei vari compiti di generazione del linguaggio naturale.
Le allucinazioni nascono perché un modello ottimizza per continuazioni plausibili, non per la verità. Si riducono, ma non si eliminano, con l'ancoraggio a fonti recuperate, un addestramento migliore e la verifica.
Perché è importante per MultipleChat
Confrontare più modelli e ancorarli a fonti recuperate permette a MultipleChat di far emergere i disaccordi e segnalare le affermazioni non supportate prima che arrivino all'utente.