LLM (Large Language Model)

La definizione tecnica di LLM: un modello linguistico di grandi dimensioni è una rete neurale Transformer addestrata su ampi corpora testuali per modellare la probabilità del token successivo dato tutto ciò che lo precede. Brown et al. (2020) hanno mostrato che, su scala sufficiente, questo unico obiettivo produce modelli capaci di svolgere molti compiti per cui non sono mai stati addestrati esplicitamente, semplicemente tramite un prompt: è l'apprendimento in contesto (in-context learning) che definisce l'LLM moderno.

ChatGPT, Claude, Gemini e Grok sono tutti basati su LLM. Differiscono per dati di addestramento, scala, allineamento e strumenti, ed è per questo che le loro risposte alla stessa domanda possono divergere.

Cos'è un LLM? Il significato in parole semplici

In parole semplici, il significato di LLM è questo: un modello linguistico di grandi dimensioni è un programma che ha letto un'enorme quantità di testo e ha appreso gli schemi statistici del linguaggio. «Grande» si riferisce sia ai dati di addestramento sia alle dimensioni del modello: gli LLM moderni hanno miliardi di parametri o più, i pesi regolabili che memorizzano ciò che è stato appreso. La maggior parte dei laboratori non pubblica più le dimensioni esatte dei propri modelli di punta.

Quando fai una domanda a un LLM, non va a cercare la risposta. Scrive una replica un token alla volta, scegliendo ogni volta una continuazione probabile di tutto ciò che è stato scritto finora. Ecco perché gli LLM sono fluidi e versatili, ma anche perché possono sembrare sicuri di sé pur sbagliando.

Come viene addestrato un modello linguistico di grandi dimensioni

L'addestramento avviene di solito in più fasi, ognuna basata sulla precedente:

1. 1
   Pre-addestramento. La previsione del token successivo su enormi raccolte di testo insegna al modello il linguaggio, i fatti e gli schemi di ragionamento.
2. 2
   Addestramento come assistente. L'instruction tuning, una forma di fine-tuning su conversazioni di esempio, trasforma il predittore grezzo in un assistente che esegue le richieste.
3. 3
   Addestramento sulle preferenze. Metodi come RLHF e DPO insegnano al modello quali risposte preferiscono le persone e a rifiutare le richieste dannose.

Cosa sanno fare (e non fare) gli LLM

Gli LLM gestiscono un'ampia gamma di attività linguistiche:

• Scrivere bozze, revisionare e riscrivere testi in qualsiasi tono
• Riassumere documenti lunghi e tradurre tra lingue diverse
• Rispondere a domande e spiegare concetti passo dopo passo
• Scrivere, revisionare e spiegare codice
• Risolvere problemi di ragionamento in più passaggi

Perché è importante per MultipleChat

Nessun LLM è il migliore in tutto. MultipleChat esegue ChatGPT, Claude, Gemini, Grok e Perplexity sullo stesso prompt, fianco a fianco, così puoi confrontarne le risposte e lasciare che i punti di forza di un modello compensino i punti ciechi di un altro. Scopri come funziona il confronto.