Il glossario dell'IA

Adam (ottimizzatore)

L'algoritmo di ottimizzazione più diffuso: adatta il tasso di apprendimento di ogni singolo parametro e rende l'addestramento delle reti neurali più rapido e stabile.

Agente IA

Un sistema di IA che, invece di dare una sola risposta e fermarsi, pianifica ed esegue da sé attività in più passaggi: richiama strumenti, ne verifica i risultati e decide l'azione successiva.

Allineamento (Alignment)

Il lavoro che mira a far corrispondere il comportamento di un sistema di IA alle intenzioni e ai valori umani: è grazie a questo che un modello segue le istruzioni in modo affidabile e rifiuta le richieste dannose.

API (interfaccia di programmazione delle applicazioni)

Un'interfaccia di programmazione che permette a un software di comunicare direttamente con un modello senza passare dalla chat: restituisce dati strutturati e viene fatturata a consumo, per token.

Meccanismo di attenzione

La tecnica con cui un modello pesa l'importanza di ogni parte dell'input mentre genera ciascuna parte dell'output: l'operazione centrale di ogni Transformer.

Retropropagazione (Backpropagation)

L'algoritmo che addestra le reti neurali propagando all'indietro gli errori di previsione per regolare ogni peso: la base di quasi tutto il deep learning.

Batch normalization

Una tecnica di addestramento che normalizza gli input di ogni livello, permettendo anche alle reti più profonde di imparare in modo più rapido e stabile.

Benchmark

Un test standardizzato per misurare e confrontare le prestazioni dei modelli in compiti come ragionamento, conoscenze o programmazione. Utile per stilare classifiche, ma non sostituisce mai del tutto la prova del modello sul tuo lavoro.

BERT (Bidirectional Encoder Representations from Transformers)

Un Transformer solo encoder, pre-addestrato a leggere il testo in entrambe le direzioni contemporaneamente, molto usato per compiti di comprensione come classificazione, ricerca ed estrazione di informazioni.

BLEU

Una metrica automatica di lunga data per la traduzione automatica, che assegna un punteggio in base a quanto le sequenze di parole dell'output coincidono con traduzioni di riferimento umane.

Oblio catastrofico (Catastrophic Forgetting)

La tendenza di una rete neurale a perdere capacità già acquisite quando viene addestrata su nuovi dati: una sfida fondamentale per i modelli aggiornati di continuo.

Catena di pensiero (Chain of Thought, CoT)

Una tecnica di prompting che spinge il modello a passare per ragionamenti intermedi prima di dare la risposta finale, migliorando la precisione sui problemi in più passaggi.

ChatGPT

L'assistente conversazionale di OpenAI, lanciato a novembre 2022, che ha fatto conoscere al grande pubblico i grandi modelli linguistici addestrati a seguire istruzioni.

Claude

La famiglia di grandi modelli linguistici di Anthropic, nota per il contesto lungo, l'ottima capacità di ragionamento e un approccio alla sicurezza chiamato Constitutional AI.

CNN (rete neurale convoluzionale)

Un'architettura di rete neurale che usa filtri appresi per riconoscere schemi spaziali: una delle basi della moderna visione artificiale.

Finestra di contesto

La quantità totale di testo, misurata in token, che un modello può considerare in una singola chiamata: comprende prompt di sistema, cronologia della conversazione, allegati e anche la risposta in fase di generazione.

Strumento correlato: visualizzatore della finestra di contesto.

Similarità del coseno

Una misura della somiglianza tra due vettori basata sull'angolo che li separa: il metodo standard per confrontare gli embedding nella ricerca e nella RAG.

DALL·E

Il modello text-to-image di OpenAI, che genera immagini a partire da descrizioni in linguaggio naturale e ha reso popolare la creazione di immagini tramite prompt.

Modello di diffusione (Diffusion Model)

Un modello generativo che impara a creare dati invertendo un processo di aggiunta graduale di rumore: è la base della maggior parte dei generatori di immagini IA di oggi.

DPO (ottimizzazione diretta delle preferenze)

Un metodo di allineamento che addestra direttamente il modello su coppie di preferenze umane con una semplice funzione di perdita di classificazione, senza il modello di ricompensa separato usato nella RLHF.

Dropout

Una tecnica di regolarizzazione che disattiva casualmente alcuni neuroni durante l'addestramento per evitare l'overfitting e migliorare la capacità di generalizzazione.

Embedding

Una lista di numeri che rappresenta il significato di un frammento di testo, in modo che gli elementi con significato simile si trovino vicini nello spazio vettoriale.

Few-shot prompting

Inserire nel prompt alcuni esempi già risolti, così che il modello ricavi da solo lo schema prima di rispondere.

Fine-tuning

Proseguire l'addestramento di un modello pre-addestrato su dati aggiuntivi e mirati, per adattarlo a un dominio, un compito o uno stile senza ripartire da zero.

GAN (rete generativa avversaria)

Un'architettura generativa che addestra due reti neurali in competizione tra loro: un generatore che crea dati falsi e un discriminatore che cerca di smascherarli.

Gemini

La famiglia di modelli di Google DeepMind progettati fin dall'inizio come multimodali, per elaborare insieme testo, immagini, audio e video.

GPT (Generative Pre-trained Transformer)

Una famiglia di modelli Transformer solo decoder, pre-addestrati a prevedere il token successivo su enormi corpus di testo e poi adattati a compiti specifici.

Grok

Il grande modello linguistico e assistente IA di xAI, integrato con la piattaforma X (ex Twitter) e incentrato su informazioni in tempo reale e uno stile colloquiale.

Allucinazione

Il fenomeno per cui un modello linguistico produce, con tono fluido e sicuro, contenuti che in realtà sono falsi o non supportati dalle fonti.

Apprendimento in contesto (In-Context Learning)

La capacità di un modello di imparare un nuovo compito al momento dell'inferenza, solo grazie agli esempi o alle istruzioni nel prompt, senza modificare in alcun modo i propri pesi.

Instruction tuning

Il fine-tuning di un modello su molti compiti formulati come istruzioni in linguaggio naturale, così che sappia seguire bene nuove istruzioni anche su compiti mai visti durante l'addestramento.

Jailbreak

Un prompt progettato per aggirare l'addestramento alla sicurezza di un modello e fargli produrre contenuti che dovrebbe rifiutare.

Distillazione della conoscenza (Knowledge Distillation)

Addestrare un modello “studente” più piccolo a imitare un modello “insegnante” più grande, trasferendo buona parte delle sue capacità in un modello più economico e veloce.

Grafo della conoscenza

Una rete strutturata di entità e delle relazioni che le collegano, usata per memorizzare fatti in una forma che le macchine possono interrogare e su cui possono ragionare.

Latenza

Il tempo che passa tra l'invio di un prompt e la ricezione della risposta. Modelli più grandi e contesti più lunghi aumentano la latenza, il fattore che più di tutti determina la velocità dei prodotti di IA.

Llama

La famiglia di grandi modelli linguistici rilasciati apertamente da Meta, che ha messo modelli potenti ed eseguibili in locale alla portata di ricercatori e sviluppatori.

LLM (grande modello linguistico)

Una rete neurale addestrata su enormi quantità di testo a prevedere il token successivo, che acquisisce così capacità generali di comprensione e generazione del linguaggio.

LoRA (Low-Rank Adaptation)

Una tecnica che esegue il fine-tuning di un grande modello con poche risorse, addestrando solo piccole matrici aggiuntive e lasciando congelati i pesi originali.

LSTM (Long Short-Term Memory)

Un'architettura di rete neurale ricorrente che, grazie a un sistema di gate, riesce a conservare informazioni su sequenze lunghe: è stata lo standard per la modellazione di sequenze prima dell'arrivo dei Transformer.

MCP (Model Context Protocol)

Uno standard aperto per collegare gli assistenti IA a strumenti e fonti di dati esterni, così che un'integrazione creata una volta possa essere riutilizzata con più modelli.

Mixture of Experts (MoE)

Un'architettura che indirizza ogni input solo verso alcune sottoreti specializzate invece che verso l'intero modello, offrendo una grande capacità con un costo per richiesta più basso.

Model card

Un documento breve e standardizzato che descrive l'uso previsto di un modello, le differenze di prestazioni tra gruppi e i suoi limiti, per favorire una pubblicazione trasparente e responsabile.

Multimodale

Si dice di un modello che gestisce all'interno dello stesso sistema tipi di dati diversi, come testo, immagini, audio e video.

Nucleus sampling (Top-p)

Un metodo di decodifica che sceglie il token successivo dal più piccolo insieme di candidati la cui probabilità cumulata raggiunge p, evitando sia testi troppo ripetitivi sia testi incoerenti.

Perplessità (Perplexity)

Una classica misura intrinseca della qualità di un modello linguistico: indica quanto il modello è “sorpreso” da un testo che non ha mai visto. Più è bassa, meglio il modello prevede un testo reale.

Prompt

Il testo che fornisci a un modello per ottenere la risposta che desideri. La formulazione, gli esempi e la struttura influiscono molto sulla qualità del risultato.

Prompt injection

Un attacco che inserisce di nascosto istruzioni malevole nell'input di un modello, direttamente o tramite contenuti recuperati, per scavalcare il prompt di sistema o prenderne il controllo.

Quantizzazione

Memorizzare i pesi di un modello con una precisione numerica inferiore per ridurre l'uso di memoria e velocizzare l'inferenza, di solito con una perdita di qualità minima.

RAG (Retrieval-Augmented Generation)

Una tecnica che, al momento della richiesta, recupera documenti pertinenti e li fornisce al modello linguistico, così che la risposta si basi su fonti reali e non solo sulla sua memoria.

Red teaming

Mettere alla prova di proposito un modello con input ostili prima del rilascio, per individuare in anticipo comportamenti dannosi, non sicuri o contrari alle regole.

Reranking

Una seconda fase di recupero che rivaluta con un modello più preciso i documenti candidati trovati in prima battuta, portando in cima i risultati davvero più pertinenti.

RLHF (apprendimento per rinforzo dal feedback umano)

Un metodo di addestramento che usa le valutazioni di preferenza fornite da persone per insegnare al modello quali risposte le persone preferiscono davvero, rendendolo più utile e meglio allineato.

ROUGE

Una famiglia di metriche automatiche per la sintesi di testi, che misurano quanto il testo generato si sovrappone a riassunti di riferimento scritti da persone.

Leggi di scala (Scaling Laws)

Relazioni empiriche che mostrano come le prestazioni di un modello migliorino in modo prevedibile aumentando parametri, dati e potenza di calcolo.

Autoconsistenza (Self-Consistency)

Una tecnica di ragionamento che campiona più catene di pensiero per la stessa domanda e adotta come risposta finale quella su cui concorda la maggioranza.

Sequence-to-sequence (Seq2Seq)

Un'architettura neurale encoder-decoder che trasforma una sequenza in un'altra: il progetto che ha reso possibile la traduzione automatica neurale e, in seguito, le chat generative.

Decodifica speculativa (Speculative Decoding)

Una tecnica per accelerare l'inferenza in cui un modello piccolo e veloce genera in bozza più token, che un modello grande verifica tutti insieme: risultati identici, ma più rapidi.

Stable Diffusion

Un modello text-to-image open source basato sulla diffusione nello spazio latente, che ha reso possibile generare immagini di alta qualità anche su hardware di fascia consumer.

Streaming

Inviare la risposta del modello token per token man mano che viene generata, invece di aspettare che sia completa, così che il testo compaia progressivamente.

Prompt di sistema

Istruzioni nascoste e prioritarie che stabiliscono ruolo, tono e regole del modello prima che inizi la conversazione, e che fanno da cornice a tutte le risposte successive.

Temperatura (Temperature)

Un parametro che regola il grado di casualità dell'output di un modello: valori bassi danno risposte coerenti e prevedibili, valori alti risposte più varie e creative.

Token

L'unità minima che un modello linguistico legge e scrive davvero: di solito un frammento di parola più che una parola intera. Limiti di contesto, prezzi e velocità si misurano tutti in token.

Strumento correlato: contatore di token IA.

Uso di strumenti / Function calling

La capacità di un modello di richiamare funzioni esterne, come cercare sul web, eseguire codice o interrogare un database, e di usarne i risultati nella risposta.

Transformer

L'architettura di rete neurale alla base di quasi tutti i grandi modelli linguistici di oggi, costruita attorno a un meccanismo chiamato self-attention invece che sulla ricorrenza o sulla convoluzione.

Albero di pensieri (Tree of Thoughts, ToT)

Un framework di ragionamento che permette al modello di esplorare e valutare più percorsi di soluzione ramificati, tornando indietro se serve: un'esplorazione ponderata anziché un unico tentativo.

VAE (autoencoder variazionale)

Un modello generativo che apprende uno spazio latente probabilistico, con cui può sia comprimere i dati sia generare nuovi campioni.

Database vettoriale

Un database che indicizza e cerca in base alla somiglianza tra embedding invece che per corrispondenza esatta, trovando contenuti semanticamente correlati in pochi millisecondi.

Vision Transformer (ViT)

Un Transformer applicato direttamente a porzioni di immagine (patch), che ha dimostrato come l'architettura alla base dei modelli linguistici funzioni benissimo anche nella visione artificiale.

Watermarking

L'inserimento nel testo generato dall'IA di un segnale invisibile ma rilevabile statisticamente, che permette in seguito di riconoscerlo come prodotto da una macchina.

Whisper

Il modello di riconoscimento vocale di OpenAI, addestrato su un dataset audio molto ampio e vario per trascrivere e tradurre il parlato in modo affidabile in molte lingue.

Zero-shot prompting

Chiedere a un modello di svolgere un compito senza alcun esempio, basandosi solo sull'istruzione e sulle conoscenze acquisite durante il pre-addestramento.