Contatore di token IA

Cos’è un token IA?

I modelli linguistici di grandi dimensioni non leggono direttamente caratteri o parole: leggono token. Un token è un frammento di testo che il modello ha imparato a trattare come un’unica unità. In inglese un token corrisponde in media a circa quattro caratteri: una parola breve come “the” è un solo token, mentre “tokenization” può valerne due o tre.

I token contano per tre motivi pratici. Primo, ogni modello ha un numero massimo di token che può elaborare in una volta: la sua finestra di contesto. Secondo, i provider di API fanno pagare a token, distinguendo tra input e output. Terzo, la velocità di risposta dipende dal numero di token: più token significano più calcolo e un’attesa più lunga.

Conoscere il numero di token prima di inviare un prompt ti permette di restare nella finestra di contesto, prevedere i costi ed eliminare il testo superfluo che non serve a nulla.

Quanto è preciso questo contatore?

Per i modelli di chat OpenAI che usano questo tokenizer, lo strumento si basa sulla libreria tiktoken con la codifica cl100k_base: è lo stesso tokenizer che l’API usa lato server, quindi il conteggio coincide al byte.

Claude, Gemini e Grok usano tokenizer proprietari non del tutto pubblici. Li stimiamo sulla base di statistiche testuali: Claude tokenizza l’inglese a circa 0,95× rispetto a GPT, Gemini a circa 0,90×, mentre Grok è più o meno alla pari con GPT. Prevedi uno scarto del 5–10% rispetto al conteggio reale: una precisione più che sufficiente per pianificare la finestra di contesto o stimare i costi.

FAQ