Sommario

Questo rapporto offre un’analisi tecnica approfondita di due problemi strettamente correlati nell’elaborazione del linguaggio naturale applicata: (1) il rilevamento automatico dei testi generati da macchine e (2) la trasformazione dei testi generati da macchine in output simile a quello umano e statisticamente indistinguibile, un processo che qui chiamiamo umanizzazione dell’IA.

Esaminiamo i fondamenti matematici del rilevamento, in particolare il calcolo della perplexity sotto prior di modelli linguistici autoregressivi, la burstiness come misura della varianza nella lunghezza delle frasi e il fingerprinting specifico per modello tramite analisi stilometrica e watermarking nello spazio dei logit. Caratterizziamo poi il problema dell’umanizzazione come un compito di generazione di testo avversariale e analizziamo le differenze architetturali tra gli approcci basati sulla parafrasi e la riscrittura generativa completa tramite un modello linguistico separato.

Risultati principali: (a) i rilevatori esistenti si basano su assunzioni distributive che vengono meno in caso di domain shift e con testi di parlanti non nativi; (b) l’umanizzazione basata sulla parafrasi conserva il prior generativo e tende a fallire contro i rilevatori basati sulla perplexity; (c) la riscrittura completa con generazione cross-modello produce testo la cui perplexity a livello di token, misurata sul modello di origine, è statisticamente indistinguibile da quella di un testo scritto da una persona; (d) i nuovi schemi di watermarking offrono una superficie di rilevamento più robusta, che gli attuali approcci di umanizzazione non riescono a superare senza accesso alla chiave di watermarking.

Parole chiave: perplexity, burstiness, generazione autoregressiva, watermarking dei logit, fingerprinting stilometrico, generazione di testo avversariale, shift distributivo, entropia incrociata, entropia di Shannon, distribuzione di probabilità a livello di token

1. Introduzione e formulazione del problema

La diffusione di modelli linguistici di grandi dimensioni (LLM) capaci di generare testo fluido e coerente ha creato un problema a duplice uso: la stessa capacità generativa che alimenta gli strumenti di produttività rende possibili contenuti che travisano la propria provenienza. Ciò ha spinto lo sviluppo parallelo di due filoni di ricerca contrapposti: il rilevamento dei testi generati da macchine (MGTD) e l’umanizzazione dei testi generati da macchine (MGTH).

Definiamo lo spazio formale del problema come segue. Sia H lo spazio dei testi scritti da persone e M lo spazio dei testi generati da macchine. Un rilevatore ideale D : T → {0,1} associa a qualsiasi testo t un’etichetta binaria (umano vs. macchina), mentre un umanizzatore ideale F : M → H trasporta il testo generato da macchine nella distribuzione umana. In pratica, sia D sia F sono funzioni probabilistiche che operano su varietà distributive sovrapposte — la tensione avversariale tra le due è il tema centrale di questo rapporto.

1.1 Il problema del prior generativo

I moderni LLM generano testo campionando da una distribuzione di probabilità condizionata sui token del vocabolario V:

P(t₁, t₂, …, tₙ) = ∏ᵢ P(tᵢ | t₁, …, tᵢ₋₁; θ)
Fattorizzazione autoregressiva

dove θ rappresenta i parametri del modello. A ogni passo di generazione, il modello calcola un vettore di logit z ∈ ℝ|V| e applica una trasformazione softmax per ottenere le probabilità dei token. La strategia di campionamento — argmax (greedy), top-k, nucleus (top-p) o campionamento con temperatura — determina le proprietà statistiche della distribuzione in output.

L’intuizione decisiva per il rilevamento: questo processo generativo produce testo che, secondo la distribuzione di probabilità del modello di origine, ha una perdita di entropia incrociata sistematicamente più bassa rispetto al testo scritto da persone. La scrittura umana riflette un processo generativo diverso, plasmato dai limiti della memoria di lavoro, dalla revisione, dallo stato emotivo, dalle variazioni di competenza nel dominio e dalle idiosincrasie stilistiche, che produce una distribuzione statisticamente distinta anche quando il contenuto semantico è identico.

2. Rilevamento dei testi IA: fondamenti tecnici

2.1 Rilevamento basato sulla perplexity

La perplexity è la metrica fondamentale nel rilevamento dei testi generati da macchine. Per una sequenza di token t = (t₁, t₂, …, tₙ), la perplexity secondo il modello linguistico M è definita come:

PPL(t) = exp(− (1/n) ∑ᵢ log PM(tᵢ | t₁, …, tᵢ₋₁))
Definizione di perplexity

In modo equivalente, la perplexity è l’esponenziale della perdita di entropia incrociata del modello sulla sequenza. Una perplexity più bassa indica che il modello assegna una probabilità più alta alla sequenza, cioè che la sequenza è molto prevedibile secondo la distribuzione appresa dal modello.

2.1.1 Perché i testi generati da macchine hanno una perplexity bassa

Gli LLM vengono addestrati a minimizzare la perdita di entropia incrociata sui testi umani, il che li porta ad approssimare la distribuzione dei testi umani. Durante la generazione, però, applicano anche vincoli di campionamento (temperatura, top-k/top-p) che tendono a concentrare la massa di probabilità: di fatto campionano da una versione “affilata” della distribuzione appresa.

# Perplexity computation (simplified) def compute_perplexity(text: str, model, tokenizer) -> float: tokens = tokenizer(text, return_tensors='pt') with torch.no_grad(): outputs = model(**tokens, labels=tokens['input_ids']) nll = outputs.loss # negative log-likelihood return torch.exp(nll).item() # Detection threshold (empirically derived) DETECTION_THRESHOLD = 20.0 # lower = more likely AI is_ai_generated = compute_perplexity(text, model, tokenizer) < DETECTION_THRESHOLD

2.1.2 Distribuzione dei punteggi di perplexity

Empiricamente, i rilevatori ben calibrati osservano le seguenti distribuzioni approssimative di perplexity nei diversi corpora:

Origine del testoPPL mediaDev. std. PPLIntervallo tipico
Scrittura accademica umana52.318.725 – 110
Blog / scrittura informale umana67.831.218 – 180
GPT-4 (temp=0.7, top-p=0.9)14.66.27 – 35
Claude 3 Sonnet16.97.88 – 42
GPT-4 + passaggio di umanizzazione38.414.118 – 85
Scrittura umana di parlanti non nativi (ESL)21.39.410 – 55

La sovrapposizione tra le distribuzioni della scrittura umana ESL e dell’output di GPT-4 (entrambe centrate intorno a PPL ≈ 15–25) è la causa principale dei tassi di falsi positivi a danno dei parlanti non nativi. Non si tratta di un errore di calibrazione: riflette una reale sovrapposizione distributiva che non può essere risolta regolando le soglie di rilevamento.

2.1.3 Rilevatori zero-shot basati sulla perplexity

I rilevatori zero-shot non richiedono addestramento: usano le stime di probabilità del modello di origine stesso. L’approccio canonico (Mitchell et al., 2023; DetectGPT) calcola il rapporto di log-probabilità tra il testo originale e sue perturbazioni:

S(t) = log PM(t) − Eq(t′|t)[log PM(t′)]
Funzione di punteggio di DetectGPT

L’intuizione: il testo generato da macchine tende a trovarsi vicino a massimi locali della funzione di log-probabilità del modello, mentre il testo umano no. Le perturbazioni del testo generato da macchine tendono quindi a ridurre la log-probabilità, mentre le perturbazioni del testo umano possono aumentarla o diminuirla in modo casuale.

2.2 Analisi della burstiness

La burstiness, concetto mutuato dalla teoria dell’informazione e dalla scienza delle reti, misura la variabilità dei tempi tra eventi in un processo di punto. Applicata al testo, descrive la varianza nella lunghezza delle frasi:

B = (σL − μL) / (σL + μL)
Coefficiente di burstiness (Goh & Barabási, 2008)

dove μL è la lunghezza media delle frasi (in token) e σL la sua deviazione standard. B ∈ [−1, 1]: B → −1 indica una spaziatura perfettamente regolare, B = 0 una varianza con distribuzione di Poisson e B → 1 schemi molto “bursty” e irregolari.

import numpy as np def compute_burstiness(sentences: list[str]) -> float: lengths = [len(s.split()) for s in sentences] mu = np.mean(lengths) sigma = np.std(lengths) if mu + sigma == 0: return 0.0 return (sigma - mu) / (sigma + mu) # Typical empirical values: # Human prose: B ∈ [0.15, 0.45] # GPT-4 default: B ∈ [-0.10, 0.10] # After humanizer: B ∈ [0.12, 0.38]

Nota tecnica: la burstiness e il modello del processo di rinnovo

Formalmente, la generazione delle frasi può essere modellata come un processo di rinnovo in cui i tempi tra un rinnovo e l’altro corrispondono alla lunghezza delle frasi. La scrittura umana mostra dinamiche di rinnovo non poissoniane con code pesanti: la lunghezza delle frasi segue approssimativamente distribuzioni log-normali o di Weibull, anziché la distribuzione quasi esponenziale prodotta dagli LLM che campionano sotto vincoli di temperatura. I rilevatori che adattano distribuzioni parametriche alle sequenze di lunghezze delle frasi, invece di calcolare statistiche riassuntive, sono più robusti alla manipolazione avversariale.

2.3 Fingerprinting dei modelli e analisi stilometrica

Oltre alle statistiche aggregate, i singoli LLM mostrano impronte stilometriche coerenti, che derivano dalla composizione dei dati di addestramento, dagli obiettivi di fine-tuning RLHF e dalle differenze architetturali.

2.3.1 Impronte lessicali

TermineOsservazione
delveFortemente sovrarappresentato nell’output di Claude/GPT-4 rispetto alla scrittura accademica umana (rapporto di frequenza 7,3x)
certainlyUsato come affermazione a inizio frase con frequenze >5x rispetto al riferimento umano; forte indicatore di GPT-3.5/4
furthermoreAbusato come connettivo tra paragrafi; densità di transizioni pari a 2–4x il riferimento umano
crucialCompare in circa il 12% dei paragrafi di GPT-4 che parlano di importanza, contro circa il 3% nei testi umani
leverage (verbo)Indicatore di scrittura aziendale/tecnica; sovrarappresentazione di 3,8x nei contenuti generati da ChatGPT
tapestryIndicatore di abuso di metafore; legato a specifici schemi di ricompensa del fine-tuning RLHF

Le impronte lessicali sono fragili: cambiano a ogni versione del modello e possono essere aggirate con prompt espliciti. Sono più utili come prova a supporto che come segnale primario di rilevamento.

2.3.2 Impronte sintattiche

Più robusti delle impronte lessicali, gli schemi sintattici riflettono preferenze apprese dal modello che restano più stabili tra le versioni di fine-tuning: frequenza della forma passiva (2–3x rispetto alla scrittura umana informale), densità di sintagmi nominali, incassamento centrale meno profondo rispetto ai testi accademici umani, abuso di elenchi paralleli di tre elementi e concentrazione delle espressioni attenuative ai confini dei paragrafi anziché distribuite nel testo.

2.3.3 Impronte a livello di discorso

Le impronte più robuste operano a livello di discorso: centralità della frase tematica (>94% in prima posizione contro circa il 73% nei testi umani), omogeneità nella lunghezza dei paragrafi, densità delle parole di transizione pari a 1,8x il riferimento umano e un rapporto tra affermazioni ed evidenze più costante in tutto il documento.

2.4 Watermarking dei logit

L’approccio di rilevamento tecnicamente più robusto è il watermarking dei logit (Kirchenbauer et al., 2023), che incorpora un segnale statisticamente rilevabile nel processo di generazione stesso. A ogni passo di generazione, il vocabolario V viene suddiviso in modo pseudocasuale in una lista ‘verde’ G e una lista ‘rossa’ R, usando come seed un hash del token precedente:

Gt = HashPartition(ti−k:i, γ)|V|   where |G| = γ|V|
Generazione della lista verde (γ = rapporto di partizione)

Durante la generazione, i logit dei token della lista verde vengono aumentati di un parametro di intensità δ prima della normalizzazione softmax:

z′j = zj + δ · 1[j ∈ Gt]   for j ∈ V
Passo di perturbazione dei logit

Il rilevamento usa uno z-test unilaterale sulla frazione di token verdi:

z = (|Gtokens| − γn) / √(nγ(1−γ)) ~ N(0,1) under H₀
Statistica z per il rilevamento del watermark

Proprietà critica: la robustezza del watermark

Il watermarking dei logit è qualitativamente diverso dal fingerprinting statistico perché non si basa su assunzioni distributive che l’umanizzazione può aggirare. Il watermark è incorporato nella sequenza di token stessa. Per eliminarlo senza accesso alla funzione di hash e alla chiave di partizione bisogna riscrivere abbastanza token da distruggere il segnale statistico, il che, se fatto a fondo, coincide con il problema dell’umanizzazione stesso. Gli attuali approcci di umanizzazione che preservano il contenuto semantico non riescono a superare in modo affidabile schemi di watermarking robusti. Tuttavia, al primo trimestre (Q1) 2026 nessun grande fornitore di modelli lo implementa su larga scala.

3. Umanizzazione dei testi IA: approcci tecnici

3.1 Tassonomia dei metodi di umanizzazione

ApproccioProfondità di elaborazioneImpatto sulla perplexityImpatto sulla burstiness
Sostituzione con sinonimiLessicale (a livello di parola)Minimo: prior invariatoNessuno
Trasformazione sintatticaSintattica (a livello di proposizione)Moderato: qualche alterazioneLieve miglioramento
Modello di parafrasiSemantica di superficieModerato: alterazione parzialeMiglioramento moderato
Riscrittura completa con LLMSemantico-pragmaticaAlto: nuovo prior generativoMiglioramento significativo

3.2 Approcci basati sulla parafrasi: perché falliscono

La modalità di errore fondamentale può essere espressa formalmente. Sia tAI un testo generato da una macchina e tpara = Paraphrase(tAI) la sua parafrasi:

PPLM(tpara) ≈ PPLM(tAI)   quando Paraphrase preserva il contenuto semantico
Teorema di conservazione del prior (informale)

Ciò vale perché il modello di parafrasi è a sua volta un LLM addestrato a minimizzare la perdita di ricostruzione sulla stessa distribuzione, quindi anche i suoi output hanno una perplexity bassa secondo il modello di valutazione. Una parafrasi che preserva la semantica vincola l’output alla stessa regione dello spazio dei significati.

# Empirical validation: perplexity before/after paraphrase original_ai_text = generate_with_gpt4(prompt) paraphrased_text = quillbot_paraphrase(original_ai_text) ppl_original = compute_perplexity(original_ai_text, gpt4_scoring_model) ppl_paraphrased = compute_perplexity(paraphrased_text, gpt4_scoring_model) # Typical observed result: # ppl_original: 14.2 # ppl_paraphrased: 17.8 (<20% change — still within AI distribution) # Threshold for detection: PPL < 25 → still flagged as AI

3.3 Riscrittura generativa completa: l’approccio cross-modello

La riscrittura generativa completa con un LLM diverso è l’unico approccio che affronta alla radice il problema del prior generativo:

Teorema della riscrittura cross-modello (informale)

Se il modello MA genera il testo tA e il modello MB (A ≠ B) lo riscrive producendo tB e preservandone il contenuto semantico, allora PPLMA(tB) è determinata dal prior generativo di MB, non da quello di MA. Poiché MA e MB hanno prior generativi diversi, dovuti a dati di addestramento, architetture e obiettivi RLHF differenti, tB avrà secondo MA una perplexity più alta di tA — potenzialmente abbastanza da eludere i rilevatori basati su MA.

3.3.2 Il ruolo della temperatura e dei parametri di campionamento

# Effect of temperature on humanization quality temperature = 0.0 # Greedy decoding # Result: deterministic output, PPL ≈ source model output # Burstiness improvement: minimal temperature = 0.7 # Standard setting # Result: PPL increases 40-60% vs. source, B increases ~0.12 temperature = 1.0 # Full temperature # Result: PPL increases 80-120% vs. source, B increases ~0.22 # Trade-off: more frequent quality degradation # Optimal: high temperature + top-p=0.9 + repetition_penalty=1.1 # Maximizes distributional shift while maintaining fluency

3.3.3 Prompt engineering delle istruzioni per l’umanizzazione

# Effective humanization prompt structure HUMANIZER_PROMPT = """ You are rewriting the following text to sound like it was written by a human. Core requirements: - Generate completely from your own language patterns — do not preserve the sentence structures of the original - Vary sentence length significantly: mix 5-8 word sentences with 25-40 word analytical sentences - Include at least one moment of epistemic hedging per paragraph ('in most cases', 'tends to', 'the evidence suggests') - Use contractions naturally throughout - Avoid: 'furthermore', 'moreover', 'delve', 'crucial', 'certainly' as sentence-initial affirmations - Preserve all factual content and logical structure - The output should NOT begin with the same word as the input Input text: {source_text} """

4. Dinamiche avversariali: la corsa agli armamenti

4.1 Il gioco tra rilevamento e umanizzazione

Rilevamento e umanizzazione possono essere modellati come un gioco a due giocatori. Sia Dθ un rilevatore e Hφ un umanizzatore:

minφ maxθ E[Dθ(Hφ(tAI))] − λ · SemanticLoss(tAI, Hφ(tAI))
Obiettivo minimax dell’umanizzazione

In pratica nessuno dei due giocatori ha accesso ai parametri dell’altro, quindi si tratta di un gioco a informazione incompleta. Gli umanizzatori si ottimizzano rispetto ai comportamenti osservabili dei rilevatori; i rilevatori vengono riaddestrati man mano che le strategie di umanizzazione diventano note.

4.2 Stato attuale dell’equilibrio (1° trimestre 2026)

Rilevatori basati sulla perplexity: aggirati dalla riscrittura completa con un modello di architettura diversa. Gli attuali umanizzatori a riscrittura completa tendono a ridurre i tassi di rilevamento a livelli vicini al caso su una prosa ben costruita.

Rilevatori basati sulla burstiness: aggirati in parte. Gli umanizzatori addestrati su istruzioni che variano esplicitamente la lunghezza delle frasi raggiungono B ∈ [0,15, 0,35], sovrapponendosi in modo sostanziale alla distribuzione umana.

Rilevatori di impronte stilometriche: aggirati dal prompting negativo e dalla riscrittura completa, che sostituisce l’impronta del modello di origine con quella del modello che riscrive.

Classificatori ensemble multi-feature: aggirati in parte. Le riscritture complete intervengono sul 60–80% delle feature, ma lasciano un segnale residuo negli schemi a livello di discorso.

Watermarking dei logit: attualmente non aggirato da alcuno strumento di umanizzazione disponibile pubblicamente. Il segnale del watermark non può essere rimosso senza accesso alla funzione di hash.

4.3 Analisi dei falsi positivi

Causa di falsi positiviEntitàMeccanismo
Scrittura in inglese di parlanti non nativiAlta (10–20% FP)Un vocabolario controllato e un registro formale producono la stessa impronta distributiva dell’output di un LLM
Scrittura accademica formaleModerata (5–15%)Le convenzioni dello stile accademico coincidono con le impronte stilometriche degli LLM
Testi tecnici specialisticiModerata (5–10%)Un vocabolario ristretto riduce l’entropia; frasi precise riducono la burstiness
Prosa molto revisionataMedio-bassa (3–8%)Più passaggi di revisione smussano le irregolarità stilistiche
Documenti ricchi di elenchiAlta all’interno delle sezioniI contenuti a elenco hanno una burstiness prossima allo zero
Testi molto brevi (<200 parole)Molto alta (15–40%)Massa statistica insufficiente per una classificazione affidabile

5. MultipleChat AI Humanizer: architettura tecnica

5.1 Panoramica del sistema

MultipleChat AI Humanizer implementa una pipeline completa di riscrittura cross-modello con cinque componenti architetturali: (1) pre-elaborazione e segmentazione del testo di origine, (2) selezione del modello e prompt engineering, (3) generazione cross-modello con parametri di campionamento controllati, (4) verifica della qualità dopo la generazione e (5) potenziamento opzionale della burstiness.

# Simplified pipeline architecture class MultipleChat_Humanizer: def __init__(self, rewriter_model: str): self.model = load_model(rewriter_model) # Claude, GPT-4, Gemini, Grok self.detector = load_detector('multiplechat-v2') self.segmenter = SemanticSegmenter() def humanize(self, source_text: str, instructions: str = '') -> HumanizationResult: # 1. Segment into semantically coherent chunks segments = self.segmenter.segment(source_text, max_tokens=4096) # 2. Construct humanization prompt prompt = build_humanization_prompt(segments, instructions, target_burstiness=0.25) # 3. Cross-model generation rewritten = self.model.generate( prompt, temperature=0.85, top_p=0.92, frequency_penalty=0.3, presence_penalty=0.2 ) # 4. Quality gate: semantic similarity check sim = semantic_similarity(source_text, rewritten) if sim < 0.75: rewritten = self.retry_with_stricter_prompt(source_text) # 5. Detection score computation for user feedback detection_score = self.detector.score(rewritten) return HumanizationResult( text=rewritten, detection_score=detection_score, burstiness=compute_burstiness(rewritten), semantic_similarity=sim )

5.2 Selezione del modello e caratteristiche a confronto

Il fine-tuning RLHF di Claude tende a produrre output con una maggiore densità di espressioni attenuative e costruzioni sintattiche più varie, ottenendo il miglior incremento di burstiness (incremento medio di B: +0,19). GPT-4 produce frasi più brevi e sintatticamente più regolari, un vantaggio per i contenuti tecnici, ma con guadagni di burstiness inferiori (incremento medio di B: +0,12).

Principio architetturale chiave

Il miglioramento dell’umanizzazione è massimo quando il modello che riscrive e il modello di valutazione del rilevatore sono architetturalmente distanti. Questo perché il rilevamento basato sulla perplexity misura quanto il testo sia prevedibile secondo il modello del rilevatore, e un testo generato da una diversa famiglia di modelli è per sua natura meno prevedibile. Il supporto di MultipleChat per quattro famiglie di modelli distinte permette di scegliere il modello di riscrittura più distante rispetto al probabile rilevatore.

5.3 Il rilevatore IA di MultipleChat

Il rilevatore di MultipleChat implementa un classificatore ensemble multi-feature addestrato sugli output di tutti e quattro i modelli supportati. L’insieme di feature comprende feature di perplexity (calcolate su più modelli di valutazione), di burstiness (a livello di frase e di paragrafo), lessicali (densità di espressioni attenuative, numero di marcatori IA, frequenza delle contrazioni, frequenza della forma passiva), di discorso (posizione della frase tematica, densità delle transizioni, varianza nella lunghezza dei paragrafi) e di entropia (entropia di Shannon su unigrammi e bigrammi di token).

# Per-sentence heatmap generation (simplified) def generate_heatmap(text: str) -> list[SentenceScore]: sentences = sent_tokenize(text) scores = [] for i, sent in enumerate(sentences): # Context window: 2 sentences before and after context_start = max(0, i-2) context_end = min(len(sentences), i+3) context = ' '.join(sentences[context_start:context_end]) sent_features = { 'local_ppl': perplexity(context, scoring_model), 'sent_length': len(sent.split()), 'has_hedge': bool(re.search(HEDGE_PATTERN, sent)), 'ai_markers': count_ai_markers(sent, AI_LEXICAL_SET), } score = ensemble_classifier.predict_proba(sent_features)[1] scores.append(SentenceScore(sentence=sent, ai_prob=score)) return scores

6. Modalità di errore e problemi aperti

6.1 Modalità di errore dell’umanizzazione

Deriva semantica con un’umanizzazione aggressiva: la riscrittura ad alta temperatura può causare una deriva semantica — il testo riscritto conserva l’argomento generale ma perde affermazioni fattuali specifiche o distinzioni sottili. Il compromesso sulla qualità:

SemanticSimilarity ↓ al crescere di Δ(PPL) ↑
Compromesso sulla qualità dell’umanizzazione

L’umanizzatore di MultipleChat affronta il problema con un controllo di similarità semantica (similarità del coseno > 0,75 nello spazio degli embedding) che, se rileva una deriva, avvia un nuovo tentativo con un prompt più vincolato.

Allucinazioni nei contenuti fattuali: il modello che riscrive può sostituire fatti, date o statistiche specifici con alternative plausibili ma errate. I contenuti fattuali richiedono una verifica umana dopo l’umanizzazione. Al momento la pipeline non implementa la verifica automatica dei fatti — un aspetto segnalato come problema aperto.

Deriva di registro e formalità: senza un’indicazione esplicita del registro, il modello che riscrive adotta il proprio registro preferito. I testi di origine molto formali (legali, medici) o molto informali (marketing, social) potrebbero non essere rispettati senza istruzioni esplicite.

6.2 Modalità di errore del rilevamento

Domain shift: i rilevatori addestrati su corpora generalisti mostrano un calo significativo di accuratezza nei domini specialistici. Un rilevatore con il 92% di accuratezza sui testi web generici può scendere al 65–70% su casi clinici o contratti legali.

Effetti della lunghezza: per i testi sotto le 200 parole, le stime statistiche hanno intervalli di confidenza troppo ampi per una classificazione affidabile. Sotto le 100 parole, la maggior parte dei rilevatori lavora a livelli vicini al caso.

Testi compositi: i documenti che alternano sezioni umane e sezioni IA presentano una distribuzione mista che manda in crisi i classificatori a livello di documento. Il rilevamento a livello di segmento risolve in parte il problema, ma richiede molta più potenza di calcolo.

6.3 Problemi aperti

Watermarking che preserva la semantica: uno schema che incorpori i watermark a livello semantico resisterebbe agli attacchi di parafrasi pur restando rilevabile tramite analisi semantica.

Rilevamento multilingue: la maggior parte dei rilevatori viene addestrata e valutata su testi in inglese. Le prestazioni in altre lingue sono nettamente inferiori, con importanti problemi di equità.

Attribuzione della paternità collaborativa: non esistono ancora strumenti affidabili per quantificare la quota di contributo umano e di IA in un testo scritto in collaborazione.

Addestramento avversariale per la robustezza: al momento non esiste un quadro teorico che descriva l’equilibrio di teoria dei giochi e preveda l’accuratezza del rilevamento all’equilibrio.

Verifica formale della conservazione dei fatti: nessun approccio attuale verifica in modo affidabile che il testo umanizzato conservi tutto il contenuto fattuale dell’originale — tecnicamente, un problema di natural language inference (NLI) su larga scala.

7. Conclusioni

1. Il rilevamento basato sulla perplexity è teoricamente solido ma fragile nella pratica. La sovrapposizione distributiva tra la scrittura umana ESL e l’output degli LLM rende i tassi di falsi positivi inaccettabilmente alti per decisioni con conseguenze importanti, a qualunque soglia di rilevamento che mantenga una sensibilità ragionevole.

2. L’umanizzazione basata sulla parafrasi non risolve il problema del prior generativo. La sostituzione con sinonimi e la trasformazione sintattica conservano la firma a bassa perplexity dell’output degli LLM secondo il modello di origine. La riscrittura cross-modello completa è l’unico approccio che cambia la distribuzione generativa.

3. Il rilevamento ensemble multi-feature è più robusto degli approcci a feature singola. Combinare perplexity, burstiness, feature stilometriche e analisi a livello di discorso dà risultati nettamente migliori di qualsiasi feature presa da sola.

4. Il watermarking dei logit è l’unico approccio di rilevamento tecnicamente robusto. Richiede però un’implementazione a livello del fornitore del modello e, al primo trimestre 2026 (Q1), non è stato ancora adottato su larga scala.

5. Nel breve termine l’equilibrio avversariale favorisce l’umanizzazione rispetto al rilevamento. In assenza di watermarking dei logit o di meccanismi crittografici di provenienza equivalenti, i punteggi di rilevamento vanno trattati come segnali probabilistici che richiedono prove a supporto, non come verdetti definitivi.

Bibliografia

Goh, K. I., & Barabási, A. L. (2008). Burstiness and memory in complex systems. EPL (Europhysics Letters), 81(4), 48002.
Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A watermark for large language models. Proceedings of ICML 2023.
Mitchell, E., Lee, Y., Khazatsky, A., Manning, C. D., & Finn, C. (2023). DetectGPT: Zero-shot machine-generated text detection using probability curvature. Proceedings of ICML 2023.
Zhao, X., Ananth, P., Li, L., & Yu, T. (2023). Provable robust watermarking for AI-generated text. arXiv:2306.17439.
Gehrmann, S., Strobelt, H., & Rush, A. M. (2019). GLTR: Statistical detection and visualization of generated text. Proceedings of ACL 2019 System Demonstrations.
Zellers, R., Holtzman, A., Rashkin, H., Bisk, Y., Farhadi, A., Roesner, F., & Choi, Y. (2019). Defending against neural fake news. Advances in NeurIPS 32.
Ippolito, D., Duckworth, D., Callison-Burch, C., & Eck, D. (2020). Automatic detection of generated text is easiest when humans are fooled. Proceedings of ACL 2020.
Uchendu, A., Le, T., Shu, K., & Lee, D. (2020). Authorship attribution for neural text generation. Proceedings of EMNLP 2020.
Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779.
Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? arXiv:2303.11156.

Appendice A: riferimento per la notazione matematica

SimboloDefinizione
PM(t)Probabilità assegnata al testo t dal modello linguistico M
PPLM(t)Perplexity del testo t secondo il modello M
H(X)Entropia di Shannon della variabile aleatoria X
KL(P||Q)Divergenza di Kullback-Leibler da Q a P
BCoefficiente di burstiness (Goh & Barabási, 2008)
μL, σLMedia e deviazione standard della distribuzione delle lunghezze delle frasi
Gt, RtListe di token verdi e rossi al passo di generazione t
γRapporto di partizione della lista verde (tipicamente 0,5)
δParametro di incremento dei logit per l’intensità del watermark
θ, φVettori dei parametri del rilevatore e dell’umanizzatore
S(t)Funzione di punteggio di DetectGPT (rapporto di log-probabilità)
VInsieme del vocabolario di dimensione |V|
z ∈ ℝ|V|Vettore di logit prima della normalizzazione softmax
sim(t₁, t₂)Similarità semantica (coseno nello spazio degli embedding)

Appendice B: sintesi dei benchmark empirici

Accuratezza del rilevamento con i diversi metodi di umanizzazione (GPTZero v4 come rilevatore di riferimento, n=500 testi per cella):

Metodo di umanizzazioneTasso di rilevamentoFPR (umano)Simil. semanticaBurstiness B
Nessuna umanizzazione (IA grezza)91.3%8.2%1.00-0.07
Sostituzione con sinonimi87.4%8.5%0.97-0.05
QuillBot (modalità Creative)74.2%9.1%0.910.08
Riscrittura completa (Claude)28.6%8.8%0.830.24
Riscrittura completa (GPT-4)31.2%8.4%0.860.19
MultipleChat Humanizer22.4%9.0%0.810.27
Riferimento umano8.2%——0.31

Nota: tutti i valori sono approssimazioni basate su condizioni sperimentali controllate. I tassi di rilevamento reali variano in modo significativo a seconda del dominio, della lunghezza del testo e della versione del rilevatore. L’FPR di riferimento umano dell’8,2% rappresenta il tasso di falsi positivi irriducibile di GPTZero v4 sui testi accademici scritti da persone.

MultipleChat AI Humanizer & Detector

Riscrittura cross-modello completa con Claude, ChatGPT, Gemini e Grok. Rilevamento ensemble multi-feature con heatmap a livello di frase.

rilevamento della perplexity analisi della burstiness watermarking dei logit riscrittura cross-modello fingerprinting stilometrico MultipleChat Research