Résumé
Ce rapport propose une analyse technique approfondie de deux problèmes étroitement liés du traitement automatique du langage appliqué : (1) la détection automatisée de textes générés par machine et (2) la transformation de textes générés par machine en une production de type humain statistiquement indiscernable, processus désigné ici sous le nom d’humanisation de l’IA.
Nous examinons les fondements mathématiques de la détection, en particulier le score de perplexité sous des a priori de modèles de langage autorégressifs, la burstiness comme mesure de la variance de longueur des phrases, et l’empreinte propre à chaque modèle via l’analyse stylométrique et le tatouage dans l’espace des logits. Nous caractérisons ensuite le problème de l’humanisation comme une tâche de génération de texte adverse et analysons les différences architecturales entre les approches fondées sur la paraphrase et la réécriture générative complète par un modèle de langage distinct.
Principaux résultats : (a) les détecteurs existants reposent sur des hypothèses distributionnelles qui s’effondrent en cas de changement de domaine et pour les textes de locuteurs non natifs ; (b) l’humanisation par paraphrase préserve l’a priori génératif et tend à échouer face aux détecteurs fondés sur la perplexité ; (c) la réécriture complète par génération inter-modèles produit un texte dont la perplexité au niveau des tokens, sous le modèle source, est statistiquement indiscernable de celle d’un texte rédigé par un humain ; (d) les schémas de tatouage émergents offrent une surface de détection plus robuste que les approches d’humanisation actuelles ne peuvent contourner sans accès à la clé de tatouage.
Mots-clés : perplexité, burstiness, génération autorégressive, tatouage des logits, empreinte stylométrique, génération de texte adverse, décalage distributionnel, entropie croisée, entropie de Shannon, distribution de probabilité au niveau des tokens
1. Introduction et formulation du problème
La prolifération de grands modèles de langage (LLM) capables de générer des textes fluides et cohérents a créé un problème à double usage : la même capacité générative qui alimente les outils de productivité ouvre la voie à des contenus qui travestissent leur provenance. Cela a entraîné le développement parallèle de deux axes de recherche antagonistes : la détection de textes générés par machine (MGTD) et l’humanisation de textes générés par machine (MGTH).
Nous définissons formellement l’espace du problème comme suit. Soit H l’espace des textes rédigés par des humains et M l’espace des textes générés par machine. Un détecteur idéal D : T → {0,1} associe à tout texte t une étiquette binaire (humain ou machine), tandis qu’un humaniseur idéal F : M → H projette les textes générés par machine dans la distribution humaine. En pratique, D et F sont tous deux des fonctions probabilistes opérant sur des variétés distributionnelles qui se chevauchent — la tension adverse entre elles constitue l’objet central de ce rapport.
1.1 Le problème de l’a priori génératif
Les LLM modernes génèrent du texte en échantillonnant une distribution de probabilité conditionnelle sur les tokens du vocabulaire V :
où θ représente les paramètres du modèle. À chaque étape de génération, le modèle calcule un vecteur de logits z ∈ ℝ|V| et applique une transformation softmax pour obtenir les probabilités des tokens. La stratégie d’échantillonnage — argmax (glouton), top-k, nucleus (top-p) ou échantillonnage avec température — détermine les propriétés statistiques de la distribution de sortie.
L’observation clé pour la détection : ce processus génératif produit un texte qui, sous la distribution de probabilité du modèle source, présente une perte d’entropie croisée systématiquement plus faible qu’un texte rédigé par un humain. L’écriture humaine reflète un processus génératif différent, façonné par les limites de la mémoire de travail, la révision, l’état émotionnel, les variations d’expertise et les idiosyncrasies stylistiques, qui produit une distribution statistiquement distincte même lorsque le contenu sémantique est identique.
2. Détection des textes d’IA : fondements techniques
2.1 Détection fondée sur la perplexité
La perplexité est la métrique fondamentale de la détection de textes générés par machine. Pour une séquence de tokens t = (t₁, t₂, …, tₙ), la perplexité sous le modèle de langage M est définie par :
De manière équivalente, la perplexité est l’exponentielle de la perte d’entropie croisée du modèle sur la séquence. Une perplexité plus faible indique que le modèle attribue une probabilité plus élevée à la séquence, autrement dit que la séquence est très prévisible selon la distribution apprise par le modèle.
2.1.1 Pourquoi les textes générés par machine ont une faible perplexité
Les LLM sont entraînés à minimiser la perte d’entropie croisée sur des textes humains, ce qui les amène à approximer la distribution des textes humains. Cependant, lors de la génération, ils appliquent en plus des contraintes d’échantillonnage (température, top-k/top-p) qui tendent à concentrer la masse de probabilité, ce qui revient à échantillonner une version affûtée de la distribution apprise.
2.1.2 Distribution des scores de perplexité
Empiriquement, des détecteurs bien calibrés observent les distributions de perplexité approximatives suivantes selon les corpus :
| Source du texte | PPL moyenne | Écart type PPL | Plage typique |
|---|---|---|---|
| Rédaction universitaire humaine | 52.3 | 18.7 | 25 – 110 |
| Blog humain / informel | 67.8 | 31.2 | 18 – 180 |
| GPT-4 (temp=0.7, top-p=0.9) | 14.6 | 6.2 | 7 – 35 |
| Claude 3 Sonnet | 16.9 | 7.8 | 8 – 42 |
| GPT-4 + passage par un humaniseur | 38.4 | 14.1 | 18 – 85 |
| Textes humains de non-natifs (ESL) | 21.3 | 9.4 | 10 – 55 |
Le chevauchement entre les distributions des textes humains de non-natifs (ESL) et des sorties de GPT-4 (toutes deux centrées autour de PPL ≈ 15–25) est le principal facteur des taux de faux positifs envers les locuteurs non natifs. Il ne s’agit pas d’un défaut de calibration : cela reflète un véritable chevauchement distributionnel qui ne peut pas être résolu en ajustant les seuils de détection.
2.1.3 Détecteurs de perplexité zero-shot
Les détecteurs zero-shot ne nécessitent aucun entraînement : ils utilisent les estimations de probabilité du modèle source lui-même. L’approche canonique (Mitchell et al., 2023 ; DetectGPT) calcule le rapport des log-probabilités entre le texte original et ses perturbations :
L’intuition : un texte généré par machine tend à se situer près de maxima locaux de la fonction de log-probabilité du modèle, ce qui n’est pas le cas d’un texte humain. Les perturbations d’un texte généré par machine tendent donc à réduire la log-probabilité, tandis que celles d’un texte humain peuvent l’augmenter ou la diminuer de façon aléatoire.
2.2 Analyse de la burstiness
La burstiness, empruntée à la théorie de l’information et à la science des réseaux, mesure la variabilité des intervalles entre événements dans un processus ponctuel. Appliquée au texte, elle caractérise la variance de la longueur des phrases :
où μL est la longueur moyenne des phrases (en tokens) et σL son écart type. B ∈ [−1, 1] : B → −1 indique un espacement parfaitement régulier, B = 0 une variance suivant une loi de Poisson, et B → 1 des schémas très irréguliers, en rafales.
Note technique : burstiness et modèle de processus de renouvellement
Formellement, la génération de phrases peut être modélisée comme un processus de renouvellement dont les intervalles correspondent aux longueurs de phrases. L’écriture humaine présente une dynamique de renouvellement non poissonienne à queues lourdes : les longueurs de phrases suivent approximativement une loi log-normale ou de Weibull plutôt que la distribution quasi exponentielle produite par les LLM échantillonnant sous contrainte de température. Les détecteurs qui ajustent des distributions paramétriques aux séquences de longueurs de phrases, plutôt que de calculer des statistiques résumées, résistent mieux à la manipulation adverse.
2.3 Empreinte des modèles et analyse stylométrique
Au-delà des statistiques agrégées, chaque LLM présente une empreinte stylométrique constante, issue de la composition de ses données d’entraînement, des objectifs de son fine-tuning par RLHF et de ses différences architecturales.
2.3.1 Empreintes lexicales
| Terme | Observation |
|---|---|
| delve | Nettement surreprésenté dans les sorties de Claude/GPT-4 par rapport à la rédaction universitaire humaine (rapport de fréquence de 7,3x) |
| certainly | Employé comme affirmation en début de phrase à des taux >5x la référence humaine ; marqueur fort de GPT-3.5/4 |
| furthermore | Surutilisé comme connecteur entre paragraphes ; densité de transitions 2 à 4x supérieure à la référence humaine |
| crucial | Apparaît dans ~12 % des paragraphes de GPT-4 traitant d’importance, contre ~3 % dans les textes humains |
| leverage (v.) | Marqueur de rédaction professionnelle/technique ; surreprésentation de 3,8x dans les contenus générés par ChatGPT |
| tapestry | Marqueur de surutilisation de métaphores ; propre à certains schémas de récompense du fine-tuning par RLHF |
Les empreintes lexicales sont fragiles : elles évoluent à chaque version de modèle et peuvent être neutralisées par des consignes explicites. Elles sont surtout utiles comme indices corroborants plutôt que comme signaux de détection principaux.
2.3.2 Empreintes syntaxiques
Plus robustes que les empreintes lexicales, les schémas syntaxiques reflètent des préférences apprises par le modèle, plus stables d’une version de fine-tuning à l’autre : taux de voix passive (2 à 3x celui de l’écriture humaine informelle), densité des groupes nominaux, enchâssements centraux moins profonds que dans les textes universitaires humains, surutilisation des énumérations parallèles en trois éléments, et regroupement des formules de prudence aux limites des paragraphes plutôt que réparties dans l’ensemble du texte.
2.3.3 Empreintes au niveau du discours
Les empreintes les plus robustes opèrent au niveau du discours : prédominance de la phrase thématique (>94 % en première position contre ~73 % dans les textes humains), homogénéité de la longueur des paragraphes, densité des mots de transition à 1,8x la référence humaine, et rapport affirmation/preuve plus constant tout au long du document.
2.4 Tatouage des logits
L’approche de détection la plus robuste sur le plan technique est le tatouage des logits (Kirchenbauer et al., 2023), qui intègre un signal statistiquement détectable dans le processus de génération lui-même. À chaque étape de génération, le vocabulaire V est partitionné de façon pseudo-aléatoire en une liste ‘verte’ G et une liste ‘rouge’ R, en utilisant comme graine un hachage du token précédent :
Pendant la génération, les logits des tokens de la liste verte sont augmentés d’un paramètre de dureté δ avant la normalisation softmax :
La détection repose sur un test z unilatéral portant sur la proportion de tokens verts :
Propriété essentielle : la robustesse du tatouage
Le tatouage des logits diffère qualitativement de l’empreinte statistique, car il ne repose pas sur des hypothèses distributionnelles que l’humanisation pourrait contourner. Le tatouage est intégré à la séquence de tokens elle-même. Le neutraliser sans accès à la fonction de hachage et à la clé de partition exige de réécrire suffisamment de tokens pour détruire le signal statistique, ce qui, mené à fond, revient au problème de l’humanisation lui-même. Les approches d’humanisation actuelles qui préservent le contenu sémantique ne peuvent pas neutraliser de manière fiable des schémas de tatouage robustes. Toutefois, aucun grand fournisseur de modèles ne l’applique à grande échelle au T1 2026.
3. Humanisation des textes d’IA : approches techniques
3.1 Taxonomie des méthodes d’humanisation
| Approche | Profondeur de traitement | Impact sur la perplexité | Impact sur la burstiness |
|---|---|---|---|
| Substitution de synonymes | Lexicale (au niveau du mot) | Minimal : a priori inchangé | Aucun |
| Transformation syntaxique | Syntaxique (au niveau de la proposition) | Modéré : quelques perturbations | Légère amélioration |
| Modèle de paraphrase | Sémantique de surface | Modéré : perturbation partielle | Amélioration modérée |
| Réécriture complète par LLM | Sémantique et pragmatique | Élevé : nouvel a priori génératif | Amélioration significative |
3.2 Approches fondées sur la paraphrase : pourquoi elles échouent
Le mode de défaillance fondamental peut être énoncé formellement. Soit tAI un texte généré par machine et tpara = Paraphrase(tAI) sa paraphrase :
Cela s’explique par le fait que le modèle de paraphrase est lui-même un LLM entraîné à minimiser la perte de reconstruction sur la même distribution : ses sorties présentent donc elles aussi une faible perplexité sous le modèle d’évaluation. Une paraphrase qui préserve le sens contraint la sortie à rester dans la même région de l’espace sémantique.
3.3 Réécriture générative complète : l’approche inter-modèles
La réécriture générative complète par un autre LLM est la seule approche qui s’attaque en profondeur au problème de l’a priori génératif :
Théorème de la réécriture inter-modèles (informel)
Si le modèle MA génère un texte tA et que le modèle MB (A ≠ B) le réécrit pour produire tB en préservant le contenu sémantique, alors PPLMA(tB) est déterminée par l’a priori génératif de MB, et non par celui de MA. Comme MA et MB ont des a priori génératifs différents, issus de données d’entraînement, d’architectures et d’objectifs RLHF différents, tB aura une perplexité plus élevée sous MA que tA — potentiellement assez pour mettre en échec les détecteurs fondés sur MA.
3.3.2 Le rôle de la température et des paramètres d’échantillonnage
3.3.3 Ingénierie des consignes pour l’humanisation
4. Dynamiques adverses : la course aux armements
4.1 Le jeu détection-humanisation
La détection et l’humanisation peuvent être modélisées comme un jeu à deux joueurs. Soit Dθ un détecteur et Hφ un humaniseur :
En pratique, aucun des deux joueurs n’a accès aux paramètres de l’autre : il s’agit donc d’un jeu à information incomplète. Les humaniseurs s’optimisent face aux comportements observables des détecteurs ; les détecteurs sont réentraînés à mesure que les stratégies d’humanisation sont connues.
4.2 État actuel de l’équilibre (T1 2026)
Détecteurs fondés sur la perplexité : mis en échec par une réécriture complète avec un modèle d’architecture différente. Les humaniseurs à réécriture complète actuels tendent à ramener les taux de détection à un niveau proche du hasard sur une prose bien construite.
Détecteurs fondés sur la burstiness : partiellement mis en échec. Les humaniseurs ajustés par instructions qui varient explicitement la longueur des phrases atteignent B ∈ [0.15, 0.35], ce qui recoupe largement la distribution humaine.
Détecteurs d’empreinte stylométrique : mis en échec par les consignes négatives et la réécriture complète, qui remplace l’empreinte du modèle source par celle du modèle de réécriture.
Classifieurs d’ensemble multi-caractéristiques : partiellement mis en échec. Les réécritures complètes traitent 60–80 % des caractéristiques, mais laissent un signal résiduel dans les schémas au niveau du discours.
Tatouage des logits : actuellement non contourné par aucun outil d’humanisation accessible au public. Le signal de tatouage ne peut pas être supprimé sans accès à la fonction de hachage.
4.3 Analyse des faux positifs
| Facteur de faux positifs | Ampleur | Mécanisme |
|---|---|---|
| Textes en anglais de locuteurs non natifs | Élevée (10–20 % de FP) | Un vocabulaire maîtrisé et un registre soutenu produisent la même empreinte distributionnelle que les sorties de LLM |
| Rédaction universitaire formelle | Modérée (5–15 %) | Les conventions du style universitaire correspondent aux empreintes stylométriques des LLM |
| Textes techniques spécialisés | Modérée (5–10 %) | Un vocabulaire restreint réduit l’entropie ; des phrases précises réduisent la burstiness |
| Prose fortement retravaillée | Faible à modérée (3–8 %) | Les relectures successives lissent les irrégularités stylistiques |
| Documents riches en listes | Élevée au sein des sections | Les contenus sous forme de listes ont une burstiness quasi nulle |
| Textes très courts (<200 mots) | Très élevée (15–40 %) | Masse statistique insuffisante pour une classification fiable |
5. MultipleChat AI Humanizer : architecture technique
5.1 Vue d’ensemble du système
Le MultipleChat AI Humanizer met en œuvre un pipeline complet de réécriture inter-modèles composé de cinq éléments architecturaux : (1) le prétraitement et la segmentation du texte source, (2) la sélection du modèle et l’ingénierie des consignes, (3) la génération inter-modèles avec des paramètres d’échantillonnage contrôlés, (4) la vérification de la qualité après génération et (5) le renforcement facultatif de la burstiness.
5.2 Sélection des modèles et caractéristiques comparées
Le fine-tuning RLHF de Claude tend à produire des sorties plus riches en formules de prudence et aux constructions syntaxiques plus variées, ce qui donne la plus forte amélioration de la burstiness (amélioration moyenne de B : +0,19). GPT-4 produit des phrases plus courtes et syntaxiquement plus régulières, un atout pour les contenus techniques, mais avec des gains de burstiness plus faibles (amélioration moyenne de B : +0,12).
Principe architectural clé
Le gain d’humanisation est maximal lorsque le modèle de réécriture et le modèle d’évaluation du détecteur sont éloignés sur le plan architectural. En effet, la détection fondée sur la perplexité mesure la prévisibilité du texte selon le modèle du détecteur, et un texte généré par une autre famille de modèles est intrinsèquement moins prévisible. La prise en charge par MultipleChat de quatre familles de modèles distinctes permet de choisir le réécrivain le plus éloigné du détecteur probable.
5.3 Le MultipleChat AI Detector
Le détecteur de MultipleChat met en œuvre un classifieur d’ensemble multi-caractéristiques entraîné sur les sorties des quatre modèles pris en charge. L’ensemble de caractéristiques comprend des caractéristiques de perplexité (calculées avec plusieurs modèles d’évaluation), de burstiness (au niveau de la phrase et du paragraphe), lexicales (densité des formules de prudence, nombre de marqueurs d’IA, taux de contractions, taux de voix passive), discursives (position de la phrase thématique, densité des transitions, variance de la longueur des paragraphes) et d’entropie (entropie de Shannon des unigrammes et bigrammes de tokens).
6. Modes de défaillance et problèmes ouverts
6.1 Modes de défaillance de l’humanisation
Dérive sémantique en cas d’humanisation agressive : une réécriture à température élevée peut entraîner une dérive sémantique — le texte réécrit conserve le sujet général, mais perd des affirmations factuelles précises ou des distinctions nuancées. Le compromis de qualité :
L’humaniseur de MultipleChat y remédie grâce à un contrôle de similarité sémantique (similarité cosinus > 0,75 dans l’espace des embeddings) qui déclenche une nouvelle tentative avec une consigne plus contraignante si une dérive est détectée.
Hallucinations dans les contenus factuels : le modèle de réécriture peut remplacer des faits, des dates ou des statistiques précis par des variantes plausibles mais erronées. Les contenus factuels nécessitent une vérification humaine après humanisation. Le pipeline n’intègre pas actuellement de vérification automatique des faits — ce point est signalé comme un problème ouvert.
Dérive de registre et de niveau de langue : sans indication explicite du registre, le modèle de réécriture adopte par défaut son registre préféré. Les textes sources très formels (juridiques, médicaux) ou très informels (marketing, réseaux sociaux) risquent de ne pas être respectés sans instruction explicite.
6.2 Modes de défaillance de la détection
Changement de domaine : les détecteurs entraînés sur des corpus généralistes voient leur précision se dégrader nettement sur des domaines spécialisés. Un détecteur précis à 92 % sur des textes web généralistes peut tomber à 65–70 % sur des comptes rendus de cas médicaux ou des contrats juridiques.
Effets de longueur : pour les textes de moins de 200 mots, les estimations statistiques ont des intervalles de confiance trop larges pour une classification fiable. En dessous de 100 mots, la plupart des détecteurs fonctionnent à un niveau proche du hasard.
Textes composites : les documents qui alternent sections humaines et sections générées par IA présentent une distribution mixte qui met en échec les classifieurs au niveau du document. La détection par segment y remédie en partie, mais exige beaucoup plus de calcul.
6.3 Problèmes ouverts
Tatouage préservant la sémantique : un schéma intégrant le tatouage au niveau sémantique résisterait aux attaques par paraphrase tout en restant détectable par analyse sémantique.
Détection multilingue : la plupart des détecteurs sont entraînés et évalués sur des textes en anglais. Leurs performances sont nettement dégradées dans les autres langues, ce qui soulève d’importantes questions d’équité.
Attribution de la paternité en rédaction collaborative : il n’existe pas encore d’outils fiables pour quantifier la part de contribution humaine et celle de l’IA dans un texte rédigé à plusieurs mains.
Entraînement adverse pour la robustesse : il n’existe pas actuellement de cadre théorique permettant de caractériser l’équilibre au sens de la théorie des jeux et de prédire la précision de détection à l’équilibre.
Vérification formelle de la préservation des faits : aucune approche actuelle ne vérifie de manière fiable qu’un texte humanisé préserve l’intégralité du contenu factuel de la source — techniquement, un problème d’inférence en langage naturel (NLI) à grande échelle.
7. Conclusions
1. La détection fondée sur la perplexité est solide en théorie mais fragile en pratique. Le chevauchement distributionnel entre les textes humains de non-natifs (ESL) et les sorties de LLM rend les taux de faux positifs inacceptables pour des décisions lourdes de conséquences, quel que soit le seuil de détection maintenant une sensibilité raisonnable.
2. L’humanisation par paraphrase ne traite pas l’a priori génératif. La substitution de synonymes et la transformation syntaxique préservent la signature de faible perplexité des sorties de LLM sous le modèle source. La réécriture complète inter-modèles est la seule approche qui modifie la distribution génératrice.
3. La détection par ensemble multi-caractéristiques est plus robuste que les approches à caractéristique unique. Combiner perplexité, burstiness, caractéristiques stylométriques et analyse du discours surpasse nettement chaque caractéristique prise isolément.
4. Le tatouage des logits est la seule approche de détection techniquement robuste. Il doit toutefois être mis en œuvre au niveau du fournisseur de modèles et n’a pas été déployé à grande échelle au T1 2026.
5. À court terme, l’équilibre adverse favorise l’humanisation plutôt que la détection. En l’absence de tatouage des logits ou de mécanismes cryptographiques de provenance équivalents, les scores de détection doivent être traités comme des signaux probabilistes nécessitant des preuves corroborantes, et non comme des verdicts définitifs.
Références
Annexe A : référence des notations mathématiques
| Symbole | Définition |
|---|---|
| PM(t) | Probabilité attribuée au texte t par le modèle de langage M |
| PPLM(t) | Perplexité du texte t sous le modèle M |
| H(X) | Entropie de Shannon de la variable aléatoire X |
| KL(P||Q) | Divergence de Kullback-Leibler de Q à P |
| B | Coefficient de burstiness (Goh & Barabási, 2008) |
| μL, σL | Moyenne et écart type de la distribution des longueurs de phrases |
| Gt, Rt | Listes de tokens verts et rouges à l’étape de génération t |
| γ | Ratio de partition de la liste verte (généralement 0,5) |
| δ | Paramètre d’augmentation des logits déterminant la dureté du tatouage |
| θ, φ | Vecteurs de paramètres du détecteur et de l’humaniseur |
| S(t) | Fonction de score de DetectGPT (rapport de log-probabilités) |
| V | Ensemble du vocabulaire de taille |V| |
| z ∈ ℝ|V| | Vecteur de logits avant normalisation softmax |
| sim(t₁, t₂) | Similarité sémantique (cosinus dans l’espace des embeddings) |
Annexe B : synthèse des benchmarks empiriques
Précision de détection selon les méthodes d’humanisation (GPTZero v4 comme détecteur de référence, n=500 textes par cellule) :
| Méthode d’humanisation | Taux de détection | TFP (humain) | Sim. sémantique | Burstiness B |
|---|---|---|---|---|
| Sans humanisation (IA brute) | 91.3% | 8.2% | 1.00 | -0.07 |
| Substitution de synonymes | 87.4% | 8.5% | 0.97 | -0.05 |
| QuillBot (mode Créatif) | 74.2% | 9.1% | 0.91 | 0.08 |
| Réécriture complète (Claude) | 28.6% | 8.8% | 0.83 | 0.24 |
| Réécriture complète (GPT-4) | 31.2% | 8.4% | 0.86 | 0.19 |
| MultipleChat Humanizer | 22.4% | 9.0% | 0.81 | 0.27 |
| Référence humaine | 8.2% | — | — | 0.31 |
Remarque : tous les chiffres sont des approximations obtenues dans des conditions expérimentales contrôlées. Les taux de détection réels varient fortement selon le domaine, la longueur du texte et la version du détecteur. Le TFP de référence humaine de 8,2 % correspond au taux de faux positifs incompressible de GPTZero v4 sur des textes universitaires rédigés par des humains.
MultipleChat AI Humanizer & Detector
Réécriture complète inter-modèles avec Claude, ChatGPT, Gemini et Grok. Détection par ensemble multi-caractéristiques avec cartes thermiques phrase par phrase.