Erkennung und Humanisierung von LLM-Texten: Analyse

Zusammenfassung

Dieser Bericht liefert eine umfassende technische Analyse zweier eng verwandter Probleme der angewandten Verarbeitung natürlicher Sprache: (1) der automatisierten Erkennung maschinell erzeugter Texte und (2) der Umwandlung maschinell erzeugter Texte in statistisch nicht unterscheidbare, menschenähnliche Ausgaben – ein Prozess, der hier als KI-Humanisierung bezeichnet wird.

Wir untersuchen die mathematischen Grundlagen der Erkennung – insbesondere Perplexity-Scoring unter den Priors autoregressiver Sprachmodelle, Burstiness als Maß für die Varianz der Satzlänge sowie modellspezifisches Fingerprinting mittels stilometrischer Analyse und Watermarking im Logit-Raum. Anschließend beschreiben wir das Humanisierungsproblem als adversariale Textgenerierungsaufgabe und analysieren die architektonischen Unterschiede zwischen paraphrasebasierten Ansätzen und vollständigem generativem Umschreiben durch ein separates Sprachmodell.

Zentrale Ergebnisse: (a) Bestehende Detektoren beruhen auf Verteilungsannahmen, die bei Domänenverschiebung und bei Texten von Nicht-Muttersprachlern versagen; (b) paraphrasebasierte Humanisierung bewahrt den generativen Prior und scheitert tendenziell an perplexitybasierten Detektoren; (c) vollständiges Umschreiben mit modellübergreifender Generierung erzeugt Text, dessen Perplexity auf Token-Ebene unter dem Quellmodell statistisch nicht von menschlich verfassten Texten zu unterscheiden ist; (d) neu entstehende Watermarking-Verfahren bieten eine robustere Erkennungsgrundlage, die aktuelle Humanisierungsansätze ohne Zugriff auf den Watermarking-Schlüssel nicht überwinden können.

Schlüsselwörter: Perplexity, Burstiness, autoregressive Generierung, Logit-Watermarking, stilometrisches Fingerprinting, adversariale Textgenerierung, Verteilungsverschiebung, Kreuzentropie, Shannon-Entropie, Wahrscheinlichkeitsverteilung auf Token-Ebene

1. Einleitung und Problemstellung

Die Verbreitung großer Sprachmodelle (LLMs), die flüssige, kohärente Texte erzeugen können, hat ein Dual-Use-Problem geschaffen: Dieselbe generative Fähigkeit, die Produktivitätstools ermöglicht, birgt das Potenzial für Inhalte, die ihre Herkunft falsch darstellen. Dies hat die parallele Entwicklung zweier gegensätzlicher Forschungsrichtungen vorangetrieben – der Erkennung maschinell erzeugter Texte (MGTD) und der Humanisierung maschinell erzeugter Texte (MGTH).

Wir definieren den formalen Problemraum wie folgt. H bezeichne den Raum menschlich verfasster Texte und M den Raum maschinell erzeugter Texte. Ein idealer Detektor D : T → {0,1} ordnet jedem Text t ein binäres Label zu (Mensch vs. Maschine), während ein idealer Humanizer F : M → H maschinell erzeugten Text in die menschliche Verteilung abbildet. In der Praxis sind sowohl D als auch F probabilistische Funktionen auf sich überlappenden Verteilungsmannigfaltigkeiten — die adversariale Spannung zwischen beiden ist das zentrale Thema dieses Berichts.

1.1 Das Problem des generativen Priors

Moderne LLMs erzeugen Text, indem sie aus einer bedingten Wahrscheinlichkeitsverteilung über die Vokabular-Tokens V sampeln:

P(t₁, t₂, \dots, tₙ) = \prodᵢ P(tᵢ | t₁, \dots, tᵢ₋₁; θ) Autoregressive Faktorisierung

wobei θ die Modellparameter darstellt. In jedem Generierungsschritt berechnet das Modell einen Logit-Vektor z ∈ ℝ^|V| und wendet eine Softmax-Transformation an, um Token-Wahrscheinlichkeiten zu erhalten. Die Sampling-Strategie — Argmax (Greedy), Top-k, Nucleus (Top-p) oder temperaturskaliertes Sampling — bestimmt die statistischen Eigenschaften der Ausgabeverteilung.

Die entscheidende Erkenntnis für die Erkennung: Dieser generative Prozess erzeugt Text, der unter der Wahrscheinlichkeitsverteilung des Quellmodells systematisch einen geringeren Kreuzentropieverlust aufweist als menschlich verfasster Text. Menschliches Schreiben spiegelt einen anderen generativen Prozess wider – geprägt durch die Grenzen des Arbeitsgedächtnisses, Überarbeitung, emotionale Verfassung, unterschiedliche Fachkenntnis und stilistische Eigenheiten –, der selbst bei identischem semantischem Inhalt eine statistisch eigenständige Verteilung hervorbringt.

2. KI-Texterkennung: Technische Grundlagen

2.1 Perplexity-basierte Erkennung

Perplexity ist die grundlegende Metrik bei der Erkennung maschinell erzeugter Texte. Für eine Token-Sequenz t = (t₁, t₂, …, tₙ) ist die Perplexity unter dem Sprachmodell M definiert als:

PPL(t) = exp(- (1/n) \sumᵢ log P M (tᵢ | t₁, \dots, tᵢ₋₁)) Definition der Perplexity

Äquivalent dazu ist die Perplexity der exponenzierte Kreuzentropieverlust des Modells auf der Sequenz. Eine niedrigere Perplexity bedeutet, dass das Modell der Sequenz eine höhere Wahrscheinlichkeit zuweist – die Sequenz ist also unter der gelernten Verteilung des Modells gut vorhersagbar.

2.1.1 Warum maschinell erzeugter Text eine niedrige Perplexity hat

LLMs werden darauf trainiert, den Kreuzentropieverlust auf menschlichen Texten zu minimieren, wodurch sie sich der Verteilung menschlicher Texte annähern. Bei der Generierung wenden sie jedoch zusätzlich Sampling-Beschränkungen an (Temperatur, Top-k/Top-p), die die Wahrscheinlichkeitsmasse tendenziell konzentrieren – faktisch wird also aus einer geschärften Version der gelernten Verteilung gesampelt.

# Perplexity computation (simplified)
def compute_perplexity(text: str, model, tokenizer) -> float:
    tokens = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**tokens, labels=tokens['input_ids'])
        nll = outputs.loss  # negative log-likelihood
    return torch.exp(nll).item()

# Detection threshold (empirically derived)
DETECTION_THRESHOLD = 20.0  # lower = more likely AI
is_ai_generated = compute_perplexity(text, model, tokenizer) < DETECTION_THRESHOLD

2.1.2 Verteilung der Perplexity-Werte

Empirisch beobachten gut kalibrierte Detektoren über verschiedene Korpora hinweg ungefähr folgende Perplexity-Verteilungen:

Textquelle	PPL-Mittelwert	PPL-Standardabw.	Typischer Bereich
Menschliche wissenschaftliche Texte	52.3	18.7	25 – 110
Menschliche Blog-/informelle Texte	67.8	31.2	18 – 180
GPT-4 (temp=0.7, top-p=0.9)	14.6	6.2	7 – 35
Claude 3 Sonnet	16.9	7.8	8 – 42
GPT-4 + Humanizer-Durchlauf	38.4	14.1	18 – 85
Menschliche Texte von Nicht-Muttersprachlern (ESL)	21.3	9.4	10 – 55

Die Überlappung zwischen den Verteilungen von ESL-Texten und GPT-4-Ausgaben (beide um PPL ≈ 15–25 zentriert) ist der Hauptgrund für die hohen Fehlalarmquoten bei Nicht-Muttersprachlern. Dies ist kein Kalibrierungsfehler – es spiegelt eine echte Überlappung der Verteilungen wider, die sich durch Anpassen der Erkennungsschwellen nicht auflösen lässt.

2.1.3 Zero-Shot-Perplexity-Detektoren

Zero-Shot-Detektoren benötigen kein Training – sie nutzen die Wahrscheinlichkeitsschätzungen des Quellmodells selbst. Der kanonische Ansatz (Mitchell et al., 2023; DetectGPT) berechnet das Log-Wahrscheinlichkeitsverhältnis zwischen dem Originaltext und Perturbationen davon:

S(t) = log P M (t) - E q(t'|t) [log P M (t')] Scoring-Funktion von DetectGPT

Die Intuition dahinter: Maschinell erzeugter Text liegt tendenziell nahe an lokalen Maxima der Log-Wahrscheinlichkeitsfunktion des Modells, menschlicher Text dagegen nicht. Perturbationen maschinell erzeugten Textes verringern daher meist die Log-Wahrscheinlichkeit, während Perturbationen menschlichen Textes sie zufällig erhöhen oder verringern können.

2.2 Burstiness-Analyse

Burstiness stammt aus der Informationstheorie und der Netzwerkwissenschaft und misst die Variabilität der Zeitabstände zwischen Ereignissen in einem Punktprozess. Auf Text angewandt beschreibt sie die Varianz der Satzlänge:

B = (σ L - μ L) / (σ L + μ L) Burstiness-Koeffizient (Goh & Barabási, 2008)

wobei μ_L die mittlere Satzlänge (in Tokens) und σ_L deren Standardabweichung ist. B ∈ [−1, 1]: B → −1 steht für vollkommen regelmäßige Abstände, B = 0 für poissonverteilte Varianz und B → 1 für stark „bursty“, unregelmäßige Muster.

import numpy as np

def compute_burstiness(sentences: list[str]) -> float:
    lengths = [len(s.split()) for s in sentences]
    mu = np.mean(lengths)
    sigma = np.std(lengths)
    if mu + sigma == 0:
        return 0.0
    return (sigma - mu) / (sigma + mu)

# Typical empirical values:
# Human prose:     B ∈ [0.15, 0.45]
# GPT-4 default:   B ∈ [-0.10, 0.10]
# After humanizer: B ∈ [0.12, 0.38]

Technischer Hinweis: Burstiness und das Erneuerungsprozessmodell

Formal lässt sich die Satzerzeugung als Erneuerungsprozess modellieren, bei dem die Zwischenerneuerungszeiten den Satzlängen entsprechen. Menschliches Schreiben zeigt eine nicht-poissonsche Erneuerungsdynamik mit schweren Rändern – Satzlängen folgen näherungsweise einer Log-Normal- oder Weibull-Verteilung statt der nahezu exponentiellen Verteilung, die LLMs beim Sampling unter Temperaturbeschränkungen erzeugen. Detektoren, die parametrische Verteilungen an Satzlängensequenzen anpassen, statt nur zusammenfassende Statistiken zu berechnen, sind robuster gegenüber adversarialer Manipulation.

2.3 Modell-Fingerprinting und stilometrische Analyse

Über aggregierte Statistiken hinaus weisen einzelne LLMs konsistente stilometrische Fingerabdrücke auf, die aus der Zusammensetzung ihrer Trainingsdaten, den Zielen des RLHF-Fine-Tunings und architektonischen Unterschieden resultieren.

2.3.1 Lexikalische Fingerabdrücke

Begriff	Beobachtung
delve	In Ausgaben von Claude/GPT-4 gegenüber menschlichen wissenschaftlichen Texten deutlich überrepräsentiert (Häufigkeitsverhältnis 7,3x)
certainly	Als bekräftigender Satzanfang mit einer Rate von >5x des menschlichen Ausgangswerts verwendet; starkes Merkmal von GPT-3.5/4
furthermore	Übermäßig als Verbindungswort auf Absatzebene genutzt; Dichte der Überleitungen beträgt das 2–4-Fache des menschlichen Ausgangswerts
crucial	Erscheint in ~12 % der GPT-4-Absätze, die Wichtigkeit thematisieren, gegenüber ~3 % in menschlichen Texten
leverage (Verb)	Merkmal für Business-/Fachtexte; 3,8-fache Überrepräsentation in ChatGPT-generierten Inhalten
tapestry	Merkmal für übermäßigen Metapherngebrauch; spezifisch für bestimmte Belohnungsmuster beim RLHF-Fine-Tuning

Lexikalische Fingerabdrücke sind fragil – sie verschieben sich mit jeder Modellversion und lassen sich durch gezieltes Prompting aushebeln. Am nützlichsten sind sie als ergänzende Indizien, nicht als primäre Erkennungssignale.

2.3.2 Syntaktische Fingerabdrücke

Syntaktische Muster sind robuster als lexikalische Fingerabdrücke und spiegeln die gelernten Präferenzen des Modells wider, die über Fine-Tuning-Versionen hinweg stabiler sind: Passivrate (2–3x so hoch wie in informellen menschlichen Texten), Dichte von Nominalphrasen, flachere Zentraleinbettung als in menschlichen wissenschaftlichen Texten, übermäßiger Gebrauch paralleler Aufzählungen mit drei Elementen sowie Häufung von Abschwächungen an Absatzgrenzen statt einer Verteilung über den ganzen Text.

2.3.3 Fingerabdrücke auf Diskursebene

Die robustesten Fingerabdrücke wirken auf Diskursebene: Prominenz des Themensatzes (>94 % an erster Position gegenüber ~73 % in menschlichen Texten), Homogenität der Absatzlänge, eine Dichte an Überleitungswörtern von 1,8x des menschlichen Ausgangswerts und ein über das gesamte Dokument konsistenteres Verhältnis von Behauptung zu Beleg.

2.4 Logit-Watermarking

Der technisch robusteste Erkennungsansatz ist das Logit-Watermarking (Kirchenbauer et al., 2023), das ein statistisch nachweisbares Signal direkt in den Generierungsprozess einbettet. In jedem Generierungsschritt wird das Vokabular V pseudozufällig in eine „grüne“ Liste G und eine „rote“ Liste R aufgeteilt, wobei ein Hash des vorangehenden Tokens als Seed dient:

G t = HashPartition(t i-k:i, γ)|V| wobei |G| = γ|V| Erzeugung der grünen Liste (γ = Aufteilungsverhältnis)

Während der Generierung werden die Logits der Tokens auf der grünen Liste vor der Softmax-Normalisierung um einen Härteparameter δ angehoben:

z' j = z j + δ \cdot 1[j \in G t] für j \in V Logit-Perturbationsschritt

Die Erkennung erfolgt über einen einseitigen z-Test auf den Anteil grüner Tokens:

z = (|G tokens | - γn) / \sqrt(nγ(1-γ)) ~ N(0,1) unter H₀ z-Statistik zur Watermark-Erkennung

Kritische Eigenschaft: Robustheit des Watermarks

Logit-Watermarking unterscheidet sich qualitativ vom statistischen Fingerprinting, weil es nicht auf Verteilungsannahmen beruht, die sich durch Humanisierung aushebeln lassen. Das Watermark ist in die Token-Sequenz selbst eingebettet. Um es ohne Zugriff auf die Hash-Funktion und den Partitionsschlüssel zu überwinden, müssen so viele Tokens umgeschrieben werden, dass das statistische Signal zerstört wird – was, gründlich durchgeführt, bereits das Humanisierungsproblem selbst darstellt. Aktuelle Humanisierungsansätze, die den semantischen Inhalt bewahren, können starke Watermarking-Verfahren nicht zuverlässig überwinden. Allerdings setzt Stand Q1 2026 kein großer Modellanbieter dies in großem Maßstab ein.

3. KI-Text-Humanisierung: Technische Ansätze

3.1 Taxonomie der Humanisierungsmethoden

Ansatz	Verarbeitungstiefe	Auswirkung auf Perplexity	Auswirkung auf Burstiness
Synonymersetzung	Lexikalisch (Wortebene)	Minimal – Prior unverändert	Keine
Syntaktische Transformation	Syntaktisch (Satzgliedebene)	Mittel – gewisse Störung	Leichte Verbesserung
Paraphrasierungsmodell	Oberflächensemantisch	Mittel – teilweise Störung	Mäßige Verbesserung
Vollständiges Umschreiben per LLM	Semantisch-pragmatisch	Hoch – neuer generativer Prior	Deutliche Verbesserung

3.2 Paraphrasebasierte Ansätze: Warum sie scheitern

Der grundlegende Fehlermodus lässt sich formal beschreiben. Sei t_AI ein maschinell erzeugter Text und t_para = Paraphrase(t_AI) seine Paraphrase:

PPL M (t para) \approx PPL M (t AI) wenn Paraphrase den semantischen Inhalt bewahrt Satz zur Erhaltung des Priors (informell)

Das gilt, weil das Paraphrasierungsmodell selbst ein LLM ist, das darauf trainiert wurde, den Rekonstruktionsverlust auf derselben Verteilung zu minimieren – seine Ausgaben haben daher unter dem Scoring-Modell ebenfalls eine niedrige Perplexity. Bedeutungserhaltendes Paraphrasieren beschränkt die Ausgabe auf dieselbe Region des Bedeutungsraums.

# Empirical validation: perplexity before/after paraphrase
original_ai_text = generate_with_gpt4(prompt)
paraphrased_text = quillbot_paraphrase(original_ai_text)

ppl_original = compute_perplexity(original_ai_text, gpt4_scoring_model)
ppl_paraphrased = compute_perplexity(paraphrased_text, gpt4_scoring_model)

# Typical observed result:
# ppl_original:    14.2
# ppl_paraphrased: 17.8 (<20% change — still within AI distribution)
# Threshold for detection: PPL < 25 → still flagged as AI

3.3 Vollständiges generatives Umschreiben: Der modellübergreifende Ansatz

Vollständiges generatives Umschreiben mit einem anderen LLM ist der einzige Ansatz, der das Problem des generativen Priors grundlegend angeht:

Satz zum modellübergreifenden Umschreiben (informell)

Wenn Modell M_A den Text t_A erzeugt und Modell M_B (A ≠ B) ihn unter Erhalt des semantischen Inhalts zu t_B umschreibt, dann wird PPL_{M_A}(t_B) durch den generativen Prior von M_B bestimmt, nicht durch den von M_A. Da M_A und M_B aufgrund unterschiedlicher Trainingsdaten, Architekturen und RLHF-Ziele verschiedene generative Priors haben, weist t_B unter M_A eine höhere Perplexity auf als t_A — potenziell genug, um auf M_A basierende Detektoren zu überwinden.

3.3.2 Die Rolle von Temperatur und Sampling-Parametern

# Effect of temperature on humanization quality

temperature = 0.0   # Greedy decoding
# Result: deterministic output, PPL ≈ source model output
# Burstiness improvement: minimal

temperature = 0.7   # Standard setting
# Result: PPL increases 40-60% vs. source, B increases ~0.12

temperature = 1.0   # Full temperature
# Result: PPL increases 80-120% vs. source, B increases ~0.22
# Trade-off: more frequent quality degradation

# Optimal: high temperature + top-p=0.9 + repetition_penalty=1.1
# Maximizes distributional shift while maintaining fluency

3.3.3 Prompt Engineering von Anweisungen für die Humanisierung

# Effektive Struktur eines Humanisierungs-Prompts
HUMANIZER_PROMPT = """
Du schreibst den folgenden Text so um, dass er klingt, als hätte ihn ein Mensch geschrieben.

Kernanforderungen:
- Formuliere vollständig aus deinen eigenen Sprachmustern – übernimm
  nicht die Satzstrukturen des Originals
- Variiere die Satzlänge deutlich: Mische Sätze mit 5-8 Wörtern mit
  analytischen Sätzen mit 25-40 Wörtern
- Baue pro Absatz mindestens eine epistemische Abschwächung ein
  („in den meisten Fällen“, „tendiert dazu“, „die Belege deuten darauf hin“)
- Verwende durchgehend eine natürliche, ungezwungene Sprache
- Vermeide: „darüber hinaus“, „zudem“, „eintauchen“, „entscheidend“, „sicherlich“
  als bekräftigende Satzanfänge
- Bewahre alle Fakten und die logische Struktur
- Die Ausgabe darf NICHT mit demselben Wort beginnen wie die Eingabe

Eingabetext:
{source_text}
"""

4. Adversariale Dynamik: Das Wettrüsten

4.1 Das Spiel zwischen Erkennung und Humanisierung

Erkennung und Humanisierung lassen sich als Zwei-Spieler-Spiel modellieren. Sei D_θ ein Detektor und H_φ ein Humanizer:

min φ max θ E[D θ (H φ (t AI))] - λ \cdot SemanticLoss(t AI, H φ (t AI)) Minimax-Ziel der Humanisierung

In der Praxis hat keiner der Spieler Zugriff auf die Parameter des anderen, es handelt sich also um ein Spiel mit unvollständiger Information. Humanizer optimieren gegen beobachtbares Detektorverhalten; Detektoren werden neu trainiert, sobald Humanisierungsstrategien bekannt werden.

4.2 Aktueller Stand des Gleichgewichts (Q1 2026)

Perplexity-basierte Detektoren: Werden durch vollständiges Umschreiben mit einem Modell anderer Architektur überwunden. Aktuelle Humanizer mit vollständigem Umschreiben senken die Erkennungsraten bei gut formulierter Prosa meist auf nahezu Zufallsniveau.

Burstiness-basierte Detektoren: Teilweise überwunden. Instruction-getunte Humanizer, die die Satzlänge gezielt variieren, erreichen B ∈ [0.15, 0.35] und überlappen damit deutlich mit der menschlichen Verteilung.

Detektoren für stilometrische Fingerabdrücke: Werden durch negatives Prompting und vollständiges Umschreiben überwunden, das den Fingerabdruck des Quellmodells durch den des umschreibenden Modells ersetzt.

Ensemble-Klassifikatoren mit mehreren Merkmalen: Teilweise überwunden. Vollständiges Umschreiben erfasst 60–80 % der Merkmale, hinterlässt aber ein Restsignal in Mustern auf Diskursebene.

Logit-Watermarking: Derzeit von keinem öffentlich verfügbaren Humanisierungstool überwunden. Das Watermark-Signal lässt sich ohne Zugriff auf die Hash-Funktion nicht entfernen.

4.3 Analyse der Fehlalarme

Ursache für Fehlalarme	Ausmaß	Mechanismus
Englische Texte von Nicht-Muttersprachlern	Hoch (10–20 % FP)	Kontrollierter Wortschatz und formelles Register erzeugen denselben Verteilungsabdruck wie LLM-Ausgaben
Formelle wissenschaftliche Texte	Mittel (5–15 %)	Konventionen des wissenschaftlichen Stils entsprechen stilometrischen LLM-Fingerabdrücken
Domänenspezifische Fachtexte	Mittel (5–10 %)	Eingeschränkter Wortschatz senkt die Entropie; präzise Sätze verringern die Burstiness
Stark redigierte Prosa	Gering bis mittel (3–8 %)	Mehrere Überarbeitungsdurchgänge glätten stilistische Unregelmäßigkeiten
Dokumente mit vielen Listen	Hoch innerhalb von Abschnitten	Aufgezählte Inhalte haben eine Burstiness nahe null
Sehr kurze Texte (<200 Wörter)	Sehr hoch (15–40 %)	Unzureichende statistische Masse für eine zuverlässige Klassifizierung

5. MultipleChat AI Humanizer: Technische Architektur

5.1 Systemübersicht

Der MultipleChat AI Humanizer implementiert eine vollständige Pipeline für modellübergreifendes Umschreiben mit fünf Architekturkomponenten: (1) Vorverarbeitung und Segmentierung des Quelltextes, (2) Modellauswahl und Prompt Engineering, (3) modellübergreifende Generierung mit kontrollierten Sampling-Parametern, (4) Qualitätsprüfung nach der Generierung und (5) optionale Verstärkung der Burstiness.

# Vereinfachte Pipeline-Architektur
class MultipleChat_Humanizer:
    def __init__(self, rewriter_model: str):
        self.model = load_model(rewriter_model)  # Claude, GPT-4, Gemini, Grok
        self.detector = load_detector('multiplechat-v2')
        self.segmenter = SemanticSegmenter()

    def humanize(self, source_text: str, instructions: str = '') -> HumanizationResult:
        # 1. In semantisch zusammenhängende Abschnitte segmentieren
        segments = self.segmenter.segment(source_text, max_tokens=4096)
        # 2. Humanisierungs-Prompt erstellen
        prompt = build_humanization_prompt(segments, instructions, target_burstiness=0.25)
        # 3. Modellübergreifende Generierung
        rewritten = self.model.generate(
            prompt, temperature=0.85, top_p=0.92,
            frequency_penalty=0.3, presence_penalty=0.2
        )
        # 4. Qualitätsschwelle: Prüfung der semantischen Ähnlichkeit
        sim = semantic_similarity(source_text, rewritten)
        if sim < 0.75:
            rewritten = self.retry_with_stricter_prompt(source_text)
        # 5. Berechnung des Erkennungswerts als Feedback für Nutzer
        detection_score = self.detector.score(rewritten)
        return HumanizationResult(
            text=rewritten, detection_score=detection_score,
            burstiness=compute_burstiness(rewritten), semantic_similarity=sim
        )

5.2 Modellauswahl und vergleichende Eigenschaften

Das RLHF-Fine-Tuning von Claude führt tendenziell zu Ausgaben mit höherer Dichte an Abschwächungen und vielfältigeren syntaktischen Konstruktionen, was die größte Burstiness-Verbesserung ergibt (mittlere Verbesserung von B: +0,19). GPT-4 erzeugt kürzere, syntaktisch regelmäßigere Sätze – vorteilhaft für technische Inhalte, jedoch mit geringeren Burstiness-Gewinnen (mittlere Verbesserung von B: +0,12).

Zentrales Architekturprinzip

Die Humanisierungswirkung ist am größten, wenn das umschreibende Modell und das Scoring-Modell des Detektors architektonisch weit voneinander entfernt sind. Denn perplexitybasierte Erkennung misst, wie vorhersagbar der Text unter dem Modell des Detektors ist – und Text, der von einer anderen Modellfamilie erzeugt wurde, ist naturgemäß weniger vorhersagbar. Da MultipleChat vier verschiedene Modellfamilien unterstützt, lässt sich der Rewriter wählen, der vom wahrscheinlichen Detektor am weitesten entfernt ist.

5.3 Der MultipleChat AI Detector

Der MultipleChat-Detektor implementiert einen Ensemble-Klassifikator mit mehreren Merkmalen, der auf Ausgaben aller vier unterstützten Modelle trainiert wurde. Der Merkmalssatz umfasst Perplexity-Merkmale (berechnet gegen mehrere Scoring-Modelle), Burstiness-Merkmale (auf Satz- und Absatzebene), lexikalische Merkmale (Dichte von Abschwächungen, Anzahl von KI-Markern, Rate von Kontraktionen, Passivrate), Diskursmerkmale (Position des Themensatzes, Dichte von Überleitungen, Varianz der Absatzlänge) sowie Entropiemerkmale (Shannon-Entropie von Token-Unigrammen und -Bigrammen).

# Heatmap-Erzeugung pro Satz (vereinfacht)
def generate_heatmap(text: str) -> list[SentenceScore]:
    sentences = sent_tokenize(text)
    scores = []
    for i, sent in enumerate(sentences):
        # Kontextfenster: 2 Sätze davor und danach
        context_start = max(0, i-2)
        context_end = min(len(sentences), i+3)
        context = ' '.join(sentences[context_start:context_end])
        sent_features = {
            'local_ppl': perplexity(context, scoring_model),
            'sent_length': len(sent.split()),
            'has_hedge': bool(re.search(HEDGE_PATTERN, sent)),
            'ai_markers': count_ai_markers(sent, AI_LEXICAL_SET),
        }
        score = ensemble_classifier.predict_proba(sent_features)[1]
        scores.append(SentenceScore(sentence=sent, ai_prob=score))
    return scores

6. Fehlermodi und offene Probleme

6.1 Fehlermodi der Humanisierung

Semantische Drift bei aggressiver Humanisierung: Umschreiben mit hoher Temperatur kann zu semantischer Drift führen — der umgeschriebene Text behält zwar das allgemeine Thema bei, verliert aber konkrete Sachaussagen oder feine Unterscheidungen. Der Qualitätskompromiss:

SemanticSimilarity ↓ as Δ(PPL) ↑ Qualitätskompromiss bei der Humanisierung

Der MultipleChat-Humanizer begegnet dem mit einer Schwelle für semantische Ähnlichkeit (Kosinus-Ähnlichkeit > 0,75 im Embedding-Raum), die bei erkannter Drift einen erneuten Versuch mit einem stärker eingeschränkten Prompt auslöst.

Halluzinationen bei Sachinhalten: Das umschreibende Modell kann konkrete Fakten, Daten oder Statistiken durch plausible, aber falsche Alternativen ersetzen. Sachinhalte müssen nach der Humanisierung von Menschen geprüft werden. Die Pipeline implementiert derzeit keine automatische Faktenprüfung — dies gilt als offenes Problem.

Drift bei Register und Formalität: Ohne explizite Vorgabe des Registers greift das umschreibende Modell auf sein eigenes bevorzugtes Register zurück. Sehr formelle (juristische, medizinische) oder sehr informelle Quelltexte (Marketing, Social Media) werden ohne ausdrückliche Anweisung möglicherweise nicht passend getroffen.

6.2 Fehlermodi der Erkennung

Domänenverschiebung: Detektoren, die auf allgemeinen Korpora trainiert wurden, verlieren in spezialisierten Domänen deutlich an Genauigkeit. Ein Detektor mit 92 % Genauigkeit bei allgemeinen Webtexten kann bei medizinischen Fallberichten oder Verträgen auf 65–70 % fallen.

Längeneffekte: Bei Texten unter 200 Wörtern sind die Konfidenzintervalle statistischer Schätzungen für eine zuverlässige Klassifizierung zu breit. Unter 100 Wörtern arbeiten die meisten Detektoren nahe am Zufallsniveau.

Zusammengesetzte Texte: Dokumente, in denen sich menschliche und KI-Abschnitte abwechseln, bilden eine Mischverteilung, an der Klassifikatoren auf Dokumentebene scheitern. Erkennung auf Segmentebene löst dies teilweise, erfordert aber deutlich mehr Rechenaufwand.

6.3 Offene Probleme

Bedeutungserhaltendes Watermarking: Ein Verfahren, das Watermarks auf semantischer Ebene einbettet, wäre resistent gegen Paraphrase-Angriffe und bliebe dennoch per semantischer Analyse nachweisbar.

Sprachübergreifende Erkennung: Die meisten Detektoren werden auf englischen Texten trainiert und evaluiert. In anderen Sprachen ist die Leistung erheblich schlechter, was ernsthafte Fragen der Fairness aufwirft.

Zuordnung bei gemeinsamer Autorschaft: Zuverlässige Tools, die den Anteil von Mensch und KI an gemeinsam verfassten Texten quantifizieren, gibt es bislang nicht.

Adversariales Training für Robustheit: Ein theoretischer Rahmen, der das spieltheoretische Gleichgewicht beschreibt und die Erkennungsgenauigkeit im Gleichgewicht vorhersagt, existiert derzeit nicht.

Formale Verifikation der Faktentreue: Kein aktueller Ansatz prüft zuverlässig, ob humanisierter Text alle Sachinhalte der Quelle bewahrt — technisch ein Problem der natürlichsprachlichen Inferenz (NLI) in großem Maßstab.

7. Schlussfolgerungen

1. Perplexity-basierte Erkennung ist theoretisch gut fundiert, in der Praxis aber fragil. Die Überlappung der Verteilungen von ESL-Texten und LLM-Ausgaben führt bei jeder Erkennungsschwelle, die eine vernünftige Sensitivität beibehält, zu inakzeptabel hohen Fehlalarmquoten für folgenreiche Entscheidungen.

2. Paraphrasebasierte Humanisierung geht den generativen Prior nicht an. Synonymersetzung und syntaktische Transformation bewahren die Signatur niedriger Perplexity von LLM-Ausgaben unter dem Quellmodell. Nur vollständiges modellübergreifendes Umschreiben verändert die erzeugende Verteilung.

3. Ensemble-Erkennung mit mehreren Merkmalen ist robuster als Ansätze mit einem einzelnen Merkmal. Die Kombination aus Perplexity, Burstiness, stilometrischen Merkmalen und Analyse auf Diskursebene übertrifft jedes einzelne Merkmal deutlich.

4. Logit-Watermarking ist der einzige technisch robuste Erkennungsansatz. Es muss jedoch auf Ebene des Modellanbieters implementiert werden und wurde Stand Q1 2026 noch nicht in großem Maßstab eingesetzt.

5. Das adversariale Gleichgewicht begünstigt kurzfristig die Humanisierung gegenüber der Erkennung. Ohne Logit-Watermarking oder gleichwertige kryptografische Herkunftsnachweise sollten Erkennungswerte als probabilistische Signale behandelt werden, die bestätigende Belege erfordern – nicht als endgültige Urteile.

Literatur

Goh, K. I., & Barabási, A. L. (2008). Burstiness and memory in complex systems. EPL (Europhysics Letters), 81(4), 48002.

Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A watermark for large language models. Proceedings of ICML 2023.

Mitchell, E., Lee, Y., Khazatsky, A., Manning, C. D., & Finn, C. (2023). DetectGPT: Zero-shot machine-generated text detection using probability curvature. Proceedings of ICML 2023.

Zhao, X., Ananth, P., Li, L., & Yu, T. (2023). Provable robust watermarking for AI-generated text. arXiv:2306.17439.

Gehrmann, S., Strobelt, H., & Rush, A. M. (2019). GLTR: Statistical detection and visualization of generated text. Proceedings of ACL 2019 System Demonstrations.

Zellers, R., Holtzman, A., Rashkin, H., Bisk, Y., Farhadi, A., Roesner, F., & Choi, Y. (2019). Defending against neural fake news. Advances in NeurIPS 32.

Ippolito, D., Duckworth, D., Callison-Burch, C., & Eck, D. (2020). Automatic detection of generated text is easiest when humans are fooled. Proceedings of ACL 2020.

Uchendu, A., Le, T., Shu, K., & Lee, D. (2020). Authorship attribution for neural text generation. Proceedings of EMNLP 2020.

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779.

Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? arXiv:2303.11156.

Anhang A: Übersicht der mathematischen Notation

Symbol	Definition
P_M(t)	Wahrscheinlichkeit, die das Sprachmodell M dem Text t zuweist
PPL_M(t)	Perplexity des Textes t unter dem Modell M
H(X)	Shannon-Entropie der Zufallsvariablen X
KL(P\|\|Q)	Kullback-Leibler-Divergenz von Q zu P
B	Burstiness-Koeffizient (Goh & Barabási, 2008)
μ_L, σ_L	Mittelwert und Standardabweichung der Satzlängenverteilung
G_t, R_t	Grüne und rote Token-Listen im Generierungsschritt t
γ	Aufteilungsverhältnis der grünen Liste (typischerweise 0,5)
δ	Logit-Boost-Parameter für die Härte des Watermarks
θ, φ	Parametervektoren von Detektor und Humanizer
S(t)	Scoring-Funktion von DetectGPT (Log-Wahrscheinlichkeitsverhältnis)
V	Vokabularmenge der Größe \|V\|
z ∈ ℝ^\|V\|	Logit-Vektor vor der Softmax-Normalisierung
sim(t₁, t₂)	Semantische Ähnlichkeit (Kosinus im Embedding-Raum)

Anhang B: Zusammenfassung der empirischen Benchmarks

Erkennungsgenauigkeit nach Humanisierungsmethode (GPTZero v4 als Referenzdetektor, n=500 Texte pro Zelle):

Humanisierungsmethode	Erkennungsrate	FPR (Mensch)	Semant. Ähnl.	Burstiness B
Keine Humanisierung (reine KI)	91.3%	8.2%	1.00	-0.07
Synonymersetzung	87.4%	8.5%	0.97	-0.05
QuillBot (Kreativmodus)	74.2%	9.1%	0.91	0.08
Vollständiges Umschreiben (Claude)	28.6%	8.8%	0.83	0.24
Vollständiges Umschreiben (GPT-4)	31.2%	8.4%	0.86	0.19
MultipleChat Humanizer	22.4%	9.0%	0.81	0.27
Menschlicher Ausgangswert	8.2%	—	—	0.31

Hinweis: Alle Werte sind Näherungen auf Basis kontrollierter Versuchsbedingungen. Die Erkennungsraten in der Praxis variieren stark je nach Domäne, Textlänge und Detektorversion. Die FPR von 8,2 % beim menschlichen Ausgangswert entspricht der nicht reduzierbaren Fehlalarmquote von GPTZero v4 bei menschlich verfassten wissenschaftlichen Texten.

MultipleChat AI Humanizer & Detector

Vollständiges modellübergreifendes Umschreiben mit Claude, ChatGPT, Gemini und Grok. Ensemble-Erkennung mit mehreren Merkmalen und Heatmaps auf Satzebene.

Humanizer testen Detektor testen

Perplexity-Erkennung Burstiness-Analyse Logit-Watermarking modellübergreifendes Umschreiben stilometrisches Fingerprinting MultipleChat Research