LLM 出力の検出とヒューマナイズ：技術分析

要旨

本レポートは、応用自然言語処理における密接に関連した2つの問題、すなわち（1）機械生成テキストの自動検出と、（2）機械生成テキストを統計的に人間の文章と区別できない出力へ変換するプロセス（本レポートでは AI ヒューマナイズと呼ぶ）について、包括的な技術分析を行うものです。

まず検出の数学的基礎、具体的には自己回帰型言語モデルを事前分布としたパープレキシティによるスコアリング、文長の分散の尺度としてのバースト性、そして文体計量分析とロジット空間でのウォーターマーキングによるモデル固有のフィンガープリンティングを検討します。続いて、ヒューマナイズの問題を敵対的なテキスト生成タスクとして位置づけ、言い換えベースの手法と、別の言語モデルによる完全な生成的書き換えとのアーキテクチャ上の違いを分析します。

主な知見：（a）既存の検出器は分布に関する前提の上に成り立っており、その前提はドメインシフトや非ネイティブ話者の文章では崩れます。（b）言い換えベースのヒューマナイズは生成時の事前分布を保持したままであり、パープレキシティに基づく検出器には通用しない傾向があります。（c）クロスモデル生成によるモデル全体での書き換えは、ソースモデルのもとでのトークン単位のパープレキシティが、人間が書いた文章と統計的に区別できないテキストを生成します。（d）新たに登場しつつあるウォーターマーキング方式は、より堅牢な検出手段となっており、現在のヒューマナイズ手法ではウォーターマーキングの鍵にアクセスしない限り回避できません。

キーワード：パープレキシティ、バースト性、自己回帰生成、ロジット・ウォーターマーキング、文体計量フィンガープリンティング、敵対的テキスト生成、分布シフト、交差エントロピー、シャノンエントロピー、トークン単位の確率分布

1. はじめに：問題の定式化

流暢で一貫性のあるテキストを生成できる大規模言語モデル（LLM）の普及により、デュアルユースの問題が生じています。生産性向上ツールを可能にする生成能力そのものが、出自を偽るコンテンツを生み出す可能性も生んでいるのです。これを受けて、互いに敵対する2つの研究分野、すなわち機械生成テキスト検出（MGTD）と機械生成テキストのヒューマナイズ（MGTH）が並行して発展してきました。

問題空間を形式的に次のように定義します。H を人間が書いたテキストの空間、M を機械生成テキストの空間とします。理想的な検出器 D : T → {0,1} は任意のテキスト t を二値ラベル（人間か機械か）に写像し、理想的なヒューマナイザー F : M → H は機械生成テキストを人間の分布へ写像します。実際には、D と F はいずれも重なり合う分布多様体の上で動作する確率的関数であり — 両者の間の敵対的な緊張関係こそが本レポートの中心テーマです。

1.1 生成時の事前分布の問題

現代の LLM は、語彙トークン V 上の条件付き確率分布からサンプリングすることでテキストを生成します。

P(t₁, t₂, \dots, tₙ) = \prodᵢ P(tᵢ | t₁, \dots, tᵢ₋₁; θ) 自己回帰的な分解

ここで θ はモデルのパラメータを表します。各生成ステップで、モデルはロジットベクトル z ∈ ℝ^|V| を計算し、softmax 変換を適用してトークンの確率を求めます。サンプリング戦略 — argmax（貪欲法）、top-k、nucleus（top-p）、温度スケーリングによるサンプリング — によって、出力分布の統計的性質が決まります。

検出にとって決定的な洞察は次のとおりです。この生成プロセスによって作られたテキストは、ソースモデルの確率分布のもとで、人間が書いたテキストよりも体系的に低い交差エントロピー損失を示します。人間の文章は異なる生成プロセスを反映しています。それはワーキングメモリの制約、推敲、感情の状態、専門知識のばらつき、文体上の癖によって形づくられ、意味内容がまったく同じであっても統計的に異なる分布を生み出します。

2. AI テキスト検出：技術的基礎

2.1 パープレキシティに基づく検出

パープレキシティは、機械生成テキスト検出の基礎となる指標です。トークン列 t = (t₁, t₂, …, tₙ) に対し、言語モデル M のもとでのパープレキシティは次のように定義されます。

PPL(t) = exp(- (1/n) \sumᵢ log P M (tᵢ | t₁, \dots, tᵢ₋₁)) パープレキシティの定義

言い換えれば、パープレキシティはその系列に対するモデルの交差エントロピー損失を指数化したものです。パープレキシティが低いほど、モデルはその系列に高い確率を割り当てていることになります。つまり、その系列はモデルが学習した分布のもとで予測しやすいということです。

2.1.1 機械生成テキストのパープレキシティが低い理由

LLM は人間のテキストに対する交差エントロピー損失を最小化するように学習されるため、人間のテキスト分布を近似するようになります。しかし生成時には、さらにサンプリング上の制約（temperature、top-k/top-p）が加わり、確率質量が集中しやすくなります。実質的には、学習した分布を鋭くしたものからサンプリングしていることになります。

# Perplexity computation (simplified)
def compute_perplexity(text: str, model, tokenizer) -> float:
    tokens = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**tokens, labels=tokens['input_ids'])
        nll = outputs.loss  # negative log-likelihood
    return torch.exp(nll).item()

# Detection threshold (empirically derived)
DETECTION_THRESHOLD = 20.0  # lower = more likely AI
is_ai_generated = compute_perplexity(text, model, tokenizer) < DETECTION_THRESHOLD

2.1.2 パープレキシティスコアの分布

経験的には、適切に較正された検出器では、コーパスごとにおおよそ次のようなパープレキシティ分布が観測されます。

テキストの出所	PPL 平均	PPL 標準偏差	一般的な範囲
人間による学術的文章	52.3	18.7	25 – 110
人間によるブログ／くだけた文章	67.8	31.2	18 – 180
GPT-4（temp=0.7、top-p=0.9）	14.6	6.2	7 – 35
Claude 3 Sonnet	16.9	7.8	8 – 42
GPT-4 + ヒューマナイザー適用	38.4	14.1	18 – 85
人間による ESL（英語を第二言語とする書き手）の文章	21.3	9.4	10 – 55

ESL の書き手による文章と GPT-4 の出力の分布が重なっていること（どちらも PPL ≈ 15〜25 付近に集中）が、非ネイティブ話者に対する誤検出率を押し上げる主因です。これは較正の失敗ではありません。検出しきい値を調整しても解消できない、本質的な分布の重なりを反映したものです。

2.1.3 ゼロショット・パープレキシティ検出器

ゼロショット検出器は学習を必要とせず、ソースモデル自身の確率推定を利用します。代表的な手法（Mitchell et al., 2023; DetectGPT）では、元のテキストとその摂動版との対数確率の比を計算します。

S(t) = log P M (t) - E q(t'|t) [log P M (t')] DetectGPT のスコアリング関数

直感的には、機械生成テキストはモデルの対数確率関数の局所的な最大値の近くに位置しやすいのに対し、人間が生成したテキストはそうではありません。そのため、機械生成テキストに摂動を加えると対数確率は低下しやすく、人間のテキストに摂動を加えた場合は、対数確率がランダムに上がったり下がったりします。

2.2 バースト性の分析

バースト性は情報理論とネットワーク科学から取り入れられた概念で、点過程におけるイベント間隔のばらつきを測るものです。テキストに適用すると、文の長さの分散を特徴づけます。

B = (σ L - μ L) / (σ L + μ L) バースト係数（Goh & Barabási, 2008）

ここで μ_L は文の平均長（トークン数）、σ_L はその標準偏差です。B ∈ [−1, 1] であり、B → −1 は完全に規則的な間隔、B = 0 はポアソン分布に従う分散、B → 1 はバースト性が非常に高く不規則なパターンを示します。

import numpy as np

def compute_burstiness(sentences: list[str]) -> float:
    lengths = [len(s.split()) for s in sentences]
    mu = np.mean(lengths)
    sigma = np.std(lengths)
    if mu + sigma == 0:
        return 0.0
    return (sigma - mu) / (sigma + mu)

# Typical empirical values:
# Human prose:     B ∈ [0.15, 0.45]
# GPT-4 default:   B ∈ [-0.10, 0.10]
# After humanizer: B ∈ [0.12, 0.38]

技術メモ：バースト性と再生過程モデル

形式的には、文の生成は、再生間隔が文の長さに対応する再生過程としてモデル化できます。人間の文章は裾の重い非ポアソン型の再生ダイナミクスを示し、文の長さは、temperature の制約下でサンプリングする LLM が生み出す指数分布に近い分布ではなく、おおよそ対数正規分布やワイブル分布に従います。要約統計量を計算するのではなく、文長の系列にパラメトリック分布を当てはめる検出器のほうが、敵対的な操作に対して堅牢です。

2.3 モデルのフィンガープリンティングと文体計量分析

集計統計にとどまらず、個々の LLM には、学習データの構成、RLHF によるファインチューニングの目的、アーキテクチャの違いに起因する一貫した文体上のフィンガープリントが見られます。

2.3.1 語彙的フィンガープリント

語	観察結果
delve	人間による学術的文章と比べ、Claude/GPT-4 の出力で著しく多く出現（頻度比 7.3倍）
certainly	文頭での肯定表現として、人間のベースラインの5倍を超える頻度で使用。GPT-3.5/4 の強い指標
furthermore	段落レベルの接続語として多用。つなぎ言葉の密度は人間のベースラインの2〜4倍
crucial	重要性を論じる GPT-4 の段落の約12%に出現（人間のテキストでは約3%）
leverage（動詞）	ビジネス／技術文書の指標。ChatGPT が生成したコンテンツでは3.8倍多く出現
tapestry	比喩の多用を示す指標。特定の RLHF ファインチューニングにおける報酬パターンに特有

語彙的フィンガープリントは脆弱です。モデルのバージョンごとに変化し、明示的なプロンプトで回避することもできます。主要な検出シグナルとしてよりも、裏付けとなる証拠として役立ちます。

2.3.2 統語的フィンガープリント

語彙的フィンガープリントより堅牢な統語パターンは、ファインチューニングのバージョンをまたいでも比較的安定した、モデルが学習した好みを反映しています。具体的には、受動態の比率（くだけた人間の文章の2〜3倍）、名詞句の密度、人間の学術的文章よりも浅い中央埋め込み、3項目を並べた並列リスト構造の多用、そして文章全体に分散するのではなく段落の境界に集中するヘッジ表現などです。

2.3.3 談話レベルのフィンガープリント

最も堅牢なフィンガープリントは談話レベルで現れます。トピックセンテンスの位置の偏り（段落冒頭に置かれる割合が94%超、人間のテキストでは約73%）、段落の長さの均一性、人間のベースラインの1.8倍に達するつなぎ言葉の密度、そして文書全体を通じてより一定した主張と根拠の比率です。

2.4 ロジット・ウォーターマーキング

技術的に最も堅牢な検出手法はロジット・ウォーターマーキング（Kirchenbauer et al., 2023）で、統計的に検出可能なシグナルを生成プロセスそのものに埋め込みます。各生成ステップで、直前のトークンのハッシュをシードとして、語彙 V を擬似ランダムに ‘グリーン’ リスト G と ‘レッド’ リスト R に分割します。

G t = HashPartition(t i-k:i, γ)|V| ただし |G| = γ|V| グリーンリストの生成（γ = 分割比率）

生成時には、softmax による正規化の前に、グリーンリストのトークンのロジットをハードネスパラメータ δ だけ引き上げます。

z' j = z j + δ \cdot 1[j \in G t] （j \in V） ロジットの摂動ステップ

検出には、グリーントークンの割合に対する片側 z 検定を用います。

z = (|G tokens | - γn) / \sqrt(nγ(1-γ)) ~ N(0,1)（H₀ のもと） ウォーターマーク検出の z 統計量

重要な性質：ウォーターマークの堅牢性

ロジット・ウォーターマーキングは、統計的フィンガープリンティングとは質的に異なります。ヒューマナイズによって崩される分布上の前提に依存していないためです。ウォーターマークはトークン列そのものに埋め込まれています。ハッシュ関数と分割キーにアクセスせずにこれを回避するには、統計的シグナルを消し去るほど多くのトークンを書き換える必要があり、それを徹底すれば、それ自体がヒューマナイズの問題そのものになります。意味内容を保持する現在のヒューマナイズ手法では、強力なウォーターマーキング方式を確実に回避することはできません。ただし、2026年第1四半期の時点で、これを大規模に導入している主要なモデル提供企業はありません。

3. AI テキストのヒューマナイズ：技術的アプローチ

3.1 ヒューマナイズ手法の分類

手法	処理の深さ	パープレキシティへの影響	バースト性への影響
同義語の置き換え	語彙レベル（単語単位）	ごくわずか — 事前分布は変わらない	なし
統語的な変換	統語レベル（節単位）	中程度 — ある程度崩れる	わずかに改善
言い換えモデル	表層的な意味レベル	中程度 — 部分的に崩れる	ある程度改善
LLM による全面的な書き換え	意味・語用レベル	大きい — 新たな生成時の事前分布	大幅に改善

3.2 言い換えベースの手法：失敗する理由

根本的な失敗のメカニズムは形式的に記述できます。t_AI を機械生成テキスト、t_para = Paraphrase(t_AI) をその言い換えとします。

PPL M (t para) \approx PPL M (t AI) （Paraphrase が意味内容を保持する場合） 事前分布保存定理（非形式的）

これが成り立つのは、言い換えモデル自体も同じ分布上で再構成損失を最小化するように学習された LLM であり、その出力もスコアリングモデルのもとでパープレキシティが低くなるためです。意味を保持する言い換えでは、出力は意味空間の同じ領域に制約されます。

# Empirical validation: perplexity before/after paraphrase
original_ai_text = generate_with_gpt4(prompt)
paraphrased_text = quillbot_paraphrase(original_ai_text)

ppl_original = compute_perplexity(original_ai_text, gpt4_scoring_model)
ppl_paraphrased = compute_perplexity(paraphrased_text, gpt4_scoring_model)

# Typical observed result:
# ppl_original:    14.2
# ppl_paraphrased: 17.8 (<20% change — still within AI distribution)
# Threshold for detection: PPL < 25 → still flagged as AI

3.3 全面的な生成的書き換え：クロスモデル手法

別の LLM による全面的な生成的書き換えは、生成時の事前分布の問題に根本から対処できる唯一の手法です。

クロスモデル書き換え定理（非形式的）

モデル M_A がテキスト t_A を生成し、モデル M_B（A ≠ B）がそれを意味内容を保持したまま書き換えて t_B を生成した場合、PPL_{M_A}(t_B) を決めるのは M_A ではなく M_B の生成時の事前分布です。M_A と M_B は、学習データ、アーキテクチャ、RLHF の目的の違いから異なる生成時の事前分布を持つため、t_B は M_A のもとで t_A よりも高いパープレキシティを示します — M_A に基づく検出器を回避できるほど高くなる可能性もあります。

3.3.2 temperature とサンプリングパラメータの役割

# Effect of temperature on humanization quality

temperature = 0.0   # Greedy decoding
# Result: deterministic output, PPL ≈ source model output
# Burstiness improvement: minimal

temperature = 0.7   # Standard setting
# Result: PPL increases 40-60% vs. source, B increases ~0.12

temperature = 1.0   # Full temperature
# Result: PPL increases 80-120% vs. source, B increases ~0.22
# Trade-off: more frequent quality degradation

# Optimal: high temperature + top-p=0.9 + repetition_penalty=1.1
# Maximizes distributional shift while maintaining fluency

3.3.3 ヒューマナイズのための指示プロンプト設計

# Effective humanization prompt structure
HUMANIZER_PROMPT = """
You are rewriting the following text to sound like it was written by a human.

Core requirements:
- Generate completely from your own language patterns — do not preserve
  the sentence structures of the original
- Vary sentence length significantly: mix 5-8 word sentences with
  25-40 word analytical sentences
- Include at least one moment of epistemic hedging per paragraph
  ('in most cases', 'tends to', 'the evidence suggests')
- Use contractions naturally throughout
- Avoid: 'furthermore', 'moreover', 'delve', 'crucial', 'certainly'
  as sentence-initial affirmations
- Preserve all factual content and logical structure
- The output should NOT begin with the same word as the input

Input text:
{source_text}
"""

4. 敵対的な力学：いたちごっこ

4.1 検出とヒューマナイズのゲーム

検出とヒューマナイズは2人プレイヤーのゲームとしてモデル化できます。D_θ を検出器、H_φ をヒューマナイザーとします。

min φ max θ E[D θ (H φ (t AI))] - λ \cdot SemanticLoss(t AI, H φ (t AI)) ミニマックス型のヒューマナイズ目的関数

実際には、どちらのプレイヤーも相手のパラメータにはアクセスできないため、これは不完全情報ゲームです。ヒューマナイザーは観測できる検出器の挙動に対して最適化を行い、検出器はヒューマナイズの戦略が知られるたびに再学習されます。

4.2 均衡の現状（2026年第1四半期）

パープレキシティに基づく検出器：アーキテクチャの異なるモデルによる全面的な書き換えで回避されます。現在の全面書き換え型ヒューマナイザーは、整った文章であれば、検出率を偶然の水準近くまで下げる傾向があります。

バースト性に基づく検出器：部分的に回避されます。文の長さを意図的に変えるよう指示チューニングされたヒューマナイザーは B ∈ [0.15, 0.35] を達成し、人間の分布と大きく重なります。

文体計量フィンガープリントに基づく検出器：ネガティブプロンプトと全面的な書き換えによって回避されます。書き換えにより、ソースモデルのフィンガープリントが書き換え側モデルのものに置き換わるためです。

複数特徴量のアンサンブル分類器：部分的に回避されます。全面的な書き換えで特徴量の60–80%には対処できますが、談話レベルのパターンにはシグナルが残ります。

ロジット・ウォーターマーキング：現時点では、一般に公開されているどのヒューマナイズツールでも回避できていません。ハッシュ関数にアクセスしない限り、ウォーターマークのシグナルは除去できません。

4.3 誤検出の分析

誤検出の要因	影響の大きさ	メカニズム
非ネイティブによる英語の文章	高い（誤検出率 10〜20%）	限られた語彙と堅い文体により、LLM の出力と同じ分布上の特徴が生じる
堅い学術的文章	中程度（5〜15%）	学術的な文体の慣習が LLM の文体計量フィンガープリントと一致する
特定分野の技術文書	中程度（5〜10%）	語彙が限られるためエントロピーが下がり、正確な文はバースト性を下げる
何度も手を入れた文章	低〜中程度（3〜8%）	何度も推敲することで文体上の不規則さがならされる
箇条書きの多い文書	セクション内では高い	箇条書きの内容はバースト性がほぼゼロ
非常に短いテキスト（200語未満）	非常に高い（15〜40%）	信頼できる分類に必要な統計量が不足している

5. MultipleChat AI Humanizer：技術アーキテクチャ

5.1 システム概要

MultipleChat AI Humanizer は、5つのアーキテクチャ構成要素からなる全面的なクロスモデル書き換えパイプラインを実装しています。（1）ソーステキストの前処理と分割、（2）モデル選択とプロンプト設計、（3）サンプリングパラメータを制御したクロスモデル生成、（4）生成後の品質検証、（5）オプションのバースト性強化です。

# Simplified pipeline architecture
class MultipleChat_Humanizer:
    def __init__(self, rewriter_model: str):
        self.model = load_model(rewriter_model)  # Claude, GPT-4, Gemini, Grok
        self.detector = load_detector('multiplechat-v2')
        self.segmenter = SemanticSegmenter()

    def humanize(self, source_text: str, instructions: str = '') -> HumanizationResult:
        # 1. Segment into semantically coherent chunks
        segments = self.segmenter.segment(source_text, max_tokens=4096)
        # 2. Construct humanization prompt
        prompt = build_humanization_prompt(segments, instructions, target_burstiness=0.25)
        # 3. Cross-model generation
        rewritten = self.model.generate(
            prompt, temperature=0.85, top_p=0.92,
            frequency_penalty=0.3, presence_penalty=0.2
        )
        # 4. Quality gate: semantic similarity check
        sim = semantic_similarity(source_text, rewritten)
        if sim < 0.75:
            rewritten = self.retry_with_stricter_prompt(source_text)
        # 5. Detection score computation for user feedback
        detection_score = self.detector.score(rewritten)
        return HumanizationResult(
            text=rewritten, detection_score=detection_score,
            burstiness=compute_burstiness(rewritten), semantic_similarity=sim
        )

5.2 モデル選択と各モデルの特性比較

Claude の RLHF ファインチューニングは、ヘッジ表現の密度が高く、統語構造に変化の多い出力を生みやすく、バースト性の改善幅が最も大きくなります（B の平均改善幅：+0.19）。GPT-4 は短く統語的に規則正しい文を生成するため、技術的なコンテンツには有利ですが、バースト性の向上は小さめです（B の平均改善幅：+0.12）。

アーキテクチャ上の重要な原則

ヒューマナイズの効果は、書き換えモデルと検出器のスコアリングモデルがアーキテクチャ的に離れているほど最大化されます。パープレキシティに基づく検出は、検出器のモデルのもとでテキストがどれだけ予測しやすいかを測るものであり、別のモデルファミリーが生成したテキストは本質的に予測しにくいためです。MultipleChat は4つの異なるモデルファミリーに対応しているため、想定される検出器から最も離れた書き換えモデルを選ぶことができます。

5.3 MultipleChat AI 検出器

MultipleChat の検出器は、対応する4つのモデルすべての出力で学習した、複数特徴量のアンサンブル分類器を実装しています。特徴量セットには、パープレキシティ特徴量（複数のスコアリングモデルに対して計算）、バースト性特徴量（文レベルと段落レベル）、語彙特徴量（ヘッジ表現の密度、AI 指標語の数、短縮形の比率、受動態の比率）、談話特徴量（トピックセンテンスの位置、つなぎ言葉の密度、段落の長さの分散）、エントロピー特徴量（トークンのユニグラムとバイグラムのシャノンエントロピー）が含まれます。

# Per-sentence heatmap generation (simplified)
def generate_heatmap(text: str) -> list[SentenceScore]:
    sentences = sent_tokenize(text)
    scores = []
    for i, sent in enumerate(sentences):
        # Context window: 2 sentences before and after
        context_start = max(0, i-2)
        context_end = min(len(sentences), i+3)
        context = ' '.join(sentences[context_start:context_end])
        sent_features = {
            'local_ppl': perplexity(context, scoring_model),
            'sent_length': len(sent.split()),
            'has_hedge': bool(re.search(HEDGE_PATTERN, sent)),
            'ai_markers': count_ai_markers(sent, AI_LEXICAL_SET),
        }
        score = ensemble_classifier.predict_proba(sent_features)[1]
        scores.append(SentenceScore(sentence=sent, ai_prob=score))
    return scores

6. 失敗モードと未解決の課題

6.1 ヒューマナイズの失敗モード

強いヒューマナイズによる意味のずれ：高い temperature での書き換えは意味のずれを生むことがあります — 書き換え後のテキストは大まかなトピックは保つものの、具体的な事実の記述や微妙な区別が失われてしまいます。品質上のトレードオフは次のとおりです。

Δ(PPL) ↑ に伴い SemanticSimilarity ↓ ヒューマナイズ品質のトレードオフ

MultipleChat のヒューマナイザーは、意味類似度のゲート（埋め込み空間でのコサイン類似度 > 0.75）によってこれに対処しており、意味のずれが検出された場合は、より制約の強いプロンプトで再試行します。

事実に関する内容でのハルシネーション：書き換えモデルが、具体的な事実、日付、統計を、もっともらしいが誤った内容に置き換えてしまうことがあります。事実に関する内容は、ヒューマナイズ後に人による確認が必要です。現在のパイプラインには事実の自動検証は実装されておらず — これは未解決の課題として挙げられています。

文体・改まり度のずれ：文体を明示的に指定しない場合、書き換えモデルは自分が好む文体に戻ってしまいます。非常に堅いソーステキスト（法律、医療）や非常にくだけたソーステキスト（マーケティング、SNS）は、明示的な指示がなければ文体が合わないことがあります。

6.2 検出の失敗モード

ドメインシフト：一般分野のコーパスで学習した検出器は、専門分野では精度が大きく低下します。一般的なウェブテキストで92%の精度を持つ検出器でも、医療の症例報告や法的契約書では65–70%まで下がることがあります。

長さの影響：200語未満のテキストでは、統計的推定の信頼区間が広すぎて信頼できる分類ができません。100語未満では、ほとんどの検出器が偶然に近い水準でしか機能しません。

混在したテキスト：人間が書いた部分と AI が書いた部分が交互に現れる文書は混合分布となり、文書単位の分類器では判定できません。セグメント単位の検出で部分的に対処できますが、計算量が大幅に増えます。

6.3 未解決の課題

意味を保持するウォーターマーキング：意味レベルでウォーターマークを埋め込む方式があれば、言い換え攻撃に耐えつつ、意味解析によって検出可能な状態を保てるでしょう。

多言語にまたがる検出：ほとんどの検出器は英語のテキストで学習・評価されています。他の言語では性能が大きく低下し、公平性の面で重大な懸念が生じています。

共同執筆における著者の帰属：共同で書かれたテキストにおける人間と AI の寄与の割合を定量化する、信頼できるツールはまだ存在しません。

堅牢性のための敵対的学習：ゲーム理論的な均衡を特徴づけ、均衡時の検出精度を予測するための理論的枠組みは、現時点では存在しません。

事実保持の形式的検証：ヒューマナイズ後のテキストがソースの事実内容をすべて保持しているかを確実に検証できる手法は、現時点ではありません — 技術的には、大規模な自然言語推論（NLI）の問題です。

7. 結論

1. パープレキシティに基づく検出は、理論的には十分な根拠があるものの、実用面では脆弱です。ESL の書き手による文章と LLM の出力の分布が重なっているため、妥当な感度を保つどの検出しきい値でも、重大な判断に用いるには誤検出率が許容できないほど高くなります。

2. 言い換えベースのヒューマナイズでは、生成時の事前分布に対処できません。同義語の置き換えや統語的な変換では、ソースモデルのもとでの LLM 出力の低パープレキシティという特徴が残ります。生成分布そのものを変えられるのは、全面的なクロスモデル書き換えだけです。

3. 複数特徴量のアンサンブル検出は、単一特徴量による手法より堅牢です。パープレキシティ、バースト性、文体計量特徴量、談話レベルの分析を組み合わせることで、どの単一の特徴量よりも大幅に高い性能が得られます。

4. 技術的に堅牢な検出手法は、ロジット・ウォーターマーキングだけです。ただし、モデル提供企業のレベルでの実装が必要であり、2026年第1四半期の時点では大規模には導入されていません。

5. 短期的には、敵対的な均衡は検出よりもヒューマナイズに有利です。ロジット・ウォーターマーキングやそれに相当する暗号学的な出自証明の仕組みがない限り、検出スコアは決定的な判定ではなく、裏付けとなる証拠を必要とする確率的なシグナルとして扱うべきです。

参考文献

Goh, K. I., & Barabási, A. L. (2008). Burstiness and memory in complex systems. EPL (Europhysics Letters), 81(4), 48002.

Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A watermark for large language models. Proceedings of ICML 2023.

Mitchell, E., Lee, Y., Khazatsky, A., Manning, C. D., & Finn, C. (2023). DetectGPT: Zero-shot machine-generated text detection using probability curvature. Proceedings of ICML 2023.

Zhao, X., Ananth, P., Li, L., & Yu, T. (2023). Provable robust watermarking for AI-generated text. arXiv:2306.17439.

Gehrmann, S., Strobelt, H., & Rush, A. M. (2019). GLTR: Statistical detection and visualization of generated text. Proceedings of ACL 2019 System Demonstrations.

Zellers, R., Holtzman, A., Rashkin, H., Bisk, Y., Farhadi, A., Roesner, F., & Choi, Y. (2019). Defending against neural fake news. Advances in NeurIPS 32.

Ippolito, D., Duckworth, D., Callison-Burch, C., & Eck, D. (2020). Automatic detection of generated text is easiest when humans are fooled. Proceedings of ACL 2020.

Uchendu, A., Le, T., Shu, K., & Lee, D. (2020). Authorship attribution for neural text generation. Proceedings of EMNLP 2020.

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779.

Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? arXiv:2303.11156.

付録 A：数学記号一覧

記号	定義
P_M(t)	言語モデル M がテキスト t に割り当てる確率
PPL_M(t)	モデル M のもとでのテキスト t のパープレキシティ
H(X)	確率変数 X のシャノンエントロピー
KL(P\|\|Q)	Q から P へのカルバック・ライブラー情報量
B	バースト係数（Goh & Barabási, 2008）
μ_L, σ_L	文長分布の平均と標準偏差
G_t, R_t	生成ステップ t におけるグリーンおよびレッドのトークンリスト
γ	グリーンリストの分割比率（通常は0.5）
δ	ウォーターマークのハードネスを決めるロジットの引き上げパラメータ
θ, φ	検出器とヒューマナイザーのパラメータベクトル
S(t)	DetectGPT のスコアリング関数（対数確率の比）
V	サイズ \|V\| の語彙集合
z ∈ ℝ^\|V\|	softmax による正規化前のロジットベクトル
sim(t₁, t₂)	意味類似度（埋め込み空間でのコサイン類似度）

付録 B：実証ベンチマークの概要

ヒューマナイズ手法別の検出精度（参照検出器は GPTZero v4、各セル n=500 テキスト）：

ヒューマナイズ手法	検出率	誤検出率（人間）	意味類似度	バースト性 B
ヒューマナイズなし（AI の生出力）	91.3%	8.2%	1.00	-0.07
同義語の置き換え	87.4%	8.5%	0.97	-0.05
QuillBot（Creative モード）	74.2%	9.1%	0.91	0.08
全面書き換え（Claude）	28.6%	8.8%	0.83	0.24
全面書き換え（GPT-4）	31.2%	8.4%	0.86	0.19
MultipleChat Humanizer	22.4%	9.0%	0.81	0.27
人間のベースライン	8.2%	—	—	0.31

注：すべての数値は、管理された実験条件に基づく概算値です。実際の検出率は、分野、テキストの長さ、検出器のバージョンによって大きく異なります。人間のベースラインにおける誤検出率8.2%は、人間が書いた学術的文章に対する GPTZero v4 の、これ以上減らせない誤検出率を示しています。

MultipleChat AI Humanizer & 検出器

Claude、ChatGPT、Gemini、Grok による全面的なクロスモデル書き換え。文単位のヒートマップを備えた複数特徴量のアンサンブル検出。

ヒューマナイザーを試す検出器を試す

パープレキシティ検出バースト性分析ロジット・ウォーターマーキングクロスモデル書き換え文体計量フィンガープリンティング MultipleChat Research

バージョン	1.0
区分	公開
作成者	MultipleChat Research