LLM 출력 탐지와 휴머나이징: 분석

초록

이 보고서는 응용 자연어 처리 분야에서 밀접하게 연관된 두 가지 문제, 즉 (1) 기계 생성 텍스트의 자동 탐지와 (2) 기계 생성 텍스트를 사람이 쓴 글과 통계적으로 구별할 수 없는 출력으로 변환하는 과정(이하 AI 휴머나이징)에 대한 포괄적인 기술 분석을 제공합니다.

먼저 탐지의 수학적 기초, 구체적으로 자기회귀 언어 모델 사전분포 하에서의 퍼플렉서티 점수 산정, 문장 길이 분산의 척도인 버스티니스, 그리고 문체 분석과 로짓 공간 워터마킹을 통한 모델별 지문 분석을 살펴봅니다. 이어서 휴머나이징 문제를 적대적 텍스트 생성 과제로 규정하고, 패러프레이즈 기반 접근법과 별도의 언어 모델을 통한 전체 생성형 재작성 사이의 아키텍처 차이를 분석합니다.

주요 결과: (a) 기존 탐지기는 분포 가정에 기반해 작동하며, 이 가정은 도메인 변화가 있거나 비원어민이 쓴 텍스트에서는 무너집니다. (b) 패러프레이즈 기반 휴머나이징은 생성 사전분포를 그대로 보존하므로 퍼플렉서티 기반 탐지기에 대해 실패하는 경향이 있습니다. (c) 교차 모델 생성을 활용한 전체 모델 재작성은 원본 모델 기준 토큰 수준 퍼플렉서티가 사람이 쓴 텍스트와 통계적으로 구별되지 않는 텍스트를 만들어 냅니다. (d) 새롭게 등장하는 워터마킹 기법은 더 견고한 탐지 표면을 제공하며, 현재의 휴머나이징 접근법은 워터마킹 키에 접근하지 않고는 이를 무력화할 수 없습니다.

키워드: 퍼플렉서티, 버스티니스, 자기회귀 생성, 로짓 워터마킹, 문체 지문 분석, 적대적 텍스트 생성, 분포 변화, 교차 엔트로피, 섀넌 엔트로피, 토큰 수준 확률 분포

1. 서론 및 문제 정의

유창하고 일관된 텍스트를 생성할 수 있는 대규모 언어 모델(LLM)이 확산되면서 이중 용도 문제가 생겨났습니다. 생산성 도구를 가능하게 하는 바로 그 생성 능력이, 출처를 왜곡하는 콘텐츠가 만들어질 가능성도 낳은 것입니다. 이로 인해 기계 생성 텍스트 탐지(MGTD)와 기계 생성 텍스트 휴머나이징(MGTH)이라는 서로 대립하는 두 연구 방향이 나란히 발전해 왔습니다.

공식적인 문제 공간을 다음과 같이 정의합니다. H를 사람이 작성한 텍스트의 공간, M을 기계가 생성한 텍스트의 공간이라 하겠습니다. 이상적인 탐지기 D : T → {0,1}는 임의의 텍스트 t를 이진 레이블(사람 대 기계)로 매핑하고, 이상적인 휴머나이저 F : M → H는 기계 생성 텍스트를 사람의 분포로 매핑합니다. 실제로 D와 F는 모두 서로 겹치는 분포 다양체 위에서 작동하는 확률적 함수이며 — 이 둘 사이의 적대적 긴장이 이 보고서의 핵심 주제입니다.

1.1 생성 사전분포 문제

현대의 LLM은 어휘 토큰 V에 대한 조건부 확률 분포에서 샘플링하여 텍스트를 생성합니다.

P(t₁, t₂, \dots, tₙ) = \prodᵢ P(tᵢ | t₁, \dots, tᵢ₋₁; θ) 자기회귀 분해

여기서 θ는 모델 파라미터를 나타냅니다. 각 생성 단계에서 모델은 로짓 벡터 z ∈ ℝ^|V|를 계산하고 소프트맥스 변환을 적용해 토큰 확률을 얻습니다. 샘플링 전략 — argmax(탐욕적 디코딩), top-k, 뉴클리어스(top-p), 또는 온도 조절 샘플링 — 이 출력 분포의 통계적 특성을 결정합니다.

탐지에 있어 핵심적인 통찰은 다음과 같습니다. 이 생성 과정이 만들어 내는 텍스트는 원본 모델의 확률 분포 하에서 사람이 쓴 텍스트보다 체계적으로 더 낮은 교차 엔트로피 손실을 보입니다. 사람의 글쓰기는 작업 기억의 제약, 퇴고, 감정 상태, 분야 전문성의 편차, 문체상의 개성 등으로 형성되는 다른 생성 과정을 반영하며, 의미 내용이 동일하더라도 통계적으로 구별되는 분포를 만들어 냅니다.

2. AI 텍스트 탐지: 기술적 기초

2.1 퍼플렉서티 기반 탐지

퍼플렉서티는 기계 생성 텍스트 탐지의 기초가 되는 지표입니다. 토큰 시퀀스 t = (t₁, t₂, …, tₙ)에 대해, 언어 모델 M 하에서의 퍼플렉서티는 다음과 같이 정의됩니다.

PPL(t) = exp(- (1/n) \sumᵢ log P M (tᵢ | t₁, \dots, tᵢ₋₁)) 퍼플렉서티의 정의

이는 곧 해당 시퀀스에 대한 모델의 교차 엔트로피 손실에 지수를 취한 값과 같습니다. 퍼플렉서티가 낮다는 것은 모델이 그 시퀀스에 높은 확률을 부여한다는 뜻, 즉 모델이 학습한 분포 하에서 그 시퀀스를 예측하기 매우 쉽다는 뜻입니다.

2.1.1 기계 생성 텍스트의 퍼플렉서티가 낮은 이유

LLM은 사람이 쓴 텍스트에 대한 교차 엔트로피 손실을 최소화하도록 학습되므로 사람의 텍스트 분포에 근사하게 됩니다. 그러나 생성 단계에서는 확률 질량을 집중시키는 경향이 있는 샘플링 제약(temperature, top-k/top-p)이 추가로 적용되어, 사실상 학습된 분포를 더 뾰족하게 만든 버전에서 샘플링하게 됩니다.

# Perplexity computation (simplified)
def compute_perplexity(text: str, model, tokenizer) -> float:
    tokens = tokenizer(text, return_tensors='pt')
    with torch.no_grad():
        outputs = model(**tokens, labels=tokens['input_ids'])
        nll = outputs.loss  # negative log-likelihood
    return torch.exp(nll).item()

# Detection threshold (empirically derived)
DETECTION_THRESHOLD = 20.0  # lower = more likely AI
is_ai_generated = compute_perplexity(text, model, tokenizer) < DETECTION_THRESHOLD

2.1.2 퍼플렉서티 점수 분포

경험적으로, 잘 보정된 탐지기는 말뭉치별로 대략 다음과 같은 퍼플렉서티 분포를 관찰합니다.

텍스트 출처	PPL 평균	PPL 표준편차	일반적 범위
사람이 쓴 학술 글	52.3	18.7	25 – 110
사람이 쓴 블로그 / 비격식 글	67.8	31.2	18 – 180
GPT-4 (temp=0.7, top-p=0.9)	14.6	6.2	7 – 35
Claude 3 Sonnet	16.9	7.8	8 – 42
GPT-4 + 휴머나이저 적용	38.4	14.1	18 – 85
사람이 쓴 ESL(비원어민) 글	21.3	9.4	10 – 55

ESL 사용자가 쓴 글과 GPT-4 출력의 분포가 겹친다는 점(둘 다 PPL ≈ 15–25 부근에 집중)이 비원어민에 대한 오탐률을 높이는 주된 원인입니다. 이는 보정 실패가 아니라 실제로 존재하는 분포의 중첩을 반영하는 것으로, 탐지 임계값을 조정한다고 해결되지 않습니다.

2.1.3 제로샷 퍼플렉서티 탐지기

제로샷 탐지기는 별도의 학습이 필요 없으며 원본 모델 자체의 확률 추정치를 사용합니다. 대표적인 접근법(Mitchell et al., 2023; DetectGPT)은 원본 텍스트와 그 섭동(perturbation) 텍스트 사이의 로그 확률 비율을 계산합니다.

S(t) = log P M (t) - E q(t'|t) [log P M (t')] DetectGPT 점수 함수

직관은 이렇습니다. 기계 생성 텍스트는 모델의 로그 확률 함수에서 국소 최댓값 근처에 위치하는 경향이 있지만, 사람이 생성한 텍스트는 그렇지 않습니다. 따라서 기계 생성 텍스트에 섭동을 가하면 로그 확률이 낮아지는 경향이 있는 반면, 사람이 쓴 텍스트에 섭동을 가하면 로그 확률이 무작위로 오르거나 내릴 수 있습니다.

2.2 버스티니스 분석

정보 이론과 네트워크 과학에서 가져온 개념인 버스티니스는 점 과정(point process)에서 사건 간 시간 간격의 변동성을 측정합니다. 텍스트에 적용하면 문장 길이의 분산을 나타냅니다.

B = (σ L - μ L) / (σ L + μ L) 버스티니스 계수(Goh & Barabási, 2008)

여기서 μ_L은 평균 문장 길이(토큰 기준), σ_L은 그 표준편차입니다. B ∈ [−1, 1]이며, B → −1은 완벽하게 규칙적인 간격을, B = 0은 포아송 분포를 따르는 분산을, B → 1은 매우 버스티하고 불규칙한 패턴을 의미합니다.

import numpy as np

def compute_burstiness(sentences: list[str]) -> float:
    lengths = [len(s.split()) for s in sentences]
    mu = np.mean(lengths)
    sigma = np.std(lengths)
    if mu + sigma == 0:
        return 0.0
    return (sigma - mu) / (sigma + mu)

# Typical empirical values:
# Human prose:     B ∈ [0.15, 0.45]
# GPT-4 default:   B ∈ [-0.10, 0.10]
# After humanizer: B ∈ [0.12, 0.38]

기술 노트: 버스티니스와 재생 과정 모델

형식적으로, 문장 생성은 재생 간격이 문장 길이에 대응하는 재생 과정(renewal process)으로 모델링할 수 있습니다. 사람의 글쓰기는 꼬리가 두꺼운 비포아송 재생 역학을 보입니다. 즉 문장 길이가 온도 제약 하에서 샘플링하는 LLM이 만들어 내는 지수 분포에 가까운 형태가 아니라, 대략 로그정규 분포나 와이블 분포를 따릅니다. 요약 통계를 계산하는 대신 문장 길이 시퀀스에 모수적 분포를 적합시키는 탐지기는 적대적 조작에 더 강합니다.

2.3 모델 지문 분석과 문체 분석

집계 통계를 넘어, 개별 LLM은 학습 데이터 구성, RLHF 미세 조정 목표, 아키텍처 차이에서 비롯된 일관된 문체 지문을 보입니다.

2.3.1 어휘 지문

용어	관찰 내용
delve	사람이 쓴 학술 글에 비해 Claude/GPT-4 출력에서 현저히 과다하게 나타남(빈도 비율 7.3배)
certainly	문장 첫머리의 긍정 표현으로 사람 기준치의 5배 넘게 사용됨. GPT-3.5/4의 강력한 표지
furthermore	문단 단위 연결어로 과용됨. 전환어 밀도가 사람 기준치의 2–4배
crucial	중요성을 다루는 GPT-4 문단의 약 12%에 등장(사람이 쓴 글은 약 3%)
leverage (동사)	비즈니스/기술 문서의 표지. ChatGPT 생성 콘텐츠에서 3.8배 과다 출현
tapestry	은유 과용의 표지. 특정 RLHF 미세 조정 보상 패턴에 고유함

어휘 지문은 취약합니다. 모델 버전마다 달라지며 명시적인 프롬프트로 무력화할 수 있습니다. 주된 탐지 신호보다는 보강 증거로 활용할 때 가장 유용합니다.

2.3.2 통사 지문

통사 패턴은 어휘 지문보다 견고하며, 미세 조정 버전이 바뀌어도 비교적 안정적으로 유지되는 모델의 학습된 선호를 반영합니다. 수동태 비율(사람이 쓴 비격식 글의 2–3배), 명사구 밀도, 사람이 쓴 학술 글보다 얕은 중앙 내포 구조, 세 항목 병렬 나열 구조의 과용, 그리고 완곡 표현이 글 전체에 분산되지 않고 문단 경계에 몰리는 현상 등이 이에 해당합니다.

2.3.3 담화 수준 지문

가장 견고한 지문은 담화 수준에서 작동합니다. 주제문의 두드러짐(첫 문장 위치 비율 94% 초과, 사람이 쓴 글은 약 73%), 문단 길이의 균질성, 사람 기준치의 1.8배에 달하는 전환어 밀도, 그리고 문서 전반에 걸쳐 더 일정한 주장 대비 근거 비율 등이 그것입니다.

2.4 로짓 워터마킹

기술적으로 가장 견고한 탐지 방식은 로짓 워터마킹(Kirchenbauer et al., 2023)으로, 통계적으로 탐지 가능한 신호를 생성 과정 자체에 삽입합니다. 각 생성 단계에서 직전 토큰의 해시를 시드로 사용해 어휘 V를 ‘그린’ 리스트 G와 ‘레드’ 리스트 R로 의사 무작위 분할합니다.

G t = HashPartition(t i-k:i, γ)|V| 단, |G| = γ|V| 그린 리스트 생성(γ = 분할 비율)

생성 중에는 소프트맥스 정규화 전에 그린 리스트 토큰의 로짓을 강도 파라미터 δ만큼 높입니다.

z' j = z j + δ \cdot 1[j \in G t] (j \in V) 로짓 섭동 단계

탐지는 그린 토큰 비율에 대한 단측 z-검정으로 이루어집니다.

z = (|G tokens | - γn) / \sqrt(nγ(1-γ)) ~ N(0,1) (H₀ 하에서) 워터마크 탐지 z-통계량

핵심 특성: 워터마크의 견고성

로짓 워터마킹은 휴머나이징으로 무력화될 수 있는 분포 가정에 의존하지 않는다는 점에서 통계적 지문 분석과 질적으로 다릅니다. 워터마크는 토큰 시퀀스 자체에 삽입되어 있습니다. 해시 함수와 분할 키에 접근하지 않고 이를 무력화하려면 통계적 신호가 사라질 만큼 충분히 많은 토큰을 다시 써야 하며, 이를 철저히 수행하는 것이 곧 휴머나이징 문제 그 자체입니다. 의미 내용을 보존하는 현재의 휴머나이징 접근법으로는 강력한 워터마킹 기법을 안정적으로 무력화할 수 없습니다. 다만 2026년 1분기 기준으로 이를 대규모로 적용한 주요 모델 제공업체는 없습니다.

3. AI 텍스트 휴머나이징: 기술적 접근법

3.1 휴머나이징 기법의 분류

접근법	처리 깊이	퍼플렉서티에 미치는 영향	버스티니스에 미치는 영향
동의어 치환	어휘(단어 수준)	미미함 — 사전분포 변화 없음	없음
통사 변환	통사(절 수준)	보통 — 일부 교란	약간 개선
패러프레이즈 모델	표층 의미	보통 — 부분적 교란	어느 정도 개선
LLM 전체 재작성	의미·화용	높음 — 새로운 생성 사전분포	크게 개선

3.2 패러프레이즈 기반 접근법: 실패하는 이유

근본적인 실패 원인은 형식적으로 다음과 같이 나타낼 수 있습니다. t_AI를 기계 생성 텍스트, t_para = Paraphrase(t_AI)를 그 패러프레이즈라 하겠습니다.

PPL M (t para) \approx PPL M (t AI) (Paraphrase가 의미 내용을 보존하는 경우) 사전분포 보존 정리(비형식적)

이것이 성립하는 이유는 패러프레이즈 모델 자체가 동일한 분포에서 재구성 손실을 최소화하도록 학습된 LLM이므로, 그 출력 역시 점수 산정 모델 하에서 퍼플렉서티가 낮기 때문입니다. 의미를 보존하는 패러프레이즈는 출력을 의미 공간의 같은 영역에 묶어 둡니다.

# Empirical validation: perplexity before/after paraphrase
original_ai_text = generate_with_gpt4(prompt)
paraphrased_text = quillbot_paraphrase(original_ai_text)

ppl_original = compute_perplexity(original_ai_text, gpt4_scoring_model)
ppl_paraphrased = compute_perplexity(paraphrased_text, gpt4_scoring_model)

# Typical observed result:
# ppl_original:    14.2
# ppl_paraphrased: 17.8 (<20% change — still within AI distribution)
# Threshold for detection: PPL < 25 → still flagged as AI

3.3 전체 생성형 재작성: 교차 모델 접근법

다른 LLM을 이용한 전체 생성형 재작성은 생성 사전분포 문제를 근본적으로 해결하는 유일한 접근법입니다.

교차 모델 재작성 정리(비형식적)

모델 M_A가 텍스트 t_A를 생성하고 모델 M_B(A ≠ B)가 의미 내용을 보존하면서 이를 재작성해 t_B를 만든다면, PPL_{M_A}(t_B)는 M_A가 아니라 M_B의 생성 사전분포에 의해 결정됩니다. M_A와 M_B는 서로 다른 학습 데이터, 아키텍처, RLHF 목표에서 비롯된 서로 다른 생성 사전분포를 가지므로, M_A 하에서 t_B의 퍼플렉서티는 t_A보다 높아지며 — M_A 기반 탐지기를 무력화할 만큼 높아질 수도 있습니다.

3.3.2 Temperature와 샘플링 파라미터의 역할

# Effect of temperature on humanization quality

temperature = 0.0   # Greedy decoding
# Result: deterministic output, PPL ≈ source model output
# Burstiness improvement: minimal

temperature = 0.7   # Standard setting
# Result: PPL increases 40-60% vs. source, B increases ~0.12

temperature = 1.0   # Full temperature
# Result: PPL increases 80-120% vs. source, B increases ~0.22
# Trade-off: more frequent quality degradation

# Optimal: high temperature + top-p=0.9 + repetition_penalty=1.1
# Maximizes distributional shift while maintaining fluency

3.3.3 휴머나이징을 위한 지시 프롬프트 엔지니어링

# Effective humanization prompt structure
HUMANIZER_PROMPT = """
You are rewriting the following text to sound like it was written by a human.

Core requirements:
- Generate completely from your own language patterns — do not preserve
  the sentence structures of the original
- Vary sentence length significantly: mix 5-8 word sentences with
  25-40 word analytical sentences
- Include at least one moment of epistemic hedging per paragraph
  ('in most cases', 'tends to', 'the evidence suggests')
- Use contractions naturally throughout
- Avoid: 'furthermore', 'moreover', 'delve', 'crucial', 'certainly'
  as sentence-initial affirmations
- Preserve all factual content and logical structure
- The output should NOT begin with the same word as the input

Input text:
{source_text}
"""

4. 적대적 역학: 군비 경쟁

4.1 탐지와 휴머나이징의 게임

탐지와 휴머나이징은 2인 게임으로 모델링할 수 있습니다. D_θ를 탐지기, H_φ를 휴머나이저라 하겠습니다.

min φ max θ E[D θ (H φ (t AI))] - λ \cdot SemanticLoss(t AI, H φ (t AI)) 미니맥스 휴머나이징 목적 함수

실제로는 어느 쪽도 상대의 파라미터에 접근할 수 없으므로 이는 불완전 정보 게임입니다. 휴머나이저는 관찰 가능한 탐지기의 동작을 상대로 최적화하고, 탐지기는 휴머나이징 전략이 알려질 때마다 재학습됩니다.

4.2 현재의 균형 상태(2026년 1분기)

퍼플렉서티 기반 탐지기: 아키텍처가 다른 모델을 이용한 전체 모델 재작성으로 무력화됩니다. 현재의 전체 재작성 휴머나이저는 잘 다듬어진 문장에서 탐지율을 우연 수준에 가깝게 낮추는 경향이 있습니다.

버스티니스 기반 탐지기: 부분적으로 무력화됩니다. 문장 길이에 의도적으로 변화를 주도록 지시 튜닝된 휴머나이저는 B ∈ [0.15, 0.35]를 달성해 사람의 분포와 상당 부분 겹칩니다.

문체 지문 탐지기: 네거티브 프롬프팅과 전체 모델 재작성으로 무력화됩니다. 재작성 과정에서 원본 모델의 지문이 재작성 모델의 지문으로 대체되기 때문입니다.

다중 특성 앙상블 분류기: 부분적으로 무력화됩니다. 전체 재작성은 특성의 60–80%를 해결하지만 담화 수준 패턴에는 잔여 신호가 남습니다.

로짓 워터마킹: 현재 공개된 어떤 휴머나이징 도구로도 무력화되지 않습니다. 해시 함수에 접근하지 않고는 워터마크 신호를 제거할 수 없습니다.

4.3 오탐 분석

오탐 요인	규모	메커니즘
비원어민의 영어 글쓰기	높음(오탐률 10–20%)	제한된 어휘와 격식체가 LLM 출력과 동일한 분포적 흔적을 남김
격식 있는 학술 글	보통(5–15%)	학술 문체의 관례가 LLM의 문체 지문과 일치함
특정 분야의 기술 문서	보통(5–10%)	제한된 어휘가 엔트로피를 낮추고, 정밀한 문장이 버스티니스를 낮춤
여러 번 손본 글	낮음–보통(3–8%)	여러 차례의 편집으로 문체상의 불규칙성이 매끄러워짐
목록 위주의 문서	해당 섹션 내에서 높음	항목별로 나열된 내용은 버스티니스가 0에 가까움
매우 짧은 텍스트(200단어 미만)	매우 높음(15–40%)	신뢰할 수 있는 분류를 위한 통계적 표본이 부족함

5. MultipleChat AI Humanizer: 기술 아키텍처

5.1 시스템 개요

MultipleChat AI Humanizer는 다섯 가지 아키텍처 구성 요소로 이루어진 전체 교차 모델 재작성 파이프라인을 구현합니다. (1) 원본 텍스트 전처리 및 분할, (2) 모델 선택 및 프롬프트 엔지니어링, (3) 샘플링 파라미터를 제어한 교차 모델 생성, (4) 생성 후 품질 검증, (5) 선택적 버스티니스 강화입니다.

# Simplified pipeline architecture
class MultipleChat_Humanizer:
    def __init__(self, rewriter_model: str):
        self.model = load_model(rewriter_model)  # Claude, GPT-4, Gemini, Grok
        self.detector = load_detector('multiplechat-v2')
        self.segmenter = SemanticSegmenter()

    def humanize(self, source_text: str, instructions: str = '') -> HumanizationResult:
        # 1. Segment into semantically coherent chunks
        segments = self.segmenter.segment(source_text, max_tokens=4096)
        # 2. Construct humanization prompt
        prompt = build_humanization_prompt(segments, instructions, target_burstiness=0.25)
        # 3. Cross-model generation
        rewritten = self.model.generate(
            prompt, temperature=0.85, top_p=0.92,
            frequency_penalty=0.3, presence_penalty=0.2
        )
        # 4. Quality gate: semantic similarity check
        sim = semantic_similarity(source_text, rewritten)
        if sim < 0.75:
            rewritten = self.retry_with_stricter_prompt(source_text)
        # 5. Detection score computation for user feedback
        detection_score = self.detector.score(rewritten)
        return HumanizationResult(
            text=rewritten, detection_score=detection_score,
            burstiness=compute_burstiness(rewritten), semantic_similarity=sim
        )

5.2 모델 선택과 모델별 특성 비교

Claude의 RLHF 미세 조정은 완곡 표현 밀도가 높고 통사 구조가 더 다양한 출력을 만들어 내는 경향이 있어, 버스티니스 개선 폭이 가장 큽니다(평균 B 개선: +0.19). GPT-4는 더 짧고 통사적으로 규칙적인 문장을 생성하는데, 기술 콘텐츠에는 유리하지만 버스티니스 개선 폭은 더 작습니다(평균 B 개선: +0.12).

핵심 아키텍처 원칙

재작성 모델과 탐지기의 점수 산정 모델이 아키텍처상 멀리 떨어져 있을수록 휴머나이징 효과가 극대화됩니다. 퍼플렉서티 기반 탐지는 탐지기의 모델 하에서 텍스트가 얼마나 예측 가능한지를 측정하는데, 다른 모델 계열이 생성한 텍스트는 본질적으로 예측하기 더 어렵기 때문입니다. MultipleChat은 서로 다른 네 가지 모델 계열을 지원하므로, 예상되는 탐지기와 가장 거리가 먼 재작성 모델을 선택할 수 있습니다.

5.3 MultipleChat AI 탐지기

MultipleChat 탐지기는 지원하는 네 가지 모델 모두의 출력으로 학습한 다중 특성 앙상블 분류기를 구현합니다. 특성 집합에는 퍼플렉서티 특성(여러 점수 산정 모델 기준으로 계산), 버스티니스 특성(문장 수준 및 문단 수준), 어휘 특성(완곡 표현 밀도, AI 표지 개수, 축약형 비율, 수동태 비율), 담화 특성(주제문 위치, 전환어 밀도, 문단 길이 분산), 엔트로피 특성(토큰 유니그램 및 바이그램 섀넌 엔트로피)이 포함됩니다.

# Per-sentence heatmap generation (simplified)
def generate_heatmap(text: str) -> list[SentenceScore]:
    sentences = sent_tokenize(text)
    scores = []
    for i, sent in enumerate(sentences):
        # Context window: 2 sentences before and after
        context_start = max(0, i-2)
        context_end = min(len(sentences), i+3)
        context = ' '.join(sentences[context_start:context_end])
        sent_features = {
            'local_ppl': perplexity(context, scoring_model),
            'sent_length': len(sent.split()),
            'has_hedge': bool(re.search(HEDGE_PATTERN, sent)),
            'ai_markers': count_ai_markers(sent, AI_LEXICAL_SET),
        }
        score = ensemble_classifier.predict_proba(sent_features)[1]
        scores.append(SentenceScore(sentence=sent, ai_prob=score))
    return scores

6. 실패 유형과 미해결 과제

6.1 휴머나이징의 실패 유형

공격적인 휴머나이징에 따른 의미 표류: 높은 temperature로 재작성하면 의미 표류가 발생할 수 있습니다 — 재작성된 텍스트가 전반적인 주제는 유지하지만 구체적인 사실 주장이나 미묘한 구분을 잃는 것입니다. 품질상의 트레이드오프는 다음과 같습니다.

Δ(PPL) ↑ 일수록 SemanticSimilarity ↓ 휴머나이징 품질의 트레이드오프

MultipleChat 휴머나이저는 의미 유사도 게이트(임베딩 공간에서 코사인 유사도 > 0.75)로 이 문제에 대응하며, 표류가 감지되면 더 제약된 프롬프트로 재시도합니다.

사실 정보에서의 환각: 재작성 모델이 구체적인 사실, 날짜, 통계를 그럴듯하지만 잘못된 내용으로 바꿀 수 있습니다. 사실 정보는 휴머나이징 후 사람이 검증해야 합니다. 현재 파이프라인은 자동 사실 검증을 구현하지 않으며 — 이는 미해결 과제로 분류되어 있습니다.

어조와 격식 수준의 표류: 어조를 명시적으로 지정하지 않으면 재작성 모델은 자신이 선호하는 어조를 기본으로 사용합니다. 격식이 매우 높은(법률, 의료) 원문이나 매우 비격식적인(마케팅, 소셜) 원문은 명시적인 지시 없이는 어조가 맞지 않을 수 있습니다.

6.2 탐지의 실패 유형

도메인 변화: 일반 도메인 말뭉치로 학습한 탐지기는 전문 분야에서 정확도가 크게 떨어집니다. 일반 웹 텍스트에서 92%의 정확도를 보이는 탐지기도 의료 증례 보고서나 법률 계약서에서는 65–70%로 떨어질 수 있습니다.

길이의 영향: 200단어 미만의 텍스트는 통계 추정치의 신뢰 구간이 너무 넓어 신뢰할 수 있는 분류가 어렵습니다. 100단어 미만에서는 대부분의 탐지기가 우연 수준에 가깝게 작동합니다.

혼합 작성 텍스트: 사람이 쓴 부분과 AI가 쓴 부분이 섞인 문서는 혼합 분포를 이루어 문서 수준 분류기를 무력화합니다. 구간 수준 탐지로 부분적으로 해결할 수 있지만 훨씬 많은 연산이 필요합니다.

6.3 미해결 과제

의미 보존형 워터마킹: 의미 수준에서 워터마크를 삽입하는 기법은 패러프레이즈 공격에 강하면서도 의미 분석을 통해 탐지할 수 있을 것입니다.

다국어 탐지: 대부분의 탐지기는 영어 텍스트로 학습하고 평가합니다. 다른 언어에서는 성능이 크게 떨어지며, 이는 심각한 형평성 문제를 낳습니다.

공동 저작 기여도 판별: 공동으로 작성된 텍스트에서 사람과 AI의 기여 비율을 정량화하는 신뢰할 만한 도구는 아직 없습니다.

견고성을 위한 적대적 학습: 게임 이론적 균형을 규명하고 균형 상태에서의 탐지 정확도를 예측하는 이론적 프레임워크는 현재 존재하지 않습니다.

사실 보존의 형식적 검증: 휴머나이징된 텍스트가 원문의 모든 사실 정보를 보존하는지 안정적으로 검증하는 방법은 현재 없습니다 — 기술적으로는 대규모 자연어 추론(NLI) 문제에 해당합니다.

7. 결론

1. 퍼플렉서티 기반 탐지는 이론적 근거는 탄탄하지만 실제로는 취약합니다. ESL 사용자가 쓴 글과 LLM 출력 사이의 분포 중첩 때문에, 적절한 민감도를 유지하는 어떤 탐지 임계값에서도 중대한 결정에 쓰기에는 오탐률이 용납할 수 없을 만큼 높습니다.

2. 패러프레이즈 기반 휴머나이징은 생성 사전분포를 해결하지 못합니다. 동의어 치환과 통사 변환은 원본 모델 하에서 LLM 출력의 낮은 퍼플렉서티 특징을 그대로 보존합니다. 생성 분포 자체를 바꾸는 접근법은 전체 교차 모델 재작성뿐입니다.

3. 다중 특성 앙상블 탐지는 단일 특성 접근법보다 견고합니다. 퍼플렉서티, 버스티니스, 문체 특성, 담화 수준 분석을 결합하면 어떤 개별 특성보다도 훨씬 뛰어난 성능을 보입니다.

4. 로짓 워터마킹은 기술적으로 견고한 유일한 탐지 방식입니다. 다만 모델 제공업체 차원의 구현이 필요하며, 2026년 1분기 기준으로 대규모로 배포되지 않았습니다.

5. 단기적으로 적대적 균형은 탐지보다 휴머나이징에 유리합니다. 로짓 워터마킹이나 이에 준하는 암호학적 출처 증명 메커니즘이 없다면, 탐지 점수는 확정적인 판정이 아니라 보강 증거가 필요한 확률적 신호로 다루어야 합니다.

참고문헌

Goh, K. I., & Barabási, A. L. (2008). Burstiness and memory in complex systems. EPL (Europhysics Letters), 81(4), 48002.

Kirchenbauer, J., Geiping, J., Wen, Y., Katz, J., Miers, I., & Goldstein, T. (2023). A watermark for large language models. Proceedings of ICML 2023.

Mitchell, E., Lee, Y., Khazatsky, A., Manning, C. D., & Finn, C. (2023). DetectGPT: Zero-shot machine-generated text detection using probability curvature. Proceedings of ICML 2023.

Zhao, X., Ananth, P., Li, L., & Yu, T. (2023). Provable robust watermarking for AI-generated text. arXiv:2306.17439.

Gehrmann, S., Strobelt, H., & Rush, A. M. (2019). GLTR: Statistical detection and visualization of generated text. Proceedings of ACL 2019 System Demonstrations.

Zellers, R., Holtzman, A., Rashkin, H., Bisk, Y., Farhadi, A., Roesner, F., & Choi, Y. (2019). Defending against neural fake news. Advances in NeurIPS 32.

Ippolito, D., Duckworth, D., Callison-Burch, C., & Eck, D. (2020). Automatic detection of generated text is easiest when humans are fooled. Proceedings of ACL 2020.

Uchendu, A., Le, T., Shu, K., & Lee, D. (2020). Authorship attribution for neural text generation. Proceedings of EMNLP 2020.

Liang, W., Yuksekgonul, M., Mao, Y., Wu, E., & Zou, J. (2023). GPT detectors are biased against non-native English writers. Patterns, 4(7), 100779.

Sadasivan, V. S., Kumar, A., Balasubramanian, S., Wang, W., & Feizi, S. (2023). Can AI-generated text be reliably detected? arXiv:2303.11156.

부록 A: 수학 기호 참조

기호	정의
P_M(t)	언어 모델 M이 텍스트 t에 부여하는 확률
PPL_M(t)	모델 M 하에서 텍스트 t의 퍼플렉서티
H(X)	확률 변수 X의 섀넌 엔트로피
KL(P\|\|Q)	Q에서 P로의 쿨백-라이블러 발산
B	버스티니스 계수(Goh & Barabási, 2008)
μ_L, σ_L	문장 길이 분포의 평균과 표준편차
G_t, R_t	생성 단계 t에서의 그린 및 레드 토큰 리스트
γ	그린 리스트 분할 비율(일반적으로 0.5)
δ	워터마크 강도를 위한 로짓 증폭 파라미터
θ, φ	탐지기 및 휴머나이저의 파라미터 벡터
S(t)	DetectGPT 점수 함수(로그 확률 비율)
V	크기가 \|V\|인 어휘 집합
z ∈ ℝ^\|V\|	소프트맥스 정규화 이전의 로짓 벡터
sim(t₁, t₂)	의미 유사도(임베딩 공간에서의 코사인)

부록 B: 실험 벤치마크 요약

휴머나이징 방법별 탐지 정확도(기준 탐지기 GPTZero v4, 셀당 텍스트 n=500):

휴머나이징 방법	탐지율	FPR(사람)	의미 유사도	버스티니스 B
휴머나이징 없음(원본 AI)	91.3%	8.2%	1.00	-0.07
동의어 치환	87.4%	8.5%	0.97	-0.05
QuillBot(Creative 모드)	74.2%	9.1%	0.91	0.08
전체 재작성(Claude)	28.6%	8.8%	0.83	0.24
전체 재작성(GPT-4)	31.2%	8.4%	0.86	0.19
MultipleChat 휴머나이저	22.4%	9.0%	0.81	0.27
사람 기준치	8.2%	—	—	0.31

참고: 모든 수치는 통제된 실험 조건에 기반한 근삿값입니다. 실제 탐지율은 분야, 텍스트 길이, 탐지기 버전에 따라 크게 달라집니다. 사람 기준치 FPR 8.2%는 사람이 쓴 학술 텍스트에 대한 GPTZero v4의 제거 불가능한 오탐률을 나타냅니다.

MultipleChat AI Humanizer & 탐지기

Claude, ChatGPT, Gemini, Grok을 활용한 전체 교차 모델 재작성. 문장 단위 히트맵을 제공하는 다중 특성 앙상블 탐지.

휴머나이저 사용해 보기 탐지기 사용해 보기

퍼플렉서티 탐지 버스티니스 분석 로짓 워터마킹 교차 모델 재작성 문체 지문 분석 MultipleChat Research