摘要
本报告对应用自然语言处理中两个密切相关的问题进行了全面的技术分析:(1)机器生成文本的自动检测;(2)将机器生成文本转化为在统计上与人类写作无法区分的输出——本文将这一过程称为 AI 人性化。
我们考察了检测的数学基础——具体包括基于自回归语言模型先验的困惑度评分、作为句长方差度量的突发性,以及通过文体计量分析和 logit 空间水印实现的模型特定指纹识别。随后,我们将人性化问题刻画为一项对抗性文本生成任务,并分析了基于改写的方法与借助另一个语言模型进行完整生成式重写之间的架构差异。
主要发现:(a)现有检测器所依赖的分布假设在领域迁移以及非母语者文本面前会失效;(b)基于改写的人性化保留了生成先验,在面对基于困惑度的检测器时往往会失败;(c)采用跨模型生成的全模型重写所产生的文本,其在源模型下的 token 级困惑度在统计上与人类撰写的文本无法区分;(d)新兴的水印方案提供了更稳健的检测面,当前的人性化方法在无法获取水印密钥的情况下无法攻破。
关键词:困惑度,突发性,自回归生成,logit 水印,文体计量指纹,对抗性文本生成,分布偏移,交叉熵,香农熵,token 级概率分布
1. 引言与问题定义
能够生成流畅、连贯文本的大语言模型(LLM)大量涌现,带来了一个两用性问题:推动生产力工具的同一种生成能力,也可能产生隐瞒自身来源的内容。这推动了两个相互对抗的研究方向并行发展——机器生成文本检测(MGTD)与机器生成文本人性化(MGTH)。
我们对问题空间作如下形式化定义。设 H 表示人类撰写文本的空间,M 表示机器生成文本的空间。理想的检测器 D : T → {0,1} 将任意文本 t 映射为一个二元标签(人类 vs. 机器),而理想的人性化器 F : M → H 将机器生成的文本映射到人类分布中。实际上,D 和 F 都是在相互重叠的分布流形上运行的概率函数 — 二者之间的对抗张力正是本报告的核心主题。
1.1 生成先验问题
现代 LLM 通过在词表 token V 上的条件概率分布中采样来生成文本:
其中 θ 表示模型参数。在每个生成步骤中,模型计算一个 logit 向量 z ∈ ℝ|V|,并通过 softmax 变换得到 token 概率。采样策略 — argmax(贪心)、top-k、核采样(top-p)或温度缩放采样 — 决定了输出分布的统计特性。
对检测而言的关键洞见:在源模型的概率分布下,这一生成过程产生的文本的交叉熵损失系统性地低于人类撰写的文本。人类写作反映的是另一种生成过程——受工作记忆限制、反复修改、情绪状态、领域专长差异和个人文风特点的影响——即使语义内容完全相同,也会产生统计上截然不同的分布。
2. AI 文本检测:技术基础
2.1 基于困惑度的检测
困惑度是机器生成文本检测中最基础的指标。对于 token 序列 t = (t₁, t₂, …, tₙ),其在语言模型 M 下的困惑度定义为:
等价地说,困惑度就是模型在该序列上交叉熵损失的指数。困惑度越低,说明模型赋予该序列的概率越高——也就是说,在模型学到的分布下,这个序列高度可预测。
2.1.1 为什么机器生成文本的困惑度较低
LLM 的训练目标是最小化在人类文本上的交叉熵损失,因此它们会逼近人类文本的分布。然而在生成时,它们还会施加采样约束(温度、top-k/top-p),这些约束往往会使概率质量更加集中——实际上相当于从所学分布的“锐化”版本中采样。
2.1.2 困惑度分数分布
根据经验,校准良好的检测器在各类语料上观察到的困惑度分布大致如下:
| 文本来源 | PPL 均值 | PPL 标准差 | 典型范围 |
|---|---|---|---|
| 人类学术写作 | 52.3 | 18.7 | 25 – 110 |
| 人类博客 / 非正式文本 | 67.8 | 31.2 | 18 – 180 |
| GPT-4 (temp=0.7, top-p=0.9) | 14.6 | 6.2 | 7 – 35 |
| Claude 3 Sonnet | 16.9 | 7.8 | 8 – 42 |
| GPT-4 + 人性化处理 | 38.4 | 14.1 | 18 – 85 |
| 人类 ESL(英语非母语)写作 | 21.3 | 9.4 | 10 – 55 |
ESL 人类写作与 GPT-4 输出的分布相互重叠(二者都集中在 PPL ≈ 15–25 附近),这正是对非母语者误报率偏高的主要原因。这并不是校准失误——它反映的是一种真实存在的分布重叠,无法通过调整检测阈值来解决。
2.1.3 零样本困惑度检测器
零样本检测器无需训练——它们直接使用源模型自身的概率估计。经典方法(Mitchell et al., 2023;DetectGPT)计算原始文本与其扰动版本之间的对数概率比:
直观理解:机器生成的文本往往位于模型对数概率函数的局部极大值附近,而人类撰写的文本则不然。因此,对机器生成文本进行扰动通常会降低其对数概率,而对人类文本进行扰动则可能随机地提高或降低对数概率。
2.2 突发性分析
突发性(burstiness)这一概念源自信息论和网络科学,用于衡量点过程中事件间隔时间的变异程度。应用到文本上,它刻画的是句子长度的方差:
其中 μL 为平均句长(以 token 计),σL 为其标准差。B ∈ [−1, 1]:B → −1 表示间隔完全规则,B = 0 表示方差呈泊松分布,B → 1 表示高度突发、不规则的模式。
技术说明:突发性与更新过程模型
形式上,句子生成可以建模为一个更新过程,其中更新间隔对应句子长度。人类写作表现出带有重尾的非泊松更新动态——句长近似服从对数正态分布或威布尔分布,而不是 LLM 在温度约束下采样所产生的近指数分布。与计算汇总统计量的检测器相比,对句长序列拟合参数分布的检测器在面对对抗性操纵时更为稳健。
2.3 模型指纹识别与文体计量分析
除了总体统计量之外,各个 LLM 还会表现出一致的文体计量指纹,其来源包括训练数据构成、RLHF 微调目标以及架构差异。
2.3.1 词汇指纹
| 词语 | 观察结果 |
|---|---|
| delve | 与人类学术写作相比,在 Claude/GPT-4 输出中出现频率显著偏高(频率比为 7.3 倍) |
| certainly | 作为句首肯定语使用的频率超过人类基线 5 倍以上;是 GPT-3.5/4 的强烈标志 |
| furthermore | 作为段落级连接词被过度使用;过渡词密度是人类基线的 2–4 倍 |
| crucial | 在讨论重要性的段落中,约 12% 的 GPT-4 段落出现该词,而人类文本中仅约 3% |
| leverage(动词) | 商业/技术写作标志;在 ChatGPT 生成的内容中出现频率高出 3.8 倍 |
| tapestry | 隐喻过度使用的标志;与某些特定的 RLHF 微调奖励模式相关 |
词汇指纹很脆弱——它们会随每个模型版本而变化,也能通过明确的提示词规避。它们最适合作为佐证,而非主要的检测信号。
2.3.2 句法指纹
句法模式比词汇指纹更稳健,它反映的是模型习得的偏好,在不同微调版本之间更为稳定:被动语态比例(是非正式人类写作的 2–3 倍)、名词短语密度、比人类学术文本更浅的中心嵌套、过度使用三项并列的列表结构,以及限定语集中出现在段落边界而不是分散在全文中。
2.3.3 语篇层面指纹
最稳健的指纹存在于语篇层面:主题句的突出位置(超过 94% 位于段首,而人类文本约为 73%)、段落长度的均匀性、过渡词密度达到人类基线的 1.8 倍,以及全文中论点与论据之比更为一致。
2.4 Logit 水印
技术上最稳健的检测方法是 logit 水印(Kirchenbauer et al., 2023),它将一个可统计检测的信号直接嵌入生成过程本身。在每个生成步骤中,以前一个 token 的哈希值作为种子,将词表 V 伪随机地划分为‘绿色’列表 G 和‘红色’列表 R:
在生成过程中,绿色列表中 token 的 logit 会在 softmax 归一化之前加上一个强度参数 δ:
检测时对绿色 token 所占比例进行单侧 z 检验:
关键特性:水印的稳健性
Logit 水印与统计指纹识别有本质区别,因为它并不依赖那些可被人性化手段攻破的分布假设。水印就嵌入在 token 序列本身之中。在无法获取哈希函数和划分密钥的情况下,要攻破它就必须重写足够多的 token 以破坏统计信号——而如果重写得足够彻底,这本身就构成了人性化问题。当前保留语义内容的人性化方法无法可靠地攻破强水印方案。不过,截至 2026 年第一季度,尚无主要模型提供商大规模部署这一技术。
3. AI 文本人性化:技术方法
3.1 人性化方法分类
| 方法 | 处理深度 | 对困惑度的影响 | 对突发性的影响 |
|---|---|---|---|
| 同义词替换 | 词汇层面(词级) | 极小——先验不变 | 无 |
| 句法变换 | 句法层面(从句级) | 中等——有一定扰动 | 略有改善 |
| 改写模型 | 表层语义 | 中等——部分扰动 | 中度改善 |
| LLM 完整重写 | 语义-语用层面 | 高——全新的生成先验 | 显著改善 |
3.2 基于改写的方法:为什么会失败
这一根本性的失效模式可以形式化地表述如下。设 tAI 为一段机器生成的文本,tpara = Paraphrase(tAI) 为其改写版本:
之所以如此,是因为改写模型本身也是一个 LLM,其训练目标是在相同分布上最小化重构损失,这意味着它的输出在评分模型下同样具有低困惑度。保留语义的改写会把输出限制在意义空间的同一区域内。
3.3 完整生成式重写:跨模型方法
使用另一个 LLM 进行完整生成式重写,是唯一能从根本上解决生成先验问题的方法:
跨模型重写定理(非形式化)
如果模型 MA 生成文本 tA,而模型 MB(A ≠ B)在保留语义内容的前提下将其重写为 tB,那么 PPLMA(tB) 取决于 MB 的生成先验,而非 MA 的。由于 MA 和 MB 的训练数据、架构和 RLHF 目标各不相同,二者具有不同的生成先验,因此在 MA 下,tB 的困惑度会高于 tA — 可能高到足以攻破基于 MA 的检测器。
3.3.2 温度与采样参数的作用
3.3.3 面向人性化的指令提示词工程
4. 对抗动态:军备竞赛
4.1 检测与人性化的博弈
检测与人性化可以建模为一个双人博弈。设 Dθ 为检测器,Hφ 为人性化器:
实际上,双方都无法获取对方的参数,因此这是一个不完全信息博弈。人性化工具针对可观察到的检测器行为进行优化;而当人性化策略被识破后,检测器又会重新训练。
4.2 当前的均衡状态(2026 年第一季度)
基于困惑度的检测器:可被架构不同的模型进行的全模型重写攻破。目前的完整重写型人性化工具,在行文规范的文本上往往能将检出率降至接近随机水平。
基于突发性的检测器:部分被攻破。经指令微调、会刻意变换句长的人性化工具可达到 B ∈ [0.15, 0.35],与人类分布有大面积重叠。
文体计量指纹检测器:可被负向提示和全模型重写攻破,后者会用重写模型的指纹取代源模型的指纹。
多特征集成分类器:部分被攻破。完整重写能处理 60–80% 的特征,但在语篇层面的模式中仍会留下残余信号。
Logit 水印:目前尚无任何公开可用的人性化工具能够攻破。在无法获取哈希函数的情况下,水印信号无法被去除。
4.3 误报分析
| 误报诱因 | 程度 | 机制 |
|---|---|---|
| 非母语者的英语写作 | 高(10–20% 误报) | 受限的词汇加上正式的语体,会产生与 LLM 输出相同的分布特征 |
| 正式的学术写作 | 中等(5–15%) | 学术文体惯例与 LLM 的文体计量指纹相吻合 |
| 特定领域的技术文本 | 中等(5–10%) | 受限的词汇降低了熵;精确的句子降低了突发性 |
| 经过大量编辑的文本 | 低至中等(3–8%) | 多轮编辑抹平了文风上的不规则之处 |
| 以列表为主的文档 | 在相关段落内较高 | 条目式内容的突发性接近于零 |
| 极短文本(<200 词) | 极高(15–40%) | 统计样本量不足,无法可靠分类 |
5. MultipleChat AI Humanizer:技术架构
5.1 系统概览
MultipleChat AI Humanizer 实现了一套完整的跨模型重写流程,包含五个架构组件:(1)源文本预处理与分段,(2)模型选择与提示词工程,(3)在受控采样参数下进行跨模型生成,(4)生成后的质量校验,以及(5)可选的突发性增强。
5.2 模型选择与特性对比
Claude 的 RLHF 微调往往使其输出具有更高的限定语密度和更多样的句法结构,因此带来的突发性提升最大(B 平均提升:+0.19)。GPT-4 生成的句子更短、句法更规整——这对技术内容有利,但突发性提升较小(B 平均提升:+0.12)。
关键架构原则
当重写模型与检测器的评分模型在架构上差异越大时,人性化效果的提升也越大。这是因为基于困惑度的检测衡量的是文本在检测器模型下的可预测程度——而由不同模型家族生成的文本天然更难预测。MultipleChat 支持四个不同的模型家族,因此可以针对可能使用的检测器,选择差异最大的重写模型。
5.3 MultipleChat AI 检测器
MultipleChat 检测器实现了一个多特征集成分类器,基于全部四个受支持模型的输出进行训练。特征集包括:困惑度特征(基于多个评分模型计算)、突发性特征(句子级和段落级)、词汇特征(限定语密度、AI 标志词数量、缩略形式比例、被动语态比例)、语篇特征(主题句位置、过渡词密度、段落长度方差)以及熵特征(token 一元和二元香农熵)。
6. 失效模式与开放问题
6.1 人性化的失效模式
激进人性化下的语义漂移:高温度重写可能导致语义漂移 — 重写后的文本保留了大致主题,却丢失了具体的事实陈述或细微的区别。质量上的权衡:
MultipleChat 人性化工具通过语义相似度闸门(嵌入空间中的余弦相似度 > 0.75)来解决这一问题:一旦检测到漂移,就会使用约束更严格的提示词重试。
事实内容中的幻觉:重写模型可能会把具体的事实、日期或统计数据替换成看似合理但并不正确的内容。事实性内容在人性化处理后需要人工核实。该流程目前尚未实现自动事实核查 — 这被列为一个开放问题。
语体与正式程度漂移:如果没有明确指定语体,重写模型会默认采用自己偏好的语体。高度正式(法律、医学)或高度非正式(营销、社交媒体)的源文本,若无明确指令,可能无法保持一致。
6.2 检测的失效模式
领域迁移:在通用领域语料上训练的检测器,在专业领域上的准确率会显著下降。一个在通用网页文本上准确率达 92% 的检测器,在医学病例报告或法律合同上可能降至 65–70%。
长度效应:对于少于 200 词的文本,统计估计的置信区间过宽,无法可靠分类。少于 100 词时,大多数检测器的表现接近随机水平。
混合文本:人类与 AI 撰写部分交错的文档呈现出混合分布,会让文档级分类器失效。片段级检测能部分解决这一问题,但需要多得多的计算量。
6.3 开放问题
保留语义的水印:在语义层面嵌入水印的方案,既能抵御改写攻击,又能通过语义分析被检测出来。
跨语言检测:大多数检测器都是在英语文本上训练和评估的。在其他语言上的表现会大幅下降,带来严重的公平性问题。
协作作者归属:目前还没有可靠的工具,能够量化协作撰写文本中人类与 AI 各自的贡献比例。
面向稳健性的对抗训练:目前尚不存在一个理论框架,能够刻画这一博弈论均衡并预测均衡状态下的检测准确率。
事实保留的形式化验证:目前没有任何方法能可靠地验证人性化后的文本是否保留了源文本的全部事实内容 — 从技术上讲,这是一个大规模的自然语言推理(NLI)问题。
7. 结论
1. 基于困惑度的检测在理论上依据充分,但在实践中很脆弱。ESL 人类写作与 LLM 输出之间的分布重叠,使得在任何能保持合理灵敏度的检测阈值下,误报率都高到不足以支撑重大决策。
2. 基于改写的人性化无法解决生成先验问题。同义词替换和句法变换保留了 LLM 输出在源模型下的低困惑度特征。完整的跨模型重写是唯一能改变生成分布的方法。
3. 多特征集成检测比单一特征方法更稳健。将困惑度、突发性、文体计量特征与语篇层面分析结合起来,效果远超任何单一特征。
4. Logit 水印是唯一在技术上稳健的检测方法。然而,它需要由模型提供商来实现,而截至 2026 年第一季度尚未大规模部署。
5. 短期内,对抗均衡更有利于人性化而非检测。在缺乏 logit 水印或同等的加密溯源机制的情况下,检测分数应被视为需要佐证的概率信号,而不是最终裁决。
参考文献
附录 A:数学符号对照
| 符号 | 定义 |
|---|---|
| PM(t) | 语言模型 M 赋予文本 t 的概率 |
| PPLM(t) | 文本 t 在模型 M 下的困惑度 |
| H(X) | 随机变量 X 的香农熵 |
| KL(P||Q) | 从 Q 到 P 的 Kullback-Leibler 散度 |
| B | 突发性系数(Goh & Barabási, 2008) |
| μL, σL | 句长分布的均值和标准差 |
| Gt, Rt | 生成步骤 t 中的绿色与红色 token 列表 |
| γ | 绿色列表划分比例(通常为 0.5) |
| δ | 决定水印强度的 logit 增强参数 |
| θ, φ | 检测器与人性化器的参数向量 |
| S(t) | DetectGPT 评分函数(对数概率比) |
| V | 大小为 |V| 的词表集合 |
| z ∈ ℝ|V| | softmax 归一化之前的 logit 向量 |
| sim(t₁, t₂) | 语义相似度(嵌入空间中的余弦相似度) |
附录 B:实证基准测试汇总
各种人性化方法下的检测准确率(以 GPTZero v4 为参考检测器,每格 n=500 篇文本):
| 人性化方法 | 检出率 | 误报率(人类) | 语义相似度 | 突发性 B |
|---|---|---|---|---|
| 未做人性化(原始 AI 文本) | 91.3% | 8.2% | 1.00 | -0.07 |
| 同义词替换 | 87.4% | 8.5% | 0.97 | -0.05 |
| QuillBot(Creative 模式) | 74.2% | 9.1% | 0.91 | 0.08 |
| 完整重写(Claude) | 28.6% | 8.8% | 0.83 | 0.24 |
| 完整重写(GPT-4) | 31.2% | 8.4% | 0.86 | 0.19 |
| MultipleChat Humanizer | 22.4% | 9.0% | 0.81 | 0.27 |
| 人类基线 | 8.2% | — | — | 0.31 |
注:所有数据均为基于受控实验条件的近似值。实际检出率会因领域、文本长度和检测器版本而有很大差异。8.2% 的人类基线误报率代表 GPTZero v4 在人类撰写的学术文本上不可消除的误报率。
MultipleChat AI Humanizer 与检测器
使用 Claude、ChatGPT、Gemini 和 Grok 进行完整的跨模型重写。多特征集成检测,并提供句子级热力图。