📄 语音信号能去掉中文 AI 味吗:三组否定实验与校准评判器偏好训练

英文题目:Grounding Language Models in Speech Does Not Fix "AI Flavor": Calibrated LLM Judges, Goodhart Traps, and a Preference-Tuning Fix

评分:6.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.4/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Dongwu Qian:Independent Researcher;Code and data: RA-Eval v0.1, Zenodo DOI 10.5281/zenodo.24237533

📌 核心摘要

中文大模型输出带有可感知的固定句式、书面连接堆叠、重复循环与版式泄漏,输入是约三百字的中文写作提示,输出是完整短文,难点在于自动特征与人类感知经常脱节,而单评委小样本盲测只能检出极端偏好。研究先检验语音接地假设,对同一文本量下拼音交错、韵律计划条件生成与合成语音韵律距离奖励三路干预分别做对照试验。再搭建三层评测并用校准后的大模型评委生成标注,校准评委先过已知答案敏感性把关,再经双评委换位双遍标注,不一致计为平局,其一致认同输出直接构成偏好对。最后把评委一致认同的偏好对直接作为正负例送入直接偏好优化训练,区别于特征距离奖励的间接优化,并附加保留数据分布的锚定项以对抗长度塌缩。为让读者对应原文,承担敏感性把关与双遍标注的流程称为校准评委管线,把无奖励模型的成对偏好训练称为直接偏好优化。语音侧三路干预均未带来可感知的改善,而在8个held-out提示共24对与base模型对比的双遍盲测上,0.6B直接偏好优化的repetition为0.000,低于base模型的0.114,soft win rate为0.833[0.699,0.972],高于base模型,单次训练仅需4.5分钟GPU时间,结论跨语言、大规模与人类一致性尚未验证。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

中文 AI 味具体指什么,为什么能算出来

这篇论文研究的输入是中文短文写作任务,输出是模型生成的约 300 chars 短文,评价关心的是读起来像不像人写的。作者把读者常说的 AI 味拆成可数的对象:固定的 AI 框架句式,例如不仅……更和不是……而是,书面语连接词堆叠,相邻句子结构高度同构,重复循环,以及版式泄漏如段间空行和英文泄漏。

这些不是印象式批评,论文用 24 篇模型输出和 86 篇人类高考作文做了对照。不只……更的框架密度是每 1,000 words 3.24 对 0.12,覆盖率是 100% 对 10%,书面连接词是每 1,000 chars 7.90 对 3.21,段间空行是每 1,000 chars 9.4 对约 0,空行的效应量 d 为 1.05。方向在 0.6B、1.7B 和 4B 尺度上一致,这说明在该作者的前期基线里 AI 味是稳定可复现的分布差异。

对刚进入音频或语音方向的研究生,一个容易混淆的点是自动指标和人感知的关系。论文反复强调自动特征能区分人与模型,不等于优化特征距离就能让人觉得更像人写。这个区分是理解后文 3 层评价和多次否定结果的关键,特征库负责发现差异,盲评负责确认差异是否可感知。

这篇工作和改写式去味、检测器研究有什么不同

论文把自己放在 3 条已有路线旁边比较。第一条是 AI 味的评价与改写,代表是英文故事领域的 CraftAlign,它用 9B 估计器预测 304 个写作特征,再用能量模型打分并指导外部编辑器做推理时改写。本文不同在语言是中文,干预位置是训练侧的偏好训练而非推理时改写,尺度是全开放的 0.6B,并且增加了校准和偏差传导分析。

第二条是语音与韵律和语言模型的结合。计划优先的语音生成系统在语音侧已建立韵律中间表示,2025 到 2026 年语音合成领域出现从可验证韵律奖励转向偏好优化的趋势,原因是自动韵律奖励曾把韵律压成单调。本文在文本侧的语音注入失败被作者视为对称证据。交错语音语言模型中发现的隐式转写阶段,也被用来对照本文的探测发现:音系信息在线性探针下已可解码,缺的不是表示而是使用它的理由。

第 3 条是中文 AI 文本检测与评判器研究。检测方向有双语基准和基于 LoRA 的鲁棒检测器,社区也有中文人性化做法但缺乏学术评价。评判器方向已有位置偏置、冗长偏置、自我偏好等系统记录,相关综述警告评判进入训练会放大偏置。本文不提出新评判器,只贡献实用协议、偏差传导的受控实验和锚定修复。偏好优化方面,论文承认长度偏置已有 LD-DPO 和长度控制 DPO 的解释,但强调本文偏置源不同,来自评判器标注而非目标函数本身。

语音接地假设到底主张什么,本文如何把它变成可证伪实验

语音接地假设的完整链条是这样:人类写作会经过默读或内言层,文字自然带有停顿和语调;纯文本训练的模型没有这一层,所以产出整齐的平行结构和书面腔;如果在训练中注入语音、音素或韵律信号,就应减轻 AI 味。输入是同样的文本语料和写作提示,目标输出是更口语、更少框架句式的中文,假设必须保留的信息是语义正确和任务长度。

本文把它拆成 3 个可在 0.6B 文本尺度上受控检验的操作。第一是持续预训练阶段交错拼音,第二是用韵律计划做条件生成,第三是用合成语音韵律到人类参考的距离做基于规则的奖励。每一路都预先设了通过门,例如韵律计划的遵循度门限是 0.50,检验的是信号是否被模型真正使用并转化为可感知的风格变化。

语音接地假设 × 内言层 × 韵律信号: 语音接地假设认为人类写作经过内言层因而自带韵律,纯文本模型缺了这一层才有 AI 味;内言层指写作时的默读节奏,韵律信号指音素、停顿和语调等可注入训练的语音侧信息,三者组合的意思是把语音当作缺失的成因并用注入信号来补,但本文检验的正是这个因果链在 0.6B 文本尺度上是否成立。

作者还说明否定结果不是空白:3 路失败把问题从要不要加语音信号,转到评价能否感知差别。这就引出方法核心,即先解决小样本盲评功效不足,再用校准过的评判器同时做评价者和标注者,使评价信号和训练信号可比。

RA-Eval 三层评价如何分工,校准评判器如何过门

RA-Eval 的第一层是经过验证的客观特征库。每个文本按每 1,000 words 或每 1,000 chars 归一化,包括 AI 框架结构、书面标记与人类连接词但是和不过的对照、句末语气词、第二人称称呼、词汇多样性 distinct_1 和 distinct_2 及 token 熵、相邻句同构度、空行和 markdown 泄漏、英文泄漏,以及 10-gram 重复率。音频侧用 edge-TTS 合成后加 librosa 计算停顿比、语速和基频方差,再用标准化距离与人类参考比较。特征库本身是中文特定的,但 3 层结构和评判器协议被作者认为是语言无关的。

第二层是人工盲评的功效墙。在双侧 alpha 为 0.05、功效 80% 的条件下,真偏好为 0.70 约需 60 对,0.65 约需 100 对,0.60 约需 300 对。本文两轮人工各只有 24 对和 16 对,只能检出 85% 以上的极端偏好。没检出不等于不存在,这是小样本人工评价的结构性限制,也是人评疲劳之外必须用机器辅助的理由。

第 3 层是校准评判器管线。评判器先盲判已知答案的捕获对,敏感度要求不低于 0.75,实际生产评判器为 16/16,会话内试点评判器单文本为 22/24,区间为 0.74 到 0.98,同主题成对为 24/24,干净子集为 7/7,而同一材料上人类评分者最好只有 0.75。正式标注时每对由两个隔离评判器在交换 A 和 B 顺序后各判 1 次,不一致记为 0.5 并按平局分层分析。训练后还要做传导检查,看标注偏置是否进入模型。

客观特征库 × 人工盲评 × 校准评判器管线: 客观特征库负责把 AI 味算成可复现的密度指标,人工盲评负责检验人是否真能听出差别,校准评判器管线负责让模型评判器先过已知答案的敏感度门再做标注,三层分工是自动信号管可测量、盲评管可感知、校准管线管评判器是否值得信任,组合后让训练信号和评价信号用同一套可感知标准。

三路语音干预各自改变了输入的什么,为什么都没过感知门

第一路是音素交错持续预训练。两个分支训练在完全相同的 50M text tokens 上,处理组在文本流中交错 26% 的拼音 token,并新增 1,305 个词表项,对照组是纯文本持续预训练。结果是口语度相对对照组下降 4.86,区间为负 10.50 到正 0.31,重复率上升 0.13,区间为正 0.03 到正 0.23,长度多出 46.7 chars,区间为 21.5 到 72.3 chars,而 MMLU 不变,排除学得更少的解释。作者的判断是拼音交错在 0.6B 带来的是代价而非收益,另两个缺少文本匹配对照或存在等步数混淆的早期试点方向一致。

第二路是韵律计划条件生成。预训练设 4 个分支,分别为无计划、真计划、打乱计划和仅长度,计划 token 在训练时做损失掩码,只提供条件而不被预测。推理时把计划喂给对话模型,遵循度只有 0.257,未达到预注册的 0.50 门;零样本直接输入计划则 32 个中有 32 个输出为空;真计划分支相对无计划分支多样性下降,distinct_2 下降 0.136,音频韵律距离变差 0.255,区间为负 0.183 到正 0.715。诊断是计划 token 在训练时只出现在文档开头,推理时却出现在对话助手头之后,模型按文档续写处理,同时事后计划对逐 token 损失冗余,模型学会忽略它。

第 3 路是基于规则的韵律奖励。奖励用合成语音韵律特征到人类参考的标准化距离绝对值构造,在自动指标上有效,重排后距离从 2.284 降到 1.711。但在长度匹配的候选对上双盲评价接近随机,人类选低距离一侧为 8/16,校准评判器为 9/16,而同一评判器区分人与模型文本可达 91.7% 到 100%。自动指标赢了,感知上什么都没听到,作者称这是功效墙警告的反面:不是功效不足,而是优化对象从一开始就不是感知对象。

还有一路非语音的否定结果,即 18 个客观特征的线性奖励。权重用评判器在 182 对上的 Bradley-Terry 回归校准,留一提示交叉验证 AUC 为 0.661,已过预设门。但在 8 个保留提示上的冻结验证中,最大值对最小值的分离对盲评胜率只有 0.625,区间为 0.39 到 0.84,且评判器无法把它和旧韵律奖励区分开,胜率为 0.500。评判理由分析显示其标准含流畅连贯和事实正确等无局部可计算代理的维度,这是特征路线的天花板,也被作者用作特征打分改写思路的反证。

音素交错持续预训练 × 韵律计划条件生成 × 基于规则的韵律奖励: 音素交错持续预训练是在文本流中插入拼音 token 改变预训练输入,韵律计划条件生成是在训练和推理时附加长度与停顿计划 token 来约束生成,基于规则的韵律奖励是用合成语音韵律到人类参考的距离做重排或奖励,三者都是把语音信息放在训练不同位置的尝试,组合起来检验缺失模态的说法在预训练、条件控制和奖励三处是否有一处成立。

评判器一致标注如何变成偏好数据,锚权重又如何加入训练

正实验的基座是 P1a 无计划持续预训练分支的 Qwen3-0.6B,所有直接偏好优化迭代都从它出发。数据构造是同一策略在 32 个提示上每提示采样 8 个候选,提示内组对并加约束,字符数差绝对值不大于 100,且不允许两个候选同时退化,共 382 对进入校准评判器的双通道标注,位置一致性为 79.5% 到 83.3%。2 次标注共 307/382 为一致同意对,其中 116 对加 191 对,240 对来自 24 个提示做训练,67 对来自 8 个保留提示,其中 27 对加 40 对,从未参与任何拟合。关键是没有奖励模型,评判器标签直接作为已选和被拒写入偏好训练。

训练配置按附录原文是 LoRA r 为 32,alpha 为 64,在全部投影上训练,精度为 fp32,直接偏好优化学习率为 10 的负 5 次方,beta 为 0.1,批量为 1,累积为 1,余弦退火到 0,序列长度为 1024。第 1 次正结果用 89 对训练 300 步,约 3.4 轮,GPU 时间为 4.5 分钟。已选答案交叉熵锚的形式是在偏好损失后减去权重 w 乘以已选答案平均对数似然,w 取 0、0.1 和 0.3 三档,w 越大越靠向数据边缘分布,越小越忠于评判器方向。

下面这张表是论文附录的主超参数原表,阅读时把它当作复现输入条件的清单,而不是结果。它说明基座、优化器、数据划分和评判器协议是固定的,后文长度和风格变化应先对照这些条件是否一致。

BaseQwen3-0.6B (instruct) → 50M-token text-only CPT (P1a noplan arm) → DPO
TrainingLoRA r=32 (α=64) on all projections, fp32
DPOlr 10−5, β=0.1, batch 1, accum 1, cosine to 0, seq 1024
SFT anchor−w · 1 |y+| log p(y+|x), w ∈{0, 0.1, 0.3}
Data240 agree pairs (train) / 67 (held-out); |∆chars| ≤100; not both degenerate
JudgeGLM-5.3-Flash, isolated sub-agents, A/B swap double-pass, disagreement = 0.5

上表把基座链条、LoRA 范围、优化步长、锚形式、数据量与长度约束、评判器模型与双通道规则放在同一配置下,复现时应整体照搬。它的限制是只给两档非零锚权重,没有系统扫描,长度约束和退化排除也只在该短文体裁下验证,换体裁或换评判器后是否仍适用需要另做校准。本表数值与单位依据论文 PDF。

一致同意偏好对 × 直接偏好优化 × 已选答案交叉熵锚: 一致同意偏好对指两个独立评判器在交换顺序后仍给出相同胜负的样本对,直接偏好优化指不训练奖励模型而直接用胜负对调整策略的偏好训练方法,已选答案交叉熵锚指在偏好目标上加一项让模型不远离已选答案似然的约束,三者组合是把可感知的胜负直接变成梯度,同时用锚防止评判器偏好把输出带偏。

盲评和保留集如何保证比较公平,哪些门先于人工

所有盲评都是成对盲判并交换顺序双通道,不一致按平局计入,避免位置偏置被当成胜负。人工部分明确受功效限制,16 对和 24 对的规模只能发现极端偏好,因此论文把人工放在次要位置,用校准评判器承担大规模比较。评判器用 GLM-5.3-Flash 的隔离子智能体实现,标注前必须通过捕获试验,正式比较用双独立评判器。

数据划分上训练用 24 个提示的 240 对,评价用另 8 个提示的 67 对,评价提示从未参与权重拟合。组对时字符数差约束为不大于 100 chars,退化对被排除,评价时还单独报告字符数差不大于 100 chars 的 16 对子集,以排除长度差主导判断。迭代链中只有通过长度带和风格次级门的两版进入盲评,其余在门处即被拒绝,不再消耗盲评资源。

预注册门的作用是先拦住明显失败。韵律计划的遵循度门是 0.50,长度带要求输出维持在任务要求的 300 chars 附近,风格门关注口语度、AI 框架和重复率是否被洗掉。这种先门后评的顺序解释了为什么有的迭代没有盲评胜率:不是没有测,而是按规则不应进入感知比较。

直接偏好训练在哪组保留提示上赢了,代价是什么

要回答的核心比较是同一基座在 8 个保留提示、24 对双通道盲评下相对基座的软胜率,以及重复、口语度和通用能力的伴随变化。公平条件是生成配置相同、评价提示保留、长度约束已知,指标方向是胜率越高越好,重复率和 AI 框架越低越好,MMLU 维持在噪声范围内。

第 1 次正结果用 89 对训练得到保留集盲评软胜率 0.833,区间为 0.699 到 0.972,重复率从 0.114 降到 0.000,口语度从 2.06 升到 3.67,MMLU 从 0.4982 到 0.4895,在噪声范围内。在字符数差不大于 100 chars 的 16 对子集上胜率为 0.765,区间为 0.58 到 0.96。评判器最常引用的信号正是被清零的重复循环,说明训练移除了一个可感知的缺陷。

修复长度后的版本用 240 对加 w 为 0.1 的锚,保留集盲评为 0.771,区间为 0.600 到 0.923,在字符数差受限子集上为 0.688,口语度达到 6.00,AI 框架为 0.000,重复率为 0.003,MMLU 为 0.4912。论文正文还报告该版字符数回到带内,分别为 213 chars,而 w 为 0.3 的版本为 246 chars 但口语度下降 0.66,风格被洗掉。

下面这张原表是完整迭代链,阅读问题是同一基座在不同数据量和训练配方下长度和保留集胜率如何变化。它同时给出被次级门拒绝的中间版本,避免只看两个通过版本而误以为过程单调向好。

ModelDataRecipeMedian charsHeld-out blind win rate
base––237–
iter-1 (v1)89DPO 3001510.833 [0.699, 0.972]
iter-2240DPO 48075rejected: length collapse
iter-390 (|∆|≤30)DPO 270121rejected: still short
iter-4240DPO+SFT w=0.3173rejected: style washed out
iter-5 (v5)240DPO+SFT w=0.11560.771 [0.600, 0.923]

这张表支撑的判断是只有 iter-1 和 iter-5 通过全部门并有盲评胜率,其余三版分别因长度坍缩、仍偏短和风格被洗掉而止步。它的限制也很明确:胜率只在 8 个保留提示的 24 对上成立,中位数字符数是 32 个提示的直接测量,与正文另一处 213 chars 和 246 chars 的表述对应不同测量口径,引用时不要混用。读者应把它和受限长度子集的胜率对照看,以确认胜利不是靠变短取得。本表数值与单位依据论文 PDF。

评判器的长度偏好如何变成模型的长度坍缩

机制可以沿 1 对样本理解。同一提示的两个候选中评判器更常选较短者,在一致同意对中占 68%。成对的直接偏好优化学到的是谁更短谁胜的方向,而不是数据集整体平均长度,因此全局平衡长度分布没有用。直接在 240 对上重训的中位数掉到 75 chars,而提示要求约 300 chars,即使构造每对字符数差在正负 30 chars 内的长度中性数据,输出仍缩短,论文正文记为 170 chars,原表在相同生成配置下记中位数为 121 chars,说明口语风格本身与简短共变,单纯卡长度差不能根除。

与已有长度偏置研究的区别在来源。LD-DPO 和长度控制 DPO 讨论的是目标函数对长度不敏感或数据长度偏差的内生放大,本文的来源可在数据构造层直接数出来,即 68% 的已选更短,且是可复现的端到端传导实例。失败被预注册的长度带在人工评价前拦住,这是协议的价值所在。

修复是加已选答案交叉熵锚。w 为 0.3 时长度回到带内但风格收益被洗掉,w 为 0.1 时保留风格并维持长度带内,论文称锚权重是风格保持旋钮。数据量从 89 扩到 240 对后,v5 对 v1 的面对面比较为 0.479,区间为 0.283 到 0.676,统计上不可区分,说明在同一候选池内加密采样不再提升评判器可见胜率,扩量的收益体现在客观风格指标上,口语度从 3.67 到 6.00,AI 框架从 0.203 到 0.000。进一步提升需要新提示和新候选池。

长度偏好 × 长度坍缩 × 数据饱和: 长度偏好指评判器在标注时更常选较短一侧,长度坍缩指这种成对偏好被优化放大后输出中位数远短于任务要求的现象,数据饱和指在同一候选池内增加标注对数不再提升盲评胜率,三者组合说明偏差的来源在数据构造层、放大的位置在优化层、天花板则取决于是否引入新提示和新候选。

这些结论在什么边界内成立,哪些还没有验证

第一是单一评判器和单一文体。评判器只用 GLM-5.3-Flash,任务只用中文 300 chars 短文,尺度只在 0.6B。换评判器、换长文或对话体、放大到更大模型后,校准通过率、长度偏好强度和锚权重的合适值都可能变化,论文未做英文和更大尺度测试。

第二是长度偏好只是被抑制而非消除。在字符数差正负 30 chars 内仍有 62% 的选择偏向较短一侧,锚权重只比较了 0.1 和 0.3 两点,不是系统扫描。v5 对 v1 的比较基于 24 对,保留集只有 8 个提示,区间较宽,0.833 和 0.771 的点估计不应被当作精确排序依据。

第三是与人感知的最终对应尚未确认。评判器在人类对模型文本上敏感度为 91.7% 到 100%,高于人类评分者的 0.75,但这不等于评判器偏好等于人类偏好。人类评价受功效限制,论文没有最终确认两者相关性,探测中音调可解码率为 0.63 到 0.79 对多数类 0.31 也只说明表示存在,不说明模型有使用它的理由。

要复现正结果第一步做什么,需要哪些输入和成本

复现应从基座和数据划分开始。基座是 Qwen3-0.6B 指令版先做 50M tokens 纯文本持续预训练的无计划分支,再在其上做偏好训练。候选要在 32 个提示上每提示采样 8 个,提示内组对并执行字符数差不大于 100 chars 且排除双退化的规则,得到 382 对的标注池。评判器需用隔离子智能体、交换顺序双通道、不一致记 0.5 的流程,先过 16/16 这类捕获门再标注,训练只用一致同意对,保留 8 个提示完全不参与拟合。

训练侧照搬 LoRA r 为 32、学习率 10 的负 5 次方、beta 为 0.1、批量 1、序列 1024 的配置,89 对版本训练 300 步约 4.5 分钟 GPU 时间即可得到首个可盲评版本。长度检查必须作为次级门先于盲评,若中位数远离 300 chars 附近应先加已选答案锚并从 0.1 起试,而不是直接扩大数据。论文称随 RA-Eval v0.1 提供基准代码、评判器管线、校准集答案、382 对偏好对及预注册文档,附录另说明人类参考语料与模型权重的存放方式,复现时应按论文附录的存放说明核对实际获取路径。

成本上偏好训练本身很轻,但候选采样、双通道评判标注和保留集盲评是主要开销。不要把 4.5 分钟理解为全流程成本,也不要把 MMLU 无变化理解为通用能力已充分验证,它只是在该基座和该题量下的噪声范围内结果。

什么时候值得试这条路线,什么时候不值得

值得试的情形是已有明确的 AI 味抱怨,且能在保留提示上建立盲评比较。先用客观特征定位重复、框架句式和版式问题,再做小样本人工确认方向,最后用校准评判器承担大规模比较。训练上优先试评判器一致标注直连偏好训练,同时把长度分布作为必检项,锚权重从小往大试,观察风格是否被洗掉。

不值得试的是继续在输入侧加语音信号。本文在 0.6B 文本尺度上的 3 路结果是一致的否定:拼音交错增加重复和长度,计划条件被忽略,韵律距离奖励在感知上接近随机。探测显示音系已可线性解码,缺的是使用信号的语义机制,作者据此推测 AI 味更可能来自训练语料的语域分布而非缺失模态。换大模型或换架构前,应先补计划使用的强制机制或语义关联,否则重复本文的忽略结局可能性较大。

还需补的验证是评判器与人类偏好的相关性、大模型与英文的扩展、锚权重的系统扫描,以及新提示和新候选池带来的增益。当前 0.833 和 0.771 的胜率只在 8 个保留提示和双通道平局计分下成立,超出该文体和该评判器后应重新校准再下结论。

📎 论文与评分元数据

排名:前50% | 文档类型:方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递