从安全中性到声学可验：以假设与验证打破语音情感的中性偏置

英文题目：Breaking Neutral Bias: Zero-Human-Annotation Fine-Grained Emotion Enrichment via Semantic Drift and Discriminative Re-ranking

会议身份：conference:interspeech:2026:conference-paper-id:lu26c_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据增强 #对比学习 #音频大模型 #语音 #音频字幕生成

评分：6.0/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 0.9/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Qihang Lu：机构信息未能从会议 PDF 纯文本可靠映射
• Wenbing Yang：机构信息未能从会议 PDF 纯文本可靠映射
• Bingsong Bai：机构信息未能从会议 PDF 纯文本可靠映射
• Zihan Sun：机构信息未能从会议 PDF 纯文本可靠映射
• Yueran Hou：机构信息未能从会议 PDF 纯文本可靠映射
• Peilei Jia：机构信息未能从会议 PDF 纯文本可靠映射
• Ya Li：机构信息未能从会议 PDF 纯文本可靠映射
• Jun Gao：机构信息未能从会议 PDF 纯文本可靠映射
• Yingming Gao：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

本文处理语音情感描述任务，输入为原始音频波形，输出为细粒度自然语言情感字幕，难点在于粗粒度中性标注导致大型音频语言模型输出坍缩为安全中性描述，且纯文本扩增切断声学绑定引入幻觉。方法先用Gemini 2.5 Pro与Qwen3-Omni协同标注并按BGE-M3相似度切分，以高一致样本加软硬负例微调Qwen2.5-Omni判别式裁判模型，负责声学保真校验，其输出作为后续过滤器进入下一步。接着以DeepSeek-V3对低一致样本做多维语义漂移，负责突破中性边界提出多样情感假设，其多候选假设全部送入裁判模型。最后由裁判模型逐候选验声并按漂移大于精炼大于原始的优先级重排过滤，负责保留可验证的丰富描述并丢弃冲突样本。与单向文本扩增和视觉转写主导标注相比，该假设验证机制把生成与验证解耦，避免词汇与视觉模态压制声学证据。在12,000样本下游有监督微调对比评测下，本文方法的Gemini 2.5 Pro Win Rate为66.15%，高于未精炼基线的Gemini 2.5 Pro Win Rate 29.23%。该结论目前仅在 29530 片自采语料与模型内评测上验证，未检验跨语种跨场景泛化与语音合成等下游增益。原文未披露训练推理成本与数据丢弃率细节。该结论的适用边界受限于上述语料与模型内评测，跨场景外推尚未验证；原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

本文解读的对象是 1 篇面向语音情感描述的研究，输入是原始语音波形加一段起点文本，目标是输出与波形声学现实一致的细粒度情感自然语言描述。读者是刚进入语音、音乐与音频领域的研究生，因此解读必须把每一步动作讲成可核对的操作，而不是只给结论。需要保留的关键信息包括数据如何划分、判别器如何构造、漂移如何生成、重排如何取舍，以及实验在什么条件下比较、指标朝哪个方向算好。输出是一套能复述的方法流程与能对照的数字证据。

本解读默认只依据论文原文证据与本次收到的官方原图像素，不引入外部评价。若原文未报告实现细节，会明确指出缺项，不做推定。后续先讲任务与相关路线，再走完一个样本的全流程，然后讲训练构造、实验条件、结果与反证，最后给出复现清单与适用判断。

附录：术语速查与阅读顺序建议

白话先行有助于固定简称。大音频语言模型指同时处理音频与文本的端到端基座，后文简称基座。语义漂移指保留句式只换情感形容词的多假设生成，后文简称漂移。判别式重排指听原声逐句验证再按优先级取舍，后文简称重排。软负例与硬负例分别指极性反转与细微错位，后文简称软负与硬负。

中性偏置与声学幻觉分别指退回安全话与编造无据情绪，后文简称偏置与幻觉。建议按任务缺口、单样本全流程、判别器构造、实验条件、结果反证的顺序阅读，遇到数字先核对数据集、阶段、指标与聚合对象是否一致，再判断升降好坏。教学例子明确标为例子，不作为论文证据。

已有路线为什么留下了中性与幻觉两个缺口？

论文把已有数据增强归为两条路线。第一条是纯文本大语言模型扩写已有类别标签，动作是只看文字标签做改写与扩展，不听声音。第二条是多模态大语言模型做跨模态标注，动作是看视觉场景或语音识别文本来写音频描述，同样很少直接以原始声学信号为判定依据。论文报告的问题是，第一条路线完全依赖语义先验，切断了文本与物理声学信号的绑定，容易编造声音里没有的情绪。

第二条路线中视觉与词汇信息密度更高、模态偏置更强，模型会优先处理画面或转写文字，压制对非语义副语言信息的处理，丢失微语气与心理状态线索。评价侧同样存在缺口，传统文本重叠度指标只在文本空间计算，不验证声学保真；把大语言模型当评委时，若评委本身听不到声音，也会奖励安全套话。论文引用相关基准指出文本偏置现象，即误导性文本提示会拉低音频理解准确率，以此论证必须用能直接摄入连续音频的物理声学评判。

教学例子是：同样一句转写文字，平淡读出与哽咽读出在词面上相同，只有听波形才能区分，这正是已有路线缺失的动作。

中性偏置具体指什么现象，如何从图上确认？

论文把中性偏置定义为数据集驱动的塌缩现象，动作表现是模型输出退化为安全冗余描述，例如只说平静语气，或对带有语气的中性语音也判不准。原因不是解码器偷懒，而是训练数据中粗粒度离散标签占主导，细粒度情感轨迹没有被标注，模型学到的最保险策略就是说中性话。另一面是声学幻觉，指文本扩写凭空加入波形不支持的强烈情绪，例如把平静叙述写成大声哭泣。两者的共同缺失动作是缺少基于原始音频的接地验证。 为确认这种对照关系，请先看下图上半部分两条旧路径的走向与右侧红色标记，再看下半部分新路径如何把多假设收敛到声学接地结果。

看图路径： 1. 先看上半两条旧路径：同一段原声分别走向标准模型与纯文本扩写；2. 再看右侧红色叉号对应的中性偏置与声学幻觉文字；3. 最后看下半假设与验证路径中基文本如何分叉再经判别器汇合

论文图 1。原论文 Figure 1：“1”。

该图上半显示同一段原声进入标准大音频语言模型后只得到平静语气类输出，被标为中性偏置；进入纯文本增强后得到哭泣类输出，被标为声学幻觉。下半显示基文本先经语义漂移分出平静愉悦、平静怀旧、急促焦虑等多个假设，再与原声一起进入判别器，最终只保留与波形一致的带怀旧底色的平静描述，被标为声学接地。这一前因后果说明，论文要解决的不是换更大的生成器，而是补上听声验证的动作。

中性偏置 × 声学幻觉： 中性偏置指模型为求稳而退回平淡描述的分工结果，如只说平静语气；声学幻觉指纯文本扩写凭语言先验编造与波形不符情感的错误。两者搭配的原因是同一根源的两面：都脱离了原始声学信号验证，组合意义在于说明只做文本扩写会同时放大保守与编造，必须引入听原声的验证环节。

假设与验证流水线如何走完一个样本？

论文提出假设与验证的数据中心范式，不改模型结构，不用人标注，靠 3 阶段流水线实现数据质量自我进化。先沿一个样本走完全程。输入是一段原始音频与其起点描述，起点描述往往偏中性。第一步做多维语义漂移，由生成器在保留核心语义结构下替换形容词，主动探索隐含情感轨迹，例如把委屈转向冷漠疏离或戏谑，产出保守、高唤醒、低唤醒、负向转移 4 类候选，动作是扩展假设空间。

第二步做音频文本判别式判断，判别器同时摄入原始连续音频信号与每个候选句，逐个验证是否成立，动作是声学保真过滤。第 3 步做策略性重排，先做冲突检查去掉互斥，再按漂移大于精修大于原文的优先级挑选，若激进漂移都未通过则回退到保守精修，若全部生成候选都被拒则保留原文以保规模，只有原文也不成立时才丢弃样本。输出是进入监督微调的高质量情感描述集合。

语义漂移 × 判别式重排： 语义漂移负责假设，由大语言模型在保留核心语义结构下替换形容词、探索高唤醒、低唤醒与负向转移等多种情感走向；判别式重排负责验证，由微调后的音频语言模型同时听原声并判断每句候选是否成立，再按漂移优先于精修优先于原文排序。二者搭配是因为只假设会幻觉、只验证会保守，组合后形成先发散再收敛的数据进化闭环。

为核对 3 阶段的输入输出与控制流，请按从左到右的顺序看下图 3 个色块的衔接，重点看候选如何汇入判别再进入选择逻辑。

看图路径： 1. 从左到右跟随三阶段颜色块：橙色漂移、紫色判别、绿色重排；2. 数出第一阶段四个候选框的名称并看箭头如何汇入判别菱形；3. 看第三阶段选择逻辑的两步文字与最终灰色数据集框

论文图 2。原论文 Figure 2：“Detailed illustration of the Semantic Drift and Dis- criminative Re-ranking pipeline.”。

该图左侧橙色块显示中性原声文本对进入生成器后展开为 4 个候选与假设空间扩展；中间紫色块显示音频波形与候选一起进入预训练判别器并落到判断菱形；右侧绿色块显示判断结果进入选择逻辑，先冲突检查再按优先级排序，最终沉淀为高质量监督微调数据集。这一路径把发散与收敛分开实现，避免了一步生成既要丰富又要准确的矛盾。

生成器与判别器各自吃什么信号，做什么判定？

生成器选用深度求索第三版，动作是纯文本改写，不听声音。它的输入是低一致性子集的基线描述，输出是多个情感漂移假设。论文强调这不是简单复述，而是通过替换具体形容词穷举潜在情感状态，目的是打破原中性描述的边界。判别器选用问文 2.5 全模态模型微调而来，动作是听声判文。它的输入是原始连续音频加一个候选句，输出是成立与否的二判。

训练时它见过正例、硬负例与软负例构成的三元组，因此对极性反转与细微错位都有显式监督。推理过滤时采用准确优先原则，宁可拒绝可疑候选，也不让幻觉或风格偏置进入最终数据。两者的输入条件不同，恰好互补：生成器只看文字所以敢想，判别器同时听声所以敢否。

大音频语言模型 × 判别器： 大音频语言模型是基座，同时处理连续音频特征与文本语义空间，负责生成与理解；判别器是由该基座经对比学习改造来的奖励模型式角色，负责对音频加文本对输出成立与否的二判。搭配理由是生成器擅长想象但不擅长自我纠错，组合意义是用同架构的听觉能力去约束文本想象力，把声学保真度变成可训练的过滤器。

假设空间扩展 × 策略性选择： 假设空间扩展负责数量与多样性，1 次生成保守、高唤醒、低唤醒、负向转移 4 类候选；策略性选择负责质量与取舍，先做冲突检查去掉互斥，再按漂移大于精修大于原文的优先级只留通过声学验证者。搭配原因是没有扩展则无从优选，没有选择则多样性等于噪声，组合后把发散的语言多样性沉淀为可用于微调的高质量监督数据。

需要提醒的边界是，论文未给出判别器微调时的优化器、学习率、批量大小与冻结策略，也未说明生成器漂移时的温度与采样数。复现时不能从模型名称推定这些实现，只能按原文已验证的对照去重建数据配比与优先级逻辑，缺失的超参数需另行搜索并记录。

判别器训练数据如何构造，负例如何配比？

判别器构造是整个方法可复现的核心，动作可分为协同标注、漂移造负、对比训练 3 步。第一步用两个不同模型分别标注同一批音频，再用双语多功能嵌入模型计算两套标注的语义相似度，以 0.8 为界切分。高一致性样本作为判别器训练的正例来源，低一致性样本留给后续语义漂移生成，这样做是为了过滤单模型的 subjective 偏置。第二步对高一致性音频的每条正例描述，用生成器造一个软负例与一个硬负例。

软负例是情感极性完全反转但语言结构相同，硬负例是同一强度内的细微情感错配。论文给出的例子是，正例为平静愉悦带明显怀旧底色，软负例改为急促焦虑带恐惧与戒备，硬负例改为略平板客套、放松口语但缺乏真正愉悦。三者构成一个三元组，标签为正例是肯定、两类负例是否定。第 3 步用这些对比对微调判别器，使其学会区分细微副语言差别。原文报告高一致性音频为 16470 段，扩展为 49410 个音频文本对比对。

低一致性音频为 13060 段，经漂移与过滤后得到 12000 个声学接地样本用于下游监督微调。判别器最终采用全量三元组训练 3 轮，而消融对照只用 32940 样本训练 1 轮以隔离负例类型的影响。

软负例 × 硬负例： 软负例负责极性反转，即情感完全反向但句式相同，用于防止模型对极端错误照单全收；硬负例负责细微错位，即同一强度内情绪词有微妙偏差，用于逼模型分辨怀旧与客套等差别。两者搭配的原因是单一负例会使判定边界倾斜，组合后形成双重压力校准，使判别器既能拦截大错也不放过小错。

这一配比设计直接对应后文的过度拒绝现象：只见单一负例或只训 1 轮时，模型会把有效正例也拒绝掉，说明判定边界收缩。只有同时见过软硬两类反例并充分训练，边界才会被校准到既能召回正例又能拦截幻觉的位置。

实验在什么语料与指标下比较，条件是否对齐？

实验语料是 29530 段由两种模型共同标注的音频，按嵌入相似度 0.8 切分为 16470 段高一致性与 13060 段低一致性。前者用于判别器训练，后者用于漂移生成与过滤，最终下游比较使用两个严格对齐的 12000 样本集：未精修原文作为基线，优化后描述作为本方法，两者样本量一致，只差文本质量。判别器探测集是高难度细粒度探测集，报告真阳性率、软负例真阴性率、硬负例真阴性率与平衡准确率。平衡准确率被选为主要指标，用于衡量召回有效数据与拦截幻觉之间的折中，方向是越高越好。

下游生成质量从 3 维评价：用另一种大模型做盲测偏好比较并报告平局率，用嵌入相似度衡量与参考描述的语义对齐，用独特二元组数与基于二元组频率的香农熵衡量词汇丰富度，方向是偏好胜率、词汇多样性越高越好，嵌入相似度则需结合定性分析解读。论文明确采用大模型当评委是因为传统字重叠指标抓不住情感细微差别，且已有研究显示该范式与人类感知在开放生成任务中相关性较高。

需要记录的缺项是，原文未报告训练硬件、耗时、推理延迟与统计显著性，也未给出随机种子与划分细节，复现时应固定这些条件再谈胜负。

判别器校准与下游生成分别得到了什么，可运行策略是什么？

先看判别器探测的比较问题：在相同数据规模下，负例构成是否影响判定边界，以及增加数据量与轮数能否解决过度拒绝。公平条件是受限消融组都用 32940 样本按一正一负训练 1 轮，只改变负例类型；全量模型用 49410 样本按一正配软硬双负训练 3 轮。指标方向是真阳性率与两类真阴性率、平衡准确率越高越好。下表整理了原文报告的 4 组数字，列数满足五列对照要求，表前已提出问题与公平条件，表后将解释收益与代价。

表后解释如下。受限条件下 3 组真阳性率仅 24.37% 到 29.40%，显示模型把大量有效正例也拒绝了，这就是过度拒绝。仅软负例对极端反转拦截近乎完美但对细微错位较弱，仅硬负例则相反且软负例拦截跌到 91.04%、硬负例拦截跌到 85.25%，说明单一负例使边界倾斜。混合消融在相同规模下把两类拦截分别拉到 99.89% 与 97.38%，证明多样构成能校准边界形状，但仍未解决召回过低。

全量模型把真阳性率拉到 94.43% 并保持高拦截，平衡准确率达 96.07%，支持充分暴露于多样负例加更多轮数能同时解决不平衡与过度拒绝的判断。代价是数据量与训练轮数增加，未胜出项是所有 1 轮消融都不具备部署价值，不能用其中最优代替可运行收益。 再看下游生成的比较问题：同样 12000 样本规模下，精修文本是否让生成更受偏好且更多样。公平条件是基线模型与本方法只差监督文本。下表为五列对照，表后解释取舍。

表后解释如下。本方法以 66.15% 对 29.23% 显著受偏好，平局率为 4.62%，词汇多样性提升约 11% 并伴随熵增加 0.13，支持表达丰富性确实改善的判断。未胜出项是嵌入相似度从 83.61% 微降到 83.12%，论文的解释是基线倾向于生成与粗糙参考字面相近的安全干瘪描述，因而相似度虚高，而本方法生成偏离简化参考但更贴合复杂声学现实的细粒度细节。

限制是该相似度下降是否可接受取决于应用目标，若任务要求严格贴合粗参考，则丰富性反而是代价，需另行验证。 为理解分布层面的变化，请先看下图三幅密度图相对金色星形锚点的聚集与铺展，再对照基线塌缩与本方法对齐的文字解释。

看图路径： 1. 对比左中右三幅密度图的颜色与扩散范围：蓝色、灰色、红色；2. 找到每幅图中金色星形标注的七个情感锚点位置；3. 观察左图向中性塌缩与右图重新铺开多峰的差异

论文图 3。原论文 Figure 3：“Visualization of semantic embedding distributions in BGE-M3 latent space via t-SNE dimensionality reduction (N = 800).”。

该图左幅基线输出高度塌缩在中性锚点附近，愤怒、恐惧、悲伤挤成不可分团块；中幅高一致性参考呈现多峰分离的真实流形；右幅本方法重新铺开分布，覆盖此前被压制的情感状态，与中幅结构更接近。这一可视化支持方法确实打破了向中性塌缩的模式，但像素不能读出精确数值，仍需以上两表的数字为准。

拿掉多样负例或减少训练会发生什么，失败条件是什么？

消融的教学价值在于区分边界形状问题与暴露不足问题。只用软负例时，模型对极端反转过度自信式的拦截很好，但对细微错位放行更多；只用硬负例时，模型对细微差别敏感，却因没见过极端反转而把软负例误收，整体边界最差。混合负例在相同数据量下修复了形状问题，两类拦截都很高，但真阳性率仍只有 24.37%，说明判定阈值整体过于保守。失败条件是受限数据加单轮训练，模型为求稳而收缩边界，宁错杀不放过。

只有恢复完整三元组结构并训到 3 轮，真阳性率才跃升到 94.43%。这一两步逻辑说明，结构修复与充分暴露缺一不可，不能把混合构成在 1 轮下的高拦截直接当成最终能力。另一个失败条件是激进漂移未通过声学验证，若没有回退到保守精修与原文的优先级，数据集规模与安全性都会受损。论文的策略性重排正是为此设置兜底：优先要丰富的漂移假设，但不通过就退而求其次，只有原文也不成立才丢弃。

哪些结论尚未验证，哪些代价没有测量？

论文直接报告的是判别器探测数字、下游盲测胜率、词汇多样性与分布可视化，这些属于已测量证据。有限解释是嵌入相似度微降的成因，论文用安全干瘪描述贴合粗参考来解释，这得到定性支持但未做人工细粒度情感准确率的独立验证。未验证推测是未来可用于语音合成与拟人化音频语言模型，原文只在结论展望提及，没有合成实验。

缺失的测量包括误判率的人工复核、训练与推理开销、输出延迟与实际部署成本，相关性不等于因果，不能从偏好胜率推定系统更快或更便宜。总体趋势不等于每组都成立，例如硬负例拦截在全量模型为 93.88%，低于混合消融的 97.38%，说明扩量保召回的同时对某类细微拦截略有回落，需按类别分别报告而非只看平均。此外协同标注依赖两个特定模型的输出与 0.8 阈值，若换模型或换阈值，高低一致性划分会变化，结论的可迁移性待验证。

要复现这条流水线，先做什么、用什么参数？

复现应按数据依赖顺序推进。第一步复现协同标注与切分：用两个不同音频标注模型对同一批音频写描述，再用多功能嵌入模型算相似度，以 0.8 切分，高一致性留训练判别器，低一致性留漂移。需保留的关键超参数是相似度阈值 0.8、高一致性 16470 段扩展为 49410 对比对、低一致性 13060 段最终沉淀 12000 段。第二步复现负例构造：对每条正例造一软一硬负例，软负例做极性完全反转且句式相同，硬负例做同强度细微错位，形成一正配双负的三元组。

第 3 步复现判别器训练：先跑受限对照即 32940 样本一正一负训 1 轮，核对是否复现过度拒绝与不平衡，再跑全量 49410 样本训 3 轮，核对真阳性率与平衡准确率是否回升。第四步复现漂移与重排：以低一致性中一模型的输出为基线，用生成器产出 4 类候选，再用判别器逐句听声验证，最后按漂移大于精修大于原文执行优先级并做冲突检查。第五步复现下游比较：用 12000 原文与 12000 精修分别监督微调同一基座，再做盲测、嵌入相似度与词汇多样性 3 维评价。

资源状态方面，未发现来源绑定且完成安全验证的资源，不得声称代码、模型或数据已公开，复现需自建脚本并记录缺失的优化器与采样参数。

何时值得尝试这套方法，如何一句话记住它？

当你的语音描述模型总说正确的废话，例如任何音频都回平静语气，而纯文本扩写又开始编造声音里没有的情绪时，这套先漂移再听声验证的方法值得尝试。它的适用条件是已有一定量中性偏置的起点文本、能调用大语言模型做改写、能负担构造数万对比对并微调一个能听原声的判别器。若没有听声验证能力，只做漂移会放大幻觉；若没有多样负例，判别器会走向过度拒绝。复现时先做小规模受限消融确认边界行为，再扩到全量。

评价时同时看偏好胜率、多样性与嵌入相似度，不要只看单一平均值。还需要补的验证是人工细粒度情感准确率、跨模型与跨阈值的稳定性，以及训练推理成本。一句话记住：敢想由文本漂移负责，敢否由声学判别负责，优先级负责在丰富与安全之间兜底。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总