语音

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

论文追问在人类语音上训练的情感理解能否直接用于合成语音，通过跨数据集、跨判别式与生成式模型、跨 TTS 与 S2S 合成的系统评测，显示人类与合成之间存在约 38 个百分点的识别差距，且主要代价来自语音 token 预测阶段的表示偏移与生成式模型的文本主导偏置。

论文指出全局离散符号困惑度把长程语义波动平均进声学判断，提出窗口化与局部化加归一化以及基于真实续写的人评与嵌入裁判评估，并在 SALMon 上以相关性提升与 84.1% 人类差距闭合为证据，代价是依赖转折时刻标注与裁判选择。

针对附和预测中缺视频、模态时间不对齐和只盯触发点的问题，论文用多层跨模态对齐加两阶段课程学习，在韩语 KC-Dialog 上宏 F1 达到 58.53，代价是视频推理耗时从 18.868 毫秒增至 20.083 毫秒。

论文把可回答性做成输入属性，用语义-声学掩蔽构造配对问答并以不可补偿的 EAR 分数同时考核答题与修复，报告显示多模型答题强但修复弱，而掩蔽加宽能提升修复检出。

针对长程语音角色扮演中崩人设难定位的问题，论文提出把文本路由与音频路由投影到共享情感空间做分路由、按轮次诊断的 PED 框架，并在端到端与级联两种 3B 量级系统上揭示出可分性受限、文本向中性集中、双路由弱耦合等可复述的诊断信号。

该文以 ECAPA-TDNN 嵌入为基础比较余弦与多种 PLDA 后端，提出嵌入提取器与判别式 PLDA 端到端联合微调，在 VoxCeleb1 上联合模型取得 PLDA 类最优而余弦仍保持最佳区分性，在 ASVspoof2019 上余弦的 a-DCF 最优而联合模型是 PLDA 类中最优，代价是流程更复杂且 t-DCF 未见统计显著优势。

POWSM 用同一注意力编码器解码器结构统一完成音素识别、语音识别、带音频的字转音与音转字四项任务，在未见语言上取得可比最优的音素错误率，但多任务对域内识别的增益并不稳定且仍偏向高资源语言。

本文用范围综述梳理对话语音中可推断的个人与群体属性，指出话轮接管、语言趋同和互动词模式是单人声学之外的新推断通道，并提醒当前推断技术多不讨论隐私防护与威胁模型。

针对无目标域标注时伪标签存在系统性口音偏置的问题，论文在源域用同起点真标签模型减伪标签模型得到修正向量并加到目标域伪标签模型上，在 AFRISPEECH-200 十个口音上把 Whisper TINY 平均 WER 从 89.3 降到 57.7，代价是需要有标注源域和调缩放系数 λ。

针对十种非洲低资源语言的转写任务，PUMA 用冻结的 wav2vec 2.0 特征加可训练的通用语言投影与语言令牌和 CTC 训练，在同时训练平均词错误率 0.314 上报告优于 MMS 的 0.419 和 Whisper-large 的 0.339，代价是零样本下仍落后于 7B 量级系统且阿拉伯语等难语言更依赖语言令牌。

针对中文多轮语音任务对话缺乏真实口语评测的问题，RealTalk-CN 用 5400 段真人录音与不流利标注和跨模态切换任务，测出槽填充比意图分类更怕口语化，而流水线与端到端各有胜负且老年与方言口音存在可测差距。

针对尖叫哭喊等高唤醒合成中保字准就会丢情感、追情感就会念糊的矛盾，论文提出只改推理的情感矫正噪声先验与似然逆引导，在不重训下把 F5-TTS 词错率从 4.41% 降到 2.53% 并提升情感分，但纯度与截断仍需折中且不适用于非迭代架构。

针对零样本合成过度继承参考风格的问题，ReStyle-TTS 用解耦引导降低参考依赖、用正交融合的风格 LoRA 做连续相对调节，并用音色一致性优化补回音色，代价是新风格仍需收集数据再训 LoRA。

针对流式语音大模型边听边推理容易出错且不能回滚重说的问题，RetroThinker 用三阶段事后反思微调让 Moshi 在文本内心独白中自验自改，在 TTS 版 GSM8K 上以相近延迟取得 11 个百分点的绝对准确率提升，代价是反思会先拉长推理链，需再用 Early Reasoning 和 LengthDPO 压回延迟。

针对实时通信中未知增强与编解码耦合失真问题，论文用真机穿越七个主流平台构建约 600 小时配对数据并提出音素引导一致性学习，在离线与在线混合评估上把平均等错率降到 5.81%，代价是对极端噪声与激进非线性失真仍有差距。

针对语音到语音模型只测语义、不测说话方式的问题，S2S-Arena 用四级交互协议与 1243 条语音查询做 1001 次语音内成对比较，最强证据是工业模型全面领先而学术模型在高难度表达层落后 300 分以上，代价是合成语音分布与短轮交互的局限。

针对单路编码器难以同时保语义和保音质的问题，SAC 把冻结语义流与可训练声学流分开量化再融合解码，在 LibriSpeech 重建与 ARCH 语义探测上取得低词错误率和高自然度，但低码率下音色相似度仍有代价。

该文以 WavLM 为骨干研究说话人日志，报告加权多层目标、10k 小时数据规模、Large 容量与 Conformer 切块调优带来可复现的 DER 下降，但 100k 小时与剪枝收益趋平且标注噪声限制可测改进。

针对多轮多语言对话选择题中文本先验掩盖听觉依赖的问题，该工作用事件级切分加语义与声学双分支合成 359825 题，再把文本可答的弱题用于监督微调、必须听音频的强题用于 GSPO 强化学习，以 90.92% 的终测准确率为证据，代价是依赖大模型判断与多阶段验证流水线。