语音

为解决语音大模型只用文本指令评测脱离真实开口交互的问题，论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS，并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能，而语音输出任务中口语指令打平或反超，非正式与短指令最难。

针对未见攻击与声学条件下的语音伪造检测，论文提出域自适应双选通混合专家，在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由，在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%，代价是只增加约 0.17M 参数并引入选通与原型等附加设计。

针对不同母语背景系统性替代模式不同的问题，该研究为每个第一语言构建有向加权统计混淆图并经图卷积注入语言学分支，在 L2-ARCTIC 上报告检测 F1 为 59.52%，代价是图依赖训练集对齐统计且需已知测试句的标准音序列与第一语言标签。

该文把远场回传增强中的本人声音当作已知干扰来删除，用注册语音条件化的时域掩蔽模型实现去噪加删人声，主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s，代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …

该文把说话人匿名定义为区分两个说话人的高斯差分隐私权衡函数，用裁剪加噪的高斯说话人机制扰动低维说话人嵌入并经变分自编码器映射回有效嵌入，在 2024 语音隐私挑战上以词错误率低于 4% 实现最高 41.2% 等错误率，同时给出任意攻击者的等错误率理论下界。

针对固定帧率均匀分配分辨率的问题，DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE，在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线，代价是每步 1 比特掩码开销与高码率下增益收窄。

针对流水线式语音助手靠静音超时切轮导致迟钝打断的问题，DualTurn 用双通道生成式语音预训练学对话动态再微调出六种信号组合成五种智能体动作，在 Switchboard 上以 wF1 0.633 超过 VAP 的 0.389 并提前约 220 毫秒预判轮替，但回声信号精度仍低且训练限于英语双人对话。

针对固定补齐截断在变长检测中丢失全局时长上下文的问题，该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图，最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力，而帧独立与帧依赖两种变体则带来代价甚至退化。

针对无文本监督音素切分中单帧硬边界不能表达渐变过渡的问题，该文用左右时长决定的半高斯软目标替换边界附近标签，在保持双层 BiGRU 不变下 TIMIT 上 R 值达 91.53%，代价是需要调扩散比与正类权重并依赖强制对齐边界做枢轴。

该研究要解决金融财报电话会议上通用语音识别因术语、数字和行业长尾而失准的问题，选择构建 498 小时全量集与 46 小时行业均衡切片并配说话人角色与行业元数据，用 Whisper 与 Parakeet-TDT 可复现基线显示均衡集更难且生物技术等领域词错误率明显高于平均，但均衡切片仍只覆盖美国英语且未验证多语言与部署代价。

该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建，再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化，在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线，代价是依赖冻结分词器声码器与多步采样训练成本。

EffVOC 用因果卷积加循环加逐级上采样的声码器结构，从幅度谱或梅尔系数直接生成宽带与全带语音波形，在 20 毫秒算法延迟下取得接近真值的 MOS 主观分，但小模型与梅尔输入在部分客观指标上仍有代价。

针对扩散情感语音只推高目标情感而缺少对竞争情感建模的问题，Emo-BPO 用同文本倒序情感对联合学习对齐与对比两个分数分支并在推理以后段增强的对比引导组合它们，在 ESD 与 EmoVoiceDB 上把情感相似度做到 99.23、平均自动情感识别准确率做到 0.87，代价是可懂度仍略逊于自回归大模型基线。

针对对话中各模态可靠性逐句变化的问题，EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差，再按不确定性加权融合，在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1，代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。

针对自然语言指令难以稳定控制细粒度情感类别与强度的问题，EmoInstruct-TTS 用 48 状态的 Emotion2embed 加 ICE-Flow 映射实现语义与声学双路控制，在 21 组强度与 27 类细粒度零样本任务上提升情感相似度与自然度，而去掉任一路都会下降且推理额外开销仅约 1 到 2%。

针对用户同句不同情绪难处理且情绪对话数据稀缺的问题，Empathy Omni 用双编码器加逐词元情绪轨迹显式规划共情语音，在 VoiceBench 通用能力不明显下降的同时情绪评分与语音质量报告最优，但细微混合情绪仍偏通用且依赖合成数据过滤条件。

该文把轮次结束检测改写为固定视界的语音端点预报问题，用双流 EPA-M 模型提前触发大模型与语音合成管线，在 SpokenWOZ 与 Switchboard 上优于语音活动投影基线，并在 Unmute 集成中以约 28.4% 推测计算换取 505 ms 平均延迟降低。

针对静音肌电缺少逐帧语音监督且样本更少的问题，该研究在保留语音导出声学与音素监督的同时增加静音到有声的输出层与隐层表示对齐，在梅尔谱目标下把词错率从 26.75% 降到 25.14%、在软语音单元目标下从 27.78% 降到 26.55%，代价是只有具备同句平行肌电对的静音样本才能计算该约束且结论依赖多种子平均与显著性检验。

针对成人与多环境多年龄儿童语音难以用单一模型兼顾的问题，该工作用显式分类器路由选择领域专家并结合混合投影器与混合低秩适配器建模声学与语言差异，再以归一化熵引入共享专家缓解边界不确定，最强证据是软路由加熵感知在 OGI-S 三年龄组平均词错率降到 11.08% 且 MyST 保持 8.58%，代价是专家参数增加约 5% 且熵感知目前只在 OGI-S 年龄组内验 …

论文在只用成人语音训练、冻结自监督表示做儿童测试的严格零样本条件下，比较 Wav2Vec2、HuBERT 和 Data2Vec 逐层表示，证明最好词错误率相近的层误差结构、逐句最优选择和大模型纠错可恢复性并不一致，而互补表示的理想选择在失配更重的 CMU Kids 上增益更大，代价是单层选择不稳定且文本纠错几乎无效。