跨语言时长不匹配:印度语言无对齐语音合成的评测基准与推理期时长估计
针对参考语音与待合成文本语言不同时无对齐模型按字节估计时长导致失配的问题,论文构建英语与九种印度语言双向评测基准,提出只在推理期引入语言平均每字符时长的修正策略,并在双语与多语 A-DMA 模型上用可懂度、相似度和自然度指标验证改进的范围与局限。
针对参考语音与待合成文本语言不同时无对齐模型按字节估计时长导致失配的问题,论文构建英语与九种印度语言双向评测基准,提出只在推理期引入语言平均每字符时长的修正策略,并在双语与多语 A-DMA 模型上用可懂度、相似度和自然度指标验证改进的范围与局限。
论文针对全模态大模型中问题相关证据仍在单模态分支可恢复却在联合预测中丢失的模态误路由问题,提出免训练的 CaRe 两阶段冲突检测与残差纠偏,并在 CMM 和 AVHBench 上以额外反事实推理为代价取得一致提升。
论文针对空间语义分割中检测错误会拖累提取的问题,比较重标注器、适应函数与评估模型的推理时更新组合,发现只在基线较差的片段上有改善,而不加筛选地全量更新会降低整体指标。
该文研究如何在不重新训练 Qwen3-TTS 的前提下,用发声用力和过度清晰发音两个方向在推理时调整隐藏表示,并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚,同时保持说话人相似度和流式实时性。
论文发现多语音素模型会按整句估计语种并覆盖局部音素判断,导致非共享音素大量丢失,并用短窗重估语言子空间坐标把干扰降低 34%-69% 且基本不损伤单语识别。
针对文字可解但配了无关音频时大音频语言模型会改变答案的问题,论文用配对漂移度量暴露不稳定,用后期音频通路缩放定位可控点,再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计,同时在所测语音识别任务上保持原有词错误率,代价是单次生成加一次路由判断。
论文用同一批音频配不同指令求平均激活之差得到任务向量,推理时加回残差流,在少量标注下改善转录、情感与描述并降低换提示词的波动,但非拉丁文字与无提示续写仍需额外约束。
针对无性别限定的风格提示导致合成语音性别偏斜的问题,论文用冻结模型上的组偏差向量加开发集强度搜索做推理时校准,在 12800 条 held-out 提示上把聚合校准误差降到 0.80–5.86 百分点,代价是自然度最多下降 0.076、可懂度变化在 -4.13 至 +3.26 百分点之间。
针对冻结语音语言模型上情绪条件弱、单强度整体放缩难以兼顾离中性与指情绪的问题,论文提出免训练的共享分量与残差分量独立加权方法 EmoRES,在 IEMOCAP 混合情绪上把排序相关与首位命中率大幅提高,代价是仍需离线构造情绪向量库并依赖所选层与强度设置。
论文把增强语音直接加可优化扰动去推高四个 MOS 预测器均值,在七个 URGENT 2026 系统上四个目标分数都上升而未见预测器至多变化 0.03、参考指标基本不动,MUSHRA 显示优化版并不更好却能把排名提前数位。
该研究用同一句话的慢中快三速对比找出语速轴,并在中间层把激活沿该轴的投影钳制到目标强度,在三套自回归语音合成系统上实现免重训调速,慢速极端下钳制保持可懂度和音色而相加式转向普遍失效,中等目标下最优规则随模型而异。
针对听与说需随对话演变的交互 3D 头生成问题,论文用用户面部视频加双人音频驱动测试时训练与双路快权重适应,在最难跨域划分上随对话推进改善表情统计,但逐帧对齐误差与颈部统计仍有代价与边界。
论文研究英语语音识别在推理时用语音文本示范做领域自适应,对比拼接与交错两种示范组织,发现六个模型无需额外训练都能获益,词与说话人信息是主要来源,而拼接方式适用面更广但受上下文长度限制。
该文把板混响辨识做成基于仿真的推断,用多分辨率谱摘要加神经样条流从脉冲响应学参数后验,再对每个测试样本做三轮定向仿真精修并用波形重建误差做选择,在 50 条测试脉冲上把全局误差降到 0.47×10 的负三次方,代价是每次精修约 2.5 小时。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对八种英语口音的识别退化问题,该工作把口音差建模为编码器激活空间中的可加均值偏移方向,先做逐层敏感性定位再在中间层做无参数推理时干预,最强证据是在平衡评测集上原生口音词错误率下降约 19.92 至 33.80 个百分点,代价是尾层干预会引起严重崩溃且非原生口音增益较小。
针对音频问答在测试时遇到新分布而无标注可用的问题,AQA-TTRL 用多数投票生成伪标签再做置信度加权的 GRPO 强化学习,在 MMAU、MMAR 和 MMSU 上让 Qwen2.5-Omni 7B 平均提升 4.42%、3B 平均提升 11.04%,代价是测试时需要多轮采样和 500 步左右的参数更新开销。
针对混合语音中重叠与噪声变化导致目标转写恶化的问题,该研究让同一 Whisper 分别学习目标转写与双说话人串行转写并在解码时以单一引导尺度调节声纹偏好,在冻结主干下用目标域开发集选全局尺度并以轻量预测器做逐句微调,取得可部署的全局加逐句增益而代价是需要标注开发集且预测器仍远低于逐句事后上限。
针对多项选择音频问答中模型依赖文本先验的模态偏置问题,论文提出免训练的测试时重打分方法 CoRE,用块置换加块内反转构造反事实音频并做自适应门控融合,在 DCASE 2025 Task 5 与 AIR-Bench 上一致提升,最强增益在生物声学子集但复杂推理子集增益较小,且每样本需多一次反事实前向带来推理开销。
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。