用同一句话把不同口音拉到一起:话语级监督对比如何正则化 CTC 微调
针对自监督编码器加 CTC 微调在非母语口音上退化的问题,该工作在不改推理结构和不加口音标注下引入话语级监督对比辅助损失,在 L2-ARCTIC 未见口音上把 W2V2-Large 的词错误率从 9.98% 降到 7.41%,代价是需要同文本多说话人的成组批次和仅训练期有效的投影头。
针对自监督编码器加 CTC 微调在非母语口音上退化的问题,该工作在不改推理结构和不加口音标注下引入话语级监督对比辅助损失,在 L2-ARCTIC 未见口音上把 W2V2-Large 的词错误率从 9.98% 降到 7.41%,代价是需要同文本多说话人的成组批次和仅训练期有效的投影头。
论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。
针对目标情感与文本语义冲突时情感表达下降的问题,该研究用文本情感替代无条件分支并按不一致程度动态调整引导强度,再把引导信号蒸馏回模型,最强证据是在中性参考下情感识别准确率从 50.63% 提升到 59.55% 且词错误率降到 3.76%,代价是推理期曾需要外部大模型判断和双路解码。
该研究用 61 人 769 条德语语音日记同时比较声学与文本模型推断每日唤醒度效价与压力,文本模型在人群层面明显占优但仍偏向特质差异而非日内状态追踪且声学整体接近零效应。
针对四川话低资源识别中方言词被高频普通话同音词替换的排序错误,DASR-CPO 在 LoRA 微调后用挖掘出的普通话混淆做跨度级无参照偏好优化,在 4.53 小时数据上把字错率从 24.85% 降到 22.58%、实体 F1 从 72.82 提到 74.15,代价是依赖词表覆盖与非说话人无关划分。
针对语音丢包隐藏中突发长丢包导致的相位失配问题,DDSN 把幅度与相位解耦建模并用幅度先验做残差引导,在 VCTK 与 2022 PLC 盲测集上提升 PESQ 与 PLCMOS,代价是 15.37M 参数量大于对比基线。
该文把解码顺序视为建模选择,用同一掩码扩散模型在标量量化梅尔谱上比较左到右、右到左与置信度自适应等可运行顺序,报告右到左和 top1 在客观与主观指标上优于左到右,但随机性与局部连续性带来不同指标代价。
论文把估计两组麦克风之间相对传递矩阵的问题转成监督学习映射,用 SCoNet、FuSNet 和 LAeNet 三套网络分别建模频域与时域关系,在仿真房间中以协方差法为基线比较五项估计误差与语音去噪效果,代价是长窗、固定声源布局与较大的时序推理开销。
论文把部分伪造 utterance 中合成词定位问题并入 Whisper 的下一词预测,用前后标记包住假词并用部分声码器重合成词降低数据成本,同域上检测与转写与专用 ResNet 相当,但跨合成器与跨域时明显退化。
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。
该研究把儿童咝音切成 64×64 语谱图,用经典、稀疏、多任务三种卷积自编码器压成低维向量再交支持向量机判读齿音还是卷舌音,最好的多任务配置灵敏度达到 84.31%,代价是约三分之二超参数组合退化且数据高度不平衡。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚的不对称投影 DGS 及其逐层变体 LW-DGS,在多组跨数据集评测上报告平均相对等错误率下降 5.29% 和 4.04%,代价是在部分数据集上仍有波动且未验证延迟与算力开销。
论文针对俄语缺少工作室级对话表情语料的问题,构建 20.6 小时三人面对面表演的 Dialogs 并做 12 类逐句标注,用人群 MOS 证明录音质量不输读语音基线且表情与对话自然度更高,再以 VITS2 验证可训出对话感语音,代价是每人仅 4.4-9.9 小时且风格极不均衡。
针对韵律同时承载表达力和身份线索的矛盾,DiffAnon 在语音分词器的语义嵌入上做扩散精修并用无分类器引导连续控制韵律保留度,在同一模型上实现可调的效用隐私权衡,但韵律保留越强则等错误率越低且词错误率与情感召回随之变化。
针对零样本语音克隆要在质量与延迟之间权衡的问题,DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本,在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05,但说话人相似度仍弱于大规模基线。
针对多人标注不一致的模糊语音情感,该工作把预测目标从单标签改为情感分布,并用分布对齐目标加结构化思维链分别管住决策不确定性和推理过程,在 IEMOCAP 和 CREMA-D 上用 SFT、DPO、GRPOz 验证了改进,但高维分布下不同策略的优劣会变化。
针对合成语音来源验证被说话人特征干扰的问题,论文提出在双分支框架上加说话人解耦的切比雪夫损失与双曲黎曼损失,在 MLAAD 四种说话人-来源组合协议上以 ResNet34 加 RiemannSD-AAM 取得平均 EER 最低,但未见训练仍依赖伪说话人标签与固定超参数。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
针对未见攻击与声学条件下的语音伪造检测,论文提出域自适应双选通混合专家,在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由,在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%,代价是只增加约 0.17M 参数并引入选通与原型等附加设计。
针对不同母语背景系统性替代模式不同的问题,该研究为每个第一语言构建有向加权统计混淆图并经图卷积注入语言学分支,在 L2-ARCTIC 上报告检测 F1 为 59.52%,代价是图依赖训练集对齐统计且需已知测试句的标准音序列与第一语言标签。