只给分不够:用保覆盖区间与保序建模重做 MOS 预测
针对合成语音 MOS 只给点估计不可靠的问题,ConformalMOS 用冻结上游表征加高斯平滑序回归做点估计,再用分裂共形校准输出区间,在 BVCC 上以系统级 MSE 为 0.08 取得相对 FUSE-MOS 约 7.0% 的降低,代价是 utterance 级 MSE 略升且保证只在可交换性成立时有效。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对合成语音 MOS 只给点估计不可靠的问题,ConformalMOS 用冻结上游表征加高斯平滑序回归做点估计,再用分裂共形校准输出区间,在 BVCC 上以系统级 MSE 为 0.08 取得相对 FUSE-MOS 约 7.0% 的降低,代价是 utterance 级 MSE 略升且保证只在可交换性成立时有效。
针对自监督编码器加 CTC 微调在非母语口音上退化的问题,该工作在不改推理结构和不加口音标注下引入话语级监督对比辅助损失,在 L2-ARCTIC 未见口音上把 W2V2-Large 的词错误率从 9.98% 降到 7.41%,代价是需要同文本多说话人的成组批次和仅训练期有效的投影头。
针对生成器持续演化导致判别边界失效的问题,DASM 只用真实音乐学习记忆库流形再用原始与偏差双分支判别,在 SONICS 上报告 0.13% EER、99.89% 准确率、99.98% AUC,代价是跨域到 FakeMusicCaps 时 EER 仍升至 25.59% 且需两阶段训练与 MERT 提示调优。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚的不对称投影 DGS 及其逐层变体 LW-DGS,在多组跨数据集评测上报告平均相对等错误率下降 5.29% 和 4.04%,代价是在部分数据集上仍有波动且未验证延迟与算力开销。
论文固定后训练检查点比较监督微调与组相对策略优化微调,报告纯 GRPO 在域内持平而四个域外集回升,但强正则欠拟合与去掉负奖励变差构成主要代价。
针对未见攻击与声学条件下的语音伪造检测,论文提出域自适应双选通混合专家,在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由,在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%,代价是只增加约 0.17M 参数并引入选通与原型等附加设计。
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
针对紧凑均匀线阵在端射附近小到达时延差扰动被放大成大角度误差的问题,论文在可靠性相位变换框架内分别做加权转向响应功率能量聚合与余弦域加权最小二乘时延融合,并在 1 米与 2 米家用混响实录上用端射误差与退化宽度验证,同时保留不增大孔径与远场单声源等适用边界。
该研究固定模型与采样条件,以规模抽样和多源混合两组对照说明固定生成方法下扩量收益先升后降,而 53 种生成方法、94 小时的小混合集在跨域上优于上千小时的单一大数据集,但未验证模型容量与采样策略的交互代价。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
针对工具描述不规范叠加语音识别错误导致的检索失配,论文用离线大模型合成用户式查询做嵌入转向,在三数据集四检索器上一致提升,而噪声查询下绝对分数仍低且需离线生成成本。
针对 Whisper 类 Transformer 在噪声、窄带、方言和儿童语音上的失配问题,论文把 Conformer 式门控深度可分离卷积放进作用于注意力输出投影的低秩旁路,在 Whisper-medium 上以 447k 可训练参数把四套测试集词错误率降到 11.5、6.3、9.9 和 8.6,代价是新增卷积超参数与推理侧少量时延和计算量。
针对神经编解码处理后真语音更易被误判为假的问题,该工作用难正例挖掘加引导损失和三元组损失拉开编解码后真与假的嵌入距离,在未见编解码上把等错误率从约三成降到约一成二,代价是需构造特定小批量并调两个间隔超参数。
该文把语音智能体可靠性定义为固定 306 通电话总体中无功能性失败且达成目标的百分比,用音频实测计时失败、用固定判分模型加工具轨迹判定语义失败,最强证据是去掉音频事件后分数平均虚高 24 分而排序仍受部署参数扰动,代价是单账单域与合成主叫限制了外推。
论文追问思维链语音到文本翻译是否真用了语音,通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写,而在训练中混入噪声转写能提高语音利用率,但要以额外构造和训练干预为代价。
针对连续流关键词检测在 0.5 至 0.2 次误报每小时下交叉熵模型漏检严重退化的问题,论文提出只做离线辅助的目标受限拉紧加间隔排斥正则,在谷歌语音命令第二版上把 0.2 误报每小时下的漏检率从 29.85% 降到 14.80%,而封闭集准确率从 95.82% 微变为 95.68%,且部署端参数量、计算量与前视保持不变。
针对局部密度归一化随邻域增大而跨簇失效的问题,该工作提出按距离跳变逐样本截断邻域的簇出口检测,在五种嵌入与五个 DCASE 基准上提高了对邻域大小选择的鲁棒性,但全局平均增益温和且高度依赖数据集的异质结构。
论文把鲁棒性当作随分布漂移持续演化的能力,用语言内容、说话人特征、声学环境三类因子构建 MoDiCoL 并设计四段课程,对比经验回放、表征正则与正交梯度三种持续学习策略,最强证据是 10% 回放把平均词错率降到 17.31 并接近零遗忘,代价是仍依赖记忆容量与任务顺序且部分组合靠合成与仿真补齐。
针对智能眼镜佩戴者语音易被旁人声污染的问题,该工作保留指向嘴部的波束通道并补入鼻麦原始通道与旁人声检测嵌入送入流式 RNN-T,在真实录制集上相对噪声训练强基线平均降低 14.4% 词错率、最高达 18.0%,代价是仍依赖噪声增强训练且在特定旁人角度上残留短板。
针对正面视角假设在转头时失效的问题,该工作用多视角张量融合在训练期学习跨视角唇动关联,单视角测试平均 15.718 dB,最强证据是比正面训练对照高 1.616 dB,代价是训练需同步多视角视频与少量额外计算。