把真伪线索和攻击痕迹拆开:正交约束为何能让语音伪造检测跨库更稳
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
针对在 ASVspoof 2019 LA 上训练后跨库性能大幅下降的问题,该文在 SSL-AASIST 上增加通用分支与攻击特异分支并用余弦正交损失解耦,最强证据是加 RawBoost 后在 21DF 上等错误率从 6.64% 降到 3.67%,代价是在 19LA 上从 0.22% 微升到 0.32%。
针对离线语音基础模型在流式下因上下文受限而退化的问题,论文用滑动音频窗口加时间戳去重加纯文本发射策略的免训练管线,在三套英语数据上以约 2 秒级延迟恢复到接近离线词错误率,但低延迟与高难数据集上仍有代价。
针对智能眼镜佩戴者与对话伙伴的近远场混合语音,论文用波束成形加声源分离再加轻量分类器做流式说话人标记,在三个真实多说话人语言对上把词错误率和说话人归属错误率同时压低,代价是仍依赖方向分区假设和仿真训练数据。
针对中日两个零样本语音分类任务,论文显示仅靠多语言离散国际音标词元训练的模型会失效,而用连续发音特征向量做分类能显著提升稀有音的召回,但送气用单帧最优、鼻音部位用段平均最优,时间聚合方式必须按线索的持续性选择。
论文针对音频大模型是否真用文本上下文做转写的问题,构建 55.93 小时、8 语 23 域的自然语音基准并用 L0-L6 逐级加信号的提示框架,在 5 个模型上测得母语文字实体表带来最大命名实体增益而对抗错误实体暴露盲从与无视两种失败,且基线转写好的模型不一定更会用上下文。
针对毛利语没有可用合成语音、通用引擎发音近乎不可懂的问题,Te Hiku Media 以原住民领导、母语者音色、逐句人工整理与听辨做出男声约 24 小时加女声超 8 小时的双语录音和 90 句加 100 句固定基准,用少而精的数据得到毛利语优先的高质量语音,代价是流程耗时耗人且评估主要依赖专家主观听辨。
该研究用三维有限元求解弯曲声道在 14 千赫兹以内的传递函数,发现均匀截面弯曲几乎不改变共振,而元音 A 型非均匀截面在 8 千赫兹以上出现随弯曲角移动的反共振和横向声压结构,代价是理想化圆形截面和开口边界假设限制了向真实发音的直接推广。
论文把语音检索问题改为语音查询加自然语言指令共同决定相关性,用四个子集覆盖语义、说话人、风格、环境音及其组合,并用四类基线证明语义与声学能力目前分属不同路线且多属性组合仍很困难。
针对含谐波和噪声时基频滤波不准会拖累瞬时基频的问题,该研究用 Wave-U-Net 直接增强基频波形再求解析信号瞬时频率,在干净与加噪条件下取得更高的粗正确率,但干净强调制跟踪仍不及 NINJAL 且存在下采样混叠的待验证解释。
Moshi-Face 用离散面部令牌与非自回归 Face Transformer 在 Moshi 上同步生成语音与 3D 脸部运动,在 180 小时对话数据上把教师强制唇同步做到接近重建上限,但语音自然度因领域微调而下降。
针对音频编辑缺少参考真值而难以评价的问题,该工作在 Qwen2-Audio 上先补差异与共性联合理解,再用七步思维链做可读文本评价,最强证据是差异与共性准确度与人工编辑和保持评分呈现互补相关,而代价是保持维度的声学一致性建模仍弱于专用监督打分模型。
该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理,在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏,代价是强退化下接地显著下降。
IQRA 2026 针对现代标准阿拉伯语的误发音检测与诊断任务,引入 1333 句真人误读语料与统一评测,用两阶段微调与对齐改进的 CTC 方案把 F1 从 0.4414 推到 0.7201,代价是小规模真人数据依赖与音素到字形反馈尚未打通。
针对用户自定义关键词中仅差一两个音素的易混对,KFC-KWS 用 CTC 峰值后验选出音素关键帧再与全句表示做跨模态融合,在 LibriPhrase 上报告平衡 AUC 98.73% 与困难集 AUC 97.65%、EER 7.75%,代价是在简单集上略逊于全序列匹配。
论文把卷积的时间填充在过去与未来之间重新分配,用双缓冲加选择性状态更新解决分块流式的状态污染,在固定 1.37M 参数下实现 12.5 ms 时 PESQ 3.35 到 75.0 ms 时 PESQ 3.43 的延迟可配族,代价是每个延迟点需独立训练且大块才能实时。
论文用冻结编码器的逐层探测研究非裔美国英语词尾辅音丛弱化,证明两种模型都能区分弱读与完整形式且弱读仍保留底层塞音身份,代价是二分类准确率受协同发音和丛类型制约而只能达到七到八成。
该研究只用超音段基频与时长变化做普通话五类声调识别,用核心轮廓编码器加可拆卸辅助分支训练,报告在自建语料上核心分支推理精度达 97.5%,代价是需要强制对齐的音节词块边界与基频跟踪质量。
针对零样本跨语言语音情绪识别中语言失配与无目标标注问题,论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索,在九组零样本任务上平均 UAR 达 82.26%,代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。
针对客户端数据分布不一致导致本地模型学到冗余知识的问题,该工作用费雪信息矩阵选出全局嵌入中的关键维度并做表示对齐,在 VoxCeleb 系列上把各客户端等错误率降到最低,但跨域的 CN-Celeb1 上仍有一项不如 FedFSS 且未报告通信与计算开销。
论文用四类不流利标记改造 whisper-small.en,先在 SME 上建立标记机制再按 Pitt、Delaware 顺序持续适配,发现能稳定发出标记的方法都要付出预处理词错率代价,而跨注意力少数头的共享特化解释了标记学习与通用识别之间的冲突。