论文解读

用干净语音锚定输出长度:竞争语音下 CTC 适配的多余发射控制

本文针对竞争语音导致 CTC 识别器多吐词的问题,用冻结模型在配对干净语音上的期望折叠词元数作锚,只惩罚混合语音学生的超出部分,在 147456 参数的早期层适配下降低语音干扰词错误率,但长训练会在噪声和音乐上以删除增加为代价。

 · 约 16 分钟 · 7589 字 阅读 →
论文解读

VeriSpoof:用一个音频大模型做检测、溯源与可核查说理

VeriSpoof 把真伪、来源、录音条件、定位都写成句子选项并用似然差打分,用固定字段的可核查依据链把部分伪造找出来,同一套权重在 14 个公开集上达到 2.14% 混合等错率并能在未见过生成器上做同源验证。

 · 约 19 分钟 · 9330 字 阅读 →
论文解读

多语 TASU:只用文本先对齐,再用少量语音校准

本文把冻结 OWSM-CTC 的 50002 维后验作为八语共享接口,对比真实后验、启发式模拟和学习型模拟器,证明文本初始化加九分之一配对语音可达 9.19% 混合词错误率,但模拟与真实后验的差距仍是主要限制。

 · 更新于 2026-11-04 · 约 16 分钟 · 7748 字 阅读 →
论文解读

从听懂空间场景到生成与编辑:Spatial Transfusion 解读

论文把理解一阶 Ambisonics 场景的语言模型用流匹配扩展到生成与结构化编辑,用按模态路由的 LoRA 在保留理解的同时获得可控合成,并在受控仿真评测中优于全量微调。

 · 更新于 2026-11-04 · 约 16 分钟 · 7974 字 阅读 →
论文解读

从医患对话音频直接生成 SOAP 病历:按小节分工的查询压缩方法

针对医患对话音频生成 SOAP 病历时信息冗长易幻觉的问题,该工作用 96 个按小节分工的可学习查询先压缩语音再结合原始语音通路生成病历,在官方测试集上 Concept F1 达到 0.5005 并表现出更稳定的幻觉指标,但人类口语子集上仍有明显下滑且样本很少。

 · 更新于 2026-11-04 · 约 15 分钟 · 7352 字 阅读 →
论文解读

音频、乐谱图像与符号乐谱如何共享表示:参数高效微调的迁移检验

论文比较冻结、完全微调、LoRA 与 QLoRA 在九个音频图像符号编码器上的单模态判别力与可训练参数量,再用冻结与适配交叉原始与投影的对照检验单模态增益能否转化为多模态分类与作品级检索,结论是参数高效方法常能替代完全微调但单模态变好不等于多模态变好。

 · 更新于 2026-11-04 · 约 18 分钟 · 8824 字 阅读 →
论文解读

让音频大模型学会打分:语音 MOS 自动评估的诊断与适配

本文以 Qwen2-Audio-7B-Instruct 为对象,先证明零样本提示无法可靠预测 MOS,再用 SOMOS 数据诊断其语速与表现力感知盲区,最后用 4 比特量化下单卡 LoRA 微调把 Pearson 相关从接近 0 提升到 0.6506 并超过 UTMOSv2,代价是结论只在英语合成语音的域内测试上成立。

 · 更新于 2026-11-04 · 约 16 分钟 · 8006 字 阅读 →
论文解读

课堂西班牙语识别为何不能只看总词错误率

该研究在 7 个未见过的在线西班牙语课堂会话上比较 6 种转写配置,发现用 38 个课堂会话做 LoRA 适配能把 MOSS 的词错误率相对降低约 38% 并接近商用 Muse,但学习者、英语独白和语码混合语音仍然明显更难,且转写最好不等于说话人归属最好。

 · 更新于 2026-11-04 · 约 18 分钟 · 8896 字 阅读 →
论文解读

用循环共享的块代替参数深度:超压缩端侧语音识别

论文针对端侧设备装不下深层语音识别模型的问题,用表示相似性分组把深编码器折叠成少数共享块循环执行,再用蒸馏和用户条件适配恢复精度,代价是循环次数决定的计算量仍需保留且极小块数下仍有残余误差。

 · 更新于 2026-11-04 · 约 19 分钟 · 9048 字 阅读 →
论文解读

多人说话时只听目标人:SpeakerTurn 如何同时转写与判断轮次

针对多人混合语音中只对目标说话人做语义轮次判断的问题,SpeakerTurn 在冻结声学通路下用 LoRA 联合生成目标转写与轮次状态,在合成测试上五状态宏 F1 达 0.811、目标转写 CER 为 4.20%,而结构化思维链降低了转写错误却也降低了轮次判别分数。

 · 更新于 2026-11-04 · 约 17 分钟 · 8159 字 阅读 →
论文解读

既要换声音又要抹掉身份信息:流式级联语音匿名系统解读

论文用自动语音识别加自然语言处理加语音合成的级联把说话人声音和文本中的个人身份信息一起去掉,在保持可懂度和接近离线系统隐私水平的同时把 utterence 起始端到端延迟做到 717 ms 量级,代价是流式切分带来的字错率上升和对识别错误的敏感。

 · 更新于 2026-11-04 · 约 15 分钟 · 7343 字 阅读 →
论文解读

长会话下全双工语音模型为什么会变差,又如何稳住

论文用闭环仿真量化了全双工语音模型在 10 分钟会话中的响应、内容和音色退化,再用特权上下文自蒸馏把短会话能力迁移到长会话,并用双分辨率上下文把远期历史压缩成要点记忆,在训练时长内和超长 20 分钟会话中都验证了稳定性提升与显存增长下降的代价。

 · 更新于 2026-11-04 · 约 21 分钟 · 10484 字 阅读 →
论文解读

只用源语音学会早说:DIAL-S2ST 的前视自蒸馏与延迟控制

针对多流同时语音到语音翻译在推理时难调延迟的问题,DIAL-S2ST 用带前视的冻结教师蒸馏无前视学生并用单 LoRA 按尺度控制早说,在法英 Hibiki 上以约 10 小时源语音实现可调的延迟与质量权衡。

 · 更新于 2026-11-04 · 约 15 分钟 · 7387 字 阅读 →
论文解读

没听完就动手:语音对话系统何时可以提前调用工具

该文把提前调用工具定义为逐块判断工具与全部参数何时在已听语音中被锚定,用合成对齐流水线给出最早可行动时刻监督,并在同域与音频版外部基准上以正确调用平均提前约 1.8 秒到 2.0 秒和 1.1 秒为证据,代价是触发精确率仍不足六成。

 · 更新于 2026-11-04 · 约 17 分钟 · 8431 字 阅读 →
论文解读

按指令现做适配器:大音频语言模型的组合泛化

论文研究大音频语言模型把熟悉的声音能力重组成没见过任务形式的问题,用指令逐词元生成 LoRA 适配器的超网络 T2L-ICAG 来应对,在两种骨干上组合任务平均相对性能最高,但复杂组合仍有明显差距且依赖受控评测条件。

 · 更新于 2026-11-04 · 约 19 分钟 · 9334 字 阅读 →
论文解读

说清音频和文字哪里对不上:差异描述任务与 AT-DIFFER 数据集

论文提出用一句话指出音频与文本在事件和时间关系上的具体出入,并用系统合成的 AT-DIFFER 数据微调 Qwen3-Omni,先判断有无差异再分类最后写句子,联合学习在合成分布上明显改善描述质量,但结论只在至多两个事件和模板文本范围内成立。

 · 更新于 2026-11-04 · 约 17 分钟 · 8021 字 阅读 →
论文解读

重度损伤下自监督特征清洗为何失效,以及中间恢复特征如何帮忙

论文发现重度退化下缩小自监督特征距离不再对应听感提升,并提出把恢复主干中间特征送入自监督模型的早期恢复注入,在 VoiceFixer 上保真与可懂度占优而感知质量保持竞争,代价是总参数增大但实时率仅小幅上升。

 · 更新于 2026-11-04 · 约 16 分钟 · 7690 字 阅读 →
论文解读

APRIL:用隔离专家与模糊感知路由做呼吸音域增量学习

针对设备与年份变化导致呼吸音分布漂移且历史数据不能回放的问题,APRIL 冻结 BEATs 主干并为每个域保留独立的 LoRA 专家,再用多层原型取出两个候选并结合路由后验与分类置信做选择,在 ICBHI 与 SPRSound 正反序上取得最高的最终会话平均 Score 且平均遗忘低于 1.0 个百分点,代价是专家库随域数增长且每次推理需评估两个专家。

 · 更新于 2026-11-04 · 约 21 分钟 · 10511 字 阅读 →
论文解读

PhonoBridge:用音素作桥梁、让语言模型学会纠正肌电识别错误的无声语音转文本方法

针对配对肌电—文本数据不足导致后端难以纠正前端噪声的问题,PhonoBridge 用音素作中间表示并用前端错误模式增广文本转写的音素序列,在同一 Open Vocabulary 测试集上取得 24.77% 词错误率,但结论依赖固定划分、固定前端和贪心解码条件。

 · 更新于 2026-11-04 · 约 16 分钟 · 7942 字 阅读 →
论文解读

病理嗓音的单人语音识别适配:放在哪里才有效

围绕一位只有约 22 分钟数据的意大利病理嗓音说话人,论文比较四种 Whisper 容量与三种 LoRA 放置,发现两侧注意力同时适配最稳定且时间精度权衡最好,但增益随录音时长而变化。

 · 更新于 2026-11-04 · 约 16 分钟 · 7549 字 阅读 →