论文解读

无关音频为何改变文字推理:配对漂移定位与按需门控

针对文字可解但配了无关音频时大音频语言模型会改变答案的问题,论文用配对漂移度量暴露不稳定,用后期音频通路缩放定位可控点,再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计,同时在所测语音识别任务上保持原有词错误率,代价是单次生成加一次路由判断。

 · 更新于 2026-10-15 · 约 23 分钟 · 11100 字 阅读 →
论文解读

术中构音障碍检测:从混合录音到跨说话人泛化的流水线拆解

该研究在 11 名清醒开颅患者的 2706 个 3 秒片段上,用留一说话人验证比较说话人分离、多层 wav2vec2 表示与级联分类器的分工,发现表示改进带来 18.2%-26.1% 的 AUC 提升而分类器差异不超过 4.7%,但跨说话人 AUC 仍明显低于说话人内校准。

 · 更新于 2026-10-15 · 约 17 分钟 · 8203 字 阅读 →
论文解读

把一次跨域模拟走得更稳:源方向轨迹扰动的语音伪造检测域泛化

论文针对语音伪造检测中训练攻击与未知生成器、编码器和录音条件不一致导致失准的问题,用一次源梯度同时完成虚拟适应和向高损失方向的端点偏移,只做两次梯度计算就在四个未见测试集上一致改进 MLDG,但结论只在 19LA 训练、两种 XLSR 后端和固定扰动半径下成立。

 · 更新于 2026-10-15 · 约 16 分钟 · 7779 字 阅读 →
论文解读

几何决定转向:全双工语音模型中的情绪方向

论文在全双工语音模型 Moshi 中用均值差向量做四种情绪转向,发现残差流可线性解码但转向跟随向量间几何而非标签,只有 sad 稳定转向,代价是可懂度下降。

 · 更新于 2026-10-15 · 约 19 分钟 · 9118 字 阅读 →
论文解读

SteerSpeech:用激活 steering 控制合成语音的情感强度

SteerSpeech 针对推理时情感控制粗糙不稳定的问题,在冻结 Qwen3-TTS 的条件下为每种目标情感学习一个低秩残差变换来优化 steering 方向,并用情感、说话人和转写三类专家在多档强度上联合监督,在愤怒等情感上把目标情感分数提升到基线的 1.08 倍到 7.12 倍,代价是快乐和悲伤的说话人漂移略有上升且高强度下仍存在情感与身份的权衡。

 · 更新于 2026-10-15 · 约 23 分钟 · 11086 字 阅读 →
论文解读

SwinDS-BWE:用局部窗口生成器与尾部事件判别器做语音带宽扩展

针对高频重建局部难、平均型监督易漏掉稀疏失败的问题,该工作用 Swin-1D 格型生成器做幅度相位精修,并用三个轻量决策科学判别器补尾部与过亮监督,在 VCTK 与 MLS 法语上以更少参数取得更高的 NISQA-MOS,但 SI-SDR 等能量指标并未全面占优且实时因子略有增加。

 · 更新于 2026-10-15 · 约 19 分钟 · 9099 字 阅读 →
论文解读

部分伪造语音里的时间锚点与编辑敏感性:一项受控诊断

论文用冻结声学特征与配对拼接对照检验音素词锚点与边界一致性训练,发现锚点损害短事件定位,增强降低良性编辑误报但在部分阈值下增加合成漏检且一致性无统一增益。

 · 更新于 2026-10-15 · 约 14 分钟 · 6925 字 阅读 →
论文解读

给印地语语音加上词级时间戳:Whisper 编码器上的轻量 CTC 头

针对印地语带时间戳转写问题,论文在 Whisper 编码器输出上加一个字符级线性 CTC 头做强制对齐,时间戳精度与依赖外部模型的 WhisperX 相当,并用 CTC 输出长度约束缓解短语音幻觉,但结论只在原文四个测试集和人工标注条件下成立。

 · 更新于 2026-10-15 · 约 16 分钟 · 7612 字 阅读 →
论文解读

参考情感如何在基于大语言模型的语音合成中被定位与传递

该论文用配对中性与情感合成加激活补丁,定位出条件前缀源头和每种情感约二十余个注意力头与多层感知机,证明它们能恢复或抑制大部分晚期情感读出偏移并引起解码波形的音高能量变化,但结论只在单说话人单参考英文受控条件下成立。

 · 更新于 2026-10-15 · 约 20 分钟 · 9837 字 阅读 →
论文解读

不训练模型也能校准指令语音的性别分布

针对无性别限定的风格提示导致合成语音性别偏斜的问题,论文用冻结模型上的组偏差向量加开发集强度搜索做推理时校准,在 12800 条 held-out 提示上把聚合校准误差降到 0.80–5.86 百分点,代价是自然度最多下降 0.076、可懂度变化在 -4.13 至 +3.26 百分点之间。

 · 更新于 2026-10-15 · 约 16 分钟 · 7739 字 阅读 →
论文解读

让音频大语言模型留住说话人信息:两阶段说话人保持

针对音频大语言模型能听懂内容却难分辨说话人的问题,论文提出先在音频编码器做说话人监督、再冻结编码器训练语言模型做成对判断的两阶段低秩适配方法,在 VoxCeleb 同域上把等错率从 7.01% 降到 4.37%,但跨域到 CN-Celeb 时未带来额外增益。

 · 更新于 2026-10-15 · 约 17 分钟 · 8258 字 阅读 →
论文解读

一个冻结编码器如何同时做说话人确认与伪造检测

论文用冻结的 W2V-BERT 2.0 加两套混合小波提示分别适配说话人验证与伪造检测分支,仅训练约 7M 参数就在 SpoofCeleb 评测上得到 0.03% 伪造检测等错率与 0.038 最小 a-DCF,代价是推理时要做两次提示条件前向。

 · 更新于 2026-10-15 · 约 20 分钟 · 9761 字 阅读 →
论文解读

用注册语音库做证据:目标说话人标注的仿射不变校准

针对目标说话人标注中注册库不能直接当归一化 cohort 的问题,论文提出只看分数分布形状的双项校准,在合成与会议语料上都提升了标注准确率,且不依赖外部数据。

 · 更新于 2026-10-15 · 约 15 分钟 · 7416 字 阅读 →
论文解读

用虚拟麦克风给扩散分离补上观测约束:VM-ArrayDPS 解读

针对少麦克风、低信噪比下盲语音分离观测约束不足的问题,VM-ArrayDPS 把独立向量分析输出当作虚拟麦克风与物理麦克风一起做多通道一致性引导,在 SMS-WSJ 二人和三人混响分离上一致超过 ArrayDPS,代价是每步要多做虚拟通道的前向卷积预测与梯度计算。

 · 更新于 2026-10-15 · 约 19 分钟 · 9164 字 阅读 →
论文解读

VoCa:让语音助手边说边在画布上写画的交互设计

VoCa 针对多轮语音对话中纯语音难回看、难指代、难修订的问题,用语音与画布动作协同规划的方案组织讲解与留痕,五天 18 人实地使用显示易用但跟随与修订仍受限。

 · 更新于 2026-10-15 · 约 23 分钟 · 11347 字 阅读 →
论文解读

什么时候可以剪掉语音句法分析里的中间神经网络

论文研究端到端语音依存句法分析中连接语音编码器与句法分析器的三段中间神经网络是否必要,提出去掉它们的简化结构,在法语、斯洛文尼亚语和奈贾语上达到相当或更好的分析准确率并减少约 12% 参数,代价和结论都只在联合微调与冻结编码器等明确条件下成立。

 · 更新于 2026-10-15 · 约 19 分钟 · 9162 字 阅读 →
论文解读

能解码不等于会使用:噪声与混响如何系统性推动阿尔茨海默语音预测

该文在 ADReSSo 上用三条大语音自监督主干做可控噪声与混响的输入与表示干预,证明即使无组间差异的噪声也能以最高翻转率系统性改变预测且方向可逆,而高精度本身不能保证稳健。

 · 更新于 2026-10-15 · 约 22 分钟 · 11022 字 阅读 →
论文解读

语码切换语言识别:从原子对分类到可数可辨的语言集合预测

本文把整句语码切换识别定义为多标签语言集合预测,对比原子对分类、分数排序基线与直接生成语言集合的方法,显示已知语言数时的前二排序最强但阈值不可迁移,而集合生成器能预测语言个数但在精确集合准确率上仍落后。

 · 更新于 2026-10-15 · 约 22 分钟 · 10753 字 阅读 →
论文解读

只算最后一次训练会漏掉多少电:音频深度学习开发全过程的代价

论文针对只报告最终训练能耗会低估项目代价的问题,用 Grid5000 作业日志回算实验室、团队和四个音频项目的开发能耗,报告开发能耗约为最优单模型训练的 3 到 256 倍,而法国低碳电网与假设美国电网下的碳排放差距可达近十倍。

 · 更新于 2026-10-15 · 约 22 分钟 · 10537 字 阅读 →
论文解读

182 条合成监督能让小模型学会日语交接转结构化病历吗

用 182 段带溯源的合成日语护理交接音频适配 1.47B 音频模型,全量微调与 rank-16 LoRA 在 39 段种子隔离合成测试上取得 0.8664 与 0.8461 的事实性-召回调和分,LoRA 以约 0.85% 可训练参数保留 97.7% 的聚合分,但未测量设备延迟功耗且未验证真实语音迁移。

 · 更新于 2026-10-15 · 约 17 分钟 · 8155 字 阅读 →