论文解读

在压缩谱里保住瞬态、在宽带上对齐谐波:STSR 的谱-瞬态折中

STSR 把超分放在 MDCT 域用分层谱注意力建长程谐波、用稀疏感知损失保瞬态、用只看高频的混合判别器加压,VCTK 平均 LSD 做到 0.79 且参数仅 66.2M,代价是仍依赖受控语料与重采样评估。

 · 更新于 2026-11-05 · 约 16 分钟 · 7985 字 阅读 →
论文解读

只给片段标签,也要学会逐帧定位:多实例学习做口吃分类与切分

针对片段级标注无法给出帧级起止时间的问题,该文用保持时间维的多实例网络在片段监督下同时做片段分类和零样本帧切分,在 CASA 帧级 F1 达到 0.70 并在 SEP-28k-E 多标签片段任务上多类取得最优,代价是对长阻塞和 prolongation 仍不稳定且依赖 3 秒窗口。

 · 更新于 2026-11-05 · 约 18 分钟 · 8677 字 阅读 →
论文解读

在时频谱上同时看清纹理与归属:TF-MossFormer 的局部-全局注意力分工

针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题,TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力,在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi,代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。

 · 更新于 2026-11-05 · 约 21 分钟 · 10253 字 阅读 →
论文解读

时间听不清不是没听见:大音频语言模型的时间推理为何失灵

论文用 1657 题的三任务受控基准诊断时间推理失败,行为与因果干预显示模型在有文本时欠用音频,而重分配音频注意力比单纯增大音频注意力更有效,但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。

 · 更新于 2026-11-05 · 约 15 分钟 · 7217 字 阅读 →
论文解读

用可学习的语义锚点把新事件拆成已知语义再做双向检索

针对开放词汇声音事件检测中仅用查询向量检索而缺乏语义理解的问题,该文提出语义锚点加双向注意力和查询增强,在 AudioSet-Strong 稀有类上报告 34.9 的 PSDSr 并在 DESED 零样本上报告 44.1 的 PSDS1,代价是引入 400 个锚向量与两层双向解码等额外结构。

 · 更新于 2026-11-05 · 约 19 分钟 · 9075 字 阅读 →
论文解读

噪声下别硬减:用注意力可靠性逐词调节对比解码强度

针对固定对比解码在干净与强噪声间顾此失彼的问题,该工作用同一模型的全音视作专家、纯音频作弱者做减法,并以音频能量、音频熵和分布分歧三路门控逐词调节干预强度,在 LRS3 与 LRS2 多信噪比下同时改善干净与噪声词错误率,代价是每次解码需跑两次前向并增加约 136.4 ms 延迟。

 · 更新于 2026-11-05 · 约 22 分钟 · 10759 字 阅读 →
论文解读

短语音缺信息:用可学习的向量档案把稀疏帧映射回长语音特征空间

针对 1 秒左右短语音说话人确认性能崩塌问题,论文在 WavLM 加 ECAPA-TDNN 基线上插入 TVAMSP 模块,用可学习的向量档案逐帧补足说话人信息,在 Vox1-O 上 1 秒 EER 做到 8.334%,代价是 3 秒长输入会被扰动而反而不如基线。

 · 更新于 2026-11-05 · 约 18 分钟 · 8581 字 阅读 →
论文解读

用事件边界锁住注意力:BG-CRNN 如何在噪声中守住声音事件

针对复杂噪声下声音事件检测性能骤降问题,论文提出用预测边界构造段内注意力掩码并做边界门控增强的 BG-CRNN,在 WildDESED 上从 10 dB 到 -5 dB 持续优于基线,代价是增加边界分支与多任务损失的训练复杂度。

 · 更新于 2026-11-05 · 约 16 分钟 · 7535 字 阅读 →
论文解读

模仿得像不像,用说话人向量数出来:ECAPA 增强嵌入的模仿评估

该研究把模仿质量判断转化为 20 类名人识别的 Top-1 命中问题,用注意力增强的 ECAPA 嵌入融合韵律与频谱打分,在 MIMICz 上达到 75% Top-1 命中,代价是依赖小规模棚录数据与主观 MOS 定义的最优。

 · 更新于 2026-11-05 · 约 19 分钟 · 9026 字 阅读 →
论文解读

不听懂词也能数口吃:用相似度图搬运重复结构

该研究把冻结语音编码器的多层向量序列变成两两内积的二维自注意力权重图再用可训练 VGG-19 做多标签口吃检测,在中英德零样本评估中保留单语 F1 的 77-98% 并在词重复上超过最优模型,但在阻塞延长等声学主导类型上落后约 10-23%。

 · 更新于 2026-11-05 · 约 20 分钟 · 9832 字 阅读 →
论文解读

类别有增有减时,原型分类器如何不忘旧类又认出新类

针对增量会话中类别既增加又减少的少样本音频分类问题,该研究用可变类原型自适应网络逐会话修正全部原型并用伪类可变训练模拟增减过程,在 LS-100、NSynth-100 和 FSC-89 上的平均准确率报告显示优于所比基线,但类删除会话无新样本且旧嵌入靠高斯重构带来分布假设代价。

 · 更新于 2026-11-05 · 约 20 分钟 · 9581 字 阅读 →
论文解读

记得却用不上:用注意力找关键轮再做解码对比来压住先验

针对多轮口语对话中模型内部能注意到历史却在生成时被参数先验压制的问题,论文提出只遮挡注意力选出的关键轮并对比有无该轮输出分布的免训练解码方法,在 Audio MultiChallenge 上把三套端到端语音对话系统的平均通过率提高约 6.7 至 13.3 个百分点,而全历史粗放对比反而使性能下降。

 · 更新于 2026-11-05 · 约 21 分钟 · 10104 字 阅读 →
论文解读

风格词是全局旋钮还是局部开关:跨注意力如何把指令翻译成声音

论文把图像领域的 DAAM 归因搬到语音扩散模型上,用每词时间热力图研究风格描述词如何影响合成语音,最强证据是风格词时间方差显著更低且与能量语义一致,代价是只在单个 CapSpeech 模型和合成提示上验证且无因果干预。

 · 更新于 2026-11-05 · 约 19 分钟 · 9059 字 阅读 →
论文解读

从注意力里找证据:用低熵头锁定语音识别依据的 LEAF-X

针对 Transformer 语音识别难解释且时间定位粗的问题,LEAF-X 选择模型内部注意力做熵加权与跨层聚合解释,在 Whisper 与 Canary 上以更低的删除代价和不稳定性支持更忠实的词帧对齐,但因果重加权带来额外前向开销且未做用户研究验证。

 · 更新于 2026-11-05 · 约 17 分钟 · 8467 字 阅读 →
论文解读

三路不对齐时先对齐再融合:LMPAN 用轻量多路径校准保住双讲语音

针对全双工对话中时延漂移与能量失配导致回声残留和过抑制问题,LMPAN 用多路径软对齐加注意力融合与动态目标加两阶段 SSL 训练,在约 480K 参数和 126M 计算量下取得与 DeepVQE-S 可比的主观与下游任务表现,代价是动态目标会略微拉低整体 MOS。

 · 更新于 2026-11-05 · 约 23 分钟 · 11495 字 阅读 →
论文解读

噪声下谁在说话:用对齐的视听互补做语音活动检测

MAC-VAD 针对噪声、混响和遮挡下纯音频 VAD 不可靠的问题,用 WavelNet 音频编码器与 EfficientViT 视觉编码器加动态视听交叉注意力融合,并以冻结 Wav2Vec 2.0 做蒸馏,在 MMVAD 上达到 93.52% 准确率与 86.39% F1,代价是 21.4M 参数与对人脸裁剪的依赖。

 · 更新于 2026-11-05 · 约 17 分钟 · 8104 字 阅读 →
论文解读

说话人切换次数一变就掉线:把切换标记从自注意力里藏起来

针对说话人切换次数超出训练范围时多说话人识别会跳过整段话的问题,论文用说话人切换标记掩码加随机文本掩码切断解码器对切换次数的计数依赖,在仅见过至多 2 次切换的训练下把 3 次切换非重叠语音的字错率从 13.5% 降到 5.9%,代价是随机掩码率过大时训练变难且时间戳类标记越多时与上限差距越大。

 · 更新于 2026-11-05 · 约 18 分钟 · 8889 字 阅读 →
论文解读

舌头被挖掉模型也不差:超声到语音映射到底在看哪里

论文用去掉舌区输入和舌掩膜引导的双编码器检验舌区贡献,发现在单帧二维卷积映射下两种操作均未带来统计显著的质量变化,但引导模型把激活集中到了舌区,代价是结构更复杂而客观指标没有提升。

 · 更新于 2026-11-05 · 约 18 分钟 · 8959 字 阅读 →
论文解读

德拉威语为何更难解码:从词形稀疏到加权注意力与自条件反馈

论文针对 Whisper 在德拉威语上词错误率偏高的问题提出解码器内的加权注意力与自条件反馈,在韩语上把词错误率从 3.34% 降到 2.51%、在斯瓦希里语上从 16.07% 降到 14.58%,代价是每层增加轻量门控与一次中间预测投影。

 · 更新于 2026-11-05 · 约 15 分钟 · 7289 字 阅读 →
论文解读

单空间去偏不够用时:用多阶段投影逐轮暴露音乐分类中的残留偏置

针对音乐分类中注意力易被伴奏与录音偏置带偏的问题,该文提出在每轮反事实监督后重投影注意力特征的渐进式可学习反事实注意力,用三阶段精炼在歌手、流派与情绪任务上取得一致提升,代价是增加共享投影模块与多阶段联合优化的训练负担。

 · 更新于 2026-11-05 · 约 22 分钟 · 10633 字 阅读 →