掩膜填充不是空白:用对数轨迹分解看清音频解释的偏离
该研究用从全遮挡到原声的归因轴分解部分掩膜输出,发现 41% 到 77% 的位移是标量方法看不见的正交偏离,且其方向稳定性和维度随模型与填充组合而变化,代价是仍需依赖填充选择的忠实度评估才能谈修正。
该研究用从全遮挡到原声的归因轴分解部分掩膜输出,发现 41% 到 77% 的位移是标量方法看不见的正交偏离,且其方向稳定性和维度随模型与填充组合而变化,代价是仍需依赖填充选择的忠实度评估才能谈修正。
该文用激活交换、解码与转向证明三款大音频语言模型都在中间层把粗粒度相对时间绑到事件名表示上并能因果改变前后判断,但该表示只能粗解码到约 3.5 至 4 秒且不能一致移动预测的起始时间戳。
针对七类浴室助老声事件识别,论文用可学习 sinc 带通前端加深度可分离卷积的 SincDPNet,在环境不相交评估下以 2848 参数达到 75.7% 准确率与 0.661 宏 F1,以 14040 参数达到 80.2% 准确率与 0.760 宏 F1,代价是水声重叠类与门和助行器瞬态仍集中混淆。
该文用 Top-k 稀疏自编码器分解五种神经音频编解码表示并做激活转向,以分类器预测的朝目标偏移为证据探查年龄、性别、口音信息的稀疏可分性,代价是内容词错误率上升与感知质量下降且转向强度不可单调控制。
该研究用时间定位解释截出影响判定的音频段,再用大音频语言模型描述并用大语言模型聚成类级别概念,在受控的干净与虚假相关数据集上报告出对掌声加笑声等三组明确捷径的检出与一组模糊检出,代价是依赖解释阈值与模型集成来压制幻觉。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用一遍输出完成句子准确度、流利度、韵律与词音素准确度五维评级并附带自然语言解释,在 SpeechOcean762 上以监督微调加有界偏好优化缓解类别不平衡,句子级解释自洽但词音素级定位仍不可靠。
针对八种英语口音的识别退化问题,该工作把口音差建模为编码器激活空间中的可加均值偏移方向,先做逐层敏感性定位再在中间层做无参数推理时干预,最强证据是在平衡评测集上原生口音词错误率下降约 19.92 至 33.80 个百分点,代价是尾层干预会引起严重崩溃且非原生口音增益较小。
针对朗读英语词级感知重音评分任务,听觉对比网络用三个声学线索的相邻词非线性对比加轻量聚合,在跨语料迁移上以 202 参数达到 r=0.412 追平冻结 wav2vec2 个基线,加文本后到 r=0.451,代价是依赖外部词边界且仅在单语料对上验证。
该研究把评价从分类分数转向可解释探针,用 88 个 eGeMAPS 特征和线性与非线性回归探针测量六个预训练嵌入的可恢复性,最强证据是响度最好恢复而基频最难恢复,代价是拼接嵌入虽互补但高维时反而可能降低任务相关特征的可恢复性。
论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。
针对复杂音频问答中模型只看显著片段、推理链不可核查的问题,EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程,在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分,代价是依赖外部工具粒度和多步调用。
论文针对自监督前端为深伪检测提供了什么依据这一问题,提出把判定轴投影到各证据子空间并用解释比例度量,在冻结、微调和后训练条件下用静音等九类证据检验,显示同质训练放大信号级捷径而多样训练与后训练能部分抑制但静音残留持续存在。
针对自动标注语音情感描述符不可靠导致的可解释语音情感识别不可信问题,论文用置信度分数筛选可靠子集再用强化学习在线修正描述符,在 IEMOCAP 和 MELD 上相对基线取得 2.9% 和 3.3% 绝对增益,代价是增加置信度估计模块与控制器的训练和交替更新开销。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
论文把 Whisper 幻觉归因于信号传播几何的相变,用谱传播不稳定性框架解释小模型因跨注意力秩崩解而丢失声学证据、大模型因自注意力压缩锁定内部先验,并以 Tiny 到 Large-v3-Turbo 在对抗扰动下的有效秩与谱衰减变化为证据,代价是未直接测量层间对齐且结论限于 Whisper 家族。
该文用芬兰语俄语双语者的电磁发音仪数据做线性探测,检验自监督语音表示是否编码发音动作,最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和,代价是自发任务与上唇垂直通道明显更难预测。
该文用与任务无关的逐层熵、曲率、不变性加跨层生成兼容矩阵来刻画 Wav2Vec2、HuBERT、WavLM 等模型的层级分工,最强证据是中层音素核稳定而深层出现熵塌缩与身份剪枝,代价是需要为每层另训生成解码器与线性探针才能把拓扑与任务接起来。
论文用冻结 Whisper 编码器加逐层线性探测研究孟加拉语电话样单元在第几层最线性可分,最强证据是中到后层峰值加 large-v3 晚层平台与 XLSR 陡降的对照,代价是标签为 uroman 粗代理且片段极短因而只宜做可分性解读。
LISE 把冻结的说话人向量无监督分解为 35 个非负正交分量,在保留验证性能的同时让人耳以 83.9% 准确率分辨高低权重说话人,代价是重建后等错误率仍略高于原始向量。