交叉注意力只说对一半:语音到文本模型到底在听哪里
论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。
论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。
针对复杂音频问答中模型只看显著片段、推理链不可核查的问题,EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程,在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分,代价是依赖外部工具粒度和多步调用。
论文针对自监督前端为深伪检测提供了什么依据这一问题,提出把判定轴投影到各证据子空间并用解释比例度量,在冻结、微调和后训练条件下用静音等九类证据检验,显示同质训练放大信号级捷径而多样训练与后训练能部分抑制但静音残留持续存在。
针对自动标注语音情感描述符不可靠导致的可解释语音情感识别不可信问题,论文用置信度分数筛选可靠子集再用强化学习在线修正描述符,在 IEMOCAP 和 MELD 上相对基线取得 2.9% 和 3.3% 绝对增益,代价是增加置信度估计模块与控制器的训练和交替更新开销。
FakeSound2 把声音伪造检测从二分类扩展为定位何时伪造、辨别如何伪造与追溯何处来源的三维诊断,证据是域内操纵类型精度 93.1% 掉到域外 32.4%,代价是相似操纵与新来源仍难区分且需大规模可控构造与标注。
论文把 Whisper 幻觉归因于信号传播几何的相变,用谱传播不稳定性框架解释小模型因跨注意力秩崩解而丢失声学证据、大模型因自注意力压缩锁定内部先验,并以 Tiny 到 Large-v3-Turbo 在对抗扰动下的有效秩与谱衰减变化为证据,代价是未直接测量层间对齐且结论限于 Whisper 家族。
该文用芬兰语俄语双语者的电磁发音仪数据做线性探测,检验自监督语音表示是否编码发音动作,最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和,代价是自发任务与上唇垂直通道明显更难预测。
该文用与任务无关的逐层熵、曲率、不变性加跨层生成兼容矩阵来刻画 Wav2Vec2、HuBERT、WavLM 等模型的层级分工,最强证据是中层音素核稳定而深层出现熵塌缩与身份剪枝,代价是需要为每层另训生成解码器与线性探针才能把拓扑与任务接起来。
论文用冻结 Whisper 编码器加逐层线性探测研究孟加拉语电话样单元在第几层最线性可分,最强证据是中到后层峰值加 large-v3 晚层平台与 XLSR 陡降的对照,代价是标签为 uroman 粗代理且片段极短因而只宜做可分性解读。
LISE 把冻结的说话人向量无监督分解为 35 个非负正交分量,在保留验证性能的同时让人耳以 83.9% 准确率分辨高低权重说话人,代价是重建后等错误率仍略高于原始向量。
论文追问思维链语音到文本翻译是否真用了语音,通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写,而在训练中混入噪声转写能提高语音利用率,但要以额外构造和训练干预为代价。
针对视听语音增强中 SI-SNR 与人耳感知不一致的问题,该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励,用 PPO 微调 AVSEC-4 个基线,在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出,代价是奖励文本模式较固定且需额外大模型推理开销。
针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题,论文用语音感知的因果追踪定位再做单层与多层编辑,最强证据是音频层编辑总体优于文本层与微调,但多层累积更新会带来分布偏移与特异性代价。
论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题,用解耦的 GRU 时序融合对照证明上下文与门控的增益,并以扰动遮挡验证非平稳性,代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。
该文研究话语级多维构音障碍评估,用冻结 CTC 音素识别器的后验不确定性加音素错误率构成 11 维 PED 特征,在四个主要维度上达到平均 AUROC 0.80,接近 HuBERT 的 0.81,代价是精细等级排序仍弱于黑盒表示。
论文把自动语音识别中的幻觉定义为对齐后的编造插入词,用因果中介与注意力行为定位到偏向文本的多头自注意力,再用连接时序分类门控与跨注意力构建 AudioSLM,在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%,代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。
论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。
论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO,显示编码器保留更多语音发音结构而非词汇语义,跨模态对齐增益有限且蒸馏并未带来真语义。
针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题,该文用联合高斯混合的后验加权仿射变换做语音转换,在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据,代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。
该研究把严重度评估做成四分类并用训练全程梯度对齐估计每个训练样本对每个测试话语的影响,再用受控删除验证解释忠实度,最强证据是删高影响样本导致中度准确率从 36.8% 掉到 0.3%,代价是基分类器简单且轻度类基线极低。