口音信息藏在哪里:用稀疏自编码器称量神经音频编解码器的可解释性
该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。
该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。
该文用 SAP 语料先做 LoRA 无监督域适应再冻结 Wav2Vec2-Large 做 25 个 DAB 维度的层探测与可学习标量混合,报告显示最优单层随维度变化而混合优于单层,但标签偏态与时序池化限制仍在。
论文用时间对齐自监督表示上的积分梯度定位判决证据,再经 100 条样本人工标注与掩蔽反证,显示 AASIST 看非语音环境、CA-MHFA 看局部音素、SLS 看词边界与频谱完整性,而重压缩是三者共同的失效条件。
该工作以口腔与口咽癌患者可懂度评估为任务,用 PWCCA 逐层度量 Wav2Vec 2.0 表征与 eGeMAPS 低层描述符的线性相关,最强证据是频谱组 0.77 与韵律组 0.71 在末层仍高度相关而嗓音质量组仅 0.65,代价是只做相关性解释而不证明因果与可部署替代效果。
论文把多人说话视频的谁说了什么拆成以声音或画面为锚的跨模态检索,用受控玩具体验揭示时间编号与位置编号的三阶段绑定,并证明瓶颈在音视对齐,进而用现成说话人检测框加不到 300 步微调带来可复现的提升。
论文用 1657 题的三任务受控基准诊断时间推理失败,行为与因果干预显示模型在有文本时欠用音频,而重分配音频注意力比单纯增大音频注意力更有效,但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。
该文针对语音语言模型同时受文本与音频越狱威胁的问题,选择在中间层残差流上用主成分分析暴露拒绝与顺从的分离结构并构造可跨模态转向的向量,最强证据是音频来源的拒绝向量把文本 AutoDAN 攻击成功率从 72.69% 压到 2.82% 而反向亦成立,代价是干预强度需按模型分布手调且只验证了两模型五种攻击。
该研究在 28 人法语朗读 SOMVOICE 数据上只用 eGeMAPS 与 Snack 等可解释声学特征加 SVM 等简单分类器估计睡眠剥夺及嗜睡疲劳与警觉下降,最强证据是 PVT 速度与反应发散度 UAR 达 0.858 与 0.841 而 KSS 仅 0.662,代价是小样本与年龄性别偏倚及症状间混淆仍待验证。
论文用带限倒谱系数扫描 0–8 kHz 并做似然比法庭语音比较,报告全频带 Cllr 为 0.13643,而 0–0.6 kHz 与 4–6 kHz 最具区分力、7 kHz 以上最弱,多子带融合可进一步低于任一单子带但仍未达到全频带水平。
论文以 WavLM 第 1 层为对象,用线性探测定位音高响度、以 JumpReLU 稀疏自编码器做解耦再做潜变量消融,发现去掉前 50 至 100 个最重要维度后探针 R2 仍保留约 97% 以上,最强证据是 INLP 子空间擦除使目标特征 R2 下降 94% 以上而响度擦除对其他探针影响小于 1.5%,代价是频谱类特征共享子空间、离散消融基本失效。
论文用线性残差化减去音素、二音子与三音子信息后,再用帧级线性探针测词身份,发现中后层仍能远超偶然基线识别词,同时以词发现任务验证去音素表示的增益与去上下文信息的代价。
论文把图像领域的 DAAM 归因搬到语音扩散模型上,用每词时间热力图研究风格描述词如何影响合成语音,最强证据是风格词时间方差显著更低且与能量语义一致,代价是只在单个 CapSpeech 模型和合成提示上验证且无因果干预。
论文以频带为单位用沙普利解释、部分依赖图与单带扰动对照三个质量评估网络与人类评分,报告网络与人都对拉低分数的因素更敏感且网络集中依赖低频带,而 MOSNet 在放大扰动下反向走高是主要代价。
针对音频编辑缺少参考真值而难以评价的问题,该工作在 Qwen2-Audio 上先补差异与共性联合理解,再用七步思维链做可读文本评价,最强证据是差异与共性准确度与人工编辑和保持评分呈现互补相关,而代价是保持维度的声学一致性建模仍弱于专用监督打分模型。
该文用音频干预检验推理是否扎根于声音、用思维链干预检验答案是否跟随推理,在 Audio Flamingo 3 与 Qwen2.5-Omni 上发现文本侧多半忠实而音频侧常出现幻听与对抗带偏,代价是强退化下接地显著下降。
论文用冻结编码器的逐层探测研究非裔美国英语词尾辅音丛弱化,证明两种模型都能区分弱读与完整形式且弱读仍保留底层塞音身份,代价是二分类准确率受协同发音和丛类型制约而只能达到七到八成。
论文用四类不流利标记改造 whisper-small.en,先在 SME 上建立标记机制再按 Pitt、Delaware 顺序持续适配,发现能稳定发出标记的方法都要付出预处理词错率代价,而跨注意力少数头的共享特化解释了标记学习与通用识别之间的冲突。
针对 Transformer 语音识别难解释且时间定位粗的问题,LEAF-X 选择模型内部注意力做熵加权与跨层聚合解释,在 Whisper 与 Canary 上以更低的删除代价和不稳定性支持更忠实的词帧对齐,但因果重加权带来额外前向开销且未做用户研究验证。
该研究用 FinnAffect 自发芬兰语语料和 127 种文本加音频特征组合做效价与唤醒度回归,证明双模态组合把效价 CCC 推到 0.428 而唤醒度仍以音频为主达到 0.688,代价是可解释词典与句法特征单独解释力很弱。
论文用去掉舌区输入和舌掩膜引导的双编码器检验舌区贡献,发现在单帧二维卷积映射下两种操作均未带来统计显著的质量变化,但引导模型把激活集中到了舌区,代价是结构更复杂而客观指标没有提升。