论文解读

听还是读:思维链语音翻译到底用了多少声音

论文追问思维链语音到文本翻译是否真用了语音,通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写,而在训练中混入噪声转写能提高语音利用率,但要以额外构造和训练干预为代价。

 · 更新于 2026-11-05 · 约 17 分钟 · 8137 字 阅读 →
论文解读

从算波形差到听懂好坏:LR-AVSE 用大模型描述生成可解释奖励

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题,该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励,用 PPO 微调 AVSEC-4 个基线,在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出,代价是奖励文本模式较固定且需额外大模型推理开销。

 · 更新于 2026-11-05 · 约 18 分钟 · 8819 字 阅读 →
论文解读

语音事实存在哪:先用语音因果追踪定位再跨音频与文本编辑

针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题,论文用语音感知的因果追踪定位再做单层与多层编辑,最强证据是音频层编辑总体优于文本层与微调,但多层累积更新会带来分布偏移与特异性代价。

 · 更新于 2026-11-05 · 约 20 分钟 · 10008 字 阅读 →
论文解读

模态重要性不是常数:用情绪查询门控刻画对话时间上的动态权重

论文把多模态情绪识别重构为对话上下文上的时变类别条件模态加权问题,用解耦的 GRU 时序融合对照证明上下文与门控的增益,并以扰动遮挡验证非平稳性,代价是依赖 IEMOCAP 六类封闭评测与较强的文本先验。

 · 更新于 2026-11-05 · 约 19 分钟 · 9348 字 阅读 →
论文解读

不做强制对齐:用音素识别的不确定性做可解释的构音障碍评估

该文研究话语级多维构音障碍评估,用冻结 CTC 音素识别器的后验不确定性加音素错误率构成 11 维 PED 特征,在四个主要维度上达到平均 AUROC 0.80,接近 HuBERT 的 0.81,代价是精细等级排序仍弱于黑盒表示。

 · 更新于 2026-11-05 · 约 19 分钟 · 9144 字 阅读 →
论文解读

幻觉来自只看文字不听声音:用对齐线索把小型语音语言模型拉回声学

论文把自动语音识别中的幻觉定义为对齐后的编造插入词,用因果中介与注意力行为定位到偏向文本的多头自注意力,再用连接时序分类门控与跨注意力构建 AudioSLM,在 LibriSpeech 上把开发集幻觉错误率从 52.01% 降到 8.69%,代价是正确率与替换删除略有回退且大骨干仍出现逆扩展。

 · 更新于 2026-11-05 · 约 19 分钟 · 9460 字 阅读 →
论文解读

深层收缩不是丢失:Wav2Vec 2.0 方言几何的三段轨迹

论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。

 · 更新于 2026-11-05 · 约 20 分钟 · 9969 字 阅读 →
论文解读

所谓语义码本为何更像语音:四种语音编码器的语义与语音 probing

论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO,显示编码器保留更多语音发音结构而非词汇语义,跨模态对齐增益有限且蒸馏并未带来真语义。

 · 更新于 2026-11-05 · 约 16 分钟 · 7828 字 阅读 →
论文解读

从一条全局直线到多块局部仿射:SSL-GMMVC 在自监督空间做可解释音色搬移

针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题,该文用联合高斯混合的后验加权仿射变换做语音转换,在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据,代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。

 · 更新于 2026-11-05 · 约 20 分钟 · 9804 字 阅读 →
论文解读

从找特征到找证据:用训练样本的影响力解释构音障碍严重度判定

该研究把严重度评估做成四分类并用训练全程梯度对齐估计每个训练样本对每个测试话语的影响,再用受控删除验证解释忠实度,最强证据是删高影响样本导致中度准确率从 36.8% 掉到 0.3%,代价是基分类器简单且轻度类基线极低。

 · 更新于 2026-11-05 · 约 18 分钟 · 8548 字 阅读 →
论文解读

口音信息藏在哪里:用稀疏自编码器称量神经音频编解码器的可解释性

该文以英语口音二分类为可测量任务,用 TopK 稀疏自编码器分解四种神经音频编解码器的句级表示并以相对 F1 损失度量可解释性,最强证据是 DAC 与 SpeechTokenizer 在 16 种稀疏配置下下降最小,而代价是高稀疏下全部分解表示均出现明显性能损失且位置与幅度编码方式因模型取向而异。

 · 更新于 2026-11-05 · 约 21 分钟 · 10401 字 阅读 →
论文解读

同一编码器不同深度:25 个构音障碍感知维度为何偏好不同 Wav2Vec2 层

该文用 SAP 语料先做 LoRA 无监督域适应再冻结 Wav2Vec2-Large 做 25 个 DAB 维度的层探测与可学习标量混合,报告显示最优单层随维度变化而混合优于单层,但标签偏态与时序池化限制仍在。

 · 更新于 2026-11-05 · 约 20 分钟 · 9868 字 阅读 →
论文解读

分数相似不等于听到的东西相同:三个 WavLM 检测器各自盯住了哪段声音

论文用时间对齐自监督表示上的积分梯度定位判决证据,再经 100 条样本人工标注与掩蔽反证,显示 AASIST 看非语音环境、CA-MHFA 看局部音素、SLS 看词边界与频谱完整性,而重压缩是三者共同的失效条件。

 · 更新于 2026-11-05 · 约 18 分钟 · 8811 字 阅读 →
论文解读

可懂度模型究竟听到了什么:用 eGeMAPS 逐层打开 Wav2Vec 2.0 的声学依据

该工作以口腔与口咽癌患者可懂度评估为任务,用 PWCCA 逐层度量 Wav2Vec 2.0 表征与 eGeMAPS 低层描述符的线性相关,最强证据是频谱组 0.77 与韵律组 0.71 在末层仍高度相关而嗓音质量组仅 0.65,代价是只做相关性解释而不证明因果与可部署替代效果。

 · 更新于 2026-11-05 · 约 17 分钟 · 8443 字 阅读 →
论文解读

谁说了什么:音视大模型用时间与位置编号完成三模态绑定

论文把多人说话视频的谁说了什么拆成以声音或画面为锚的跨模态检索,用受控玩具体验揭示时间编号与位置编号的三阶段绑定,并证明瓶颈在音视对齐,进而用现成说话人检测框加不到 300 步微调带来可复现的提升。

 · 更新于 2026-11-05 · 约 20 分钟 · 9839 字 阅读 →
论文解读

时间听不清不是没听见:大音频语言模型的时间推理为何失灵

论文用 1657 题的三任务受控基准诊断时间推理失败,行为与因果干预显示模型在有文本时欠用音频,而重分配音频注意力比单纯增大音频注意力更有效,但瓶颈层缩放仅将平均准确率从 55.9% 提升到 59.1% 且需逐架构调参。

 · 更新于 2026-11-05 · 约 15 分钟 · 7217 字 阅读 →
论文解读

语音与文本越狱走的是同一条内部通道:统一安全子空间的发现与转向验证

该文针对语音语言模型同时受文本与音频越狱威胁的问题,选择在中间层残差流上用主成分分析暴露拒绝与顺从的分离结构并构造可跨模态转向的向量,最强证据是音频来源的拒绝向量把文本 AutoDAN 攻击成功率从 72.69% 压到 2.82% 而反向亦成立,代价是干预强度需按模型分布手调且只验证了两模型五种攻击。

 · 更新于 2026-11-05 · 约 20 分钟 · 9737 字 阅读 →
论文解读

缺觉能不能从朗读声里听出来:用可解释小特征同时估计剥夺状态与症状

该研究在 28 人法语朗读 SOMVOICE 数据上只用 eGeMAPS 与 Snack 等可解释声学特征加 SVM 等简单分类器估计睡眠剥夺及嗜睡疲劳与警觉下降,最强证据是 PVT 速度与反应发散度 UAR 达 0.858 与 0.841 而 KSS 仅 0.662,代价是小样本与年龄性别偏倚及症状间混淆仍待验证。

 · 更新于 2026-11-05 · 约 21 分钟 · 10062 字 阅读 →
论文解读

全频带只算一次,子带逐个扫描:0–8 kHz 哪里最认识说话人

论文用带限倒谱系数扫描 0–8 kHz 并做似然比法庭语音比较,报告全频带 Cllr 为 0.13643,而 0–0.6 kHz 与 4–6 kHz 最具区分力、7 kHz 以上最弱,多子带融合可进一步低于任一单子带但仍未达到全频带水平。

 · 更新于 2026-11-05 · 约 17 分钟 · 8274 字 阅读 →
论文解读

删掉重要神经元却删不掉音高:WavLM 声学表征的九头蛇冗余与子空间级干预

论文以 WavLM 第 1 层为对象,用线性探测定位音高响度、以 JumpReLU 稀疏自编码器做解耦再做潜变量消融,发现去掉前 50 至 100 个最重要维度后探针 R2 仍保留约 97% 以上,最强证据是 INLP 子空间擦除使目标特征 R2 下降 94% 以上而响度擦除对其他探针影响小于 1.5%,代价是频谱类特征共享子空间、离散消融基本失效。

 · 更新于 2026-11-05 · 约 19 分钟 · 9461 字 阅读 →