可解释性

该研究用 10982 词、84932 条语义维度标注检验多模态大模型能否从发音形式推断意义，发现模型在多数维度上超过 0.50 基线并在深层更关注标志性音素，但与人类的维度分布仍有明显差距。

论文用线性残差化减去音素与二三音子成分后，发现英文预训练的 HuBERT 和 wav2vec 2.0 靠后层仍能在帧级别线性预测词身份，并在词发现中验证去音素表示的改善，代价是依赖对齐标签且音素去除未降到机会水平。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

共分析 38 篇语音/AI 论文

针对 GMAW 角焊缝中难以实时发现的五类内部缺陷，论文用 16 帧图像与梅尔声谱的 3D 时序融合加跨块注意力将多模态 F1 提升至 0.99，并以 GradCAM 与 t-SNE 定位每类缺陷的图像关键区与更优模态，代价仅增加 0.1 GFLOPs。

在 ASVspoof 5 Track 1 的 4,080 条匹配子集上，用被动分数、键控探针、检索与说话人轮廓四路证据组成可审计记录并做晚期校准，使检索增强的固定融合从 15.84% 降至 11.91% EER、校准后达 8.43% EER 并在 33.75% 复核预算下覆盖 82.85% 错误，但最强被动 WavLM 仍为 6.71% EER。

针对仅靠音频评估无法诊断唇动与语音时序错位的问题，论文用跨模态注意力显式建模帧级对齐并导出时滞轨迹与稳定性指标，在 8 类录制条件下以线性复杂度和可视化分析实现可解释的同步性诊断。

论文把 ASR 监督前端是否丢弃声学信息当作可证伪假设，在同一 Qwen3.5-4B 流水线中对比 Whisper 与三类重建式编解码器，并用分层探针、几何比值与仅调 LM 头选项行的因果小手术证明声学结构在最终隐状态仍可恢复而 MCQA 失效主要来自读出对齐，但换前端本身不能解决情绪与环境声字幕的欠利用。

论文把幻觉拆为接地失效的必要条件与流畅编造的充分条件，用跳层因果干预定位到编码器最后 1-2 块为接地可恢复边界，并以有效秩压缩、透镜可读性与字形探针收敛作几何与可读性佐证，但干预本身只产生乱码或重复而非流畅幻觉。

在必须依赖声音的选择题上训练能提升准确率并同步增强对真实音频的行为敏感度，其内部机制是早期到中层先让音频塑造选项表征、再在中层到晚层强化选项对最终答案的贡献，而可学习的 LoRA 更新在模型特定的层带上起决定作用。

论文以 Schroeder 历史混响为案例，主张用开放架构重建 comb 与 all-pass 组合，通过 Csound 脉冲响应分析与 par/seq 重建验证理解过程，代价是遇到效率限制而把 C 编译 opcode 留作后续工作。

论文研究文本到音频视频联合生成中的语义泄漏与声源归属错误，提出只在推理时对文本-视频、文本-音频、音频-视频三条交叉注意力边加偏置的转向方法，在 100 个挑战提示上把 Qwen 声源归属分从 0.1216 提高到 0.1349，代价是约 2.5 倍推理开销。

共分析 30 篇语音/AI 论文

音视频理解 | 6.3/10

共分析 18 篇语音/AI 论文

语音情感识别 | 6.0/10

音频分类 | 5.7/10

语音伪造检测 | 7.4/10

音频分离 | 6.6/10

共分析 23 篇语音/AI 论文