可解释性

📄 ADEPT: RL-Aligned Agentic Decoding of Emotion via Evidence Probing Tools — From Consensus Learning to Ambiguity-Driven Emotion Reasoning #语音情感识别 #强化学习 #多模态模型 #可解释性 6.5/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.6/1.5 ✅ 6.5/10 | 前50% | #语音情感识别 | #强化学习 | #多模态模型 #可解释性 | arxiv 👥 作者与机构 第一作者：Esther Sun（Language Technologies Institute, Carnegie Mellon University） 通讯作者：Esther Sun（Language Technologies Institute, Carnegie Mellon University） 作者列表：Esther Sun, Bo-Hao Su, Abinay Reddy Naini, Shinji Watanabe（均来自Language Technologies Institute, Carnegie Mellon University）, Carlos Busso（Multimodal Signal Processing Laboratory, University of Texas at Dallas） 💡 毒舌点评 这项工作将“打标签”式的经典SER重构为智能体探案式的证据收集与裁决过程，框架设计颇具巧思，尤其在利用GRPO与证据信任门对齐推理质量与工具使用上展现了良好的技术深度。然而，文章在惊艳的框架叙事背后，对核心工具的底层实现算法、GRPO训练的稳定性与超参数敏感度、以及推理延迟与计算开销等现实落地问题几乎只字不提，这让整个系统更接近一个精巧的概念验证（Proof-of-Concept），距离一个可被严格复现和实际部署的机器学习系统还有相当的距离。 ...

📄 AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching #语音合成 #音频生成 #可解释性 7.6/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #知识蒸馏 | #音频生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Pengfei Zhang（香港科技大学（广州）信息枢纽人工智能学域） 通讯作者：Li Liu（香港科技大学（广州）信息枢纽人工智能学域） 作者列表：Pengfei Zhang、Tianxin Xie、Minghao Yang、Li Liu（均来自香港科技大学（广州）信息枢纽人工智能学域） 💡 毒舌点评 这篇论文最大的亮点是发现并实证了“存储-贡献分离”（SCD）现象，然后巧妙地用一个因果归因工具（FoG-A）来指导层选择，把REPA从“凭经验瞎猜”升级成了“看谁真干活”。动机清晰，intuition很有说服力。但话说回来，实验规模偏小（总步数仅500k，两个数据集），跨架构验证虽然做了但深度不够——只给了几个FAD/WER/MOS数字，缺少更系统的分析（如动态、消融等），无法确定增益是否只是某种隐式正则化的结果。虽然FoG-A排名看起来稳定，但在更长/更大规模训练下的行为完全是未知数。此外，从Jacobian链式传播直接跳到一个强烈的“蝴蝶效应”论断有些牵强，没有严谨讨论梯度衰减或中间层Jacobian性质对结论的影响。方法整体仍停留在原型验证阶段。 📌 核心摘要 问题定义：在token-conditioned音频流匹配（Flow Matching）模型中，现有的表示对齐（REPA）策略通常凭经验固定中间层（如第8层）进行监督，忽略了“存储语义最丰富的层”与“对生成速度场v_θ贡献最大的层”可能不一致，导致训练效率低下。 方法核心：提出归因引导的REPA（AG-REPA）。首先，利用前向门控消融（FoG-A）作为因果探针，量化DiT每一层对最终预测速度场的因果贡献；然后，自动选出贡献最大的Top-K层，并按贡献大小进行加权对齐，从而将对齐目标从“语义储层”转向“因果驱动层”。 与已有工作的不同：不同于固定层REPA或基于梯度范数的选择，AG-REPA首次将因果干预度量引入音频流匹配的表示对齐，明确区分“表示存储”与“函数贡献”，并据此设计了一种全新的层选择与损失加权策略。 主要实验结果（Config B, 500k步）：在LibriSpeech和AudioSet的统一音频生成任务上，AG-REPA相比于固定中层REPA（Layer 4, 8, 12），语音FAD从1.45降至1.29，音效FAD从2.88降至2.56，语音MOS从3.92升至4.12。跨架构（Voicebox, CosyVoice, F5-TTS）实验也取得一致改进，例如在F5-TTS上FAD从1.45降至1.15。关键消融显示，对齐FoG-A选出的“因果驱动层”相比对齐LASP选出的“表示丰富层”，FAD改善幅度提升约3.4倍，且收敛加速约3.3倍。 实际意义与普适性：为扩散/流匹配模型的训练加速提供了一种轻量、可移植的归因引导范式。其诊断工具集（BiT-C, LASP, FoG-A）不仅服务于AG-REPA，也为理解其他生成架构的内部行为提供了可操作的工具。 主要局限性：实验在有限训练规模（500k步）下进行；FoG-A排名虽短程稳定，但在更长训练或模型显著漂移后是否依然有效未知；方法依赖双教师蒸馏，增加了部署依赖；未在更泛化的音频/视觉任务上进行验证。 🔗 开源详情 代码：https://github.com/zpforlove/AG-REPA 模型权重：未提供。 数据集：LibriSpeech 与 AudioSet，论文未直接提供下载链接，但LibriSpeech可通过https://www.openslr.org/12 获取，AudioSet通过https://research.google.com/audioset/ 获取。 Demo：未提供。 复现材料：论文附录提供了部分架构和诊断协议细节，但未提供完整的训练配置文件、预训练检查点或独立复现脚本。 论文中引用的相关开源项目： Whisper (large‑v3): https://github.com/openai/whisper BEATs: https://github.com/microsoft/unilm/tree/master/beats RepCodec: 引用自 Huang et al. (2024) Vocos: https://github.com/gemelo‑ai/vocos Qwen3‑0.6B‑Base: https://huggingface.co/Qwen/Qwen3‑0.6B CosyVoice: https://github.com/FunAudioLLM/CosyVoice F5‑TTS: https://github.com/swivid/F5‑TTS Matcha‑TTS: https://github.com/shivammehta25/Matcha‑TTS DINOv2: https://github.com/facebookresearch/dinov2 🏗️ 方法概述和架构 整个工作围绕一个两阶段的统一音频生成流水线展开：第一阶段是自回归大语言模型（LLM）预测离散声学token；第二阶段是基于DiT的流匹配模型将这些token生成为连续mel谱，再经由神经声码器合成波形。本文的核心贡献并不在该流水线设计，而在于第二阶段DiT训练过程中的表示对齐策略。作者引入了一套“先诊断、后干预”的机制，包含三个互补的探测工具和一个归因引导的训练算法。 ...

📄 FakeWorld 1.0: An Omni-modal Benchmark for Fake Media and Content #可解释性 #基准测试 #多模态模型 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.1/10 | 前50% | #可解释性 | #多模态模型 | #基准测试 | arxiv 👥 作者与机构 第一作者：Yifeng Gao（复旦大学） 通讯作者：Xingjun Ma（复旦大学） 作者列表：Yifeng Gao（复旦大学）、Yifan Ding（复旦大学，阿里巴巴集团）、Li Wang（复旦大学）、Feida Huang（复旦大学）、Ye Sun（复旦大学）、Yixu Wang（复旦大学）、Xin Wang（复旦大学）、Yutao Wu（迪肯大学）、Hanxun Huang（墨尔本大学）、Yunhao Feng（复旦大学，阿里巴巴集团）、Yingshui Tan（阿里巴巴集团）、Xingjun Ma（复旦大学）、Yu-Gang Jiang（复旦大学） 💡 毒舌点评 论文将一个极具野心的“媒体真伪”与“内容虚实”交叉评估理念推向了全模态，构建了一个高保真的混合欺骗场景，其问题定义令人眼前一亮。然而，在解决方案上却显得有点“虎头蛇尾”。核心的OmniCheck框架将检测重任押注于一个基于Qwen2.5-Omni-3B的LoRA微调小模型，这好比用精巧的锁扣去守护一扇纸糊的门。诚然，模型小、跑得快，但与它要评估的那些动辄上百亿参数的前沿大模型相比，其检测能力的理论上限令人存疑，且全文对数据、代码与模型的开源情况讳莫如深，对于一篇以Benchmark为核心贡献的论文而言，这无疑是一个显著的减分项。 ...

📄 Multimodal Fact-Level Attribution for Verifiable Reasoning #音频理解 #可解释性 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.4/10 | 前50% | #音频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：David Wan（UNC Chapel Hill） 通讯作者：David Wan（UNC Chapel Hill） 作者列表：David Wan（UNC Chapel Hill）、Han Wang（UNC Chapel Hill）、Ziyang Wang（UNC Chapel Hill）、Elias Stengel-Eskin（The University of Texas at Austin）、Hyunji Lee（UNC Chapel Hill）、Mohit Bansal（UNC Chapel Hill） 💡 毒舌点评 这篇论文在"可验证推理"的命题下，构建了一个精细的多模态事实级归因评估框架，将文本域的原子事实分解和Precision/Recall引用评估范式迁移到了视频+音频场景，实验覆盖了Gemini和Qwen等主流MLLM，揭示了"推理强不代表能正确举证"的核心洞察。然而，MURGAT-SCORE本质上是一个由多个LLM组件级联而成的评估pipeline，各子任务虽非单一模型，但最优模块几乎都来自Gemini家族，尽管论文进行了跨模型评估器对比以佐证其无显著偏差，但评估框架对顶级商用闭源模型的依赖，依然限制了其在开源社区的应用与复现深度。此外，人类评估样本仅20个视频/80条回答，虽在统计相关性上勉强站得住，但用于宣称构建"基准"，其ground truth的规模和多样性都显得单薄，这使得其"基准"定位的稳固性存疑。 ...

📄 Probing Cross-modal Information Hubs in Audio-Visual LLMs #音视频理解 #可解释性 #多模态模型 7.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #音视频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：Jihoo Jung（KAIST 电气工程系） 通讯作者：Joon Son Chung（KAIST 电气工程系） 作者列表：Jihoo Jung（KAIST 电气工程系）、Chaeyoung Jung（KAIST 电气工程系）、Ji-Hoon Kim（中央大学 先进影像科学研究生院）、Joon Son Chung（KAIST 电气工程系） 💡 毒舌点评 论文提出了一个有趣的反直觉发现：在音视频大模型中，承载跨模态融合信息的并非承载物体语义的"对象token"，而是一类被视为信息盲区的"attention sink token"。这个发现本身对多模态LLM的机制理解有一定价值。但是，作者基于此洞察提出的ASD方法虽然训练免费，却带来了高达3.7倍的推理延迟，这对于一个"即插即用"的工程方案而言，实用价值大打折扣。更致命的是，所有实验仅局限于captioning任务，对更广泛的QA、推理等场景的适用性存疑。此外，AVLLM的可解释性领域整体体量尚小，该工作的实际影响力还有待时间检验。总体来看，洞察有趣但应用路径尚有距离，是一篇典型的"机制分析强但下游应用弱"的论文。 ...

📄 Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech #语音合成 #语音情感识别 #大语言模型 #可解释性 #零样本 7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7/10 | 前50% | #语音合成 | #大语言模型 | #语音情感识别 #可解释性 | arxiv 👥 作者与机构 第一作者：Hongfei Du（威廉玛丽学院计算机系） 通讯作者：Ye Gao（威廉玛丽学院计算机系） 作者列表：Hongfei Du、Jiacheng Shi、Sidi Lu、Gang Zhou、Ye Gao（均来自威廉玛丽学院计算机系） 💡 毒舌点评 用SAE在LLM-TTS语义残差流中寻找情感稀疏特征的想法颇具启发性，论证了情感并非单一全局向量偏移，而是少数几个潜在方向协调作用的结果，构成了本文最核心的分析贡献。但方法高度耦合于IndexTTS2单个骨干，且在特征选择上完全依赖配对情感数据，让“即插即用”的承诺在通用性上打了折扣；缺乏与最新激活转向工作（如EmoSteer-TTS）的直接对比，也让SOTA声明略显仓促。 📌 核心摘要 本文针对LLM-based TTS系统情感控制缺乏可解释性的问题，提出利用稀疏自编码器（SAE）在语义骨干中学习并调控情感相关稀疏特征。核心管线的第一步是在冻结的TTS骨干（IndexTTS2）上训练一个过完备的Top-k SAE（维度1280→4096→1280, k=32），将残差流中稠密的隐状态分解为可解释的稀疏特征激活。第二步，在离线分析阶段，通过对齐文本和说话人音色，构建配对的中性-情感样本，并基于提出的句子级情感选择性评分（emotion selectivity score，简化为配对激活频率差），可靠地筛选出与目标情感高度相关的Top-m个潜在特征。 ...

📄 Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization #模型剪枝 #可解释性 5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.9/10 | 前50% | #模型剪枝 | #模型剪枝 | #可解释性 | arxiv 👥 作者与机构 第一作者：Zheng Fang（武汉大学） 通讯作者：Shenyi Zhang（武汉大学数学与人工智能研究所） 作者列表：Zheng Fang（武汉大学）、Xiaosen Wang（华中科技大学）、Shenyi Zhang（武汉大学数学与人工智能研究所）、Shaokang Wang（上海交通大学）、Zhijin Ge（西安电子科技大学） 💡 毒舌点评 本文以一个直观的梯度能量集中现象为切入点，提出稀疏token选择优化替代传统密集波形更新，想法简单，实验在三款主流ALM上也展示了不错的攻击成功率。但问题同样刺眼：整个方法深绑白盒威胁模型，离实际攻防场景太远；更致命的是无代码、无模型、无Demo，连复现的最小诚意都没有，让其宣称的“促进安全对齐研究”显得像个空口号。 📌 核心摘要 本文研究音频语言模型(ALM)的越狱攻击，质疑密集波形更新的必要性。通过分析token对齐的梯度能量，发现梯度高度集中在少数音频token上（例如Qwen3-Omni上前16% token占90%梯度能量）。据此提出Token-Aware Gradient Optimization (TAGO)，在每步迭代中仅保留梯度能量最高的top-k token对应的波形区域进行稀疏更新，并辅以模型兼容的前缀模板和早停(EOS)抑制。在Qwen3-Omni、Qwen2.5-Omni和LLaMA-Omni上，TAGO在token保留率0.25时仍能维持86%的LLM-Judge ASR（Qwen3-Omni），远超随机后剪枝的Post-hoc prune基线，且攻击扰动SNR均在20dB以上，不易察觉。结果表明密集波形更新存在大量冗余，稀疏token级优化足以实现高效越狱。不足之处在于仅适用于白盒设定，且完全未提供开源代码或模型权重。 ...

📄 Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition #多模态模型 #可解释性 5.3/10 | 创新 1.1/2 | 严谨 0.9/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.3/10 | 后50% | #音视频理解 | #参数高效微调 | #多模态模型 #可解释性 | arxiv 👥 作者与机构 第一作者：Wanlong Fang（Nanyang Technological University, Interdisciplinary Graduate Programme, AI-X & College of Computing and Data Science） 通讯作者：Alvin Chan（Nanyang Technological University, College of Computing and Data Science, Lee Kong Chian School of Medicine, Centre of AI in Medicine） 作者列表：Wanlong Fang（Nanyang Technological University）、Tianle Zhang（Nanyang Technological University, College of Computing and Data Science）、Wen Tao（Nanyang Technological University, College of Computing and Data Science）、Alvin Chan（Nanyang Technological University, College of Computing and Data Science & Lee Kong Chian School of Medicine & Centre of AI in Medicine） 💡 毒舌点评 本文将部分信息分解（PID）引入多模态决策分析，提出Sensory PID处理三模态问题，框架自身具有新颖的洞察力，并辅以大规模的实验揭示模型的行为剖面。然而，整个分析严重依赖校准掩码近似单模态条件分布，却未对由此引入的估计偏差做严格的理论或实证分析；此外，完全不开源使得其宣称的“诊断与引导训练”对于实践者的即时价值基本为零，复现门槛极高。 ...

📄 Decomposer: Learning to Decompile Symbolic Music to Programs #音乐理解 #音乐生成 #强化学习 #可解释性 8.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | #音乐理解 | #强化学习 | #音乐生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Yewon Kim (Carnegie Mellon University) 通讯作者：Chris Donahue (Carnegie Mellon University，作为共同作者排在最后，惯例默认为通讯作者) 作者列表：Yewon Kim, Apurva Gandhi, David Chung, Graham Neubig, Chris Donahue (全为Carnegie Mellon University) 💡 毒舌点评 将音乐“反编译”为程序的想法颇具巧思，两阶段的SFT+RL框架确实在逼真度和可读性之间找到了一个相对实用的平衡点，工程实现完整度也高。然而，可读性的衡量标尺看似面面俱到，实则是用LLM法官打钩的清单来逼近人类的审美直觉，略显机械；此外，这种清单对Chiptune等特定音乐风格的适配性存疑，但作者对此论证不足。整体而言，这是一个优雅但不乏瑕疵的跨领域应用，在音乐AI领域开辟了一个有趣但尚需打磨的新方向。 ...

语音/音乐/音频论文速递 2026-07-03 共分析 31 篇论文 ⚡ 今日概览 📥 抓取 31 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 4篇 ████ #声源定位 4篇 ████ #语音识别 4篇 ████ #语音交互 3篇 ███ #语音合成 3篇 ███ #音视频理解 2篇 ██ #语音增强 2篇 ██ #音乐理解 1篇 █ 📊 论文评分排行榜（31 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Unlocking Speech-Text Compositional Powers: Instruction 8.5分 前25% #语音交互 🥈 Decomposer: Learning to Decompile Symbolic Music to Pro 8.4分 前25% #音乐理解 🥉 A global predicted-fMRI drive signal from TRIBE does no 7.7分 前25% #音视频理解 4. Cross Domain Few-Shot Class-Incremental Audio Classific 7.4分 前50% #音频分类 5. Self-Supervised Test-Time Tuning for Packet Loss Concea 7.4分 前50% #音频修复 6. Reasoning LLM Improves Speaker Recognition in Long-form 7.2分 前50% #音视频理解 7. SelectTSL: Prompt-Guided Selective Target Sound Localiz 7.1分 前50% #声源定位 8. Enhancing Acoustic-to-Articulatory Inversion with Multi 7.0分 前50% #语音交互 9. TurnNat: Automatic Evaluation of Turn-Taking Naturalnes 7.0分 前50% #语音交互 10. Audio-Based Understanding of Audiobook Narration Appeal 6.9分 前50% #语音属性识别 11. H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-b 6.9分 前50% #语音识别 12. An Efficient vLLM-Based Inference Pipeline for Unified 6.8分 前50% #语音合成 13. Few-Shot Open-Set Audio Classification Using Attention 6.8分 前50% #音频分类 14. Beyond Words: Towards Effective Modeling of Non-Verbal 6.4分 前50% #语音识别 15. LMPAN: A Lightweight Multi-Path Alignment Network for J 6.2分 前50% #语音增强 16. NAVER LABS Europe Submission to the Instruction-followi 6.2分 前50% #语音翻译 17. Pmeta-TLA: Backdoor Attacks for Speech Classification M 6.0分 前50% #语音唤醒 18. Neural Audio Codec with Adjustable Token Temporal Resol 5.8分 前50% - 19. SPARCLE: SPeaker-aware Aligned Representations via Cont 5.8分 前50% #语音合成 20. Speaker head orientation estimation with a single micro 5.8分 前50% #声源定位 21. Towards a Phonology-Informed Evaluation of Multilingual 5.7分 前50% #语音质量评估 22. Rethinking Speech-LLM Integration for ASR: Effective Jo 5.6分 前50% #语音识别 23. RT-Tango: Real-Time Distributed Binaural Speech Enhance 5.5分 前50% #语音增强 24. Quantifying the Uncertainty of Blindly Estimated Room E 5.2分 后50% #音频检索 25. CNN Models for Microphone Array Covariance Matrix Upsam 5.0分 后50% #声源定位 26. A Multi-Branch Hierarchy-Aware Framework for Heterogene 4.9分 后50% #音频分类 27. From Monolingual to Multilingual: Evaluating Mamba for 4.8分 后50% #语音识别 28. DRL-CLBA: A Clean Label Backdoor Attack for Speech Clas 4.7分 后50% #音频分类 29. Spatial Speech Perception Systems: A Survey of Sound So 4.1分 后50% #声源定位 30. UT-AISTimprt submission for ICME 2026 Grand Challenge o 4.1分 后50% #音乐生成 31. Using embeddings to predict spoken word duration and pi 4.0分 后50% #语音合成 📋 论文列表 🥇 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ...