可解释性

📄 FakeWorld 1.0: An Omni-modal Benchmark for Fake Media and Content #可解释性 #基准测试 #多模态模型 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 6.1/10 | 前50% | #可解释性 | #多模态模型 | #基准测试 | arxiv 👥 作者与机构 第一作者：Yifeng Gao（复旦大学） 通讯作者：Xingjun Ma（复旦大学） 作者列表：Yifeng Gao（复旦大学）、Yifan Ding（复旦大学，阿里巴巴集团）、Li Wang（复旦大学）、Feida Huang（复旦大学）、Ye Sun（复旦大学）、Yixu Wang（复旦大学）、Xin Wang（复旦大学）、Yutao Wu（迪肯大学）、Hanxun Huang（墨尔本大学）、Yunhao Feng（复旦大学，阿里巴巴集团）、Yingshui Tan（阿里巴巴集团）、Xingjun Ma（复旦大学）、Yu-Gang Jiang（复旦大学） 💡 毒舌点评 论文将一个极具野心的“媒体真伪”与“内容虚实”交叉评估理念推向了全模态，构建了一个高保真的混合欺骗场景，其问题定义令人眼前一亮。然而，在解决方案上却显得有点“虎头蛇尾”。核心的OmniCheck框架将检测重任押注于一个基于Qwen2.5-Omni-3B的LoRA微调小模型，这好比用精巧的锁扣去守护一扇纸糊的门。诚然，模型小、跑得快，但与它要评估的那些动辄上百亿参数的前沿大模型相比，其检测能力的理论上限令人存疑，且全文对数据、代码与模型的开源情况讳莫如深，对于一篇以Benchmark为核心贡献的论文而言，这无疑是一个显著的减分项。 ...

📄 Multimodal Fact-Level Attribution for Verifiable Reasoning #音频理解 #可解释性 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.4/10 | 前50% | #音频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：David Wan（UNC Chapel Hill） 通讯作者：David Wan（UNC Chapel Hill） 作者列表：David Wan（UNC Chapel Hill）、Han Wang（UNC Chapel Hill）、Ziyang Wang（UNC Chapel Hill）、Elias Stengel-Eskin（The University of Texas at Austin）、Hyunji Lee（UNC Chapel Hill）、Mohit Bansal（UNC Chapel Hill） 💡 毒舌点评 这篇论文在"可验证推理"的命题下，构建了一个精细的多模态事实级归因评估框架，将文本域的原子事实分解和Precision/Recall引用评估范式迁移到了视频+音频场景，实验覆盖了Gemini和Qwen等主流MLLM，揭示了"推理强不代表能正确举证"的核心洞察。然而，MURGAT-SCORE本质上是一个由多个LLM组件级联而成的评估pipeline，各子任务虽非单一模型，但最优模块几乎都来自Gemini家族，尽管论文进行了跨模型评估器对比以佐证其无显著偏差，但评估框架对顶级商用闭源模型的依赖，依然限制了其在开源社区的应用与复现深度。此外，人类评估样本仅20个视频/80条回答，虽在统计相关性上勉强站得住，但用于宣称构建"基准"，其ground truth的规模和多样性都显得单薄，这使得其"基准"定位的稳固性存疑。 ...

📄 Probing Cross-modal Information Hubs in Audio-Visual LLMs #音视频理解 #可解释性 #多模态模型 7.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | #音视频理解 | #多模态模型 | #可解释性 | arxiv 👥 作者与机构 第一作者：Jihoo Jung（KAIST 电气工程系） 通讯作者：Joon Son Chung（KAIST 电气工程系） 作者列表：Jihoo Jung（KAIST 电气工程系）、Chaeyoung Jung（KAIST 电气工程系）、Ji-Hoon Kim（中央大学 先进影像科学研究生院）、Joon Son Chung（KAIST 电气工程系） 💡 毒舌点评 论文提出了一个有趣的反直觉发现：在音视频大模型中，承载跨模态融合信息的并非承载物体语义的"对象token"，而是一类被视为信息盲区的"attention sink token"。这个发现本身对多模态LLM的机制理解有一定价值。但是，作者基于此洞察提出的ASD方法虽然训练免费，却带来了高达3.7倍的推理延迟，这对于一个"即插即用"的工程方案而言，实用价值大打折扣。更致命的是，所有实验仅局限于captioning任务，对更广泛的QA、推理等场景的适用性存疑。此外，AVLLM的可解释性领域整体体量尚小，该工作的实际影响力还有待时间检验。总体来看，洞察有趣但应用路径尚有距离，是一篇典型的"机制分析强但下游应用弱"的论文。 ...

📄 Sparse Autoencoders for Interpretable Emotion Control in Text-to-Speech #语音合成 #语音情感识别 #大语言模型 #可解释性 #零样本 7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7/10 | 前50% | #语音合成 | #大语言模型 | #语音情感识别 #可解释性 | arxiv 👥 作者与机构 第一作者：Hongfei Du（威廉玛丽学院计算机系） 通讯作者：Ye Gao（威廉玛丽学院计算机系） 作者列表：Hongfei Du、Jiacheng Shi、Sidi Lu、Gang Zhou、Ye Gao（均来自威廉玛丽学院计算机系） 💡 毒舌点评 用SAE在LLM-TTS语义残差流中寻找情感稀疏特征的想法颇具启发性，论证了情感并非单一全局向量偏移，而是少数几个潜在方向协调作用的结果，构成了本文最核心的分析贡献。但方法高度耦合于IndexTTS2单个骨干，且在特征选择上完全依赖配对情感数据，让“即插即用”的承诺在通用性上打了折扣；缺乏与最新激活转向工作（如EmoSteer-TTS）的直接对比，也让SOTA声明略显仓促。 📌 核心摘要 本文针对LLM-based TTS系统情感控制缺乏可解释性的问题，提出利用稀疏自编码器（SAE）在语义骨干中学习并调控情感相关稀疏特征。核心管线的第一步是在冻结的TTS骨干（IndexTTS2）上训练一个过完备的Top-k SAE（维度1280→4096→1280, k=32），将残差流中稠密的隐状态分解为可解释的稀疏特征激活。第二步，在离线分析阶段，通过对齐文本和说话人音色，构建配对的中性-情感样本，并基于提出的句子级情感选择性评分（emotion selectivity score，简化为配对激活频率差），可靠地筛选出与目标情感高度相关的Top-m个潜在特征。 ...

📄 Sparse Tokens Suffice: Jailbreaking Audio Language Models via Token-Aware Gradient Optimization #模型剪枝 #可解释性 5.9/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.9/10 | 前50% | #模型剪枝 | #模型剪枝 | #可解释性 | arxiv 👥 作者与机构 第一作者：Zheng Fang（武汉大学） 通讯作者：Shenyi Zhang（武汉大学数学与人工智能研究所） 作者列表：Zheng Fang（武汉大学）、Xiaosen Wang（华中科技大学）、Shenyi Zhang（武汉大学数学与人工智能研究所）、Shaokang Wang（上海交通大学）、Zhijin Ge（西安电子科技大学） 💡 毒舌点评 本文以一个直观的梯度能量集中现象为切入点，提出稀疏token选择优化替代传统密集波形更新，想法简单，实验在三款主流ALM上也展示了不错的攻击成功率。但问题同样刺眼：整个方法深绑白盒威胁模型，离实际攻防场景太远；更致命的是无代码、无模型、无Demo，连复现的最小诚意都没有，让其宣称的“促进安全对齐研究”显得像个空口号。 📌 核心摘要 本文研究音频语言模型(ALM)的越狱攻击，质疑密集波形更新的必要性。通过分析token对齐的梯度能量，发现梯度高度集中在少数音频token上（例如Qwen3-Omni上前16% token占90%梯度能量）。据此提出Token-Aware Gradient Optimization (TAGO)，在每步迭代中仅保留梯度能量最高的top-k token对应的波形区域进行稀疏更新，并辅以模型兼容的前缀模板和早停(EOS)抑制。在Qwen3-Omni、Qwen2.5-Omni和LLaMA-Omni上，TAGO在token保留率0.25时仍能维持86%的LLM-Judge ASR（Qwen3-Omni），远超随机后剪枝的Post-hoc prune基线，且攻击扰动SNR均在20dB以上，不易察觉。结果表明密集波形更新存在大量冗余，稀疏token级优化足以实现高效越狱。不足之处在于仅适用于白盒设定，且完全未提供开源代码或模型权重。 ...

📄 Towards Understanding Modality Interaction in Multimodal Language Models via Partial Information Decomposition #多模态模型 #可解释性 5.3/10 | 创新 1.1/2 | 严谨 0.9/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.3/10 | 后50% | #音视频理解 | #参数高效微调 | #多模态模型 #可解释性 | arxiv 👥 作者与机构 第一作者：Wanlong Fang（Nanyang Technological University, Interdisciplinary Graduate Programme, AI-X & College of Computing and Data Science） 通讯作者：Alvin Chan（Nanyang Technological University, College of Computing and Data Science, Lee Kong Chian School of Medicine, Centre of AI in Medicine） 作者列表：Wanlong Fang（Nanyang Technological University）、Tianle Zhang（Nanyang Technological University, College of Computing and Data Science）、Wen Tao（Nanyang Technological University, College of Computing and Data Science）、Alvin Chan（Nanyang Technological University, College of Computing and Data Science & Lee Kong Chian School of Medicine & Centre of AI in Medicine） 💡 毒舌点评 本文将部分信息分解（PID）引入多模态决策分析，提出Sensory PID处理三模态问题，框架自身具有新颖的洞察力，并辅以大规模的实验揭示模型的行为剖面。然而，整个分析严重依赖校准掩码近似单模态条件分布，却未对由此引入的估计偏差做严格的理论或实证分析；此外，完全不开源使得其宣称的“诊断与引导训练”对于实践者的即时价值基本为零，复现门槛极高。 ...

📄 Decomposer: Learning to Decompile Symbolic Music to Programs #音乐理解 #音乐生成 #强化学习 #可解释性 8.4/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | #音乐理解 | #强化学习 | #音乐生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Yewon Kim (Carnegie Mellon University) 通讯作者：Chris Donahue (Carnegie Mellon University，作为共同作者排在最后，惯例默认为通讯作者) 作者列表：Yewon Kim, Apurva Gandhi, David Chung, Graham Neubig, Chris Donahue (全为Carnegie Mellon University) 💡 毒舌点评 将音乐“反编译”为程序的想法颇具巧思，两阶段的SFT+RL框架确实在逼真度和可读性之间找到了一个相对实用的平衡点，工程实现完整度也高。然而，可读性的衡量标尺看似面面俱到，实则是用LLM法官打钩的清单来逼近人类的审美直觉，略显机械；此外，这种清单对Chiptune等特定音乐风格的适配性存疑，但作者对此论证不足。整体而言，这是一个优雅但不乏瑕疵的跨领域应用，在音乐AI领域开辟了一个有趣但尚需打磨的新方向。 ...

语音/音乐/音频论文速递 2026-07-03 共分析 31 篇论文 ⚡ 今日概览 📥 抓取 31 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频分类 4篇 ████ #声源定位 4篇 ████ #语音识别 4篇 ████ #语音交互 3篇 ███ #语音合成 3篇 ███ #音视频理解 2篇 ██ #语音增强 2篇 ██ #音乐理解 1篇 █ 📊 论文评分排行榜（31 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Unlocking Speech-Text Compositional Powers: Instruction 8.5分 前25% #语音交互 🥈 Decomposer: Learning to Decompile Symbolic Music to Pro 8.4分 前25% #音乐理解 🥉 A global predicted-fMRI drive signal from TRIBE does no 7.7分 前25% #音视频理解 4. Cross Domain Few-Shot Class-Incremental Audio Classific 7.4分 前50% #音频分类 5. Self-Supervised Test-Time Tuning for Packet Loss Concea 7.4分 前50% #音频修复 6. Reasoning LLM Improves Speaker Recognition in Long-form 7.2分 前50% #音视频理解 7. SelectTSL: Prompt-Guided Selective Target Sound Localiz 7.1分 前50% #声源定位 8. Enhancing Acoustic-to-Articulatory Inversion with Multi 7.0分 前50% #语音交互 9. TurnNat: Automatic Evaluation of Turn-Taking Naturalnes 7.0分 前50% #语音交互 10. Audio-Based Understanding of Audiobook Narration Appeal 6.9分 前50% #语音属性识别 11. H-SAGE: Holistic Speaker-Aware Guided Experts for MoE-b 6.9分 前50% #语音识别 12. An Efficient vLLM-Based Inference Pipeline for Unified 6.8分 前50% #语音合成 13. Few-Shot Open-Set Audio Classification Using Attention 6.8分 前50% #音频分类 14. Beyond Words: Towards Effective Modeling of Non-Verbal 6.4分 前50% #语音识别 15. LMPAN: A Lightweight Multi-Path Alignment Network for J 6.2分 前50% #语音增强 16. NAVER LABS Europe Submission to the Instruction-followi 6.2分 前50% #语音翻译 17. Pmeta-TLA: Backdoor Attacks for Speech Classification M 6.0分 前50% #语音唤醒 18. Neural Audio Codec with Adjustable Token Temporal Resol 5.8分 前50% - 19. SPARCLE: SPeaker-aware Aligned Representations via Cont 5.8分 前50% #语音合成 20. Speaker head orientation estimation with a single micro 5.8分 前50% #声源定位 21. Towards a Phonology-Informed Evaluation of Multilingual 5.7分 前50% #语音质量评估 22. Rethinking Speech-LLM Integration for ASR: Effective Jo 5.6分 前50% #语音识别 23. RT-Tango: Real-Time Distributed Binaural Speech Enhance 5.5分 前50% #语音增强 24. Quantifying the Uncertainty of Blindly Estimated Room E 5.2分 后50% #音频检索 25. CNN Models for Microphone Array Covariance Matrix Upsam 5.0分 后50% #声源定位 26. A Multi-Branch Hierarchy-Aware Framework for Heterogene 4.9分 后50% #音频分类 27. From Monolingual to Multilingual: Evaluating Mamba for 4.8分 后50% #语音识别 28. DRL-CLBA: A Clean Label Backdoor Attack for Speech Clas 4.7分 后50% #音频分类 29. Spatial Speech Perception Systems: A Survey of Sound So 4.1分 后50% #声源定位 30. UT-AISTimprt submission for ICME 2026 Grand Challenge o 4.1分 后50% #音乐生成 31. Using embeddings to predict spoken word duration and pi 4.0分 后50% #语音合成 📋 论文列表 🥇 Unlocking Speech-Text Compositional Powers: Instruction-Following Speech Language Models without Instruction Tuning 8.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.1/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ...

📄 Automatic Detection of Stress from Speech in the Trier Social Stress Test #语音情感识别 #集成学习 #可解释性 #医疗音频 #模型比较 7.4/10 | 创新 0.9/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.4/10 | 前50% | #语音情感识别 | #集成学习 | #可解释性 #医疗音频 | arxiv 👥 作者与机构 第一作者：Hanna Drimalla（比勒费尔德大学技术学院人本人工智能组） 通讯作者：Hanna Drimalla（比勒费尔德大学技术学院人本人工智能组） 作者列表：Hanna Drimalla（比勒费尔德大学技术学院人本人工智能组）、Wieland R. Cremer（未说明）、Christine Kraus（未说明）、Oliver T. Wolf（鲁尔大学波鸿分校心理学院认知心理学系） 💡 毒舌点评 这篇论文用一个干净的全组间对照设计，为语音压力检测贡献了一个小而扎实的实证锚点，XGB 分类准确率 82% 清楚地证明讲话声确实藏着一把“压力尺子”。但回归预测整体疲软，仅有部分输出勉强显著，且 50 人的小样本令结果飘忽不定，很难让审稿人信服这套 acoustic-prosodic 特征包可以可靠地作为皮质醇的替代标志物。工程上提供了一个可复现的基线，但科学增量有限，考虑到实验设计、特征工程和模型选择均无本质突破，只能说是一份扎实但不够“亮眼”的工作。 ...

语音/音乐/音频论文速递 2026-07-02 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 3篇 ███ #说话人验证 2篇 ██ #语音合成 2篇 ██ #语音识别 1篇 █ #音视频理解 1篇 █ #语音增强 1篇 █ #语音情感识别 1篇 █ #音乐生成 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 NPUsper: Eliminating Redundant Computation for Real-Tim 9.0分 前10% #语音识别 🥈 AV-SyncBench: Decoupled Benchmarking of Temporal and Se 8.5分 前25% #音视频理解 🥉 ORCA: Open-ended Response Correctness Assessment for Au 7.9分 前25% #音频理解 4. AmbiDrop: Ambisonics-Based Array-Agnostic Neural Speech 7.5分 前25% #语音增强 5. From Objectives to Applications: Aligning Architectural 7.5分 前25% #音频理解 6. Positive-Incentive Noise Predictor for Adversarial Puri 7.4分 前50% #说话人验证 7. Automatic Detection of Stress from Speech in the Trier 7.4分 前50% #语音情感识别 8. Enhancing Flow Matching with A Unified Guidance Framewo 7.1分 前50% #语音合成 9. MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal 6.9分 前50% - 10. A Text-Steerable Instrument for Sketching Procedural So 6.8分 前50% #音乐生成 11. A Geometric Perspective on Composable Emotion Steering 6.6分 前50% #语音合成 12. Do Multimodal Large Language Models Need Reasoning to C 6.5分 前50% #语音属性识别 13. Evaluating Pretrained Music Embeddings for Cross-Perfor 5.8分 前50% #音乐检索 14. Disentangling Speaker and Language Effects in Cross-Lin 5.6分 前50% #说话人验证 15. Adaptive Perturbation Selection for Contrastive Audio D 5.3分 后50% #音频理解 16. Speech Playground: An Interactive Tool for Speech Analy 4.1分 后50% - 📋 论文列表 🥇 NPUsper: Eliminating Redundant Computation for Real-Time Whisper on Mobile NPUs 9.0/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1.0/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...