可解释性

📄 MI-MIDI: Mechanistic Interpretability of Text-to-MIDI Generation Models via Probing, Lenses and Steering 标签：#音乐生成 #自回归模型 #可解释性 #模型评估 7.1/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音乐生成 | #自回归模型 | #可解释性 #模型评估 | arxiv 👥 作者与机构 第一作者：Jakub Poćwiardowski（华沙理工大学计算机科学研究所） 第二作者：Mateusz Modrzejewski（华沙理工大学计算机科学研究所） 通讯作者：论文未标注通讯作者 💡 毒舌点评 这篇工作把线性探针、logit/tuned lens、activation patching 和 steering 成套搬到文本到 MIDI 的符号音乐生成模型上，跨模型对比和双向干预分解是明显亮点，确实补了一个此前空白的方向。但它本质上是成熟可解释性工具的领域迁移与组合，且“架构决定预测形成方式”的核心判断建立在每种架构只有一个模型的基础上，无法排除分词、预训练数据和条件注入方式的混杂，作为因果结论仍然偏弱。更有经验的研究者会期待至少一个同架构不同 tokenizer/conditioning 的对照，或对 steering 方向做随机方向基线。 ...

📄 Separating Decision-Rule Misalignment from Readout-Coverage Limitations in Speech Language Models 标签：#语音情感识别 #语音大模型 #模型评估 #可解释性 6.8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音情感识别 | #语音大模型 | #模型评估 #可解释性 | arxiv 👥 作者与机构 第一作者：Linkai Peng（University of Connecticut, Institute for the Brain and Cognitive Sciences） 第二作者：Baorian Nuchged（University of Texas at Austin, Department of Linguistics） 通讯作者：未说明 💡 毒舌点评 论文的最大价值在于把“生成准确率低”拆成可定位的接口故障，而不是笼统归因于模型能力不足。诊断阶梯本身设计严谨，logit 校正和最小配对干预也确实把“信息可用”与“信息被使用”分开了。但全篇没有作者提供的代码、模型或数据产物，实验又局限在英文表演情感语料的四分类单选题上，外部研究者想把这套框架搬到自己的模型和语料上，几乎需要从头实现一遍。作为一篇方法研究，这种封闭性很伤可信度和实际影响力。 ...

语音/音乐/音频论文速递 2026-08-10 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音情感识别 2篇 ██ #音乐理解 2篇 ██ #音频伪造检测 2篇 ██ #音频生成 2篇 ██ #多模态模型 1篇 █ #歌唱生成 1篇 █ #语音合成 1篇 █ #语音增强 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 How Much AI Is in This Track? Quantifying the Proportio 8.3分 前25% 方法研究 #音频伪造检测 🥈 Objects as Audio-Visual Modal Sound Fields 7.6分 前25% 方法研究 #音频生成 🥉 StreamArena: Toward Continuous, Interactive, and Long-H 7.6分 前25% 数据集与基准 #多模态模型 4. Frame-Level Pansori Mode Classification with Complement 7.6分 前25% 数据集与基准 #音乐理解 5. Multi Codec Discrete Diffusion Model for Text Guided Sp 7.3分 前50% 方法研究 #语音编辑 6. MI-MIDI: Mechanistic Interpretability of Text-to-MIDI G 7.1分 前50% 方法研究 #音乐生成 7. SemBridge: Semantic Token Anchoring for Continuous-Late 7.0分 前50% 方法研究 #语音合成 8. Do Audio Language Models Use Paralinguistic Evidence? C 6.9分 前50% 数据集与基准 #语音情感识别 9. Separating Decision-Rule Misalignment from Readout-Cove 6.8分 前50% 方法研究 #语音情感识别 10. MMAG: A Multi-Control Mixed Audio Generation Benchmark 6.8分 前50% 数据集与基准 #音频生成 11. Assessing AI-generated music detection in real-world br 6.8分 前50% 数据集与基准 #音频伪造检测 12. LSEAD: A Privacy-Preserving LLM-Based Speech Analysis F 6.6分 前50% 系统技术报告 #语音识别 13. Cloud-Boosted Low-Compute Multi-Channel Speech Enhancem 6.0分 前50% 方法研究 #语音增强 14. Shape Your Feed: An LLM-based Agentic System for Conver 5.7分 前50% 系统技术报告 #音视频交互 15. From Prompting to Describing: A Cross-Cultural Study of 5.5分 前50% 应用研究 #音乐理解 16. Beyond Call and Response: Modelling Reciprocal Coordina 5.5分 前50% 方法研究 #歌唱生成 📋 论文列表 🥇 How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ...

📄 Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors 标签：#语音质量评估 #Transformer #可解释性 #模型评估 #多语言 6.7/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音质量评估 | #Transformer | #可解释性 #模型评估 | arxiv 👥 作者与机构 第一作者：Arya Labroo（未说明） 通讯作者：未说明 作者列表：Arya Labroo（未说明）、Mengjie Qian（未说明）、Kate Knill（未说明） 💡 毒舌点评 把CAV/SAE这套可解释性工具搬到L2口语自动评分偏置审计上，“概念可恢复不等于概念影响分数”与“SAE的重建目标会稀释梯度敏感性”都是很有信息量的负结果。但四个探针点全部位于两个评分器的回归头内部，并未触达BERT/Whisper主干Transformer层；核心代码、模型权重与训练超参一律未开放，SAE也只给出m/k/稀疏度这类结构配置，读者很难判断“SAE导致Bgr衰减”究竟是方法固有缺陷还是实现局限性。 ...

📄 C^3PO: Evaluating Cross-Modal Composition and Counterfactual Performance in Omnimodal Models 标签：#音视频问答 #多模态模型 #基准测试 #数据集 #可解释性 5.5/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.5/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 📝 5.5/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：中 | #音视频问答 | #多模态模型 | #基准测试 #数据集 | arxiv 👥 作者与机构 第一作者：Swapnanil Mukherjee（Microsoft Research India） 通讯作者：Swapnanil Mukherjee（Microsoft Research India，论文提供联系邮箱为 swapnanil.mukherjee12@gmail.com） 作者列表：Swapnanil Mukherjee（Microsoft Research India）、Agyeya Negi（IIIT Hyderabad）、Tanuja Ganu（Microsoft Research India）、Ponnurangam Kumaraguru（IIIT Hyderabad） 💡 毒舌点评 用自动管道造了一个看似覆盖全模态、实际由 Gemini 单方生成并单方审计的 C3PO 基准，再用这个基准宣称“Gemini-3.1-Pro 最强”，存在明显的循环评价风险。不过其 IC/CC 双轴设计与注意力熵分析确实触碰到了多模态模型“过早承诺单模态”这一真问题，且模板粒度很细，值得后续工作修正生成偏差后复用。如果作者不公开生成产物和完整模板逻辑，这个基准的实际影响力会大打折扣。 ...

📄 Diff2Mix: Controllable Music Mixing via Diffusion Models and Differentiable Audio Effects 标签：#音频生成 #扩散模型 #可解释性 #模型评估 #工业应用 7.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1/1.5 ✅ 7.5/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频生成 | #扩散模型 | #可解释性 #模型评估 | arxiv 👥 作者与机构 第一作者：Yisu Zong（机构未说明） 通讯作者：未说明 作者列表：Yisu Zong（机构未说明）、Jinjie Shi（机构未说明）、Joshua Reiss（机构未说明） 💡 毒舌点评 将参考条件扩散模型与可微调音台结合，在保持可解释性的同时实现参考风格控制，且主观听感上 Diff2Mix-P 能达到人类混音水平，这是最清晰的亮点。但客观 KAD 在多数嵌入上仍落后于 MEGAMI，论文既没有给出 CFG 权重、掩码比例和效果链顺序的消融，也未深入解释主观与客观结果倒挂的原因；摇滚参考的全体失败进一步说明单一全局风格嵌入对轨道间交互建模不足。 ...

📄 PD-GS: Phoneme-Driven 3DGS for Audio-Driven Talking Heads 标签：#音视频生成 #多模态模型 #端到端 #高效推理 #可解释性 5.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1/1.5 📝 5.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音视频生成 | #多模态模型 | #端到端 #高效推理 | arxiv 👥 作者与机构 Ao Fu（ORCID: 0009-0006-9933-9240，邮箱：220232248@seu.edu.cn）：东南大学计算机科学与工程学院；新一代人工智能技术及其跨学科应用教育部重点实验室，南京，中国。 Yi Zhou（ORCID: 0000-0003-3021-3229，邮箱：yizhou.szcn@gmail.com）：东南大学计算机科学与工程学院；新一代人工智能技术及其跨学科应用教育部重点实验室，南京，中国。 论文发表于 Proceedings of the 34th ACM International Conference on Multimedia（MM ‘26），2026年11月10–14日，巴西里约热内卢。DOI: 10.1145/3767308.3835096。 💡 毒舌点评 把音素级离散语言信息和连续音频特征用门控融合注入 3DGS 说话头，确实打中了“漏嘴”（leaky mouth）和嘴部过平滑这一真实痛点；LFM 的可视化也让融合过程有了初步可解释性。但整体仍是对 per-person 说话头框架的组件级改进，而非范式级突破：所谓音素来自离线 ASR+强制对齐，且仅 2 个受试者的消融与跨数据集实验支撑一个高达 40 音素的词汇表，证据链偏单薄；代码权重一概未公开，可复现性近于零。把“phoneme-driven”的普适性说到太满之前，至少应给出多身份、多语言、对 ASR 噪音的鲁棒性分析。 ...

语音/音乐/音频论文速递 2026-08-07 共分析 21 篇论文 ⚡ 今日概览 📥 抓取 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音属性识别 2篇 ██ #语音识别 2篇 ██ #音乐生成 2篇 ██ #音视频生成 2篇 ██ #音频生成 2篇 ██ #声源定位 1篇 █ #语音交互 1篇 █ #语音伪造检测 1篇 █ 📊 论文评分排行榜（21 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 AffectDF: The Most Comprehensive Benchmark for Speech D 8.4分 前25% 数据集与基准 #语音伪造检测 🥈 LILAC: An Idempotent Neural Speech Codec 8.1分 前25% 方法研究 #语音编码 🥉 KVAE: Family of Tokenizers for Multimodal Generative Mo 8.1分 前25% 模型报告 #音频编码 4. Decolonizing Linguistic Policies in Automated Speech Re 7.8分 前25% 理论研究 #语音识别 5. Audio-to-Score Transcription using Pre-trained Features 7.7分 前25% 数据集与基准 #音乐转录 6. Diff2Mix: Controllable Music Mixing via Diffusion Model 7.5分 前25% 方法研究 #音频生成 7. Vorch-Streamer: Extending Human Audio-Visual Generation 7.4分 前50% 方法研究 #音视频生成 8. EG-VAE: A Unified Framework for Electric Guitar Tone Tr 7.3分 前50% 方法研究 #音频生成 9. Explicit and Stable Pseudospectral Time-Domain Method f 7.2分 前50% 方法研究 #音频理解 10. FormBharo: Designing and Evaluating a Voice Agent for C 7.0分 前50% 系统技术报告 #语音交互 11. Whence the Voice? Self-supervised Dual-source Audio-Vis 6.8分 前50% 方法研究 #声源定位 12. Bias Analysis of L2 Speaking Assessment Systems Using C 6.7分 前50% 方法研究 #语音质量评估 13. Diff-Symbo: Text-Controlled Long-Duration Symbolic Musi 6.5分 前50% 方法研究 #音乐生成 14. Rethinking Automatic Music Mixing as Sequential Stem Bl 6.5分 前50% 方法研究 #音乐生成 15. How to Recognize New Words: A Comparison Between Contex 6.4分 前50% 方法研究 #语音识别 16. Beyond Residual Connections: Manifold-Constrained Hyper 6.0分 前50% 方法研究 #说话人验证 17. A Study of ASR Adaptation and Representation Dimensiona 5.7分 前50% 方法研究 #语音情感识别 18. PD-GS: Phoneme-Driven 3DGS for Audio-Driven Talking Hea 5.6分 前50% 方法研究 #音视频生成 19. The interface of intonation and lexical tone: Boundary 5.6分 前50% 综述 #语音属性识别 20. C\(^3\)PO: Evaluating Cross-Modal Composition and Counter 5.5分 前50% 数据集与基准 #音视频问答 21. ECHO: A Locally-Deployable Agentic Health Assistant wit 5.5分 前50% 系统技术报告 #语音属性识别 📋 论文列表 🥇 AffectDF: The Most Comprehensive Benchmark for Speech Deepfake Detection against Emotionally Expressive Attacks 8.4/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ...

📄 Improved Robustness in AI-Generated Music Detection 标签：#音频伪造检测 #CNN #鲁棒性 #可解释性 #音乐生成 8.0/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.4/0.5 | 工程 1/1.5 🔥 8.0/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频伪造检测 | #CNN | #鲁棒性 #可解释性 | arxiv 👥 作者与机构 第一作者：Emile Dugelay（未说明） 通讯作者：未说明 作者列表：Emile Dugelay（Deezer Research）、Thomas Barand（Deezer Research）、Baptiste Campeas（Deezer Research）、Aurélien Laouar（Deezer Research）、Darius Afchar（Deezer Research）、Romain Hennequin（Deezer Research） 💡 毒舌点评 这篇论文用一个漂亮的对数频率重映射把速度变化攻击转化成了平移不变性问题，轻量架构的鲁棒性是“长”在骨头里的，比“遇事不决就做数据扩增”的套路确实高明一个段位。但它目前只是把速度缩放这一把刀给挡了，对均衡器、动态压缩、有损转码等其他常见的音频“化妆术”视而不见，等于穿了件只能防劈砍、却怕刺戳的铠甲。此外，模型紧耦合于生成器的转置卷积指纹，换个没有这种梳状伪影的生成器架构就得歇菜，跨生成器的通用性几乎为零。 ...

语音/音乐/音频论文速递 2026-07-31 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #语音交互 2篇 ██ #音频理解 2篇 ██ #医疗音频 1篇 █ #歌唱生成 1篇 █ #语音伪造检测 1篇 █ #语音分离 1篇 █ #语音属性识别 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 SKY-Piano: A Multimodal Piano Performance Dataset 8.3分 前25% 数据集与基准 #音频理解 🥈 ACE-Data-0: Human-Centric Ambient Capture as Embodied D 8.3分 前25% 数据集与基准 #音视频理解 🥉 Improved Robustness in AI-Generated Music Detection 8.0分 前25% 方法研究 #音频伪造检测 4. Integrating Contextual Embeddings into Evaluation of Ex 7.7分 前25% 方法研究 #音乐理解 5. VocalRender: Score-Native Singing Voice Synthesis for R 7.5分 前25% 模型报告 #歌唱生成 6. WeSep: A Modular and Cue-Composable Framework for Targe 7.4分 前50% 系统技术报告 #语音分离 7. CrowdioSet and PaRIRset: Two Datasets Towards Live Musi 7.3分 前50% 数据集与基准 #音乐源分离 8. Cocktail-Talker: Multi-Speaker Dialog Modeling in Noisy 7.2分 前50% 系统技术报告 #语音交互 9. RIPPLE: Generating Multi-Channel Phase, Not Recovering 7.1分 前50% 方法研究 #音频理解 10. AgenticASR: Refining Speech Recognition in Real-World S 6.8分 前50% 系统技术报告 #语音识别 11. Teffic-Audio: Tell Fact from Fiction 6.8分 前50% 系统技术报告 #语音伪造检测 12. Does EEG Foundation Models Transfer to Speech? A Benchm 6.5分 前50% 数据集与基准 #语音识别 13. The MADRS Pipeline: Supporting Depression Assessment in 5.8分 前50% 系统技术报告 #医疗音频 14. Digital Harf: A Clinically Integrated Multimodal AI Sys 5.6分 前50% 系统技术报告 #语音交互 15. Enhancing Law-Enforcement Audio Transcription: A LoRA-B 4.8分 后50% 应用研究 #语音识别 16. Correlation between prosody and pragmatics: A case stud 4.4分 后50% 应用研究 #语音属性识别 📋 论文列表 🥇 SKY-Piano: A Multimodal Piano Performance Dataset 8.3/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0.6/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 ...