Transformer

语音/音乐/音频论文速递 2026-08-11 共分析 40 篇论文 ⚡ 今日概览 📥 抓取 40 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音视频理解 4篇 ████ #音频生成 4篇 ████ #音乐生成 3篇 ███ #音频字幕生成 3篇 ███ #声源定位 2篇 ██ #语音合成 2篇 ██ #语音情感识别 2篇 ██ #语音编码 2篇 ██ 📊 论文评分排行榜（40 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 AVCap: Reinforcing Audio-Video Joint Caption with Detai 8.4分 前25% 方法研究 #音频字幕生成 🥈 Deferred Audio Pruning with Local Audio-Visual Dynamics 8.4分 前25% 方法研究 #模型剪枝 🥉 PACE: A Playback-Aligned Context Engine for LLM-Based F 8.0分 前25% 系统技术报告 #语音交互 4. REFRAMED: Towards Realistic Audio Description Generatio 8.0分 前25% 数据集与基准 #音频字幕生成 5. SraVaani 1.0: Scaling Inclusive Speech Recognition for 7.9分 前25% 模型报告 #语音识别 6. AudioMap: Cloze-and-Choice Reinforcement Learning for T 7.9分 前25% 方法研究 #音频字幕生成 7. SAMOT: State-Aware Step Modulation and Optimal Transpor 7.7分 前25% 方法研究 #音视频理解 8. ReLMCodec: Designing Predictable Speech Tokens from Pre 7.7分 前25% 方法研究 #语音编码 9. VoxZip: Semantic-Anchored Temporal KV Cache Compression 7.7分 前25% 方法研究 #音频理解 10. Steering dense music retrieval with open-vocabulary con 7.7分 前25% 方法研究 #音乐检索 11. VIOLET: High-Fidelity Violin Synthesis with Techniques 7.6分 前25% 方法研究 #音乐生成 12. SonicWeave: Chunk-Routed Mixture-of-Experts for Unified 7.6分 前25% 模型报告 #音频生成 13. Beyond Reconstruction: Full-Context Generative DiT for 7.5分 前25% 系统技术报告 #音乐生成 14. From Inaudible Inputs to Model Failures: Low-Frequency 7.4分 前50% 方法研究 #音频理解 15. Beyond Piano: Cross-Instrument MIDI Velocity Estimation 7.3分 前50% 方法研究 #音乐理解 16. omni-macos: On-Device Omni-Modal Search on Apple Silico 7.2分 前50% 系统技术报告 #音频检索 17. SCoPE: Training-Free Audio-Visual Event Perception via 7.1分 前50% 方法研究 #音视频理解 18. BAMU: Bitstream-Aware Marginal-Utility Allocation for F 7.1分 前50% 方法研究 #语音编码 19. Dramarrator: Object-Based Audio Editing for Audio Drama 7.0分 前50% 系统技术报告 #音频生成 20. CuteTTS: Efficient and High-Quality Speech Synthesis vi 7.0分 前50% 系统技术报告 #语音合成 21. RAG-Audio: Retrieval-Augmented Generation for Faithful 6.9分 前50% 方法研究 #音频生成 22. Listen, See and Track: Spatio-Temporal Audio-Visual Sou 6.7分 前50% 数据集与基准 #音视频问答 23. From Speech to Interaction: Analyzing Multimodal System 6.6分 前50% 系统技术报告 #音视频语音识别 24. MADBench: A Benchmark for Modality-Aware Audio Deepfake 6.6分 前50% 数据集与基准 #音视频理解 25. A Unifying Perspective on Audio Generative Modeling: La 6.5分 前50% 理论研究 #音频生成 26. Multilingual Emotion Neurons in Large Audio-Language Mo 6.5分 前50% 方法研究 #语音情感识别 27. DAVE: A Decoupled Audio-Visual Enhancement Framework fo 6.5分 前50% 系统技术报告 #音视频语音分离 28. Structured Phonological Representations for Audio-Artic 6.5分 前50% 方法研究 #语音属性识别 29. CtrlSpeech: Coarse-to-Fine Control for Expressive Speec 6.4分 前50% 方法研究 #语音合成 30. Neural Array-Generic Direction-of-Arrival Estimation Ex 6.4分 前50% 方法研究 #声源定位 31. AI-Guided Learning: Research on Knowledge and Skill Acq 6.3分 前50% 系统技术报告 #音视频理解 32. Speaker Role and Language Diarization for Analyzing Mul 6.3分 前50% 应用研究 #说话人日志 33. MusicLayout: Explicit Structural Planning for Controlla 6.3分 前50% 系统技术报告 #音乐生成 34. Mitigating Over-Suppression in Speech Enhancement via I 6.2分 前50% 方法研究 #语音增强 35. Physics-Informed Learning for Robust Acoustic Localizat 6.2分 前50% 方法研究 #声源定位 36. EmoS: A Theory-Grounded Framework for Evaluating and Al 6.2分 前50% 数据集与基准 #语音情感识别 37. Dynamic Clustering for Cross-Segment Permutation Alignm 6.2分 前50% 方法研究 #语音分离 38. The Voiceprint Fallacy: Why Voices Are Not Unique Biome 6.0分 前50% 综述 #说话人验证 39. Investigating Multimodal Informativity under Different 5.9分 前50% 方法研究 #多模态模型 40. Machine-Learning-Based Diagnostic Framework for Passive 5.6分 前50% 应用研究 #音频分类 📋 论文列表 🥇 AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward 8.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ...

📄 Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing 标签：#语音编辑 #扩散模型 #音频修复 #Transformer #零样本 7.3/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 7.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音编辑 | #扩散模型 | #音频修复 #Transformer | arxiv 👥 作者与机构 第一作者：Iftach Shoham（Ben-Gurion University of the Negev）与 Tali Dror（Ben-Gurion University of the Negev），论文标注为共同一作 作者列表：Iftach Shoham、Tali Dror、Oren Gal（University of Haifa）、Haim Permuter（Ben-Gurion University of the Negev）、Gilad Katz（Ben-Gurion University of the Negev）、Eliya Nachmani（Ben-Gurion University of the Negev） 通讯作者：未说明 💡 毒舌点评 把 RVQ 码本的粗到细层级显式编码进离散扩散的条件因子化，是比直接 flatten 所有码本更贴合语音 codec 结构的建模选择；代码仓库也给了。但语音编辑任务上相对 VoiceCraft 的 WER 只从 0.124 降到 0.121，差距几乎落在标准差范围内；实验只用了 RealEdit 一个基准，没有对比任何扩散/流匹配类非自回归方法，也没有人工听感评测。修复任务在短 gap 上的 MCD 优势很突出，但整体说服力仍配不上方法设计的优雅度。 ...

语音/音乐/音频论文速递 2026-08-10 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音情感识别 2篇 ██ #音乐理解 2篇 ██ #音频伪造检测 2篇 ██ #音频生成 2篇 ██ #多模态模型 1篇 █ #歌唱生成 1篇 █ #语音合成 1篇 █ #语音增强 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 总分 分档 文档类型 主任务 🥇 How Much AI Is in This Track? Quantifying the Proportio 8.3分 前25% 方法研究 #音频伪造检测 🥈 Objects as Audio-Visual Modal Sound Fields 7.6分 前25% 方法研究 #音频生成 🥉 StreamArena: Toward Continuous, Interactive, and Long-H 7.6分 前25% 数据集与基准 #多模态模型 4. Frame-Level Pansori Mode Classification with Complement 7.6分 前25% 数据集与基准 #音乐理解 5. Multi Codec Discrete Diffusion Model for Text Guided Sp 7.3分 前50% 方法研究 #语音编辑 6. MI-MIDI: Mechanistic Interpretability of Text-to-MIDI G 7.1分 前50% 方法研究 #音乐生成 7. SemBridge: Semantic Token Anchoring for Continuous-Late 7.0分 前50% 方法研究 #语音合成 8. Do Audio Language Models Use Paralinguistic Evidence? C 6.9分 前50% 数据集与基准 #语音情感识别 9. Separating Decision-Rule Misalignment from Readout-Cove 6.8分 前50% 方法研究 #语音情感识别 10. MMAG: A Multi-Control Mixed Audio Generation Benchmark 6.8分 前50% 数据集与基准 #音频生成 11. Assessing AI-generated music detection in real-world br 6.8分 前50% 数据集与基准 #音频伪造检测 12. LSEAD: A Privacy-Preserving LLM-Based Speech Analysis F 6.6分 前50% 系统技术报告 #语音识别 13. Cloud-Boosted Low-Compute Multi-Channel Speech Enhancem 6.0分 前50% 方法研究 #语音增强 14. Shape Your Feed: An LLM-based Agentic System for Conver 5.7分 前50% 系统技术报告 #音视频交互 15. From Prompting to Describing: A Cross-Cultural Study of 5.5分 前50% 应用研究 #音乐理解 16. Beyond Call and Response: Modelling Reciprocal Coordina 5.5分 前50% 方法研究 #歌唱生成 📋 论文列表 🥇 How Much AI Is in This Track? Quantifying the Proportion of AI-Generated Stems in Hybrid Music Mixtures 8.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ...

📄 Audio-to-Score Transcription using Pre-trained Features, Data Augmentation, and the New SheetSage-A2S Dataset 标签：#音乐转录 #Transformer #预训练 #数据集 #基准测试 7.7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：中 | #音乐转录 | #Transformer | #预训练 #数据集 | arxiv 👥 作者与机构 第一作者：Eoin Cummins（University College Dublin） 通讯作者：Yaolong Ju（Great Bay University），电子邮箱：juyaolong@gbu.edu.cn 作者列表：Eoin Cummins（University College Dublin）、Zhongyi Huang（Guangxi Normal University）、Alexandre D’Hooge（Great Bay University）、Zhuoro Mo（Shenzhen University）、Yaolong Ju（Great Bay University） 💡 毒舌点评 SheetSage-A2S 数据集本身是 A2S 走向流行音乐真实录音的重要资产，61 小时、9,468 个片段的规模填补了该方向的数据空白；但模型侧本质是“换预训练编码器 + 扩大 FFN + 数据增强”的组合，实验虽然完整，却既未量化 MuQ 预训练数据与评估集的潜在重叠，也未与 MERT/MusicFM 等其他音乐基础模型做公平对比，因此“MuQ 是合适选择”的结论仍缺乏足够说服力。 ...

📄 Beyond Residual Connections: Manifold-Constrained Hyper-Connections for Robust Speaker Representation Learning 标签：#说话人验证 #CNN #音频理解 #Transformer #模型评估 6.0/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #说话人验证 | #CNN | #音频理解 #Transformer | arxiv 👥 作者与机构 作者列表为 Zezhong Jin、Xiaoyu Wang、Zhe Li、Chong-Xin Gan、Zilong Huang、Man-Wai Mak、Kong Aik Lee。论文脚注列出的单位有三个：1. 香港理工大学电子及资讯工程学系（Dept. of EEE, The Hong Kong Polytechnic University）；2. 百度（Baidu Inc.）；3. 香港大学言语、语言与认知实验室（Speech, Language, and Cognition Laboratory, The University of Hong Kong, Hong Kong SAR）。论文正文未逐位标注作者与单位的对应关系；第一作者 Zezhong Jin 的邮箱 zezhong.jin@connect.polyu.hk 可确认其属于香港理工大学。通讯作者信息未披露。 ...

📄 Bias Analysis of L2 Speaking Assessment Systems Using Concept Activation Vectors 标签：#语音质量评估 #Transformer #可解释性 #模型评估 #多语言 6.7/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音质量评估 | #Transformer | #可解释性 #模型评估 | arxiv 👥 作者与机构 第一作者：Arya Labroo（未说明） 通讯作者：未说明 作者列表：Arya Labroo（未说明）、Mengjie Qian（未说明）、Kate Knill（未说明） 💡 毒舌点评 把CAV/SAE这套可解释性工具搬到L2口语自动评分偏置审计上，“概念可恢复不等于概念影响分数”与“SAE的重建目标会稀释梯度敏感性”都是很有信息量的负结果。但四个探针点全部位于两个评分器的回归头内部，并未触达BERT/Whisper主干Transformer层；核心代码、模型权重与训练超参一律未开放，SAE也只给出m/k/稀疏度这类结构配置，读者很难判断“SAE导致Bgr衰减”究竟是方法固有缺陷还是实现局限性。 ...

📄 Decolonizing Linguistic Policies in Automated Speech Recognition: A Framework for Cross-Culturally Competent Speech AI 标签：#语音识别 #Transformer #低资源 #多语言 #音频理解 7.8/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 0.6/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.8/10 | 前25% | 文档类型：理论研究 | 评分置信度：中 | #语音识别 | #Transformer | #低资源 #多语言 | arxiv 👥 作者与机构 第一作者：Jay L. Cunningham（DePaul University, School of Computing, RAISE Lab, USA；jcunni37@depaul.edu） 通讯作者：未标注 作者列表： Jay L. Cunningham（DePaul University, School of Computing, RAISE Lab, USA；jcunni37@depaul.edu） Mark Atta Mensah（York University, Electrical Engineering and Computer Science, Canada；mamensah@yorku.ca） Richard Martinez（Independent Researcher, USA；martinezrichardme@gmail.com） João Vieira da Silva Neto（DePaul University, School of Computing, RAISE Lab, USA；jvieirad@depaul.edu） Efi Dawodu（DePaul University, School of Computing, RAISE Lab, USA；edawodu@depaul.edu） 💡 毒舌点评 一篇题为“去殖民化”的论文，落地时却几乎全靠概念装置：七层模型、3M伤害分类、四支柱框架，术语琳琅满目，唯独缺少作者自己承认的那个东西——实验。通篇以“殖民语言等级”“结构暴力”为批判矛头，但给出的药方是一个“最低审计协议”式的未来待办清单；没有新架构、没有基准、没有代码，甚至连一个示范性审计都没有。用它自己的话说，这是“诊断地图”，可地图画得再细，不迈出一步也到不了任何地方。更讽刺的是，论文批评WER意识形态，却拿不出任何替代性的量化验证；批评北美机构特权，却由北美大学机构和独立研究员用英语发表。5.1分不算冤枉：批判性有余，而工程与验证几乎缺席。 ...

📄 EG-VAE: A Unified Framework for Electric Guitar Tone Transfer and Removal 标签：#音频生成 #变分自编码器 #多任务学习 #音频理解 #Transformer 7.3/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频生成 | #变分自编码器 | #多任务学习 #音频理解 | arxiv 👥 作者与机构 第一作者：Yen-Tung Yeh（National Taiwan University） 通讯作者：未说明 作者列表：Yen-Tung Yeh（National Taiwan University）、Yun-Ning (Amy) Hung（Moises）、Yi-Hsuan Yang（National Taiwan University） 💡 毒舌点评 用“掩码前向”统一训练解耦与推理移除的切入点很巧，且 seen/unseen 双设置、主观+客观+消融全套证据使得“统一优于分离”的结论基本站得住。但全文只给 demo 页、不给代码/权重/数据，且“unseen”仅来自同一厂商 Neural DSP 的另一套插件，实际泛化边界被明显高估。对最相关的 ST-ITO 只字未做实验对比，是审稿意见里躲不开的一刀。 ...

📄 Explicit and Stable Pseudospectral Time-Domain Method for the Föppl-von Kármán Equations 标签：#音频理解 #Transformer #模型评估 7.2/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #Transformer | #模型评估 | arxiv 👥 作者与机构 第一作者：Victor Zheleznov（Acoustics and Audio Group, University of Edinburgh） 通讯作者：Victor Zheleznov（Acoustics and Audio Group, University of Edinburgh，邮箱 v.zheleznov@ed.ac.uk） 作者列表：Victor Zheleznov（University of Edinburgh）；Stefan Bilbao（STMS UMR9912, IRCAM, CNRS, Sorbonne Université） 💡 毒舌点评 伪谱模态域/空间域交替、Airy 函数余弦展开、非负势能证明、SAV 显式时间积分、漂移控制项，这些构件被组装成一套自洽且数学上干净的 Föppl–von Kármán 板求解器，代码和声音示例也一并公开。可惜的是，论文几乎没有做“对手赛跑”：没有与模态张量法、有限差分法或 Kirby–Yosibash 隐式迭代法的运行时间对比，没有收敛阶测试，也不报告任何一个实际执行耗时。“计算复杂度更低”停留在渐近符号层面，实验证据无法支撑“更适合实时应用”这一核心卖点。 ...

📄 KVAE: Family of Tokenizers for Multimodal Generative Models 标签：#多模态模型 #变分自编码器 #音频编码 #音频理解 #Transformer 8.1/10 | 创新 1.3/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 🔥 8.1/10 | 前25% | 文档类型：模型报告 | 评分置信度：中 | #音频编码 | #变分自编码器 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：Andrey Shutkin（Kandinsky Lab） 通讯作者：未说明 作者列表：Andrey Shutkin、Denis Parkhomenko、Ivan Kirillov、Kirill Chernyshev、Kirill Malakhov、Ilia Vasiliev、Ilia Trushkin、Valeriya Kobenko、David Chikovani、Alexander Ivanov、Azat Saginbaev、Egor Silvestrov、Ivan Mikheev、Konstantin Zakharov，均署名 Kandinsky Lab 💡 毒舌点评 把 tokenizer 当作影响扩散生成的第一公民来做，跨图像、视频、音频统一评估 diffusability，并用 tokenizer-swap 和主观评测证明“重建好不等于生成好”，这是很实用的工程视角。但最关键的音频对齐目标、感知损失具体配置和大量精确超参数被推到“后续 publication”，导致读者很难独立复现。更值得注意的是，客观指标上并非处处 SOTA：音乐域 FAD/CLAP 仍落后于 MMAudio，语音域 SI-SDR 仍落后于 MovieGen DACVAE；最终“全面超越”的结论主要靠 side-by-side 主观胜率撑住，而主观评测又没有给出标注者数量、一致性和置信区间。 ...