语音/音乐/音频论文速递 2026-06-08

共分析 38 篇论文

⚡ 今日概览

📥 抓取 38 篇 → 🔬 深度分析完成

🏷️ 热门方向

📊 论文评分排行榜（38 篇，按分数降序）

📋 论文列表

🥇 Audio-Oscar: A Multi-Agent System for Complex Audio Scene Generation, Orchestration, and Refinement

9.9/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5

🔥 9.9/10 | 前10% | #音频生成 | #多智能体系统 | #语音合成 #音频质量评估 | arxiv

👥 作者与机构

作者：Yifan Duan, Qixiang Xu, Hengtao Wu, Zhanxun Liu, Wenhao Guan, Junxi Liu, Ziyang Ma, Kelu Xu, Xie Chen 机构：

1. MoE Key Lab of Artificial Intelligence, X-LANCE Lab, Shanghai Jiao Tong University
2. Shanghai Innovation Institute
3. Shanghai AI Laboratory
4. Xiamen University
5. State Key Laboratory of Complex & Critical Software Environment, China

💡 毒舌点评

这篇论文的核心工作是“编排”而非“发明”。它没有提出新的音频生成模型，而是像一个项目经理一样，调度了一堆现有的开源模型（LLM、TTS、TTA、TTS）来完成复杂任务。这种“系统集成”工作在工程上很有价值，但在学术创新性上略显薄弱。其最大的贡献可能是ASG-Bench这个评估基准，为评估这类复杂系统提供了标尺。然而，整个系统的“智能”严重依赖其调用的大语言模型（如DeepSeek, Qwen），而其性能天花板也受限于这些模型的能力。实验部分虽然全面，但消融实验不够深入，缺乏对关键模块（如时间线细化、批评家）影响的细致分析。总的来说，这是一篇扎实的系统论文，但离顶会最看重的“突破性”还有一步之遥。

📌 核心摘要

本文提出了Audio-Oscar，一个用于从复杂音频场景描述生成长音频的多智能体框架。该框架将生成过程分解为角色建模、语音生成、细粒度时间线规划、非语音内容（音效、音乐、歌曲）生成、后期制作及反馈驱动细化等多个协作阶段。为解决评估难题，作者构建了ASG-Bench基准，包含601个带有音频事件和时序断言标注的场景描述。实验表明，Audio-Oscar在ASG-Bench上的事件保真度、时序一致性及音频质量评分均优于WavJourney和Any2Speech等基线，并在指令跟随基准T2A-Bench和AudioTime上表现出竞争力。该工作主要贡献在于提出了一个完整的端到端多智能体生产流水线，并建立了首个针对复杂音频场景生成的评估基准。

🔗 开源详情

• 代码：https://github.com/ziye26/Audio-Oscar
• 模型权重：论文中未直接提供系统所使用的所有模型的自定义训练权重。但明确指出使用了多个开源模型（如CosyVoice, MMAudio, ACE-Step等），并提供了引用，读者可根据引用链接获取这些基础模型。
• 数据集：ASG-Bench (Audio Scene Generation Benchmark)。论文未提供数据集的直接下载链接，但提供了其构建方法的详细描述（附录C）。作为评估基准，可能后续会开放。
• Demo：https://audiooscar.github.io/
• 复现材料：论文在附录中提供了非常详细的实现细节（Appendix B），包括模型选型、部署配置、评估协议和参数设置，为复现提供了充分指导。但未提及是否提供预训练检查点或训练配置文件。
• 论文中引用的开源项目：
  • DeepSeek-V4-Flash： https://github.com/deepseek-ai/DeepSeek-V3
  • Qwen3.5系列模型： https://github.com/QwenLM/Qwen3.5
  • Qwen3-TTS-12Hz-1.7B-VoiceDesign： https://github.com/QwenLM/Qwen3-Audio
  • VoxCPM2： https://github.com/OpenBMB/MiniCPM-o
  • CosyVoice 3： https://github.com/FunAudioLLM/CosyVoice
  • MMAudio： https://github.com/swz30/MMAudio
  • Stable Audio Open： https://github.com/Stability-AI/stable-audio-open
  • ACE-Step： https://github.com/ace-step/ACE-Step
  • Demucs： https://github.com/facebookresearch/demucs
  • Qwen3-ForcedAligner-0.6B： https://github.com/QwenLM/Qwen3-Audio
  • Qwen3-Omni-30B-A3B-Instruct： https://github.com/QwenLM/Qwen3-Audio
  • vLLM-Omni： https://github.com/vllm-project/vllm
  • WhisperX： https://github.com/m-bain/whisperX
  • Omni-Cloze： https://github.com/dongshuoy/OmniCloze

🥈 Assessing True Generalisability of Audio-Visual Speech Recognisers

9.5/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.4/1.5 | 开源 1.1/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

🔥 9.5/10 | 前10% | #语音识别 | #评估与统计 | #自监督学习 #多模态模型 | arxiv

👥 作者与机构

作者：Zhaofeng Lin, Stavros Petridis, Maja Pantic, Naomi Harte 机构：1 Trinity College Dublin, Ireland；2 Imperial College London, UK

💡 毒舌点评

这篇论文根本不是在发明一个“更好”的AVSR模型，而是在无情地揭露当前AVSR领域集体自嗨的泡沫。它本质上是一篇“基准测评”论文，却起到了比很多模型创新论文更重要的作用——戳穿了LRS3基准带来的虚假繁荣。它的核心贡献是“破”而非“立”，但这种“破”恰恰是领域健康发展所急需的。作者通过近乎偏执的严谨方法（构建严格分布匹配的MV2LRS3集），得出了一个令人尴尬的结论：我们引以为傲的AVSR模型，在离开精心维护的LRS3温室后，表现得一塌糊涂。多模态融合不仅没帮忙，反而成了拖累。最讽刺的是，论文名为“评估真实泛化能力”，但其结论反而揭示了“泛化”这个概念本身在当前AVSR研究中可能被过度推广和误用。这篇论文应该被每一个致力于提升AVSR性能的研究者放在案头，用来审视自己工作的实际意义，而不是仅仅在LRS3刷榜。

📌 核心摘要

本研究旨在系统性评估当前顶尖音频视觉语音识别（AVSR）模型在分布偏移下的真实泛化能力。针对现有评估过度依赖单一LRS3基准的问题，作者从大规模MultiVSR数据集中，通过一个创新的、带权重的多维k近邻匹配策略，构建了一个高度受控的评估集MV2LRS3。该子集在七个关键声学、视觉和人口统计因素（时长、年龄、性别、肤色、头部偏航角、信噪比、语速）的分布上与LRS3测试集严格对齐。对五种代表性SOTA模型（AV-HuBERT, Auto-AVSR, USR, Whisper-Flamingo, Llama-AVSR）的评估揭示了惊人的性能崩溃：在LRS3上WER低于1.5%的模型，在MV2LRS3上WER飙升至14.0%-23.5%。通过一系列精细的控制实验（留一法分析、分桶分析、词汇分割、模态消融、错误剖面分析），论文深入剖析了性能崩溃的根源：时长是首要驱动因素；存在显著的词汇偏差；多模态融合优势在分布偏移下完全失效，甚至在部分模型中表现为性能损害。论文最后公开了MV2LRS3测试集及元数据，强烈呼吁社区采用更严格的评估基准来真正检验模型的泛化能力。

🔗 开源详情

• 代码：https://github.com/chaufanglin/mv2lrs3
• 模型权重：论文中未提及具体模型权重的开源链接。论文评估的模型（如 AV-HuBERT、Auto-AVSR、USR、Whisper-Flamingo、Llama-AVSR）的预训练权重需从其原始论文或仓库获取，本文未提供直接下载地址。
• 数据集：
  • 论文发布的数据集：MultiVSR2LRS3 (MV2LRS3) 及其元数据。获取链接：https://github.com/chaufanglin/mv2lrs3。
  • 论文中引用的基础数据集（非本文发布）：
    • LRS3-TED：论文中未提及具体开源链接，通常可从项目主页获取。
    • MultiVSR：论文中未提及具体开源链接，通常可从其原始论文获取。
    • AVSpeech：论文中未提及具体开源链接，通常可从其原始论文获取。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文中未明确提及训练配置、检查点等完整复现材料。GitHub 仓库可能包含数据集构建脚本。
• 论文中引用的开源项目：
  1. Uniface (用于估计年龄和性别)：https://github.com/yakhyo/uniface
  2. Stone (用于检测肤色)：论文中未提供具体链接，仅提及该工具名称。
  3. 6DRepNet (用于估计头部姿态)：论文中未提供具体链接，仅提及该工具名称。
  4. WhisperX (用于生成转录文本)：论文中未提供具体链接，仅提及该工具名称。
  5. Auto-AVSR 预处理流程：论文中提及遵循该流程，但未提供独立链接。

🥉 VoxCPM2 Technical Report

9.5/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5

🔥 9.5/10 | 前50% | #语音合成 | #扩散模型 | #语音克隆 #可控生成 | arxiv

👥 作者与机构

核心贡献者：Yixuan Zhou, Guoyang Zeng, Xin Liu, Xiang Li, Renjie Yu, Jiancheng Gui, Jiaheng Wu, Ziyang Wang, Xudong Shen, Runchuan Ye, Zhisheng Zhang, Jiuyang Zhou, Bingsong Bai, Weiyue Sun, Mengyuan Deng, Qundong Shi, Zhiyong Wu, Zhiyuan Liu 其他贡献者：Biyuan Lin, Caixian Chen, Chao Jia, Chenzhe Jing, Daixi Zeng, Jiayi Zhang, Jie Zhou, Jilong Ma, Jie Sun, Ling Zheng, Minmin Fan, Siyuan Huang, Shuo Wang, Susu Bai, Wenxi Yang, YingJiao Wang, Yitong Wang, Zhen Luo, Zhizheng Yang, Zhong Zhuang 机构：清华大学深圳国际研究生院人机语音交互实验室（THUHCSI），清华大学自然语言处理实验室（THUNLP），ModelBest

💡 毒舌点评

这篇报告堪称“技术报告的典范”——详尽、系统、野心勃勃。VoxCPM2像一个试图在语音生成领域完成“统一场论”的模型，把多语言、可控、克隆、高保真所有热门赛道打包塞进一个2B参数的骨架里。优点是架构设计脉络清晰，从AudioVAE V2到统一序列组织，每一步都有章法。实验也铺得很开，公开榜单刷了个遍，内部数据集还搞了30种语言。但问题也在此：它更像一份精心策划的“产品发布白皮书”，而非一篇推动边界的“科研论文”。创新点更多是系统性的整合与规模化的工程胜利，而非某个组件有颠覆性突破。多语言效果在低资源语言上仍然参差不齐，作者自己都承认了，但报告里用“数据量少”一笔带过，缺乏更深层的分析。可控生成部分，虽然InstructTTSEval得分亮眼，但更抽象的RP任务分数仍落后于Gemini-TTS-Pro，这暗示了基于文本指令的细粒度控制仍是开放问题。最“鸡贼”的是，报告对比较对象的选择非常有针对性，在强调自身优势的榜单上（如MiniMax-MLS-Test的SIM）列出众多对手，但在一些全面落后的榜单上（如CV3-Eval的WER）却轻描淡写。总而言之，这是一份优秀的工程报告，证明了连续潜变量范式的可扩展性和实用性，但作为一篇顶会论文，其“科学贡献”的纯度值得商榷。

📌 核心摘要

VoxCPM2是VoxCPM系列的规模化升级，将分层连续潜变量（continuous-latent）框架扩展为一个约20亿参数的多语言、可控语音生成基础模型。其核心贡献在于：1）通过非对称AudioVAE V2实现16kHz编码、48kHz重建，兼顾高效编码与高保真输出；2）通过统一序列组织，将基础TTS、语音设计、参考克隆、可控克隆、续写克隆五种模式整合至单一骨干网络，无需任务专属模块；3）通过骨干网络优化（如拼接投影、多令牌条件）和三阶段训练策略，系统性提升了模型能力。模型在多个公开基准上取得有竞争力或最先进的性能，特别是在说话人相似度（SIM）和可控生成（I-MOS）方面表现突出，并展示了在消费级GPU上高效推理的能力。

🔗 开源详情

• 代码：论文声明微调代码和推理工具在Apache 2.0许可证下公开发布，但未在正文中提供具体代码仓库链接（如GitHub地址）。报告在注释中提到了Nano-vLLM和vLLM-Omni两个相关开源项目。
• 模型权重：论文声明模型权重在Apache 2.0许可证下公开发布，但未提供具体下载链接（如HuggingFace/ModelScope地址）。
• 数据集：论文提及训练使用超过200万小时多语言语音数据，但未公开数据集本身，也未提供获取链接。
• Demo：论文提及项目Demo页面，但未给出具体在线演示链接。
• 复现材料：论文未提供可直接下载的完整训练配置文件、检查点或详细复现指南。
• 论文中引用的开源项目：
  1. Nano-vLLM (推理优化引擎): https://github.com/a710128/nanovllm-voxcpm
  2. vLLM-Omni (高效批处理服务): https://github.com/vllm-project/vllm-omni
  3. Seed-TTS-Eval (评估基准): https://github.com/BytedanceSpeech/seed-tts-eval
  4. CV3-Eval (评估基准): https://github.com/FunAudioLLM/CV3-Eval
  5. MiniMax-MLS-Test (评估基准): https://huggingface.co/datasets/MiniMaxAI/TTS-Multilingual-Test-Set
  6. InstructTTSEval (评估基准): https://github.com/KexinHUANG19/InstructTTSEval
  7. CommonVoice (数据集来源): https://commonvoice.mozilla.org/
  8. Fleurs (数据集来源): https://huggingface.co/datasets/google/fleurs

4. Beyond Semantic Dominance: Cognitive Affective Reasoning and Empathetic Response Alignment in Audio Language Models

9.2/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

🔥 9.2/10 | 前10% | #情感识别 | #链式思维推理 | #语音合成 #共情对话系统 | arxiv

👥 作者与机构

作者：Zhixian Zhao, Shuiyuan Wang, Wenjie Tian, Jingbin Hu, Ziyu Zhang, Lei Xie 机构：Audio, Speech and Language Processing Group (ASLP@NPU), Northwestern Polytechnical University, Xi’an, China

💡 毒舌点评

这篇工作瞄准了音频语言模型情感交互的核心痛点——“语义主导”和“认知浅薄”，问题定义精准且有价值。方法设计上，从数据（LIME-440K解耦）、推理（EIPS心理学链）、训练（三阶段+DR-SAPO）形成了一个逻辑自洽的“组合拳”，技术故事讲得很完整。实验部分，在特意构造的冲突样本上展示了显著提升，有力地支撑了其论点。然而，细抠之下，有几个地方让人皱眉：第一，所有的EIPS CoT标注和评估都高度依赖DeepSeek-R1和Gemini 2.5 Pro，这相当于用一个“大模型”去教另一个“大模型”什么是“心理学”，其标注的“正确性”本身就值得商榷，是一种知识传递而非知识发现。第二，LIME-440K数据集的核心部分完全由TTS合成，尽管作者承认了与真实语音的差距，但这依然是一个重大限制。模型在真实世界复杂、微妙的情感表达上的泛化能力，可能被高估了。第三，DR-SAPO的奖励函数设计（尤其Route 1）包含大量超参数（λ），这些权重的选择依据是“经验调优”，可解释性和鲁棒性存疑。整体而言，这是一篇扎实的、针对特定问题的系统性工程，但离真正理解“人类情感”的认知科学还有距离。

📌 核心摘要

本文针对现有音频语言模型在情感交互中存在的语义主导（模型过度依赖文本语义而忽略声学线索）和认知深度不足（反应泛化、缺乏心理推理）两大瓶颈，提出了一个全新的认知情感推理框架CogAudio-LLM。该框架从数据、模型推理机制和训练范式三个层面进行创新：首先，构建了LIME-440K大规模双语数据集，其核心设计（LIME-Core）采用“同一文本，多种情感”的解耦策略，迫使模型学习依赖声学特征；其次，设计了EIPS四步心理学思维链（情绪感知、意图提取、心理建模、策略制定），为模型提供结构化的深层推理路径；最后，提出三阶段训练流程（显式推理SFT -> 隐式内化混合训练 -> DR-SAPO双路强化学习），旨在将显式推理能力内化为模型的直觉反应，并通过强化学习动态平衡推理逻辑严谨性与最终回应的共情质量。实验在两个真实世界对话基准上进行，结果表明，特别是在语义与声学情感冲突的挑战性场景下，CogAudio-LLM在情感识别准确率和共情质量评估上均大幅超越包括GPT-4o-audio在内的多个前沿基线模型，验证了所提框架的有效性。

🔗 开源详情

• 代码：提供了GitHub仓库链接：https://github.com/zxzhao0/CogAudio-LLM
• 模型权重：论文中未提及具体的模型权重下载链接（如HuggingFace或ModelScope）。论文指出模型基于Qwen2.5-omni-7B初始化并训练，但训练后的CogAudio-LLM权重未提供公开下载地址。
• 数据集：论文中提及发布了LIME-440K数据集，但未在正文中提供具体下载链接（如HuggingFace或网盘地址）。论文指出开源细节将在其代码仓库中提供。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文中提供了详细的实施细节，包括：训练使用8块NVIDIA A100 GPU；SFT阶段（Stage I & II）使用LoRA（r=8，α=32），学习率1e-5，批大小512，训练3个epoch；DR-SAPO阶段（Stage III）训练1500步，学习率1e-6，批大小64；奖励权重超参数（λ_fmt=0.1，λ_res=0.3，λ_emo=0.3，λ_intent=0.1，λ_psych=0.1，λ_strategy=0.1）。
• 论文中引用的开源项目：
  1. Qwen2.5-Omni（基础模型）：https://github.com/QwenLM/Qwen2.5-Omni
  2. DeepSeek-V3（用于数据生成）：https://github.com/deepseek-ai/DeepSeek-V3
  3. DeepSeek-R1（用于知识蒸馏和CoT标注）：https://github.com/deepseek-ai/DeepSeek-R1
  4. Index-TTS2（语音合成模型）：https://github.com/index-labs/IndexTTS2
  5. Gemini 2.5 Pro（用于评估的LLM-as-a-Judge）：https://github.com/google-deepmind/generative-ai
  6. SAPO（Soft Adaptive Policy Optimization算法）：https://github.com/InternLM/sapo
  7. HumDial Challenge（评估基准之一）：https://github.com/ASLP-lab/Hum-Dial

5. Hearing the Unspoken: Language Model Priors for Acoustic Adversarial Attacks

9.2/10 | 创新 1.6/2 | 严谨 1.5/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.3/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5

🔥 9.2/10 | 前25% | #语音识别 | #多模态模型 | #对抗样本 #安全性 | arxiv

👥 作者与机构

Jiani Xie, University of Melbourne Andrew C. Cullen, University of Melbourne Paul Montague, DST Group Benjamin I. P. Rubinstein, University of Melbourne

💡 毒舌点评

这工作想法挺“鸡贼”的：既然ASR是流式的，攻击者听不到未来，那我就让LLM“剧透”一下未来，然后拿着“剧本”去配音（生成扰动）。这巧妙地把一个信息瓶颈问题转化成了跨模态预测问题。理论包装（信息滤子、可容许性命题）看似高深，但核心思想直白有效。实验设计全面，从WER到延迟分解，把方法扒得挺干净。但缺点也很明显：第一，你的“剧本”预测错了怎么办？论文虽然提了但没深究，这直接决定了攻击的稳定性和上限。第二，对Whisper这种带语言模型的Seq2Seq架构完全无效，这相当于自证了这类攻击高度依赖于特定（CTC）的解码机制，通用性打了个大问号。第三，在真实声学环境（混响、噪声、远场）下，你的LLM“剧透”和生成器还能工作吗？论文没测，这让结论的实用性悬空。总之，一个巧妙的“侧信道”攻击，但离一个坚实、通用的安全结论还有距离。

📌 核心摘要

本文针对实时自动语音识别（ASR）攻击中因流式处理导致的因果信息瓶颈，提出了Semantic Gambit（SG）攻击框架。该框架的核心思想是利用一个大型语言模型（LLM，如Llama 3 8B）作为“未来文本预测器”，根据已观察到的音频前缀及其ASR转录，实时预测后续语音内容。随后，一个多模态生成器将预测的文本语义信息与音频前缀特征融合，合成指向性更强的对抗扰动。实验在Wav2Vec 2.0等模型上表明，SG在20dB信噪比约束下，能将WER从约2%提升至35.6%，显著优于仅使用声学信息的基线方法。研究证明，攻击者利用廉价的LLM工具即可大幅提升对实时ASR系统的威胁，其攻击效果在CTC架构族内可迁移，但在向Seq2Seq架构（如Whisper）迁移时遭遇了明确的架构边界。

🔗 开源详情

• 代码：https://github.com/jnxie/semantic-gambit （提供完整代码）
• 模型权重：论文中未提供生成器（\(G_\theta\)）或受害者模型的预训练权重下载链接。受害者模型（Wav2Vec 2.0, HuBERT, Whisper）为公开可用模型，论文未提供其定制化微调版本的权重。
• 数据集：LibriSpeech (CC BY 4.0 License)；Common Voice 25.0 English (CC0 1.0 License)。论文未提供直接下载链接，但指明了使用的数据集及开源协议，读者可从原始来源获取。
• Demo：论文中未提及。
• 复现材料：论文在附录中提供了详细的训练配置、超参数、架构细节（见 Appendix A, B, D, E）。具体包括：生成器训练4个epoch，学习率1.5e-4，批次大小4，使用NVIDIA A100 80GB GPU。训练单个SG运行约需15.5 A100 GPU小时，全实验约500 GPU小时。所有实验在固定随机种子下进行以保证可复现性。
• 论文中引用的开源项目：
  • Wav2Vec 2.0 (Apache 2.0 License)：论文中用作受害者模型。
  • HuBERT-Large (Apache 2.0 License)：论文中用作交叉模型评估。
  • Whisper-small (MIT License)：论文中用作交叉架构评估。
  • Llama 3 8B (Meta Llama 3 Community License)：论文中用作语言模型预测组件。

6. dots.tts Technical Report

9.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.1/1.5

🔥 9.0/10 | 前25% | #语音合成 | #自回归模型 | #流匹配 #多语言 | arxiv

👥 作者与机构

作者：Shi Lian, Changtao Li, Bohan Li, Hankun Wang, Da Zheng, Junfeng Tian, Yufeng Ma, Colin Zhang, Kai Yu。 机构：dots团队，小红书公司（Xiaohongshu Inc.），上海交通大学X-LANCE实验室。

💡 毒舌点评

这篇技术报告展示了一个扎实的工程实现，在多个主流基准上取得了当前开源系统中的最佳成绩，开源也足够慷慨。但它本质上是一份“技术说明书”，而非一篇完整的、具有深厚理论或算法创新的研究论文。创新点更多是对现有模块（如DiTAR的分解思路、SOAR的后训练）的整合与工程化调优，缺乏如“为何三模块解耦能从根本上解决误差累积”这类的理论支撑。实验报告全面，但关键的消融实验（如去掉SOAR、去掉语义编码器）完全缺席，这让“三个互补设计”的贡献声明显得空洞。在“句法复杂性”上表现突出却在“情感”上退步，揭示了模型在“忠实”与“表现力”间的权衡并未解决。总的来说，这是一项优秀的系统工程工作，但距离一篇顶级会议论文在技术深度和论证完备性上还有明显差距。

📌 核心摘要

dots.tts是一个参数量为20亿的端到端连续自回归TTS基础模型。它旨在解决连续表示下长程误差累积的核心问题。其关键创新包含三个互补部分：1）训练一个具备语义结构且易于预测的语义AudioVAE，通过添加WavLM对齐和多任务监督使连续潜在空间更适合AR建模；2）采用全历史条件化的自回归流匹配（AR-FM）头，通过块因果注意力掩码实现并行训练并保持长程一致性；3）应用一种无奖励的自纠正对齐（SOAR）后训练方法，让声学DiT从自身的推理误差中恢复。系统在1.5M小时数据上训练后，在Seed-TTS-Eval基准上取得了最佳的平均WER和SIM。通过CFG感知的MeanFlow蒸馏，模型实现了低延迟语音生成（首包延迟54/85毫秒）。所有代码和模型检查点已在Apache 2.0许可下开源。

🔗 开源详情

• 代码：https://github.com/rednote-hilab/dots.tts （提供完整的训练与推理代码）
• 模型权重：https://huggingface.co/collections/rednote-hilab/dotstts （提供预训练、SOAR后训练、MeanFlow蒸馏三个阶段的完整模型检查点）
• 数据集：论文中未提供统一的数据集获取链接。论文明确提及了使用的大规模多语言语料库包含以下开源数据集：Emilia, LibriTTS-R, HiFi-TTS, HiFi-TTS-2, WenetSpeech4TTS, AISHELL-3, Magicdata, MLS, MSR-86K, IndicVoices-R, EuroSpeech, WaxalNLP-TTS, FLEURS，以及 AutoACD 等。这些数据集可从其原始来源获取。
• Demo：https://rednote-hilab.github.io/dots.tts-demo
• 复现材料：论文中提供了完整的训练配方（包括预训练、自校正对齐和 MeanFlow 蒸馏三个阶段）以及预训练、自校正对齐后和 MeanFlow 蒸馏后的模型检查点。所有材料均在 Apache 2.0 许可证下发布。
• 论文中引用的开源项目：
  • Qwen2.5-1.5B Base：论文用作 LLM 骨干的初始化。
  • WavLM：用于 AudioVAE 第二阶段训练的帧级对齐损失。
  • CAM++：用于提取说话人 x-vector 的编码器。
  • BigVGAN / BigVGAN-v2：AudioVAE 解码器的架构基础。
  • Flow-matching / Rectified-flow：训练流匹配头的框架。
  • Diffusion Transformer (DiT)：作为流匹配头的速度场预测器。
  • vllm-omni：用于推理效率评估的推理引擎。
  • Whisper-Large-v3：用于英文及多语言 ASR 的工具。
  • Paraformer：用于中文 ASR 的工具。

7. How Far Can Chord-Symbol Time-Series Adaptation Carry Genre Identity? Capabilities and Boundaries in Multi-Genre Chord-Symbol Modeling

8.8/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

🔥 8.8/10 | 前50% | #音乐生成与和弦预测 | #迁移学习 | #参数高效微调 #表示学习 | arxiv

👥 作者与机构

作者：Jinju Lee 机构：PearlLeeStudio（个人工作室/实验室）

💡 毒舌点评

这篇论文以极其谦逊和保守的姿态，进行了一次扎实但略显“安全”的探索。它避免了在音乐生成领域常见的过度宣称，而是诚实地勾勒出和弦符号这一表示的边界。优点在于实验设计完整（165格网格+多种诊断），且控制变量做得不错（数据大小匹配、基座消融）。缺点是其保守性可能也限制了贡献的冲击力——结论（和弦不足以代表完整流派）几乎是一个领域共识的确认，而非惊人的新发现。此外，所有实验仅在单个消费级GPU上完成，虽显示了可访问性，但也可能暗示了模型规模和实验规模的局限性。它更像是一份严谨的“工程可行性与表示边界”报告，而非一篇能显著推动模型能力或音乐理解的突破性论文。

📌 核心摘要

本研究旨在探索和弦符号时间序列在承载音乐流派身份方面的能力与边界。作者将音乐简化为和弦符号序列，以冻结的流行-爵士Music Transformer为基座模型，系统评估了五种参数高效微调方法在11个目标流派上的适应效果。核心发现是：所有适应方法都能可靠提升流派内的和弦预测准确率，但方法间差异不显著，且控制令牌基线性能强劲，表明适应效果主要源于轻量级条件控制而非特定适配器。结合和弦分类器弱、生成分布更收敛、错误流派适配器也有效等诊断，论文得出一个保守但清晰的结论：和弦符号可作为音乐AI中一个有用且可控的中间层，但它本身不足以编码完整的、可感知的流派身份。真正的流派真实性需要未来结合节奏、音色等其他音乐层，并进行人类感知评估。

🔗 开源详情

• 代码：论文中明确声明已发布制品，包括评估脚本。获取链接为：https://huggingface.co/PearlLeeStudio。但未提及独立的GitHub代码仓库。
• 模型权重：论文中提到冻结的基线检查点（F1）和所有特定流派的适配器均已发布。获取链接为：https://huggingface.co/PearlLeeStudio。
• 数据集：论文中提及的数据集为 Chordonomicon，其派生切片用于非商业研究，许可证为 Creative Commons Attribution-NonCommercial 4.0 (CC BY-NC 4.0)。论文未提供具体数据集下载链接，但注明已记录确切的源版本、许可证文本和文件校验和。Bach chorales 数据来源于公开的 music21 语料库。
• Demo：论文中未提及。
• 复现材料：论文指出，完整的165单元格网格和所有诊断实验均在单个消费级笔记本电脑GPU（NVIDIA GeForce RTX 4070 Laptop, 8 GB）上完成训练和评估，表明该研究具有可复现性。所有发布材料（权重、数据切分、评估脚本）位于 https://huggingface.co/PearlLeeStudio。
• 论文中引用的开源项目：
  1. Music Transformer：论文指出基线模型架构遵循此系列。
     • 链接：https://github.com/jason9693/music-transformer (非原始论文仓库，但为常见开源实现之一)。
  2. Chordinator：论文将其列为在精神上相近的工作，因其研究了多流派下的风格条件和弦生成。
     • 链接：https://github.com/elsonidoq/chordinator (常见开源仓库)。
  3. music21：论文提及 Bach chorales 数据来源于此公开语料库。
     • 链接：https://web.mit.edu/music21/。 注意：论文中引用的其他项目（如 Hu et al. 2022 关于 LoRA）未直接给出代码链接。以上列出的链接为论文提及项目的常见公共仓库或主页，供参考。

8. Where Rectified Flows Leak: Characterising Membership Signals Along the Interpolation Path

8.7/10 | 创新 1.5/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

🔥 8.7/10 | 前25% | #成员推理攻击 | #评估与统计 | #音频生成 #理论分析 | arxiv

👥 作者与机构

作者：Thomas Sesmat, Gabriel Meseguer-Brocal, Geoffroy Peeters 机构：论文正文未明确列出作者机构，但致谢部分提及工作由法国巴黎萨克雷电信学院提供计算资源支持。

💡 毒舌点评

这篇论文的工作，说好听点是“把显而易见的事情理论化”，说难听点就是“在噪声和数据之间的中间点发现了模型拟合训练数据残差”这一现象，并为其穿上了“钟形曲线”和“闭式解”的理论外衣。其核心创新点——那个看起来很美的闭式解\(\lambda_F^*\)，被其赖以生存的“各向同性高斯”假设牢牢锁死在玩具模型的范畴。一旦遇到现实世界里稍有复杂度的潜在空间（如CelebA），这理论就哑火了，只剩下那个依然普适但不够“性感”的钟形曲线。作者试图用一个在特定假设下才成立的峰值预测来撑起理论贡献的门面，这多少有点“拿着放大镜找金矿”的嫌疑。至于那个作为“概念验证”的成员推理攻击（MIA），用了一个极其简单的MLP分类器，且在最具理论优势的MAESTRO数据集上取得了0.91的AUC，这固然不错，但论文对此攻击的实际威胁模型（白盒、需完整访问插值路径）避而不谈，使其现实意义大打折扣。最后，开源情况的含糊其辞（提到有代码但不提供链接）更是给这篇顶会水准论文的严谨性抹上了一层阴影。整体而言，这是一篇技术细节扎实但格局受限、理论贡献存在“硬伤”、应用价值被高估的论文。

📌 核心摘要

论文研究了Rectified Flow（RF）生成模型在训练过程中如何编码训练数据的成员身份信息（即“成员信号”）。通过分析定义RF训练的线性插值路径 \(X_\lambda = (1-\lambda)X_0 + \lambda X_1\)，作者证明了训练集与测试集在重建误差上存在一个沿插值参数 \(\lambda\) 分布的“钟形”差异。该差异源于模型在特定 \(\lambda\) 处拟合了训练样本特有的残差。在数据噪声和分布均为各向同性高斯的假设下，论文推导出了该差异峰值位置 \(\lambda_F^*\) 的闭式表达式。作者在多个音频和图像数据集上实验验证了理论预测，并展示了将此钟形差异结构作为特征，构建成员推理攻击（MIA）的概念验证方法，其性能优于将扩散模型攻击方法适配到RF的基线方法。

🔗 开源详情

• 代码：论文正文末尾明确提到“For reproducibility, our experimental code is available here.”，但未提供具体链接（如GitHub URL）。因此，代码为“部分”开源（声明有但未公开访问）。

• 模型权重：论文未提及提供任何预训练模型权重的下载链接。

• 数据集：论文使用了以下公开数据集，但未在正文或附录中直接提供获取链接。它们均为公开数据集，通常可通过其官方网站获取。

  • MAESTRO v3 (古典钢琴音频)
  • MTG-Jamendo (音乐)
  • FMA Large (Free Music Archive)
  • CelebA (人脸图像)

• Demo：论文未提及任何在线演示链接。

• 复现材料：论文详细描述了实验配置（数据集处理、模型架构、超参数等），并在附录B中提供了大量消融实验的细节，这为复现提供了充分的文字说明。但缺少代码和预训练权重将极大增加复现难度。

• 论文中引用的开源项目：论文引用了Rectified Flows、Flow Matching、Stable Diffusion 3、FLUX、Stable Audio Open、Music2Latent、Stable Audio VAE、Stable Diffusion VAE、DiT、MAESTRO v3、MTG-Jamendo、FMA、CelebA、SecMI、PIA等，但均未提供对应的代码仓库链接。

• 补充链接（自动提取）：

  • 代码仓库：https://github.com/sourisimos/rectified-flow-membership

9. BiEAR: A Human Auditory-Inspired Adaptive Binaural Front-end for Multi-Speaker Localisation and Distance Estimation

8.5/10 | 创新 8/2 | 严谨 7/1.5 | 实验 8/1.5 | 清晰 8/1 | 影响 7/1.5 | 开源 2/1.5 | 复现 8/0.5 | 工程 7/1.5

🔥 8.5/10 | 前25% | #声源定位 | #自适应滤波器 | #音频信号处理 #多任务学习 | arxiv

👥 作者与机构

作者：Hanyu Meng, Eliathamby Ambikairajah, Vidhyasaharan Sethu, Qiquan Zhang, Haizhou Li 机构：1 The University of New South Wales, Sydney, Australia; 2 Tongyi Speech Lab, Alibaba Group, Hangzhou, China; 3 School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen, China

💡 毒舌点评

这篇论文的立意不错，将听觉反馈的生物学概念引入双耳模型，但执行上有些地方显得“工程妥协”味过浓。所谓的MOC启发，本质上就是一个基于瞬时特征的神经网络控制器调节滤波器参数，这与复杂的生物通路简化得有点粗暴，论文对此的讨论也不够深入。实验部分，虽然在自家构建的数据集上刷赢了基线，但距离估计在真实高混响环境下的提升很有限，甚至不如某些基线经过适应后的结果，这让人质疑其“鲁棒性”宣称的实际分量。可视化分析虽有，但只展示了单个精心挑选的例子，缺乏系统性的统计证据来支撑其“可解释性”。代码开源是好事，但模型权重和数据集没开源，可复现性打了折扣。

📌 核心摘要

本文提出了BiEAR，一个受人类内侧橄榄耳蜗束反馈启发的自适应双耳前端处理模型，用于多说话人定位和距离估计。核心创新在于引入耳特异性的神经反馈控制器，该控制器根据输入的子带声压级动态调节Gabor滤波器组的品质因子（Q因子），从而在推理过程中实现时频自适应的滤波器选择性。研究在仿真消声环境和两个真实房间（低混响会议室、高混响演讲厅）的数据集上进行了评估。结果表明，BiEAR（尤其是双耳相对控制变体）在声源检测准确率和方位角平均绝对误差上一致优于DeepEar和AuralNet等固定前端基线模型，尤其在未经环境适应的直接评估中展现出更好的鲁棒性。可视化分析显示，自适应机制能够强调携带丰富空间信息的频带。

🔗 开源详情

• 代码：https://github.com/Hanyu-Meng/BiEAR （论文摘要及正文中明确给出）
• 模型权重：论文中未提及
• 数据集：论文中未提及模型权重和数据集的直接下载链接。论文使用的数据集包括：TIMIT 语音数据集；TU Berlin 数据库中的 Anechoic BRIR 数据集、Spirit BRIR 数据集、Auditorium3 BRIR 数据集。
• Demo：论文中未提及
• 复现材料：论文中详细描述了模型结构（Section 2）和训练配置（Section 3.2），包括网络参数、优化器设置、损失函数权重等，但未提供训练脚本、配置文件或预训练检查点的具体文件链接。
• 论文中引用的开源项目：
  1. DeepEar：论文中多次引用作为基线模型。其代码仓库地址为：https://github.com/facebookresearch/deep-ear
  2. AuralNet：论文中引用的最新双耳定位模型。其代码仓库地址为：https://github.com/Fu2526/AuralNet
  3. LEAF：论文中在描述前端滤波器组时引用了该开源库。其代码仓库地址为：https://github.com/google-research/google-research/tree/master/leaf

10. Mitigating Proxy-to-Wild Domain Gap in Deepfake Speech

8.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

🔥 8.4/10 | 前25% | #语音反欺骗 | #数据增强 | #深度伪造检测 #语音安全 | arxiv

👥 作者与机构

第一作者：Xuanjun Chen (陈宣君)，第二作者：Yun-Shing Wu (吴云翔)，第三作者：Wei-Chung Lu (陆伟忠)，第四作者：Claire Jang，第五作者：Haibin Lin，通讯作者/最后作者：Hung-yi Lee (李宏毅)，Jyh-Shing Roger Jang。机构包括：台湾大学电信工程学研究所（Graduate Institute of Communication Engineering）、台湾大学资讯工程学研究所（Graduate Institute of Networking and Multimedia， 原文此处为Networking and Multimedia，应为信息工程相关，但原文引用信息如此）、台湾大学资讯管理学系（Department of Information Management）、台湾大学人工智能卓越研究中心（NTU Artificial Intelligence Center of Research Excellence, NTU AI-CoRE）。

💡 毒舌点评

这篇论文解决的是一个实际问题——用合成的CoRS数据训练的检测器泛化到真实世界生成器时效果变差。他们提出的DSFA方法，核心就是给SSL特征的均值和标准差加噪声，这让人立刻联想到图像风格迁移里的AdaIN。作者也承认了这一点，但声称他们的方法是在“建模领域不确定性”，这听起来比简单的风格扰动高级一点，但本质上的新颖性值得商榷。最大的亮点可能是那个CoSG ExtEval数据集，这确实是个有价值但“苦力活”式的贡献，为社区提供了更难的测试场。实验上，他们确实把EER刷低了，但关键在于，这个提升有多少是来自那个本身就很强的后训练Wav2Vec2骨干，有多少是DSFA带来的？消融实验（表2，模型g vs. h/k）显示，微调和加DSFA都有用，但DSFA的增量提升在ExtEval上从22.19%到21.80%，这进步幅度……说实话，不算惊天动地。论文自己也提到，在ExtEval上，加了SupCon和更强的DSFA反而可能比简单微调（模型h）性能下降，这本身就说明方法的鲁棒性存在问题。所以，这是一篇工作扎实、问题重要，但方法创新性和效果提升幅度有些“温吞”的论文。它更像是一个可靠的工程改进，而非一个能引起方法论轰动的突破。

📌 核心摘要

本文针对深度伪造语音检测中，使用编解码器重合成语音（CoRS）作为代理训练数据所导致的“代理到真实场景”领域偏移问题。作者首先指出，现有模型在面对由未见过的编解码器生成系统（CoSG）产生的语音时，会因对CoRS特定伪影的过度拟合而泛化能力不足。为此，论文提出了领域偏移特征增强（DSFA）方法。该方法以一个在大规模异构数据上后训练的SSL骨干网络（PT-Wav2Vec2）为基础，该骨干对深度伪造伪影具有高敏感性。DSFA在微调阶段，将骨干网络提取的特征图的通道级统计量（均值\(\mu(x)\)和标准差\(\sigma(x)\)）从确定性值转化为概率分布。具体而言，它利用每个小批次数据的统计量方差（\(\Sigma_{\mu}^2\), \(\Sigma_{\sigma}^2\)）来量化当前数据的“领域不确定性”，并以此为依据，通过均匀分布或高斯分布采样生成扰动后的统计量（\(\beta(x)\), \(\gamma(x)\)），再通过AdaIN机制生成增强特征。此过程以概率\(p\)随机应用，以避免过拟合并促进模型学习领域不变的特征表示。此外，为了更全面地评估模型的泛化性能，论文构建并引入了CoSG ExtEval数据集，该数据集包含40种未见过的CoSG模型生成的语音，且包含长音频片段，比现有的CoSG Eval更具挑战性。实验结果表明，结合后训练骨干与DSFA（尤其是仅使用DSFA的配置）在CoSG Eval和CoSG ExtEval上均达到了报告的先进性能，验证了DSFA在缓解领域偏移方面的有效性。

🔗 开源详情

论文声明将在论文被接受后，在GitHub仓库发布CoSG ExtEval评估集及详细信息。当前arXiv版本未提供任何实际的代码、模型权重或数据集的可访问链接。因此，代码、模型、数据集的实际开源状态均为未提供。

• 补充链接（自动提取）：
  • HuggingFace：https://huggingface.co/nii-yamagishilab/xls-r-2b-anti-deepfake

11. Multilingual Multi-Speaker Unit Vocoders: A Systematic Analysis of Discrete Speech Representations

8.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

🔥 8.4/10 | 前25% | #语音合成 | #对比学习自监督学习 | #自监督学习 #多语言 | arxiv

👥 作者与机构

作者：Naman Kothari, Arjun Gangwar, Adarsh S, Umesh 机构：National Institute of Technology, Trichy; Indian Institute of Technology, Madras

💡 毒舌点评

这篇论文像一篇非常扎实的“调参报告”，但包装得不错。它的核心贡献是系统地揭示了一个在构建多语言语音LLM时绕不开的基础问题：中间表示（离散单元）里纠缠了太多东西，而下游声码器（这个通常被忽略的组件）的设计选择对此影响巨大。优点是实验做得很全，把聚类大小、说话人/语言条件这几个变量的交互效应基本摸清了，结论对工程实践很有指导意义。缺点嘛，创新性上确实没啥惊喜，就是把BigVGAN魔改了一下，加了几个条件输入，然后跑了一堆实验。方法上缺乏更优雅的解耦思路，本质上还是把问题交给端到端的神经网络去学，而不是从表示学习本身去设计。评估也偏传统，全是客观指标，没有耳朵收货。总之，是一篇合格的、有用的工作，但离“令人兴奋”还有距离。

📌 核心摘要

本文对用于多语言多说话人语音合成的离散单元声码器进行了系统分析。作者将BigVGAN声码器扩展为接受离散单元输入，并研究了聚类大小以及说话人和语言条件机制对合成语音可懂度、说话人相似性和音素级特性的影响。实验在四种印度语言的IndicVoices-R数据集上进行，使用Data2Vec-AQC模型提取单元。研究发现：1）聚类大小通过提升音素可分辨性（音素纯度、PNMI）来主要控制可懂度（WER）；2）显式的说话人条件（使用ECAPA-TDNN嵌入）是保持说话人身份、防止身份坍塌的必需组件；3）语言监督（语言嵌入+LID损失）的益处主要体现在小聚类规模（如1k）下，此时单元表示模糊，在大聚类规模下增益有限甚至可能轻微损害性能。论文为设计此类系统提供了实践指导。

🔗 开源详情

• 代码：论文中承诺“我们将发布完整的代码库和训练好的模型”（见摘要脚注1），但未提供具体链接。因此，目前状态为承诺开源。
• 模型权重：未提供预训练SSL模型（Data2Vec-AQC）、说话人编码器（ECAPA-TDNN）或已训练单元声码器模型的具体下载链接。
• 数据集：训练聚类模型使用了公开语料库，包括IndicVoices、IndicTTS、Shrutilipi和SPRING-INX。单元声码器的训练与评估使用IndicVoices-R数据集。具体下载链接或协议在论文中未提供。
• Demo：论文中未提及。
• 复现材料：论文提供了详细的训练设置（训练400k步，批大小64，4张NVIDIA A100 GPU，AdamW优化器，学习率0.0001）和评估指标说明（使用Indic-Conformer 600M计算WER，使用Versa计算说话者相似度）。但未提及是否提供配置文件、检查点或附录的独立下载。
• 论文中引用的开源项目：
  • BigVGAN：基础的声码器架构。链接未提及。
  • ECAPA-TDNN：用于提取说话者嵌入。链接未提及。
  • Data2Vec-AQC：用于提取离散语音单元的SSL模型。链接未提及。
  • Indic-Conformer 600M：用于评估WER的ASR模型。链接：https://github.com/AI4Bharat/IndicConformerASR
  • IndicMFA：用于音素对齐的强制对齐工具。链接：https://github.com/AI4Bharat/IndicMFA
  • Versa：用于计算说话者相似度。链接未提及。

12. Geometric Second-Order Feature Correlation Learning for Self-Supervised Speech Emotion Recognition

7.9/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.9/10 | 前50% | #语音情感识别 | #协方差矩阵 | #自监督学习 #流形学习 | arxiv

👥 作者与机构

Li Qian Song, Shuanglin (可能)，来自1. 湘江实验室 (Xiangjiang Laboratory)，长沙，中国；2. 埃克塞特大学 (University of Exeter)，埃克塞特，英国。联系邮箱为：slay575@163.com, ruxiaoqian@gmail.com, s.song@exeter.ac.uk。

💡 毒舌点评

这篇论文试图用微分几何的华丽外衣，给一个相对直白的统计操作（在子空间上计算协方差矩阵并取对数）正名。动机（一阶聚合丢失相关性）是合理的，但论述中将“协方差矩阵在欧氏空间操作”上升到“几何失真”、“伪熵”的高度，显得过于理论化，有点把简单问题复杂化的嫌疑。实验上，虽然在两个标准数据集上超越了基础池化基线，但对比的基线集显得陈旧且单一（没有与近期任何二阶聚合方法如Bilinear Pooling， 或其他几何方法如Log-Det Pooling对比），使得“有效性”的宣称大打折扣。最遗憾的是，作为一篇强调计算效率（避免维度爆炸）的论文，居然完全不提供SOC层与基线的计算开销对比，这在注重实用的顶会审稿人眼里是很大的减分项。作者声称SOC是“drop-in module”，却不展示其插入后的整体效率变化，说服力不足。

📌 核心摘要

本文针对自监督语音识别（SSL）表征在聚合为整段描述符时丢失特征间高阶相关性的问题，提出了第二阶相关（SOC）层。SOC层首先通过一个可学习的线性层将高维SSL特征投影到一个紧凑的低维子空间，在此子空间中计算特征的协方差矩阵，将其建模为对称正定（SPD）流形上的描述符。随后，通过Log-Euclidean映射（LEM）将协方差矩阵映射到欧几里得切空间，并进行半向量化以供下游分类器使用。在ESD和RAVDESS两个数据集上的实验表明，SOC在多个冻结SSL主干网络上均优于全局平均池化（GAP）、全局标准差池化（ASP）和帧感知池化（FA）等一阶基线方法。

🔗 开源详情

• 代码：提供，链接为 https://github.com/secret-code-source/SOC。
• 模型权重：未提及是否提供预训练的SOC层模型权重。
• 数据集：论文使用了ESD和RAVDESS数据集，但未提供其直接下载链接。
• Demo：论文未提及在线演示链接。
• 复现材料：论文在附录或正文中提供了详细的训练配置（优化器、学习率调度、批次大小、轮数等），但未明确说明是否提供预训练检查点或其他补充材料。
• 论文中引用的开源项目：
  • EmoBox：用于数据预处理和评估，但未提供其具体链接或版本。
  • Wav2Vec 2.0、HuBERT、WavLM：作为特征提取的SSL骨干网络。
  • PyTorch：实现框架。
  • AdamW：使用的优化器。

13. Whisper Hallucination Detection and Mitigation via Hidden Representation Steering and Sparse AutoEncoders

7.9/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 1.0/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5

✅ 7.9/10 | 前50% | #语音识别 | #引导学习 | #幻觉检测 #稀疏自编码器 | arxiv

👥 作者与机构

论文作者：Aparin, Popov, Sadekova, Yermekova (全名：Georgii Aparin, Vadim Popov, Tasnima Sadekova, Assel Yermekova)。 机构：1 AI Foundation and Algorithm Lab；2 National University of Science and Technology MISIS；3 National Research University Higher School of Economics。

💡 毒舌点评

这篇论文试图用机制解释(interpretability)的工具(SAE)来解决一个实际的ASR问题(幻觉)，方向有趣且实用。优点是将SAE的潜在维度解释为“幻觉特征”并用于引导，提供了比黑箱微调更可解释的干预视角，实验也比较全面。然而，局限性也相当明显。首先，中文性能断崖式下跌，尽管作者归因于SAE未训练于中文，但这严重限制了方法的通用性，也让“无需微调”的优势大打折扣。其次，实验主要集中在两种模型规模，缺乏在中等规模模型(如medium)上的验证。再者，对SAE“关键维度”的理解停留在相关性层面，缺乏因果验证，这些维度真的是幻觉的“原因”吗？最后，虽然与Calm-Whisper对比，但后者是解码器层面的干预，本文是编码器层面，严格来说不是同赛道比较。总体而言，方法有亮点，但“可通用、可解释”的声称需要更多证据支撑，目前更像是一个针对特定问题、特定模型规模的巧妙hack。

📌 核心摘要

本文研究了Whisper模型在非语音输入上产生幻觉的问题。作者发现，幻觉相关信息在Whisper音频编码器的原始激活和训练在其上的稀疏自编码器(SAE)潜在表示中均可线性分离，且可分性随编码器层数加深而增强。基于此，提出了两种无需微调的引导策略：激活空间引导(添加从对比样本中计算出的引导向量)和SAE空间引导(修改SAE的稀疏潜在维度)。大量实验表明，SAE引导在降低幻觉率方面显著优于激活引导。对于Whisper large-v3，SAE引导可将FULL测试集幻觉率从86.88%降至27.33%，在UrbanSound8K上降至19.88%，接近专门微调方法Calm-Whisper的性能。但研究也发现，引导操作虽然能改善或维持英语WER，却导致中文CER大幅上升，主要原因是SAE的训练数据缺乏中文语音，导致中文语音表示在SAE空间被扭曲。

🔗 开源详情

• 代码：论文使用了开源SAE架构实现，其GitHub仓库为：https://github.com/audiosae/audio-sae。论文未提供引导方法和完整实验脚本的专门代码仓库。
• 模型权重：论文提供了训练好的SAE模型权重在HuggingFace上的链接：
  • Whisper small SAE: https://huggingface.co/Egorgij21/Audio-SAE-Whisper-small
  • Whisper large-v3 SAE: https://huggingface.co/Egorgij21/Audio-SAE-Whisper-large-v3
• 数据集：论文中提及并用于实验的开源数据集如下（需根据名称访问原始出处）：
  • 非语音数据集：MUSAN (noise), WHAM!, FSD50k, UrbanSound8K。
  • 语音数据集：LibriSpeech (test-clean, test-other), FLEURS (en, zh), AISHELL-1。
• Demo：论文中未提及。
• 复现材料：论文中未提及具体的训练配置文件、超参数文件或完整实验代码的下载链接。
• 论文中引用的开源项目：
  • Whisper模型：https://github.com/openai/whisper。
  • Calm-Whisper方法：引用为[calm_whisper]，未直接给出代码链接。
  • scikit-learn库：用于分类任务。

14. Acoustic Cue Alignment in Audio Language Models for Speech Emotion Recognition

7.8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.7/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.8/10 | 前50% | #语音情感识别 | #提示学习 | #音频语言模型 #可解释性 | arxiv

👥 作者与机构

Iosif Tsangko (1, 2), Andreas Triantafyllopoulos (1, 2), Björn W. Schuller (1, 2, 3, 4) （注：机构详情未在论文正文中明确列出，脚注显示了项目资助信息）

💡 毒舌点评

这篇论文的切入点不错，把经典语音情感识别（SER）里那套“手工特征”的思路，塞进了现代的大语言模型（LLM）的提示里，想看看模型到底是真听了还是瞎编。想法是好的，干预实验的设计也还算规范，能看出模型对提示里的“声学概念”有反应，但又没完全被带跑偏。然而，作为一篇顶会论文，其深度和说服力仍有欠缺。首先，实验结果的“提升”幅度实在寒酸，1.6%、2.2%这种数字在SER任务里四舍五入约等于没有。论文试图用“鲁棒性”和“可解释性”来包装这个发现，但本质上更像是证明了“往提示里加点对的废话能稍微好点，加点错的废话也没崩”。其次，所谓的“六类声学概念”是对eGeMAPS特征的粗粒度离散化，这种“离散化”本身引入了大量信息损失，模型到底在利用离散标签还是背后的连续特征，论文并未深究。最后，全文缺乏对模型内部机制的任何可视化或分析，所有结论都建立在外部输入输出的行为对比上，这与当前大模型可解释性研究的前沿（如机械可解释性）相去甚远。总体而言，这是一项扎实的、但算不上突破性的工作，更像是一次有趣的探索性实验。

📌 核心摘要

本文研究在语音情感识别任务中，如何为音频语言模型（ALM）提供有效的辅助信息。作者提出，从标准化的eGeMAPS副语言特征集中，归纳出六个可解释的声学概念标记（能量、音高、动态、亮度、共振峰、音质），并将这些标记附加到文本提示中，而音频输入保持不变。通过对对齐的、打乱的、矛盾的和被腐蚀的标记进行系统性的干预实验，论文发现：1）与音频对齐的标记能一致地提升模型性能（以UAR衡量）；2）模型的预测在强扰动下不会完全崩溃，表明模型既利用了符号线索，也部分依赖原始音频信号。这证明ALM并非完全无视提示中的辅助符号，而是将其作为信息通道之一进行整合。该方法为在ALM中探测音频接地能力和可解释性提供了一种行为层面的、可量化的评估框架。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：
  • 微调后的 Qwen2.5-Omni 模型：https://huggingface.co/mispeech/midashenglm-7b-0804-fp32
  • 微调后的 Audio Flamingo 3 模型：https://huggingface.co/nvidia/audio-flamingo-3#think-mode-reasoning-with-peft-adapter-af-think
  • 注：论文评估的其他基线模型（如 Qwen2-Audio、Audio Flamingo 3 基础版）的权重未在论文中给出具体链接。
• 数据集：论文中使用了以下公开数据集，但未提供具体获取链接。
  • FAU-Aibo Emotion Corpus（德语，儿童语音）
  • IEMOCAP（英语，4-way设置）
• Demo：论文中未提及。
• 复现材料：论文中未提及具体的训练配置、检查点或附录等复现材料。
• 论文中引用的开源项目：
  • openSMILE：用于提取 eGeMAPS 特征的工具包。论文中未提供其项目链接（通常可通过其官网获取）。
  • eGeMAPSv02：特征集标准。论文中未提供其项目链接。
  • CLAP, ParaCLAP, SmoothCLAP：作为对比基线的音频-文本预训练模型。论文中未提供其具体项目链接。

15. Towards Unified Song Generation and Singing Voice Conversion with Accompaniment Co-Generation

7.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 0.6/1.5

✅ 7.7/10 | 前25% | #语音合成 | #Transformer | #歌声转换 #歌曲生成 | arxiv

👥 作者与机构

作者：Ziyu Zhang, Chunyu Qiang, Xiaopeng Wang, Yuxin Guo, Kang Yin, Wenjie Tian, Jingbin Hu, Tianlun Zuo, Zhao Guo, Teng Ma, Yuzhe Liang, Chen Zhang, Lei Xie 机构：1 Northwestern Polytechnical University, China; 2 Kuaishou Technology, China; 3 Beijing Institute of Technology, China; 4 Institute of Automation, Chinese Academy of Sciences, China; 5 University of Science and Technology of China, China; 6 Shanghai Jiao Tong University, China 邮箱：ziyu_zhang@mail.nwpu.edu.cn, lxie@nwpu.edu.cn

💡 毒舌点评

这篇论文的野心很大，试图将歌曲生成和SVC这两个长期独立的任务统一到一个框架中，并声称是“首个”实现此统一的端到端框架。想法新颖，实验结果在内部数据集上看起来不错。但是，其宣称的“首个”需要更严谨的文献调研支撑，且最大的问题在于所有数据、模型权重和代码均未开源，仅提供了一个匿名demo链接。这在顶会审稿中是巨大的减分项，严重阻碍了公平比较和社区复现，使得其声称的“最先进性能”大打折扣。此外，方法部分虽详细，但一些关键设计选择（如不同训练阶段的具体时长、掩码比例）的解释和消融可以更深入。

📌 核心摘要

歌曲生成和歌声转换（SVC）是音乐AI中两个重要但长期独立的任务。前者能生成歌曲但难以克隆特定人声，后者擅长人声转换但通常忽略人声与伴奏的协调。本文提出了UniSinger，一个端到端的统一框架，旨在首次同时解决这两个任务，并额外实现伴奏协同生成。核心思想是：1) 通过多模态输入模块将文本、音素、语义、说话人等信息映射到共享潜在空间；2) 构建跨任务说话人嵌入空间，利用CAM++特征在SVC任务中建模并迁移说话人身份至歌曲生成任务；3) 设计基于任务特定模态掩码的渐进式课程学习策略，分四阶段训练以缓解多任务优化冲突；4) 使用基于流匹配的多模态扩散Transformer作为骨干网络。实验证明，UniSinger在两项任务上均达到了具有竞争力的性能，并揭示了任务间互利的可能性。

🔗 开源详情

• 代码：论文未提供官方代码仓库链接。仅提供匿名演示链接：https://anonymous.4open.science/w/UniSinger-F930/

• 模型权重：未提供。

• 数据集：未提供公开下载链接。论文使用内部收集的3万小时歌曲数据。

• 复现材料：未提供训练配置、检查点等具体复现材料。

• 补充链接（自动提取）：

  • 代码仓库：https://github.com/RVC-Boss/GPT-SoVITS
  • 代码仓库：https://github.com/svc-develop-team/so-vits-svc

16. Phonetic Error Analysis of Raw Waveform Acoustic Models

7.6/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 0.6/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5

✅ 7.6/10 | 前50% | #语音识别 | #错误分析 | #原始波形 #音素识别 | arxiv

👥 作者与机构

Erfan Loweimi, Zhengjun Yue, Andrea Carmantini, Zoran Cvetkovic, Steve Renals, Peter Bell 1 Centre for Speech Technology Research (CSTR), University of Edinburgh, UK 2 Cisco, UK; 3 SLAI & CUHK-SZ, China; 4 King’s College London, UK

💡 毒舌点评

本文是一篇扎实但略显“四平八稳”的系统性分析工作。作者很聪明地没有去硬拼一个在TIMIT上屠榜的新架构，而是选择了“解剖”原始波形模型，用音素层面的错误分析这把“手术刀”，切开了这些模型与传统滤波器组系统在行为模式上的异同。贡献是清晰的：确认了BLSTM对过渡类音素的增益、迁移学习的辅音-元音不对称性，并揭示了主导混淆模式的声学-音素根源。然而，作为一篇以分析为核心的工作，其深度本可更进一步——停留在宏观错误分布的对比，而未深入模型表示层的“黑箱”内部，多少有些可惜。将结论从SincNet/CNN+BLSTM架构推广到更现代的Transformer或自监督模型时，作者显得格外谨慎，这固然是科学态度，但也限制了论文的即时影响力。总体而言，它为后续研究提供了可靠的参考基线和分析框架，但自身并非一个能引发范式转变的突破性工作。

📌 核心摘要

本文对原始波形声学模型在TIMIT电话识别任务上的错误模式进行了深入的细粒度分析。不同于以往仅关注整体电话错误率（PER）的工作，本文将PER分解到三种音素广义分类（BPC）下（8类、辅音/元音+/静音、浊音/清音/静音），并构建了替换错误的混淆矩阵。论文提出的原始波形模型结合了参数化（SincNet, Sinc2Net）或非参数化CNN与BLSTM，在TIMIT上取得了当时最优的PER（从头训练15.3%，迁移学习后12.3%）。分析表明，BLSTM层对依赖时序动态的音素类别（如双元音、擦音、半元音）增益最大；从WSJ迁移学习对辅音的改善约是元音的三倍。此外，原始波形系统与传统FBank系统的混淆模式高度一致，表明主导混淆反映了固有的音素相似性。

🔗 开源详情

• 代码：是（提供了GitHub仓库链接：https://github.com/ErfanLoweimi/PhoneticErrorAnalysis）
• 模型权重：否（论文未提及提供预训练模型权重下载）
• 数据集：是（研究使用了标准公开数据集TIMIT和WSJ，论文未提供独立下载链接，但数据集本身广泛可用）
• Demo：否（论文未提及）
• 复现材料：部分（论文详细描述了模型架构、超参数和实验设置，结合提供的代码，可用于复现主要结果，但缺乏训练好的权重）
• 论文中引用的开源项目：
  • SincNet: https://github.com/mravanelli/SincNet
  • Sinc2Net: https://github.com/mravanelli/SincNet （论文中引用为SincNet的扩展工作）
  • PyTorch-Kaldi: https://github.com/mravanelli/pytorch-kaldi
  • Kaldi: https://github.com/kaldi-asr/kaldi
  • PyTorch: https://github.com/pytorch/pytorch

17. SEAM: Shortcut-Aware Real-Time Detection of Scripted vs. Spontaneous Speech for Interview Guardrails

7.5/10 | 创新 1.0/2 | 严谨 1.0/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5

✅ 7.5/10 | 前25% | #语音分类 | #自监督学习 | #语音增强 #领域自适应 | arxiv

👥 作者与机构

作者: Vsevolod (V.) Kovalev, Pranay Manocha 机构: 1 Symbal AI, USA; 2 Princeton University

💡 毒舌点评

这篇论文做了一个非常“工程正确”但“学术创新性一般”的工作。它正确地指出了语音分类任务中普遍存在的“捷径学习”问题，并给出了一套相当详尽的、教科书式的解决方案（预处理、采样、数据增强）。其主要价值在于将这些解决方案系统性地打包并应用于一个特定的、有实用价值的场景（面试守卫），并通过消融实验有力地证明了捷径的存在。然而，其“创新”更多体现在“组合”与“应用”上，而非提出一个全新的概念或算法。例如，“来源感知采样”本质上是数据加载时的约束，而非模型或损失函数的创新。此外，核心评估集（外部面试数据集）的未公开，极大地削弱了其结果的可信度和可复现性——这就像宣称自己的药对某种疑难杂症有效，却只提供在自己专属病房里的临床试验数据。论文的结论（鲁棒性比骨干网络更重要）虽然正确，但已不算新颖。总体而言，这是一篇扎实的工程报告，但若以顶级会议（如NeurIPS）的创新性标准衡量，则显得不够“性感”。

📌 核心摘要

本文针对实时面试场景中检测脚本化与自发性语音时容易学习数据集中伪特征（捷径）的问题，提出了SEAM框架。该框架通过统一波形预处理、来源感知采样、非语音噪声库增强等一系列捷径感知的数据设计方法，配合轻量化的DistilHuBERT模型，旨在提升模型在目标领域（面试音频）上的鲁棒性。实验表明，完整SEAM模型在外部未见面试数据集上达到\(0.971 \\pm 0.004\) ROC-AUC。消融实验证实，移除捷径预防组件虽然能提升内部测试集表现，但会严重损害外部泛化能力，证明了模型确实学习了捷径。最终模型经INT4量化后仅41.8 MB，满足实时部署的延迟与内存约束。

🔗 开源详情

• 代码：论文中声称“We release code and model checkpoints”，但全文及附录均未提供具体的代码仓库URL（如GitHub链接）。在开源详情分析中，无法找到实际链接。
• 模型权重：同上，声称释放模型检查点，但未提供具体的下载地址（如HuggingFace、ModelScope等平台链接）。
• 数据集：
  • 内部开发数据集：论文使用了四个英文开源语料库：
    1. People’s Speech：链接：https://arxiv.org/abs/2111.09331
    2. PodcastFillers：链接：https://github.com/BUTSpeechFIT/PodcastFillers (论文说明仅使用 CC-BY 协议子集)
    3. LibriSpeech：链接：https://www.openslr.org/12
    4. Spoken Wikipedia：链接：https://github.com/denniskeller/SpokenWikipedia
  • 外部评估数据集：一个专有的、无说话人重叠的英语面试数据集，论文中未提及获取链接。
  • 非语音噪声库：约14小时的非语音材料，使用Silero VAD提取。论文中未提及此噪声库的单独下载链接。
• Demo：论文中未提及。
• 复现材料：
  • 论文提供了关键的训练配置信息：使用NVIDIA A100 80GB GPU；优化器为AdamW；最终模型配置为DistilHuBERT，8秒窗口，解冻顶层Transformer层，训练3个epochs，使用噪声库增强。
  • 论文提供了部分消融实验的具体设置（如表2, 3, 4所示）。
  • 论文中未提及提供完整的训练脚本、环境配置文件或预训练检查点的具体下载方式。
• 论文中引用的开源项目：
  • Silero VAD：https://github.com/snakers4/silero-vad
  • DistilHuBERT：链接指向 librosa 示例文档中的说明，非官方仓库。
  • WavLM：https://github.com/microsoft/unilm/tree/master/wavlm
  • HuBERT：https://github.com/facebookresearch/fairseq/tree/main/examples/hubert
  • wav2vec 2.0：https://github.com/facebookresearch/fairseq/tree/main/examples/wav2vec

18. DirectAudioEdit: Inversion-Free Text-Guided Audio Editing via Diffusion Prediction Contrast

7.5/10 | 创新 1.5/2 | 严谨 1.0/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5

✅ 7.5/10 | 前25% | #音频编辑 | #扩散模型 | #无训练 #对比学习 | arxiv

👥 作者与机构

Zhengkun Ge, Xiaoqian Liu, Haoran Zhang, Yuan Ge, Junxiang Zhang：School of Computer Science and Engineering, Northeastern University, Shenyang, China. Zhengtao Yu：Kunming University of Science and Technology. Jingbo Zhu, Tong Xiao：Northeastern University, Shenyang, China; NiuTrans Research, Shenyang, China.

💡 毒舌点评

这篇工作试图在音频编辑领域引入“无反转”范式，动机是合理的——避免反转带来的误差和计算开销。然而，其“首个”的宣称需要谨慎对待，因为在图像和视频领域，无反转编辑已有探索（如FlowEdit），本文的核心是将此范式适配到扩散模型并应用于音频。方法设计上，“共享噪声重加噪”和“预测对比”是两个关键点，思路清晰但技术深度有限，更像是一个工程上有效的启发式组合，缺乏对“为何这样设计”的深入理论分析或可视化解释。实验部分，基线选择偏弱（主要是反转类方法），缺少与更近期、非反转类音频编辑方法（如果存在）的对比。虽然实验结果在给定指标上提升明显，但对这些指标本身（尤其是FAD/KL）的解读需要小心，它们主要反映分布距离而非编辑的语义保真度。论文的清晰度和结构是其优点，但作为顶会论文，其技术新颖性和分析深度稍显不足。

📌 核心摘要

本文提出了DirectAudioEdit，一种用于文本引导音频编辑的无训练、无反转方法。针对现有基于反转的编辑方法存在重建误差和计算开销大的问题，该方法利用预训练的扩散模型，通过构建一个直接的“干净状态编辑路径”来实现编辑。其核心机制包括：1）共享噪声重加噪，以构造可比的源和目标侧带噪估计；2）扩散预测对比，通过比较源与目标条件下的反向动力学位移，得到编辑更新方向；3）动态引导调度，分阶段控制目标语义的注入强度。实验在AudioLDM2和Tango2两个骨干网络上，于事件级和音乐编辑基准上进行，结果表明该方法在音频质量（FAD/KL）和源保留（SSIM）上显著优于DDPM反转等基线，同时保持有竞争力的目标对齐度（CLAP），并提升了编辑效率。

🔗 开源详情

• 代码：论文中未提及完整的代码仓库链接。论文在摘要末尾提供了项目主页：https://directaudioedit.github.io/。在附录A中提到了使用公开的“AudioLDM evaluation toolkit”进行评估，其链接为：https://github.com/haoheliu/audioldm_eval。
• 模型权重：论文中未提及DirectAudioEdit自身的模型权重（该方法为训练免费，无需训练）。论文中评估所用的预训练骨干模型（AudioLDM2和Tango2）为已有的开源文本到音频生成模型，其权重可通过其原始论文获取。论文中未提供直接的下载链接。
• 数据集：论文中使用了两种基准：
  1. 事件级编辑基准：从公开数据集AudioCaps构建。论文中未提及直接的基准下载链接，但详细描述了构建方法（基于AudioCaps，使用大语言模型生成，后经人工清洗）。构建脚本或数据对未明确公开。
  2. 音乐编辑基准：使用公开基准MedleyMDPrompts。论文中未提供其直接链接。
• Demo：论文中提供了在线演示链接：https://directaudioedit.github.io/
• 复现材料：论文在附录A提供了详细的实现细节，包括编辑步数、引导比例设置、评估工具包等。在附录C提供了完整的统计结果和显著性检验表格。这些材料对于复现论文中的实验非常重要。
• 论文中引用的开源项目：
  • AudioLDM evaluation toolkit：用于评估，链接为 https://github.com/haoheliu/audioldm_eval
  • FlowEdit：作为对比的无反演编辑方法，引用自论文 Kulikov et al. (2025)。论文中未提供其代码链接。
  • AUDIT：训练式的音频编辑模型，引用自论文 Wang et al. (2023)。论文中未提供其代码链接。
  • InstructME：训练式的音乐编辑模型，引用自论文 Han et al. (2024)。论文中未提供其代码链接。
  • LAION-CLAP：用于计算语义对齐分数，引用自论文 Wu et al. (2023)。论文中未提供其代码链接。

19. MMAE: A Massive Multitask Audio Editing Benchmark

7.5/10 | 创新 1.5/2 | 严谨 1.0/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.0/1.5

✅ 7.5/10 | 前50% | #语音编辑 | #评估与统计 | #音频理解 #多任务学习 | arxiv

👥 作者与机构

论文作者众多，包括Ziyang Ma, Ruiqi Yan, Ruiyang Xu等30余人。论文未明确说明所有作者的具体所属机构。

💡 毒舌点评

这篇论文的工作定位有点尴尬。作为一个“Benchmark”论文，它自称是“首个全面的评估测试台”，但问题在于：1. 它只提出了一个数据集和一个评估框架，并没有提出新的模型或算法。这本质上是一篇“资源论文”，而非“方法论文”，在顶会上通常处于竞争劣势。2. 从给出的实验结果看（EMR<5%，复杂任务为0%），它更像是一份给现有模型判了“死刑”的诊断报告，但报告本身并未提供“治病”的方法。3. 论文最大的价值在于定义了问题空间（7种模态、6级复杂度、8种操作）和评估标准，但这种分类工作是否具备足够的洞察力和普适性，值得怀疑。它更像是一个庞大的工程分类清单，而非深刻的科学发现。4. 论文声称解决了“评估基础设施滞后”的问题，但评估框架（基于rubric分解为17,741个标准）的具体设计、验证过程和有效性论证在摘要中完全缺失，使得其核心贡献的可靠性存疑。5. “人机协作”构建数据集的具体流程未说明，是让人标注还是用模型生成后校对？这直接影响数据质量。总的来说，这是一篇工整但平庸的资源型论文，缺乏让顶会审稿人眼前一亮的理论或技术火花。

📌 核心摘要

MMAE是一个面向通用指令式音频编辑的大规模多任务评测基准。它旨在解决当前音频编辑评估体系分散、局限于简单任务和特定子领域的不足。基准包含2000个高保真样本，涵盖7种音频模态，并建立了一个从基本修改到多轮推理的6级任务复杂度分类体系。其核心创新在于提出了一种基于评分标准（rubric）的评估框架，将开放式任务分解为数万个可验证的标准，以精确评估模型的指令遵循和上下文一致性。对现有模型的评估表明，当前系统在精确编辑方面表现极差，暴露了显著的性能瓶颈。

🔗 开源详情

• 代码：论文中声称发布了基于Python的评估框架，但未提供任何具体的代码仓库链接（如GitHub URL）。
• 模型权重：论文未提及发布任何模型权重。本文是介绍一个评测基准，而非新训练的模型。
• 数据集：论文中声称包含2,000个样本，但未提供任何具体的下载链接或数据托管页面（如HuggingFace， ModelScope）。
• Demo：未提及在线演示链接。
• 复现材料：未提及。
• 论文中引用的开源项目：论文提到了“Nano-banana 2”和“Gemini-Omni”作为相关工作的例子，但未提供这些项目的具体链接或完整名称。

20. Leveraging Soft Distributions of SSL-Derived Discrete Speech Tokens for Downstream Inference

7.4/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.8/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5

✅ 7.4/10 | 前50% | #语音识别 | #自监督学习 | #概率图模型 #离散表示 | arxiv

👥 作者与机构

作者: Kentaro Onda, Satoru Fukayama, Daisuke Saito, Nobuaki Minematsu 机构: 1. The University of Tokyo, Japan; 2. National Institute of Advanced Industrial Science and Technology (AIST), Japan

💡 毒舌点评

这篇论文的idea清晰且实现简单，属于“微调改进”范畴。其核心是利用了推理时可以引入额外计算（softmax over clusters）这一事实，而无需改变训练好的模型。这种“训练-推理不一致”的策略在深度学习中并不罕见（例如知识蒸馏中的teacher-forcing vs. autoregressive decoding）。文章的主要优点在于实验验证比较全面，在ASR和TTS两个任务上都展示了有效性，并且深入分析了其在不同域（特别是域外非母语数据）上的优势。不足之处在于，理论分析较为薄弱，主要依赖经验性的温度参数搜索；同时，与最新的、同样利用软表示或多个离散codebook的方法（如文献[shi24h_interspeech], [mousavi24_interspeech]）相比，其性能提升幅度是否足够显著值得商榷。此外，论文声称“保留了训练时的效率”，但未提供训练时间的具体对比数据，这更多是一个假设而非实证结论。

📌 核心摘要

本文针对使用SSL离散token作为中间表示时存在的信息损失问题，提出了一种仅在推理阶段应用软分配（基于token后验概率的加权求和）的简洁方法。该方法在训练阶段沿用高效的硬分配（k-means最近邻），在推理阶段通过softmax将特征到聚类中心的距离转化为概率分布，从而用更丰富、更连续的表示替代单一的离散token。在ASR和语音合成（HiFi-GAN）任务上的实验表明，该方法在多个数据集上持续优于硬分配基线。特别值得注意的是，该方法在域外（OOD）数据上表现出强大的泛化能力，在非母语语音ASR任务（ERJ）上的表现甚至超越了使用原始连续SSL特征的基线。嵌入空间分析证实，软分配得到的表示在音素类别上的内聚性（类内方差减小）和分离度（Fisher比率提升）均优于硬分配。此外，研究探索了温度参数\(\tau\)的影响，并展示了该方法可与多层融合技术结合以进一步提升性能。

🔗 开源详情

• 代码：论文中未提供代码仓库链接。
• 模型权重：
  • HuBERT-large: https://hf.co/facebook/hubert-large-ll60k (链接为官方模型，非论文训练的下游模型)
  • WavLM-large: https://hf.co/microsoft/wavlm-large (链接为官方模型，非论文训练的下游模型)
  • 用于评估的Whisper large-v3和ESPnet-SPK模型链接在论文中提及但未给出具体URL。
• 数据集：论文中使用了多个数据集，但未提供具体的下载链接。
  • 训练集：LibriSpeech-100h (用于ASR训练与k-means聚类), LJSpeech (用于语音合成训练)。
  • 测试/评估集：LibriSpeech test-clean/other, TED-LIUM v2, CHiME4, ERJ, TIMIT。
• Demo：https://ondatk68.github.io/onda-demo/projects/soft-token-inference/ (论文第4.3节提及，用于语音合成示例)
• 复现材料：论文中未提及具体的检查点、训练配置文件等复现材料下载链接，但详细描述了实验设置、模型架构和参数（如softmax温度参数\(\tau\)的取值）。
• 论文中引用的开源项目：
  • ESPnet：https://github.com/espnet/espnet (论文第4.2节提及，用于ASR模型的训练和推理)
  • HiFi-GAN：https://github.com/jik876/hifi-gan (论文第4.3节提及，用作声码器)
  • PPGs：https://github.com/interactiveaudiolab/ppgs (论文第4.3节脚注提及，用于计算PPG距离)
  • ESPnet-SPK：https://hf.co/espnet/voxcelebs12_ecapa_wavlm_joint (论文第4.3节脚注提及，用于计算说话人相似度)
  • Whisper：论文第4.3节提及使用Whisper large-v3计算WER，但未提供具体链接。

21. MyGardenBird: A Machine-Learning-Ready Bird Sound Dataset for Twelve Common Malaysian Birds

7.2/10 | 创新 1.0/2 | 严谨 1.0/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5

✅ 7.2/10 | 前50% | #音频事件检测 | #卷积神经网络 | #音频数据集 #数据增强 | arxiv

👥 作者与机构

Muhammad Mun’im Ahmad Zabidi, Mohd Yamani Idna Idris, Norisma Idris。机构：Universiti Malaya（马来西亚大学），Universiti Teknologi Malaysia（马来西亚工艺大学）。

💡 毒舌点评

这篇论文就像一个认真负责的菜市场管理员，把一堆来自全国各地的鸟叫声（Xeno-canto录音）整理成了一盒盒标签清晰、份量均匀的12味鸟鸣罐头（MyGardenBird数据集）。步骤清晰，文档齐全，连罐头盒的尺寸（3秒）和开罐工具（分割GUI）都帮你准备好了，这对于想在东南亚搞“鸟鸣识别”小摊位的研究者来说，确实是雪中送炭。但是，管理员的工作本质上还是“整理”和“打包”，而不是发明新的捕鸟网或烹饪方法。论文的亮点在于把工程活儿干得非常细致，但面对顶会审稿人，仅靠“整理得干净”可能稍显单薄。你告诉别人“我的罐头标签很准（BirdNET验证）”，但又说“这标签是我自己贴的（单标注者）”，说服力打点折扣。最大的隐患是，你只卖了12种最常见鸟类的罐头，对于想开“东南亚全鸟宴”的研究者来说，这点品种还远远不够。所以，这是一篇优秀的“数据工程”报告，但离一篇有思想火花的“方法论”论文还有距离。

📌 核心摘要

本文针对东南亚地区生物声学数据稀缺的问题，提出了MyGardenBird数据集。该数据集从Xeno-canto公民科学档案中获取原始录音，经过一个包含物种选择、数据获取、频谱图分割、质量控制、BirdNET标签验证和混合整数规划数据划分的六步流水线处理。最终，数据集包含12种常见马来西亚鸟类，提供平衡的7200个（16kHz）和6950个（44.1kHz）经人工验证的3秒音频片段，并附带详细的元数据。基线CNN分类实验（92–96%准确率）和BirdNET零样本验证（~98%准确率）共同证实了数据集的质量和类别的可分性，使其成为一个适用于机器学习（尤其是边缘AI）应用的高质量、可复现的基准资源。

🔗 开源详情

• 代码：https://github.com/mun3im/MyGardenBird （包含完整处理流水线的9个Python脚本、配置文件、requirements.txt）
• 模型权重：未提供针对本数据集微调后的CNN模型权重。论文中使用的BirdNET v2.4是外部工具，其开源实现见 https://github.com/kahst/BirdNET-Analyzer。
• 数据集：
  • 核心数据集：MyGardenBird (16kHz: 7,200 clips; 44.1kHz: 6,950 clips)，获取链接：https://doi.org/10.5281/zenodo.20306877，开源协议：CC BY-NC-SA 4.0。
  • 补充数据集 (“MyGardenBird Plus”)：包含Common Myna和Zebra Dove各600个片段（16kHz和44.1kHz版本），包含在上述Zenodo存档的mygardenbirdplus/目录中。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文提供了完整的预处理、分割和模型训练代码，包含在代码仓库和Zenodo存档中。具体包括：9个Python脚本构成的完整处理流水线；requirements.txt 文件；所有数据集划分文件 (splits_mip_80_10_10.csv)；详细的元数据文件 (recordings.csv, clips.csv, qc_report.csv)。
• 论文中引用的开源项目：
  • Xeno-canto：原始音频数据来源。网站：https://xeno-canto.org/
  • BirdNET v2.4：用于数据集标签一致性验证。开源实现：https://github.com/kahst/BirdNET-Analyzer
  • CBC solver：用于数据集划分的混合整数规划求解器。链接：https://github.com/coin-or/CBC

22. FIGMA: Towards FIne-Grained Music retrievAl

7.2/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1.1/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5

✅ 7.2/10 | 前50% | #音乐检索 | #对比学习 | #数据集构建 #多模态模型 | arxiv

👥 作者与机构

作者：Nishit Anand, Ashish Seth, Sreyan Ghosh, Dinesh Manocha, Ramani Duraiswami 机构：University of Maryland, College Park, USA 链接：https://arxiv.org/abs/2606.06615

💡 毒舌点评

这篇论文提出的问题“细粒度音乐检索”是实际存在的，动机清晰。然而，其核心方法“多视图对比学习”本质上是将两个已有的、简单的对比损失（全局损失+一个基于帧-词元最大相似度的帧级损失）线性相加，技术新颖性有限。最大的硬伤在于，其贡献的庞大FGMCaps数据集（380K样本）完全由自动工具和LLM生成，缺乏人工标注验证，这使得其“细粒度”的可靠性存疑，也让论文的实验结论打了折扣——模型可能只是学会了匹配LLM生成的“模板化描述”，而非真正理解音乐理论属性。此外，论文开源情况极差，代码、模型权重、数据集均未提供，这在顶会论文中是难以接受的，严重阻碍了可复现性和后续研究。实验上，在自建测试集（FGMCaps）上的巨大提升说服力有限，而在外部分 benchmark（MusicBench， FMACaps-Eval）上的提升虽然显著，但基线模型（特别是最强的音乐专用模型 CLAMP 3）在 A2T 任务上表现异常差，这可能暗示了基线评估或设置存在问题，削弱了对比的公平性。

📌 核心摘要

本文针对现有基于 CLAP 的音乐检索模型无法有效利用长文本描述中细粒度音乐属性（如和弦、调性、节拍等）的问题，进行了研究。作者发现，标准对比学习目标会导致长文本信息被丢弃，检索性能在文本超过 40-50 个 token 后饱和。为此，本文提出了 FIGMA 模型，采用多视图对比学习损失，该损失由全局对比损失和帧级对比损失加权求和构成，旨在同时对齐全局语义和细粒度音频帧-文本词元对应关系。为支持研究，作者构建了首个大规模细粒度音乐描述数据集 FGMCaps（380K 训练对，10K 测试对），其标注通过自动工具提取音乐属性后，由 LLM 生成描述。实验表明，FIGMA 在 MusicBench 和 FMACaps-Eval 等基准测试中，在文本到音频和音频到文本检索任务上均显著优于现有基线模型，最高相对提升达 73.3%。论文同时讨论了模型的局限性与未来方向。

🔗 开源详情

• 代码：论文中未提供代码仓库链接。
• 模型权重：论文中未提供预训练或训练好的 FIGMA 模型权重下载链接。
• 数据集：论文构建了 FGMCaps 数据集，但未提供该数据集的直接下载链接。论文提及使用的原始公开数据集（MTG-Jamendo, Music4All, JamendoMaxCaps, MusicBench）也未提供获取链接。
• Demo：论文未提及在线演示。
• 复现材料：附录 E 提供了详细的训练配置（优化器、学习率、批次大小、温度参数等），但未提供模型检查点。
• 引用的开源项目：论文引用了 BeatNet, Omnizart, Essentia 等工具，但未提供其预训练模型权重链接。引用的 Qwen3-Next-80B-A3B-Instruct 模型也未提供官方链接。
• 项目主页：https://nishitanand.github.io/figma-website

23. KIT's Submission to Cross-Lingual Voice Cloning in IWSLT 2026

7.2/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5

✅ 7.2/10 | 前50% | #语音合成 | #迁移学习 | #强化学习 #参数高效微调 | arxiv

👥 作者与机构

Seymanur Akti, Alexander Waibel Karlsruhe Institute of Technology (KIT), Carnegie Mellon University (CMU), KIT Campus Transfer (KCT)

💡 毒舌点评

这篇论文就像一份优秀的“实验工程报告”，而不是一篇理论创新的论文。它把几个现成的工具（提示、RL、检索）组合起来解决了一个实际问题，效果看起来也还可以。但问题在于，它几乎在所有方面都“差点意思”：创新性？无非是在输入里加标签，RL微调也是常规操作。深度？奖励函数就是CER和SSIM的简单平均，连消融实验都懒得做全。对比？只跟自己家的基线比，外面的大神系统看都不看。最让人头疼的是，论文自己把摘要复制粘贴了一遍，这种低级失误简直是对审稿人智商的侮辱。总体而言，这是一篇典型的、为了参加共享任务而匆忙拼凑的系统描述，实用有余，学术性严重不足。

📌 核心摘要

本文报告了KIT团队在IWSLT 2026跨语言语音克隆任务上的参赛系统。系统构建于预训练的多语言TTS模型FishAudio-S2-Pro之上，为应对此任务中的口音泄漏和领域术语发音难题，提出了三项关键技术：（1）在输入文本中添加明确的母语脚本语言标签，以增强语言控制信号；（2）采用基于GRPO的强化学习方法，使用字符错误率和说话人相似度作为奖励信号，对模型进行任务适配；（3）设计了一种参考条件词汇匹配策略，在推理时从长段参考音频中检索包含目标术语的片段，为模型提供正确的发音参照。实验表明，语言标签提示对减少发音漂移贡献最大，RL微调进一步稳定了性能，而词汇匹配则显著提升了特定术语的发音准确性。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：基于 FishAudio-S2-Pro 模型构建。论文中提供了该项目的主页链接：https://fishaudio.github.io/fish-speech/。论文未提供单独的模型权重下载链接（如 HuggingFace 或 ModelScope 页面）。
• 数据集：使用 ACL 60/60 数据集。论文中提供了该数据集的获取链接：https://github.com/ymoslem/acl-6060。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文提供了以下技术细节用于复现：
  • 语言标签：使用了显式的语言标签，例如 [english], [普通话], [français], []。
  • 强化学习微调：使用 GRPO 算法，优化了注意力、MLP 和输出层。关键超参数包括：LoRA rank r=64, 缩放因子 α=16，学习率 \(10^{-5}\)，KL 惩罚系数 β=0.1，GRPO 组大小为 8。
  • 奖励函数：\(Reward = \frac{(1 - CER) + SSIM}{2}\)，其中 CER 由多语言 ASR 模型 facebook/mms-1b-all 计算，SSIM 由说话人验证模型 microsoft/wavlm-base-plus-sv 计算。
  • 评估指标：CER（openai/whisper-large-v3 计算），SSIM（speechbrain/spkrec-ecapa-voxceleb 计算），UTMOS。
• 论文中引用的开源项目：
  1. FishAudio-S2-Pro: https://fishaudio.github.io/fish-speech/
  2. ACL 60/60 数据集: https://github.com/ymoslem/acl-6060
  3. MMS-1B-ALL (多语言 ASR 模型): https://huggingface.co/facebook/mms-1b-all
  4. WavLM-Base-Plus-SV (说话人验证模型): https://huggingface.co/microsoft/wavlm-base-plus-sv
  5. SpeechBrain VoxLingua107 ECAPA (语言识别模型): 用于语言识别评估。链接：https://speechbrain.github.io/speechbrain/recipes/Tutorials/CTC_with_Wav2Vec2.html (SpeechBrain 项目教程页面)
  6. SpeechBrain ECAPA-TDNN (说话人验证模型): 用于最终评估的说话人相似度计算。链接：https://speechbrain.github.io/speechbrain/recipes/CommonVoice_200L/ECAPA_TDNNSynta.html
  7. OpenAI Whisper-Large-v3: https://huggingface.co/openai/whisper-large-v3
  8. Group Relative Policy Optimization (GRPO): 强化学习算法。论文引用了 Shao et al. (2024)，但未提供具体开源链接。
  9. VibeVoice (长音频 ASR 模型): 引用 Peng et al. (2026)，但未提供具体开源链接。

24. Contrastive Training with LLM-generated Near-Misses for Robust Code-Switching Speech Recognition

7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 1.0/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5

✅ 7.1/10 | 前50% | #语音识别 | #对比学习 | #代码切换 #数据增强 | arxiv

👥 作者与机构

作者：Tung X. Nguyen, Hieu Minh Truong, Giang-Son Nguyen, Nhu Vo, Wray Buntine, Dung D. Le 机构：VinUniversity (越南), University of Technology Sydney (澳大利亚), Monash University (澳大利亚)

💡 毒舌点评

这篇论文试图解决一个实际问题，但论证过程有些“聪明反被聪明误”。核心想法是让LLM生成更“难”的负样本，但作者自己都承认在vie-eng数据集上，未过滤的LLM生成物反而让PIER变差了（表3）。这就好比请了个外援，结果外援在场上乱踢，反而不如原班人马。论文对此的解释是“LLM生成的候选可能引入了大量声学上不合理或过于困难的样本”，但为什么LLM作为“创造力工具”的价值没有被清晰量化和证明？它到底提供了多少NN-best列表里没有的、真正有效的“新混淆”？论文避开了这个核心拷问。此外，对比训练中的温度系数β=1被直接固定，连个敏感性分析都没有，这显得实验不够扎实。方法听起来很美，但“LLM生成”这个卖点在自家消融实验里都出现了负面案例，说服力打了折扣。

📌 核心摘要

本文针对CS-ASR中错误集中在切换点（POI）的问题，提出了一种新的训练范式。其创新在于将“生成困难负样本”与“对比学习”相结合，并专门针对POI区域进行优化。具体地，作者构建了一个名为CS-NMG的离线流水线：1）从ASR的N-best列表和LLM中获取POI处的候选错误词；2）用三重过滤器（声学似然、文本差异、发音相似）筛选出“听起来像但不对”的负样本；3）用这些样本作为对比学习的负例，配合对POI加权的交叉熵损失，微调Whisper模型。实验表明，该方法在CS-FLEURS和ViMedCSS两个基准上，相比CE、WCE、MWER等基线，能同时降低整体WER和区域错误率PIER。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：论文中未提及自己发布的模型权重链接。实验中使用的基线模型为 Whisper-small，可在 Hugging Face Hub 获取：https://huggingface.co/openai/whisper-small。
• 数据集：
  • CS-FLEURS (cmn-eng)：论文提及并引用，原始论文链接为：https://arxiv.org/abs/2312.06718。
  • ViMedCSS (vie-eng)：论文提及并引用，原始论文链接为：https://arxiv.org/abs/2606.03336。
• Demo：论文中未提及。
• 复现材料：论文详细描述了训练配置（包括 LoRA 参数、数据生成参数、过滤阈值等），可作为复现指南，但未提供现成的训练脚本、检查点或附录代码。
• 论文中引用的开源项目：
  • pypinyin: 用于中文拼音转换，https://github.com/mozillazg/pinyin。
  • g2p_en: 用于英语音素转换，https://github.com/Kyubyong/g2p。
  • underthesea: 用于越南语音素转换，https://github.com/undertheseanlp/underthesea。
  • Gemini 2.5 Pro: 用于生成候选替换词的大型语言模型，通过商业 API 访问，论文未提供具体 API 调用链接。

25. A Large-Scale Per-Speaker Analysis of Re-identification Risk in Speech Anonymization

7.1/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 7.1/10 | 前50% | #语音匿名化 | #评估与统计 | #说话人识别 #隐私保护 | arxiv

👥 作者与机构

作者: Orane Dufour (1), Paul Magron (1), Mickael Rouvier (2), Emmanuel Vincent (1)。机构: 1. Université de Lorraine, CNRS, Inria, LORIA, France; 2. LIA, Avignon University, France。邮箱: {orane.dufour, paul.magron, emmanuel.vincent}@inria.fr, mickael.rouvier@univ-avignon.fr。

💡 毒舌点评

这篇论文像一个严谨的“风险普查员”，用大规模数据告诉你，语音匿名化没有“万能药”，隐私风险是个“看人下菜碟”的动态问题。优点在于规模大（近5000说话人）、因素全（三个关键变量）、结论清晰（风险非内在）。缺点嘛，有点像用一把尺子（链接性）量所有东西，没深挖“为什么这个说话人就容易被链接”（缺乏因果分析），而且给的“药方”（未来工作）也比较模糊。分析结果基本正确，但部分描述可以更精准，对方法的拆解和对局限性的批判可以更犀利。

📌 核心摘要

本文针对语音匿名化评估中常用的等错误率（EER）等平均指标无法反映个体差异的问题，提出了一种大规模、说话人级别的隐私风险分析框架。研究基于链接性指标，在最坏情况威胁模型下，系统评估了约5000名说话人在不同配置组合（2种匿名化系统×3种攻击者架构×3种会话长度）下的重识别风险。核心发现是，尽管在单个配置内说话人链接性分数高度两极化（接近0或1），但容易/难以被链接的说话人集合在不同配置间变化剧烈（Jaccard相似性<0.47）。这证明重识别风险是攻击者、匿名化系统和可用语音量三者交互的结果，而非说话人的固有属性。研究挑战了评估结果可跨威胁模型迁移的观点，并呼吁建立明确以攻击者和匿名化系统为条件的评估协议。

🔗 开源详情

• 代码：https://github.com/OraneD/Speaker-Linkability （提供）
• 模型权重：论文中未提及
• 数据集：论文使用了开源数据集 LibriSpeech 和 CommonVoice。获取链接为：LibriSpeech (https://www.openslr.org/12/)；CommonVoice (https://commonvoice.mozilla.org/en/datasets)。论文指出测试集划分（CV 11.0 A/B）与论文[vauquier25_interspeech]相同。
• Demo：论文中未提及
• 复现材料：论文中未提及（除代码仓库外，未明确提供训练配置、检查点或附录等额外材料）
• 论文中引用的开源项目：
  • Voice Privacy Challenge (VPC) 2025：论文中提及了该挑战赛及其基线系统，但未提供统一的项目主页链接。
  • 基线匿名化系统 B3 和 B5：论文中提及，但未给出具体代码仓库链接。
  • ECAPA-TDNN (攻击者1)：https://github.com/Voice-Privacy-Challenge/Voice-Privacy-Challenge-2024/tree/main
  • WavLM ECAPA (攻击者2)：https://github.com/deep-privacy/sidekit (论文指出其与ECAPA架构相同，但使用WavLM输入特征)
  • ResNet-101 (攻击者3)：https://github.com/kiwano-toolkit/kiwano/ (论文指出使用该工具包训练)
  • 论文中提及但未详细说明的两个其他攻击者 [arefeen2026dastdualstreamvoiceanonymization, Yakovlev_2024]：未提供链接。
  • 论文中提及的其他相关开源项目/工具：WavLM (论文中引用 [chen_2022])、wav2vec 2.0 (论文中引用 [baevski2020wav2vec20frameworkselfsupervised])、HiFi-GAN (论文中提及)。这些作为引用背景出现，未作为实验代码直接链接提供。

26. SVHighlights: Towards Extremely Long Sport Video Highlight Detection

7.0/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 0.3/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5

✅ 7.0/10 | 前50% | #视频摘要 | #零样本学习 | #视频理解 #多模态模型 | arxiv

👥 作者与机构

作者：Donggyu Lee, Youngbin Ki, Jeonghun Kang, Taehwan Kim 机构：Ulsan National Institute of Science and Technology (UNIST), Ulsan, Republic of Korea

💡 毒舌点评

这是一篇典型的“数据集驱动”工作，核心贡献是搭台（SVHighlights数据集）和给出一个免训练的强基线（TF-SELECTOR）。优点是问题定义清晰，直指当前长视频理解的一个空白点，数据集构建流程考虑周全，消融实验也比较扎实。然而，作为一篇顶会论文，其技术深度略显不足。TF-SELECTOR本质上是一个工程化的Pipeline（分割-描述-打分），创新点主要在于组合策略和如何适应长视频，而非提出新的算法模型。数据集的“免人工标注”依赖官方高光视频，这在一定程度上限制了其泛化到非体育领域的能力。实验结果中，TF-SELECTOR在HIT@1等指标上显著领先，但在mAP上不及TRACE，论文对此的解释有说服力（TRACE的稀疏预测策略）。总体而言，这是一篇扎实的系统性工作，为长视频高光检测领域提供了一个急需的基础设施和强力基线，但若期望看到颠覆性的算法创新可能会有些失望。

📌 核心摘要

本文致力于解决视频高光检测领域向小时级长视频扩展的挑战。现有研究因缺乏合适基准而主要局限于短视频。为此，作者构建了首个超长体育视频高光检测基准SVHighlights，包含320个平均时长2小时的视频，总时长超过640小时。该基准通过创新的数据集生成流水线构建，利用官方高光视频与完整比赛视频进行对齐，自动生成标注，避免了昂贵的人工逐片段标注。为在长视频上提供有效基线，作者提出了TF-SELECTOR，一个免训练的框架。其核心思想是将长视频分割为基于转写文本的上下文感知语义片段，利用VLM为每个片段生成文字描述，再结合转写文本和音频音量，由LLM预测片段的高光显著性分数。在SVHighlights基准上的实验表明，TF-SELECTOR在HIT@1、HIT@K和IoU等关键指标上显著优于在短视频数据集上微调的视频时序定位模型。消融研究证实了多模态输入（尤其是转写文本）的重要性。该工作为长视频高光检测领域建立了首个标准化评测平台和强基线。

🔗 开源详情

• 代码：https://github.com/leedongkyu2019/SVHighlights （论文中明确指出“代码”可在其项目主页获取）
• 模型权重：论文中未提及作者是否发布自行微调的模型权重。论文使用的模型为现成的预训练模型（如Llama-3-8B、InternVL2.5-8B），作者未训练或发布新模型权重。
• 数据集：SVHighlights。获取链接为项目主页 https://leedongkyu2019.github.io/SVHighlights/ 。论文提到该数据集通过项目主页提供，具体为“视频URL、提取的特征和标注标签”。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文附录中提供了TF-SELECTOR的详细提示词（Appendix A, Figure 6）、视频修剪的具体标准（Appendix B, Table 11）以及手动过滤的细节（Appendix C）。作者承诺通过项目主页发布数据集和代码，这构成了复现的主要材料。
• 论文中引用的开源项目：
  • TF-SELECTOR：本文提出的方法，代码在项目主页。
  • SL-Module：论文中提到的唯一一个具有公开代码的片段级高亮检测基线方法（未提供具体链接）。
  • TransNet V2：用于镜头边界检测。
  • WhisperX-large-v2：用于自动语音识别（ASR）。
  • InternVL2.5-8B：用作视觉语言模型（VLM）进行片段描述。
  • Llama-3-8B：用作大语言模型（LLM）进行显著性分数预测。
  • LLaVA-OV-7B、Qwen2.5-VL-7B：在消融实验中作为视觉语言模型进行比较。
  • Llama2-7B、Qwen2.5-7B、Mistral-7B：在消融实验中作为大语言模型进行比较。
  • CLIP、ResNet：在相关工作中被提及作为视觉特征提取方法的示例。
  • VTG-LLM、TimeChat、TRACE：在实验中作为基线方法。
  • Moment-DETR、UMT、QD-DETR、MH-DETR、UniVTG、TR-DETR、CG-DETR：在实验中作为视频时序定位（VTG）基线。 （注：论文中引用了上述项目名称，但未提供其具体开源链接。仅本文提出的方法和数据集提供了明确的项目主页链接。）

27. TargetSEC: Plug-and-Play In-the-Wild Speech Emotion Conversion via Arousal-Conditioned Latent Style Diffusion

6.8/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5

✅ 6.8/10 | 前50% | #语音转换 | #扩散模型 | #风格建模 #自监督学习 | arxiv

👥 作者与机构

作者：Constantin Alexander Auga 机构：Hasso Plattner Institute / University of Potsdam, Potsdam, Germany

💡 毒舌点评

这篇工作挺扎实，属于“把已有好工具用对地方”的典范。用潜在扩散模型处理风格嵌入，而不是在声谱图上硬刚，这思路很聪明，直接避免了生成声谱图常见的相位撕裂问题，保住了语音自然度（WVMOS 3.25 vs. 2.56）。消融实验设计得很规矩，一步步把MLP换成扩散、再加说话人条件，证明了每一步都有收益。作者也很诚实地承认了自己方法在极端情绪（如极度愤怒或无聊）上的短板，因为没做时长预测，语速跟不上。但问题是，这论文的“新颖性”有点虚。说是“首次”在嘈杂环境SEC中用LDM，但本质上是把DreamVoice或PromptVC那套“文本驱动LDM生成风格”的框架，里的文本条件换成了情绪嵌入，再套上一个现成的SEC任务。这更像是工程上的适配和验证，理论或方法论上的突破有限。实验只做了客观指标，主观听感完全缺失，对于语音合成任务来说，这是个明显的评审漏洞。开源方面几乎为零，连复现的关键细节（如完整的损失权重、优化器设置）都没给，让“plug-and-play”打了折扣。

📌 核心摘要

本文提出了TargetSEC，一个用于嘈杂环境语音情感转换（SEC）的即插即用框架。其核心创新在于使用一个潜在扩散模型（LDM）来生成情感条件的风格嵌入，而非直接操作高维声谱图。该框架将预训练的内容、说话人和情绪编码器与LDM结合，后者在说话人和连续唤醒度（arousal）条件下生成风格向量，再与内容、说话人嵌入拼接后送入HiFi-GAN解码器。在MSP-Podcast V1.10数据集上的实验表明，TargetSEC在非时长预测基线中取得了最佳的情感转换准确率（SER Error L_mse = 0.068），同时保持了与GAN基线相当的语音自然度（WVMOS = 3.25）。消融研究验证了LDM和说话人条件的有效性。研究也指出，固定时长建模限制了模型对极端情绪引发语速变化的捕捉能力，这是未来需要集成时长预测器来解决的关键问题。

🔗 开源详情

• 代码：论文中未提及代码链接
• 模型权重：论文中未提及模型权重链接
• 数据集：MSP-Podcast V1.10 (论文中提及的标准评测集，通过 https://msp-podcast.com 获取)
• Demo：论文中未提及在线演示链接
• 复现材料：论文中未提及具体的训练配置、检查点或附录下载链接
• 论文中引用的开源项目：
  • HuBERT: https://github.com/facebookresearch/fairseq/tree/main/hubert
  • HiFi-GAN: https://github.com/jik876/hifi-gan
  • Wav2Vec-MOS (WVMOS): https://github.com/gabrielmittag/NISQA (论文引用的开源项目)
  • ECAPA-TDNN: https://github.com/speechbrain/speechbrain
  • MetaStyleSpeech (Style Encoder): https://github.com/sarulab-speech/meta-style-speech
  • AutoFormer (Emotion Encoder): https://github.com/audeering/opensmile (论文中未提供项目链接，但引用了相关工作)
  • PromptVC (灵感来源): https://github.com/PromptVC/PromptVC
  • DreamVoice (灵感来源): https://github.com/MasoudNovinfard/DreamVoice
  • Common Diffusion Noise Schedules (相关方法): https://github.com/ermongroup/score_sde_pytorch (参考实现)

28. Making the Most of Limited Data: Score-Aware Training for Text-to-Music Generation

6.7/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5

✅ 6.7/10 | 前50% | #音乐生成 | #训练策略 | #文本到音乐生成 #分数感知训练 | arxiv

👥 作者与机构

Yun-Chen Cheng, Tzu-Hung Huang, Chih-Pin Tan （来自台湾，未在提供的文本中明确机构名称）

💡 毒舌点评

这篇论文就像个在资源受限的厨房里想做出米其林大餐的厨师。想法很聪明——既然没有顶级食材（大规模数据），那就得在每一片菜叶（每个音频片段）和每一次火候控制（每个训练步骤）上下足功夫。用CLAP分数给数据打分、分类、区别对待，这套“分数感知”的理念本身很有启发性，是解决现实问题（学术界无法复现SOTA）的务实思路。但问题是，厨师只用小锅（2000样本）做了一桌子菜（消融实验）来证明自己的手艺，却在最后用大灶台（全量数据）做了一道菜（最终提交）。我们如何能确信小锅上的经验能完美放大到大灶台？那些“隐式正则化”、“分布弥合”的妙招，在数据量剧增时还灵光吗？MuQ这个“神秘香料”在小锅里完全没效果（未收敛），却在大菜里撒了一把，这操作实在令人费解。整篇论文像一个精心设计但验证不足的工程报告，点子不错，但作为一篇追求严谨方法论创新的顶会论文，实验的软肋太明显了。

📌 核心摘要

本文针对文本到音乐生成（TTM）在有限数据与计算资源下的训练挑战，提出了一种“分数感知训练”框架。核心思想是以CLAP音频-文本对齐分数作为贯穿全流程的监督信号，区别化处理不同质量的训练样本。主要贡献包括四个互补组件：1）基于CLAP分数的分段过滤管道，剔除对齐最差的片段；2）CLAP分数条件化的Beta分布噪声时间步调度，将中低分数片段导向高噪声训练阶段，作为一种隐式正则化；3）两阶段字幕处理流程，先使用信息密集的详细字幕预训练，再在LLM重写的简洁风格字幕上微调，以弥合训练-推理时的文本分布差距；4）REPA辅助损失，将冻结的CLAP和MuQ编码器的表示与模型隐藏状态对齐，以迁移预训练知识。该系统（450M参数）提交至ICME 2026 ATTM挑战赛效率赛道，在目标评估阶段获第2名，主观MOS评估中获第3名。小规模消融实验验证了CLAP REPA和Beta时间表的正则化效果，但揭示了MuQ REPA在短训练周期下的问题。论文坦诚指出，所有详尽消融均在小规模（2000样本）上进行，其结论向最终大规模模型的推广性有待验证。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：论文中未提及公开的模型权重链接。论文提及参与了ICME 2026 ATTM Challenge并提交了模型，但未提供开源或公开下载的权重链接。
• 数据集：论文中提及使用“MTG-Jamendo dataset”的CC-licensed subset作为标准训练与评估数据集。论文未提供该数据集的直接下载链接，但指明其为挑战赛所用的CC授权子集。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文在Table II中提供了完整的架构与训练超参数配置，但未提供独立的复现指南、检查点、LLM重写提示中使用的few-shot示例或数据划分的外部链接。
• 论文中引用的开源项目：论文引用了FluxAudio [11]、ACEStep 1.5 [8]、CLAP [4]、MuQ [14]、Qwen2-Audio-7B-Instruct [2]、Music Flamingo [7]、FLAN-T5 [12]、Qwen3-4B-Instruct（未编号引用）。所有引用均来自参考文献列表，论文正文与补充材料中均未明确提供这些项目的GitHub、HuggingFace或任何其他具体的URL链接。

29. IRAF: Interference-Resilient Adaptive Fusion for Noise-Robust End-to-End Full-Duplex Spoken Dialogue Systems

6.5/10

✅ 6.5/10 | 前50% | #语音对话系统 | #注意力机制 | #全双工对话 #抗干扰 | arxiv

👥 作者与机构

Zhong Tao, Jiajun Deng, Nikita Kuzmin, Yinke Zhu, Tianxiang Cao, Tristan Tsoi, Zhili Tan, Simon Lui, Xunying Liu 1 The Chinese University of Hong Kong, China 2 AudioLab Hong Kong, Huawei Leibniz Research Center, China 3 Nanyang Technological University, Singapore

💡 毒舌点评

这篇文章抓��了全双工对话系统在真实噪声环境中的一个切实痛点——干扰语音污染条件输入。IRAF的思路直观，即“不确定的就不信”，用一个轻量门控去缩放可能被污染的音频特征，这听起来简单直接，甚至有些“土办法”的味道。论文声称这是“首次”尝试解决E2E全双工系统的这类问题，但方法本身（用一个Speaker Embedding做引导的注意力门控）在语音分离、说话人日志等领域已有大量影子，创新深度有限。实验在两个数据集上做了，也加了消融，看起来扎实，但缺少与更多近期SOTA的直接对比，说服力打了折扣。最让人皱眉的是，整个门控的监督信号（目标说话人活跃帧）在训练时依赖完美的说话人活动分割，这在真实在线场景中如何获取？论文对此避而不谈。一个严重依赖“干净”训练信号来应对“嘈杂”现实的方法，其泛化能力要打个大大的问号。总的来说，这是一篇工程上合理、实验上尚可、但理论新意和实际部署可行性存疑的工作。

📌 核心摘要

本文针对端到端双通道全双工语音对话系统在存在干扰说话人的现实环境中性能下降的问题，提出了IRAF（干扰鲁棒自适应融合）模块。该问题源于干扰语音被错误编码为用户查询，污染了大语言模型（LLM）的条件输入，导致轮次管理错误和响应质量降低。IRAF是一个轻量级、流式兼容的模块，它在每一帧接收用户音频嵌入和目标说话人嵌入，通过一个小型Transformer网络预测一个可靠性门控值\(g_t \in [0,2]\)。\(g_t\)用于缩放用户音频表示，然后与代理文本嵌入融合后送入LLM。IRAF与整个模型联合端到端训练，并引入一个辅助二分类损失（权重0.1）来引导门控学习区分目标说话人活跃帧与干扰帧。在MS-MARCO和InstructS2S-200K数据集上的实验表明，与仅用噪声增强训练的基线（NoisyAug）相比，IRAF在多种干扰条件下均显著提升了响应质量（BLEU, sBERT）和交互性能（RSR, SSR），并降低了响应延迟。消融实验和SNR分析进一步证实了该方法的有效性和泛化性。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：论文中未提及最终训练模型的权重下载链接。
• 数据集：
  1. MS MARCO：https://microsoft.github.io/msmarco/
  2. InstructS2S-200K：https://huggingface.co/datasets/ICTNLP/InstructS2S-200K
• Demo：论文中未提及。
• 复现材料：论文中未提及提供额外的检查点或附录文件。论文的“实验设置”部分详细描述了模型架构、训练配置（如优化器、学习率、批大小等）和评估指标，可作为复现的主要依据。
• 论文中引用的开源项目：
  1. NeMo Toolkit：https://github.com/NVIDIA/NeMo
  2. TinyLlama：https://huggingface.co/TinyLlama/TinyLlama-1.1B-Chat-v1.0
  3. NanoCodec：论文中引用了 [casanova2025nanocodechighqualityultrafast]，但未提供具体链接。
  4. CosyVoice：https://github.com/FunAudioLLM/CosyVoice
  5. MUSAN corpus：http://www.openslr.org/17/
  6. ECAPA-TDNN：https://github.com/speechbrain/speechbrain
  7. Silero VAD：https://github.com/snakers4/silero-vad
  8. SentencePiece：https://github.com/google/sentencepiece

30. Towards Event-Robust Acoustic Scene Classification

6.5/10 | 创新 1.0/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1.3/1 | 影响 1.0/1.5 | 开源 1.0/1.5 | 复现 0.8/0.5 | 工程 0.8/1.5

✅ 6.5/10 | 前50% | #声学场景分类 | #数据集与基准 | #鲁棒性研究 #预训练模型 | arxiv

👥 作者与机构

Yiqiang Cai, Bohan Hu, Yu Yang, Pengwei Lu, Shengchen Li, Xi Shao. 机构包括西安交通大学-利物浦大学、中电智恒信息技术服务有限公司、中国电信江苏分公司、南京邮电大学。

💡 毒舌点评

这篇论文本质上是一个“问题暴露器”而非“解决方案”。作者敏锐地指出了一个真实且重要的问题——未知前景声音事件对声学场景分类的破坏性影响，这很可贵。然而，他们构建了一个大型合成数据集（ESAS），然后把一堆现有模型“吊打”一番，最后两手一摊说“大家快来研究这个问题吧”。数据集构建工作扎实，评估实验也面面俱到，但论文的核心贡献停留在“诊断”层面，未能提供任何“治疗”方案。对于追求方法创新的顶会来说，这就像一位医生做了详尽的检查报告却没开出药方。预训练模型（BEATs, PaSST）的表现虽然最好，但这是它们的固有能力，而非本文的贡献。最让人皱眉的是，论文声称使用LLM进行“语义分组”，但具体如何保证语义相关性？这个“受约束的语义过滤器”到底有多强的约束力？文中描述得相当模糊。总体而言，这是一份高质量的“体检报告”，但患者（事件鲁棒ASC）的治疗方案依旧缺席。

📌 核心摘要

本文针对声学场景分类（ASC）系统在面对未知前景声音事件时鲁棒性不足的问题，提出了事件偏移声学场景（ESAS）数据集。该数据集以真实场景录音（CochlScene）为背景，通过大语言模型（GPT-4）指导的语义分组，将来自FSD50K的前景声音事件进行混合，构建了包含背景、已知事件和未知事件三类子集的评估基准。论文在多个从轻量级CNN到大规模预训练Transformer的SOTA模型上进行了全面评估。实验结果表明，现有ASC模型在处理包含未知事件的声学样本时，分类精度出现严重崩溃，暴露了当前表示学习范式在事件偏移条件下的根本性缺陷。ESAS数据集旨在推动未来对事件鲁棒ASC的研究。

🔗 开源详情

• 代码：https://github.com/bohanhu118/Interspeech2026_ESAS （提供ESAS数据集构建和部分评估的代码）。
• 模型权重：论文中未提供任何预训练模型（如BEATs, PaSST）的权重托管链接。所评估的模型依赖其各自原始论文的开源仓库。
• 数据集：ESAS数据集。论文声明数据集与代码一同在上述GitHub仓库中提供。
• Demo：论文中未提及。
• 复现材料：论文提及在合成数据时保留了全面的元数据（JSON文件）以保障可复现性，但未提供完整的训练配置、检查点或详细的实验复现指南。
• 论文中引用的开源项目：
  1. FSD50K (数据集): https://zenodo.org/record/4060432
  2. CochlScene (数据集): https://github.com/steffi0803/CochlScene
  3. BEATs (模型): https://github.com/microsoft/unilm/tree/master/beats
  4. PaSST (模型): https://github.com/koutini/pscnn-passt

31. FSC-Net: Integrating Fast Fourier Convolutions and Progressive Learning for Speech Bandwidth Extension

6.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 0.8/1.5 | 清晰 0.7/1 | 影响 0.8/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 0.7/1.5

✅ 6.4/10 | 前50% | #语音带宽扩展 | #神经网络架构 | #频域处理 #频谱图 | arxiv

👥 作者与机构

Xinan Chen, Xiaobin Rong, Qinwen Hu, Kai Chen, Jing Lu Key Laboratory of Modern Acoustics, Nanjing University, Nanjing 210008, China NJU-Horizon Intelligent Audio Lab, Horizon Robotics, Beijing 100094, China

💡 毒舌点评

这篇工作将两个直观且有效的组件——FFC和渐进学习——整合到一个紧凑的网络中，并在极具挑战性的超低带宽扩展任务（4kHz→48kHz）上取得了扎实的SOTA结果，这是值得肯定的。然而，作者在“讲故事”的深度上有所欠缺：对渐进学习中滑动窗口大小序列\(\{W_i\}\)的选取缺乏理论或实验依据的讨论；消融实验虽然做了，但仅证明了“有比没有好”，未能深入剖析两个组件的交互作用或各自的贡献上限。最大的硬伤在于缺乏任何主观听觉评估数据（如MOS或A/B测试），在一个高度感知驱动的任务中，仅有PESQ和NISQA分数是不够的，这削弱了其结论的说服力。此外，代码未开源也使得验证其声称的“高效”和“紧凑”大打折扣。

📌 核心摘要

针对语音带宽扩展（BWE）任务中高频相位和谐波结构重建困难的问题，本文提出了FSC-Net。该模型基于TF-GridNet骨干，通过集成快速傅里叶卷积（FFC）模块来获取全局频谱感受野，以建模跨频带谐波依赖。同时，提出了一种新颖的频率渐进学习策略，通过滑动窗口平均生成从粗糙到精细的多分辨率训练目标，引导模型逐步重建高频细节。在VCTK数据集的4kHz→48kHz极端扩展任务中，FSC-Net以仅1.54M的参数量，取得了优于一系列基线模型（包括参数量更大的模型）的LSD和PESQ分数，并在未见过的EARS数据集上展示了良好的泛化能力。

🔗 开源详情

• 代码：论文中未提供具体代码仓库链接，仅说明“The source code will be released upon acceptance of the paper.”（代码将在论文被接受后发布）。
• 模型权重：论文中未提及任何模型权重的托管链接（如HuggingFace、ModelScope）。
• 数据集：论文中提及使用了以下数据集，但未提供具体开源链接或协议说明：
  • VCTK corpus (version 0.92)
  • EARS dataset
• Demo：https://xinan-chen.github.io/FSC-Net-demo
• 复现材料：论文中提到了一些训练与实现细节（如分段长度、STFT参数、学习率设置等），但未提供具体的训练配置文件、检查点或附录等材料链接。
• 论文中引用的开源项目：
  • TF-GridNet：论文中作为基础架构被引用（参考文献 [32]），但未提供其具体链接。
  • torchaudio：用于音频下采样（resampling utility provided by torchaudio），这是PyTorch生态的一部分，官方链接为 https://pytorch.org/audio/stable/index.html。
  • AP-BWE、BAE-Net、AERO、SFNet：论文中作为对比方法被引用，但未提供这些项目的具体代码链接。

32. Watch, Remember, Reason: Human-View Video Understanding with MLLMs

6.4/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.0/1.5 | 复现 0.2/0.5 | 工程 1.0/1.5

✅ 6.4/10 | 前50% | #视频理解 | #多模态模型 | #文献综述 #长视频 | arxiv

👥 作者与机构

作者：Jiahao Meng, Yue Tan, Qi Xu, Kuan Gao, Weisong Liu, Yanwei Li, Jason Li, Lingdong Kong, Haochen Wang, Qianyu Zhou, Jiangning Zhang, Guangliang Cheng, Yunhai Tong, Lu Qi, Minghsuan Yang 机构：J. Meng, Y. Tan, Y. Tong 隶属于北京大学智能科学与技术学院；Q. Xu, L. Qi 隶属于武汉大学；K. Gao, Y. Li 隶属于上海交通大学；J. Li 隶属于南洋理工大学；H. Wang, W. Liu 隶属于中国科学院自动化研究所（CASIA）；Q. Zhou 隶属于东京大学；G. Cheng 隶属于利物浦大学；J. Zhang 隶属于浙江大学；L. Kong 隶属于新加坡国立大学；M. Yang 隶属于加州大学默塞德分校。

💡 毒舌点评

这篇综述抓住了当前视频MLLM研究从感知向认知、从短片向长片转变的核心趋势，提出的“观察-记忆-推理”框架也确实提供了一个有用的组织思路。但是，它犯了许多综述论文的老毛病：广而不深。对“推理”部分大量涌现的强化学习（RL）和基于工具的代理方法，分析停留在罗列阶段，缺乏对其训练稳定性、奖励设计有效性、以及不同方法之间真实性能差距的批判性讨论。所谓“人类视角”更多是包装上的噱头，框架本身（定义输入、记忆状态、推理痕迹等）是标准建模范式，并无根本性突破。最令人失望的是，作为2025-2026年的综述，对未来方向的展望过于空泛，缺乏具体的、可操作的技术路线图或挑战分析。它更像是一篇写给初学者的领域地图，而非能引发研究者深度思考的顶会综述。

📌 核心摘要

本文针对当前视频多模态大语言模型（MLLM）研究日益碎片化的现状，提出了一种统一的“人类视角”分析框架。该框架将视频理解系统分解为三个核心功能模块：观察（Watch） 负责从多模态输入中提取任务相关的感知证据；记忆（Remember） 负责在长时间或流式输入中维护和检索有用信息；推理（Reason） 负责基于感知和记忆证据进行推断并生成输出。论文基于此框架，系统梳理了相关技术、方法、应用、数据集和评估基准，并指出了五个未来研究方向，旨在为构建可扩展、记忆感知且证据可追溯的视频智能提供指导。

🔗 开源详情

• 代码：论文中仅提供了一个用于持续追踪相关工作的GitHub Awesome列表链接：https://github.com/marinero4972/Awesome-HumanView-VideoUnderstanding。论文本身未提供其核心方法的官方代码仓库链接。
• 模型权重：论文中未提及。
• 数据集：论文作为综述提及了众多公开数据集的名称（如ActivityNet Captions、Panda-70M、VideoChat2-IT等），但未提供统一的获取链接，也未自建数据集。
• Demo：论文中未提及。
• 复现材料：论文中未提及具体的训练配置、检查点或实验复现代码。
• 论文中引用的开源项目：论文作为综述，在正文和表格中引用了大量其他工作（如TimeChat, VITAL, Open-o3-Video, MovieChat等）。这些是独立的工作，其代码链接需通过相应的参考文献或独立检索获取，论文本身并未逐一提供。

33. Hierarchical Semantic-Constrained Heterogeneous Graph for Audio-Visual Event Localization

6.2/10 | 创新 1.5/2 | 严谨 1.0/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.4/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.3/1.5

✅ 6.2/10 | 前50% | #音频-视觉定位 | #图神经网络 | #异构图 #双曲几何 | arxiv

👥 作者与机构

哈尔滨工业大学（计算学院）、鹏城实验室、哈尔滨工业大学苏州研究院。

💡 毒舌点评

这篇论文在“概念缝合”上做得不错，把图网络、双曲几何和开放词汇这些热门方向缝合成一个新框架。想法听起来很“顶会”，但仔细看技术实现，双阈值机制里的 \(w_1/w_2\) 是拍脑袋定的超参数，指示函数不可微也没交代，理论部分对双曲空间的作用解释得像玄学。实验上，消融研究做了，但“为什么有效”的分析深度不够，更像是组件堆叠的功劳报告。最让人皱眉的是开源方面，啥也没提供，这对于顶会论文来说是重大减分项——光说代码“可复现”是不够的。作者声称解决了开放词汇泛化问题，但实验里未见类别性能仍远低于已见类别，这“显著提升”的结论需要打个问号。总的来说，包装大于实质，想法有价值，但执行和论证的严谨性离顶级工作还有差距。

📌 核心摘要

本文针对开放词汇音频-视觉事件定位（OV-AVEL）任务，提出一种分层语义约束异构图（HSCHG）框架。该框架包含两个主要阶段：首先，在欧氏空间构建异构层次图网络（HHGN），联合建模片段级和视频级的音视一致性表示；其次，将多层级表示映射到双曲空间，利用层次蕴涵正则化损失显式建模语义层次关系，以增强对未见类别的泛化能力。核心创新在于将异构图的多粒度跨模态交互与双曲空间的几何层次先验相结合，为开放词汇场景下的多模态理解提供了新思路。在OV-AVEBench基准上的实验表明，该方法在已见和未见类别上均优于现有基线，尤其在未见类别上取得显著性能提升。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：论文中未提及。
• 数据集：论文使用OV-AVEBench数据集（基于VGGSound构建），但未提供具体下载链接。
• Demo：论文中未提及。
• 复现材料：论文未提供训练配置文件、检查点或附录等复现材料的下载链接。
• 论文中引用的开源项目：
  • ImageBind: 论文使用其作为特征提取器。项目链接：https://github.com/facebookresearch/ImageBind

34. Audio Imitator: Controlling Timbre and Tempo in Video2Audio Synthesis with Audio Reference

6.0/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0.9/1.5 | 清晰 1/1 | 影响 0.5/1.5 | 开源 0.0/1.5 | 复现 0.4/0.5 | 工程 0.6/1.5

✅ 6.0/10 | 前50% | #音频生成 | #生成模型 | #视频到音频生成 #音频风格控制 | arxiv

👥 作者与机构

第一作者：Jiahui Zhao；其他作者：Tianrui Wang, Chunyu Qiang, Cheng Gong, Xijuan Zeng, Feng Deng, Longbiao Wang。 机构：天津大学（1），快手科技（2）。

💡 毒舌点评

1. “创新”稍显保守：把参考音频拆成音色和节奏分别处理，这想法不算石破天惊。说“首次”或“新颖”有点过了，更像是工程上把已知的两个编码器（BEATs和Style Conditioner）合理地拼了一下。真正的挑战和创新点（如果有的话）在于这种拆分在生成任务上到底比“整体条件”好了多少，以及是否真的在“控制”。
2. 实验“充分”但“不惊艳”：VGGSound数据集+MMAudio微调，标准操作。消融实验（表1）逻辑清晰，证明了各模块都有贡献。但和最SOTA的V2A方法比了吗？只和自家MMAudio的几个变体比，说服力打折。风格相似性提升显著（表2），但以牺牲多少生成多样性或引入多少伪影为代价？论文似乎回避了这个问题。
3. 开源“态度”存疑：给个匿名demo链接，代码权重都不给。想复现？自己搭MMAudio环境再“微调”800步？这对社区共享和技术复现非常不友好。作为预印本可以理解，但降低其短期实际影响力。
4. 局限性“轻描淡写”：作者自己提到了在人声上效果弱，归因于节奏编码器的训练偏差。但更根本的问题是：1）这种固定的“音色-节奏”二分法是否真的普适？2）“控制”的程度和边界在哪？能插值吗？能只改节奏不改音色吗？论文没有深入探讨。
5. 部分结论“过度外推”：从“在VGGSound上改善风格相似性”直接跳到“使模型可控”，有点跳跃。这更像是在特定设定下的风格模仿，距离真正的、可交互的“控制”还有距离。标题中的“Controlling”略显激进。

📌 核心摘要

本文提出了AudioIM，一个用于视频到音频（V2A）生成、并能控制生成音频音色和节奏的属性感知框架。现有V2A方法通常将参考音频作为整体条件信号，难以实现对风格属性的细粒度控制。为此，AudioIM采用两项关键技术：1）掩码训练策略：在训练时部分遮蔽音频潜在表示，使模型学习在部分观测条件下进行流匹配推断，从而在推理时能利用提示音频的潜在特征提供细粒度风格信息。2）双风格编码器：使用基于BEATs的音色编码器和基于Style Conditioner的节奏编码器，分别从参考音频中提取音色和节奏特征，并通过全局和帧级条件注入生成骨干网络。在VGGSound数据集上的实验表明，AudioIM在保持语义对齐和时间同步性能的同时，显著提升了生成音频与参考音频的风格相似性（SS-MOS从基线3.22提升至4.06）。消融研究验证了各组件的有效性。论文指出该方法在非人声音效（特别是乐器声）上效果更显著，而对人声的风格控制较弱。

🔗 开源详情

• 代码：论文中未提及代码链接，未开源。
• 模型权重：论文中未提及模型权重（论文中提及使用了“MMAudio”的‘L-44.1kHz’版本并进行微调，但未提供权重下载链接）。
• 数据集：VGGSound，获取链接为 https://www.robots.ox.ac.uk/~vgg/data/voice/。
• Demo：https://anonymousdemo757.github.io/
• 复现材料：论文中提及了训练配置（优化器、学习率、步数等），但未提供具体检查点或完整复现脚本。
• 论文中引用的开源项目：
  • BEATs（音频基础模型）：论文中提供了其论文链接，https://arxiv.org/abs/2212.09058。
  • Synchformer（用于提取音视频对齐特征）：论文中提及但未提供具体链接。

35. HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec

5.7/10 | 创新 1.0/2 | 严谨 1.2/1.5 | 实验 1.0/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.0/1.5 | 复现 0.2/0.5 | 工程 0.5/1.5

📝 5.7/10 | 前50% | #语音合成 | #自监督学习 | #语音编解码 #神经网络架构 | arxiv

👥 作者与机构

作者：Arjun Gangwar, Umesh S 机构：Indian Institute of Technology, Madras, India 邮箱：arjungangwar@gmail.com, umeshs@ee.iitm.ac.in

💡 毒舌点评

这篇文章的核心想法，即将两个已有的范式（双流架构和语义蒸馏）进行“统一”，其创新性相当有限，更像是一个工程上的组合。论文最大的卖点在于“推理时不需SSL模型”的速度提升，但这本质上是用训练时的蒸馏损失换取了推理时的复杂性降低，技术路径并不新颖。实验部分，所有模型均仅在LibriSpeech上训练，这在评估跨语言和零样本能力时说服力大打折扣——模型只是在同一个英语数据集上见过足够多数据后，碰巧能更好地处理相似分布的英语语音而已。论文声称实现了“强大的语义-声学解耦”，但除了一个RVQ-1 WER指标外，缺乏任何更直接、更严谨的解耦度量来支撑这一核心主张。此外，完全不提供代码，极大地阻碍了结果的可验证性和社区的后续研究。

📌 核心摘要

针对多模态大语言模型中语音离散化的需求，现有神经音频编解码器存在语义解耦强但推理慢（如DualCodec）或推理快但解耦弱（如DAC蒸馏变体）的权衡。本文提出HybridCodec，一种结合了双流架构与语义蒸馏的统一模型。其训练时利用冻结的SSL模型（w2v-BERT-2.0）对语义流进行知识蒸馏，推理时则移除该重型SSL模型。实验表明，HybridCodec在域内（LibriSpeech）测试集上取得了最优的RVQ-1 WER（15.36%），相比DualCodec实现了约3倍的推理加速，同时在跨语言和零样本场景下保持了竞争力的重建质量和泛化能力。

🔗 开源详情

• 代码：论文中未提及代码链接，未开源。
• 模型权重：论文中未提及模型权重的公开获取链接，未开源。
• 数据集：论文使用了三个公开数据集：LibriSpeech（960小时，需重采样至24kHz）、SeedTTS-en（论文引用[Anastassiou2024SeedTTSAF]）和Common Voice French（从测试集随机采样1000条）。论文未提供SeedTTS-en等的具体下载链接。
• Demo：论文中未提及。
• 复现材料：论文提供了详细的模型架构（图1）、训练配置（数据集、音频处理、优化步骤、损失函数权重等）以及评估细节。未提供预训练检查点或复现脚本。表3中“open-source checkpoints”指的是对比的基线模型（Mimi, DualCodec）的原始开源检查点，而非本文HybridCodec的检查点。
• 论文中引用的开源项目（均为引用参考，非本文提供）：
  1. DualCodec：作为基线对比，引用自[dualcodec]。
  2. DAC (Distill)：作为基线对比，基于[DAC]。
  3. Mimi：作为开源模型对比，引用自[moshi]。
  4. w2v-BERT-2.0：用作SSL特征提取器，引用自[w2v-bert-2.0]。
  5. Whisper v3-large：用于WER评估，引用自[radford2022whisper]。
  6. ECAPA-TDNN：用于SSIM评估，属于SpeechBrain工具包，引用自[ECAPA-TDNN]。
  7. UTMOS：用于感知质量评估，引用自[UTMOS]。
  8. PESQ：标准化评估指标，论文未指明具体实现来源。
  9. ConvNeXt Block：用于模型架构，引用自[convnext]。

36. SpectCount: Spectrotemporal Counting via Synthetic Signals Improves Large Audio Language Models

5.5/10 | 创新 1.0/2 | 严谨 1.0/1.5 | 实验 1.0/1.5 | 清晰 1.0/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.2/0.5 | 工程 0.2/1.5

📝 5.5/10 | 前50% | #音频理解 | #数据增强 | #参数高效微调 #频谱分析 | arxiv

👥 作者与机构

Seonuk Kim, Yonghyeon Jun, Ju Yeon Kang, Jimin Hong, Yoonhyeong Lee, Nam Soo Kim 首尔大学电气与计算机工程系及INMC（首尔，韩国）

💡 毒舌点评

这篇工作的想法非常直接：既然模型“听不清”某些细粒度的声音细节，那就用大量简单的合成脉冲信号来“强迫”它学会数数，从而提升其听觉感知。实验结果也确实表明，在多个基准上带来了提升。然而，这种提升的“深度”值得怀疑。核心方法就是生成脉冲并数数，缺乏对“为什么数数能提升对复杂语音、音乐的理解”的深刻理论分析。论文中提到的Speaker Counting性能下降暴露了这种“头痛医头”式微调的副作用——提升了细粒度感知，却可能干扰了更高层次的说话人特征提取。更关键的是，论文没有开源任何代码，连评估指令的细节都需要作者自行复现，这严重阻碍了结果的可验证性和工作的影响力。总的来说，这是一个有效的“工程技巧”展示，但在理论深度和学术规范（如可复现性）上存在明显不足。

📌 核心摘要

本文针对大音频语言模型在频谱时间细粒度感知上的弱点，提出了SpectCount方法。该方法首先通过探测信号分析揭示了模型在特定频率范围和时间段的感知缺陷。为解决此问题，作者设计了一种完全基于合成数据的训练任务：模型需要对随机生成的、叠加的短脉冲信号进行计数。这种信号无需真实音频或预训练生成模型，可实时合成。实验在Audio Flamingo 3和Qwen2-Audio-Instruct两个模型上进行，结果显示，仅通过这种合成计数任务的微调，模型在多个涵盖声音、音乐和语音的未见基准（MMAU, MMAR, MMSU, AIR-Bench）上均获得性能提升，验证了该方法的有效性和泛化能力。但方法的理论解释和部分任务的性能下降是其局限。

🔗 开源详情

• 代码：论文中未提及代码链接。
• 模型权重：论文中未提及。
• 数据集：SpectCount方法使用完全合成的信号进行训练，不依赖任何现有的真实世界数据集。论文中用于评估的公开基准测试数据集包括MMAU、MMAR、MMSU和AIR-Bench，但未提供这些数据集的具体下载链接。
• Demo：论文中未提及。
• 复现材料：论文中提供了详细的信号生成配置参数（见论文Table 2）和训练设置（见论文第3.1节），但未提供预训练检查点、完整代码或项目主页等具体可下载的复现材料包。
• 论文中引用的开源项目：
  • Audio Flamingo 3：论文中引用的开源LALM模型，但未提供其代码或模型权重的具体仓库链接。
  • Qwen2-Audio-Instruct：论文中引用的开源LALM模型，但未提供其代码或模型权重的具体仓库链接。
  • LoRA (Low-Rank Adaptation)：论文中引用的参数高效微调方法，但未提供其具体实现仓库链接。
  • MMAU：论文中引用的音频理解基准测试，但未提供其数据集主页或GitHub链接。
  • MMAR：论文中引用的音频推理基准测试，但未提供其数据集主页或GitHub链接。
  • MMSU：论文中引用的口语语言理解基准测试，但未提供其数据集主页或GitHub链接。
  • AIR-Bench：论文中引用的音频问答基准测试，但未提供其数据集主页或GitHub链接。

37. Entropy as a Structural Prior: How a Log-Barrier on DiT Belief Space Drives Musical Diversity and Development

4.2/10 | 创新 1.5/2 | 严谨 0.5/1.5 | 实验 0.3/1.5 | 清晰 1.0/1 | 影响 0.5/1.5 | 开源 0.0/1.5 | 复现 0.2/0.5 | 工程 0.2/1.5

📝 4.2/10 | 后50% | #音乐生成 | #迁移学习 | #生成模型 #扩散模型 | arxiv

👥 作者与机构

未提及

💡 毒舌点评

这篇论文的核心想法，即“用熵来调节梯度权重”，本身并非石破天惊。它的全部价值在于一个“意外”的实验结果：在监督微调扩散模型做音乐时，这种理应提升稳定性的加权反而提升了多样性。这确实有点意思，但作者似乎被这个“意外”冲昏了头脑，忘记了科研的基本功。整篇论文就是一份实验备忘录，连个正式的实验报告都算不上。没有数学公式定义方法，没有量化指标评估结果，没有与任何基线对比，没有消融实验证明不是玄学。作者用“在线课程学习”来包装，但连课程的“学习曲线”都没画出来。对于一篇投稿论文来说，这种完成度几乎是不可接受的。它提出了一个可以深入研究的问题，但自身远未准备好回答这个问题。

📌 核心摘要

本文针对监督扩散模型微调中置信度可能放大错误的传统观点，提出一种反直觉的解决方案。作者引入名为“Eisbach log-barrier”的无参数权重，该权重基于扩散变换器（DiT）输出空间能量分布的熵计算：高熵（高不确定性）抑制梯度，低熵（高确定性）保留梯度。将该权重应用于在MusicCaps数据集上对Stable Audio 3 Medium模型进行LoRA微调时，作者观察到与预期相反的现象：该方法不仅未导致模式崩溃，反而生成了主题发展更强、声学区分更清晰、纹理更多样的音乐。作者解释其机制在于，在监督扩散训练中梯度方向固定于真实数据，置信度仅缩放步长；时间维度熵的加权压平了平淡样本，保留了高对比度样本。这导致了一个纯粹从单次前向传播中涌现的、自指涉的在线数据课程。论文分析了噪声级别动态，并提出了可验证的预测。

🔗 开源详情

• 代码： 未提及
• 模型权重： 未提及
• 数据集： 音乐生成数据集（论文提及使用MusicCaps进行微调，但未提供链接）
• Demo： 未提及
• 复现材料： 未提及
• 论文中引用的开源项目： 未提及

38. VISA: A Visual Information Strengthened Audio-Reasoning System for the Interspeech 2026 ARC Agent Track

3.9/10 | 创新 1.2/2 | 严谨 0/1.5 | 实验 0.6/1.5 | 清晰 0.8/1 | 影响 0.6/1.5 | 开源 0.0/1.5 | 复现 0.0/0.5 | 工程 0.7/1.5

📝 3.9/10 | 前50% | #音频问答 | #集成学习 | #多模态融合 #音频事件检测 | arxiv

👥 作者与机构

Wenming Tu, Xiang Hao, Jing Wang, Yixuan Peng, Bohan Li, Ziyang Ma, Tao Liu, Shuai Fan, Kai Yu, Zilong Zheng 上海交通大学计算机科学与工程学院 X-LANCE实验室，中国上海 AISpeech有限公司，中国苏州 中国科学院自动化研究所，中国北京

💡 毒舌点评

这篇论文本质上是为特定竞赛（Interspeech 2026 ARC Agent Track）打造的一个高度工程化、模型堆叠的“系统集成”方案，而非一项具有普适性或理论深度的科学研究。其创新性严重不足，核心是“多模态特征提取+模型投票+规则路由”的经典框架，缺乏对音频推理这一核心问题的新颖洞见。系统复杂度高，但理论基础薄弱，本质上是依赖强大基座模型（Step-Audio-R1， Qwen3-Omni-Thinking）并为其添加了若干启发式“外挂”。实验仅在单一竞赛基准（MMAR）上评估，且完全缺乏开源材料，使得所有结论都停留在“自说自话”的层面，学术价值大打折扣。最令人遗憾的是，作为一个声称“强化音频推理”的系统，其最关键的细粒度路由策略和投票机制的具体设计细节（如启发式规则如何制定、冲突如何最终裁决）描述模糊，可复现性为零，这使得论文更像是一个竞赛的技术报告，而非一篇严谨的学术论文。

📌 核心摘要

本文提出了VISA（Visual Information Strengthened Audio-Reasoning）系统，用于参加Interspeech 2026音频推理挑战赛（Agent Track）。该系统基于“LALM作为工具”的范式，旨在通过整合多模态辅助信息来增强大型音频语言模型（LALM）的推理能力。VISA包含三个核心组件：（1）多模态特征提取，整合声学描述符、基于查询的声学事件检测（SED）和VLM的声谱视觉分析；（2）基于一致性的多模型投票推断，对Qwen3-Omni-Thinking和Step-Audio-R1的输出进行采样和多数投票，并在分歧时进行确定性回退；（3）细粒度类别感知路由，将问题映射到27个子类别，并采用LLM判断、VLM直接推理或选择特定专家模型等策略来解决模型间的分歧。在官方挑战赛排行榜上，VISA系统以66.23%的Rubrics分数获得Agent Track第二名，并以77.40%的准确率（Accuracy）在所有提交系统（包括Single Model和Agent Track）中取得最高分。

🔗 开源详情

• 代码：论文中未提供代码仓库链接（如GitHub）。仅提供了挑战赛项目主页链接：https://audio-reasoning-challenge.github.io/。
• 模型权重：论文中未提及 VISA 系统或其中使用的任何模型（如 LALM， VLM）的权重下载链接。
• 数据集：论文中提及了用于评估的 MMAR 基准（Ma et al., 2025），但未提供该数据集的开源获取链接。论文未说明训练所用数据集。
• Demo：论文中未提及在线演示链接。
• 复现材料：论文中未提供用于复现的训练配置、检查点、代码或详细附录。
• 论文中引用的开源项目：
  • librosa：音频分析库。论文中给出了其官方链接：https://librosa.org/。
  • FlexSED：用于声音事件检测的模型。论文中未提供其开源链接。
  • Qwen3-Omni-Captioner：音频描述生成模型。论文中未提供其开源链接。
  • Qwen3-VL：视觉语言模型。论文中未提供其开源链接。
  • GLM-4.6：大语言模型。论文中未提供其开源链接。
  • Qwen3-Omni-Thinking：大音频语言模型。论文中未提供其开源链接。
  • Step-Audio-R1：开源推理模型。论文中未提供其开源链接。