长音频处理

📄 Multi-turn Conversational AI from Text to Multimodal Interaction: Data, Models, Evaluation, and Open Challenges 标签：#语音交互 #音频大模型 #多模态模型 #长音频处理 #模型评估 6.5/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 ✅ 6.5/10 | 前50% | 文档类型：综述 | 评分置信度：高 | #语音交互 | #音频大模型 | #多模态模型 #长音频处理 | arxiv 👥 作者与机构 第一作者：Syeda Faiza Ahmed；合作者 Zien Sheikh Ali、Hunzalah Hassan Bhatti、Firoj Alam、Shammur Absar Chowdhury（卡塔尔计算研究院）。 💡 毒舌点评 这是一篇很适合做项目路线图的综述：它提醒大家“会看、会说、会调用工具”不等于能把一场对话坚持到底。问题是范围极宽，从文本对话一路铺到 omni-agent，很多结论依赖文献作者自己的实验，读者仍需自行判断各 benchmark 是否真正测了跨轮记忆和 grounding。作为综述它也有结构性的局限：「多轮」的定义和指标在各论文间并不统一，横向比较不可避免地带入主观归类；真实部署的成本、延迟与隐私量化几乎缺席；研究议程提出了正确的问题却没有配套统一 benchmark 或代码基线，可执行性打了折扣。 ...

📄 Listen, Reason, and Segment: Aligning LALMs with Editorial Judgment for Media Chapterization 标签：#音频理解 #强化学习 #音频大模型 #长音频处理 #基准测试 6.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音频理解 | #强化学习 | #音频大模型 #长音频处理 | arxiv 👥 作者与机构 第一作者：Tony Alex（University of Surrey） 通讯作者：Tony Alex（University of Surrey）、Jiankang Deng（Huawei Noah’s Ark Lab） 作者列表：Tony Alex（University of Surrey）、Wish Suharitdamrong（University of Surrey）、Sara Atito（University of Surrey）、Armin Mustafa（University of Surrey）、Muhammad Awais（University of Surrey）、Philip J. B. Jackson（University of Surrey）、Jiankang Deng（Huawei Noah’s Ark Lab）、Ismail Elezi（Huawei Noah’s Ark Lab） 脚注信息：论文脚注说明 Tony Alex 在 Huawei Noah’s Ark Lab, London 实习期间完成本工作；通讯邮箱为 t.alex@surrey.ac.uk 和 j.deng16@imperial.ac.uk（Jiankang Deng 的邮箱域名与正文所标 Huawei 机构不完全一致，审校时保留原文表述并提示此细节）。 💡 毒舌点评 这篇文章把“音频章节化”从 ASR-LLM 级联主导的旧路径拉进端到端 LALM 训练框架，数据资源和 49 点 F1 提升看起来够猛；但核心任务被简化成 60 秒二分类，真正全长度边界检测在 AF3 backbone 上只有 37.6 F1（换用 MOSS backbone 也只到 46.2），离“navigable media”的叙事还很远。CoT 依赖 Step-Audio-R1 和 Gemini 2.5 Pro 两个闭源模型，方法复现性和数据洁净度都不算硬。实际贡献更像是一个能工作的 pipeline + 一套新 benchmark，而不是对章节化问题的真正解决。 ...

📄 VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference 标签：#音频理解 #模型压缩 #语音大模型 #长音频处理 #高效推理 7.7/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：高 | #音频理解 | #模型压缩 | #语音大模型 #长音频处理 | arxiv 👥 作者与机构 第一作者：Wenxu Jia（浙江大学，并署名美团上海） 通讯作者：未说明 作者列表： Wenxu Jia（浙江大学；美团上海） Dongjie Fu（浙江大学） Xize Cheng（浙江大学） Fangming Feng（浙江大学） Linjun Li（美团上海） Wenshi Chen（美团上海） Yingming Li（浙江大学） Zhou Zhao（浙江大学） Tao Jin（浙江大学） 💡 毒舌点评 VoxZip 用 ASR 文本当语义锚来压缩音频 token，思路直接且有效，能在 5% KV budget 下保住 91% 以上的长音频性能，工程价值突出。但论文对衰减注意力分数在缓存裁剪后的维护方式交代不清，且“直接相加文本与音频 embedding”这种跨模态注入缺少分布分析，更多是经验有效而非原理自洽。 ...

📄 ParaASR: Multi-Token Prediction for Fast and Long-Context LLM-Based Speech Recognition 标签：#语音识别 #自回归模型 #高效推理 #长音频处理 #大语言模型 6.7/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.7/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音识别 | #自回归模型 | #高效推理 #长音频处理 | arxiv 👥 作者与机构 第一作者：Qingjian Lin（StepFun， 上海） 通讯作者：Fei Tian（StepFun， 上海） 作者列表：Qingjian Lin（StepFun）、Yuxin Li（未说明）、Haoyang Zhang（未说明）、Jun Chen（未说明）、Yechang Huang（未说明）、Feng Tian（未说明）、Xie Li（未说明）、Xiangyu Tony Zhang（未说明）、Daijiao Liu（未说明）、Yuxin Zhang（未说明）、Jinglan Gong（未说明）、Bo Zhao（未说明）、Fei Tian（StepFun）、Xuerui Yang（未说明）、Gang Yu（未说明）、Xiangyu Zhang（未说明）、Daxin Jiang（未说明） 💡 毒舌点评 本文将多Token预测（MTP）用于LLM-based ASR，以可验证的并行解码显著降低实时因子，且接受率高达5.0/6，展示了ASR作为确定性转录任务对前瞻性解码的高度适应性。然而，系统未开源任何代码或模型权重，所有对比限于较为有限的LLM-ASR基线和部分公开测试集，无法充分评估其对主流强基线（如Whisper large-v3）的真实优势；训练数据中的大量私有成分也让外部验证几乎不可能。此外，与常规推测解码的性能和效率对比缺失，使得其“MTP是天然加速范式”这一核心立论的证明力度不足。 ...

📄 From Continuous Deployment to Queryable Dataset: Terabyte-Scale AIS-Aligned Passive Acoustic Labelling 标签：#音频理解 #数据清洗 #数据集 #声源定位 #长音频处理 6.1/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.9/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.4/1.5 ✅ 6.1/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频理解 | #数据清洗 | #数据集 #声源定位 | arxiv 👥 作者与机构 第一作者：Wayne Renaud（达尔豪斯大学） 通讯作者：未说明 作者列表：Wayne Renaud（达尔豪斯大学）、Priyanka Aravindan（达尔豪斯大学）、Gabriel Spadon（达尔豪斯大学） 💡 毒舌点评 亮点在于将数据库工程与被动声学监测深度结合，为TB级声学档案的关联查询和弱标签构建提供了可扩展的工业级解决方案，这比许多停留在小数据集的算法论文更贴近实际部署。短板同样明显：论文过于聚焦于系统构建和数据处理，却未能将其数据集与任何现有的声学检测/分类算法进行端到端的对比验证，使得这个精心构建的数据产品的实际机器学习价值尚停留在“可能性”而非“证明”阶段。 ...

📄 Qwen-Audio-VAE Technical Report 标签：#音频编码 #高效推理 #长音频处理 #音频理解 #Transformer 7.7/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ✅ 7.7/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #音频编码 | #高效推理 | #长音频处理 #音频理解 | arxiv 👥 作者与机构 第一作者：Ziyue Jiang 通讯作者：Jin Xu（标注为Team Lead） 作者列表：Ziyue Jiang, Dake Guo, Zekai Zhang, Hangrui Hu, Ting He, Xinfa Zhu, Xiong Wang, Yongqi Wang, Jiapeng Wang, Wenxiang Guo, Zhifang Guo, Chenfei Wu, Dayiheng Liu, Jin Xu 机构：Qwen Team（论文未明确列出具体机构，但根据署名和内容推断为阿里巴巴集团Qwen团队） 💡 毒舌点评 论文在工程整合层面展现出惊人的完整性：以12.5 Hz的极低帧率，通过系统性的架构设计（特别是将Transformer置于最低分辨率瓶颈处）和面向部署的编码器延迟优化三部曲，在多个公开基准上达成了重建质量与效率的惊人平衡。然而，作为一份旨在“为社区提供骨干”的技术报告，其核心产物（模型、代码）的完全未开源，使其影响力严重受限，沦为一场“精彩的技术演示”而非可被社区复用和推进的开放基础设施。 ...

📄 Flow Matching-Based Speech Source Separation with Best-of-N Biometric Sampling #语音分离 #流匹配 #Transformer #说话人验证 #长音频处理 #语音增强 4.9/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.7/1.5 | 清晰 0.6/1 | 影响 0.6/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 1/1.5 📝 4.9/10 | 后50% | #语音分离 | #流匹配 | #Transformer #说话人验证 | arxiv 👥 作者与机构 第一作者：Anastasia Zorkina（ITMO University） 通讯作者：未说明 作者列表：Anastasia Zorkina、Alexandr Anikin、Nikita Khmelev、Anastasiya Korenevskaya、Sergey Novoselov、Vladimir Volokhov、Maxim Korenevsky、Yuriy Matveev（机构均未明确列出，但NVIDIA NeMo工具包的使用暗示部分作者可能与NVIDIA有关联） 💡 毒舌点评 这篇论文的精髓在于“搭积木”：取NeMo的生成式语音增强模型做骨架，用Wav2Vec说话人编码器当万能胶，糊上Best-of-N采样的膏药，最后塞进一个分块-对齐的框架里，拼出个能跑长音频的分离流水线。下游任务（ASR和SV）指标确实亮眼，证明这积木搭得挺实用。然而，作为一篇机器学习论文，它在方法层面的贡献约等于零——流匹配框架没动，生成模型架构是现成的，Best-of-N更是LLM圈玩剩下的。实验部分拿非最优分块模式下的SepReformer当垫脚石，对比的公平性存疑，而且代码和数据权重一丁点都没放出来。在NeurIPS/ICML这个级别，工程拼装手艺再好，也抵不过方法论创新的贫瘠和实验严谨性的缺失。 ...

📄 NAACA: Training-Free NeuroAuditory Attentive Cognitive Architecture with Oscillatory Working Memory for Salience-Driven Attention Gating #音频事件检测 #长音频处理 #高效推理 5.5/10 | 创新 1/2 | 严谨 0.7/1.5 | 实验 0.8/1.5 | 清晰 0.4/1 | 影响 0.5/1.5 | 开源 0.8/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 📝 5.5/10 | 前50% | #音频事件检测 | #音频大模型 | #长音频处理 #高效推理 | arxiv 👥 作者与机构 第一作者：Zhongju Yuan（WAVES Research Group, Ghent University, Gent, Belgium） 通讯作者：Zhongju Yuan（zhongju.yuan@ugent.be） 作者列表：Zhongju Yuan（Ghent University）、Geraint A. Wiggins（Vrije Universiteit Brussel; Queen Mary University of London）、Dick B.M. Botteldooren（Ghent University） 💡 毒舌点评 这篇论文将“选择性注意”包装成一个神经启发的波动力学问题，想法有趣，但数学与工程落地之间存在不小的鸿沟。OWM的Bragg共振最优性证明看似漂亮，但从离散格点方程跳跃到连续介质近似的过程略显随意，部分定理（如Theorem 2.3）在连续假设下漂亮但实际系统离散、有界，理论对实际设计的指导意义有限。此外，实验仅在两个数据集上进行，主要性能提升（17.1% AP）令人印象深刻，但对比基线AudioQwen全量推理表现过弱（53.50% AP），且论文未与任何基于深度特征的时序模型基线（如简单的GRU/LSTM漂移检测器）对比，让人难以判断OWM复杂的波动力学机制是否真有必要。自适应阈值依赖多个手动设定的参数（W=20, α=0.2），其跨场景泛化能力存疑。论文自我定位为“训练自由”方法，但严重依赖两个大规模预训练模型（PANN和AudioQwen），这种“自由”是建立在他人训练成果之上的。 ...

📄 SALSA-V: Shortcut-Augmented Long-form Synchronized Audio from Videos #音视频生成 #流匹配 #扩散模型 #对比学习 #长音频处理 7.6/10 | 创新 1.2/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 7.6/10 | 前25% | #音视频生成 | #流匹配 | #扩散模型 #对比学习 | arxiv 👥 作者与机构 第一作者：Amir Dellali（ETH Zurich） 通讯作者：Amir Dellali（ETH Zurich）、Luca A. Lanzendörfer（ETH Zurich）、Florian Grötschla（ETH Zurich）、Roger Wattenhofer（ETH Zurich） 作者列表：Amir Dellali（ETH Zurich）、Luca A. Lanzendörfer（ETH Zurich）、Florian Grötschla（ETH Zurich）、Roger Wattenhofer（ETH Zurich） 💡 毒舌点评 该工作将 Shortcut 模型和掩码流匹配巧妙地嫁接到视频到音频生成，实现了少步采样和长音频扩展，实验中同步指标和人类偏好均有明显优势，实用性较强。但核心方法多为已有技术的组合，对比学习同步模型与 Shortcut 损失的创新增量有限，且未开源代码与模型，削弱了其学术推动力。 ...

📄 Cross-Talk Speech Reduction, by Separation, for Separation #语音分离 #伪标签学习 #多通道 #长音频处理 #基准测试 #盲解卷积 🔥 9.1/10 | 前25% | #语音分离 | #伪标签学习 | #多通道 #长音频处理 | arxiv 学术质量 6.4/7 | 影响力 2.0/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 第一作者：未明确说明（论文中两位作者并列，但根据投稿标注，Z.-Q. Wang为通讯作者） 通讯作者：Zhong-Qiu Wang（南方科技大学计算机科学与工程系） 作者列表：Zhong-Qiu Wang（南方科技大学计算机科学与工程系）、Samuele Cornell（卡内基梅隆大学语言技术研究所） 💡 毒舌点评 亮点：论文精准地抓住了“近场混合信号作为伪标签不干净”这个核心痛点，并用一个优雅的、物理模型驱动的盲解卷积框架（CTRnet）解决它，进而在极具挑战性的CHiME-6数据集上取得了SOTA，首次让神经网络方法在真实对话场景显著超越了统治性的GSS。其核心创新在于将“利用近场信号”这一模糊想法系统化为可解的“交叉串扰抑制”任务，并端到端地在真实数据上训练。短板：整个框架严重依赖部署场景必须同时存在近场和远场麦克风，且假设最大说话人数固定，这在某些实际应用（如纯远场部署或人数极多的会议）中可能不成立，限制了其普适性。此外，论文仅在一个数据集（CHiME-6）上进行了验证，尽管它极具代表性，但缺乏多数据集的泛化性证明。 📌 核心摘要 问题：在对话语音分离任务中，训练数据常通过为每个说话者佩戴近场麦克风采集。这些近场信号能量高，是训练远场分离模型的天然监督信号，但它们含有严重的串扰噪声和环境噪音，不能直接作为伪标签。 方法核心：提出一个两阶段框架。首先，训练CTRnet，将其视为一个盲解卷积问题，直接从真实的近场/远场混合信号对中，估计出每个说话者的干净近场语音。然后，用CTRnet的估计结果作为伪标签，训练一个监督式的远场语音分离模型（PuLSS）。PuLSS在训练时创新性地使用说话者活动时间戳作为输入特征，以解决置换不变问题。 新意：与现有方法不同，该方法不依赖干净的模拟数据或假设近场信号足够干净。CTRnet和PuLSS均可直接在目标域的真实录制数据上训练，有效解决了模拟训练带来的域不匹配问题。其核心物理模型（混合约束）和引入的弱监督（时间戳）是关键。 主要结果：在极具挑战性的CHiME-6对话数据集上，PuLSS框架取得了SOTA性能。在使用微调的Parakeet ASR模型时，其tcpWER达到28.5%，显著优于所有CHiME-7/8挑战赛提交系统及基线GSS方法（33.5%）。在oracle日志下，cpWER达到19.5%，也优于GSS（29.7%）。 系统 (Diarization: Estimated) CHiME-7/8 挑战 验证集 tcpWER (%) 测试集 tcpWER (%) ESPnet baseline CHiME-7 65.7 85.2 NVIDIA NeMo CHiME-7 45.9 63.8 BUT-FIT CHiME-7 61.4 77.6 NPU CHiME-7 57.4 76.9 U. of Cambridge CHiME-7 44.5 55.4 USTC CHiME-7 35.7 44.8 IACAS-Thinkit CHiME-7 30.5 33.5 NTT CHiME-8 25.5 35.3 STCON CHiME-8 22.8 33.6 GSS (24-channel) + USTC diar. – 29.4 33.5 PuLSS + USTC diar. – 26.4 28.5 意义：为在真实对话场景（“野外”语音）中训练高性能分离模型提供了一条切实可行的路径，摆脱了对模拟数据的依赖。PuLSS是首个在真实对话数据上显著超越GSS的神经分离方法，具有里程碑意义。 ...