Iclr-2026

📄 Continuous Audio Language Models #音频生成 #音乐生成 #自回归模型 #流匹配 #语音合成 🔥 9.5/10 | 前10% | #音频生成 #音乐生成 | #自回归模型 #流匹配 | #音频生成 #音乐生成 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Simon Rouard（Kyutai；IRCAM-CNRS Sorbonne Univ.） 通讯作者：未说明（论文未明确指定，通常对应邮箱作者为Simon Rouard和Alexandre Défossez） 作者列表：Simon Rouard（Kyutai；IRCAM-CNRS Sorbonne Univ.），Manu Orsini（Kyutai），Axel Roebel（IRCAM-CNRS Sorbonne Univ.），Neil Zeghidour（Kyutai），Alexandre Défossez（Kyutai） 💡 毒舌点评 这篇论文的亮点在于其系统性思维，它没有孤立地提出一个新模块，而是为“连续音频生成”这个目标设计了一整套涵盖编码、建模、采样和蒸馏的完整流水线（CALM），并通过“Pocket TTS”将学术想法落到了实处。然而，其短板在于音乐生成的实验数据集规模（400K歌曲）相比工业级模型仍显局促，这或许限制了其在最复杂音乐场景下潜力的完全展现，且论文未公开其训练数据集。 🔗 开源详情 代码：论文中提及了代码仓库链接：github.com/kyutai-labs/pocket-tts (用于Pocket TTS)。主论文代码链接在摘要中提及为：iclr-continuous-audio-language-models.github.io。 模型权重：明确提供了开源的“Pocket TTS”模型权重（100M参数），可在上述GitHub仓库获取。对于论文中的大型实验模型（如1.35B音乐模型），未提及是否开源。 数据集：论文详述了训练所用的数据集名称（如Emilia, LAION-Disco-12M等）和规模，但未提供统一的下载链接，部分数据集可能是公共的，部分可能为内部或受限数据集。 Demo：摘要中提到了示例音频网站 iclr-continuous-audio-language-models.github.io。 复现材料：提供了极其详尽的附录，包括：表14（VAE超参数）、表15（模型与训练超参数）、各任务的具体数据处理细节（附录D、F、G）、消融实验（表6， 表10）、补充实验（表7， 表8， 表9， 表11， 表12， 表13）、以及人类评估方法详细说明（附录H）。 论文中引用的开源项目：论文主要基于并引用了以下开源项目/模型：Mimi (Défossez et al., 2024b), WavLM (Chen et al., 2021b), Helium-1 (Kyutai, 2025), Mistral 7B (Jiang et al., 2023), CLAP (Elizalde et al., 2023), SentencePiece (Kudo & Richardson, 2018), fairseq (Ott et al., 2019), Whisper (Radford et al., 2022)。 📌 核心摘要 要解决什么问题：现有音频语言模型（ALM）依赖有损的离散音频令牌（如RVQ），导致生成高质量音频必须生成更多令牌，从而在保真度和计算成本之间存在根本矛盾。 方法核心是什么：提出连续音频语言模型（CALM），在VAE的连续潜空间中进行自回归建模。核心是一个大型因果Transformer（长上下文）处理带噪声的历史潜变量，一个轻量Transformer（短上下文）处理干净的近期潜变量，两者结合后条件化一个小型一致性模型（MLP），以单步生成下一个干净的连续潜变量。 与已有方法相比新在哪里：完全避免了有损量化，用一致性模型替代了离散模型的RQ-Transformer头或扩散模型的多步采样头，实现了质量与效率的同步提升。创新性地提出了“噪声长上下文+干净短上下文”的双Transformer设计、潜在分类器引导（Latent CFG）和潜在蒸馏（Latent Distillation）等技术。 主要实验结果如何：在语音延续、文本到语音（TTS）和音乐延续任务上全面超越了最先进的离散模型基线。 TTS任务（表3）：CALM模型WER为1.81，优于F5-TTS的2.42和DSM的1.95，声学质量MUSHRA得分61.1。 音乐延续任务（表4）：CALM一致性模型（4步）的FAD（0.71）优于32-RVQ RQ-Transformer基线（1.06），整体推理速度提升1.9倍，采样头速度提升5.4倍。 语音延续任务（表2）：CALM在声学质量和有意义性上均超越8-RVQ RQ-Transformer。 消融研究（表6）：证明短上下文Transformer和噪声增强是模型高性能的关键。 实际意义是什么：使得在轻量级设备（如笔记本电脑CPU）上运行高质量的实时音频生成成为可能。开源的“Pocket TTS”（100M参数）模型实现了这一目标，具有极高的实际应用价值。 主要局限性是什么：论文中音乐生成的训练数据集规模（约20K小时）相对有限；连续表示可能在某些细粒度控制上（如精确的音高、时长编辑）面临挑战；论文未提供其主训练数据集的下载链接。 🏗️ 模型架构 CALM的整体架构（图1）是一个端到端的连续自回归生成系统，由VAE编码器、双Transformer骨干和一致性模型头组成。 ...

📄 CTC-DRO: Robust Optimization for Reducing Language Disparities in Speech Recognition #语音识别 #多语言 #分布鲁棒优化 #基准测试 #开源工具 🔥 8.0/10 | 前25% | #语音识别 | #分布鲁棒优化 | #多语言 #基准测试 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Martijn Bartelds（斯坦福大学计算机科学系），Ananjan Nandi（斯坦福大学计算机科学系） （论文注明两位作者贡献均等） 通讯作者：Dan Jurafsky（斯坦福大学计算机科学系） 作者列表： Martijn Bartelds（斯坦福大学计算机科学系） Ananjan Nandi（斯坦福大学计算机科学系） Moussa Koulako Bala Doumbouya（斯坦福大学计算机科学系） Dan Jurafsky（斯坦福大学计算机科学系） Tatsunori Hashimoto（斯坦福大学计算机科学系） Karen Livescu（丰田芝加哥理工学院） 💡 毒舌点评 本文精准地诊断了Group DRO在CTC训练中失效的病因——损失值因序列长度和语言特性变得“不可比”，并开出了对症的“药方”（CTC-DRO），在多个语言集上实现了最差语言性能的显著提升，是一次理论动机清晰、工程实现扎实、效果立竿见影的应用创新。然而，CTC-DRO的疗效目前主要验证于6个语言一组的设定，当语言组规模扩大到几十甚至上百时，其权重的平滑机制和“最差语言”的定义是否依然有效，可能需要更严苛的检验；此外，该方法本质上是“优化权衡”，提升最差性能的同时，部分设置下最优语言的性能有轻微波动（尽管统计不显著），这在追求绝对平均或帕累托最优的场景下需谨慎考量。 🔗 开源详情 代码：论文提供了公开的代码仓库链接：https://github.com/Bartelds/ctc-dro。 模型权重：论文提到“newly trained models are publicly available”，并指向了上述GitHub仓库。 数据集：实验使用公开基准ML-SUPERB 2.0，论文详细描述了如何从原始数据中构建实验语言集（附录D），数据本身需从原始来源获取。 Demo：论文中未提及在线演示。 复现材料：论文提供了极详细的复现信息，包括： 算法伪代码（Algorithm 1）。 详尽的实验设置：模型架构（XLS-R, MMS）、训练超参数（学习率、batch duration、梯度累积、epoch数、ηq、α）、评估指标。 数据集划分的具体语言列表（表4）和统计信息（表5, 表6）。 附录中包含更多开发集结果、消融实验细节、训练时间分析等。 论文中引用的开源项目：论文基于XLS-R和MMS预训练模型，使用ML-SUPERB 2.0基准，并提及了ESPnet工具包（用于讨论，非核心依赖）。 📌 核心摘要 问题：现代深度学习模型常在特定子群体上表现不佳。在多语言自动语音识别（ASR）中，不同语言的性能差异显著。分布鲁棒优化（Group DRO）旨在最小化最差组损失，但在ASR中因广泛使用的CTC损失受输入长度及语言声学特性影响，导致各组损失不可比，使Group DRO失效甚至恶化性能。 方法：提出CTC-DRO算法。核心改进有二：一是采用“长度匹配批处理”，确保每个语言组的损失是在大致相同的音频总时长下计算，缓解CTC损失随长度缩放的问题；二是引入“平滑最大化目标”，通过修改组权重更新规则，防止权重过度集中于损失持续偏高的组，从而使权重分布更均衡稳定。 创新：与直接应用Group DRO相比，CTC-DRO首次系统性地解决了CTC损失在多语言场景下的不可比性问题。其平滑更新目标可通过拉格朗日乘数法证明，仍能保证权重与损失成正比，但调整更平滑。 实验结果：在ML-SUPERB 2.0基准的五个语言集上进行评估。CTC-DRO在平衡与不平衡数据设置下均优于基线模型和标准Group DRO。关键结果如下： 最差语言字符错误率（CER）相对基线最高降低47.1%。 平均CER相对基线最高降低32.9%。 标准Group DRO在超过一半的设置中反而提升了最差语言CER和平均CER。 关键结果表格（平衡数据设置）： 设置 模型 ηq α 最差语言CER (↓) 平均CER (↓) 1 MMS 基线 - - 60.8% 23.4% 1 MMS Group DRO 10⁻⁴ - 86.6% 30.5% 1 MMS CTC-DRO 10⁻⁴ 1.0 56.8% 22.9% 2 XLS-R 基线 - - 68.8% 19.0% 2 XLS-R Group DRO 10⁻⁴ - 58.8% 21.6% 2 XLS-R CTC-DRO 10⁻⁴ 0.5 45.0% 15.8% 消融实验显示，移除平滑目标或长度匹配批处理都会导致性能大幅下降。 意义：CTC-DRO以极小的计算开销，有效提升了多语言ASR的公平性，对促进数字包容性有积极作用。其思想可推广至其他损失不可比的群组鲁棒优化场景（如医疗AI）。 局限：性能差距虽被缩小但未完全消除；算法性能依赖于预定义的语言组划分；在极端不平衡数据下效果需进一步验证。 🏗️ 模型架构 论文提出的CTC-DRO并非一个新的神经网络模型架构，而是一种用于优化现有基于CTC的ASR模型的训练算法。其核心是修改了Group DRO的优化流程。 ...

📄 Data-Centric Lessons To Improve Speech-Language Pretraining #语音问答 #语音大模型 #预训练 #数据增强 #多模态模型 🔥 8.0/10 | 前25% | #语音问答 | #预训练 | #语音大模型 #数据增强 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Vishaal Udandarao (Apple, University of Cambridge, University of Tübingen) 通讯作者：未说明 作者列表：Vishaal Udandarao (Apple, University of Cambridge, University of Tübingen)、Zhiyun Lu (Apple)、Xuankai Chang (Apple)、Yongqiang Wang (Apple)、Albin Madappally Jose (Apple)、Fartash Faghri (Apple)、Joshua P Gardner (Apple)、Chung-Cheng Chiu (Apple) 💡 毒舌点评 论文最大的亮点在于用极其扎实、系统化的消融实验，为语音-语言预训练中“数据如何处理”这个黑箱问题提供了首个清晰、可操作的答案，实验设计堪称标杆。短板在于，虽然模型SpeLangy表现出色，但其核心架构（Conformer编码器+离散量化+预训练LLM）并无新意，论文的真正价值在于“怎么用数据”，而非“怎么建模型”，对于追求架构创新的读者可能吸引力有限。 ...

📄 Deep Learning with Learnable Product-Structured Activations #端到端 #音频分类 #模型评估 #开源工具 ✅ 7.5/10 | 前25% | #音频分类 | #端到端 | #模型评估 #开源工具 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Saanjali Maharaj（University of Toronto） 通讯作者：未明确标注，根据署名顺序推断为Prasanth B. Nair（University of Toronto） 作者列表：Saanjali Maharaj（University of Toronto）、Prasanth B. Nair（University of Toronto） 💡 毒舌点评 LRNNs通过将乘积结构激活函数“可学习化”，确实为表示高阶交互提供了一个理论上优雅、实验上高效的框架，特别是在信号表示任务上超越了SIREN等知名方法。然而，其每层的计算开销（涉及大量小MLP）和内存占用（中间乘积项）不容小觑，论文对此的优化策略（如核融合）仅停留在概念层面，并未给出实际性能数据，这在实际部署时可能成为瓶颈。 🔗 开源详情 代码：论文提供了代码仓库链接：https://github.com/dacelab/lrnn。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：论文中使用的图像（Cameraman, Retina, ImageNet, DIV2K, Kodak, Parrot）、音频、PDE数据集和CT数据集，未说明是否公开或如何获取。 Demo：论文中未提及在线演示。 复现材料：论文在附录B和各实验章节提供了详细的架构规格、超参数和训练流程。复现材料主要依赖这些文本描述和提供的代码仓库。 论文中引用的开源项目：PyTorch深度学习框架。 📌 核心摘要 要解决什么问题：现代神经网络受限于固定的激活函数，难以自适应地学习任务相关的表示，尤其在捕捉高阶特征交互和控制频谱偏差（如对高频信号的表示）方面存在不足。 方法核心是什么：提出深层低秩分离神经网络（LRNNs），其核心是为每个神经元设计“可学习的乘积结构激活函数”。具体地，输入先经过线性投影，然后通过多个可学习的、参数化的小型单变量函数变换，最后将这些变换结果相乘，形成一个高度灵活的非线性激活。 与已有方法相比新在哪里：与固定激活函数（ReLU, SIREN）相比，LRNN的激活函数本身是可学习的，并且其乘积结构天然擅长建模特征间的乘性/高阶交互。与同样使用可学习激活函数的KANs相比，LRNN通过结构化的乘积形式，在理论上能以更少的参数缓解维数灾难，并在实践中训练更稳定。 主要实验结果如何：在多个基准测试上达到或超越SOTA。图像表示：在1000张ImageNet图像上，LRNN-SPDER在40dB PSNR目标上达到100%成功率，远超SIREN（1.8%）和SPDER（26.4%）。音频表示：MSE比基线低3-11倍。PDE求解：误差比SIREN低两个数量级，且参数减少8倍。稀疏CT重建：PSNR（29.13 dB）和SSIM（0.7455）均为最优。 实际意义是什么：为构建更高效、表达能力更强的神经网络提供了一种新的通用构建块。在需要高精度信号表示（如医学成像、科学计算）和处理高维数据交互的任务中具有显著优势。 主要局限性是什么：计算和内存开销相对较高，特别是反向传播时需要存储大量中间乘积项；虽然提供了优化思路（如核融合、混合精度），但未给出具体实现和验证；架构的有效性高度依赖于单变量组件函数的设计（如使用周期激活函数）。 🏗️ 模型架构 LRNN是对MLP的推广，其核心是引入了“乘积结构激活函数”的神经元。 ...

📄 DiffSDA: Unsupervised Diffusion Sequential Disentanglement Across Modalities #无监督学习 #扩散模型 #表征学习 #零样本 #音频 🔥 8.0/10 | 前25% | #无监督学习 | #扩散模型 | #表征学习 #零样本 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Hedi Zisling（Ben-Gurion University）与Ilan Naiman并列第一作者 通讯作者：Omri Azencot（Ben-Gurion University） 作者列表：Hedi Zisling（Ben-Gurion University）、Ilan Naiman（Ben-Gurion University）、Nimrod Berman（Ben-Gurion University）、Supasorn Suwajanakorn（VISTEC）、Omri Azencot（Ben-Gurion University） 💡 毒舌点评 亮点：首次将扩散模型正式、系统地引入序列解耦任务，提出了一个简洁（单一损失项）且强大的概率框架，并在包括高分辨率真实视频在内的多个模态上验证了其SOTA性能，特别是“零样本跨数据集解耦”展示了其强大的泛化能力。 短板：生成过程目前是逐帧进行的，论文自述这可能限制视频的时空连贯性，未来需与视频扩散模型结合；此外，多因子解耦探索仍属初步，距离实用化的精细控制还有距离。 🔗 开源详情 代码：论文明确提供了GitHub代码仓库链接：https://github.com/azencot-group/DiffSDA。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：论文中使用的数据集（MUG， TaiChi-HD， VoxCeleb， CelebV-HQ， TIMIT， LibriSpeech， PhysioNet， ETTh1， Air Quality）均为公开学术数据集，并提供了获取方式的引用。 Demo：论文中未提供在线演示链接。 复现材料：提供了极为详尽的复现材料，包括所有数据集的预处理步骤、训练的完整超参数配置表（Tab.6-8， 如学习率、批次大小、模型维度、序列长度、GPU型号等）、网络架构细节、评估指标定义以及消融实验设置。 论文中引用的开源项目：EDM（采样框架）、LDM（潜在扩散模型， 使用预训练VQ-VAE）、U-Net、LSTM等标准架构；评估时使用了VGG-FACE（面部识别）、HRNet（姿态估计）等预训练模型。 📌 核心摘要 问题：现有无监督序列解耦方法主要依赖VAE/GAN，需要复杂的多损失优化，在真实世界数据上效果有限，且缺乏统一的评估协议。扩散模型虽强大，但尚无理论框架用于序列解耦。 核心方法：提出DiffSDA，一个基于扩散过程的模态无关序列解耦框架。其核心是联合建模静态（时间不变）和动态（时间变化）隐因子，并引入一个条件于这些因子的扩散过程来生成数据序列。 与已有方法的对比创新：(1) 提供了首个针对序列解耦的扩散模型概率建模（Eq.1-2）；(2) 与先前工作不同，建模了静态与动态因子的相互依赖性（Dependent Prior），提升了表达力；(3) 整个模型仅需一个基于分数匹配的统一损失项（Eq.5），极大简化了优化。 主要实验结果：在多个真实世界数据集上全面超越SOTA（SPYL， DBSE）。视频任务中，在VoxCeleb条件交换的动态保留度（AKD）上从10.96降至2.793；音频任务中，在TIMIT上的解耦差距（Dis. Gap）从31.11%提升至42.29%；时序预测任务（ETTh1 MAE）从11.2降至9.89。首次实现了跨数据集的零样本视频解耦交换（如图2，4）。 图1展示了DiffSDA的三大组件：序列语义编码器（上方，提取静态s0和动态d1:V 0因子）、随机编码器（下方，添加噪声得x1:V t）和随机解码器（右侧，条件于隐因子进行去噪得˜x1:V 0）。 ...

📄 Discovering and Steering Interpretable Concepts in Large Generative Music Models #音乐生成 #音频大模型 #稀疏自编码器 #模型评估 #模型解释性 ✅ 7.5/10 | 前25% | #音乐生成 | #稀疏自编码器 | #音频大模型 #模型评估 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Nikhil Singh（Dartmouth College）、Manuel Cherep（MIT）（共同第一作者） 通讯作者：未说明 作者列表：Nikhil Singh（Dartmouth College）， Manuel Cherep（MIT）， Pattie Maes（MIT） 💡 毒舌点评 亮点在于将大语言模型可解释性领域的前沿方法（稀疏自编码器）成功移植到音乐生成模型，并提出了一个完整的、可扩展的概念发现与引导框架，具有方法论上的开创性。短板在于实验规模局限于单一模型家族（MusicGen），且自动化评估依赖CLAP等外部模型，其评估结果的可靠性有待更全面的人工验证支撑，部分技术细节（如SAE训练策略）也未完全公开。 📌 核心摘要 问题：大型音乐生成模型（如MusicGen）能生成高质量音乐，但其内部表示如同“黑箱”，缺乏可解释性。我们需要理解模型内部“学到”了哪些音乐概念，以及这些概念是否与人类音乐理论一致或能揭示新的音乐规律。 方法核心：提出一个多阶段流水线：首先，从音乐语料库中提取预训练MusicGen模型的残差流激活；其次，使用稀疏自编码器（SAEs）对这些高维激活进行降维和稀疏化，以发现潜在的、可解释的特征；最后，通过自动标注（使用多模态LLM如Gemini和预训练音频分类器）和人类验证来为这些特征命名，并通过干预残差流来测试特征的可引导性。 创新点：这是首次将稀疏自编码器技术应用于音频/音乐领域的生成模型；构建了一个可扩展的、无需监督的概念发现与自动评估流水线；不仅发现了与已知音乐理论（如流派、乐器）一致的特征，还发现了一些理论上未明确编码但感知上连贯的“涌现”规律（如特定电子音效、单音纹理）。 主要实验结果：在MusicGen-Large模型上，通过SAE发现了数千个可过滤的特征。人类验证中，基于Essentia分类器的标签获得的人类置信度（3.96/5）高于基于Gemini的标签（3.19/5）。引导实验表明，约15-35%的测试特征能成功引导生成内容向目标概念靠拢，听觉测试（10名参与者）显示66%的情况下，SAE引导的版本比基线或随机引导版本更易被识别为目标概念。结果表明，模型的深层编码了更易解释的特征，且大模型的特征组织更具层次性。 实际意义：为理解生成式AI的“音乐理解”提供了实证工具，架起了模型内部表示与人类音乐概念之间的桥梁，有望促进更透明、可控的AI音乐创作，并为音乐理论研究提供新视角。 主要局限性：研究主要针对无条件生成（未使用文本提示），未探讨文本条件下的概念表示；自动化评估指标（CLAP分数）可能不完全反映人类对音乐概念的理解；引导实验的成功率有待提高，且引导可能导致生成质量下降。 🏗️ 模型架构 该论文的核心并非提出一个新的生成模型，而是一个用于分析和引导现有模型（MusicGen）内部表示的方法流水线。其整体架构如图1所示。 完整流程分为三个主要阶段： 激活提取与数据集构建： 输入：一个大型音乐语料库（论文中使用MusicSet，约16万段音频）。 处理：将音频输入预训练的MusicGen模型（MusicGen-Large或MusicGen-Small），并提取其多个Transformer层的残差流激活向量。 输出：一个“激活数据集”，包含每段音频在不同层、不同时间步的激活向量。 特征发现与过滤： ...

📄 DiVeQ: Differentiable Vector Quantization Using the Reparameterization Trick #向量量化 #语音编码 #模型评估 #开源工具 🔥 8.5/10 | 前25% | #语音编码 | #向量量化 | #模型评估 #开源工具 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Mohammad Hassan Vali（ELLIS Institute Finland & Department of Computer Science, Aalto University, Finland） 通讯作者：未明确指定（论文提供了共同的学术邮箱 {mohammad.vali, tom.backstrom, arno.solin}@aalto.fi，未说明谁是通讯作者） 作者列表：Mohammad Hassan Vali¹，Tom Bäckström²，Arno Solin¹ ¹ ELLIS Institute Finland & Department of Computer Science, Aalto University, Finland ² Department of Information and Communications Engineering, Aalto University, Finland 💡 毒舌点评 本文的亮点在于巧妙地将重参数化技巧应用于VQ，使DiVeQ在保留“硬分配”前向传播的同时实现了可微分，并通过SF-DiVeQ解决了码本坍缩和未充分利用的痛点，设计思路优雅且实验验证扎实。短板在于其“通用性改进”的定位虽强，但计算复杂度（如SF-DiVeQ需要对每条线段计算误差）相比原始VQ有所增加，且论文未深入分析在超大规模模型或极端离线场景下的效率影响。 ...

📄 DrVoice: Parallel Speech-Text Voice Conversation Model via Dual-Resolution Speech Representations #语音对话系统 #大语言模型 #端到端 #自回归模型 #语音合成 🔥 8.5/10 | 前25% | #语音对话系统 | #大语言模型 | #端到端 #自回归模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chao-Hong Tan (未明确标注，但作者列表首名) 通讯作者：论文中未明确指定通讯作者。 作者列表：Chao-Hong Tan, Qian Chen, Wen Wang, Chong Deng, Qinglin Zhang, Luyao Cheng, Hai Yu, Xin Zhang, Xiang Lv, Tianyu Zhao, Chong Zhang, Yukun Ma, Yafeng Chen, Hui Wang, Jiaqing Liu, Xiangang Li, Jieping Ye (Tongyi Fun Team, Alibaba Group) 💡 毒舌点评 亮点：DrVoice 提出的双分辨率语音表示（DRSR）设计精巧，通过分组将输入帧率降至5Hz，大幅降低了计算成本（训练时间减少近50%），并成功缓解了语音与文本token的频率失配问题，在保持甚至超越SOTA性能的同时提升了效率。短板：模型在语音质量（UTMOS）上与最强基线（如Qwen2.5-Omni）持平，但在语音与文本对齐（ASR-WER）上仍有差距，说明其生成的语音在精确还原文本内容上还有提升空间，且全双工交互能力未实现。 ...

📄 Echo: Towards Advanced Audio Comprehension via Audio-Interleaved Reasoning #音频问答 #音频场景理解 #强化学习 #数据集 🔥 8.5/10 | 前25% | #音频问答 | #强化学习 | #音频场景理解 #数据集 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Daiqing Wu（中国科学院信息工程研究所；字节跳动） 通讯作者：Yangyang Kang（字节跳动），Yu Zhou（南开大学） 作者列表： Daiqing Wu（中国科学院信息工程研究所；字节跳动；中国科学院大学） Xuan Zhang（字节跳动） Dongbao Yang（中国科学院信息工程研究所） Jiashu Yao（字节跳动） Longfei Chen（上海科技大学） Qingsong Liu（字节跳动） Sicheng Zhao（清华大学） Can Ma（中国科学院信息工程研究所） Yangyang Kang（浙江大学；字节跳动） Yu Zhou（南开大学） 💡 毒舌点评 亮点： 论文清晰地指出了现有“音频条件化文本推理”的信息瓶颈问题，并受人类听觉认知启发，提出了“音频交错推理”这一新颖且合理的范式，通过两阶段训练框架（SFT+RL）使其落地，并在多个专家级音频理解基准上取得了SOTA性能，验证了范式的有效性。 短板： 训练数据完全依赖LLM（DeepSeek-R1）基于音频描述自动生成，其质量和与真实音频的匹配度可能存在噪声，且数据筛选过程引入了额外的不确定性；虽然提供了代码，但模型权重未公开，限制了复现和直接比较的便利性。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/wdqqdw/Echo，包含训练代码和脚本。 模型权重：论文中未提及公开模型权重。 数据集：论文中提及构建了EAQA-SFT和EAQA-RL数据集，但未明确说明是否公开下载。训练中使用的其他数据集（AudioSet-Strong, MusicBench, AVQA）为公开数据集。 Demo：论文中未提及在线演示。 复现材料：论文提供了详细的训练超参数、数据统计（附录F）、伪代码（附录D）、提示词模板（附录E）和评估设置，复现细节较为充分。 引用的开源项目：模型基座为Qwen2.5-Omni，数据合成使用了DeepSeek-R1，训练使用了ms-swift、VERL和vLLM框架。 📌 核心摘要 解决的问题： 现有大音频语言模型（LALMs）在推理时普遍采用“一次性编码”的音频条件化文本推理，将连续音频信号压缩为静态嵌入，导致关键细节信息丢失，形成“信息瓶颈”，限制了模型处理复杂、多源音频的能力。 方法核心： 提出“音频交错推理”范式，将音频作为主动推理组件。模型在推理过程中动态定位并回听关键音频片段（通过<seg>标签），将原始音频token插入推理上下文，形成多模态推理过程。为实现此范式，设计了两阶段训练框架：(1) 监督微调（SFT）使模型学会生成包含时间戳的音频定位推理链；(2) 强化学习（RL）通过设计的奖励函数（准确度、格式、一致性、片段奖励）优化模型的回听策略。同时，构建了一个利用LLM自动生成高质量音频问答及思维链（CoT）的数据生产流水线。 创新之处： 核心创新在于提出了“音频交错推理”这一新的推理格式，改变了模型与音频交互的方式，从“思考音频”转向“用音频思考”。这与之前主要复制文本推理范式的方法有本质区别。配套的两阶段训练框架和自动化数据生成流水线也是重要贡献。 主要结果： Echo模型在MMAR（平均69.99%）、MMAU-mini（平均80.41%）和MMAU（平均76.61%）等强调高级推理的音频理解基准上，取得了开源模型中的最优性能，并超越了GPT-4o-Audio和Gemini-2.0-Flash等先进商业模型。消融实验表明，音频交错推理格式、SFT数据、RL数据质量以及各奖励组件对性能提升均有贡献。下表总结了主要实验结果： 模型 类别 MMAR Avg Acc (%) MMAU-mini Avg Acc (%) MMAU Avg Acc (%) Qwen2.5-Omni (基线) 开源基础模型 57.33 71.53 71.00 GPT-4o-Audio 专有模型 64.09 62.51 60.82 Gemini-2.0-Flash 专有模型 67.90 70.51 67.03 Echo (本文) 自适应模型 69.99 80.41 76.61 实际意义： 为提升LALMs的复杂音频理解能力提供了一种符合认知科学、且实证有效的技术路径，特别是在需要精细时序分析和多轮音频感知的任务中（如多说话人角色映射、事件推理）。所提出的数据生成流水线对构建高质量音频训练数据也有参考价值。 主要局限性： (1) 训练数据依赖于LLM的合成，其“听觉”基于文本描述而非原始音频，可能存在语义偏差和幻觉，尽管有交叉验证和过滤机制。(2) 当前的回听机制仅支持直接访问原始音频片段，未探索如慢速播放、频谱分析等更高级的“听觉”操作。(3) 模型在长音频上的泛化能力虽被提及但有待更深入验证。 🏗️ 模型架构 Echo模型整体架构基于一个预训练的多模态大模型（Qwen2.5-Omni），并通过两阶段训练使其具备“音频交错推理”能力。其核心不在于全新的神经网络模块设计，而在于推理流程和训练范式的创新。 ...

📄 EchoMind: An Interrelated Multi-level Benchmark for Evaluating Empathetic Speech Language Models #基准测试 #语音大模型 #语音对话系统 #模型评估 #语音情感识别 🔥 8.5/10 | 前25% | #基准测试 | #模型评估 | #语音大模型 #语音对话系统 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Li Zhou（香港中文大学（深圳）） 通讯作者：Benyou Wang（香港中文大学（深圳）、深圳大数据研究院、深圳湾区研究院）， Haizhou Li（香港中文大学（深圳）、深圳大数据研究院、深圳湾区研究院） 作者列表：Li Zhou（香港中文大学（深圳））， Lutong Yu（香港中文大学（深圳））， You Lyu（香港中文大学（深圳））， Yihang Lin（香港中文大学（深圳））， Zefeng Zhao（香港中文大学（深圳））， Junyi Ao（香港中文大学（深圳））， Yuhao Zhang（香港中文大学（深圳））， Benyou Wang（香港中文大学（深圳）、深圳大数据研究院、深圳湾区研究院）， Haizhou Li（香港中文大学（深圳）、深圳大数据研究院、深圳湾区研究院） 💡 毒舌点评 这篇论文的价值在于它清晰地揭示了当前语音大模型在“听懂弦外之音”并“有温度地回应”上的集体短板，其精心设计的控制变量实验（中性文本搭配不同语音风格）是评估共情能力的关键创新。不过，作为一项评估基准研究，它本身并未提出新的模型架构或训练方法，其核心贡献是提出了问题并提供了标尺，解决问题的下一步还需依赖后续的模型开发工作。 🔗 开源详情 代码：论文中提及将提供代码，但未在提供的文本中给出具体代码仓库链接。 模型权重：未提及。该工作评估的是现有模型，未提出新模型。 数据集：论文明确承诺将发布EchoMind（TTS版和人工录音版）的所有数据、元数据及标注协议。获取方式未具体说明（预计会开源）。 Demo：未提供在线演示信息。 复现材料：论文附录详细说明了音频输入统计（A.1）、对话数据示例（A.2）、人工录音细节（A.3）、MCQ构建示例（A.4）以及所有评估指标的定义和标准（B.2， B.4），为复现评估流程提供了充分信息。 引用的开源项目：论文在数据构建和评估中使用了多种开源或公开工具/模型，包括： TTS：Doubao TTS API（火山引擎）， GPT-4o-mini-TTS（OpenAI） 语音/音频模型：emotion2vec（Ma et al., 2024）， Gemini-2.5-Pro（Comanici et al., 2025） 评估工具：NISQA， UTMOS， BERTScore， Qwen3-Embedding-0.6B 数据集：AudioCaps（Kim et al., 2019） 总结：论文承诺开源核心数据与代码，并提供了详尽的构建与评估细节，开源计划较为明确。 📌 核心摘要 要解决什么问题：现有的语音大模型（SLM）评估基准通常孤立地评估语言理解、声学识别或对话能力，缺乏一个能够系统性评估模型在整合非语言语音线索（如情感、副语言、环境音）进行共情对话能力的统一框架。 方法核心是什么：提出EchoMind，一个关联的多层级基准，模拟人类共情对话的认知过程，包含三个连续任务层级：语音内容理解（ASR & MCQ）、语音线索感知（MCQ）、集成推理（MCQ）和开放式共情对话生成。所有任务使用语义中性的相同脚本，但配以不同的语音风格（目标表达、中性、替代表达），以隔离和测试语音表达本身的影响。 与已有方法相比新在哪里：EchoMind是首个将理解、推理、对话三个评估层级通过共享上下文（相同脚本+不同语音）关联起来的基准，支持对模型内部认知链的端到端分析。它构建了一个覆盖3大类、12小类、39个具体语音属性的共情框架，并设计了多维度的评估指标（包括音频级的情感对齐度）。 主要实验结果如何：对12个先进SLM的测试表明： 模型在文本内容理解上表现良好（如WER和SemSim分数较高），但在语音线索理解和推理上能力参差不齐，闭源模型GPT-4o-Audio通常优于开源模型。 在开放式对话生成中，尽管回复在上下文相关性、自然度等方面得分尚可，但在需要利用语音线索来调整回复语气和情感的维度（CSpeechRel, VES）上得分普遍不高，最高分也未超过4/5。 人工评估验证了自动指标的有效性，并发现即使是GPT-4o-Audio，其回复的语音风格也与人工期望存在差距。 分析揭示了模型对提示词敏感、对人声的鲁棒性弱于合成语音，以及当提供理想语音线索信息时，模型的共情回复潜力（上界）会显著提升。 模型 语音理解准确率(%) 推理准确率(%) 对话-VES分数 对话-CSpeechRel分数 GPT-4o-Audio 66.25 68.04 3.34 3.42 Qwen2.5-Omni-7B 60.87 57.70 3.24 2.92 Step-Audio 40.74 45.90 3.20 3.09 (其他11个模型数据见论文表4) 表1：关键指标对比摘录（模型、语音理解、推理、对话相关主观分数）。数据来源：论文表4。 ...