Posts

📄 SongEcho: Towards Cover Song Generation via Instance-Adaptive Element-wise Linear Modulation #音乐生成 #扩散模型 #数据集 #歌唱语音合成 #可控生成 🔥 8.5/10 | 前25% | #音乐生成 | #扩散模型 | #数据集 #歌唱语音合成 学术质量 6.2/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Sifei Li（中国科学院自动化研究所MAIS、中国科学院大学人工智能学院） 通讯作者：Weiming Dong（中国科学院自动化研究所MAIS、中国科学院大学人工智能学院） 作者列表： Sifei Li（中国科学院自动化研究所MAIS、中国科学院大学人工智能学院） Yang Li（中国科学院自动化研究所MAIS、中国科学院大学人工智能学院） Zizhou Wang（中国科学院自动化研究所） Yuxin Zhang（中国科学院自动化研究所MAIS、中国科学院大学人工智能学院） Fuzhang Wu（中国科学院软件研究所ISRC） Oliver Deussen（康斯坦茨大学） Tong-Yee Lee（成功大学） Weiming Dong（中国科学院自动化研究所MAIS、中国科学院大学人工智能学院） 💡 毒舌点评 这篇论文精准地瞄准了“旋律保持”这一翻唱核心需求，并通过改进条件注入机制（IA-EiLM）和构建高质量数据集（Suno70k）给出了一个参数高效、效果显著的解决方案，理论与实验结合得相当扎实。不过，模型依然受限于底层基础模型（ACE-Step）对音色等细粒度控制的不足，且所用的AI生成数据集Suno70k在风格多样性、情感表达深度上可能与真实人类创作的音乐存在“域差距”，这或许会影响模型泛化到更复杂、更具表现力的真实翻唱场景。 🔗 开源详情 代码：提供代码仓库链接：https://github.com/lsfhuihuiff/SongEcho_ICLR2026。 ���型权重：论文中提到“Code, dataset, and demos are available at…”，但未明确说明是否开源经过训练的完整SongEcho模型权重。基于常见实践，可能开源了新增的IA-EiLM模块和旋律编码器权重。 数据集：Suno70k 数据集已公开，链接为 https://huggingface.co/datasets/nyuuzyou/suno。 Demo：提供在线演示页面：https://vvanonymousvv.github.io/SongEcho_updated/。 复现材料：提供了详细的训练细节（第5.1节）、评估协议（第5.2节）、基线复现细节（附录C.1）和超参数设置，复现指导充分。 论文中引用的开源项目： 骨干模型：ACE-Step (Gong et al., 2025) 评估工具：mir_eval (Raffel et al., 2014), stable-audio-metrics, SongEval (Yao et al., 2025) 特征提取工具：RVMPE (Wei et al., 2023) 用于音高提取, Qwen2-audio (Chu et al., 2024) 用于标签生成, Whisper (Radford et al., 2023) + All-in-One (Kim & Nam, 2023) 用于歌词转录 基线方法：ControlNet (Zhang et al., 2023a), LoRA (Hu et al., 2022), MuseControlLite (Tsai et al., 2025) 论文中未提及开源计划：未明确提及开源训练好的完整模型权重和大规模的预训练骨干（ACE-Step）权重（ACE-Step本身可能是开源的）。 📌 核心摘要 要解决什么问题：在给定一段人声旋律和文本提示的条件下，生成同时包含新的人声演唱和和谐伴奏的完整歌曲（即翻唱歌曲），这要求模型在保持原旋律轮廓的同时进行风格重新诠释。 方法核心是什么：提出SongEcho框架，核心是实例自适应元素级线性调制。它扩展了FiLM为元素级线性调制，以实现对隐藏状态在时序上的精确对齐调制；同时引入实例自适应条件精炼模块，使旋律条件能根据生成模型当前的隐藏状态进行动态调整，而非静态注入。 与已有方法相比新在哪里：相比于使用交叉注意力（如MuseControlLite）或元素级相加（如ControlNet）的方法，EiLM提供了更灵活、时序对齐更直接的调制能力。IACR解决了传统条件编码与生成模型内部状态不兼容的问题，使条件融合更和谐。此外，论文开源了一个高质量的、带有丰富标注的AI歌曲数据集Suno70k。 主要实验结果如何：在Suno70k测试集上，SongEcho的RPA（0.708）、RCA（0.734） 和CLAP（0.324） 等指标均显著优于基线方法，FD（42.06） 和KL（0.112） 等音质指标也远优于其他方法，且可训练参数量（49.1M）仅为ACE-Step+ControlNet（1.6B）的3.07%。主观听测（MOS）在旋律保真度、文本一致性、音频质量和整体偏好上均获最高分。 实际意义是什么：推动了可控、高质量歌曲生成技术的发展，为音乐创作提供了新的AI辅助工具。所构建的开源数据集有助于解决歌曲AI研究中的数据稀缺和版权问题。 主要局限性是什么：（1）音色控制能力有限，仅支持基于性别调整，无法进行更细粒度的音色模仿或合成。（2）生成的翻唱是全局风格迁移，未模拟人类音乐家在翻唱时可能进行的局部创造性改编（如颤音、滑音、音符时值变化）。（3）训练依赖于AI生成的音乐数据集，可能存在与真实人类音乐在情感、表达力上的差异。 🏗️ 模型架构 SongEcho整体架构基于一个预训练的文本到歌曲模型（ACE-Step），它是一个线性扩散Transformer（DiT）。核心是在每个Transformer块中插入一个IA-EiLM模块，该模块位于自注意力层之后、前馈网络层之前，用于注入旋律控制信号。 ...

📄 SpeakerVid-5M: A Large-Scale High-Quality Dataset for Audio-Visual Dyadic Interactive Human Generation #数据集 #自回归模型 #音视频 #音频生成 #数据集 🔥 8.5/10 | 前25% | #数据集 | #自回归模型 | #音视频 #音频生成 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.9 | 置信度 高 👥 作者与机构 第一作者：Youliang Zhang（清华大学、StepFun） 通讯作者：Xiu Li（清华大学深圳国际研究生院） 作者列表： Youliang Zhang（清华大学、StepFun） Zhaoyang Li（StepFun） Duomin Wang（StepFun，共同第一作者/责任作者†） Jiahe Zhang（未说明具体机构） Deyu Zhou（香港科技大学（广州）、StepFun） Zixin Yin（香港科技大学、StepFun） Xili Dai（StepFun） Gang Yu（StepFun） Xiu Li（清华大学深圳国际研究生院‡） 💡 毒舌点评 亮点：论文构建数据集的工程严谨性堪称典范，从多源数据收集到基于多种信号（SyncNet、ArcFace、3D-Speaker）的交叉验证，再到涵盖画面质量、运动模糊、音频清晰度的多层级过滤，流程完整且考虑周全，为社区贡献了一个定义明确、质量可控的“交钥匙”式基准数据集。短板：基线模型虽然设计完整，但模型体量（0.8B）与当前主流的视频生成模型（动辄数十亿甚至百亿参数）差距明显，其在视频生成核心指标（FID、FVD）上虽自身消融提升显著，但与更大更强的级联模型（如HalLo3）相比仍处下风，一定程度上削弱了其作为“标准答案”的说服力，更像一个“可行性验证”。 🔗 开源详情 代码：论文明确承诺将公开数据处理代码和基线模型代码，但未提供具体的代码仓库链接（如GitHub地址）。论文中写有“Both the dataset and the data processing code will be publicly released.”和“We will open-source the entire dataset, including the raw data, annotations, and data processing pipeline”。因此，判定为 有开源承诺，但具体链接未在文中给出。 模型权重：论文中未提及公开预训练或微调后的基线模型权重。 数据集：论文明确承诺完全开源数据集，并说明发布形式为YouTube视频ID/URL列表、时间戳和生成的标注，不托管原始视频/音频。开源方式清晰。 Demo：未提及在线演示。 复现材料：提供了极其充分的复现材料，包括：详尽的数据收集、预处理、标注和过滤流程（第3节）；基线模型的架构细节、训练策略（三阶段）、超参数、硬件配置（附录A.7, A.8）；VidChatBench的构建方法和评估指标详细说明（第6.1节）；数据标注文件的具体格式和使用指南（附录A.11）；以及多处提示会开源代码。 论文中引用的开源项目： 数据处理工具：SceneDetect, 3D-Speaker, YOLO, SyncNet, ArcFace, Qwen2.5-VL, Qwen-3, Whisper, DWpose, PaddleOCR。 模型/架构组件：Qwen2.5-Omni（理解模块）, CosyVoice2（音频分词器与声码器）, 3D-VAE（视频编解码）, NOVA（空间Transformer）。 评估工具：DOVER（视频质量评估）, Deep3DFaceRecon（表情特征提取）, CLIP（文本相似度计算）。 📌 核心摘要 问题：当前数字人研究正从单向驱动的“肖像生成”向双向交互的“虚拟人对话”迈进，但学术界严重缺乏为此类任务设计的大规模、高质量公开数据集。 方法：论文提出SpeakerVid-5M数据集，从YouTube收集视频，通过场景分割、说话人分离、人脸检测、唇音同步、身份矫正等步骤预处理，并利用多模态大模型（Qwen2.5-VL）和多种模型进行丰富标注（文本、骨骼、模糊度等），最后进行严格的质量过滤。同时，提供了一个基于自回归（AR）框架的音视频联合生成基线模型。 创新：① 首个针对“音频-视觉双人交互”任务的大规模数据集（5.2M片段，8.7K小时，其中双人对话770K对）。② 构建了多维度、分层级的数据质量控制与组织流程���对话分支、单人分支、聆听分支、多轮分支；预训练子集与SFT子集）。③ 定义并发布了VidChatBench评测基准。 实验：基线模型在VidChatBench上进行评测。消融实验表明，联合音视频生成、空间Transformer优化和训练噪声注入对提升视频质量（FVD从55.06降至28.82）、唇音同步（SyncNet得分从-升至2.698）和情感一致性（FIDEmotion从3.45降至3.22）有显著效果。与级联方案（Qwen+CosyVoice+Sonic/Hallo3）对比，本方法在情感和手势质量上占优，推理速度快一个数量级（3.17s/帧 vs 31-45s/帧）。 实际意义：该数据集填补了交互式虚拟人研究的数据空白，其丰富的标注也适用于人体动画、多模态对话等任务，将加速该领域的基础模型研究。 局限性：数据集来源存在人口统计偏差（偏英语、西方、男性）。基线模型规模较小，视频生成保真度与顶级扩散模型仍有差距，其主要价值在于验证数据集和AR框架的可行性。 🏗️ 模型架构 论文提出的基线方法是一个面向音视频双人交互生成的端到端自回归（AR）系统。整体架构分为两个主要部分：多模态理解与AR音视频生成器、视觉优化模块。 ...

📄 Speech World Model: Causal State–Action Planning with Explicit Reasoning for Speech #语音情感识别 #因果图 #显式推理 #语音大模型 #多模态 ✅ 7.5/10 | 前25% | #语音情感识别 | #因果图 | #显式推理 #语音大模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xuanru Zhou (浙江大学), Jiachen Lian (UC Berkeley) (论文明确标注两位作者贡献均等) 通讯作者：未明确说明 作者列表：Xuanru Zhou (浙江大学), Jiachen Lian (UC Berkeley), Henry Hong (UC Berkeley), Xinyi Yang (浙江大学), Gopala Anumanchipalli (UC Berkeley) 💡 毒舌点评 亮点是将认知科学的模块化思想形式化为一个可计算的因果图（WMA, ToM, SA, Prag），并利用其结构化先验显著提升了训练效率和推理能力，为“如何让语音模型像人一样思考”提供了一个新颖的框架。短板在于，该因果图的结构是预定义的，限制了模型对未见依赖关系的适应能力，且完全依赖合成标签训练指令微调阶段，可能成为性能上限的瓶颈。 ...

📄 Speech-to-LaTeX: New Models and Datasets for Converting Spoken Equations and Sentences #语音识别 #数据集 #大语言模型 #多模态模型 #多语言 ✅ 7.5/10 | 前25% | #语音识别 | #大语言模型 | #数据集 #多模态模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Dmitrii Korzh（AXXX, Moscow, Russia；MTUCI, Moscow, Russia） 通讯作者：论文中未明确标注通讯作者 作者列表：Dmitrii Korzh（AXXX, MTUCI），Dmitrii Tarasov（FusionBrain Lab, AXXX; HSE University），Artyom Iudin（AXXX; MTUCI），Elvir Karimov（AXXX; MTUCI; Applied AI Institute），Matvey Skripkin（FusionBrain Lab, AXXX; Applied AI Institute），Nikita Kuzmin（AXXX; MTUCI; Applied AI Institute），Andrey Kuznetsov（FusionBrain Lab, AXXX; Innopolis University），Oleg Y. Rogov（AXXX; MTUCI; Applied AI Institute），Ivan Oseledets（AXXX; Applied AI Institute; Moscow State University） 💡 毒舌点评 亮点在于，论文贡献了一个规模空前、标注细致的开源S2L数据集，并系统性地探索了从ASR后校正到端到端Audio-LLM的多种技术路线，为这个细分领域确立了坚实的基准和评估框架。短板是，无论是ASR后校正还是端到端方法，模型架构本身均无显著创新，更多是现有技术的组合与应用，其性能提升很大程度上依赖于新构建的高质量数据集。 ...

📄 SpeechJudge: Towards Human-Level Judgment for Speech Naturalness #语音合成 #强化学习 #数据集 #基准测试 #奖励模型 🔥 8.5/10 | 前10% | #语音合成 | #强化学习 | #数据集 #基准测试 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Xueyao Zhang（香港中文大学（深圳）） 通讯作者：Zhizheng Wu（香港中文大学（深圳）、深圳湾区研究院、澳门城市大学、Amphion Technology Co., Ltd.） 作者列表： Xueyao Zhang（香港中文大学（深圳）） Chaoren Wang（香港中文大学（深圳）） Huan Liao（香港中文大学（深圳）） Ziniu Li（香港中文大学（深圳）） Yuancheng Wang（香港中文大学（深圳）） Li Wang（香港中文大学（深圳）） Dongya Jia（ByteDance Seed） Yuanzhe Chen（ByteDance Seed） Xiulin Li（DataBaker Technology） Zhuo Chen（ByteDance Seed） Zhizheng Wu（香港中文大学（深圳）、深圳湾区研究院、澳门城市大学、Amphion Technology Co., Ltd.） 💡 毒舌点评 这篇论文的“基建”价值很高，99K规模的高质量人类偏好数据集和开源承诺堪称语音合成对齐研究的“粮草先行”。但核心的奖励模型架构（基于现有Qwen2.5-Omni的微调）创新稍显有限，更像是一个强大但“组装式”的解决方案，而非从头设计的、能深刻洞察自然度内在结构的新架构。 ...

📄 SpeechOp: Inference-Time Task Composition for Generative Speech Processing #语音增强 #语音分离 #扩散模型 #多任务学习 #零样本 ✅ 7.5/10 | 前25% | #语音增强 | #扩散模型 | #语音分离 #多任务学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Justin Lovelace（Cornell University） 通讯作者：未明确说明（论文作者来自Cornell University和Adobe Research，从贡献描述看，Adobe Research团队的Rithesh Kumar, Jiaqi Su, Ke Chen, Zeyu Jin可能承担更多指导角色，但论文未明确标注通讯作者） 作者列表： Justin Lovelace（Cornell University） Rithesh Kumar（Adobe Research） Jiaqi Su（Adobe Research） Ke Chen（Adobe Research） Kilian Q Weinberger（Cornell University） Zeyu Jin（Adobe Research） 💡 毒舌点评 本文巧妙地将“资源过剩”的TTS模型改造为“资源匮乏”S2S任务的处理器，其提出的TC-CFG推理组合策略从原理上解释了如何优雅地融合不同生成任务的信号，避免了简单的分数平均带来的先验冲突。然而，论文的核心扩散架构（DiT+VAE）和多任务训练范式本身并无颠覆性创新，其真正亮点在于系统整合与工程设计，且在代码和模型开源方面显得较为吝啬，限制了社区的快速跟进与验证。 ...

📄 Stable Video Infinity: Infinite-Length Video Generation with Error Recycling #视频生成 #扩散模型 #流匹配 #多模态模型 ✅ 7.0/10 | 前25% | #视频生成 | #扩散模型 | #流匹配 #多模态模型 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wuyang Li (VITA@EPFL) 通讯作者：未说明 (论文末尾致谢部分提及Alexandre Alahi教授，但未明确标注为通讯作者) 作者列表：Wuyang Li (VITA@EPFL), Wentao Pan (VITA@EPFL), Po-Chien Luan (VITA@EPFL), Yang Gao (VITA@EPFL), Alexandre Alahi (VITA@EPFL) 💡 毒舌点评 论文最大的亮点在于提出了“错误回收”这一新颖且直觉上合理的范式来解决长视频生成中的误差累积问题，通过让模型“吃自己生成的错误”来提升鲁棒性，理论分析深刻且实验效果显著。短板在于其核心理论框架（尤其是错误注入与计算的数学部分）稍显复杂，部分实现细节（如错误银行的动态更新）的工程可行性分析略显不足，且在超长视频（15分钟）展示中，角色身份一致性等更高级挑战的解决方案尚处萌芽阶段。 🔗 开源详情 代码：论文提及将开源完整代码库，项目主页为 https://stable-video-infinity.github.io/homepage/，但具体代码仓库链接未在文中提供。 模型权重：论文承诺将提供模型，但具体发布平台（如Hugging Face）和权重链接未提及。 数据集：论文承诺将公开所有基准数据集。 Demo：提供了项目主页，但未明确说明是否提供在线交互式Demo。 复现材料：论文提供了详细的超参数表（表12）、数据集描述和部分实现细节（如基于Wan 2.1，使用LoRA），为复现提供了重要信息。 引用的开源项目：明确基于 Wan 2.1 视频生成模型；音频说话任务参考了 Hallo 3；舞蹈任务参考了 UniAnimate-DiT；自动提示流生成使用了 Qwen2.5 大语言模型。 论文中未提及开源计划的具体时间表或权重文件的最终发布地址。 📌 核心摘要 这篇论文旨在解决长视频生成中的关键瓶颈——误差累积（drifting）问题。现有方法多通过调整噪声调度器或引入参考帧来缓解而非根除误差，导致生成的视频长度有限且场景单一。为此，论文提出了Stable Video Infinity (SVI)，其核心是“错误回收微调”方法：在训练时，人为地将模型（DiT）历史生成中可能出现的误差注入到干净的输入数据中，模拟推理时的误差累积场景；模型随后学习从这些“被污染”的输入中恢复出正确的预测结果，相当于学会了自我纠错。与已有方法相比，SVI的根本创新在于它弥合了训练时假设输入无误差与推理时条件中包含误差之间的“假设鸿沟”，使模型能够主动修正错误而非被动缓解。实验在一致性、创意和条件生成三个基准上进行，结果显示SVI在视频质量、一致性和动态程度等核心指标上均显著超越Wan 2.1、StreamingT2V、FramePack等最新方法（例如，在超长一致性生成中，SVI-Shot的Subject Consistency达到97.89%，比最强基线FramePack高出约11%）。该工作的实际意义在于首次将视频生成从“秒级”推进到“无限长度”，并支持文本流、音频、骨架等多条件控制。主要局限性包括：训练数据规模较小（仅数千条视频），可能导致风格泛化不足；当前版本为并行生成，暂不支持实时流式输出；以及超长片段中的身份一致性等高级语义控制仍有提升空间。 ...

📄 StableToken: A Noise-Robust Semantic Speech Tokenizer for Resilient SpeechLLMs #语音识别 #语音大模型 #鲁棒性 #流式处理 🔥 8.0/10 | 前25% | #语音识别 | #预训练 | #语音大模型 #鲁棒性 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yuhan Song（北京大学计算机科学学院，多媒体信息处理国家重点实验室） 通讯作者：Linhao Zhang（张林浩，未提供机构，推测为微信AI基础模型技术中心）、Houfeng Wang（王厚峰，北京大学计算机科学学院，多媒体信息处理国家重点实验室） 作者列表：Yuhan Song（北京大学计算机科学学院，多媒体信息处理国家重点实验室）、Linhao Zhang（未说明具体机构）、Chuhan Wu（微信AI基础模型技术中心）、Aiwei Liu（微信AI基础模型技术中心）、Wei Jia（微信AI基础模型技术中心）、Houfeng Wang（北京大学计算机科学学院，多媒体信息处理国家重点实验室）、Xiao Zhou（微信AI基础模型技术中心） 💡 毒舌点评 这篇论文精准地抓住了现有语义语音分词器在噪声下“一碰就碎”的痛点，并提出了一个巧妙且工程友好的“位级投票”解决方案，实验结果对比非常亮眼，是解决一个实际问题的好工作。然而，其多分支结构在训练时引入的额外计算成本和复杂性未被深入讨论，且对“共识损失”的理论依据和不同变体的探索也显得较为基础。 🔗 开源详情 代码：提供GitHub仓库链接 https://github.com/Tencent/StableToken，论文中声明代码将公开。 模型权重：论文中声明模型检查点将在接受后公开。 数据集：训练使用的主要开源数据集列表已公开（表7）。评估使用FLEURS、LibriSpeech、CHiME-4、ESD、SEED-TTS等公开数据集。 Demo：论文中未提及在线演示。 复现材料：提供了训练超参数（表8）、噪声增强配置（表9）、模型详细架构描述、消融实验设置（附录C）等详尽信息。 论文中引用的开源项目：骨干网络使用了Whisper-large-v3，对比基线包括HuBERT、NAST、R-Spin、SpeechTokenizer等。 📌 核心摘要 本文旨在解决当前语义语音分词器在面对微小声学扰动（即使语音清晰可辨）时输出序列极不稳定的问题，这种不稳定性严重增加了下游语音大语言模型的学习负担。论文指出问题的根源在于两个方面：脆弱的单路径量化架构和仅监督最终转录文本的遥远训练信号。为此，作者提出了StableToken，一种基于共识机制的鲁棒分词器。其核心方法包含两个相互协同的部分：(1) Voting-LFQ模块，一种多分支量化器，每个分支独立处理输入并生成二进制表示，最后通过位级多数投票机制聚合成一个稳定的输出；(2) 噪声感知共识训练策略，在训练时为部分分支提供带噪声的输入（多视图），并通过一个共识损失强制所有分支的表示保持一致，从而显式地学习对噪声不变的特征。实验表明，StableToken在单元编辑距离（UED）指标上取得了当前最优结果，相对于最佳基线（S3 Tokenizer，26.17%）将平均UED降低了60%以上至10.17%，同时保持了高质量的音频重建能力。这种基础稳定性的提升直接转化为下游语音大模型在语音识别（ASR）、语音情感识别（SER）和文本到语音（TTS）任务上的鲁棒性收益，尤其在严重噪声下性能优势显著。主要局限性在于，多分支的数量选择是经验性的，且论文未深入探讨其在不同硬件上的实际推理效率开销。 🏗️ 模型架构 StableToken的整体架构建立在端到端ASR模型的基础之上，以Whisper-large-v3编码器为骨干网络。其核心创新在于将传统的单路径量化器替换为Voting-LFQ（投票式无查找量化）模块。 ...

📄 STAR-Bench: Probing Deep Spatio-Temporal Reasoning as Audio 4D Intelligence #基准测试 #音频大模型 #音频问答 #空间音频 #数据集 ✅ 6.5/10 | 前25% | #基准测试 | #数据集 | #音频大模型 #音频问答 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zihan Liu (北京航空航天大学, 上海人工智能实验室) 通讯作者：Yuhang Zang (上海人工智能实验室), Jiaqi Wang (上海人工智能实验室, 上海创新研究院) 作者列表：Zihan Liu（北京航空航天大学，上海人工智能实验室），Zhikang Niu（上海交通大学，上海创新研究院），Qiuyang Xiao（上海交通大学），Zhisheng Zheng（上海交通大学），Ruoqi Yuan（北京航空航天大学），Yuhang Zang（上海人工智能实验室），Yuhang Cao（上海人工智能实验室），Xiaoyi Dong（上海人工智能实验室，香港中文大学），Jianze Liang（上海人工智能实验室），Xie Chen（上海交通大学，上海创新研究院），Leilei Sun（北京航空航天大学），Dahua Lin（香港中文大学，上海人工智能实验室），Jiaqi Wang（上海人工智能实验室，上海创新研究院） 💡 毒舌点评 本文最大的亮点在于精准地指出了当前音频大模型“懂得多但听不懂”的尴尬现状——用文本描述就能回答大部分问题，证明现有基准测试太“水”。它设计的STAR-Bench像一份严苛的“听力体检表”，从音高、响度等基础感知到时空推理，层层深入，确实能测出模型的真实短板。不过，论文本身止步于“诊断医生”，并未给出“治疗方案”，其核心价值依赖于未来模型能否利用这个基准取得进步，稍显被动。 📌 核心摘要 本文指出，现有的音频基准测试主要评估可通过文本描述传达的语义内容，无法衡量模型对“语言难以描述”的细粒度音频线索的深层时空推理能力。为此，论文提出了“音频4D智能”的概念，即结合时间（1D）和三维空间（3D）进行深度推理的能力。作者构建了STAR-Bench基准，包含两个层级：基础声学感知（对音高、响度、时长、方位角、仰角、距离等六个属性的绝对感知范围和相对辨别灵敏度进行量化评估）和整体时空推理（包括连续过程与离散事件序列的时间推理，以及静态定位、多源关系和动态轨迹跟踪的空间推理）。数据构建流程结合了程序化合成音频和严格的人工标注四阶段流程。在对19个模型（16个开源，3个闭源）的评测中，STAR-Bench展现出巨大挑战性，人类表现远高于所有模型。研究发现：闭源模型（如Gemini 2.5 Pro）在知识和推理上领先，但细粒度感知仍是其瓶颈；开源模型则在感知、知识和推理各方面均存在基础性缺陷。例如，在仅使用音频文本描述答题时，MMAU和MMAR基准的准确率仅下降5.9%和9.0%，而STAR-Bench上时间推理和空间推理的准确率分别暴跌31.5%和35.2%，证明了其评测的是更深层的音频智能。论文通过详细的错误分析和消融研究，为未来模型改进指明了方向，如增强密集音频描述、改善多音频推理能力以及开发原生支持多通道音频的架构。 ...

📄 Steering Autoregressive Music Generation with Recursive Feature Machines #音乐生成 #自回归模型 #激活干预 #音频大模型 #可控生成 🔥 8.5/10 | 前25% | #音乐生成 | #自回归模型 #激活干预 | #自回归模型 #激活干预 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Daniel Zhao（University of California, San Diego） 通讯作者：未说明（从作者列表和邮箱格式推断，第一作者Daniel Zhao可能是主要联系人，但未明确标注） 作者列表：Daniel Zhao（University of California, San Diego）、Daniel Beaglehole（University of California, San Diego）、Taylor Berg-Kirkpatrick（University of California, San Diego）、Julian McAuley（University of California, San Diego）、Zachary Novack（University of California, San Diego） 💡 毒舌点评 这篇论文的亮点在于它成功地将RFM这一“老”概念嫁接到了音乐生成这个热门但控制困难的任务上，并通过精巧的层/时间调度设计实现了相当不错的控制效果，免去了训练或微调基础模型的巨大开销。不过，其控制能力严重依赖于在高度理想化的合成音乐数据集（SYNTHEORY）上训练的探针，当面对真实世界复杂多变的音乐纹理时，这些探针发现的“方向”是否依然稳健有效，论文并未给出足够有说服力的证据。 ...