论文速递

📄 Senses Wide Shut: A Representation-Action Gap in Omnimodal LLMs #模型评估 #音频问答 #跨模态 #基准测试 #多模态模型 🔥 8.0/10 | 前50% | #模型评估 | #基准测试 | #音频问答 #跨模态 | arxiv 学术质量 6.5/8 | 影响力 1.3/2 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者：Nguyen Quang Trung（南洋理工大学，LMMs-Lab） 通讯作者：未说明 作者列表：Nguyen Quang Trung（南洋理工大学，LMMs-Lab），Yiming Gao（南洋理工大学，LMMs-Lab），Fanyi Pu（南洋理工大学，LMMs-Lab），Kaichen Zhang（南洋理工大学，LMMs-Lab），Shuo Sun（约翰霍普金斯大学），Ziwei Liu（南洋理工大学，LMMs-Lab） 💡 毒舌点评 这篇论文精准地定义并量化了全模态LLM中一个核心但被忽视的“感知-行动鸿沟”问题，其IMAVB基准测试的2×2设计堪称教科书式的诊断工具；然而，作为“干预”的PGLA本质上是一个依赖于同一数据集训练探针的诊断性调整，其在真实、开放世界场景中的泛化能力和实际部署价值被高估了，诊断本身很彻底，但治疗方案可能只是止痛药。 📌 核心摘要 要解决什么问题：当全模态大语言模型（LLM）遇到与其自身感官输入（视觉、音频）相矛盾的文本前提时，其失败究竟是源于感知层面（未能检测到矛盾）还是行动层面（检测到了但未能在输出中拒绝）？现有的协同性基准测试无法揭示这种失败模式。 方法核心是什么：论文提出了IMAVB（一个500个电影片段的2×2设计基准测试），通过保持视频和音频不变，仅交换问题文本中的一个前提细节来创建“标准”和“误导性”问题。结合线性探针（分析隐藏状态）和引导对数调整（PGLA，一种推理时干预方法），来诊断模型内部表示与外部行为之间的脱节。 与已有方法相比新在哪里：与现有的跨模态基准测试（如AVHBench）相比，IMAVB使用隐含的虚假前提（而非明确验证提示）、长视频（1-5分钟），并保留所有模态同时竞争注意力。这是首次系统性地将“内部-外部脱节”现象从纯文本LLM扩展到跨模态感知领域，并量化了其模态不对称性（音频接地弱于视觉）。 主要实验结果如何：在8个开源全模态LLM和Gemini 3.1 Pro上，论文发现了显著的“表示-行动鸿沟”：线性探针可以从隐藏状态中以高达86%的准确率解码出误导性前提，但模型的实际拒绝率极低（多数开源模型在音频误导性检测上为0%）。PGLA通过将内部信号反馈至输出，在所有8个开源模型上平均提升了15.0个百分点的平衡准确率。 模型 基线平衡准确率 (%) PGLA后平衡准确率 (%) 提升 (pp) Uni-MoE-2.0-Omni 38.2 57.0 +18.8 MiniCPM-o 2.6 31.6 49.2 +17.6 OLA 37.4 54.9 +17.5 Video-SALMONN-2 38.2 55.1 +16.9 Qwen2.5-Omni 37.5 53.4 +15.9 OmniVinci 38.4 53.0 +14.6 Qwen3-Omni 45.9 57.7 +11.8 Baichuan-Omni-1.5 36.8 43.5 +6.7 平均 38.0 53.0 +15.0 实际意义是什么：研究结果表明，提升全模态LLM的感知接地能力，瓶颈可能不在于更大的编码器或更丰富的表示，而在于训练目标未能将内部检测到的矛盾信号与最终输出对齐。这为未来针对“诚实”或“接地”的训练改进指明了方向。 主要局限性是什么：基准测试局限于电影领域，可能无法推广到所有视频类型；误导性前提是单次细节交换；PGLA的干预是基于同一基准测试数据训练的，其跨域泛化能力未经验证；对商用模型（Gemini）的分析仅限于行为层面，缺乏表示分析。 🔗 开源详情 代码：论文中未提供明确的代码仓库链接。论文中提及“all code will be publicly released”以及“code is included in the supplementary material”，但未给出具体的GitHub等仓库地址。 模型权重：论文中未提及提供预训练或微调的模型权重链接。 数据集：IMAVB数据集。论文中提及一个匿名访问链接：https://huggingface.co/datasets/anonymousneurips/IMAVB。论文还承诺在接收后将与lmms-eval集成并公开发布。 Demo：论文中未提及在线演示链接。 复现材料：论文中提供了详细的实验设置、评估协议和实现细节，主要包含在附录中（如Appendix J, L, G）。评估使用了开源框架lmms-eval（链接：https://github.com/EvolvingLMMs-Org/lmms-eval）。所有实验使用温度0、top-p和top-k为1的设置，并报告95%的bootstrap置信区间。开放源代码模型的评估在8块NVIDIA H100 80GB GPU上进行。 论文中引用的开源项目： lmms-eval：开源多模态评估框架。论文中引用为lmms-eval，链接：https://github.com/EvolvingLMMs-Org/lmms-eval。 评估的开源全模态LLM（论文中未提供其官方权重或代码链接，仅列出名称）：OLA, OmniVinci, Qwen2.5-Omni, MiniCPM-o 2.6, Uni-MoE-2.0-Omni, Baichuan-Omni-1.5, Video-SALMONN-2, Qwen3-Omni。 商业模型：Gemini 3.1 Pro（通过API评估，未开源）。 数据生成与标注中使用的模型：Qwen3.5-27B, Qwen3-Omni-30B-A3B-Captioner, Qwen3-Omni-30B-A3B-Thinking, GPT-4o（论文中未提供这些模型的具体链接）。 其他方法（论文中提及但未提供实现链接）：Inference-Time Intervention (ITI), Representation Engineering (RepE), Visual Contrastive Decoding (VCD), Instruction Contrastive Decoding (ICD), AVCD, Fork-Merge Decoding, OPERA, Self-Introspective Decoding, DoLa。 🏗️ 方法概述和架构 本文的核心方法框架是一个用于诊断和量化全模态LLM中“表示-行动鸿沟”的系统流程，包含基准测试构建、多维度分析与诊断干预三个主要阶段。 ...

📄 Text2Score: Generating Sheet Music From Textual Prompts #大语言模型 #自回归模型 #音乐生成 #乐谱生成 #开源工具 ✅ 7.0/10 | 前25% | #乐谱生成 | #大语言模型 | #自回归模型 #音乐生成 | arxiv 学术质量 6.8/8 | 影响力 0.6/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Keshav Bhandari 通讯作者：未说明 作者列表：Keshav Bhandari, Sungkyun Chang, Abhinaba Roy, Francesca Ronchini, Emmanouil Benetos, Dorien Herremans, Simon Colton 机构信息：论文正文未明确列出每位作者的具体机构。根据论文末尾的致谢，研究得到了UKRI和EPSRC（英国）、SUTD（新加坡科技设计大学）及新加坡教育部的资助。部分作者（如Emmanouil Benetos, Dorien Herremans）是音乐信息检索领域的知名学者，通常与Goldsmiths, University of London相关联，但严格基于提供的文本，具体机构信息未明确说明。 💡 毒舌点评 Text2Score的核心思想——用LLM做宏观规划、用专用模型做微观生成——在逻辑上很清晰，也确实解决了端到端模型缺乏推理能力的痛点。然而，这种“解耦”是一把双刃剑：它把音乐创意的“上限”交给了LLM的规划能力，而这个规划能力又受限于其见过的、有限的结构化计划模板。论文声称的“绕过文本-音乐对”更像是一种巧妙的工程规避，而非根本性的学术突破。更值得玩味的是，其精心设计的客观评估指标（可读性、可演奏性）在提升模型“技术分”的同时，也可能在鼓励生成安全、保守但缺乏惊喜的音乐。 📌 核心摘要 问题：文本驱动的符号音乐生成面临两大挑战：一是高质量、大规模的文本-音乐配对数据集稀缺，且自动标注管道存在噪声和幻觉；二是大多数现有模型专注于MIDI格式，专注于可读、可演奏的乐谱（如MusicXML/ABC）生成的工作很少，且端到端模型缺乏处理复杂音乐结构所需的推理能力。 方法核心：提出了Text2Score，一个两阶段框架。 规划阶段：使用大型语言模型（LLM）作为编排器，将自然语言提示解析为结构化的“小节级计划”。该计划是一个序列 𝒫={N, G, I_total, m_1, ..., m_N}，其中每个小节向量 m_i 包含该小节的活跃乐器、音域、音符密度、速度、拍号、调号、和声音级集和力度等属性。 执行阶段：使用一个从头训练的、基于分层Transformer的生成模型。该模型包含一个冻结的ModernBERT计划编码器，通过交叉注意力将计划编码为潜在表示 H_plan；以及一个两层的分层解码器：一个块级（Patch-level）解码器（20层GPT-2）负责建模小节间关系并接收计划条件，一个字符级解码器（6层GPT-2）负责逐字符生成每个小节的交错ABC记谱字符串。 训练范式：其创新在于直接从符号XML数据中提取“计划”作为监督信号，训练数据为（从乐谱提取的计划，乐谱）对，从而绕开了对齐的文本-音乐对。训练采用两阶段策略：顺序预训练（使用连续计划）和结构性微调（动态选择5-10个结构关键小节组成的稀疏计划进行微调）。 新在哪里：核心创新在于“规划-执行”的解耦范式，以及利用符号音乐数据本身构建训练监督信号的新颖方法，有效规避了数据稀缺和噪声问题。此外，提出了专注于乐谱本身可读性与可演奏性的客观评估框架。 主要实验结果：在自建的238个评估提示集上，Text2Score在多个维度上显著优于基线。具体结果见下表（论文表2、表3）。 客观评估结果（关键指标，数据来自论文表2） ...

📄 Vividh-ASR: A Complexity-Tiered Benchmark and Optimization Dynamics for Robust Indic Speech Recognition #语音识别 #课程学习 #迁移学习 #多语言 #低资源 ✅ 7.0/10 | 前50% | #语音识别 | #课程学习 | #迁移学习 #多语言 | arxiv 学术质量 5.8/8 | 影响力 0.7/2 | 可复现性 0.6/1 | 置信度 高 👥 作者与机构 作者列表：Kush Juvekar (Adalat AI, India), Kavya Manohar (Adalat AI, India), Aditya Srinivas Menon (Adalat AI, India), Arghya Bhattacharya (Adalat AI, India), Kumarmanas Nethil (Adalat AI, India) 通讯作者：未说明 💡 毒舌点评 论文提出了一个诊断低资源语音识别中“studio-bias”现象的有用基准和训练策略，其系统化的因子设计实验是扎实的工程科学。但核心方法（高学习率、从难到易课程）本质上是超参数优化和课程学习思想在特定问题上的应用与组合，创新性更多是经验性的“最佳配方”而非原理性突破。更关键的是，所有结果完全依赖Whisper这一种模型架构和有限的两种语言，且实验缺少必要的统计稳定性分析，泛化结论需谨慎看待。 ...

📄 WARDEN: Endangered Indigenous Language Transcription and Translation with 6 Hours of Training Data #语音识别 #机器翻译 #低资源 #迁移学习 #濒危语言 #知识增强 ✅ 7.0/10 | 前25% | #语音识别 | #迁移学习 | #机器翻译 #低资源 | arxiv 学术质量 7.2/8 | 影响力 0.8/2 | 可复现性 0.8/1 | 置信度 高 👥 作者与机构 第一作者：Ziheng Zhang（Australian National University） 通讯作者：Liang Zheng（Australian National University） 作者列表：Ziheng Zhang（Australian National University）， Yunzhong Hou（Australian National University）， Naijing Liu（University of Oxford）， Liang Zheng（Australian National University） 💡 毒舌点评 本文为濒危语言文档化提供了一个实用且思路清晰的工具链，其核心价值在于用语言学知识（音系相似性、词典）巧妙弥补了数据匮乏的短板。然而，该系统更像是一个精心设计的工程方案，而非一个具有广泛启示性的算法突破。其性能严重依赖一个外部的、覆盖率有限的词典，且两阶段设计带来的错误传播问题未得到充分缓解。在仅单一语言上验证，其宣称的“强基线”意义有待更多数据集检验。 ...

语音/音乐/音频论文速递 2026-05-14 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #音频分类 2篇 ██ #语音对话系统 1篇 █ #模型评估 1篇 █ #多智能体协同 1篇 █ #音频事件检测 1篇 █ #乐谱生成 1篇 █ #音频生成 1篇 █ 📊 论文评分排行榜（16 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 EVA-Bench: A New End-to-end Framework for Evaluating Vo 8.0分 前25% #语音对话系统 🥈 Senses Wide Shut: A Representation-Action Gap in Omnimo 8.0分 前50% #模型评估 🥉 EVOCHAMBER: Test-Time Co-evolution of Multi-Agent Syste 8.0分 前25% #多智能体协同 4. NAACA: Training-Free NeuroAuditory Attentive Cognitive 7.0分 前25% #音频事件检测 5. Text2Score: Generating Sheet Music From Textual Prompts 7.0分 前25% #乐谱生成 6. Seconds-Aligned PCA-DAC Latent Diffusion for Symbolic-t 7.0分 前50% #音频生成 7. Bypassing Direct Reconstruction: Speech Detection from 7.0分 前25% #语音活动检测 8. Decoupled Azimuth Elevation AoA Estimation Exploiting K 7.0分 前25% #声源定位 9. WARDEN: Endangered Indigenous Language Transcription an 7.0分 前25% #语音识别 10. Vividh-ASR: A Complexity-Tiered Benchmark and Optimizat 7.0分 前50% #语音识别 11. Scaling few-shot spoken word classification with genera 7.0分 前50% #音频分类 12. GeoBuildBench: A Benchmark for Interactive and Executab 7.0分 前25% #几何推理 13. Keep What Audio Cannot Say: Context-Preserving Token Pr 7.0分 前25% #音视频 14. PresentAgent-2: Towards Generalist Multimodal Presentat 6.5分 前25% #生成模型 15. Does language matter for spoken word classification? A 6.0分 前50% #音频分类 16. Leveraging Multimodal Self-Consistency Reasoning in Cod 6.0分 前50% #动机访谈编码 📋 论文列表 🥇 EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents 🔥 8.0/10 | 前25% | #语音对话系统 | #基准测试 | #语音质量评估 #端到端 | arxiv ...

📄 A Semi-Supervised Framework for Speech Confidence Detection using Whisper #语音自信度检测 #半监督学习 #伪标签 #迁移学习 #Whisper #数据增强 #低资源 #语音大模型 ✅ 6.5/10 | 未提及 | #语音自信度检测 | #半监督学习 | #伪标签 #迁移学习 | arxiv 学术质量 6.0/8 | 影响力 0.6/2 | 可复现性 0.7/1 | 置信度 高 👥 作者与机构 第一作者：Adam Wynn 通讯作者：未说明 作者列表：Adam Wynn（未说明具体学术机构，但论文脚注提及由IEEE Publication Technology Group制作，地址在Piscataway, NJ），Jingyun Wang（未说明） 💡 毒舌点评 这篇论文为“感知自信度检测”这一小众且缺乏基准的任务构建了一个完整、实验扎实的半监督框架。其核心思路——结合Whisper的语义能力与可解释声学特征（eGeMAPS + 辅助模型）进行晚期融合，并通过“不确定性感知”伪标签扩充数据——在解决数据稀缺问题上逻辑自洽且有效。然而，其创新性更多体现在系统集成和工程优化，而非方法论的根本突破。文中多个关键超参数（如伪标签阈值τ、融合权重λ、损失权重18.0）的选择依据仅提及“经验消融”或“经验性确定”，缺乏充分的实验展示或理论推导，使得部分设计略显“黑箱”。尽管实验结果支持了其框架的有效性，但单一、未公开的小规模数据集评估限制了结论的泛化说服力。 📌 核心摘要 要解决什么问题：自动检测语音中的感知说话人自信度对于自适应计算和情感交互至关重要，但面临标注数据稀缺（任务主观且无公开基准）和现有方法局限（纯声学特征泛化差，纯自监督模型可能忽略细粒度韵律线索）的挑战。 方法核心是什么：提出一个五阶段半监督混合框架：(A) 构建并标注小型数据集；(B) 提取Whisper语义嵌入和94维声学特征向量（eGeMAPS + 辅助不流畅/压力模型概率）；(C) 训练辅助的不流畅性和压力检测模型；(D) 用仅基于声学特征向量训练的MLP对无标签数据生成伪标签，并通过高置信度阈值(τ=0.8)过滤；(E) 训练一个双流晚期融合的混合模型，融合Whisper流和特征向量流的输出，并使用源增强损失函数在真值+伪标签数据上训练。 与已有方法相比新在哪里：首次为感知自信度检测提出专用半监督框架。核心创新点在于：(1) 架构创新：明确提出并实现了将Whisper深度语义表示与可解释声学特征（含辅助任务线索）进行晚期融合，以显式引入韵律纠正信号；(2) 策略创新：引入“不确定性感知”伪标签策略，强调通过严格的置信度过滤来保证伪标签质量，而非单纯追求数量。 ...

📄 Adaptive Diagonal Loading using Krylov Subspaces for Robust Beamforming #波束成形 #信号处理 #鲁棒性 #麦克风阵列 ✅ 7.5/10 | 前25% | #声源定位 | #波束成形 | #信号处理 #鲁棒性 | arxiv 学术质量 7.0/8 | 影响力 0.8/2 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者：Manan Mittal 通讯作者：未说明 作者列表：Manan Mittal, Ryan M. Corey, John R. Buck, Andrew C. Singer 注：论文原文中未提供作者的具体机构信息，仅提供了arXiv ID和链接。 💡 毒舌点评 这篇论文聚焦于一个明确的工程计算瓶颈，即如何在动态环境中为大型麦克风阵列实时计算自适应波束成形器所需的对角加载量。作者巧妙地将经典的数值线性代数工具（Lanczos算法）引入这一特定问题，通过构建小维度的Krylov子空间来近似极端特征值，从而将计算复杂度从O(M³)降至O(kM²)，并声称在性能上与精确分解完全一致。这是一个“好工具用在刀刃上”的典型工作，实用价值清晰。然而，其核心是利用已知算法解决一个已知瓶颈，而非提出新的理论框架；论文对关键参数（k值）的选择缺乏理论指导，且完全未提供代码，这在顶会论文中是明显的短板，极大地限制了其可复现性和即时影响力。 📌 核心摘要 要解决什么问题：在动态声学环境中使用大型麦克风阵列时，由于目标/干扰源快速移动导致可用快拍数不足，估计的样本协方差矩阵（SCM）会病态或秩亏。这会导致传统自适应波束成形器的白噪声增益（WNG）崩溃并抵消目标信号。先前提出的自适应对角加载方法虽能通过卡塔霍夫不等式严格保证WNG，但其所需计算SCM极端特征值（λ_max, λ_min）的精确特征值分解（EVD）具有O(M³)的计算复杂度，对于大规模阵列不切实际。 方法核心是什么：提出使用Lanczos算法构建一个维度k«M的Krylov子空间，并将高维SCM（M×M）投影到一个小的三对角矩阵（T_k, k×k）上。计算T_k的特征值（Ritz值），并以其作为原SCM极端特征值的高效近似。然后，将这些近似特征值代入基于卡塔霍夫不等式推导的公式，计算出满足预设WNG下限（W_min）所需的最小对角加载量μ，并应用于SCM以计算鲁棒的波束成形权重。 与已有方法相比新在哪里：已有的精确EVD方法计算成本为O(M³)；而基于Gershgorin圆盘定理或迹的松弛边界方法计算简单，但会高估所需加载量，浪费波束成形器自由度。本文方法将计算复杂度降至O(kM²)（其中k≈4），同时理论上（由于Ritz值收敛性质）和实验上（与精确EVD对比）实现了与精确EVD完全相同的性能，即在不损失精度的前提下实现了计算效率的飞跃。 主要实验结果如何： 模拟实验：在15元均匀线阵、动态“出生-死亡”干扰场景下（L=37快拍，L<2.5M），Lanczos方法（k=4）在扫描方向图、均方误差、白噪声增益（始终>8.76dB）、输出信干噪比等指标上，与精确EVD方法几乎完全重合，性能媲美全知（Omniscient）基线。 实测实验：在SwellEx-96水下声学数据集（28元阵列）上验证，Lanczos方法与精确EVD方法生成的方位-时间历程图同样清晰，在目标方向（43°）和离轴方向的输出功率、白噪声增益曲线保持一致，论文称“表现相当（marginally better）”。 实际意义是什么：该方法显著降低了在实时系统中实现具有严格WNG性能保证的自适应波束成形所需的计算成本，使其更适合在资源受限的嵌入式平台或需要高帧率处理的大型阵列中部署。 主要局限性是什么：论文未讨论Lanczos算法在复数Hermitian矩阵上的收敛速度保证及初始向量选择的影响；关键参数k的选取（如k=4）仅为经验选择，缺乏理论分析或系统的消融实验；未提供开源代码，降低了方法的可复现性和验证便利性。 🔗 开源详情 代码：论文中未提及代码链接或开源计划。 模型权重：不适用。 数据集：论文中使用了 SwellEx-96 实验 的 S59 事件 数据集，数据来自 South Horizontal Line Array (HLA-S) 阵列。论文未提供直接下载链接，需通过官方渠道申请访问。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 🏗️ 方法概述和架构 本文提出的框架是一个在线、逐帧处理的实时鲁棒自适应波束成形流水线。其核心目标是解决在快拍数不足（L < M）时，如何高效且精确地计算对角加载量μ，以保证波束成形器的白噪声增益（WNG）不低于预设下限W_min。整体流程为：1）基于当前帧的有限快拍估计样本协方差矩阵（SCM）R_hat；2）对R_hat进行对角加载得到矩阵Q = R_hat + μI，其中μ待定；3）利用Lanczos算法高效估算Q的极端特征值λ_max和λ_min；4）将λ_max和λ_min代入由卡塔霍夫不等式导出的解析公式，计算出所需的最小加载量μ；5）使用计算出的μ重新加载SCM得到Q_loaded = R_hat + μI；6）基于Q_loaded求解MPDR波束成形权重w。整个流程的关键在于，Lanczos算法替代了耗时的精确特征值分解（EVD），成为连接理论保证（WNG下限）与实时计算的核心桥梁。 ...

📄 AffectCodec: Emotion-Preserving Neural Speech Codec for Expressive Speech Modeling #音频编码 #语音情感识别 #知识蒸馏 #对比学习 #多任务学习 ✅ 7.0/10 | 前25% | #音频编码 | #知识蒸馏 | #语音情感识别 #对比学习 | arxiv 学术质量 5.8/8 | 影响力 1.0/2 | 可复现性 0.7/1 | 置信度 高 👥 作者与机构 第一作者：Jiacheng Shi（College of William & Mary） 通讯作者：未明确指定（根据邮箱推测为Ye Gao，但论文未明确标注） 作者列表：Jiacheng Shi（College of William & Mary）、Hongfei Du（College of William & Mary）、Xinyuan Song（Emory University）、Y. Alicia Hong（George Mason University）、Yanfu Zhang（College of William & Mary）、Ye Gao（College of William & Mary） 💡 毒舌点评 亮点：论文明确将“情感保留”从下游评估指标提升为编解码器训练的核心优化目标，这一问题重新定义和建模思路（三阶段框架）具有清晰的学术贡献和实用价值。短板：框架整体是多个成熟技术（交叉注意力、关系蒸馏、对齐损失）的工程化组合，对“情感”这一模糊概念的建模仍高度依赖外部冻结模型，创新深度有限。此外，论文未深入讨论计算效率的权衡。 ...

📄 AuDirector: A Self-Reflective Closed-Loop Framework for Immersive Audio Storytelling #音频生成 #多智能体系统 #语音情感识别 #人机交互 ✅ 6.0/10 | 前50% | #音频生成 | #多智能体系统 | #语音情感识别 #人机交互 | arxiv 学术质量 未说明/8 | 影响力 未说明/2 | 可复现性 0.4/1 | 置信度 中 👥 作者与机构 第一作者：Yiming Ren (上海人工智能实验室) 通讯作者：未说明 作者列表：Yiming Ren (上海人工智能实验室), Xuenan Xu (未说明), Ziyang Zhang (未说明), Wen Wu (未说明), Baoxiang Li (未说明), Chao Zhang (清华大学) 💡 毒舌点评 本文提出了一个整合多阶段、多智能体的音频故事生成框架，意图解决声音匹配、质量控制和交互性问题，流程设计清晰。然而，其核心创新严重不足，本质上是现有商业/闭源大模型（Gemini-3-Pro）、音频生成模型（IndexTTS2, TangoFlux）和检索模型的“拼装”。所谓的“自我反思闭环”机制，其关键参数（如阈值τ）黑箱操作，评估模型（如CLAP）本身也存在偏见，使得自纠正效果难以独立验证。论文在学术贡献的深度上乏善可陈，更像一篇系统应用报告而非算法创新论文。 📌 核心摘要 本文针对长篇连贯音频故事生成中存在的角色声音不匹配、缺乏质量自纠正、交互性差等问题，提出了AuDirector。这是一个基于多智能体（Director, Casting, Acoustic Production, Critic, Mix, Interaction Agent）的自反射闭环框架。其核心方法分为三阶段：1）身份感知的预制作，通过两步检索（语义过滤+导演决策）为角色匹配声音，并动态生成7维情绪指令；2）协作合成与修正，通过Critic Agent评估生成的语音和音效质量，并在低于阈值时触发迭代修正；3）人类引导的交互优化，允许用户通过自然语言反馈修改生产脚本并针对性地重新生成部分音频。实验在100个播客和广播剧场景上进行，与WavJourney和PodAgent基线相比，AuDirector在语音角色匹配度（VRM: 4.23 vs 3.59）、情感表达（MOS-Emo: 4.17 vs 3.60）和结构连贯性（MOS-Ali: 3.74 vs 3.60）上均取得领先。消融实验证明了闭环修正机制的有效性。论文明确承认的主要局限在于底层生成模型对非语音音轨建模的不足。 ...

📄 Boosting Omni-Modal Language Models: Staged Post-Training with Visually Debiased Evaluation #多模态模型 #基准测试 #数据清洗 #后训练 #评测协议 📝 5.5/10 | 前50% | #多模态模型评估 | #后训练 #自蒸馏 | #多模态模型 #基准测试 | arxiv 学术质量 5.0/8 | 影响力 0.7/2 | 可复现性 0.1/1 | 置信度 中 👥 作者与机构 第一作者：Che Liu (根据作者列表顺序推断) 通讯作者：Fei Tian (tianfei@stepfun.com， StepFun) 作者列表：Che Liu (StepFun, Imperial College London)， Lichao Ma (StepFun, Peking University)， Xiangyu Tony Zhang (StepFun, The University of New South Wales)， Yuxin Zhang (StepFun, Shanghai Jiao Tong University)， Haoyang Zhang (StepFun, Peking University)， Xuerui Yang (StepFun)， Fei Tian (StepFun， 通讯作者) 💡 毒舌点评 论文直击全模态模型评测的核心痛点——视觉捷径导致的性能虚高，并为此提出了系统化的去偏评测协议(OmniClean)，这为社区提供了急需的、更干净的评估工具，具有明确的实用价值；然而，作为核心方法贡献的OmniBoost方案，本质上是将现有的SFT、RLVR和自蒸馏技术按固定顺序进行组合与调优，缺乏在算法或模型架构层面的根本性创新，且整个实证研究被严格限制在一个特定模型家族(Qwen2.5-Omni-3B)上，极大地削弱了其结论的普适性与指导意义。 ...