语音/音乐/音频论文速递 2026-05-28

共分析 30 篇论文

⚡ 今日概览

📥 抓取 30 篇 → 🔬 深度分析完成

🏷️ 热门方向

方向数量分布
#语音识别8篇████████
#语音合成4篇████
#音频问答2篇██
#语音情感识别2篇██
#语音翻译2篇██
#多模态模型2篇██
#语音生成1篇█
#音频检索1篇█

📊 论文评分排行榜（30 篇，按分数降序）

排名论文评分分档主任务
🥇When Helpful Context Leaks: Privacy Risks in Domain-Ada10.0分前50%#语音识别
🥈TARQ: Tail-Aware Reconstruction Quantization for Rare-W10.0分前10%#语音识别
🥉Comprehensive Benchmarking of Long-Form Speech Generati9.9分前25%#语音合成
4.MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic9.9分前25%#语音生成
5.OmniRetriever: Any-to-Any Audio-Video-Text Retrieval vi9.2分前25%#音频检索
6.Audio-Mind: An Auditable Agentic Framework for Audio Un8.7分前50%#音频问答
7.From Talking to Singing: A New Challenge for Audio-Visu8.7分前50%#语音伪造检测
8.SMILE-Next: Teaching Large Language Models to Detect, C8.7分前25%#语音情感识别
9.Dasheng AudioGen: A Unified Model for Generating Cohere8.6分前25%#音频生成
10.Why We Need Speech to Evaluate Speech Translation8.3分前50%#语音翻译
11.Bandwidth-Efficient and Privacy-Preserving Edge-Cloud M8.1分前25%#语音翻译
12.EigeNet: Geometry-Informed Multi-Modal Learning for Few8.0分前50%#多模态模型
13.Unified Synthesis of Compositional Speech and Sound fro8.0分前25%#语音合成
14.Gemini Embedding 2: A Native Multimodal Embedding Model7.9分前25%#语音识别
15.HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge7.5分后50%-
16.Building Community-Centred NLP Resources for Puno Quech7.2分前50%#语音识别
17.Utilizing Missed Detections in Directional Sensitivity-7.1分前50%#语音识别
18.Diffusion Large Language Models for Visual Speech Recog7.0分前25%#语音识别
19.LoSATok: Low-dimensional Semantic-Acoustic Tokenizer fo7.0分前50%#语音合成
20.Affective Music Recommendation: A Rollout-Based World M7.0分前50%#音乐推荐
21.VoiceGiraffe: A Benchmark for Extreme Long-Context Audi7.0分前25%#音频问答
22.AgenticVBench: Can AI Agents Complete Real-World Post-P7.0分前50%#基准测试
23.Do Audio LLMs Listen or Read? Analyzing and Mitigating6.8分前50%#语音情感识别
24.A Conflict-Aware Penalty and Statistical Loss Framework6.8分前50%#多模态模型
25.I Hear, Therefore I Trust: A Socio-Technical Investigat6.5分前50%#语音合成
26.DEMON: Diffusion Engine for Musical Orchestrated Noise6.0分前50%#音乐生成
27.Breaking the Script Barrier: Enabling Automatic Alignme6.0分前50%#语音识别
28.Robust Quantum-MUSIC for DoA Estimation Using Rydberg A5.7分前50%-
29.Benchmarking AI for low-resource contexts: Thinking bey5.1分后50%#语音识别
30.Cross-modal characterization of infant cry: validation5.0分前50%#信号处理基础

📋 论文列表

🥇 When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR

🔥 10.0/10 | 前50% | #语音识别 | #迁移学习 | #隐私安全 #领域自适应 | arxiv

👥 作者与机构

作者：Maike Züfle， Jan Niehues 机构：卡尔斯鲁厄理工学院（Karlsruhe Institute of Technology, Germany）

💡 毒舌点评

这篇论文指出了一个实际且有趣的“盲点”：当你为了让ASR模型听懂行话而给它提供上下文或微调时，它可能会因为“听岔了”而泄露这些行话本身。这就像你告诉助理“Nexus是我们秘密项目的代号”，结果他在听到有人说了声“Texas”时，却大喊“Nexus！”一样。作者很聪明地将这个现象定义为一种非对抗性的、源于正常使用机制的隐私风险，并用一个设计精巧的控制实验进行了量化。不过，论文的“解决方案”部分——在提示中同时加入正确词和错误词——在实践中显得有些天真，更像是一个诊断工具而非真正的防御。整体上，这是一篇发现问题的警醒之作，技术深度适中，但实验设计的完备性和开源贡献值得肯定。

📌 核心摘要

本文研究了语音大语言模型（SpeechLLMs）在领域自适应过程中引入的一个未被充分认识的隐私风险：上下文诱导的转录泄露。当用户通过提示词注入上下文或对模型进行领域微调以提升专业术语识别能力时，如果说话者发出一个与上下文或训练数据中某个私有术语语音相似的词，模型可能会错误地转录为该私有术语，从而无意中泄露信息。作者构建了一个包含679个语音相似词对的控制评估数据集，并在两个前沿SpeechLLM（Qwen2.5-Omni-7B， Phi-4-multimodal-instruct）上评估了提示注入和微调两种自适应机制的影响。实验表明，两种机制都会导致可测量的泄露率，且结合使用时泄露效应会加剧。论文还探讨了一种在提示中同时提供正确词与泄露词的缓解策略，并分析了准确性-泄露率权衡，最终发现仅进行微调而不注入提示上下文能在保持高准确率的同时实现近乎零泄露，但在实际应用中难以实现。

🔗 开源详情

  • 代码：https://github.com/maikezuefle/asr-context-induced-leakage
  • 模型权重：
    • Qwen2.5-Omni-7B：https://huggingface.co/Qwen/Qwen2.5-Omni-7B
    • Phi-4-multimodal-instruct：https://huggingface.co/microsoft/Phi-4-multimodal-instruct
  • 数据集：论文中构建的评估数据集（包含679个音素相似词对、生成的上下文句子、合成音频）通过上述代码仓库发布，链接为：https://github.com/maikezuefle/asr-context-induced-leakage
  • Demo：论文中未提及
  • 复现材料：论文在附录A和B中提供了详细的数据准备过程（如使用spaCy和CMU词典的音素相似词对提取、使用Gemma-3-12B生成上下文和填充句子的提示）、Kokoro-82M TTS合成配置（使用美国英语声音列表）、以及两个模型的微调超参数配置（LoRA设置、优化器参数等），这些信息结合代码足以支持复现主要实验。
  • 论文中引用的开源项目：

🥈 TARQ: Tail-Aware Reconstruction Quantization for Rare-Word Robust Automatic Speech Recognition

🔥 10.0/10 | 前10% | #语音识别 | #后训练量化 | #量化 #鲁棒性 | arxiv

👥 作者与机构

Xinyu Wang, Ziyu Zhao, Ke Bai, Silin Meng, Dongming Shen, Xiao-Wen Chang, Yixuan He McGill University, Boson AI, Arizona State University

💡 毒舌点评

这篇工作堪称“精准手术”。它像一位经验丰富的外科医生，敏锐地指出了当前ASR量化手术中一个被忽视却致命的“并发症”——频率继承导致的罕见词“营养不良”。TARQ方案设计得相当优雅，用迹均衡化这把“微创手术刀”，在不增加额外标签和复杂度的前提下，重新分配了校准过程的“营养”，效果显著。实验设计全面得令人发指，八个骨干网络、六个数据集、六种校准语料的组合拳，几乎堵死了所有质疑的路径。唯一能稍微挑刺的是，这种“一刀切”的二分法在面对更精细的敏感度谱时可能显得粗糙，但作者也坦诚地指出了这一点。总体而言，这是一篇问题抓得准、方法想得巧、实验做得足的扎实工作，对ASR模型的实际部署有切实的推动作用。

📌 核心摘要

本文针对自动语音识别（ASR）模型在低比特权重（如W4）后训练量化（PTQ）中，罕见词（如人名、数字、专业术语）识别性能显著下降的问题，进行了深入的诊断分析并提出了一个解决方案。作者指出，标准PTQ方法（如GPTQ、AWQ）在校准时最小化的每token重建损失，隐式地按词频对位置加权，导致罕见词获得的优化质量严重不足，而这一问题在传统的整体词错误率（WER）指标中被掩盖。

为此，本文提出了TARQ，一个无标签、无验证解码、无额外训练的PTQ框架。其核心包含两个闭式组件：

  1. rareBAL：一种逐线性层的度量调整规则。它通过迹均衡化，将校准Hessian矩阵（\(H_\ell\)）在常见词位置和尾部（罕见）词位置之间的质量重新分配为50/50，从而迫使量化过程同等关注两类词汇。
  2. 度量一致的残差校正：一个在顺序量化过程中考虑误差传播的校正步骤，确保在rareBAL定义的新度量目标下，求解过程保持一致性，避免因顺序量化导致的度量偏离。

在W4G128量化设置下，TARQ在八个ASR骨干网络（Whisper全系列、Qwen3-ASR、Voxtral）、六个标准数据集和多种校准语料上进行了评估。结果表明，TARQ能显著降低罕见词错误率（rare-WER），同时保持甚至略微改善整体WER。该方法还展现出卓越的跨语料库稳定性，并能有效迁移至实体丰富的基准测试（ProfASR, ContextASR-Speech-En），无需实体监督。

🔗 开源详情

  • 代码：论文在附录J中声明“将发布TARQ源代码……在Apache-2.0许可证下”，包括校准管线、rareBAL Hessian重加权、闭式残差校正及评估脚本，并附有复现所有表格的README文件。但未提供具体的GitHub或其他代码仓库链接。

  • 模型权重：论文声明“将发布TARQ量化的W4G128检查点……在原始骨干网络的许可证下”。检查点仅包含INT4四舍五入权重和组FP16缩放（是原始权重的导出物，非新模型发布）。同样未提供具体链接（如HuggingFace, ModelScope）。

  • 数据集：论文使用了以下公开数据集并指明了协议：LibriSpeech-clean/other (CC BY 4.0), VoxPopuli (CC0), GigaSpeech (Apache 2.0), TED-LIUM (CC BY-NC-ND 3.0), SPGISpeech (Kensho研究许可证，仅限非商业校准/评估), ProfASR, ContextASR-Speech-En (研究许可证)。未提供直接获取链接。

  • 复现材料：论文未提供单独的训练配置、检查点或复现包链接。所有复现材料将包含在未来的代码发布物中。

  • 依赖的开源项目：论文提及并依赖了多个开源项目，但均未在文本中提供具体链接：whisper.cpp (MIT), qwen3-asr.cpp (MIT), gptqmodel (Apache 2.0), wordfreq (MIT), jiwer。引用的其他项目包括Whisper (MIT), Voxtral-Mini-3B (Apache 2.0), Qwen3-ASR (模型卡许可证), GPTQ (Apache 2.0), AWQ (MIT), OmniQuant (研究许可证), SmoothQuant (MIT), SpQR (Apache 2.0)。

  • 补充链接（自动提取）：

    • 代码仓库：https://github.com/ggerganov/whisper.cpp
    • 代码仓库：https://github.com/predict-woo/qwen3-asr.cpp

🥉 Comprehensive Benchmarking of Long-Form Speech Generation in Diverse Scenarios

🔥 9.9/10 | 前25% | #语音合成 | #评估与统计 | #评估与基准 #对话系统 | arxiv

👥 作者与机构

第一作者：Changhao Pan (浙江大学)。通讯作者：Zhou Zhao (浙江大学)。作者单位包括浙江大学和字节跳动。

💡 毒舌点评

一篇扎实、必要且组织良好的基准测试论文。它成功地将“长语音生成质量”这个模糊概念拆解为可量化的维度，并提供了目前最全面的评估框架。然而，它的“杀手锏”——基于Gemini Pro的表达力评估——却是一个黑盒，这为基准的长期可复现性埋下了隐患。实验规模宏大，但闭源模型的“遥遥领先”与开源模型的“努力追赶”形成了鲜明对比，清晰地勾勒出了技术差距。数据构建流程详尽得令人印象深刻，甚至用上了GPT-5和DeepSeek V3.2，堪称“用前沿AI评测前沿AI”的典范。总体而言，这是一份对社区贡献极大的资源，但它的价值很大程度上依赖于所用闭源评估器的持续稳定和可用性。

📌 核心摘要

本文提出了SwanBench-Speech，一个针对长语音生成（包括单说话人长文本和对话生成）的综合性评估基准。该基准覆盖了17种下游应用场景，基于声学、语义和表现力三大核心挑战，构建了包含1101个样本的测试集。论文设计了一个包含7个自动评估指标（音色一致性、混响一致性、声音保真度、内容准确率、韵律连贯性、表现丰富性、表现层次性）的评估协议，并通过人类感知测试验证了指标与人类评分的相关性。通过对16个单说话人模型和10个对话生成模型的广泛实验，论文揭示了当前模型的优势与不足：在保真度和准确率上已接近人类水平，但在混响一致性、韵律连贯性和表现层次性上仍有显著差距；模型在高表现力场景中性能下降；自回归（AR）与非自回归（NAR）模型在表现力和内容准确率上存在权衡；训练数据质量（如片段长度、声场稳定性）比数量更重要。

🔗 开源详情

4. MTAVG-Bench 2.0: Diagnosing Failure Modes of Cinematic Expressiveness in Multi-Talker Audio-Video Generation

🔥 9.9/10 | 前25% | #语音生成 | #评估与统计 | #视频生成 #多模态模型 | arxiv

👥 作者与机构

Haitian Li, Yanghao Zhou, Heyan Huang, Liangji Chen, YiMing Cheng, Xu Liu, Dian Jin, Jiajun Xu, Jingyun Liao, Tian Lan, Ziqin Zhou, Yueying Liu, Yu Bai, Changsen Yuan, Jinxing Zhou, Xian-Ling Mao, Xuefeng Chen, Yousheng Feng。机构包括：上海大学、北京理工大学、上海戏剧学院、清华大学、合肥工业大学、字节跳动(Inkeverse)、阿德莱德大学、北京工业大学、北京人工智能研究院、OpenNLP Lab。

💡 毒舌点评

这论文干了件正事：当所有人都在比谁生成的视频“嘴型更同步”时，它指着那堆“僵尸脸”和“跳跃剪辑”说，这才是真正该治的病。MTAVG-Bench 2.0这步迈得很大，从“像不像人说话”跳到了“像不像导演拍戏”，这个评估维度的升维打击，直接戳中了当前多模态生成的软肋。分类法（Acting-Atmosphere-Cinematography）设计得漂亮，45个失效模式像一套组合拳，把“电影感”这玄学给拆解成了可标注、可诊断的活体病例。实验也够狠，商业模型和开源模型的差距一目了然，直接告诉社区“你们还差得远”。不过，这论文也有点“自己挖坑自己跳”的意思。附录长得像小说，有些图表的复杂程度堪比需要解读的电影符号学。更重要的是，它诊断了一堆生成模型的“绝症”，但给的药方（对生成模型本身的改进建议）却轻飘飘——分析停留在失效统计上，对“病因”（模型架构缺陷）的溯源浅尝辄止。另外，评估“电影感”这种高度文化依赖的任务，却只用了有限的源电影，这数据集的文化多样性是个隐患。总的来说，是一篇开创性强、数据扎实、但深度可继续下挖的扎实工作。

📌 核心摘要

本文提出了MTAVG-Bench 2.0，一个专注于诊断多说话者音频-视频生成模型在“电影表达能力”层面失效模式的基准。不同于以往关注唇同步、对齐等基础保真度的评估，本基准面向短剧和场景级生成，构建了一个涵盖表演（Acting）、氛围（Atmosphere）、电影语言（Cinematography）三层次、10个子维度、45种失效模式的分类法。基于此分类法，构建了包含2,466个视频和11,600个问答实例的评测集，并设计了用于场景评估和失效时序定位的子集。实验对多个开源和商业多模态大模型进行评测，表明商业模型（如Gemini 3.1 Pro）整体表现最优，但在需要复杂推理的表演类失效诊断上仍显著不足；传统自动指标无法有效反映高级失效；消融实验证明评测严格依赖多模态信息。本基准为理解和诊断当前生成模型在电影级表达上的局限性提供了系统化工具。

🔗 开源详情

  • 代码：https://github.com/ChinChilla-HTL/MTAVG-Bench2
  • 模型权重：论文未提供评测中所用多模态大模型（如Gemini系列、Qwen 2.5 Omni等）的权重下载链接。
  • 数据集：MTAVG-Bench 2.0 数据集。获取链接：https://huggingface.co/datasets/Lanht/MTAVG-Bench2。包含2,466个视频和约11,600个问答实例。
  • Demo：未提及。
  • 复现材料：论文在附录中提供了详细的复现材料，包括：
    1. 提示设计：用于基准构建和评估的各类系统提示词（详见附录A及图7-10）。
    2. 基准构建细节：包括数据源、对话与脚本构建流程、过滤与精炼程序、问题模板构建（详见附录B）。
    3. 标注质量控制：包括标注规则、验证协议、冲突解决机制（详见附录C、D）。
    4. 评估协议详情：包括模型推理设置、采样策略、判断与解析规则、失效率定义（详见附录E）。
  • 论文中引用的其他开源项目：论文在相关工作和实验中提到了多个模型和基准（如JavisDiT, Seedance 1.0, Harmony-Bench, VABench, MovieBench等），但这些为文献引用，未提供其官方开源链接。

5. OmniRetriever: Any-to-Any Audio-Video-Text Retrieval via Fusion-as-Teacher Distillation

🔥 9.2/10 | 前25% | #音频检索 | #多模态模型 | #视频检索 #文本检索 | arxiv

👥 作者与机构

作者: Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen 机构: Memories.ai Research

💡 毒舌点评

优点：论文精准地指出了一个实际存在但被忽视的问题——统一AVT编码器的联合嵌入\(z_{TVA}\)在训练中未被监督。提出的“融合即教师蒸馏”方法简洁、直观且有效，尤其是\(\mathcal{L}_D\)损失贡献巨大。构建的OmniRetriever-Bench基准填补了评估多模态查询方向的关键空白，对社区有明确贡献。实验设计周密，包括了跨骨干验证、损失权重敏感性分析等，增强了结论的说服力。 缺点：论文在视频-文本任务上并未达到顶尖水平，其主要优势局限于音频相关的检索方向。方法的核心创新在于损失函数的设计，架构上是基于现有骨干（WAVE-7B）的适配器微调，新颖性更多体现在训练范式而非网络结构。提出的新基准测试（OmniRetriever-Bench）仅提供标识符和字幕，未公开媒体文件，限制了其广泛使用和独立验证。部分技术细节，如模态轮换硬负例的具体实现逻辑，描述可进一步清晰化。此外，虽然方法通用，但对语音/音乐领域的直接贡献（如理解语音内容、音乐情感）有限，其影响力更偏向于通用的多模态表示学习。

📌 核心摘要

本文针对现有统一音频-视频-文本（AVT）编码器训练中联合嵌入\(z_{TVA}\)未被监督的关键缺陷，提出了“融合即教师蒸馏”（Fusion-as-Teacher Distillation）训练范式。该方法利用模型自身前向传播产生的、经停止梯度处理的联合嵌入\(z_{TVA}\)作为教师信号，通过InfoNCE损失（) \mathcal{L}_D \(）指导单模态嵌入（\(z_T, z_V, z_A\)）的学习。同时，引入Tuple-InfoNCE损失（) \mathcal{L}_T \(）配合模态轮换的硬负例，直接监督联合嵌入\(z_{TVA}\)，防止其退化。该方法在开源WAVE-7B骨干上实例化为OmniRetriever-7B模型。在六个零样本检索基准测试中，OmniRetriever-7B在Clotho和SoundDescs音频-文本检索任务上显著超越闭源Gemini Embedding 2（R@1提升13.3-18.0），并接近专门音频-文本检索模型（CLAP家族）水平。论文同时发布了首个覆盖全部12个音频-视频-文本检索方向的评估基准OmniRetriever-Bench，并在该基准上取得了SOTA结果。

🔗 开源详情

  • 代码：论文摘要和结论声明将发布代码，但未提供具体链接。
  • 模型权重：论文摘要和结论声明将发布模型权重，但未提供具体链接（如HuggingFace, ModelScope）。
  • 数据集：
    • 训练数据集：论文提及训练数据由以下公开数据集采样构成，且不重新分发训练子集：
    • 评估基准：论文发布OmniRetriever-Bench，包含3,782个经人工校对的三元组。发布时将提供评估流程、字幕文本、源视频标识符和片段区间，但不重新分发底层媒体文件。
  • 复现材料：论文在附录中提供了极其详尽的复现信息，包括但不限于：
    • 附录A & B：骨干架构、LoRA配置、所有训练超参数。
    • 附录C：端到端推理延迟。
    • 附录D：损失权重敏感性分析。
    • 附录E：训练语料描述与统计。
    • 附录F & H：OmniRetriever-Bench构建方法、许可证与统计。
    • 附录G：后处理压缩分析。
    • 附录I：外部基准完整结果。
    • 附录J：OmniRetriever-Bench方向消融分析。
    • 附录L：Omni-Embed-Nemotron-3B跨骨干验证。
    • 附录M：字幕改写鲁棒性分析。
    • 附录N：\(\mathcal{L}_T\)种子稳定性分析。
  • 论文中引用的关键开源项目：CLIP, ImageBind, LanguageBind, WAVE, Omni-Embed-Nemotron, SigLIP/SigLIP-2, Whisper, BEATs, CLAP (多种), InternVideo2, LoRA, DeepSpeed。

6. Audio-Mind: An Auditable Agentic Framework for Audio Understanding

🔥 8.7/10 | 前50% | #音频问答 | #音频智能体 | #大模型 | arxiv

👥 作者与机构

论文作者包括：Yucheng Wang (南京大学，ETH Zurich)，Jing Peng (上海交通大学)，Hanqi Li (上海交通大学)，Chenghao Wang (西安交通大学)，Wenming Tu (上海交通大学)，Yu Xi (上海交通大学)，Zhaokai Sun (西北工业大学)，Kai Yu (上海交通大学)，Shuai Wang (南京大学，通讯作者)。机构涵盖南京大学、ETH Zurich、上海交通大学、西安交通大学和西北工业大学。

💡 毒舌点评

本文提出了一个思想清晰、设计工整的音频智能体框架 Audio-Mind，核心立意——在强 LALM 前端下，智能体分解不应是自动改进，而应是“条件证据获取”——抓住了当前多模态智能体研究的一个关键痛点。框架设计如“有界工具接口”、“显式证据状态”等概念有一定启发性，实验也显示了其在特定任务上的优势。然而，作为一篇投向顶会的论文，其贡献深度和实验充分性仍有差距。首先，“条件性”的实证主要通过工具调用数量与难度的相关性来体现，但这更多是设计的结果而非对“何时调用工具更优”这一根本问题的深入建模。其次，实验评估局限于两个基准，且在某些子类别（如空间分析、音频差异分析）上性能下降，暴露了框架的脆弱性，并未展示其普适的优越性。此外，与强基线（Gemini 2.5 Pro）的增益（MMAR: 78.9% -> 80.4%）相对有限，且未提供充分的消融实验来证明每个设计组件（如感知/变换工具分类、证据状态、重听机制）的独立贡献。论文更像是一个集成良好、工程扎实的系统，而非提出根本性新算法或带来突破性性能跃升的工作。

📌 核心摘要

本文提出了 Audio-Mind，一个可审计的、可插拔的音频理解智能体框架。其核心动机是，在强大的大型音频语言模型（LALM）作为前端感知器的背景下，智能体对外部工具的调用不应该是无条件的自动改进，而应是基于具体证据缺口的有条件获取。Audio-Mind 通过一个文本 LLM 规划器和一个共享的“证据状态”来协调工作流程：规划器首先生成感知提示，让前端 LALM 获取初步证据；随后进入证据获取循环，根据当前证据状态和工具的有界能力，决定是调用外部工具、进行针对性重新聆听，还是直接生成答案。工具被明确划分为感知工具和变换工具，并定义了其证据支持边界。最终，基于原始音频和累积证据，由前端生成可审计的最终答案。在 MMAR 和 MSU-Bench 基准测试上，Audio-Mind 在使用匹配骨干模型时，性能优于先前的音频智能体基线（如 AudioGenie-Reasoner）以及直接的 LALM 推理。行为分析表明，其工具调用深度与问题难度相关，且性能优势集中在需要深度证据获取的问题上。此外，Audio-Mind 生成的推理轨迹质量更高，更便于审计和错误分析。

🔗 开源详情

  • 代码：论文中明确声明代码公开可用（“Our code is publicly available”），但未提供具体的代码仓库链接（如 GitHub 地址）。

  • 模型权重：论文未提供 Audio-Mind 自身模型的权重链接。文中使用的 Qwen3.5-Omni、Qwen3.5、Gemini 2.5 Pro 等模型均为第三方模型，其权重由各自发布方提供。

  • 数据集：使用了公开的 MMAR 和 MSU-Bench 基准测试集，但未提供这些数据集的直接获取链接。需参考其原始论文。

  • Demo：论文未提及在线演示链接。

  • 复现材料：论文在附录 D 中提供了详细的实验配置。文中承诺“提示词模板、工具清单和评估脚本已包含在提交的补充材料中，并将与代码一同发布”。

  • 引用的开源项目：论文在附录 E 的工具清单（Table 8）中详细列出了所使用的各类开源工具和模型，具体包括 FFmpeg、librosa、FireRedASR、WhisperX、DiariZen、SortFormer、Silero VAD、Tempo-CNN、大规模词汇和弦识别模型、说话人验证模型、音频图检查工具等。

  • 补充链接（自动提取）：

    • 代码仓库：https://github.com/DELTA-DoubleWise/Audio-Mind

7. From Talking to Singing: A New Challenge for Audio-Visual Deepfake Detection

🔥 8.7/10 | 前50% | #语音伪造检测 | #多模态模型 | #深度伪造检测 #多模态学习 | arxiv

👥 作者与机构

作者：Ke Liu, Jiwei Wei, Wenyu Zhang, Shuchang Zhou, Ruikun Chai, Yutao Dai, Chaoning Zhang, Yang Yang 机构：未明确说明具体单位，根据作者姓名推测可能来自中国的高校或研究机构。

💡 毒舌点评

这篇论文敏锐地抓住了当前音频-视觉深度伪造检测中的一个关键盲区——“唱歌”场景。当所有方法都盯着“说话”时，唱歌带来的节奏变化和更丰富的面部表情确实让现有的唇音同步检测器“露馅”。作者们提供了新的数据集（SHDF）和框架（T-AVFD），实验结果也足够亮眼，尤其是在唱歌数据集上把基线方法“按在地上摩擦”。但是，那个手动设置的调制向量α像是一根拐杖，虽然好用，但让整个自适应融合的优雅性打了折扣。开源只给项目页面，不给代码，这在顶会审稿人眼里属于“诚意不足”。总的来说，这是一篇扎实的“填坑”论文，问题明确，方案有效，但离“完美”还有几步关键的台阶没迈上去。

📌 核心摘要

本文针对音频-视觉深度伪造检测中从“说话”到“唱歌”场景转换所带来的域偏移挑战。作者首先通过域偏移诊断（MMD²）和分数分布重叠分析，定量证明了唱歌场景对现有检测器构成巨大挑战。为此，他们构建了首个唱歌场景的伪造检测数据集SHDF。为了应对跨场景泛化难题，提出了一个无监督的文本引导框架T-AVFD，该框架仅使用真实说话视频训练，通过面部真实性模式学习器（FAPL）和多模态差分权重学习模块（MMDWL）联合建模面部语义和唇音一致性，在多个说话数据集和SHDF上实现了显著优于基线方法的泛化性能和鲁棒性。

🔗 开源详情

  • 代码：论文中提供了项目主页链接 https://LiuKe3068LikWix.github.io/SingingHead-DeepFake/，但未明确提供官方代码仓库的直接链接。
  • 模型权重：未提及模型权重的下载链接。
  • 数据集：
    • 数据集名称：Singing Head DeepFake (SHDF)。
    • 获取链接/开源协议：论文未提供数据集直接下载链接。真实视频部分承诺提供YouTube链接（见附录A.2），伪造视频部分计划通过生成管道提供。数据集仅用于学术研究。
  • Demo：未提及在线演示链接。
  • 复现材料：论文提供了详细的训练配置（优化器：Adam，学习率：9×10⁻⁴，批大小：512）、超参数设置和实验设置描述，但未提及提供检查点文件下载。
  • 论文中引用的开源项目：
    • Alpha-CLIP：https://github.com/sunao-phi/AlphaCLIP
    • MEMO：https://github.com/MEMO-Head/MEMO
    • Hallo2：https://github.com/fudan-generative-vision/hallo2
    • EchoMimic：https://github.com/BadToBest/EchoMimic
    • DreamTalk：https://github.com/DreamTalk-AI/DreamTalk
    • Sonics：论文中引用，但未提供具体链接。
    • AVAD：https://github.com/MauriceFeng/AVAD
    • AVH-Align：https://github.com/Smeu-Alexandru/AVH-Align

8. SMILE-Next: Teaching Large Language Models to Detect, Classify, and Reason about Laughter

🔥 8.7/10 | 前25% | #语音情感识别 | #混合专家模型 | #多模态模型 #参数高效微调 | arxiv

👥 作者与机构

Lee Jung-Mok, Kim Sung-Bin, Joohyun Chang, Lee Hyun, Tae-Hyun Oh (通讯作者)。机构：1) 韩国高等科学技术院（KAIST）电气工程学院；2) 浦项科技大学（POSTECH）电气工程系；3) 韩国高等科学技术院（KAIST）计算学院。

💡 毒舌点评

这篇工作就像给大语言模型装上了一个“笑声解码器”。作者很聪明地避开了处理原始音视频的泥潭，转而将所有多模态信号“翻译”成文本，让LLM用它最擅长的阅读理解来分析笑声。SMILE-Next数据集和MoLE框架都是扎实的工程贡献。然而，审稿人看到“文本化”这招会觉得有点似曾相识（论文自己也承认受Hyun et al., 2024启发），创新深度有限。更关键的是，把笑声这种极度依赖语境和微妙非语言线索的行为完全文本化，可能丢失了大量信息，而论文对此的验证不足。此外，数据集Fleiss’ Kappa仅为0.42（中等一致性），这就像用一把刻度不准的尺子去量东西，最后模型的“优越性”打了多少折扣？7.5分，算是对扎实工作的肯定，但离顶会突破性工作还有距离。

📌 核心摘要

本文针对笑声这一复杂社交信号的理解提出了综合性框架。研究者首先构建了SMILE-Next数据集，包含笑声检测、类型分类（愉快、礼貌、讽刺）和推理三项任务，数据来源于多种真实对话场景，并提供了将视觉、声学、关系等多模态信息转换后的文本化表示及问答标注。基于此，他们提出两个核心组件：1) 笑声特定自指令：利用GPT-4合成多样化指令数据以增强泛化能力；2) 混合笑声专家框架：一种基于LoRA的参数高效微调方法，通过动态路由器为不同任务分配专门的专家模块。实验表明，结合自指令和MoLE的纯文本LLM方案在各项指标上均优于直接处理原始音视频的多模态LLM（如Qwen2.5-Omni）和视觉LLM（如Video-LLaVA）。消融研究证实了多模态文本化表示、自指令和MoLE的有效性。论文贡献了首个综合性多任务笑声理解数据集，并证明了将多模态信号文本化后输入LLM是一种有效的笑声分析范式。

🔗 开源详情

  • 代码：论文中未提及提供代码仓库。
  • 模型权重：论文中未提及提供预训练模型下载链接。
  • 数据集：论文中提及了SMILE-Next数据集，并提供了项目主页（https://mok0102.github.io/smile-next/），但未明确说明数据集是否公开发布及具体的下载协议。
  • Demo：论文中未提及在线演示。
  • 复现材料：论文在附录和正文中提供了较多实现细节（如LoRA配置\(r=8, \alpha=16\)，训练使用DeepSpeed ZeRO-3，批次大小，学习率等），但缺少完整的训练代码和预处理脚本，完全复现仍存在障碍。
  • 论文中引用的开源项目：主要包括WhisperX, DeepSpeed, LoRA, Self-Instruction框架，以及Vicuna, LLaMA, Qwen系列等模型和MiniCPM-o, Video-LLaVA等基线模型。具体链接已在论文中给出或为众所周知的项目。

9. Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text

🔥 8.6/10 | 前25% | #音频生成 | #扩散模型 | #语音合成 #音乐生成 | arxiv

👥 作者与机构

作者: Jiahao Mei (1, 2), Heinrich Dinkel (2), Yadong Niu (2), Xingwei Sun (2), Gang Li (2), Yifan Liao (2), Jiahao Zhou (2), Junbo Zhang (2), Jian Luan (2), Mengyue Wu (1) 机构: 1: X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China 2: MiLM Plus, Xiaomi Inc., Beijing, China

💡 毒舌点评

这篇工作瞄准了音频生成领域一个真实存在的痛点——不同模态（语音、音乐、音效）的生成模型各自为战，无法协同生成连贯场景。作者提出的“统一框架”思路清晰，技术路线（结构化描述 + 高维统一表示 + 简单DiT）有一定创新性，且在自建的MECAT基准上展示了令人信服的优势。然而，审稿人必须指出几个关键弱点：1) 数据集不公开是原罪：训练使用了77k小时的私有数据超集，而公开版仅约10k小时，这使得模型的“公平比较”和“可复现性”大打折扣，也削弱了结论的普遍性。2) “统一”模型的短板明显：在语音可懂度（WER）上，其表现（LibriTTS 10.77%）与专用TTS（Qwen3-TTS 2.15%）差距巨大，论文用“10秒截断”解释，但这本身就是模型的一个硬性局限。3) 评估PAFI的有效性存疑：引入LLM作为评估器是新尝试，但其与人类评估的相关性（r=0.82）在复杂场景下未必稳定，且Gemini-3.1-Pro作为闭源模型，使得评估过程无法完全复现。4) 10秒时长限制：这严重制约了模型的实际应用场景，使其更像一个概念验证而非实用工具。尽管如此，其在混合场景生成上展现出的“场景级协调”能力确实优于简单的模型拼接，为未来研究指明了一个有前景的方向。

📌 核心摘要

本文提出了Dasheng AudioGen，一个用于从文本生成连贯混合音频场景的统一非自回归模型。为了解决现有模型在处理包含语音、音乐和音效的复杂场景时的碎片化问题，作者引入了两项核心设计：结构化多视图描述和统一的语义-声学表示。前者将音频场景分解为六个文本视图（如全局描述、语音转写、音乐等），为模型提供细粒度监督；后者基于DashengTokenizer，提供一个1280维的高维潜空间，融合了语义信息和声学细节，以更好地建模重叠的音频成分。一个简单的基于流匹配的DiT架构在此潜空间中进行生成。在专为混合场景设计的MECAT基准上，Dasheng AudioGen在分布相似性指标上显著优于由独立专家模型（Qwen3-TTS, MusicGen, TangoFlux）组合而成的基线，并在单类型生成任务上保持竞争力。人工评估和新提出的PAFI指标也验证了其优势。论文的主要局限在于仅支持10秒生成、语音可懂度有待提高、以及训练数据未公开。

🔗 开源详情

10. Why We Need Speech to Evaluate Speech Translation

🔥 8.3/10 | 前50% | #语音翻译评估 | #质量估计 | #语音翻译 #多模态模型 | arxiv

👥 作者与机构

Maike Züfle (1), Danni Liu (1), Vilém Zouhar (2), Jan Niehues (1) 1 Karlsruhe Institute of Technology (KIT), 2 ETH Zurich

💡 毒舌点评

这篇论文像一位严谨的诊断医生，成功地揭示了一个重要但被忽视的病症：当前的语音翻译评估指标（无论是文本还是语音输入）对性别一致性和韵律等语音特有现象几乎完全失明。其诊断过程（系统性的元评估、新模型训练、深入的探测实验）无可挑剔，结论有理有据。然而，它最大的缺点在于“只诊断，不治病”。论文明确指出了三个病根（编码器信息丢失、模型忽略语音源、训练数据不足），却未能提出任何有效的解决方案或有潜力的治疗方向。这使得文章的贡献止步于“揭示问题”，而非“解决问题”。对于期望看到方法创新或突破性结果的审稿人来说，这无疑会拉低评价。不过，这种扎实的“问题定位”工作为后续研究铺平了道路，价值不容否认。

📌 核心摘要

本文针对语音翻译（ST）评估中存在的盲点展开研究。核心发现是：现有的文本和语音质量估计（QE）指标，包括直接使用语音输入的BLASER和SpeechQE，均无法评估语音翻译中至关重要的性别一致性和韵律现象，其表现接近随机猜测。为探究原因，作者训练了SpeechCOMET模型家族（基于SONAR和Whisper编码器）并评估了SpeechLLM作为评估器。两者在标准QE任务（IWSLT数据集上的相关性评分）上表现良好，甚至超越了文本基线COMETKiwi，但在语音特有现象评估上同样失败。通过探测实验，论文揭示了三个根本原因：1）SONAR等编码器抑制了声学特征；Whisper和SpeechLLM的编码器保留声学特征但模型未使用；2）QE模型在训练中倾向于忽略语音源信号；3）标准QE训练数据中缺乏相关示例。论文开源了所有模型和代码，并呼吁开发专门的语音特定数据集和真正依赖语音的模型。

🔗 开源详情

  • 代码：https://github.com/MaikeZuefle/speechCOMET
  • 模型权重：论文中未提及模型权重的直接下载链接，需根据代码和超参数自行训练。
  • 数据集：使用了 IWSLT 2026 Metrics Shared Train Dev， MuST-SHE， ContraProST， WMT Human All 数据集，均为第三方公开数据集，论文未提供直接获取链接。
  • Demo：论文中未提及在线演示链接。
  • 复现材料：论文在附录中提供了详尽的训练超参数（表4，表5）、模型架构细节（第3.1、3.2节）、数据处理方法（附录A.3）和消融实验结果（附录B），这些信息均包含在论文正文及附录中，可复现性高。
  • 论文中引用的开源项目：
    • COMET/COMETKiwi: 用于质量估计的基线模型。链接：https://github.com/unilm/comet
    • SONAR: 用于语音编码的多语言模型。链接：https://github.com/facebookresearch/SONAR
    • Whisper: 用于语音编码和语音识别的模型。链接：https://github.com/openai/whisper
    • Qwen2.5 Omni: 论文中作为SpeechLLM进行评估的多模态大模型。链接：https://github.com/QwenLM/Qwen2.5-Omni (根据论文作者和名称推断)
    • LlamaFactory: 用于微调大语言模型的框架（用于SpeechLLM的微调）。链接：https://github.com/hiyouga/LLaMA-Factory
    • spaCy: 用于语言特征探测的NLP工具。链接：https://github.com/explosion/spaCy
    • Kokoro TTS & MMS TTS: 用于合成训练数据的文本转语音系统。链接：https://github.com/hexgrad/kokoro (Kokoro)， https://github.com/facebookresearch/fairseq/tree/main/examples/mms (MMS TTS)

11. Bandwidth-Efficient and Privacy-Preserving Edge-Cloud Many-to-Many Speech Translation

🔥 8.1/10 | 前25% | #语音翻译 | #边缘计算 | #隐私保护 #多语言 | arxiv

👥 作者与机构

作者：Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Ming Liu, Bing Qin, Yang Xiang 机构：哈尔滨工业大学（深圳），鹏城实验室

💡 毒舌点评

这篇论文试图在一个“不可能三角”——隐私、带宽、性能——上找到一个实用的平衡点，其工程野心和目标是值得肯定的。ESRT框架通过将推理拆分，将重量级的LLM留在云端，仅在边缘传输压缩的特征，这是一个直观且有效的工程解决方案。论文在FLEURS数据集上展示了强大的实验结果，尤其是ESRT-4B模型以较小的参数量超越了之前许多更大的模型，证明了其训练策略的有效性。开源代码和模型也值得鼓励。

然而，其核心创新点——边缘-云分割和特征压缩——在概念上并非开创性的，更偏向于系统优化和工程实现。论文声称的“隐私保护”主要基于信息压缩导致的重建困难（见图10），这是一种弱化的安全假设，而非经过严格密码学或对抗攻击验证的保障。对于顶会论文而言，这种论证略显单薄。实验虽然全面，但缺少在真实、动态的网络环境和多样化的边缘硬件上进行端到端延迟和功耗测试，这使得“边缘计算”的宣称有些理想化。整体而言，这是一篇扎实的系统论文，但理论深度和安全验证的严谨性有待加强。

📌 核心摘要

本文提出了ESRT（Edge-cloud Speech Recognition and Translation），一个隐私保护且带宽高效的边缘-云协同多方语音转文本翻译（S2TT）框架。该框架采用分割推理架构：在边缘设备部署轻量级的Whisper语音编码器和基于Q-Former的语音适配器，仅将高度压缩的声学特征（40或80个token）传输至云端，由云端大型语言模型（LLM，基于MiLMMT/Gemma-3）完成翻译解码。为支持45种语言的多方翻译并克服英语中心偏见，论文引入了改进的多任务加权课程学习策略（分三阶段，动态整合ASR、SMT、SRT任务）。在FLEURS数据集上的实验表明，ESRT-4B和ESRT-12B在45×44个翻译方向上达到了当时的最先进（SOTA）性能，显著优于多种基线模型，并证明了框架在隐私（防止声纹泄露）和带宽（高达15.6倍压缩）方面的有效性。

🔗 开源详情

  • 代码：https://github.com/yxduir/esrt
  • 模型权重：论文中承诺开源模型，并指向同一GitHub仓库（https://github.com/yxduir/esrt），但未单独列出HuggingFace或ModelScope等托管平台的权重下载链接。
  • 数据集：
  • Demo：论文中未提及。
  • 复现材料：论文中提供了详细的训练配置（表I, II, III, V），并声称开源训练和推理框架。完整的训练脚本、依赖环境及详细文档可能包含在代码仓库中，但未提供独立的复现指南链接。
  • 论文中引用的开源项目：
    • Whisper: 来自OpenAI，论文中未提供GitHub链接。
    • NLLB-200: 作为对比基线，论文中未提供项目链接。
    • LLaMAX3: 作为对比基线，论文中未提供项目链接。
    • SeamlessM4T-V2: 作为对比基线，论文中未提供项目链接。
    • MiLMMT: 作为基础LLM，源自Gemma-3，论文中未提供MiLMMT的具体代码链接。
    • Gemma-3: 作为基础模型，论文中未提供其具体链接。
    • LoRA: 作为微调方法，论文中未提供具体实现仓库链接。
    • Q-Former: 作为语音适配器的核心组件，论文中未提供其原始实现仓库链接。

12. EigeNet: Geometry-Informed Multi-Modal Learning for Few-shot Novel View RIR Prediction

🔥 8.0/10 | 前50% | #空间音频渲染 | #多模态模型 | #多任务学习 #注意力机制 | arxiv

👥 作者与机构

  • 作者：Chong Jing, Zitong Lan, Junan Zhang, Zhizheng Wu
  • 机构：香港中文大学（深圳）（Chong Jing, Junan Zhang, Zhizheng Wu），宾夕法尼亚大学（Zitong Lan）

💡 毒舌点评

这篇工作在工程应用上做得扎实，但理论原创性的天花板清晰可见。它成功地将视觉领域的“交替注意力”机制“移植”到了音频这个新场景，并辅以一个动机良好的物理调制模块，最终在特定任务上取得了SOTA。这种“旧瓶装新酒”的范式在应用层屡试不爽，但作为顶会论文，其核心贡献的“新颖性”需要打折。更令人遗憾的是，作为一篇同时期的工作，却完全回避了与最直接竞争对手FLAC的正面比较（仅以“并发工作”一笔带过），这在实验对比的完整性上留下了无法回避的短板。论文的强项在于细致的消融实验，特别是掩码探针实验设计巧妙，试图解释模型行为，这比单纯刷分更有价值。然而，写作上的细节疏忽（图表引用混乱）和某些技术描述的含糊（如DiT块的具体操作）拉低了整体的精致感。总的来说，这是一篇扎实的系统工作（systems paper），而非一篇具有颠覆性思想的理论突破。

📌 核心摘要

本文针对从稀疏观测预测新视角房间脉冲响应（RIR）的逆问题，提出了EigeNet框架。该框架旨在解决现有方法在多视角时空关系建模不足和物理可解释性缺失两大瓶颈。核心创新包括：1）提出交叉视角交替注意力Transformer（CVAT），交替进行视角内局部和跨视角全局注意力，以显式建模局部声学结构和全局空间关系；2）设计几何信息调制模块与基于7倍频带功率谱的辅助损失，显式建立几何特征与RIR功率谱的关联，将单任务转化为多任务学习。在模拟数据集AcousticRooms和真实数据集HAA上的实验表明，EigeNet在EDT、C50、T60等指标上显著优于xRIR等基线，并展现出良好的跨模态泛化性和物理可解释性。

🔗 开源详情

  • 代码：https://github.com/FEAfeatherTHER/EigeNet
  • 模型权重：https://github.com/FEAfeatherTHER/EigeNet
  • 数据集：
    • AcousticRooms：论文中声明通过Treble平台获取（https://www.treble.tech/），但未提供直接���预处理数据下载链接。
    • Hearing-Anything-Anywhere (HAA)：论文中未提供任何公开获取链接。
  • Demo：论文中未提及。
  • 复现材料：未提供单独的复现材料包（如训练脚本、配置文件）。复现依赖于上述GitHub仓库的代码以及自行获取的数据集。

13. Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts

🔥 8.0/10 | 前25% | #音频合成 | #自回归模型 | #语音合成 #音效生成 | arxiv

👥 作者与机构

第一作者：Yuyue Wang（中国人民大学） 通讯作者：Xihua Wang（中国人民大学） 机构：中国人民大学

💡 毒舌点评

一篇动机明确、架构清晰的工作，定义了‘自由文本到统一音频生成’这一有潜力的任务，并提出了一个不错的解决方案。然而，如同许多初次尝试定义新任务的工作，其‘统一’的光环在实验部分略显褪色。基线选择过于保守，仅与较早的VoiceLDM和流水线方法对比，对近期涌现的AudioBox、Fugatto等强力竞争对手视而不见，这让其‘优越性’的宣称打了折扣。实验部分更像是精心设计的‘能力展示’而非公平‘竞技场’，尤其是主观评估样本量仅50个，说服力有限。论文的‘未来工作’比‘当前工作’更有吸引力。整体是一篇扎实但不够大胆的论文，创新有余，验证不足。

📌 核心摘要

本文针对“自由文本提示生成统一音频”这一新任务，提出了PlanAudio框架。该任务旨在直接从自然语言提示合成包含语音、音效及其复合交互的统一音频流。PlanAudio是一个基于自回归LLM的统一模型，其核心创新是引入“语义潜在思维链”机制，在连续语义空间进行隐式规划，以桥接高语义理解与低层声学生成。模型采用单一Transformer骨干，直接处理文本，无需外部文本编码器或重写模块。作者还构建了专用的复合音频评估基准PlanAudio-Bench。实验表明，PlanAudio在复合场景下优于基线方法，并在单独音效和语音任务上保持竞争力。

🔗 开源详情

  • 代码：论文中未提及代码链接。
  • 模型权重：论文中未提及模型权重的公开链接。
  • 数据集：论文中提及基于以下公开数据集构建训练数据，并合成了新的基准数据集。具体获取方式如下：
    • AudioSet: 论文用于合成复合音频数据，未提供数据集本身的直接链接。
    • AudioCaps: 论文用于声音生成评估，未提供链接。
    • WavCaps: 论文用于声音生成，未提供链接。
    • LibriTTS: 论文用于语音生成评估，未提供链接。
    • PlanAudio-Bench：论文中提出的新基准测试集，论文中未提及公开获取链接。
  • Demo：论文中未提及。
  • 复现材料：论文中未提及训练配置、检查点等复现材料的公开链接。
  • 论文中引用的开源项目：
    1. Qwen2.5-1.5B: 作为模型初始化的基础LLM。
      • 链接: https://huggingface.co/Qwen/Qwen2.5-1.5B
    2. AudioCraft tokenizer: 用于将音频离散化为分层标记。
      • 链接: https://github.com/facebookresearch/audiocraft
    3. AF3Encoder (Audio Flamingo 3 Encoder): 用于提取语义表示。
      • 论文中未提供具体链接。
    4. Whisper: 用于生成转录。
      • 论文中未提供具体链接。
    5. Gemini-2.5 Pro: 用于数据标注和文本改写。
      • 论文中未将其列为开源项目。

14. Gemini Embedding 2: A Native Multimodal Embedding Model from Gemini

✅ 7.9/10 | 前25% | #语音识别 | #对比学习 | #多模态模型 #检索增强生成 | arxiv

👥 作者与机构

Madhuri Shanbhogue, Zhe Li, Shanfeng Zhang, Gustavo Hernández Ábrego, Shih-Cheng Huang, Aashi Jain, Daniel Salz, Sonam Goenka, Chaitra Hegde, Ji Ma, Feiyang Chen, Jiaxing Wu, Tanmaya Dabral, Babak Samari, Kevin Poulet, Daniel Cer, Kaifeng Chen, Paul Suganathan, Hui Hui, Jovan Andonov, Philippe Schlattner, Jay Han, Iftekhar Naim, Wing Lowe, Vladimir Pchelin, Albert Yang, Yi-Ting Chen, Zhongli Ding, Grace Zhang, Georg Heigold, Yichang Chen, Antoine Reveillon, Brendan Mccloskey, Wenlei Zhou, Dahun Kim, Rui Meng, Emma Wang, Jack Zheng, Halley Fede, Zhen Yang, Keegan Mosley, Brian Potetz, Sahil Dua, Henrique Schechter Vera, Shen Gao, Hesen Zhang, Andreas Hess, Hengxuan Ying, Alberto Montes, Karan Gill, Min Choi, Sebastian Russo, Anja Hauth, Jinhyuk Lee, Michael Boratko, Megan Barnes, Vikram Rao, Claudiu Musat, Cyril Allauzen, Ehsan Variani, Shankar Kumar, Tom Bagby, Junyi Jiao, Yang Gu, Tengxin Li, Ayush Agrawal, Roberto Santana, Dev Nath, Stephen Karukas, Shuoxuan Han, Lucia Loher, Alice Twu, Nidhi Vyas, Siddharth Bhai, Frank Palma Gomez, Wangyuan Zhang, Chaoren Liu, Jizheng Yang, Steve Qiu, Shijie Zhang, Sujay Kulkarni, Sascha Rothe, Sean Nakamoto, Raphael Hoffmann, Zach Gleicher, Yunhsuan Sung, Qin Yin, Tom Duerig, Mojtaba Seyedhosseini（共81位作者）。

💡 毒舌点评

这篇论文堪称工业界SOTA的“凡尔赛文学”典范。模型名叫“Embedding 2”，但论文里从头到尾在秀Gemini的肌肉。本质上是在一个巨大的、闭源的、多模态基座模型（Gemini）上做微调（fine-tuning）和蒸馏（model soup），然后宣布自己在一堆榜单上刷到了第一。创新点在于“原生多模态”，但技术细节如合成数据构造、多任务采样策略等核心“炼丹”秘方一概不提，代码、模型、训练数据全部不开放。对于学术界来说，这篇论文最大的价值可能不是方法（因为不可复现），而是提供了一套强大的（但只有Google自己能用的）评估基准和消融分析思路。它证明了在巨大规模上，简单的平均池化+对比学习+模型融合就能出奇迹，但前提是你的“原材料”（Gemini）本身就足够好。

📌 核心摘要

Gemini Embedding 2是Google提出的原生多模态嵌入模型，能将视频、音频、图像和文本嵌入到一个统一的向量空间。该模型基于Gemini初始化，采用双向注意力的Transformer编码器，通过平均池化生成嵌入向量。训练采用多阶段（预微调、微调）对比学习范式，并使用模型融合（model soup）提升泛化能力。论文在MSCOCO（62.9 R@1）、Vatex（68.8 NDCG@10）、MMTEB多语言（69.9分）、MTEB代码（84.0分）以及MSEB音频检索等多个基准上报告了SOTA或具有竞争力的性能。核心贡献在于直接处理原生音频（优于ASR流水线）以及在多个专业领域（如天文学、美食学）展现出的零样本泛化能力。模型输出维度为3,072，支持通过MRL优化至768和1,536维。论文未提供模型权重、训练数据或可复现的代码。

🔗 开源详情

  • 代码：未提供。论文未提及任何代码仓库或复现指南。
  • 模型权重：未提供。论文明确模型基于Gemini构建，而Gemini是Google的专有模型，不对外公开权重。
  • 数据集：未提供。论文未提供任何训练数据集（包括多任务数据、合成数据）的下载链接或详细描述。评估所用的公开基准（MSCOCO, Flickr30k, Vatex, MSR-VTT, MMTEB, MSEB等）为学术界通用数据集。
  • Demo：未提及。
  • 复现材料：论文提供了模型架构、损失函数和训练流程的高层描述，但缺少关键实现细节（如完整的超参数配置、数据采样率、模型融合的具体配方），因此不具备可复现性。
  • 论文中引用的开源项目：论文引用了CLIP, ALIGN, SigLIP 2, CoCa, BERT, RoBERTa, BGE, E5, Gecko, NV-Embed, Gemini Embedding, SAIL-Embedding, Amazon Nova MME, MoCa, MM-Embed等项目作为相关工作，但未在文中提供这些项目的具体GitHub链接。

15. HOME-KGQA: A Benchmark Dataset for Multimodal Knowledge Graph Question Answering on Household Daily Activities

✅ 7.5/10 | 后50% | #知识图谱问答 | #Transformer | #知识图谱表示 #自然语言处理 | arxiv

👥 作者与机构

Shusaku Egami, Aoi Ohta, Tomoki Tsujimura, Masaki Asada, Tatsuya Ishigaki, Ken Fukuda, Masahiro Hamasaki, Hiroya Takamura National Institute of Advanced Industrial Science and Technology (AIST)

📌 核心摘要

本文提出了HOME-KGQA，一个基于家庭日常活动多模态知识图谱的问答基准数据集。该数据集旨在弥补现有KGQA基准在百科知识偏见、单一模态和缺乏细粒度时空数据方面的不足，以更好地服务于具身智能等真实世界场景。数据集构建基于VHAKG多模态知识图谱，通过马尔可夫链概率生成了包含超过1.5亿三元组的100天情景知识图谱。问题-SPARQL对通过模板与LLM结合生成，并利用检索增强生成方法进行改写。实验在i.i.d.和组合泛化两种设置下进行，评估了直接文本到SPARQL（零样本、少样本、微调）和基于交互智能体的KBQA两类方法。结果表明，HOME-KGQA对现有方法构成了比传统基准大得多的挑战，特别是在问题改写和组合泛化场景下，模型性能显著下降，突显了在真实日常活动场景中部署KGQA系统的困难。

🔗 开源详情

  • 代码：https://github.com/aistairc/home-kgqa （提供情景知识图谱构建、问题-SPARQL生成、问题改写脚本）
  • 模型权重：未提供直接下载链接。实验使用了gpt-4o-mini-2024-07-18（需通过OpenAI API访问）和Llama-3.1-8B-Instruct（Meta开源模型，权重可通过HuggingFace等获取，但论文未提供具体链接）。
  • 数据集：HOME-KGQA数据集。获取链接与代码仓库相同：https://github.com/aistairc/home-kgqa。论文未说明具体开源协议。
  • Demo：未提及在线演示链接。
  • 复现材料：论文公开了用于构建情景知识图谱、生成问题-SPARQL对以及进行问题改写的所有脚本代码。未单独提供训练配置文件或模型检查点的下载链接。
  • 论文中引用的开源项目：
    1. VirtualHome：用于生成合成数据的模拟器。论文未提供链接，公开项目为 https://github.com/xnpeng/VirtualHome。
    2. VHAKG：多模态知识图谱构建研究（Egami et al., 2024）。论文未提供该项目的具体链接。
    3. Interactive-KBQA：交互式知识图谱问答方法（Xiong et al., 2024）。论文未提供该项目的具体链接。
    4. OpenAI API (gpt-4o-mini)：用于问题生成和实验的模型服务。论文未提供项目链接。

16. Building Community-Centred NLP Resources for Puno Quechua

✅ 7.2/10 | 前50% | #语音识别 | #自监督学习 | #低资源 #参与式设计 | arxiv

👥 作者与机构

  • Elwin Huaman (剑桥大学)
  • Adrian Gamarra Lafuente (斯坦福大学)
  • Johanna Cordova (法国国立东方语言文化学院 ERTIM)
  • Anna Korhonen (剑桥大学)

💡 毒舌点评

一篇扎实、具有重要社会影响力的基础设施建设工作。贡献明确，数据集和开源生态是其最大亮点。然而，论文在技术深度和实验分析的严谨性上存在明显短板，例如测试集划分策略不明、银数据质量分析缺失、以及未在大型基线模型上进行微调对比，这些缺陷削弱了其作为顶级会议论文的技术说服力。论文更像是一份优秀的社区资源报告，而非一篇方法论驱动的技术论文。

📌 核心摘要

本文旨在为秘鲁普诺地区的克丘亚语变体（qxp）构建社区驱动的数字资源。主要贡献包括：1) 构建了针对单一克丘亚语变体迄今最大的语音语料库（66小时，含36小时人工验证数据），通过四阶段参与式设计收集；2) 建立了首个针对该变体的系统性ASR基准，评估了Whisper-base, wav2vec2-base, XLS-R-300M等模型在微调（含/不含持续预训练CPT）后的表现，并与大规模多语言模型（omniASR, MMS）进行对比；3) 完全开源所有数据集、代码和模型。关键发现表明：银数据（自动转写）对自发语音识别性能的提升起决定性作用（相对WER降低达77%）；持续预训练（CPT）对脚本语音有稳定增益；所有微调模型在域外（OOD）泛化能力上存在明显差距，而超大基线模型表现更优。

🔗 开源详情

  • 数据集：在Mozilla Data Collective上发布，包含：
    • Common Voice Scripted Speech v25：34.81小时（30.5小时验证）
    • Common Voice Spontaneous Speech v3：35.3小时（5.18小时验证 + 30小时银数据）
    • 一个小型域外（OOD）语料库（Add_data，约16分钟）
    • 许可证：CC0-1.0
  • 代码：提供明确的GitHub仓库链接：https://github.com/QuechuaBase/asr-puno-quechua
  • 模型权重：所有微调模型（包括Whisper-base、wav2vec2-base、XLS-R-300M及其CPT变体，在V和V+S配置下）均开源。提供Hugging Face组织主页链接：https://huggingface.co/QuechuaBase
  • Demo：论文中未提及专门的在线演示（Demo）地址。
  • 复现材料：论文提供了详细的复现信息，包括：
    • 数据划分：70/25/5（训练/开发/测试）。
    • 训练配置：超参数（学习率、更新步数、调度器等）和不同数据集配置（V, V+S）细节。
    • 硬件环境：所有实验在单块48GB L40S GPU上完成。
    • 评估结果：完整的WER和CER结果表格（表2和表3）。
    • 未提及单独的“复现材料”代码仓库或文档包。

17. Utilizing Missed Detections in Directional Sensitivity-Based DOA Estimation

✅ 7.1/10 | 前50% | #语音识别 | #最大似然估计 | #粒子滤波 #概率图模型 | arxiv

👥 作者与机构

论文作者为 Gustav Zetterqvist, Fredrik Gustafsson, Gustaf Hendeby，隶属于瑞典林雪平大学电气工程系。

💡 毒舌点评

本文想法直接且有趣——将“漏检”这种通常被丢弃的“阴性结果”信息显式地建模进DOA估计的概率框架中，这个思路本身是清晰且有价值的。但通篇读下来，感觉更像一个扎实的工程方法改进，而非具有突破性理论贡献的顶级工作。创新点清晰但有限，强假设（无虚警、高斯噪声、已知检测概率）在现实复杂环境中能打几折是存疑的。实验部分，虽然包含了仿真和真实BLE实验，但对比基线过于简单（仅与忽略漏检的NLS比较），没有与文献中其他可能更先进的RSSI DOA方法（如Dir-MUSIC或某些机器学习方法）进行对比，这使得对方法优越性的论证不够强。论文写作清晰，但开源信息的完全缺失在2025年的今天显得有些保守，严重影响了可复现性和社区贡献度。对于专注于语音/音乐/音频信号处理的读者而言，这篇工作的方法论（概率建模、似然函数构建）有借鉴价值，但其应用场景（无线信标定位）与核心音频处理任务相去甚远，因此直接影响力有限。

📌 核心摘要

本文针对基于接收信号强度（RSSI）的波达方向（DOA）估计问题，提出了一种能够显式利用传感器“漏检”（即信号低于检测阈值未被上报）信息的概率估计框架。传统方法通常忽略漏检信息，仅利用检测到的信号进行估计。本文将每个传感器的测量结果建模为两种互斥事件：检测事件（观测值服从阈值截断的正态分布）和漏检事件（其概率为1减去检测概率）。通过联合构建包含所有传感器（无论检测与否）的似然函数，并推导其负对数似然作为优化目标，实现了最大似然（ML）估计。该方法被具体应用于使用傅里叶级数建模方向性天线增益模式的RSSI DOA估计。仿真和基于低功耗蓝牙（BLE）定向天线阵列的真实实验表明，在低信号强度（高漏检率）场景下，所提方法相比仅使用检测信号的基线方法，能够显著提升DOA估计精度。

🔗 开源详情

  • 代码：论文中未提及代码链接
  • 模型权重：论文中未提及
  • 数据集：论文中未提及数据集链接或名称（论文详细描述了实验中使用的数据采集方法与设置，但未提供公开的数据集或下载链接）
  • Demo：论文中未提及
  • 复现材料：论文中未提及（论文详细描述了仿真实验与真实实验的配置，包括传感器数量、阵列配置、噪声参数、优化方法（网格搜索）、以及粒子滤波器设置等，但未提供可直接下载的配置文件或检查点）
  • 论文中引用的开源项目：未提及

18. Diffusion Large Language Models for Visual Speech Recognition

✅ 7.0/10 | 前25% | #语音识别 | #预训练模型 | #序列到序列 #参数高效微调 | arxiv

👥 作者与机构

作者：Jeong Hun Yeo, Chae Won Kim, Hyeongseop Rha, Yong Man Ro†（†通讯作者） 机构：韩国科学技术院（KAIST）集成视觉语言实验室（Integrated Vision Language Lab）

💡 毒舌点评

本文是一篇“站在巨人肩膀上”的应用型工作。其核心想法——将扩散大语言模型（DLLM）引入视觉语音识别（VSR）以解决自回归解码的局限——是直接且合理的。实验结果（19.5% WER）也确实刷新了LRS3-only设置下的SOTA，证明了该范式在此任务上的有效性。然而，审稿人必须指出：1) 创新性深度有限，主要贡献是将现有DLLM解码策略（置信度解掩码）和训练技巧（两阶段训练）应用到VSR领域，而非提出全新的模型架构或理论；2) 实验的严谨性和全面性存在明显短板，消融实验严重不足，跨数据集验证薄弱；3) 部分关键实现细节（如阈值、训练超参数）缺失，影响了可复现性。总体而言，这是一篇扎实的系统工程工作，但在作为一篇NeurIPS/ICML/ICLR级别的论文时，其理论创新和实验的完备性还有提升空间。

📌 核心摘要

本文针对视觉语音识别（VSR）中自回归解码器因固定从左到右生成顺序而无法有效处理视觉模糊性的局限，提出了首个基于扩散大语言模型（DLLM）的VSR框架（DLLM-VSR）。该方法将转录过程建模为在固定长度画布上的迭代掩码去噪，允许灵活顺序解码。核心设计包括：1) 基于置信度的解掩码策略，优先解码并固定高置信度token，将其作为双向上下文来指导模糊位置的预测；2) 为适配VSR而设计的两阶段掩码去噪训练策略，第一阶段专注于文本内容对齐，第二阶段学习长度建模（填充padding token）；3) 一种长度引导的候选解码方法，利用视频时长预测多个可能的转录长度假设，并行解码后通过联合重排序选择最佳结果。在LRS3数据集上，DLLM-VSR仅使用其标注数据训练便达到了19.5%的词错误率（WER），建立了新的最优性能。

🔗 开源详情

19. LoSATok: Low-dimensional Semantic-Acoustic Tokenizer for Cross-Domain Audio Understanding and Generation

✅ 7.0/10 | 前50% | #语音合成 | #神经网络架构 | #音频生成 | arxiv

👥 作者与机构

第一作者 Zhisheng Zhang 及主要作者 Xiang Li 来自清华大学深圳国际研究生院，其中脚注说明Xiang Li的工作是在ModelBest Inc.实习期间完成的（Work conducted while interning at ModelBest.）。所有作者共同隶属于清华大学深圳国际研究生院和ModelBest Inc.。

💡 毒舌点评

  1. 论文解决的问题（如何统一音频理解与生成表示）是领域内热点，但核心创新（将高维语义表示压缩至128维）听起来有些“老生常谈”，尽管引入了时间关系损失。
  2. “低维”带来的优势（降低下游DiT模型负担）在理论上合理，但实验部分存在“选择性比较”：与DashengTokenizer对比时，仅展示其512维DiT（215M参数）表现不佳，而自己使用相同配置（208M参数）表现更好，这有点“田忌赛马”。为何不展示DashengTokenizer在更大参数（975M）配置下已经能获得较好甚至更优性能（例如TTS WER 3.652 vs. 3.030）的事实？
  3. 论文声称解决了“理解”与“生成”的统一，但从结果看，LoSATok在理解任务（59.30平均分）上远低于其语义基线（MiDashengLM 75.48）和DashengTokenizer（74.67），也低于Ming-UniAudio（63.27）。这到底是“统一”还是“在理解上妥协以换取生成的微小优势”？结论过于乐观。
  4. 消融实验（Table 5）表明去掉低维语义监督（w/o \(\mathcal{L}_{L}\)）后理解能力几乎崩塌（ESC从91.25降至47.25），这强烈暗示整个框架的成功极其依赖SemBo提供的“教师信号”。这更像是一个“知识蒸馏”应用，而非一个独立、稳健的表示学习方案。
  5. 重建质量（Table 4）明显落后于专精重建的模型（如UniFlow-Audio， SeedTTS-EN PESQ 3.833 vs. 3.051）。论文轻描淡写地解释为“有意的权衡”，但在音频领域，重建质量是生成质量的基石，这个牺牲可能被低估了。

📌 核心摘要

现有统一音频分词器将语义与声学信息编码在高维连续潜空间中，增加了下游扩散Transformer（DiT）的建模负担。本文提出LoSATok，一个用于跨域音频理解与生成的低维（128维）语义-声学分词器。首先，通过分析发现预训练高维语义表示（来自MiDashengLM，1280维）存在信息冗余。为此，提出了语义瓶颈（SemBo），通过一个可学习的压缩器-恢复器结构，将高维语义特征压缩到低维空间，并通过重建损失和一种新提出的时间关系损失（对齐高低维特征的时间相似度矩阵）进行监督。基于此低维语义信号，构建了LoSATok分词器，采用双层语义监督策略：使用高维语义表示提供全局监督，同时使用低维语义表示作为直接监督，引导声学编码器学习与语义信息对齐的低维统一表示。实验表明，LoSATok在XARES基准的15个理解任务上取得了有竞争力的平均分（59.30），优于HuBERT和WavLM等SSL模型，但低于高维语义表示。在下游DiT生成任务（TTS, TTM, TTA）上，LoSATok在相同或更小的DiT配置（如512维，208M参数）下，性能持续优于高维DashengTokenizer和纯声学UniFlow-Audio。论文承认其重建保真度不及专精声学分词器，这是为获得更优生成性能与更低维度所做的权衡。

🔗 开源详情

  • 代码：https://github.com/wxzyd123/LoSATok
  • 模型权重：论文中提及会发布用于不同KL损失权重设置的预训练权重，但未提供具体下载链接。
  • 数据集：
    • LoSATok训练数据：13.2K小时跨域数据集，包含语音（LibriSpeech, VCTK, Common Voice英文子集）、音乐（MTG-Jamendo, MUSDB）、通用音频（AudioSet）。论文列出了数据集名称但未提供逐一下载链接。
    • 生成任务评估与训练数据：语音（LibriTTS, SeedTTS）、音乐（LP-MusicCaps训练使用MTT子集，MusicCaps用于评估）、通用音频（WavCaps, AudioCaps）。
  • 复现材料：论文附录（表9，表10）提供了详细的训练配置、超参数设置和架构细节。
  • 依赖的开源项目：论文引用了CLAP（LAION-AI/CLAP）、NeMo toolkit（stt_en_conformer_transducer_xlarge）、Seed-TTS-Eval等作为评估工具，并给出了相关链接。也提到了Vocos、MiDashengLM、UniFlow-Audio、DashengTokenizer等作为组件或基线，但未直接提供所有项目的链接。

20. Affective Music Recommendation: A Rollout-Based World Model for Offline Preference Optimization

✅ 7.0/10 | 前50% | #音乐推荐 | #离线强化学习 | #世界模型 #多目标优化 | arxiv

👥 作者与机构

论文作者共7位，分属两家机构：

  • Audrey Chan (LUCID Inc., Toronto, Canada)
  • Aaron Labbé (LUCID Inc., Montréal, Canada)
  • Jacob Lavoie (Mila — Québec AI Institute, Montréal, Canada)
  • Jordan Bannister (Mila — Québec AI Institute, Montréal, Canada)
  • Arsène Fansi Tchango (Mila — Québec AI Institute, Montréal, Canada)
  • Guillaume Lajoie (Mila — Québec AI Institute, Montréal, Canada)
  • Laurent Charlin (Mila — Québec AI Institute, Montréal, Canada)

💡 毒舌点评

本文动机明确且具有重要的社会价值（为临床用户提供安全的情感音乐推荐），但作为一篇顶会论文，其技术贡献和实验验证显得过于“温和”与“内部”。世界模型的核心是标准的因果Transformer，其创新点更多在于将现有组件（行为克隆、DPO、世界模型）进行组合以解决一个特定应用问题，而非提出全新的模型架构或理论。最大的软肋在于“自指验证”：整个离线策略（DPO）是在世界模型上训练和评估的，而世界模型本身的预测能力（\(R^2\)约40%）只能说尚可，这导致所有下游结论（如DPO的增益）都建立在“如果世界模型是准确的，那么…”的假设之上，缺乏与真实世界交互的闭环验证。论文对此有明确讨论，但这确实削弱了其结论的强度。此外，完全不公开的代码、数据和模型权重，使得这项在伦理约束场景下的“早期部署验证”几乎无法被同行复现或扩展，其“验证”价值打了很大折扣。实验设计相对完整，但部分关键对比（如与Moodify）因对方未开源而缺失，且情感预测任务的基线（如MER基准）比较显得有些笼统。

📌 核心摘要

本文针对伦理约束下的功能性音乐推荐问题，提出了AMRS（情感音乐推荐系统）。该系统在LUCID平台的临床与消费者健康应用中部署，核心是一个基于因果Transformer的rollout世界模型，能够联合预测用户的行为反馈（参与度、评分）和会话级情感反馈（效价、唤醒度）。推荐策略通过行为克隆（Copycat）初始化，然后利用DPO在一个由世界模型构建的偏好数据集上进行离线微调，优化目标为纯情感效用（效价和唤醒度）。系统包含完整的离线训练、评估和部署前压力测试工作流。实验表明，在严格冷启动协议下，该世界模型能达到可用的预测保真度（最佳效价\(R^2\)为43.3%）；DPO策略相比Copycat基线显著提升了预测的情感目标，同时仅轻微降低了行为指标，并避免了贪心优化导致的分布崩溃。

🔗 开源详情

  • 代码：论文中未提及代码链接。
  • 模型权重：论文中未提及模型权重链接。
  • 数据集：论文中未提及公开数据集。使用的是来自LUCID平台的专有部署日志（包含临床和消费者健康应用），未提供公开获取链接。
  • Demo：论文中未提及。
  • 复现材料：论文中未提及提供训练配置、检查点、附录等复现材料包。虽然论文提供了详细的系统架构和评估方法，但未明确说明是否公开这些材料。
  • 论文中引用的开源项目：
    • MERT：引用了该自监督声学模型（Li et al., 2024），但未给出其具体代码或权重仓库链接。
    • CLaMP 3：引用了该多模态音乐语言模型（Wu et al., 2025），但未给出其具体代码或权重仓库链接。
    • DPO (Direct Preference Optimization)：引用了该方法（Rafailov et al., 2023），但未给出其具体实现仓库链接。
    • RecSim：引用了该推荐系统模拟框架（Ie et al., 2019），但未给出其具体链接。
    • KuaiSim：引用了该模拟系统（Zhao et al., 2023），但未给出其具体链接。
    • LUCID 平台主页：论文中提到了其运营公司的网站 https://www.lucidtherapeutics.com（脚注1），但这并非开源项目。
    • 其他引用（如 Ha and Schmidhuber, 2018; Su et al., 2024 等）均为学术论文引用，未指向具体开源项目链接。

21. VoiceGiraffe: A Benchmark for Extreme Long-Context Audio-Language Understanding

✅ 7.0/10 | 前25% | #音频问答 | #基准数据集 | #长上下文 #多语言 | arxiv

👥 作者与机构

论文第一作者为Jashin Ye，通讯作者为Dongxiao Wang。主要研究机构为阿里巴巴的Future Living Lab。论文中注明Jashin Ye与Dongxiao Wang贡献相等。

💡 毒舌点评

这是一篇扎实的“工作”论文，而非“方法”论文。它的主要贡献是填补了一个明确的空白——小时级自然音频理解的基准，这一点值得肯定。然而，其“严苛”评估的基石，即数据构建流水线，本身就深度依赖当前最强的闭源模型（Qwen3.5-Omni， Gemini）来生成字幕和构建QA，这构成了一种方法论上的循环依赖。用你所要评估的“裁判”来训练“题目”，这在某种程度上削弱了基准的独立性和公平性。论文声称是“首个”，但类似BLAB等工作的存在使得这一声明的绝对性需要商榷。此外，仅用准确率评估QA，对于评估“推理过程”和“错误性质”来说过于粗糙。总的来说，它是一个有用的工具，但其设计上的妥协（依赖闭源模型）和评估上的单一性限制了其作为“黄金标准”的价值。

📌 核心摘要

本文提出了VoiceGiraffe，首个面向小时级极端长上下文音频理解的双语问答基准。基准包含123个完整录音（总时长113.1小时），涵盖体育、电竞、影视剧、新闻、播客五大领域，并设计了从单跳感知到多跳推理的两层任务分类体系，共包含1500个高质量问答对。通过对9个开源和4个闭源模型的系统评估，论文揭示了当前大音频语言模型在该任务上的核心瓶颈：小时级理解极具挑战性，最优推理范式因模型而异，且长程记忆持久性是当前模型的显著弱点，表现模式与人类相反。基准测试远未饱和，亟需具备持久记忆机制的新型模型。

🔗 开源详情

  • 代码：论文中未提及开源数据处理或评估代码。

  • 模型权重：论文中未提及开源任何模型权重。

  • 数据集：论文中声明“我们将发布VoiceGiraffe基准以支持未来研究”，但未提供具体的下载链接、托管平台（如Hugging Face）或发布时间表。

  • Demo：论文中未提及Demo。

  • 复现材料：论文中未提供用于复现数据构建流水线（如提示词、API调用参数）或实验的详细配置。

  • 论文中引用的开源项目：pyannote VAD (Bredin et al., 2020) 用于音频分段。

  • 补充链接（自动提取）：

    • 代码仓库：https://github.com/OpenMOSS/MOSS-Audio

22. AgenticVBench: Can AI Agents Complete Real-World Post-Production Tasks?

✅ 7.0/10 | 前50% | #音视频 | #评估与基准 | #智能体 #基准测试 | arxiv

👥 作者与机构

作者：Zongheng Cao, Yi Zheng, Rui Song, Xinyu Hu 机构：Philo Labs Research (research@philolabs.ai)

💡 毒舌点评

这篇论文做了一个视频后期制作的AI智能体评测基准，这事儿挺有意思，因为之前的评测要么是问答，要么是写代码，没人认真搞过这种“从剪辑到成片”的全流程活儿。作者拉了20个行业专家来设计任务，看起来挺像那么回事。但是，顶会审稿人会一眼看穿：这本质上是一个工程驱动的评测集构建工作，而非方法创新。论文最大的价值在于“发现”和“定义”了当前AI智能体在视频制作领域的无能——最佳模型组合得分才31%，人类能到90%左右，这差距大得令人尴尬。然而，这种发现本身并不令人意外，更像是对现状的一次确认。论文在框架（harness）上的分析（如图4）是亮点，指出了“框架作为一等公民变量”这个被忽视的点。但分析深度有限，更多是现象描述而非机制挖掘。最大的槽点在于，作为一个评测基准，其可复现性和生态构建严重不足——没有公开的代码、模型权重、数据集包，只有一个官网链接。这在2025年的顶会是难以接受的。此外，对“过程智能”评估的缺失，使得这个基准更像一个“黑箱输出评分器”，而非理解AI行为的透镜。总结：一篇合格但不出彩的系统工作，适合作为行业参考，但离顶会追求的“深刻洞见”或“可复用框架”尚有距离。

📌 核心摘要

本文提出了AgenticVBench，一个用于评估AI智能体在真实世界视频后期制作工作流中能力的基准测试。该基准包含100个任务，涵盖组装（Assembly）、修复（Repair）、排序（Sequencing）和再利用（Repurpose）四个任务家族，任务由20位平均拥有6年专业经验的行业专家设计并提供评估标准。对7个前沿视觉语言模型（VLM）和5种工具框架（harness）的评估表明，当前最先进的智能体系统在这些复杂、长时程的多模态任务上表现远未达到人类专家水平，最佳智能体组合的平均得分仅为31%，而人类专家得分在81%-95%之间，存在43-65个百分点的差距。研究进一步揭示，智能体框架的设计对最终性能有显著影响，甚至能决定模型能力的发挥程度。

🔗 开源详情

  • 代码：论文中未提及 AgenticVBench 基准测试代码本身的具体仓库链接（如 GitHub）。论文仅提供了一个项目主页：https://agenticvbench.com。
  • 模型权重：论文中未提及。论文评估的模型（如 Claude Opus 4.7, GPT-5.5, Gemini 3.1 Pro, Qwen3-VL-235B-A22B-Instruct）均为商业模型或通过 API 访问的开源模型，未提供其权重文件的直接下载链接。
  • 数据集：论文中未提及独立的可下载数据集包链接。论文说明任务构建所用的源视频均来自公开渠道（例如：2025 Runway AI Film Festival 提交作品、电影、动画、新闻、YouTube 内容等），但未提供这些原始素材或处理后的基准测试数据的打包下载地址（如 HuggingFace 数据集页面）。论文声称在发布时提供源视频、任务提示和评估脚本，但未指明具体托管位置。
  • Demo：论文中未提及在线演示链接。仅提供了项目主页：https://agenticvbench.com。
  • 复现材料：论文中未提及单独的复现材料包（如检查点、配置文件）。论文在附录中详细描述了实验设置（模型、硬件、工具链版本、评估配置等），但未提供复现所需的代码和数据。
  • 论文中引用的开源项目：
    • OpenClaw：论文中评估的开源 harness，未给出具体 URL。
    • OpenCode：论文中评估的开源 harness，未给出具体 URL。
    • Claude Code CLI：Anthropic 提供的原生 CLI 工具，未给出具体 URL。
    • Codex CLI：OpenAI 提供的原生 CLI 工具，未给出具体 URL。
    • Gemini CLI：Google 提供的原生 CLI 工具，未给出具体 URL。
    • ffmpeg/ffprobe：用于视频/音频处理的知名开源工具，官网链接：https://ffmpeg.org/。
    • Whisper：OpenAI 开源的语音识别模型，GitHub 链接：https://github.com/openai/whisper。
    • gTTS (Google Text-to-Speech)：Python 文本转语音库，PyPI 链接：https://pypi.org/project/gTTS/。
    • Nano Banana Pro：用于生成干扰项的图像生成模型，论文中未给出具体链接。
    • Seedance 2.0：用于生成干扰项的视频生成模型，论文中未给出具体链接。

23. Do Audio LLMs Listen or Read? Analyzing and Mitigating Paralinguistic Failures with VoxParadox

✅ 6.8/10 | 前50% | #语音情感识别 | #多模态模型 | #语音识别 #对抗学习 | arxiv

👥 作者与机构

  • 作者：Jiacheng Pang (南加州大学 USC)，Ashutosh Chaubey (MIT)，Mohammad Soleymani (南加州大学 USC)
  • 机构：信息科学研究所 (USC)，计算机科学与人工智能实验室 (CSAIL, MIT)

💡 毒舌点评

  1. 合成数据的“温室花朵”效应：VoxParadox 基准虽然精巧，但完全依赖 TTS 合成数据。论文声称其设计“由构造保证”，但这恰恰是它最大的软肋。模型在这个精心控制的对抗性环境中取得的任何提升，在面对真实世界中充满噪声、歧义、文化背景和微小语气变化的“言不由衷”时，可能都只是镜花水月。生态效度（ecological validity）的短板，使得方法的实用价值大打折扣。
  2. “灵丹妙药”式的改进声明：论文将 PCLM+DPO 描述为解决瓶颈的有效方案，但证据链并不完整。在一个模型（Audio Flamingo 3）上取得巨大成功，远不足以证明该方案的普适性。论文未报告其他被评估模型（如 SALMONN, Qwen-Audio 等）的改进情况，这使得方法的“通用性”声明显得仓促。是方法真的巧妙，还是仅仅在 Audio Flamingo 3 的特定架构上“过拟合”了？
  3. “黑箱”模块缺乏透视：PCLM 被描述为“自适应地组合多层信息”，但其内部机制如同黑箱。论文没有提供任何可视化或定量分析，展示在不同任务或输入下，模型究竟如何、以及为何选择了特定的音频层组合。这种“Prompt-Conditioned”的承诺，在缺乏可解释性分析的情况下，说服力有限。
  4. 消融研究的缺失：将 PCLM 和 DPO 打包提出，却没有进行充分的消融实验，这是方法论上的重大遗漏。我们不知道性能提升有多少归功于表征质量的改善（PCLM），有多少归功于偏好引导（DPO），两者的协同效应究竟如何。这使得方法的贡献难以被准确归因和理解。
  5. 实验对比的模糊性：虽然声称评估了“多种”Audio LLMs，但 Table 1 的细节在提供的文本中不完整。审稿人需要清晰地看到所有基线模型在所有任务上的具体数字，以判断 VoxParadox 是否真的暴露了模型的共性问题，以及所提方法是否在所有情况下都有效。泛泛的“显著提升”结论，缺乏足够的数据支撑。

📌 核心摘要

本文针对 Audio LLMs 在副语言信息理解上的不足（过度依赖文本转录而非声学线索），提出了系统性的分析、评估与改进方案。首先，设计了对抗性基准 VoxParadox（2000 样本，10 类任务），通过控制语音合成制造转录与声学风格的矛盾，以量化模型的模态偏见。实验表明，模型普遍在声学真值上准确率低（AccGT），却对文本暗示的错误标签高度一致（ALA）。其次，通过层级探测（layer-wise probing）分析瓶颈，发现副语言信息在编码器深层及编码器-LLM 接口处可能退化，且即使信息存在于音频 token 中，LLM 也常忽略。为解决此问题，提出 Prompt-Conditioned Layer Mixer（PCLM）以自适应融合多层音频表征，并结合 Direct Preference Optimization（DPO）训练模型偏好声学证据。在 Audio Flamingo 3 上，该方法将 VoxParadox 准确率从 17.40% 提升至 65.20%，MMSU 副语言子集从 37.74% 提升至 54.78%。

🔗 开源详情

  • 代码：论文中提到了项目主页（https://voxparadox.github.io/），但 未明确说明代码是否开源。
  • 模型权重：未提及。
  • 数据集：VoxParadox，论文声明包含 2000 个样本，可通过项目主页了解详情或获取。未明确许可协议。
  • Demo：未提及。
  • 复现材料：未提及。
  • 论文中引用的开源项目：
    • GPT-4o (openai2024gpt4ocard)
    • Whisper large-v3 (radford2023whisper)
    • SpeechBrain Wav2Vec2-based SER model (speechbrain_v1)
    • ElevenLabs (elevenlabs2024) (TTS 服务)
    • Microsoft Azure (azure_speech) (TTS 服务)
    • OpenAI GPT-4o TTS (openai_gpt4o_tts_2024) (TTS 服务)

24. A Conflict-Aware Penalty and Statistical Loss Framework for Balancing Modalities and Enhancing Stability in Multimodal Sentiment Analysis

✅ 6.8/10 | 前50% | #情感分析 | #梯度调制 | #正则化与归一化 #模型训练 | arxiv

👥 作者与机构

Dai, Liang, Mai (三位作者，具体全名未在提供的原文片段中列出)。机构：华南师范大学计算机科学学院。

💡 毒舌点评

这篇论文试图解决多模态学习中一个真实且重要的问题——模态不平衡与训练不稳定。作者提出的冲突感知惩罚（CP）动机清晰，直击现有梯度调制方法（如OGM）仅依赖性能比率、无法处理梯度范数冲突的痛点。将统计损失（SL）作为正则化器并与CP结合，思路也合理。消融实验（Table 2）是本文的亮点之一，通过详尽的组合对比（A0-A6， B1-B5， C1-C5），清晰地展示了各组件的作用与相互依赖，尤其是CP防止SL崩溃的协同效应（A5 vs. A6），论证有力。然而，论文的弱点也十分明显：1）创新性有限：核心方法本质上是对现有梯度调制（GM）框架的补充性改进（加入冲突检测与惩罚项），且AME、GE、门控融合等均为已有技术，框架整合性质较强。2）理论深度不足：对“梯度范数冲突”的形式化定义较为简单（公式6），缺乏更深入的理论分析来解释为何这种冲突会导致性能崩溃，以及CP为何能有效缓解。3）实验局限：虽然声称SOTA，但在CMU-MOSEI上，其Acc-2和F1与UniMSE、ITHP差距极小甚至落后（如Acc-2: 87.32% vs. UniMSE 85.9%? 此处原文表格数据需核实），优势主要体现在Corr指标上，通用性和鲁棒性有待更大规模数据集验证。4）开源缺失：声称将发布代码但未提供，严重削弱了可复现性承诺的价值。

📌 核心摘要

该论文研究多模态情感分析（MSA）中的模态不平衡与训练不稳定问题。针对文本模态主导优化导致的“梯度范数冲突”（即预测误差小的模态可能仍施加过大的梯度范数），以及分布正则化（统计损失）与梯度调制耦合导致的性能崩溃，提出了一个统一框架。核心创新包括：1）冲突感知惩罚（CP），在训练中显式检测并惩罚发生梯度范数冲突的模态；2）统计损失（SL），通过对齐编码器输出的分布统计量（均值、方差）与输入经验统计量进行正则化。CP通过平衡梯度压力，既直接解决了梯度范数冲突，又防止了主导模态干扰SL目标，实现了协同稳定的训练。框架还整合了自适应模态编码（AME）、门控跨模态融合和单模态辅助头等组件。实验在CMU-MOSI上取得所有指标的最优结果（如Acc-2: 89.31%， MAE: 0.638），在CMU-MOSEI上获得最高的皮尔逊相关系数（0.820）。消融研究验证了各组件，特别是CP与SL协同的有效性。

🔗 开源详情

  • 代码：论文中承诺“Code and hyperparameter configurations will be released upon publication”，但未提供具体的代码仓库链接。因此，目前代码不可用。
  • 模型权重：论文中未提及发布预训练模型权重。
  • 数据集：论文使用了CMU-MOSI和CMU-MOSEI公开数据集，并引用了原始论文。未提供数据集的直接下载链接，但这两个数据集在社区内广泛可获取。
  • Demo：论文中未提及。
  • 复现材料：论文未提供可下载的检查点、配置文件或脚本。复现依赖于论文中描述的实验设置细节。

25. I Hear, Therefore I Trust: A Socio-Technical Investigation of Humans as Synthetic Speech Detectors

✅ 6.5/10 | 前50% | #语音欺骗检测 | #评估与统计 | #语音合成 #社会技术系统 | arxiv

👥 作者与机构

论文作者为 Lelia Erscoi 和 Tomi Kinnunen，隶属于芬兰东芬兰大学计算语音组。

💡 毒舌点评

这篇论文试图将合成语音检测从纯粹的技术挑战扩展到社会技术语境，想法值得肯定。然而，它读起来更像一篇心理学或人机交互领域的实验报告，其“社会技术”框架下的核心实验操纵（三种信任线索）均未产生显著效果，这严重削弱了其理论贡献。实验设计本身存在根本性缺陷：在一个明确告知用户“检测合成语音”的任务中，探讨“信任”如何影响判断，无异于在一场明确的反恐演习中研究路人对可疑包裹的自然反应——其生态效度值得怀疑。方法上，47人的样本量、20个刺激、单一TTS模型生成策略，很难支撑其宣称的“生态效度较高”的结论。论文最大的价值在于实证了普通人在受控条件下对当前高质量合成语音的检测能力低下，但这几乎是一个已知事实（文献综述已大量引用），而其试图探索的“社会技术”维度并未提供新的洞见。开源信息几乎为零，复现性很差。

📌 核心摘要

本研究是一项关于人类检测合成语音能力的实证研究，属于感知心理学与人机交互的交叉领域。论文将合成语音检测置于一个“社会技术信任”框架下，提出环境上下文（如指令框架、情感启动、来源标注）是影响人类判断的关键但被忽视的维度。研究采用在线实验（N=47），设计了一种“合成语音定位任务”：参与者在聆听混有真实、完全合成和部分合成语音的20段音频时，需标注出可疑片段。三种信任线索作为自变量进行操纵。主要发现包括：1）话语类型（真实/部分合成/完全合成）是检测准确性的决定性因素；2）三种信任线索对检测准确性均无显著主效应；3）参与者的主观质量评分能区分语音类型，但与客观检测行为脱节；4）参与者表现出系统性过度自信。结论指出，期望普通用户在复杂社会技术环境中独立、可靠地检测合成语音是不现实的。

🔗 开源详情

26. DEMON: Diffusion Engine for Musical Orchestrated Noise

✅ 6.0/10 | 前50% | #音乐生成 | #扩散模型 | #流式生成 #实时交互 | arxiv

👥 作者与机构

作者：Ryan Fosdick。机构：论文中未提及。

💡 毒舌点评

这篇论文更像是一份“实时音频扩散系统的工程实现报告”，而非一篇典型的机器学习研究论文。其核心贡献是构建了一个整合现有技术（ACE-Step, StreamDiffusion, TensorRT）的复杂管线，并对其控制参数的传播特性进行了细致的工程分析。论文的亮点在于对“参数传播延迟”这一实际部署问题的深入剖析和量化，这对于构建交互式系统至关重要。然而，其弱点也同样明显：缺乏任何形式的用户研究或正式的听觉感知评估。所有的“音乐性”、“控制性”和“质量”主张都建立在客观指标（CLAP, SNR, FAD）和延迟测量之上，这使得论文的核心价值——“将去噪过程变为可演奏的乐器”——显得根基不稳。作者在讨论中坦承了这一局限，但这恰恰是本文最大的软肋。它证明了系统“能跑”，但未能有力证明系统“好用”且“好玩”。对于一篇以“乐器”和“表演”为旗号的论文，这种缺失是致命的。此外，论文声称的创新点（如per-slot异构调度）在工程上很有意义，但作为学术贡献，其新颖性和普适性有待更强的论证。

📌 核心摘要

本文介绍了DEMON，一个基于扩散模型的实时音乐生成引擎，旨在将去噪过程转化为一个低延迟、高吞吐量的交互式音乐控制界面。其核心架构构建于ACE-Step 1.5音乐生成模型和StreamDiffusion的环形缓冲区流式框架之上，并集成了TensorRT混合精度加速与窗口化VAE解码。论文的主要技术贡献在于提出了一个关于控制参数在流式扩散管线中传播特性的四类分析框架（每请求、迁移调度、每步共享可变、模型权重），并设计了per-slot异构去噪调度与基于SDE的per-frame源混合控制，以在维持高吞吐量的同时，实现参数变化的快速响应。实验在单张RTX 5090上实现了每秒12.3次针对60秒音乐的解码完成（窗口化VAE解码带来8.0倍加速），并量化了不同控制路径的延迟特性。然而，论文的局限性在于其所有质量与交互性主张均缺乏正式的听觉测试或用户研究支撑，且控制局限于去噪动态参数，无法直接操纵音符、和弦等音乐内容。系统的价值主要体现在工程集成与对实时交互延迟的深入分析上，而非提出新的生成模型。

🔗 开源详情

  • 代码：论文中未提供代码链接。
  • 模型权重：论文中未提供模型权重链接。
  • 数据集：实验评估中使用了FMA-small数据集的一个500轨道子集（用于FAD计算），FMA-small是公开数据集：https://huggingface.co/datasets/marsyas/gtzan。
  • Demo：项目主页包含实验音频示例：https://daydreamlive.github.io/DEMON/#experiments。
  • 复现材料：论文提及有补充发布，包含一些逐tick的测量表格，但未提供具体的训练配置、检查点或独立的复现指南。相关补充材料链接同项目主页。
  • 论文中引用的开源项目：
    1. StreamDiffusion：https://github.com/StreamDiffusion/StreamDiffusion
    2. ACE-Step：https://github.com/ace-step/ACE-Step
    3. StreamV2V：https://github.com/FramePack-Video/StreamV2V
    4. DDSP：https://github.com/magenta/ddsp
    5. RAVE：https://github.com/acids-ircam/RAVE

27. Breaking the Script Barrier: Enabling Automatic Alignment for PoS-based ASR Error Analysis in Non-Latin Scripts

✅ 6.0/10 | 前50% | #语音识别 | #误差分析 | #自动语音识别 #多语言 | arxiv

👥 作者与机构

论文作者为 Prasenjit K Mudi 和 Dahlia Devapriya（并列第一作者），Sheetal Kalyani。机构未明确说明，但第一作者邮箱后缀显示 affiliation 可能与 Indian Institute of Technology Madras 有关。

💡 毒舌点评

这篇论文的工作像是在为ASR社区做一件必要的“脏活累活”。它指出了一个实际且具体的问题：现有的对齐工具（sclite）在非拉丁文字上表现糟糕，导致下游的语法分析（PoS）完全跑偏。作者提出的解决方案，一个字符宽度感知的改进型Needleman-Wunsch算法，虽然看起来不是什么惊天动地的理论创新，但确实是一个实用、针对性强的工程解决方案，并且通过多个例子和消融实验证明了其有效性。将PoS错误信息融入ASR训练的PoS感知Transformer也提供了一个直观的思路。然而，文章的局限性也相当明显。首先，它明确将自己框定在“分词书写系统”内，这极大地限制了其在ASR领域更广泛的应用（如中日泰）。其次，PoS权重的选择是“启发式”的，缺乏理论指导或更优的自动化方法。最后，文章在实验部分没有与任何近期或SOTA的对齐方法进行定量比较，仅仅是和sclite比，说服力打了折扣。总的来说，它是一篇扎实的、针对特定问题的“工具论文”，为后续研究提供了基础，但自身的理论深度和影响力受限。

📌 核心摘要

本文针对自动语音识别（ASR）评估中，现有对齐工具（如sclite）在非拉丁文字语言上对齐效果不佳的问题，提出了一种字符宽度感知的改进型Needleman-Wunsch对齐算法。该算法通过考虑字符的渲染宽度而非仅字符计数，并包含后处理步骤（合并连续的插入-删除对为替换），实现了对阿布吉达文字（泰米尔语、印地语、卡纳达语）、字母文字（俄语、希腊语、英语）和阿贾德文字（阿拉伯语）的鲁棒对齐。基于正确的对齐结果，论文利用多种PoS标注工具（spaCy， Stanza等）实现了自动化的词性级错误分析，揭示了不同文字系统下语言的错误模式差异。此外，论文提出了一种PoS感知的Transformer模型，通过在解码器交叉注意力机制中为不同PoS类别的词元分配不同权重，将PoS错误信息融入模型训练，最终在泰米尔语、阿拉伯语和俄语上降低了词错误率（WER）。该工作填补了非拉丁文字语言细粒度ASR错误自动分析的空白，为多语言ASR系统的开发和错误理解提供了实用的分析工具和改进思路。

🔗 开源详情

  • 代码：论文未提及提供对齐算法或PoS感知Transformer的代码。
  • 模型权重：论文未提及提供训练好的模型权重。
  • 数据集：
    1. SPRING_INX 数据集（泰米尔语、印地语、卡纳达语）：https://asr.iitm.ac.in/dataset （协议：CC BY 4.0）
    2. Mozilla Common Voice 数据集（俄语、希腊语、阿拉伯语）：通过 Mozilla 公共存储库获取（协议：CC0-1.0）
    3. LibriSpeech 测试集（英语）：标准公开数据集，论文未给出具体链接。
  • Demo：论文未提及。
  • 复现材料：论文未提供独立的训练脚本或检查点。复现细节包含在论文正文和附录中：
    • 训练配置与超参数：详见附录G，包括模型架构、优化器、学习率、批大小、SpecAugment设置等。
    • PoS权重表：附录G的表XX列出了泰米尔语、阿拉伯语和俄语的PoS特定权重。
    • 数据集划分：附录G的表XXI提供了各数据集训练/验证/测试集的语句数量。
  • 论文中引用的开源项目：
    1. spaCy：用于NLP，特别是PoS标注。链接：https://github.com/explosion/spaCy
    2. Stanza：斯坦福大学的神经NLP工具包。链接：https://github.com/stanfordnlp/stanza
    3. spaCy-stanza：集成spaCy和Stanza的包装器。链接：https://github.com/explosion/spacy-stanza
    4. AI4Bharat IndicBERTv2：用于卡纳达语的PoS标注模型。链接：https://huggingface.co/ai4bharat/IndicBERTv2-alpha-POS-tagging
    5. CAMeL Tools：用于阿拉伯语NLP的工具包。链接：https://github.com/CAMeL-Lab/camel_tools
    6. gr-nlp-toolkit：用于希腊语NLP的工具包。链接：https://github.com/nlpaueb/gr-nlp-toolkit
    7. Whisper：OpenAI的语音识别模型。论文使用了Whisper small模型的微调版本（希腊语）：https://huggingface.co/mozilla-ai/whisper-small-el。Whisper模型本身遵循Apache-2.0许可证。
    8. Aksharamukha：用于将印度语言音译为罗马字母的工具（脚注提及）。
    9. Lexilogos：用于将俄语、阿拉伯语等语言音译为罗马字母的工具（脚注提及）。
    10. sclite：NIST语音评分工具包的一部分，被用作对比基线。链接未在论文中明确提供，属于NIST SCTK工具包。

28. Robust Quantum-MUSIC for DoA Estimation Using Rydberg Atomic Receiver Arrays

📝 5.7/10 | 前50% | #音频信号处理 | #相位恢复 | #鲁棒估计 #稀疏信号恢复 | arxiv

👥 作者与机构

  • Sourav Banerjee: 印度理工学院德里分校应用电子研究中心（CARE），博士生。
  • Neel Kanth Kundu: 印度理工学院德里分校应用电子研究中心（CARE）及电信技术与管理学院，DST INSPIRE教员研究员（IFA22-ENG 344），同时是墨尔本大学荣誉研究员。
  • Prajwalita Borah: 印度理工学院德里分校应用电子研究中心（CARE），博士生。

📌 核心摘要

本文针对里德伯原子接收器阵列进行方向估计的量子MUSIC算法，提出了一种鲁棒性增强的框架（RobQMUSIC）。原始算法的信道恢复步骤依赖\(\ell_2\)范数最小化，对硬件故障、传感器饱和或对抗干扰引起的离群值测量极为敏感。为解决此问题，RobQMUSIC将\(\ell_2\)范数替换为对离群值更鲁棒的\(\ell_1\)范数。求解由此产生的非凸问题时，采用了交替最小化框架，并在每个外层迭代的幅度更新步骤中嵌入了迭代重加权最小二乘（IRLS）算法。IRLS通过迭代地根据当前残差大小调整测量值的权重，有效降低了离群值的影响。数值仿真实验证明，在理想条件下，RobQMUSIC的精度与原始算法相当；而在存在离群值的场景下，原始算法迅速失效，而RobQMUSIC能在高达70%的离群值比例下维持可靠的DoA估计性能。

🔗 开源详情

  • 代码：论文中未提及代码链接
  • 模型权重：论文中未提及
  • 数据集：论文中未提及
  • Demo：论文中未提及
  • 复现材料：论文中未提及
  • 论文中引用的开源项目：未提及

29. Benchmarking AI for low-resource contexts: Thinking beyond leaderboards

📝 5.1/10 | 后50% | #语音识别 | #评估与统计 | #语音合成 #语音增强 | arxiv

👥 作者与机构

Aakash Pant*, Kavya Shah*, Apoorv Agnihotri*, Sneha Nikam, Prasaanth Balraj, Nakul Jain. (* 表示同等贡献). 机构：Wadhwani AI Global. 日期：2026年5月.

💡 毒舌点评

这篇论文像一份写给捐赠机构和政策制定者的“高级产品说明书”。其核心诉求（别只看排行榜，要看实际部署）在AI领域确实是个老生常谈但至关重要的痛点，尤其是在医疗、农业等低资源场景。优点是逻辑清晰、目标明确，且贴心地附上了“基准卡”这种傻瓜式工具，试图弥合技术社区与非技术决策者之间的鸿沟。然而，它的弱点也异常明显：这是一份纯粹的“倡议书”或“愿景文档”。全文没有提出任何新颖的算法、模型或实验方法，而是对现有基准（FLEURS, HELM, ImageNet-C等）进行了一次梳理和重新包装。它的“创新”更多体现在视角和倡导上，而非技术贡献。对于寻求具体技术突破的读者（如NeurIPS/ICML的典型审稿人）来说，这可能显得“干货不足”。论文最大的硬伤是缺乏任何形式的实证验证：它提出的框架是否有效？基准卡在实际采购中是否真的能帮助决策？读者无从知晓。它更像是一个设计精良的提案，而非一篇完整的科研论文。

📌 核心摘要

本文是一篇系统性白皮书，旨在批判当前AI基准测试（以排行榜为代表）在评估面向低资源环境（如网络不稳、设备低端、多语言代码转换）部署的系统时的不足。作者指出，现有评估通常孤立地测试模型性能，而忽略了由数据捕获、预处理、工作流和运行条件构成的完整系统。论文提出了一种新的评估范式：1）将“部署系统”而非“孤立模型”作为评估的基本单元；2）采用三层评估框架（组件层、工作流层、运行条件层）分别报告性能；3）为语音、对话/RAG、视觉三类应用定义包含压力测试和核心指标的标准化“基准卡”。最终目标是提供一个对部署上下文敏感、可操作的标准化报告框架，以真正支持低资源环境下的AI系统选型与部署决策。

🔗 开源详情

  • 代码：论文中未提及任何新开发的代码或框架实现。
  • 模型权重：论文中未提及任何模型权重。
  • 数据集：论文未提供新数据集。文中提及了多个现有基准数据集用于说明，具体如下：
    • FLEURS: 用于多语言语音任务评估。链接：https://doi.org/10.1109/SLT54892.2023.10023141
    • Speech Robust Bench: 用于ASR鲁棒性评估。链接：https://openreview.net/forum?id=D0LuQNZfEl
    • HELM / HELM Instruct: 用于大语言模型综合评估。链接：https://crfm.stanford.edu/helm/ 和 https://crfm.stanford.edu/helm/instruct/latest/
    • RAGAs: 用于RAG管道评估。链接：https://doi.org/10.18653/v1/2024.eacl-demo.16
    • CRAG: 用于检索增强生成评估。链接：https://github.com/facebookresearch/CRAG
    • ImageNet-C / ImageNet-P: 用于图像鲁棒性（损坏和扰动）评估。链接：https://doi.org/10.48550/arXiv.1903.12261
    • WILDS: 用于野外分布偏移评估。链接：https://doi.org/10.48550/arXiv.2012.07421
    • COCO-C, PASCAL-C, Cityscapes-C: 用于目标检测/分割的鲁棒性评估，具体链接未在论文中提供，参考文献[14]。
    • 其他提及的本地多语言测试集、领域特定评估集等，均未提供统一获取链接。
  • Demo：论文中未提及。
  • 复现材料：论文中未提及。

30. Cross-modal characterization of infant cry: validation of a chest-surface accelerometer in extracting acoustic vocal function measures

📝 5.0/10 | 前50% | #语音特征提取 | #信号处理基础 | #评估与统计 #临床应用 | arxiv

👥 作者与机构

Winko W. An†， Saketh Sundar†， Lisa Yankowitz， Daryush D. Mehta， and Carol L. Wilkinson。 机构包括：波士顿儿童医院发育医学科（与哈佛医学院合作）；哈佛大学（S. Sundar）；费城儿童医院（L. Yankowitz）；哈佛医学院及马萨诸塞州总医院喉外科与语音康复中心（D. D. Mehta）。

💡 毒舌点评

这篇论文的核心工作是对一种现有传感技术（胸表加速度计）在特定新场景（婴儿哭声）下的工程验证。其“创新性”更偏向于应用验证而非方法革新，对于期望看到新颖模型或理论的顶会读者而言，可能略显单薄。论文最大的优势在于其清晰的实验设计和临床相关性，但受限于样本量（85人）和较为基础的分析框架，其结论的普遍性和深度有待进一步验证。代码和数据的缺失严重影响了研究的可复现性和社区贡献度，这在当前强调开源的学术环境中是一个显著短板。整体而言，这是一项扎实但影响范围有限的临床工程研究，适合发表于专业领域期刊而非追求广泛影响力的顶级机器学习会议。

📌 核心摘要

本研究旨在验证一种胸部表面加速度计（ACC）在提取婴儿哭声声学特征方面的有效性，以应对传统麦克风（MIC）在临床环境中面临的噪声和隐私挑战。研究在85名4个月和12个月大婴儿的疫苗接种过程中，同步采集了ACC和MIC信号。通过手动标注，提取了包括基频（F0）、抖动、微扰、倒谱峰突出度（CPP）和谐波噪声比（HNR）在内的七个声学特征。使用组内相关系数（ICC）评估一致性，结果显示：ACC与MIC在F0和抖动（特别是JCV）上表现出优秀至良好的绝对一致性和一致性；微扰指标（Shimmer）绝对一致性较差，但一致性尚可，且ACC值系统性偏低；CPP显示中等一致性，HNR显示中等一致性且ACC值系统性偏高。研究结论表明，胸表加速度计能可靠捕获婴儿哭声中与时间相关的声学特征（F0， 抖动），为噪声鲁棒、保护隐私的哭声临床分析提供了可行工具。

🔗 开源详情

  • 代码：论文中未提及代码链接。
  • 模型权重：论文中未提及模型权重。
  • 数据集：论文中未提及数据集的公开获取链接或开源协议。数据集（85名婴儿的MIC/ACC同步录音）属于受IRB协议保护的临床研究数据，未提供公开分享途径。
  • Demo：论文中未提及。
  • 复现材料：论文未提供训练配置、检查点等具体的复现材料链接。虽然详细描述了分析流程，但未提供可下载的处理脚本或配置文件。
  • 论文中引用的开源项目：
    • Praat：语音学分析软件，用于数据标注和特征提取。链接：https://www.fon.hum.uva.nl/praat/
    • Parselmouth：Praat的Python接口库，用于信号处理和特征提取。链接：https://github.com/YannickJadoul/Parselmouth
    • pingouin：统计学Python库，用于计算ICC。链接：https://pingouin-stats.org/
    • NumPy, SciPy, pandas：基础Python科学计算库，用于数据分析。链接分别为 https://numpy.org/, https://scipy.org/, https://pandas.pydata.org/
    • OpenAI’s DALL·E：用于生成论文图1(a)的示意图。论文中提及并声明了使用。链接：https://openai.com/dall-e-2