音频字幕生成

📄 一条声音，二十四种说法：SonicCaps 把听觉歧义变成检索的养分 英文题目：SonicCaps: Large-Scale Diverse and Fine-Grained Captioning for Improved Audio-Retrieval 一句话：针对音频描述过于粗糙且一对一配对难以反映听觉一对多歧义的问题，论文用音频加文本联合驱动的多粒度复述构建约 70 万音频约 1500 万描述的 SonicCaps 并在训练中按分布采样，使 AudioCaps 文本到音频 R@5 达到 79.5%，代价是依赖单一多模态大模型分辨率且质量与多样性度量仍显粗糙。 标签：#音频检索 | #对比学习 | #音频字幕生成 | #数据集 评分：7.2/10 | 创新 1.5/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5 👥 作者与机构 Zineb Lahrichi：Sony CTC, France LTCI, Telecom Paris, Institut polytechnique de Paris, France Marc Ferras：Sony CTC, France LTCI, Telecom Paris, Institut polytechnique de Paris, France Gaël Richard：Sony CTC, France LTCI, Telecom Paris, Institut polytechnique de Paris, France Geoffroy Peeters：Sony CTC, France LTCI, Telecom Paris, Institut polytechnique de Paris, France 💬 毒舌点评 把多样性做成了训练时可采样的监督分布而非装饰性统计，用大规模多粒度复述直接推高对比学习的泛化，这个切入点扎实。短板是质量与多样性的度量仍粗糙，主观实验仅25人375次评价且困惑度只刻画采样分布不刻画语义差异，让核心因果论证略显单薄。 ...

📄 长字幕为什么总在最后两层才说谎：用问答把数据、训练和推理锁在一起 英文题目：Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning 一句话：针对长段落音频字幕同时要求长片段、长文本与逐字转录保真的结构性缺口，论文用音频锚定问答统一检验数据、训练与推理三阶段，并以层间曲率抑制迟滞坍缩，在保持开源骨干不变的前提下把字幕的下游可用性推到接近闭源旗舰的水平。 标签：#音频字幕生成 #SFT #音频理解 #音频大模型 #数据集 评分：6.8/10 | 创新 1.6/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5 👥 作者与机构 Fengji Ma：The Hong Kong University of Science and Technology (Guangzhou) Yan Rong：The Hong Kong University of Science and Technology (Guangzhou) Xu Li：机构信息未在 arXiv HTML 中可靠披露 Chen Zhang：Kling Team, Kuaishou Technology Pengfei Wan：Kling Team, Kuaishou Technology Li Liu：机构信息未在 arXiv HTML 中可靠披露 💬 毒舌点评 亮点在于把音频锚定问答（audio-grounded question answering）这一单一验证原语贯穿数据、训练、推理三阶段，并用层间曲率捕捉迟滞坍缩这一可验证的幻觉信号，思路比单纯堆数据更干净。短板是核心数据管线完全依赖 Gemini 3.1 Pro 这一闭源黑盒自检，成本与可复现性存疑，且 Late-Layer Semantic-Entropy Collapse 的理论刻画仍停留在现象描述与二阶差分启发式层面，缺乏形式化假设与边界分析。 ...

📄 ACE-Cap: Active Evidence Acquisition via Agentic Co-Evolution for Long-Paragraph Fine-Grained Audio Captioning 标签：#音频字幕生成 #强化学习 #音频大模型 #后训练 7.5/10 | 创新 1.6/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 ✅ 7.5/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频字幕生成 | #强化学习 | #音频大模型 #后训练 | arxiv 👥 作者与机构 第一作者：Fengji Ma（Kling Team 实习，具体机构未说明） 通讯作者：Li Liu（具体机构未说明） 作者列表：Fengji Ma（Kling Team 实习）、Yan Rong（具体机构未说明）、Xu Li（Project Leader，具体机构未说明）、Xuenan Xu（具体机构未说明）、Chen Zhang（具体机构未说明）、Li Liu（通讯作者，具体机构未说明） 💡 毒舌点评 本文把音频字幕从"一次性写完"改造成一个会追问、会停止、会综合证据的 agent，LOOP-GRPO 的多轮信用分配思路确实比只看最终分数的 GRPO 更细腻。但整套评估高度依赖固定 Gold-MCQ 和冻结 judge，且当前没有代码、模型或数据开源，evidence preservation 是否能在自然长段落字幕中稳定泛化仍要打问号。 ...

📄 AudioMap: Cloze-and-Choice Reinforcement Learning for Time-Aware Dense Audio Captioning 标签：#音频字幕生成 #强化学习 #课程学习 #数据集 #模型评估 7.9/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.9/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频字幕生成 | #强化学习 | #课程学习 #数据集 | arxiv 👥 作者与机构 第一作者：Yan Rong（机构未说明；论文脚注标注 “Work done during an internship at Kling Team”，表明其在 Kling Team 实习期间完成部分工作，但无法据此确认其所属机构） 通讯作者：Li Liu（机构未说明；论文标注为通讯作者） 作者列表：Yan Rong、Fengji Ma、Xu Li、Jinting Wang、Chen Zhang、Li Liu（正文未给出作者所属机构的完整列表，无法确认各作者机构归属） 说明：论文正文未提供任何机构的完整名称或地址列表，仅脚注出现 Kling Team 字样，归属关系无法确认。 💡 毒舌点评 用 cloze-and-choice reward 把细粒度音频字幕评估拆成局部可核查的“考题”，并用 event-conditioned tIoU 把时间戳绑定到事件语义，确实比单一标量判分和 checklist 式匹配更精细、更能抗 shortcut。但全部奖励依赖 27B LLM examiner 做判卷（ESR 的填空作答和 ECTR 的区间提取均由 Qwen3.6-27B 完成），论文没有给出 examiner 自身判卷一致性与 prompt 敏感性验证；ESR 题目的干扰项质量也没有统计性检查。开源方面，正文只有 GitHub 发布页链接（https://github.com/ryysayhi/AudioMap），未明确说明代码、模型权重和 AudioMapCap-44K 数据集是否实际发布，这会让“可复现 SOTA”的成色打折扣。此外，基准指标 Omni-Cloze、MMSU/MMAR/MMAU、TACOS 全部依赖 LLM 判分，与训练奖励使用同类 examiner，存在评估偏好与训练奖励耦合的隐患。 ...

📄 AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward 标签：#音频字幕生成 #强化学习 #音视频理解 #基准测试 #数据集 8.4/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音频字幕生成 | #强化学习 | #音视频理解 #基准测试 | arxiv 👥 作者与机构 第一作者：Mingyang Wu（MMLab, CUHK） 通讯作者：原文标注Corresponding author，但未指明具体人物 作者列表：Mingyang Wu（MMLab, CUHK）、Kaituo Feng（MMLab, CUHK）、Bohao Li（MMLab, CUHK）、Kaixiong Gong（MMLab, CUHK）、Zihao Yin（Peking University）、Xiangyu Yue（MMLab, CUHK） 💡 毒舌点评 亮点在于打通了"数据标注—奖励设计—评测"三位一体的闭环：AVCap-100K提供高密度原子级标注，Da-GRPO将奖励细化为原子事实级QA验证，AVCap-Score用同一套探针逻辑做评测。训练与评估在同一粒度的原子事实上对齐，是领域内少见的完整工程实践。7B模型仅靠SFT数据就能在Video-SALMONN-2上从41.7降到36.8（低于此前开源SOTA AVoCaDO的37.3），说明数据质量确实有实质贡献。 ...

📄 REFRAMED: Towards Realistic Audio Description Generation for Movies 标签：#音频字幕生成 #多模态模型 #大语言模型 8.0/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 🔥 8.0/10 | 前25% | 文档类型：数据集与基准 | 评分置信度：中 | #音频字幕生成 | #多模态模型 | #大语言模型 | arxiv 👥 作者与机构 第一作者：Igor Sterner（爱丁堡大学信息学院） 通讯作者：未说明（论文未明确标注通讯作者） 作者列表：Igor Sterner（爱丁堡大学信息学院）、Mirella Lapata（爱丁堡大学信息学院）、Alex Lascarides（爱丁堡大学信息学院）、Frank Keller（爱丁堡大学信息学院） 发表信息：COLM 2026 会议论文 💡 毒舌点评 一个真正把"何时描述"和"描述什么"统一进任务定义的 AD 数据集/基准工作，数据构建的验证密度很高，摆脱了以往"clip-level captioning"的简化设定。短板也很明显：挑战集只有 10 部电影、LLM 在 full-movie 输入下生成质量远低于人类，且评估指标仍依赖 METEOR/CIDEr 这类早期 n-gram 度量，对新任务的表征力可能有限。 ...

📄 MMAC: A Massive Multi-dimensional Benchmark for Audio Captioning 标签：#音频字幕生成 #Transformer #模型评估 #音频理解 6.3/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.1/1.5 ✅ 6.3/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：中 | #音频字幕生成 | #Transformer | #模型评估 #音频理解 | arxiv 👥 作者与机构 第一作者：Weijie Wu（未说明） 通讯作者：未说明 作者列表：Weijie Wu（未说明）、Junbo Li（未说明）、Lin Li（未说明）、Jun Fang（未说明）、Qingyang Hong（未说明） 💡 毒舌点评 亮点：将音频描述评估从整体相似度解耦为“覆盖”与“正确”两个正交维度，直击当前AudioLLM评估中“分数低不知错在哪”的痛点。15个维度和5638样本的规模确实配得上“Massive”一词，为诊断模型的具体能力短板提供了亟需的工具。短板：整个评估框架的生态位本质上是一个更复杂的LLM-as-Judge系统，依赖合成数据和仅10%的人工校准，J-judge自身的偏差、合成音频的分布偏移，以及标注管线的模型依赖尚未被充分验证，其诊断结论的可信度上限因此存疑。 📌 核心摘要 本文要解决音频字幕生成评估中缺乏细粒度诊断能力的问题：现有指标（BLEU、CIDEr）只给出整体相似度分数，无法区分模型是遗漏了信息、还是描述了错误信息。MMAC基准将详细音频描述分解为内容、背景、说话人属性、副语言特征、动态变化、隐含意义6大类别下的15个评估维度。与以往自动评测不同，MMAC不要求模型描述覆盖所有维度，而是为每个测试子集指定的目标维度独立统计Coverage（信息覆盖率）、Precision（提及信息的正确率）和Accuracy（整体正确率，遗漏信息计0分）。该基准从20多个数据源收集并通过TTS补全稀缺维度，构建了包含5638个音频样本的测试集。论文在MMAC上评估了8款代表性AudioLLM，结果显示Gemini 2.5 Pro的Accuracy和Precision最高（46.85%/59.39%），Qwen3-Omni-Captioner的Coverage最高（84.15%），揭示了模型在覆盖度和可靠性之间的权衡。实际意义在于为Audio Captioning模型提供了一个维度级的强诊断工具，可指引模型迭代方向。主要局限是评估本身依赖LLM judge，人工评估中使用的预标注可能引入锚定偏差，且合成数据（TTS）与真实音频存在分布差异。 ...

📄 AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning 标签：#多模态模型 #音视频理解 #音频字幕生成 #强化学习 #音频理解 9.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 🔥 9.2/10 | 前10% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音频字幕生成 #强化学习 | arxiv 👥 作者与机构 第一作者：Yanghai Wang（南京大学 NJU-LINK 团队） 通讯作者：Zhaoxiang Zhang（中国科学院自动化研究所） 作者列表：Yanghai Wang（南京大学 NJU-LINK 团队）、Jiahao Wang（南京大学 NJU-LINK 团队）、Jiafu Tang（南京大学 NJU-LINK 团队）、Yuanxing Zhang（快手 Kling 团队）、Zhe Cao（南京大学 NJU-LINK 团队）、Hanyan Bian（南京大学 NJU-LINK 团队）、Zijie Zhang（南京大学 NJU-LINK 团队）、Weiliang Luo（南京大学 NJU-LINK 团队）、Zhiyu Pan（南京大学 NJU-LINK 团队）、Zixuan Dong（南京大学 NJU-LINK 团队）、Jiaheng Liu（南京大学 NJU-LINK 团队）、Zhaoxiang Zhang（中国科学院自动化研究所） 💡 毒舌点评 论文对全模态视频描述中“模态隔离”和“语音中心偏见”两大顽疾的诊断一针见血，并提出了从数据构造、训练优化到评测基准的完整工程化解决方案，工程落地能力很强，展现了优秀的系统思维。然而，其数据生成管线和评估协议对 Gemini、GPT-5 等闭源强大模型的严重依赖，构成了方法独立性和可复现性的重大隐患。评测基准（1,226个视频）的规模虽经人工标注，但其作为通用标准的权威性仍显不足，且评测过程自身又引入闭源LLM作为裁判，可能形成“AI评估AI”的循环，其结论的客观性和普适性有待更广泛的检验。 ...

📄 Live Gurbani Tracking: A Benchmark and Reference System for Captioning Sikh Kirtan 标签：#音频字幕生成 #低资源 #音频理解 #Transformer #模型评估 7.4/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 ✅ 7.4/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频字幕生成 | #Transformer | #低资源 #音频理解 | arxiv 👥 作者与机构 第一作者：Karanbir Singh 通讯作者：未说明 作者列表：Karanbir Singh 💡 毒舌点评 论文为一个小众但严肃的宗教文化需求提供了一个定义严谨、工程扎实的解决方案，将“输出必须为精确规范文本”这一硬约束优雅地融入任务定义、指标设计和系统架构中。然而，其最核心的贡献——一个可靠的基准（benchmark）——在评估规模上存在根本性缺陷：仅基于4个录音（12个评估案例）的基准，无法提供有统计意义的评估结果，使得所有报告的性能数字（如57.9%）都带有极高的偶然性。这项工作更接近一个高质量、可部署的技术验证（proof-of-concept）或一个参考系统（reference system），但作为向社区提供的“基准”（benchmark），其设计是准备充分的，而其数据规模是远远不足的。 ...

📄 CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning #音频字幕生成 #知识蒸馏 #LoRA #音频理解 #参数高效微调 6.3/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | #音频字幕生成 | #知识蒸馏 | #LoRA #音频理解 | arxiv 👥 作者与机构 第一作者：Ganesh Pavan Kartikeya Bharadwaj Kolluri（University of Kent, UK） 通讯作者：未明确标注 作者列表：Ganesh Pavan Kartikeya Bharadwaj Kolluri（University of Kent）、Yuchen Zhang（University of Kent; Queen Mary University of London）、Michael Kampouridis（University of Kent）、Ravi Shekhar（University of Kent; Queen Mary University of London） 💡 毒舌点评 这篇论文提出了一个有趣且直觉合理的洞察：在蒸馏编码器知识到无编码器模型时，将低层感知表征给投影器、高层语义表征给语言模型，这种"按需分配"的策略确实有效。然而，尽管消融实验干净地证明了蒸馏位置的重要性，模型在AudioCaps上与保留编码器的基线仍有11个CIDEr-D点的巨大鸿沟，无编码器方法的实用化依然道阻且长，且全文未提及代码和模型的开源承诺，让"摆脱编码器"这个卖点在复现面前变得脆弱。 ...