音频字幕生成

📄 AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning 标签：#多模态模型 #音视频理解 #音频字幕生成 #强化学习 #音频理解 9.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.5/1.5 🔥 9.2/10 | 前10% | 文档类型：方法研究 | 评分置信度：高 | #音视频理解 | #多模态模型 | #音频字幕生成 #强化学习 | arxiv 👥 作者与机构 第一作者：Yanghai Wang（南京大学 NJU-LINK 团队） 通讯作者：Zhaoxiang Zhang（中国科学院自动化研究所） 作者列表：Yanghai Wang（南京大学 NJU-LINK 团队）、Jiahao Wang（南京大学 NJU-LINK 团队）、Jiafu Tang（南京大学 NJU-LINK 团队）、Yuanxing Zhang（快手 Kling 团队）、Zhe Cao（南京大学 NJU-LINK 团队）、Hanyan Bian（南京大学 NJU-LINK 团队）、Zijie Zhang（南京大学 NJU-LINK 团队）、Weiliang Luo（南京大学 NJU-LINK 团队）、Zhiyu Pan（南京大学 NJU-LINK 团队）、Zixuan Dong（南京大学 NJU-LINK 团队）、Jiaheng Liu（南京大学 NJU-LINK 团队）、Zhaoxiang Zhang（中国科学院自动化研究所） 💡 毒舌点评 论文对全模态视频描述中“模态隔离”和“语音中心偏见”两大顽疾的诊断一针见血，并提出了从数据构造、训练优化到评测基准的完整工程化解决方案，工程落地能力很强，展现了优秀的系统思维。然而，其数据生成管线和评估协议对 Gemini、GPT-5 等闭源强大模型的严重依赖，构成了方法独立性和可复现性的重大隐患。评测基准（1,226个视频）的规模虽经人工标注，但其作为通用标准的权威性仍显不足，且评测过程自身又引入闭源LLM作为裁判，可能形成“AI评估AI”的循环，其结论的客观性和普适性有待更广泛的检验。 ...

📄 Live Gurbani Tracking: A Benchmark and Reference System for Captioning Sikh Kirtan 标签：#音频字幕生成 #低资源 #音频理解 #Transformer #模型评估 7.4/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.5/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 ✅ 7.4/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音频字幕生成 | #Transformer | #低资源 #音频理解 | arxiv 👥 作者与机构 第一作者：Karanbir Singh 通讯作者：未说明 作者列表：Karanbir Singh 💡 毒舌点评 论文为一个小众但严肃的宗教文化需求提供了一个定义严谨、工程扎实的解决方案，将“输出必须为精确规范文本”这一硬约束优雅地融入任务定义、指标设计和系统架构中。然而，其最核心的贡献——一个可靠的基准（benchmark）——在评估规模上存在根本性缺陷：仅基于4个录音（12个评估案例）的基准，无法提供有统计意义的评估结果，使得所有报告的性能数字（如57.9%）都带有极高的偶然性。这项工作更接近一个高质量、可部署的技术验证（proof-of-concept）或一个参考系统（reference system），但作为向社区提供的“基准”（benchmark），其设计是准备充分的，而其数据规模是远远不足的。 ...

📄 CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning #音频字幕生成 #知识蒸馏 #LoRA #音频理解 #参数高效微调 6.3/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.3/10 | 前50% | #音频字幕生成 | #知识蒸馏 | #LoRA #音频理解 | arxiv 👥 作者与机构 第一作者：Ganesh Pavan Kartikeya Bharadwaj Kolluri（University of Kent, UK） 通讯作者：未明确标注 作者列表：Ganesh Pavan Kartikeya Bharadwaj Kolluri（University of Kent）、Yuchen Zhang（University of Kent; Queen Mary University of London）、Michael Kampouridis（University of Kent）、Ravi Shekhar（University of Kent; Queen Mary University of London） 💡 毒舌点评 这篇论文提出了一个有趣且直觉合理的洞察：在蒸馏编码器知识到无编码器模型时，将低层感知表征给投影器、高层语义表征给语言模型，这种"按需分配"的策略确实有效。然而，尽管消融实验干净地证明了蒸馏位置的重要性，模型在AudioCaps上与保留编码器的基线仍有11个CIDEr-D点的巨大鸿沟，无编码器方法的实用化依然道阻且长，且全文未提及代码和模型的开源承诺，让"摆脱编码器"这个卖点在复现面前变得脆弱。 ...

📄 TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions #音视频理解 #音频字幕生成 #多模态模型 #数据集 #基准测试 #强化学习 9.4/10 | 创新 1.7/2 | 严谨 1.3/1.5 | 实验 1.4/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1.5/1.5 | 复现 0.4/0.5 | 工程 1.4/1.5 🔥 9.4/10 | 前10% | #音视频理解 | #多模态模型 | #音频字幕生成 #数据集 | arxiv 👥 作者与机构 第一作者：Linli Yao（北京大学计算机学院，快手科技Kling团队） 通讯作者：Xu Sun（北京大学计算机学院） 作者列表：Linli Yao（北京大学，快手科技Kling团队）、Yuancheng Wei（华南理工大学）、Yaojie Zhang（电子科技大学）、Lei Li（香港大学）、Xinlong Chen（中国科学院自动化研究所，快手科技Kling团队）、Feifan Song（北京大学）、Ziyue Wang（北京大学）、Kun Ouyang（北京大学）、Yuanxin Liu（北京大学）、Lingpeng Kong（香港大学）、Qi Liu（香港大学）、Pengfei Wan（快手科技Kling团队）、Kun Gai（快手科技Kling团队）、Yuanxing Zhang（快手科技Kling团队）、Xu Sun（北京大学） 💡 毒舌点评 该工作在音视频密集字幕生成领域投下了一枚“定义即创新”的炸弹。其提出的OmniDenseCaptioning任务和SodaM评估指标，直击当前音视频理解缺乏时间粒度和结构化描述的痛点，堪称一次教科书式的任务重塑。7B开源模型在精细定义的子任务上干翻Gemini-2.5-Pro，工程整合能力令人叹服，为社区贡献了完整的开原语料。然而，剥开任务定义与指标的糖衣，模型本身是Qwen2.5-Omni与GRPO的精心调配，缺乏算法层面的范式突破。更令人警惕的是，其引以为傲的SodaM指标和训练数据完全由Gemini系列模型闭环驱动，这种“以子之矛攻子之盾”的策略虽精彩，但也埋下了系统性偏见的隐患，评估的可信度也因此被蒙上一层阴影。 ...

📄 Diverse and Few-Step Audio Captioning via Flow Matching #音频字幕生成 #流匹配 #音频生成 #高效生成 #可控生成 ✅ 6.5/10 | 前50% | #音频字幕生成 | #流匹配 | #音频生成 #高效生成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文仅列出作者姓名，未明确标注第一作者） 通讯作者：未说明 作者列表：Naoaki Fujita（Panasonic Holdings Corporation, Osaka, Japan）、Hiroki Nakamura（Panasonic Holdings Corporation, Osaka, Japan）、Kosuke Itakura（Panasonic Holdings Corporation, Osaka, Japan） 💡 毒舌点评 亮点：首次将流匹配（Flow Matching）引入自动音频字幕生成，实验证明其在大幅减少采样步数（最高25倍）的同时，能保持甚至超越扩散基线的准确性和多样性，效率提升显著。 短板：研究局限于替换生成过程的“最后一公里”，模型架构（BART解码器、BEATs编码器）直接沿用前人工作；更关键的是，论文未开源代码与模型，且未提供训练硬件与时间，严重削弱了其实用价值和可复现性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用的是公开数据集Clotho和AudioCaps，但论文未说明其具体获取或预处理方式。 Demo：未提及。 复现材料：提供了算法伪代码（Algorithm 1, 2）和主要训练超参数（优化器、学习率、batch size等）。但缺失模型架构细节（如层数、维度）、硬件信息、完整配置文件。 论文中引用的开源项目：使用了预训练的 BEATs [22] 音频编码器和 BART [12] 语言解码器。评估工具使用了 aac-metrics 库。 总结：论文中未提及开源计划。 📌 核心摘要 要解决的问题：现有的基于扩散模型的多样化音频字幕生成方法，因需要数百步迭代去噪而导致推理计算成本高、速度慢，难以满足实时或大规模处理需求。减少步数则会显著损害生成质量。 方法核心：提出首个基于流匹配的音频字幕生成框架（FAC），直接预测从噪声到字幕表示的确定性、线性传输路径，从而用少量采样步数完成生成。 与已有方法相比新在哪里：完全用流匹配替代了扩散过程。与基于迭代去噪的扩散模型不同，流匹配学习的是近乎直线的概率路径，使得生成过程更高效、稳定。 主要实验结果：在Clotho和AudioCaps数据集上，FAC在30步甚至10步采样下的准确性和多样性指标，与扩散基线（250步）相当或更优。例如，在Clotho上，10步FAC的SPIDEr（0.257）优于250步基线（0.247）。推理时间从每样本2.28秒（250步）降至0.19秒（10步），提速约12倍。通过调节训练时的噪声尺度σ，可以在不增加推理成本的情况下控制生成多样性。 实际意义：为高效、可控的多样化音频字幕生成提供了新方案，降低了流式或实时应用中的延迟和计算开销。 主要局限性：未开源代码和模型；未报告训练硬件与时间；作为首个应用，流匹配在音频字幕任务上的潜力和边界有待进一步探索；实验主要聚焦于生成过程，未改进音频编码器和语言解码器本身。 🏗️ 模型架构 FAC的整体架构遵循DAC-RLD流水线，如图1所示。其核心是用一个流匹配模块替代了原有的扩散去噪模块。 ...

ICASSP 2026 - 音频字幕生成 共 1 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 Diverse and Few-Step Audio Captioning via Flow Matching 6.5分 前50% 📋 论文详情 🥇 Diverse and Few-Step Audio Captioning via Flow Matching ✅ 6.5/10 | 前50% | #音频字幕生成 | #流匹配 | #音频生成 #高效生成 👥 作者与机构 第一作者：未说明（论文仅列出作者姓名，未明确标注第一作者） 通讯作者：未说明 作者列表：Naoaki Fujita（Panasonic Holdings Corporation, Osaka, Japan）、Hiroki Nakamura（Panasonic Holdings Corporation, Osaka, Japan）、Kosuke Itakura（Panasonic Holdings Corporation, Osaka, Japan） 💡 毒舌点评 ...