音频字幕生成

Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述，用三套数据比较 52 种级联与端到端系统，发现任务可行但普遍过分割，微调能缓解而端到端在更长窗口上会退化。

论文用同一批音频配不同指令求平均激活之差得到任务向量，推理时加回残差流，在少量标注下改善转录、情感与描述并降低换提示词的波动，但非拉丁文字与无提示续写仍需额外约束。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音情感描述在端侧算力不足与云端传输音频隐私风险之间的矛盾，该研究提出只把高熵词块送云端校验的不确定性引导推测解码，在 MER2024 中英子集上以 18.2% 词元上云比例缩小与全云差距，同时把端到端时间从 40.21 s 降到 28.67 s。

针对歌剧等长时叙事音乐解说易幻觉、配对数据稀缺的问题，MAC 用免训练的多尺度声学与语义证据加分层上下文约束现成指令大模型，在 MQAD 取得最好成绩并在歌剧与全曲上提升情感与艺术对齐，但语义相似度与人类稀有线索覆盖仍有代价。

SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干，以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE，并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。

针对大音频语言模型只说安全中性话的问题，论文用大语言模型做多维语义漂移提出情感假设，再用听原声的判别模型做声学验证与重排，报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%，代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。

针对长而细的情感语音描述难以整体打分的问题，论文把评价拆成原子感知单元并用音频语言模型逐条做有无的二值验证，再与参考单元做语义匹配算 F1，在 320 对的人评上取得约 0.44 的正相关，而传统 n-gram 指标呈负相关，代价是依赖模型判断且对复杂人声事件的检出率明显下降。

针对音频视觉问答中朴素音频描述与视觉不一致且缺问题相关细节的问题，VividAC 用视觉智能体先写问题相关视频描述再约束听觉智能体生成音频描述，在 MUSIC-AVQA 上以 59.91% 超过最强端到端基线 7.0 个百分点，代价是级联依赖视觉描述质量并需关键词过滤来缓解误差传递。

针对音频字幕依赖成对标注且自动指标与人意不一致的问题，该研究用成对偏好训练 CLAP 嵌入上的奖励模型再做自批判强化微调，在挑战样本上获得更高人类胜率，代价是需要额外偏好标注且长句奖励投机需用长度惩罚抑制。

针对音频描述中声学证据不足却被语言先验补足的幻觉问题，论文用检索到的宽带噪声保守描述做上下文校准，在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%，代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。

针对统一目标难以适应动作中心与环境中心等不同场景的问题，该研究用策略侧与奖励侧对称的混合专家加组相对优化做上下文自适应音频描述，在 Clotho 上报告了 CIDEr 0.4137 与 FENSE 0.4642 等提升，但 AudioCaps 上 CIDEr 仍不及纯 CIDEr 优化基线且人工评测样本仅 20 条音频。

针对大音频语言模型在字幕中提到输入中不存在声音事件的问题，REVE 复用目标模型已算出的编码器帧状态做两尺度验证，在 AudioSet 上开发集召回约束下删掉 92.9% 无据提及，只增加 3.38M 参数和 0.57 ms 完整验证延迟。

该研究针对可公开复现的大规模音乐与文本配对缺失问题，选择以互联网档案馆中声明为知识共享许可的音频为源、轻量音频语言模型初标加分类标签与档案元数据聚合精修为方法，最强证据是 1500 段抽样下与 JamendoMaxCaps 相当的参考无关分数与正确性完整性约 4.2 分以上的人评，主要代价是长时体裁欠采样与语言流畅性仍落后于人工标注。

针对音频多模态大模型自由描述中每个词缺乏时频依据的问题，STAG 用词条件内部激活做时间定位、用频带遮挡做频谱定位再做可分融合，在四个时序标注基准上取得最佳事件定位，并在反事实删除中以目标置信下降和事件消失支持其忠实性，代价是可分假设与缺少频率真值。

论文在 Qwen2-Audio 上对照显式、隐式、课程式思维链与无序槽填充，报告槽填充在语音理解上 UAR 最高而从左到右课程学习在描述上相似度最高，且显式链随推理变长因误差累积明显下降。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对无监督异常声音检测中正常与异常机器声高度相似、单条通用描述难以支撑差异总结的问题，论文提出推理时两阶段多样且判别性束搜索解码，用多条组内多样加跨音频互斥的描述供给大语言模型汇总，主观评估显示更具体可辨但未承诺延迟与误判改善。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读