音频字幕生成

MixCardBench 把 10 秒多声源混音拆成逐声源的结构化卡片来分别考查发现与描述，用保留真实事件结构的合成流水线得到 4884 个场景和 9618 张卡，最强模型平均卡片字段分也只有约 60%，且声源越多检出越难。

共分析 47 篇语音/AI 论文

TAC2 先用弱教师在时间轴上拼出带说话人的结构化描述，再用小样本专家引出韵律属性并蒸馏为统一模型，让冻结文本模型接力推理、让扩散模型按时间重建，在口语感知与可控合成上得到可验证的提升。

共分析 25 篇语音/AI 论文

论文提出用一句话指出音频与文本在事件和时间关系上的具体出入，并用系统合成的 AT-DIFFER 数据微调 Qwen3-Omni，先判断有无差异再分类最后写句子，联合学习在合成分布上明显改善描述质量，但结论只在至多两个事件和模板文本范围内成立。

Qwen-Audio-3.1-ASR 针对说什么、谁何时说、音频还传达什么三个问题，用音频编码器加指令控制解码统一转写、说话人日志转写与音频理解，并用加权说话人损失、帧对齐时间戳、强化学习与多教师蒸馏改进结构化输出，在多语、方言、说话人日志与音频理解评测上给出条件明确的对比结果。

共分析 58 篇语音/AI 论文

Modaliff 把条件和目标拼成一条统一令牌序列做去噪，只用双模态对子训练就支持任意方向生成，在多数任务上取得较好的保真度，但结论依赖紧凑语义隐空间和固定评测集。

论文把水下识别从输出类别标签改为输出包含船名、工况、轴频、桨叶通过频率和机械线谱的结构化描述，用三路时频表示加四项物理任务训练的 UPT 编码器对接冻结的 Qwen3-4B-Instruct，在四船仿真数据的两个信噪比段上取得高分类精度和毫赫兹级频率误差，代价是结论只在仿真可追溯条件下成立且机械与信噪比估计对噪声更敏感。

MSP 用单模态加为缺失模态生成的代理文本来训练，使推理时能联合使用真实音频与视觉，在 AVQA 等三项问答上取得有竞争力的准确率，但仍依赖模态文本对、对比编码器与桥校准，且代理质量决定效果上限。

TVPara 针对电视剧中强烈情感与场景背景声共存时大音频语言模型描述不准的问题，用预标注加人工校对构建单句与多句两类描述数据，并在两款开源模型上微调后以四维相似度打分验证了复杂声学下的提升与跨域迁移，同时暴露了适配器容量不足时的拟合偏差代价。

共分析 69 篇语音/AI 论文

Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述，用三套数据比较 52 种级联与端到端系统，发现任务可行但普遍过分割，微调能缓解而端到端在更长窗口上会退化。

论文用同一批音频配不同指令求平均激活之差得到任务向量，推理时加回残差流，在少量标注下改善转录、情感与描述并降低换提示词的波动，但非拉丁文字与无提示续写仍需额外约束。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音情感描述在端侧算力不足与云端传输音频隐私风险之间的矛盾，该研究提出只把高熵词块送云端校验的不确定性引导推测解码，在 MER2024 中英子集上以 18.2% 词元上云比例缩小与全云差距，同时把端到端时间从 40.21 s 降到 28.67 s。

针对歌剧等长时叙事音乐解说易幻觉、配对数据稀缺的问题，MAC 用免训练的多尺度声学与语义证据加分层上下文约束现成指令大模型，在 MQAD 取得最好成绩并在歌剧与全曲上提升情感与艺术对齐，但语义相似度与人类稀有线索覆盖仍有代价。

SAM 用 Mamba-2 替代 Transformer 做音频语言模型主干，以 2.7B 参数在 AudioSet 上报告 21.1 mAP、在 AudioCaps 上报告 17.6 SPICE，并以联合微调音频编码器、保持 64 个紧凑音频 token、加入结构化推理监督为代价换取推理能力从 22.8 到 56.8 的提升。

针对大音频语言模型只说安全中性话的问题，论文用大语言模型做多维语义漂移提出情感假设，再用听原声的判别模型做声学验证与重排，报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%，代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。

针对长而细的情感语音描述难以整体打分的问题，论文把评价拆成原子感知单元并用音频语言模型逐条做有无的二值验证，再与参考单元做语义匹配算 F1，在 320 对的人评上取得约 0.44 的正相关，而传统 n-gram 指标呈负相关，代价是依赖模型判断且对复杂人声事件的检出率明显下降。