论文解读
把幻觉拆成可验的原子断言：OmniHallu 统一六向跨模态检测
针对图像视频音频的理解与生成六类任务，OmniHallu 用原子断言拆分加模态专家验证再推理聚合做声明级检测，在 10000 样本基准上以宏平均 F1 领先基线并用可训练验证器把专家调用减少约三分之二。
音频字幕生成
论文解读
听觉不只听声：用多模态线索合成细粒度音频描述
针对自动音频描述缺少细节与上下文的问题，该工作用专家模型抽取语音、音乐、通用声音和视频线索再由大语言模型融合成纯音频描述，并用 120 万条描述与 600 万问答对证明检索与理解收益，代价是融合带来细节提升的同时幻觉风险上升且需离线专家与过滤成本。
论文解读
从贴标签到写病程：用情绪—认知描述统一多模态心理健康评估
针对分类法缺解释、纯文本大模型漏掉表情语调的问题，该研究提出情绪—认知协同多模态描述任务并用双路 BridgeNet 加 LLaMA 生成描述，在 MMDA 上描述指标领先且生成的画像把抑郁焦虑辅助判断的准确率平均提升超 12 个百分点，代价是两阶段训练与自动标注依赖人工清洗。
论文解读
声音去哪了：末层仍可线性读出却在选项字母上失准的读出瓶颈
论文把 ASR 监督前端是否丢弃声学信息当作可证伪假设，在同一 Qwen3.5-4B 流水线中对比 Whisper 与三类重建式编解码器，并用分层探针、几何比值与仅调 LM 头选项行的因果小手术证明声学结构在最终隐状态仍可恢复而 MCQA 失效主要来自读出对齐，但换前端本身不能解决情绪与环境声字幕的欠利用。
论文解读
一条声音，二十四种说法：SonicCaps 把听觉歧义变成检索的养分
音频检索 | 7.2/10
论文解读
长字幕为什么总在最后两层才说谎：用问答把数据、训练和推理锁在一起
音频字幕生成 | 6.8/10
论文解读
ACE-Cap: Active Evidence Acquisition via Agentic Co-Evolution for Long-Paragraph Fine-Grained Audio Captioning
音频字幕生成 | 7.5/10
论文解读
AudioMap: Cloze-and-Choice Reinforcement Learning for Time-Aware Dense Audio Captioning
音频字幕生成 | 7.9/10
论文解读
AVCap: Reinforcing Audio-Video Joint Caption with Detail-Aware Reward
音频字幕生成 | 8.4/10
论文解读
REFRAMED: Towards Realistic Audio Description Generation for Movies
音频字幕生成 | 8.0/10
论文解读
MMAC: A Massive Multi-dimensional Benchmark for Audio Captioning
音频字幕生成 | 6.3/10
论文解读
AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning
音视频理解 | 9.2/10
论文解读
Live Gurbani Tracking: A Benchmark and Reference System for Captioning Sikh Kirtan
音频字幕生成 | 7.4/10
论文解读
CARD: Cross-component Audio Representation Distillation for Encoder-Free Audio Captioning
音频字幕生成 | 6.3/10
论文解读
TimeChat-Captioner: Scripting Multi-Scene Videos with Time-Aware and Structural Audio-Visual Captions
音视频理解 | 9.4/10
论文解读
Diverse and Few-Step Audio Captioning via Flow Matching
音频字幕生成 | 6.5/10
会议任务专题
ICASSP 2026 - 音频字幕生成
共 1 篇 ICASSP 2026 音频字幕生成 方向论文