音频大模型

针对音频问答中少样本演示不稳定且每次推理都要重复传入演示音频的问题，论文提出每个任务只归纳一次纯文字指令的 Audio-Induct，并在 9 个大音频语言模型与两个基准上验证其准确率与推理开销，代价是小模型自行归纳仍不稳定且对策略思维链仅边缘显著。

论文研究朗读式聊天发音训练，用 L2-Arctic-plus 提供词级错误解释与可操作建议，通过两阶段指令微调音频语言模型，在误读检测与建议生成上超过级联 ASR 加 LLM 和现有开源模型，代价是依赖合成标注与朗读场景。

针对视觉存在但音频缺失的不对称输入，论文用 AV-ConfuseBench 暴露视觉主导误判，并用 RL-CoMM 的两阶段强化协作把 Qwen2.5-Omni-3B 的问答与幻觉指标提升 10 到 30 个百分点，代价是只在有限样本上做在线策略优化并依赖外部音频推理与嵌入裁判。

论文在 22 名口吃儿童的 44 段朗读与访谈音频上用儿童专属摘要与三类蕴含判断对比端到端音频语言模型与 Whisper 与 Granite 转录后接文本大模型的级联基线，发现端到端能生成流畅且纯净的摘要但忠实度偏低且蕴含判断普遍偏向肯定类，口吃密度升高与成人干扰会进一步拉低保真度与矛盾类准确率。

针对二元音频问答中模型因语言先验而虚报存在的幻觉，TAD 以静默音频为对照做对比解码并仅在首步用音频增益门控惩罚肯定词，在 AudioCaps-Hallucination 与 Clotho-AQA 上提升拒绝能力但在部分设置下以精度与准确率下降为代价。

论文把 ASR 监督前端是否丢弃声学信息当作可证伪假设，在同一 Qwen3.5-4B 流水线中对比 Whisper 与三类重建式编解码器，并用分层探针、几何比值与仅调 LM 头选项行的因果小手术证明声学结构在最终隐状态仍可恢复而 MCQA 失效主要来自读出对齐，但换前端本身不能解决情绪与环境声字幕的欠利用。

针对音乐音频语言模型在四选一问答中被迫作答而无法表达不知道的问题，论文用同一 TinyMU 检查点经答案不变扰动构造伪集成，主证据是四种选项排序平均将准确率从 55.7% 提升到 59.2% 并将误差保留曲线面积从 0.293 降到 0.261，代价是每次提问需要 4 次前向传播且无需重新训练。

在必须依赖声音的选择题上训练能提升准确率并同步增强对真实音频的行为敏感度，其内部机制是早期到中层先让音频塑造选项表征、再在中层到晚层强化选项对最终答案的贡献，而可学习的 LoRA 更新在模型特定的层带上起决定作用。

针对歌唱音频的专家式指导反馈问题，VocalCoachBench 用同曲可控对比与异曲多样场景的双子集和原子主张拆分来构造可复现评估，12 个音频语言模型的实测显示成对排序可行但细粒度 Top-3 识别与严格诊断命中率仍低于多数类基线且严格命中低于 7%。

音频理解 | 6.9/10

音频字幕生成 | 6.8/10

音乐生成 | 6.9/10

音频分类 | 6.0/10

语音交互 | 6.6/10

音频理解 | 6.6/10

音频理解 | 8.0/10

音频质量评估 | 8.9/10

音频理解 | 8.3/10

音频理解 | 8.0/10

语音交互 | 6.5/10