音频大模型

📄 Towards Fine-grained Temporal Perception: Post-Training Large Audio-Language Models with Audio-Side Time Prompt #音频理解 #音频事件检测 #音频大模型 #强化学习 #自回归模型 🔥 评分：8.3/10 | arxiv 👥 作者与机构第一作者：Yanfeng Shi（中国科学技术大学，语音及语言信息处理国家工程研究中心）通讯作者：Lirong Dai（中国科学技术大学，语音及语言信息处理国家工程研究中心），Yan Song（中国科学技术大学，语音及语言信息处理国家工程研究中心）其他作者： Pengfei Cai（中国科学技术大学，语音及语言信息处理国家工程研究中心） Jun Liu（中国科学技术大学，语音及语言信息处理国家工程研究中心） Qing Gu（中国科学技术大学，语音及语言信息处理国家工程研究中心） Nan Jiang（中国科学技术大学，语音及语言信息处理国家工程研究中心） Ian McLoughlin（新加坡科技学院，ICT Cluster） 💡 毒舌点评亮点在于巧妙地将“时间戳”伪装成一种特殊的“语言令牌”塞进音频特征序列里，让模型像读句子一样“读”出时间坐标，再用强化学习直接对齐音频事件检测的黄金指标，思路清晰且有效。槽点是这方法有点“取巧”，时间提示的窗口（0-30秒）和分辨率（0.04秒）是硬编码的，遇到更长或需要更高精度的音频就抓瞎，而且强化学习那套调参和训练效率的“玄学”问题，论文里轻描淡写了。 🔗 开源详情代码：论文标题下方提到了“GitHub Issue”链接，但正文中未明确给出代码仓库地址。推测代码可能已开源或计划开源，但当前信息不明确。模型权重：论文中未提及是否公开发布训练后的模型权重。数据集：实验使用了公开数据集FTAR和DESED，论文中提供了训练集和测试集规模。预训练权重：基于开源的LALM（Qwen2-Audio, Qwen2.5-Omni）进行后训练。在线Demo：论文中未提及。依赖的开源项目：论文中明确提到的开源模型/工具有：Qwen2-Audio, Qwen2.5-Omni, Whisper（作为音频编码器）, LoRA（用于高效微调）, GRPO（强化学习算法）。 📌 核心摘要这篇论文旨在解决大型音频语言模型（LALM）在细粒度时间感知（如精确定位声音事件的起止时间）上的不足。作者提出了TimePro-RL框架，其核心是两步走策略：首先，提出音频侧时间提示（ASTP），将时间戳编码为特殊令牌并交织插入音频特征序列中，为模型提供明确的物理时间坐标；其次，在监督微调（SFT）后，引入基于强化学习（RL）的后训练阶段，并设计了一种自适应时间奖励机制（结合事件F1分数和连续辅助奖励如mIoU），直接优化模型的时间对齐性能。实验表明，该方法在音频定位、声音事件检测和密集音频描述三个任务上，相比多种基线模型取得了显著提升，尤其在高精度时间定位指标上优势明显。局限性在于时间提示的范围和分辨率固定，且RL训练增加了复杂度。 🏗️ 模型架构整体流程：模型基于现有的LALM（如Qwen2-Audio, Qwen2.5-Omni），其核心架构为音频编码器 + 大语言模型（LLM）。TimePro-RL通过修改输入模态和训练目标来增强其时序能力。输入输出流程：输入：一段原始音频波形 + 一个自然语言查询（例如：“火车道口铃声何时响起？”）。音频编码：音频通过预训练的音频编码器（如Whisper）处理，输出一个音频特征序列（<AUDIO> tokens）。假设编码器帧率为25Hz，即每0.04秒输出一个特征向量。时间提示注入：这是核心修改。在预处理阶段，根据音频时长和帧率，生成一系列时间戳令牌（Timestamp Tokens），如<0.04>, <0.08>等。这些令牌被交织插入到音频特征序列的对应时间位置上，形成新的输入序列：<s> <audio> <AUDIO> <0.04> <AUDIO> <0.08> <AUDIO> ... </audio> 当何时发生？ </s>。嵌入层处理：音频特征：通过音频编码器映射为音频嵌入。时间戳令牌：通过一个时间戳嵌入层映射为向量。该嵌入层采用语义初始化：每个时间戳嵌入向量初始化为其数字字符串（如“0.04”）经LLM原始分词器分词后，对应子词嵌入的均值。训练时，此嵌入层参数被冻结。文本令牌：通过文本嵌入层映射为文本嵌入。 LLM处理：上述混合嵌入序列（音频+时间戳+文本）被送入大语言模型（自回归Transformer）。输出：模型自回归地生成文本响应，格式根据任务而定（如{"query": [5.0, 6.0]}）。关键设计理由： ...

📄 Why Your Tokenizer Fails in Information Fusion: A Timing-Aware Pre-Quantization Fusion for Video-Enhanced Audio Tokenization #多模态 #音频理解 #知识蒸馏 #音频大模型 🔥 评分：9.0/10 | arxiv 👥 作者与机构第一作者：Xiangyu Zhang（新南威尔士大学电气工程与电信学院；杜比实验室，悉尼）通讯作者：Julien Epps（新南威尔士大学电气工程与电信学院）（推断，作为最后作者及机构负责人）其他作者： Benjamin John Southwell（杜比实验室，悉尼） Siqi Pan（杜比实验室，悉尼） Xinlei Niu（杜比实验室，悉尼） Beena Ahmed（新南威尔士大学电气工程与电信学院） 💡 毒舌点评亮点：论文像一位严谨的侦探，系统性地“破案”了多模态融合在离散音频分词器中导致重建质量下降的元凶——融合位置和优化目标冲突，并给出了“预量化融合”和“知识蒸馏”这两把关键“凶器”。槽点：实验部分虽然扎实，但读起来像在啃一本厚重的实验手册，部分描述（如梯度分析）略显冗长，且主要聚焦于视频-音频融合，对其他模态组合的泛化性探讨不足，有点“偏科”。 🔗 开源详情代码：论文在标题下方提供了 GitHub Issue 链接（https://github.com/...，具体地址需从原PDF获取），并声明了 CC BY 4.0 许可。这强烈暗示代码将开源或部分开源，但论文中未提供完整的仓库地址或stars数量。模型权重：论文中未提及是否公开预训练的模型权重。数据集：实验主要使用公开的 AudioSet 和 AVQA 数据集。预训练权重：视觉编码器使用了预训练的 Perception Encoder。下游评估使用了 Llama 3.1 8B 的预训练权重。在线 Demo：论文中未提及。引用的开源项目：论文依赖或提及了多个开源项目/模型，包括 SEANet（音频编码器-解码器）、Perception Encoder（视觉特征提取）、Llama 3.1（语言模型评估基线）、CLIP（对比学习方法参考）等。 📌 核心摘要这篇论文深入探讨了在端到端音频语言模型中，将视觉信息融入音频分词器时普遍存在的“理解提升但重建质量下降”的核心矛盾。作者通过系统性实验，揭示了三个关键发现：融合位置（在量化前还是量化后）至关重要；在离散分词器中，知识蒸馏比对比学习更有效；基于时间轴的动态融合优于静态特征融合。基于此，论文提出了时间感知预量化融合（TAPF）方法，这是首个能在集成视觉信息的同时，保持高保真音频重建质量的方案。实验表明，TAPF不仅维持了重建保真度，还在下游音频理解任务（如AVQA）上显著优于单模态音频分词器和现有多种多模态融合基线，特别是在低比特率（高压缩）场景下，展现了8倍的token效率提升。 ...