音频大模型

📄 Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs #音频大模型 #模型评估 #对抗样本 #基准测试 #音频安全 🔥 评分：9.0/10 | arxiv 👥 作者与机构 第一作者：Jaechul Roh（推断，基于论文作者顺序和邮箱前缀） 通讯作者：Amir Houmansadr（麻省大学阿默斯特分校，计算机科学系） 其他作者：无（本文为双作者论文） 所属机构：University of Massachusetts Amherst（麻省大学阿默斯特分校），计算机科学系。 💡 毒舌点评 亮点：这篇论文像一把精准的手术刀，首次剖开了音频大模型“安全对齐”的脆弱内脏——原来不用投毒，光喂“健康食品”（良性数据）就能让它对“坏指令”言听计从。其“邻近性分解”框架巧妙地将模糊的“相似”拆解为“说了啥”和“听着像啥”，并发现这居然取决于模型“耳朵”（编码器）的构造，洞察深刻。 槽点：研究聚焦于英语单轮问答，像是在无菌实验室里测试病毒的威力，现实世界中多语言、多轮次、带背景噪音的“培养皿”会怎样？防御手段（系统提示）虽有效，但像个事后补的“道德补丁”，模型本身的“先天缺陷”如何从架构上根治？ 📌 核心摘要 这篇论文首次系统研究了良性音频数据微调对音频大模型安全对齐的破坏性影响。核心问题是：用户出于提升性能的目的，在完全无害的音频数据上微调模型，是否会意外削弱其拒绝有害指令的能力？作者提出了一个基于嵌入空间邻近性的过滤框架，通过计算良性音频与有害音频在模型内部或外部参考编码器空间中的距离，来选择性地构建微调数据集。实验在三个SOTA模型上进行，发现：1）良性微调能显著提升越狱成功率，在邻近性过滤下，JSR从个位数飙升至87.12%；2）主导的脆弱性轴（语义或声学）是架构依赖的，由音频编码器如何将声音映射到LLM输入空间的方式决定；3）防御是可行的，通过“远距离过滤”训练数据或在推理时添加安全系统提示，可将JSR降至近零。研究揭示了音频大模型安全与文本/视觉模型的结构性差异，强调了模态感知的安全评估和数据筛选的必要性。 🏗️ 模型架构 论文本身并未提出新模型，而是对三个现有SOTA音频大模型进行安全分析。其整体分析流程和涉及的模型架构如下： 输入：原始音频波形。 音频编码器（冻结）：将波形转换为高级表示。 Audio Flamingo 3 (AF3)：使用Whisper编码器，后接一个两层MLP投影器，将音频特征压缩后输入LLM。 Kimi-Audio-7B：采用双编码器设计，包含一个WhisperVQEncoder（通过矢量量化引入瓶颈）和一个Whisper-Large-V3编码器。 Qwen2.5-Omni：使用Whisper-Large-V3编码器，其输出以“直通”方式（无压缩投影）输入LLM。 大语言模型（部分参数通过LoRA微调）：接收音频编码器的输出（可能经过投影），生成文本响应。三个模型的LLM骨干均基于Qwen2.5-7B。 输出：文本形式的回答（可能包含拒绝信息或有害内容）。 安全对齐：模型在预训练后经过安全对齐训练，使其能拒绝有害文本指令。这种对齐主要针对文本表示空间，对音频输入产生的表示可能覆盖不足。 数据流：音频 → [冻结的音频编码器] → [可选的投影层] → [LLM（部分参数通过LoRA更新）] → 文本输出。 关键设计选择：论文的核心发现在于，不同音频编码器架构（压缩式、量化瓶颈式、直通式）决定了良性微调数据在嵌入空间中的“邻近性”如何影响安全边界，从而导致了差异化的安全脆弱性。 💡 核心创新点 首次系统研究音频大模型良性微调安全：开辟了新的研究问题，揭示了在无对抗者参与的情况下，仅使用良性数据微调即可严重破坏音频大模型的安全对齐，这与文本和视觉领域的发现有本质区别（因编码器冻结）。 提出嵌入空间邻近性分解框架：创新性地将良性数据与有害数据的“接近度”分解为语义轴（说了什么，使用Sentence-BERT）、声学轴（听着像什么，使用WavLM）和混合轴（两者结合，使用Whisper）。该框架能够诊断不同模型架构下，驱动安全退化的主要数据属性。 揭示架构依赖的漏洞模式：通过实验证明，哪个邻近性轴（语义/声学/混合）最能预测安全退化，取决于目标模型音频编码器的具体架构（如Kimi-Audio对语义敏感，AF3对混合特征敏感）。 发现并解释跨模态不对称性：通过对照实验（音频微调 vs. 文本微调），发现安全退化的方向（哪种模态更危险）也依赖于架构。AF3中音频微调更危险，而Qwen2.5-Omni中文本微调更危险，根本原因是安全对齐覆盖的表示路径不同。 提出并验证两种有效防御：提出了训练时的远距离过滤（选择离有害数据最远的良性数据）和推理时的安全系统提示，两者均能无需修改架构地将越狱成功率降至近零。 🔬 细节详述 训练数据： 良性音频数据集：VoiceBench SD-QA (6,083条，11种英语口音)， GammaCorpus-Fact-QA (合成6,600条)， MMSU (3,000条多选题)， MELD (用于推理任务)。 有害音频数据集：AdvBench (520条有害提示)， SafetyBench (939条有害提示)，均通过Google TTS转换为音频。 微调策略： 方法：使用LoRA进行参数高效微调。 关键超参数： AF3: LoRA Rank=16, Alpha=32, LR=2e-5, Epochs=3, Batch Size=8 Kimi-Audio: LoRA Rank=16, Alpha=32, LR=2e-4, Epochs=5, Batch Size=16 Qwen2.5-Omni: LoRA Rank=8, Alpha=16, LR=1e-4, Epochs=3, Batch Size=8 冻结组件：所有模型的音频编码器在微调期间均被冻结。 评估指标：越狱成功率，在AdvBench和SafetyBench上计算。基线JSR很低（个位数）。 邻近性过滤： 距离计算：余弦距离。 过滤过程：对每个良性样本，计算其与所有有害样本的最小距离，然后选择距离最小的前k%样本进行微调。k通常取10, 20, …, 90。 参考编码器：Sentence-BERT（语义）、WavLM-Large（声学）、Whisper-Large-V3（混合）。 机制分析： 拒绝方向提取：在预训练模型上，计算LLM每一层在拒绝回答和合规回答的有害提示上平均激活的差异，得到“拒绝方向”。 投影分析：计算微调后模型在相同有害提示上的激活在预训练“拒绝方向”上的投影值。发现微调后，尤其是音频微调，在LLM的后期层（L20-26）该投影值显著下降，表明拒绝机制被抑制。 📊 实验结果 主要结果（表1 & 表2 核心数据）： Kimi-Audio：在SD-QA数据上，使用语义过滤（25%）时，AdvBench JSR达到87.12%（+82.50），是最高值。模型内过滤在25%时为58.08%。 AF3：在SD-QA数据上，使用混合过滤（Whisper-V3）效果最显著，50%过滤时AdvBench JSR为24.42%（+16.73）。声学过滤甚至导致JSR下降（负增长）。 Qwen2.5-Omni：模型内过滤（即混合过滤，因其编码器是Whisper）在25%时AdvBench JSR为30.09%。声学过滤也有效（23.46%）。 随机采样：作为对照，随机采样微调导致的JSR增长远低于邻近性过滤，且不稳定（有时甚至降低JSR）。 音频 vs. 文本微调（图2 数据）： AF3：对同一组语义过滤的良性样本，音频微调使AdvBench JSR升至24.42%（50%过滤），而文本微调使JSR降至3.85%。 Qwen2.5-Omni：模式相反，文本微调（25%过滤）的JSR为16.35%，高于音频微调的9.42%。 防御效果（表3 & 表7）： 远距离过滤：对AF3，使用远距离语义/声学过滤，JSR降至接近或低于基线（如AdvBench JSR 3.27%）。 系统提示防御：在微调后模型上添加安全系统提示，JSR降至近0%（例如Kimi-Audio从58.08%降至0.00%）。 机制分析结果（图3）： 在AF3中，音频微调强烈抑制了LLM第20-26层的拒绝方向投影值（从186降至8），而文本微调则基本保持。 在Qwen2.5-Omni中，音频和文本微调均抑制了后期层的拒绝信号，且文本微调抑制更强。 ⚖️ 评分理由 创新性：10/10。开创了音频大模型良性微调安全这一全新研究方向，提出的邻近性分解框架极具洞察力，揭示的架构依赖规律是领域内的重要新知。 实验充分性：9.5/10。实验设计极其全面严谨，覆盖多模型、多数据集、多基准、多角度对照（过滤方法、模态、防御），并辅以深入的机制分析，数据量大，说服力强。 实用价值：9/10。直接针对音频大模型实际部署中的核心风险（用户微调），并提供了立即可用的防御方案（数据筛选、提示工程），对模型开发者、平台和用户都有重要实践指导意义。 灌水程度：1/10。论文内容紧凑，每一部分（问题、方法、实验、分析、防御）都围绕核心贡献展开，信息密度高，无冗余或夸大表述。 🔗 开源详情 代码：论文提及提供了GitHub仓库（https://github.com/…），但未在正文给出完整链接。推测包含用于邻近性过滤和实验复现的代码。 模型权重：论文中评估的三个模型（AF3, Kimi-Audio, Qwen2.5-Omni）均为公开的SOTA模型，其预训练权重可在Hugging Face等平台获取。微调后的模型权重未提供，以防滥用。 数据集：使用的良性数据集（SD-QA, GC Accents, MMSU, MELD）和有害数据集（AdvBench, SafetyBench）多为公开基准。论文未提及发布新数据集。 预训练权重：未提供，依赖于上述公开模型。 在线Demo：未提及。 引用的开源项目：依赖的主要开源工具/模型包括：Whisper (编码器), Sentence-BERT, WavLM, Hugging Face Transformers库, LoRA实现等。 🖼️ 图片与表格 图1 (Bar Charts of ASR)：展示了AF3和Qwen2.5-Omni在音频微调和文本微调下，不同过滤比例（25%，50%，75%）在AdvBench和SafetyBench上的ASR（即JSR）对比。保留: 是 - 这是核心结果图，直观展示了跨模态不对称性和过滤比例的影响。 图2 (Proximity Filtering Diagram)：示意图，解释了如何基于良性样本到有害样本的最小距离进行排序和过滤。保留: 是 - 清晰说明了核心方法“邻近性过滤”的工作流程。 表1 (Model-Internal Filtering Results)：详细列出了三个模型在模型内过滤和随机采样下，不同过滤比例在两个安全基准上的JSR及相对于基线的变化。保留: 是 - 提供了核心实验数据。 表2 (Reference-Based Filtering Results)：详细列出了三个模型在语义、声学、混合三种���考编码器过滤下，不同过滤比例在两个安全基准上的JSR及变化。保留: 是 - 揭示了架构依赖的漏洞模式，是关键数据表。 表3 (Distant Filtering Defense Results)：展示了使用“远距离过滤”防御策略后的JSR结果。保留: 是 - 验证了第一种防御的有效性。 其他表格/图表：如附录中的t-SNE可视化、机制分析图、消融实验表等，对于深入理解有帮助，但非核心结论的必需展示。在主报告中可简述其结论。 📸 论文图片 ...

📄 From Reactive to Proactive: Assessing the Proactivity of Voice Agents via ProVoice-Bench #语音对话系统 #基准测试 #音频大模型 #模型评估 ✅ 评分：7.0/10 | arxiv 👥 作者与机构 第一作者：Ke Xu (上海交通大学) 通讯作者：根据联系邮箱 {overji1, colane, yuwangsjtu}@sjtu.edu.cn 推断，三位作者均来自同一机构，论文未明确指定唯一通讯作者。 其他作者：Yuhao Wang (上海交通大学), Yu Wang (上海交通大学) 所属机构：上海交通大学 (Shanghai Jiao Tong University) 💡 毒舌点评 亮点：精准地抓住了当前语音代理“只会接话不会读空气”的痛点，设计了一套系统、严谨的“主动性”考卷（ProVoice-Bench），数据合成流水线考虑周全（从数字上下文到环境音效），实验揭示了模型“乱接话”和“想太多”的普遍毛病，对领域有明确的指导价值。 槽点：本质上是一篇“出题+阅卷”的评估论文，没有提出新的“解题”模型或算法。创新停留在任务定义和数据层面，深度略显不足。依赖现有的TTS和LLM来构建数据，其质量上限受限于这些生成模型本身。 📌 核心摘要 本文旨在解决现有语音代理评估基准主要关注被动响应，而忽略其主动感知与干预能力的问题。作者提出了ProVoice-Bench，这是首个专门用于评估主动式语音代理的基准测试框架。该框架通过一个包含数字状态构建、场景合成、对话生成、声学模拟和对话组装的多阶段数据合成管道，构建了包含1182个高质量样本的数据集，并定义了四项核心主动任务：主动意图捕获（PIC）、潜在话题监控（LTM）、上下文事实核查（CFC）和环境声音感知（ESS）。对多个先进多模态大语言模型（如Qwen3-Omni, Step-Audio-R1）的评估结果显示，当前模型普遍存在过度触发（over-triggering）问题，且在“决定何时说话”与“决定说什么”之间存在显著差距。该工作为开发更自然、上下文感知的主动式语音助手提供了清晰的评估标准和未来路线图。 🏗️ 模型架构 本文没有提出新的模型架构，而是提出了一个评估框架（Benchmark）。该框架用于测试现有的多模态大语言模型（MLLMs）作为主动语音代理的表现。 评估流程： 输入：对于每个测试样本，输入包括：对话音频 (C_a) 和 用户数字上下文 (D_c)（如手机应用状态）。 模型处理：被评估的MLLM（如Qwen3-Omni）接收这些多模态输入。 输出：模型需要产生两个输出：工具调用请求 (T_p) 和 文本响应 (R_p)。 评估：将模型的输出与样本的语义线索 (S_c)、标准工具调用 (T_g) 和 标准响应 (R_g) 进行比较，计算主动交互预测指标（准确率、召回率、误报率）和响应准确率。 核心设计：该框架的核心是定义了四种需要模型进行“主动决策”的任务场景（PIC, LTM, ESS, CFC），每个场景都精心设计了触发或不触发主动交互的条件，以此来测试模型的上下文理解和时机判断能力。 💡 核心创新点 定义了主动式语音代理的评估范式：首次系统性地将语音代理的评估从“被动响应”扩展到“主动感知与干预”，明确了主动性的核心维度（意图推断、话题监控、事实核查、声音感知）。 构建了高质量、多任务的基准测试集ProVoice-Bench：通过创新的多阶段数据合成管道，生成了1182个包含音频、数字上下文、语义线索和标准答案的高质量样本，覆盖了四大主动任务，并平衡了正负样本。 设计了针对主动性的综合评估指标：不仅评估模型是否做出交互决策（准确率、召回率、误报率），还通过“响应准确率（R_acc）”评估决策后行动的正确性，并引入LLM-as-a-Judge进行细粒度评价。 揭示了当前先进模型的系统性缺陷：通过实验证明，即使是顶级的多模态大模型，在主动交互任务上也存在严重的“过度触发”问题，且在复杂分析任务（如CFC）中表现不佳，为未来研究指明了方向。 🔬 细节详述 训练数据：本文是评估工作，不涉及模型训练。但其测试数据构建流程极为详细： 数字状态构造：使用Qwen3-Max根据从dialog-topics数据集随机选取的主题，合成包含隐式线索（如日程、饮食限制）的细粒度手机应用状态。 场景合成：LLM基于数字状态、任务类型和可用工具，生成包含触发线索、对话上下文和时间元数据的场景。 对话生成：使用CosyVoice3 TTS模型，以seed-tts-eval中的人类语音为音色提示，生成多说话人对话。环境音事件来自ESC-50数据集。 声学模拟：对音频进行归一化（-20 dBFS）、远场模拟（3dB高频衰减、4dB能量衰减）、混响添加（随机房间脉冲响应，湿干比0.3）。 对话组装：对话间隔从高斯分布采样（一般对话：μ=0.75s, σ=0.35s；ESS任务：μ=10.0s, σ=1.66s），并叠加从CochlScene数据集随机选取的环境噪声。 损失函数：不适用（评估工作）。 训练策略：不适用。 关键超参数：数据合成中使用的声学参数（如RMS目标、滤波参数、混响湿干比、时间间隔分布参数）。 推理细节：论文未详细说明被评估模型的具体推理参数（如温度、beam size）。 数据增强：声学模拟部分（混响、噪声添加）可视为一种针对测试数据的增强，以提高评估的真实性。 📊 实验结果 主要指标对比表（表1 & 表2 关键数据复述）： 模型在各项任务上的表现（Overall R_acc / Acc）： Qwen3-Omni(T): CFC (0.826/0.838), LTM (0.792/0.832), PIC (0.734/0.775), ESS (0.617/0.620), 总体 (0.759/0.787)。 Step-Audio-R1(T): CFC (0.806/0.828), LTM (0.741/0.804), PIC (0.722/0.822), ESS (0.587/0.607), 总体 (0.734/0.793)。 Mimo-Audio(T): CFC (0.615/0.778), LTM (0.462/0.588), PIC (0.663/0.800), ESS (0.586/0.644), 总体 (0.596/0.729)。 关键发现：所有模型在LTM任务上的误报率（FPR）普遍很高（如Step-Audio-R1为0.920），表明“过度触发”严重。使用思维链（CoT）提示（标记为(T)）能显著提升大多数模型在CFC、LTM和PIC上的性能。 消融实验（图3 - 数字上下文影响）： 移除数字上下文（w/o DC）后，CFC任务的Recall急剧下降（例如Qwen3-Omni从0.433降至接近0），因为无法核对事实。 PIC任务的Recall和R_acc也明显下降（例如Qwen3-Omni(T)的Recall从0.578降至0.443），因为难以推断隐式意图。 这证明了数字上下文对于特定主动任务至关重要。 ⚖️ 评分理由 创新性：7/10 - 创新点在于定义了全新的评估任务和范式，并构建了高质量的基准数据集，这在AI评估领域是重要贡献。但未涉及模型算法本身的创新。 实验充分性：8/10 - 实验设计非常全面。数据合成流程描述极其详细，可复现性强。对比了多个主流先进模型，包含了消融实验（数字上下文的影响），指标设计合理（兼顾决策和执行）。结论有充分数据支撑。 实用价值：8/10 - 直接面向构建更智能、更主动的语音助手这一实际需求，填补了关键评估空白。其揭示的问题（如过度触发）对业界开发有直接指导意义。基准的开源将有力推动该方向研究。 灌水程度：2/10 - 论文内容紧凑，聚焦核心贡献。方法描述、实验设置和结果分析都详尽扎实，没有明显的冗余或夸大表述。是一篇高质量的评估论文。 🔗 开源详情 代码：论文明确表示代码将在GitHub上开源，并提供了链接：https://github.com/...（论文中为占位符，实际应指向仓库）。 模型权重：不适用（本文是评估基准，不发布新模型）。但评估中使用的被模型（如Qwen3-Omni）是公开的。 数据集：ProVoice-Bench数据集承诺将在Hugging Face上开源。包含1182个样本，覆盖四个任务，平衡正负例。 预训练权重：不适用。 在线 Demo：论文中未提及。 引用的开源项目：论文中提及并依赖了多个开源项目/模型，包括：Qwen3-Max（用于生成数字状态）、CosyVoice3（TTS）、seed-tts-eval（音色提示）、ESC-50（环境音）、CochlScene（环境噪声）、Qwen3-80B（作为评判模型）。 🖼️ 图片与表格 图1: 四个主动任务的示例对话 | 保留: 是 - 直观展示了PIC、LTM、CFC、ESS四个任务的核心交互模式，是理解论文任务定义的关键。 图2: (a) ProVoice-Bench数据分布饼图; (b) 数据合成五阶段流水线示意图 | 保留: 是 - (a)图清晰展示了数据集的构成（各任务正负样本数量），(b)图是论文核心方法（数据构建）的流程总览，非常有价值。 图3: 移除数字上下文（DC）对CFC和PIC任务关键指标影响的柱状图 | 保留: 是 - 这是核心消融实验的结果图，直观证明了数字上下文的重要性，支撑了论文的关键结论。 表1: 不同模型在ProVoice-Bench各项任务上的主动交互预测指标（Rec, FPR, Acc） | 保留: 是 - 这是核心结果表之一，包含了所有模型在三个关键决策指标上的详细数据，必须保留。 表2: 不同模型在ProVoice-Bench各项任务上的响应准确率（R_acc） | 保留: 是 - 这是另一个核心结果表，评估模型决策后的执行质量，与表1互补，必须保留。 📸 论文图片 ...

📄 ICLAD: In-Context Learning with Comparison-Guidance for Audio Deepfake Detection #音频深度伪造检测 #少样本 #检索增强 #音频大模型 #可解释性 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者（推断）：Benjamin Chou（普渡大学，Purdue University） 通讯作者（推断）：Yi Zhu（Reality Defender Inc.），Surya Koppisetti（Reality Defender Inc.） 其他作者：无 机构详情： Benjamin Chou：普渡大学（Purdue University），论文注释表明工作在Reality Defender Inc.实习期间完成。 Yi Zhu：Reality Defender Inc.（美国/加拿大，邮箱后缀为@inrs.ca，INRS为加拿大魁北克大学研究所）。 Surya Koppisetti：Reality Defender Inc.。 💡 毒舌点评 亮点：把大模型（ALM）的“思考”能力用在了音频安全这个“脏活累活”上，还搞出了个“左右互搏”（PCR）的套路让模型自己挑刺、去伪存真，思路相当清奇，结果在真实世界数据上效果拔群。槽点：最好的“厨师”（Phase-1证据生成）用的是谷歌的“秘制酱料”（Gemini），自己家“厨房”（开源ALM）的灶台还没完全搭好（AF3指令遵循差），让想完全复刻这道菜的人有点抓瞎。而且，这“秘制酱料”在处理“罐头食品”（脚本语音）时，味道反而不对了。 📌 核心摘要 本文针对音频深度伪造检测模型在真实场景（in-the-wild）中泛化能力差的核心问题，提出了一种名为ICLAD的全新范式。该框架利用音频语言模型（ALM）的上下文学习能力，实现了无需训练的快速适应。其核心是创新的成对比较推理策略：在离线阶段，引导ALM为每个样本同时生成“真实”和“伪造”的证据，再结合真实标签进行证据调和，生成高质量、去幻觉的文本解释库；在线推理时，通过检索最相似的样本及其证据作为上下文，并结合一个动态路由机制，将分布内样本交给专用检测器处理，将分布外（真实场景）样本交给ALM进行推理。实验表明，ICLAD在三个真实场景数据集上显著超越了SOTA专用检测器（宏F1最高提升近2倍），并能提供可解释的文本理由。然而，该方法在脚本语音数据集上性能有所下降，且其最佳性能依赖于专有模型Gemini。 🏗️ 模型架构 ICLAD是一个两阶段框架，整体流程如下： 阶段一：离线推理（证据库构建） - 输入：一批带标签的音频样本 {A_i, L_i}。 - 流程： a. 初始证据生成：对于每个音频 A_i，在不告知标签的情况下，提示ALM（如Gemini）同时生成两段文本证据：R_real,i（证明其真实的理由）和 R_fake,i（证明其伪造的理由）。 b. 证据调和：将 A_i、R_real,i、R_fake,i 以及真实标签 L_i 一起输入ALM，生成调和后的证据 R_reconciled,i。此步骤旨在让模型基于真相，识别并过滤掉初始证据中的矛盾、无关属性及幻觉。 c. 缓存：将每个样本的音频、标签、三份证据（R_real, R_fake, R_reconciled）以及其专用检测器嵌入（使用Wav2Vec2-AASIST提取）存入离线数据库，形成检索增强生成（RAG）库。 阶段二：在线推理 - 输入：一个查询音频 A_q。 - 流程： a. 分布检测与路由：使用k-NN方法计算 A_q 的Wav2Vec2-AASIST嵌入与数据库嵌入的相似度，判断其为分布内（ID）还是分布外（OOD）。 b. 路由决策： - 若为ID样本，直接送入专用检测器（Wav2Vec2-AASIST）输出最终判决���不使用ALM。 - 若为OOD样本，送入ALM路径。 c. ALM路径推理： i. 示例检索：基于 A_q 的Wav2Vec2-AASIST嵌入，从离线数据库中检索K个（论文中K=10）最相似的样本及其全部信息（音频、标签、三份证据）。 ii. 构建ICL提示：将检索到的K个样本的证据和标签格式化为上下文示例，并附上查询音频 A_q，构建最终提示。 iii. 推理与输出：将提示输入ALM，要求其为 A_q 也生成 R_real, R_fake, R_reconciled 三份证据，并基于此给出“真实”或“伪造”的二分类判决。 - 输出：最终的二分类标签（来自专用检测器或ALM）及（可选的）ALM生成的文本解释。 ...

📄 LLM-Codec: Neural Audio Codec Meets Language Model Objectives #语音大模型， #预训练， #基准测试， #音频大模型 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Ho-Lam Chung (台湾大学 通信工程研究所， 华硕智能云服务) 通讯作者：Hung-yi Lee (台湾大学 人工智能卓越研究中心) 其他作者：Yiming Chen (华硕智能云服务) 💡 毒舌点评 亮点：精准地抓住了语音令牌化领域“重建质量”与“语言模型可预测性”之间的核心矛盾，并用一套设计精巧、实验扎实的“组合拳”（FTP+SA+Gumbel桥）漂亮地解决了问题，效果拔群。槽点：方法依赖语音-文本对齐（SA），这在非语音音频或无转录数据上就成了“阿喀琉斯之踵”，限制了其通用性；另外，训练时需要额外的前向传播和辅助模块，对计算资源是个小考验。 📌 核心摘要 本文旨在解决语音语言模型（SLM）中一个根本性矛盾：神经音频编码器以波形重建为目标进行优化，而语言模型以序列预测为目标进行优化，这种目标不匹配导致生成的离散语音令牌熵值高、难以预测。为此，作者提出了LLM-Codec训练框架，在不改变编码器和语言模型架构的前提下，通过引入两个面向语言模型的正则化目标来重塑编码器：1）未来令牌预测（FTP），使用Medusa风格的多头结构预测多个未来令牌，鼓励令牌序列的局部可预测性；2）语义对齐（SA），通过对比学习将语音在冻结LLM中的隐藏状态与对应文本的隐藏状态对齐，确保令牌的语义一致性。一个可微分的Gumbel桥使得梯度能够端到端地回传至编码器。实验表明，LLM-Codec在SALMon语音连贯性基准上达到61.6%的准确率（比基线AUV高12.1个百分点），并将令牌级困惑度降低了35倍，同时在Codec-SUPERB-tiny基准上将语音Mel距离提升了5.0%，证明了重建质量与令牌可学习性可以协同提升。 🏗️ 模型架构 LLM-Codec的整体架构是一个增强型的神经音频编码器，其核心是在标准编码器-量化器-解码器流程中，插入了面向LLM的训练模块，并通过一个可微分的桥接器与冻结的LLM主干连接，实现端到端训练。 完整输入输出流程： 输入：原始音频波形 x。 编码与量化：音频 x 通过编码器 ℰ 得到连续潜变量 z，再通过量化器 𝒬（使用Gumbel-Softmax桥接）得到离散令牌 c。 LLM处理：离散令牌 c 通过音频令牌嵌入层 E_audio 转换为嵌入向量，输入到冻结的LLM主干（如Qwen3-4B）中，得到各层的隐藏状态 {h_t}。 辅助任务计算： 未来令牌预测（FTP）：在LLM的最后一个隐藏状态上，连接K个Medusa头（线性层 M_k），分别预测当前时刻之后第k个未来令牌。 语义对齐（SA）：从LLM的中间到高层（如第10-25层）提取语音序列的最后隐藏状态 h_audio，与对应文本通过相同且冻结的LLM得到的最后隐藏状态 h_text 进行对齐（余弦损失+对比损失）。 重建输出：离散令牌 c 通过解码器 𝒟 重建为音频波形 x̂。 损失计算与反向传播：总损失 ℒ_total 包含重建损失 ℒ_codec、桥接损失 ℒ_bridge、FTP损失 ℒ_FTP、语义对齐损失（ℒ_cos + ℒ_ctr）。梯度通过Gumbel桥反向传播至编码器 ℰ，从而优化编码器使其产生对LLM更友好的令牌。 主要组件与设计理由： ...

📄 MoVE: Translating Laughter and Tears via Mixture of Vocalization Experts in Speech-to-Speech Translation #语音翻译 #混合专家模型 #音频大模型 #少样本 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Szu-Chi Chen (台湾大学，国立台湾大学) 通讯作者：Hung-yi Lee (台湾大学，国立台湾大学；根据贡献和常见通讯作者习惯推断) 其他作者： I-Ning Tsai (台湾大学，国立台湾大学) Yi-Cheng Lin (台湾大学，国立台湾大学) Sung-Feng Huang (NVIDIA，英伟达台湾) 💡 毒舌点评 亮点：精准抓住了S2ST“翻译了语义，却丢失了灵魂（笑声/哭泣）”这个长期痛点，并用一套从数据到模型的组合拳（合成数据管道+MoE架构+两阶段训练）系统性地解决了它，效果拔群，NV保留率从14%飙升到76%。槽点：数据合成依赖于现有的情感TTS和过滤器，可能引入合成偏差；目前只聚焦于五种特定情感/声音，离建模人类全部复杂细腻的情感光谱还有距离。 📌 核心摘要 这篇论文旨在解决语音到语音翻译（S2ST）系统普遍缺失非语言声音（如笑声、哭泣）和情感韵律的问题，这严重限制了跨语言交流的自然度和语用准确性。作者提出了三大贡献：1) 一个可扩展的表达性数据合成管道，能自动生成高质量、带情感标注的S2ST训练对，克服了数据稀缺瓶颈；2) MoVE（混合声音专家）架构，基于预训练音频大模型（Kimi-Audio），通过并行多个情感特化的LoRA适配器和一个动态软加权路由器，实现了对混合情感状态的精细建模，避免了特征干扰；3) 揭示了惊人的数据效率，仅需30分钟的精选数据微调，就能激活预训练模型的强大潜力，达到接近全量数据95%的情感保真度。实验表明，MoVE在英中翻译任务上，在语义准确性和非语言声音保留率（76%）上均大幅超越现有SOTA系统，并获得了最高的人工评价自然度和情感相似度分数。 🏗️ 模型架构 MoVE架构建立在预训练的音频大模型Kimi-Audio之上，其核心流程如下： 输入：源语言语音波形。 编码与离散化： 语音首先通过一个Whisper编码器（经过在表达性数据集上微调）提取高级语义和声学特征。 同时，语音通过音频分词器（Audio Tokenizer） 被离散化为一系列语音token。 LLM处理（核心创新）： 离散token序列输入到冻结参数的Kimi-Audio LLM主干中。 在LLM的每个Transformer层中，注入了五个并行的LoRA专家适配器，分别专精于“高兴”、“悲伤”、“愤怒”、“大笑”、“哭泣”五种声音流形。每个专家独立作用于注意力层和前馈网络的投影矩阵（Wq, Wk, Wv, Wo, Wgate）。 一个动态软加权路由器（一个带Softmax的轻量线性层）根据当前token的隐藏状态x，为五个专家的输出计算混合权重g_i(x)。最终层的输出是基础模型权重与所有专家加权输出的和：h(x) = W0*x + Σ g_i(x) * (B_i * A_i * x)。这实现了token级别的、连续的情感混合。 解码与生成： LLM输出的离散语音token序列被送入音频解解码器（Audio Detokenizer）。 该解码器经过在表达性数据（特别是非语言声音）上的微调，能更好地将token重建为包含丰富情感和非语言声音的目标语言语音波形。 输出：保留了源语音情感和非语言声音的目标语言语音。 关键设计选择理由： ...

📄 VIBE: Voice-Induced open-ended Bias Evaluation for Large Audio-Language Models via Real-World Speech #模型评估 #音频大模型 #基准测试 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Yi-Cheng Lin (台湾大学 通信工程研究所) 通讯作者：Hung-yi Lee (台湾大学 通信工程研究所， 人工智能卓越研究中心) 其他作者： Yusuke Hirota (NVIDIA，台湾) Sung-Feng Huang (台湾大学 通信工程研究所) 机构： 国立台湾大学 通信工程研究所 (Graduate Institute of Communication Engineering, National Taiwan University) NVIDIA，台湾 国立台湾大学 人工智能卓越研究中心 (Artificial Intelligence Center of Research Excellence, National Taiwan University) 💡 毒舌点评 亮点：这篇论文最巧妙的地方在于“让模型自由发挥”——用开放生成任务代替选择题，就像撤掉考场的栅栏，让模型在真实场景下的“偏见本能”无处遁形。结合真实人声录音，评估框架的设计非常贴近实际应用，比那些用合成语音做选择题的“象牙塔测试”高明不少。 槽点：但它的“考场”只设在了英语世界（两个英文数据集），对于口音偏差的评估也仅限于非母语英语者，全球化视角稍显局限。另外，偏差的定义仍集中在“分布差异”上，对于更复杂的个体公平、交叉性公平（如同时考虑性别和口音）探讨不足，算是开了个好头，但远未终结话题。 📌 核心摘要 这篇论文旨在解决大型音频语言模型（LALM）在开放生成任务中社会偏见评估不足的问题。现有基准多依赖合成语音和选择题（MCQ），无法捕捉模型在真实交互中自然流露的刻板印象。为此，作者提出了VIBE框架，其核心是使用真实人声录音输入模型，并通过开放生成任务（如故事创作、个性化推荐）来激发模型的潜在偏见。框架采用“输入音频+任务提示 → LALM生成自由文本 → LLM提取器结构化属性 → 计算组间分布差异（nTVD）”的流程进行量化。通过对11个主流LALM在5个任务上的评估，论文揭示了三个关键发现：1) 偏见具有高度任务依赖性，叙事和推荐类任务更容易引发偏见；2) 没有模型能在所有任务上都保持低偏见；3) 性别线索通常比口音线索引发更显著的输出分布偏移，表明模型复制了社会性别刻板印象。该工作为LALM的公平性评估提供了一个更真实、可扩展的新基准。 ...

📄 Discrete Token Modeling for Multi-Stem Music Source Separation with Language Models #音乐分离， #自回归模型， #大语言模型， #音频大模型 ✅ 评分：7.0/10 | arxiv 👥 作者与机构 第一作者/通讯作者：彭博吕 (Pengbo Lyu) （阿里巴巴通义应用业务组，中国） 其他作者： 赵翔宇 (Xiangyu Zhao) （阿里巴巴通义应用业务组，中国） 刘成伟 (Chengwei Liu) （阿里巴巴通义应用业务组，中国） 闫浩音 (Haoyin Yan) （阿里巴巴通义应用业务组，中国） 梁晓涛 (Xiaotao Liang) （阿里巴巴通义应用业务组，中国） 王宏宇 (Hongyu Wang) （阿里巴巴通义应用业务组，中国） 薛少飞 (Shaofei Xue) （推断，根据邮箱mullerxue@126.com，可能为独立研究者或与阿里巴巴合作） 💡 毒舌点评 亮点：成功把“分离”这个传统的“信号复原”问题，包装成了“生成”问题，用上了时髦的大语言模型，思路清奇，算是在音频领域给LLM找到了一个新“乐子”。 槽点：处理鼓点这种“快准狠”的声音还是不行，暴露了自回归模型“慢工出细活”的本质短板；更尴尬的是，训练用的“标准答案”（伪标签）还是隔壁BS-RoFormer模型生成的，有种“用老师教学生，还怪学生超不过老师”的黑色幽默。 📌 核心摘要 本文提出了一种用于多轨音乐源分离的生成式框架，其核心创新在于将分离任务重新定义为条件离散令牌生成问题。传统方法直接在时频域估计连续信号，而本文方法首先利用HCodec神经音频编解码器将音频波形转换为离散的声学与语义令牌序列。然后，一个基于Conformer的条件编码器从混合音频中提取特征，作为解码器-only大语言模型（LLaMA架构） 的条件前缀。该语言模型以自回归的方式，按照固定顺序（人声、鼓、贝斯、其他）依次生成四个目标轨道的令牌序列，最后由HCodec解码器重构为波形。在MUSDB18-HQ基准上的实验表明，该生成方法在整体感知质量（ViSQOL）上接近顶尖的判别式方法（如BS-RoFormer），并且在人声轨道的NISQA感知质量评分上取得了最高分（2.50）。消融研究证实了可学习Conformer编码器和顺序跨轨道生成策略的有效性。然而，该方法在处理具有尖锐瞬态的鼓组时性能存在差距，且依赖于其他模型的伪标签进行训练，这限制了其性能上限。 🏗️ 模型架构 该框架是一个端到端的条件生成系统，包含三大核心组件，其完整流程如下： 输入：48kHz单声道混合音频波形 x_mix。 条件特征提取： 组件：基于Conformer的条件编码器。 流程：首先对 x_mix 进行STFT（FFT大小2048，跳跃长度960），计算120维的log-Mel频谱图 M。然后，M 被送入一个8层、12头注意力、深度卷积核大小为31的Conformer编码器，并使用旋转位置嵌入。输出为混合特征 F_mix，最后通过一个线性适配器层投影至语言模型的隐藏维度。 作用：为语言模型提供关于混合音频的紧凑、高层次的条件表示。 离散音频令牌化： 组件：双路径神经音频编解码器 HCodec（参数冻结）。 流程：HCodec包含声学路径（处理STFT频谱）和语义路径（处理冻结的HuBERT特征），两者均输出12.5Hz帧率的特征。每个路径独立使用16层、码本大小为1024的残差矢量量化（RVQ）进行量化，分别得到声学令牌 c^a 和语义令牌 c^s。为便于语言建模，两者沿时间轴交织：[c0^a, c0^s, c1^a, c1^s, ...]。 作用：将连续音频波形转换为离散的令牌序列，这是生成式建模的基础。 自回归令牌生成： 组件：基于LLaMA架构的解码器-only Transformer（16层，16头注意力，隐藏维度2048）。 输入序列：x = [<mix>, F_mix, S, c^(1), S, c^(2), S, c^(3), S, c^(4)]。其中 <mix> 是起始标记，S 是每个轨道共享的开始令牌，c^(k) 是第k个轨道的交织令牌序列。轨道顺序固定为：人声、鼓、贝斯、其他。 输出序列：y = [c^(1), E, c^(2), E, c^(3), E, c^(4), E]。E 是共享的结束令牌，用于分隔轨道。 作用：语言模型学习在给定混合条件 F_mix 和已生成令牌的历史 y_<t 的条件下，预测下一个令牌 y_t 的概率分布。通过自回归方式，模型在单次前向传播中顺序生成所有四个轨道的令牌。 输出重构：生成的离散令牌序列被解交织回声学和语义令牌，然后送入冻结的HCodec解码器，重构出四个分离的音频波形。 关键设计选择理由： ...

📄 NaijaS2ST: A Multi-Accent Benchmark for Speech-to-Speech Translation in Low-Resource Nigerian Languages #语音翻译 #音频大模型 #低资源 #基准测试 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Marie Maltais (Mila - Quebec AI Institute, McGill University) 通讯作者：David Ifeoluwa Adelani (Mila - Quebec AI Institute, McGill University, Canada CIFAR AI Chair) （根据作者列表末尾和机构推断） 其他作者： Yejin Jeon (Mila - Quebec AI Institute, McGill University) Min Ma (Google DeepMind) Shamsuddeen Hassan Muhammad (Hausa NLP, Imperial College London) Idris Abdulmumin (Hausa NLP, University of Pretoria) Maryam Ibrahim Mukhtar (Hausa NLP) Daud Abolade (Masakhane NLP) Joel Okepefi, Johnson Sewedo (Naija Wikipedia Community) 💡 毒舌点评 亮点：这篇论文是“数据正义”的典范，为长期被忽视的非洲语言搭建了一个坚实、多口音的语音翻译擂台，并拉来了所有主流方法（级联、端到端、AudioLLM）进行了一场公开、细致的比武大会，数据收集流程堪称教科书级别。槽点：创新主要集中在数据构建和基准测试本身，模型方法上基本是“拿来主义”进行评测，缺乏针对低资源场景的原创性模型设计或训练策略突破，读起来有点像一份豪华版的数据收集与模型测评报告。 ...

📄 TinyMU: A Compact Audio-Language Model for Music Understanding #音乐理解 #音频大模型 #多模态模型 #数据集 ✅ 评分：6.5/10 | arxiv 👥 作者与机构 作者：Xiquan Li, Aurian Quelennec, Slim Essid 论文中未明确标注作者所属机构（无机构名称、邮箱或地址信息）。 💡 毒舌点评 亮点：用 229M 参数的“小不点”在乐器识别上干翻了 8B 参数的巨无霸，堪称音乐 AI 界的“蚁人”——小而强悍。槽点：模型架构基本是“MATPAC++ 和 SmolLM2 的包办婚姻”，9M 的投影器充当媒婆，核心工作量似乎全花在造 350 万条 QA 数据上了；而且既然叫 TinyMU，能不能把 135M 的 LLM 也再压缩压缩？ 📌 核心摘要 本文针对现有大型音频语言模型（LALM）参数庞大（数十亿级）、训练推理成本高、难以部署在边缘设备的问题，提出了 TinyMU——一个仅有 229M 参数的紧凑音乐语言模型。为此，作者构建了 MusicSkills-3.5M 数据集，包含 350 万个涵盖多选、二元判断和开放式格式的音乐问答样本，结合基于规则与 LLM 辅助的数据合成方法，覆盖流派、乐器、情绪、结构等多维度音乐知识。TinyMU 采用 MATPAC++（85M）作为自监督音频编码器提取细粒度特征，通过仅含两层线性层的轻量投影器（9M）与 SmolLM2-135M 语言模型对齐，并在训练时冻结编码器。实验表明，TinyMU 在乐器识别（Medley-Solos-DB）上甚至超过 8B 模型，在 MuChoMusic 推理基准上达到 SOTA 模型的 82%，同时体积缩小 35 倍。然而，论文在训练超参数、硬件开销等方面披露不足，且未开源。 ...

📄 Audio-Cogito: Towards Deep Audio Reasoning in Large Audio Language Models #音频大模型 #多模态模型 #自监督学习 #知识蒸馏 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Longhao Li (西北工业大学，计算机科学学院，音频、语音与语言处理组 (ASLP@NPU)) 通讯作者：Lei Xie (西北工业大学，计算机科学学院，ASLP@NPU)，Yongxiang Li (西北工业大学，计算机科学学院，ASLP@NPU) （根据论文中提供的联系邮箱推断） 其他作者： Hongjie Chen (中国电信人工智能研究院 (TeleAI)) Zehan Li (西北工业大学，计算机科学学院，ASLP@NPU) Qihan Hu (西北工业大学，计算机科学学院，ASLP@NPU) Jian Kang (西北工业大学，计算机科学学院，ASLP@NPU) Jie Li (中国电信人工智能研究院 (TeleAI)) 💡 毒舌点评 亮点：这篇论文最亮眼的是其“全开源”的承诺和“自蒸馏”策略，构建了一个从数据到模型的完整音频推理解决方案，直接挑战了依赖闭源API（如Gemini）的“捷径”做法，为社区提供了宝贵的可复现基准。槽点：然而，讽刺的是，其评估体系的核心——MMAR基准测试的“评分细则（rubric）”——仍然依赖闭源的Gemini 2.5 Pro生成，这使得其“超越闭源模型”的结论在评估公正性上存在一丝“用对手的尺子量自己”的微妙尴尬。 📌 核心摘要 这篇论文旨在解决大型音频语言模型（LALMs）在复杂音频推理任务上能力不足且依赖昂贵闭源数据的问题。作者提出了一个名为Audio-Cogito的全开源解决方案，其核心是Cogito-Pipe——一个四阶段自动化数据构建流水线，用于生成高质量、多样化的音频推理链（CoT）数据。该流水线通过整合多源音频元数据、利用模型自身进行自蒸馏生成推理轨迹，并辅以质量验证，最终构建了一个包含54.5万个样本的大规模开源数据集。基于此数据集，作者采用自蒸馏策略对基座模型（Qwen3-Omni-Thinking）进行微调。实验表明，Audio-Cogito在专门评估推理过程的MMAR基准测试上，取得了开源模型中的最佳性能，平均准确率达71.70%，甚至在部分指标上超越了Gemini 2.0 Flash等闭源系统，同时其推理链的质量（Rubrics Score 62.22%， CRS 0.87）也得到显著提升。该工作为推动音频模态的深度、可解释推理提供了重要的开源资源和方法论参考。 🏗️ 模型架构 Audio-Cogito的模型架构并非全新设计，而是基于现有的强大基座模型Qwen3-Omni-Thinking（一个30B参数、支持音频-文本多模态输入与思考链输出的模型）进行微调而来。其核心创新在于训练数据和训练策略，而非模型结构本身。 完整输入输出流程： 输入：模型接收一个**音频信号（A）和一个文本查询（Q）**作为联合输入。 内部表示：模型内部的多模态编码器（具体结构未在本文详述，继承自Qwen3-Omni-Thinking）将音频和文本转换为统一的特征表示。 生成过程：模型被显式地训练为生成一个两部分的序列： 第一部分：思维链（C）：这是一个结构化的、逐步推理的文本轨迹，记录了模型如何分析音频线索、进行逻辑推导以得出结论的过程。 第二部分：最终回答（R）：基于前面的推理，给出的简洁、明确的答案。 输出：最终输出是思维链（C）和最终回答（R）的拼接序列 (C, R)。 关键设计选择的理由： ...