DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding

英文题目：DIFFA-2: A Practical Diffusion Large Language Model for General Audio Understanding

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.235

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#扩散模型 #音频大模型 #语音识别 #音频问答

评分：7.1/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：模型报告

👥 作者与机构

Jiaming Zhou：机构信息未能从会议 PDF 纯文本可靠映射
Xuxin Cheng：机构信息未能从会议 PDF 纯文本可靠映射
Shiwan Zhao：机构信息未能从会议 PDF 纯文本可靠映射
Yuhang Jia：机构信息未能从会议 PDF 纯文本可靠映射
Cao Liu：机构信息未能从会议 PDF 纯文本可靠映射
Ke Zeng：机构信息未能从会议 PDF 纯文本可靠映射
Xunliang Cai：机构信息未能从会议 PDF 纯文本可靠映射
Yong Qin：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

通用音频理解需要从语音、环境声和音乐混合输入回答语义、音系和副语言问题，难点在于高质量音频文本监督稀缺且自回归解码延迟高。本文以冻结 Whisper-Large-V3 编码器提取声学特征，经语义适配器做降采样对齐与声学适配器做查询压缩后送入 LLaDA-8B-Instruct 骨干，先做转写对齐再联合对齐声学线索，随后用低秩适配微调骨干并以方差缩减偏好优化精化，最后用基于因子的并行解码加速推理。与冻结骨干的 DIFFA 相比，该链条把声学建模、指令跟随与偏好对齐解耦到不同阶段，使扩散双向去噪能复用有限数据。在 MMAU Test-mini 平均准确率上 DIFFA-2 达到 69.60，超过 Qwen2.5-Omni 的 65.20 和 Kimi-Audio 的 68.20，MMSU 总体 60.45 亦领先同尺寸开源模型。结论限于离线语音到文本理解，未验证语音生成、流式与全双工外推，三路混合与对话式指令场景仍明显落后。训练使用约 11000 小时自动语音识别数据加 3767 小时监督微调数据加约 3000 偏好对，仅更新约 99M 参数，占 8.77B 总参数的 1.1%。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，先把任务边界说清

这篇解读的输入是论文正文与本次收到的官方原图像素，目标是让刚进入语音音乐音频方向的研究生能核对并复述 DIFFA-2 的方法。必须保留的信息包括模型三件套的冻结与更新关系、4 阶段课程的数据与目标、推理时的掩码去噪与加速策略，以及 3 个主基准上的可比条件与关键数字。输出是 1 篇按学习依赖展开的技术解读，不做营销判断。

DIFFA-2 研究的任务是通用音频理解，也就是给定一段音频与一段文字问题，输出文字回答。音频覆盖语音、环境声与音乐，问题覆盖感知与推理。感知要求听出语义、音系与副语言属性，推理要求基于听到的内容做选择与组合。例如同样一段带背景音乐的说话，既要转写说了什么，也要判断说话人情绪、背景事件与音乐风格。论文把语音对话能力单独放在 VoiceBench 做辅助评估，主战场明确为 MMSU、MMAU 与 MMAR 3 个理解基准。

为什么不是把声音丢给大模型就结束。第一是监督贵，高质量跨语音声音音乐的音频文本对远比纯文本难收集；第二是推理慢，自回归模型必须逐词串行生成，长回答与交互场景延迟明显。论文引用的文本域研究指出扩散模型在独特数据受限时仍能通过超密计算与隐式增强继续提升，这正是音频场景想要的特性。

扩散大语言模型 × 自回归解码： 自回归解码负责严格从左到右 1 次生成一个词，天然适合单调转写但必须串行等待；扩散大语言模型负责在部分掩码序列上迭代去噪，可利用双向上下文并行更新多个位置。DIFFA-2 搭配两者的理由是音频理解需要同时看前后文与多线索，组合意义是用扩散的并行修正能力替代纯串行生成，同时保留语言主干的理解能力。

沿一个样本走一遍有助于建立全局感。输入是一段波形与一道选择题，波形先经冻结的 Whisper-Large-V3 编码成帧级表示，再经语义与声学两路适配器变成语言模型可读的音频嵌入，与文字提示拼接后保持可见。训练时只有回答被随机掩码，模型学习在音频与提示条件下恢复被掩码词；推理时回答从全掩码出发，经多步预测与低置信重掩码逐步精化，最终输出选项字母。理解这条主线后，再看各阶段如何分工就不会迷路。

同输入同目标下，自回归音频模型与扩散文本模型各走了哪条路

相关工作按同输入、同目标、同监督与同运行阶段对照才有意义。第一类是主流自回归音频语言模型，输入同样是音频加文本，目标同样是理解与对话。常见做法是用语音编码器加轻量桥接连到自回归大模型，例如 Qwen2-Audio、SALMONN、Audio-Flamingo2 等全能模型进一步支持流式与多模态，另一支把音频离散化成 token 序列，Kimi-Audio 则融合离散与连续表示。它们的共同点是解码仍是自回归逐词生成，优点是转写这类单调任务稳定，代价是并行度受限。

第二类是扩散大语言模型，输入是纯文本，目标是文本生成与推理。早期离散扩散工作验证了可行性，LLaDA 把掩码预测扩展到大模型规模并在理解推理上取得强结果，后续有免训练加速、键值缓存复用与自适应长度预测。它们提供双向上下文与并行更新，但原文明确指出 LLaDA 及其变体不考虑音频编码器与音频课程，不能直接当作音频方案。

DIFFA 作为直接前身值得单独说明。它在匹配数据、适配器与训练流程下把 8B 自回归主干换成扩散对应物，在 MMAU 与 MMSU 上取得明显提升，提示生成范式本身会影响音频表现。但论文也明确其局限：主要用语音监督、编码器较小、扩散主干冻结、未用大规模指令数据、偏好目标与实用加速。这正是 DIFFA-2 要补的缺口：更大的 Whisper 编码器、双适配器、大规模监督微调、方差缩减偏好优化与基于因子的并行解码。

要回答的核心问题是什么，难在哪里

核心问题是扩散主干能否在真实数据与延迟预算下成为与顶级自回归音频模型可比的实用主干。这不是能否在小规模验证集上跑通，而是能否在仅用全开源语料、仅更新约 1% 参数的条件下，在 MMSU、MMAU 与 MMAR 上稳定超过上一代 DIFFA 并接近强自回归基线，同时给出可部署的解码延迟选择。

难在三处。第一是跨模态对齐要同时解决说什么与怎么说，语义对齐需要转写级时间对应，声学对齐需要韵律情感与非语音事件，而后者缺乏大规模干净标注。第二是扩散训练目标的似然估计方差大，偏好学习若直接套用直接偏好优化会不稳定，尤其输入是长而丰富的音频序列时。第三是推理加速不能只报步数，必须在真实问答精度基本不掉的前提下降低实时率，否则并行只是纸面收益。论文把这三难分别对应到双适配器结构、4 阶段课程与因子并行解码，评价时也分别用感知推理分解、阶段消融与标准加加速两种解码对照来验证。

方法全景：三件套加四阶段加两档推理如何串起来

DIFFA-2 沿用 DIFFA 总体框架但强化声学表示与跨模态对齐。结构上是三件套：冻结的 Whisper-Large-V3 编码器、双适配器音频接口、扩散语言主干 LLaDA-8B-Instruct。训练上是 4 阶段渐进课程：第一阶段语义对齐、第二阶段语义声学联合对齐、第 3 阶段用低秩适配解冻主干做大规模监督微调、第 4 阶段做方差缩减偏好优化。推理上是迭代去噪加半自回归分块，再叠加基于因子的并行解码做实用加速。

下图是全文唯一可像素核对的总览，覆盖双适配器结构、第一到第 4 阶段的训练组织与基于扩散的迭代推理，阅读时先抓主路径再看分支汇合。

看图路径： 1. 先看顶部三格 Stage1 到 Stage3-4 中语音编码器冻结标识与适配器可训练标识的变化；2. 再看左下(a) 中文本与波形保持可见、只有回答被随机掩码的输入组织；3. 再看中间(b) 中优选与拒绝分支的掩码模式如何在策略与参考模型间交叉共享；4. 最后看右下(c) 中回答从全掩码出发经迭代去噪逐步露出绿色已确认词的过程

论文图 1。原论文 Figure 1：“Overview of DIFFA-2, including the dual-adapter architecture, multi-stage training pipeline (Stages 1–4), and iterative diffusion-based inference for general audio understanding.”。

从像素可见，顶部一行用火焰与雪花图标区分可训练与冻结：第一阶段只有语义适配器可训练，第二阶段语义与声学适配器都可训练，第三到第 4 阶段扩散主干侧也变为可训练，而语音编码器始终冻结。左下面板显示训练第一到第 3 阶段的组织，文本与波形作为可见条件，只有回答被随机掩码后送入 DIFFA-2 恢复；中间面板显示第 4 阶段优选与拒绝 2 分支在策略模型与参考模型间交叉比较；右下面板显示推理从全掩码回答出发，经多步预测与重掩码逐步生成。这一总览把后文所有冻结更新关系与掩码对象都固定下来，复述时应以它为准。

组件与计算：编码器、两路适配器与扩散主干各自算什么

编码器选择 Whisper-Large-V3 并在全部阶段保持冻结。冻结意味着不更新其约 6 亿量级参数，梯度只流向适配器与后期的低秩模块，监督来源是转写与问答回答的重构损失。这样做的好处是训练量小且避免破坏已有的语音表示，代价是编码器本身的声学缺陷无法通过本流程修正。论文未报告解冻编码器会怎样，解读时不应推测。

语义适配器 × 声学适配器： 语义适配器负责把 50 Hz 音频特征经卷积下采样到 12.5 Hz 并线性映射到文本语义空间，承担内容对齐分工；声学适配器负责用两层 Q-former 加 64 个可学习查询向量 attend 中间层编码状态，承担韵律、情感、环境声与音乐等非语言线索摘要分工。搭配理由是一路做时间对齐的内容流，一路做紧凑的风格流，组合意义是让扩散主干同时看到说什么与怎么说。

具体实现上，语义适配器是两层卷积下采样加两层线性投影，把时间分辨率从 50 Hz 降到 12.5 Hz，输出 temporally aggregated 的内容流；声学适配器是两层 Q-former 加 64 个可训练查询向量，注意力汇聚中间层编码状态，输出紧凑的声学摘要流。2 流都作为提示的一部分插入主干并始终可见，训练与推理都不被掩码。主干是标准 Transformer 解码器参数化的掩码预测器，建模给定可见音频与提示条件下恢复被掩码回答词的分布。

推理计算按步推进。先把提示与音频填充到目标长度，回答初始化为全掩码。每个转移从当前受损序列预测被掩码词，取最大后验作为初值，再按置信度把最低的一部分重掩码形成下一步输入，如此迭代固定步数。论文同时采用半自回归策略：回答按从左到右的块推进，块内并行预测并跨扩散步选择性重掩码，平衡质量与效率。

半自回归分块解码 × 基于因子的并行解码： 半自回归分块解码负责把回答按从左到右的块推进、块内并行预测并跨步重掩码，承担质量与效率折中分工；基于因子的并行解码负责按置信度排序自适应决定一块内并行解多少词，承担按难易调节并行度分工。搭配理由是固定阈值难以适应不同不确定性，组合意义是自信时多并行、不确定时保守，从而在几乎不掉点下降低实时率。

因子解码的实现是先把块内候选词的边际置信度降序排列，选择满足因子准则的最大并行数，准则形式为并行数与最低入选置信度的函数受因子超参数控制。直觉是自信时激进并行，不确定时保守。论文在附录给出判定式与实现细节，正文强调它是在扩散去噪之上的免训练加速，不改变模型权重。

四阶段如何构造数据、冻结谁、优化什么

训练数据按阶段组织。第一阶段用 LibriSpeech 与 GigaSpeech 等大规模转写语料做语义对齐，把识别包装成指令跟随任务，用 Qwen3-32B 生成 25 种指令模板，例如请转写音频或问录音的确切内容。第二阶段转向声学丰富化，构建 4 类音频问答：基于字幕的问答利用多域音频与副语言标注合成 grounded 答案；直接音频问答把 Alpaca、Natural Questions、TriviaQA 与 WebQuestions 等文本问答经 CosyVoice2 转为语音并按答案长度分简单复杂与共情模板；多选问答用 AudioMCQ 整合多源数据强调细粒度判别。

再混入 5% 的第一阶段转写数据以保留声学 grounding。第 3 阶段沿用第二阶段的大规模监督数据但解冻主干，第 4 阶段用约 3000 个偏好对做精化。

掩码重构训练 × 偏好优化： 掩码重构训练负责把回答随机掩码后要求模型恢复被掩码词，建立基础的音频条件生成能力；偏好优化负责用选择与拒绝回答的对数似然比学习更忠于细微音频线索的回答。搭配原因是先学会答对，再学会在性别、节奏、声音事件等易错细节上更敏感，组合意义是分阶段先对齐后精化。

冻结与更新关系是复现关键。第一阶段冻结扩散主干只训练语义适配器；第二阶段仍冻结主干但联合训练语义与声学适配器；第 3 阶段用低秩适配微调扩散主干，秩为 8、缩放因子为 16，在保持训练高效的同时缓解灾难性遗忘；第 4 阶段做偏好优化。

论文报告轻量组件加低秩参数合计约 99M，约占总参数的 1% 量级。优化器采用分阶段递减学习率，前 3 阶段用 64 张 A100、最后阶段用 4 张 A100，全流程约 5 天。

监督目标分两类。前 3 阶段是监督微调的扩散掩码预测损失：音频嵌入与文本提示保持可见，只有回答以概率采样掩码比被破坏，模型最大化被掩码位置的对数似然。特殊词同时充当填充与序列结束标记，模型必须学会预测它。第 4 阶段是方差缩减偏好优化：先用蒙特卡洛证据下界估计回答的对数似然，样本预算为 4，再用直接偏好优化风格的目标比较优选与拒绝回答的似然比。

方差缩减偏好优化 × 反偶采样： 方差缩减偏好优化负责在扩散模型的证据下界估计上做直接偏好优化，承担稳定学习分工；反偶采样负责让策略模型与参考模型共享完全相同的掩码模式以抵消随机性，承担降方差分工。搭配理由是扩散似然需蒙特卡洛估计而噪声大，组合意义是在长音频输入下仍能稳定比较优选与拒绝回答。

偏好数据构造同样具体。从高质量问答中采样音频、问题与参考答案，提示语言模型生成流畅但含细微音频事实错误的拒绝回答，例如性别、节奏或声音事件写错，只保留参考明显更优的对。训练时策略模型与冻结参考模型共享完全相同的掩码模式，实现扩散轨迹上的反偶采样，从而稳定长音频输入下的偏好学习。论文未给出梯度方差的具体数值曲线，解读时只讲机制与设计，不虚构降方差幅度。

实验条件：数据量、基线、基准与解码配置如何对齐

数据预算按原文交代。第一阶段用约 11000 小时转写数据，第二到第 3 阶段用约 3767 小时精选监督微调数据，第 4 阶段用约 3000 个偏好对，全部来自全开源语料。附录给出按声音、音乐与语音划分的样本数与去重后音频小时数，以及指令模板与问答生成提示。复现时应先按附录核对语料清单与小时数，再核对各阶段混合比例，尤其是第二阶段中 5% 转写回放的比例。

基线覆盖专有与开源两档。专有参照包括 GPT-4o-Audio 与 Gemini 2.0 Flash，开源重点是 Qwen3-Omni、Qwen2.5-Omni、Kimi-Audio 与第一代 DIFFA，完整名单还包括 MiniCPM-O、Qwen2-Audio、Phi-4-multimodal、Baichuan 系、GLM-4-Voice、Salmonn、LTU 等。主干对照另设 LLaMA-Audio，基于 LLaMA 3.1 并用相同数据与课程训练，用于分离主干范式的影响。

基准分工明确。MMSU 评估 5000 个音频问答三元组跨 47 任务的感知与推理，含语义、音系与副语言三域；MMAU 用人标多选题评估语音音乐环境声上的高阶推理，报告 Test-mini 与 Test；MMAR 评估单模态与混合模态下的组合推理，含声音音乐语音三元混合；VoiceBench 把文本基准经语音合成转为音频查询，评估知识、指令跟随与安全，只作语义对话能力的辅助评估。推理配置按基准分别设置回答长度、分块长度与去噪步数，去噪预算与序列长度同步以保证生成质量，因子并行解码的因子设为 1.0，推理实验在单张 A100 上进行。

主结果测什么：在可比规模下谁赢、赢在哪、代价是什么

比较问题是同级开源模型中谁的音频理解总体更强，公平条件是相近参数规模与相同基准提示，指标方向是准确率越高越好。下表聚焦 MMSU 总体准确率，保留论文实际可运行的 DIFFA-2 标准解码与两个最强同级自回归基线，不引入事后最优或 oracle。

基准	指标口径	DIFFA-2	Kimi-Audio	Qwen2.5-Omni
MMSU	总体准确率	60.45	59.28	59.09

表后解释需同时讲收益与代价。DIFFA-2 以 60.45 分居同级开源首位，略超 Kimi-Audio 与 Qwen2.5-Omni，并在感知平均与推理平均上分别取得领先，尤其副语言感知与语义音系推理提升明显，相对第一代 DIFFA 总体提升约 4.41 分。代价是与更大规模的 Qwen3-Omni 仍有约 5 分差距，且加速版 DIFFA-2 带因子并行解码时总体为 60.10 分，略低于标准解码，说明并行带来延迟收益的同时有轻微精度折损。未胜出项是部分感知子域并非全胜，复述时不应把总体领先说成每项都赢。

MMAU 上 DIFFA-2 在 Test-mini 与 Test 平均分别为 69.60 与 67.00 分，同样居开源首位并接近更大或专有系统，强在声音与语音，音乐略逊于 Kimi-Audio 与 MiniCPM-O 但无音乐专用设计。相对第一代 DIFFA 平均从 49.71 分跃升至 69.60 分，支持声学建模与多阶段训练泛化到高阶音频理解的判断。MMAR 更考验组合，下一张表单独呈现。

基准	评测对象	DIFFA-2 平均准确率	DIFFA 平均准确率	论文报告的差值
MMAR	单与混合模态总体	50.80%	37.20%	+13.6 points

该表显示 DIFFA-2 以 50.80% 大幅超过 DIFFA 的 37.20%，差值约 13.6 个百分点，并在单模态声音音乐语音上一致改进，缩小了与 Qwen2.5-Omni 的差距。具体代价是三元混合的最难档仍弱于 Qwen2.5-Omni，论文归因于训练缺乏混合模态监督，这是一个明确的未评测边界而非模型必然缺陷。VoiceBench 作为反证同样重要：DIFFA-2 总体 59.63 分，明显低于重度指令调优的全能模型，但优于 DIFFA 的 48.22 分与多个开源基线，支持其设计聚焦细粒度理解而非大規模对话调优的解释。

阶段消融与解码对照：哪一步带来增益，哪一步换延迟

消融问题是增益来自数据课程还是主干本身，条件是 DIFFA-2 与 LLaMA-Audio 用相同数据与分阶段课程。仅到第二阶段适配器对齐时，DIFFA-2 已在 MMAU 与 MMSU 总体上超过 LLaMA-Audio 第二阶段，提示相同语义声学对齐下扩散主干受益更多。从第二阶段到第 3 阶段两者都提升，但 DIFFA-2 在推理导向指标上增益更大；加入第 4 阶段方差缩减偏好优化后达到最优且感知推理更均衡。论文把转写与理解的差异点明：第一阶段 LibriSpeech 上自回归对照词错误率略低，符合严格从左到右对单调转写的优势，但 DIFFA-2 开因子并行后实时率大幅下降并优于自回归基线，而词错误率仅适度上升。

操作层面的可复述点是解码对照必须同时报告精度与实时率。标准扩散解码在理解基准上精度最高，因子并行解码精度接近标准但延迟明显更优，为实用部署提供可调旋钮。论文未报告在所有设置下都快于强自回归音频模型的系统级对比，因此不应承诺全面更快，只讲在转写任务上用该加速方案可达到有竞争力的延迟。

另一个细节是训练资源与参数量的对应。轻量适配器加低秩模块约 99M 可训练参数，约占 1%，前 3 个阶段 64 卡、最后阶段 4 卡、总计约 5 天。复现时应先复现阶段二的适配器对齐增益，再复现阶段三解冻主干的推理提升，最后再加偏好优化，避免一步全开难以归因。

边界与未验证项：哪些结论不能推广

论文明确三项局限。第一是目标偏向细粒度音频理解而非开放域口语对话，对话与对齐风格监督有限，这与 VoiceBench 中游表现一致。未来需要联合优化理解与对话的平衡配方，但原文未给出该配方的具体比例。第二是仅评估离线语音进文本出，不涉及语音生成、流式与全双工交互，也未评估用户中心的延迟与交互质量。第三是仅用免训练的因子并行加速，观察到明显延迟收益且精度损失可忽略，但尚未在所有设置下一致快于强自回归模型，作者将其视为系统级设计选择而非扩散主干的根本局限。

未验证推测需用可能待验证表达。扩散的 corruption 重构目标在文本域被显示更有效地利用有限数据，论文据此解释音频问答上的优势，但也承认未完全分离主干预训练效应，因此不能说已证明范式因果。同样，缺失混合模态监督可能是三元混合偏弱的原因，但未做补充混合数据的对照实验，解读时只转述作者的归因而不当作定论。资源状态方面，未发现来源绑定且完成验证的开源链接，本次解读不得声称代码模型或数据当前可用，只能按论文自述其将开源训练与推理管线。

复现先做什么：按依赖顺序核对的清单

先核对数据与提示。按附录重建 25 种转写指令、4 类问答的生成提示与偏好数据的拒绝回答生成提示，核对 11000 小时、3767 小时与约 3000 偏好对的数量级，以及第二阶段 5% 转写回放是否加入。音频小时数是去重后口径，样本数与小时数不要混用。

再核对冻结与参数。确认 Whisper-Large-V3 全程冻结、第一阶段只训语义适配器、第二阶段训双适配器、第 3 阶段加秩 8 缩放 16 的低秩模块、第 4 阶段做 4 次独立采样的偏好优化并共享掩码模式。轻量部分合计约 99M 的量级用于检查是否误解冻主干。

再核对训练与推理超参数。分阶段递减学习率、低秩配置、偏好优化的样本预算与强度系数、推理的回答长度分块长度与去噪步数、因子超参数取 1.0，都按附录表格设置。推理先跑标准解码得到精度上限，再开因子并行比较精度与实时率，避免只报一端。评估时 MMSU、MMAU 与 MMAR 用理解提示并只输出选项字母，VoiceBench 单独评估对话能力，不把两类分数混排。最后补一项验证是混合模态与对话数据的增补实验，这正是原文指出的短板，也是判断改进是否成立的关键。

何时值得尝试这种扩散音频路线

当任务是通用音频理解且高质量音频文本监督有限、回答偏中短选择与问答、延迟要求可用并行解码调节时，DIFFA-2 路线值得尝试。它的可复用动作很具体：冻结强语音编码器、用内容流加声学摘要流双适配接入扩散主干、先做转写语义对齐再做声学丰富的问答微调、最后用共享掩码的偏好优化精化细节，并用因子并行在精度与实时率间 trade-off。

当任务是单调长转写要求最低词错误率，或开放域语音对话与语音到语音生成，或 3 路混合音频的强组合推理时，不应直接套用本文配置。前者自回归仍有小幅优势，后者需要额外的对话监督与流式生成设计，混合推理需要补充混合模态监督。论文的总体判断是扩散可作为大规模音频理解的有竞争力主干，但对话调优与更先进的文本扩散加速迁移仍是正交的未来工作。初学者复述时抓住这一句即可：用很少的可训练参数与全开源数据把扩散主干做实，在理解基准上追平同级自回归，代价是转写小幅落后与对话能力尚未补齐。