从感知到干活：Qwen3.8-Omni-Flash 如何把长音视频变成可执行的智能体工作流

英文题目：Qwen3.8-Omni: Towards Native Omni-Modal Agents

标签：#音视频理解 | #多模态学习 | #语音对话系统 | #混合专家模型

评分：7.9/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.1/0.5 | 工程/实践 1.3/1.5

👥 作者与机构

• Qwen Team：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

该工作面向长音视频生产力任务，输入为文本、图像、视频、单声道音频与多通道空间音频，输出为实时文本或语音回复及多步工具调用，难点在于长时序证据稀疏、token开销大与现有智能体框架缺乏流式音视频支持。方法链为四步：先用视觉编码器加通用音频编码器即AuT加空间音频编码器即Spatial AuT与稀疏混合专家主干做统一感知对齐，再经多教师蒸馏把推理、代码与视听专家能力并入统一策略，接着用强化学习校准跨模态一致性与长对话稳定性，最后由插件与实时框架实现按需取证与异步执行。相比以往以感知为主的全模态模型，差异在于把推理与智能体能力从文本向音视频迁移并以主动取证替代一次性密集输入。在OmniVideoBench基准下，Qwen3.8-Omni-Flash智能体取证设置的准确率为67.8，高于静态直接理解设置的准确率63.4。适用边界为短剧翻译、音乐视频生成、会议纪要与教程转技能等生产流程，开放域长电影与强空间推理仍不稳定。原文声称29项评测平均分相对前代提升超25%，每小时音频与音视频API输入成本分别降低超98%与93%，但未披露训练与部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/QwenLM/Qwen-MM-Plugins — 链接可访问（HTTP 200）

• 代码相关资源：https://github.com/QwenLM/Qwen-Live-Harness — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

这篇解读的输入是论文正文证据与 3 张官方原图像素，目标是让刚进入语音音乐音频领域的研究生能复述方法与实验条件。必须保留的信息包括模型结构中编码器与主干的分工、预训练与后训练的数据与参数安排、智能体执行与直接解释的对照条件、关键基准上的基线数字与指标方向，以及开源框架的当前可用状态。输出是 1 篇按学习依赖展开的技术解读，不做营销式判断，所有数字只用原文连续原句支撑。

论文研究的不是单纯把声音转成文字，而是让原生多模态模型承担长程生产力任务。例子如给定一段 2 小时的会议视频，要求输出纪要、行动项并能发邮件建任务；再如给定一首歌，要求分析歌词结构与音乐事件后规划分镜并生成音乐视频。这些任务的共同点是输入很长且证据分散，输出需要全局规划、时间推理与对生成内容连贯性的评估。初学者容易误以为只要把全部帧和音频 1 次性送入大上下文就能解决，论文要纠正的正是这种稠密处理思路的高成本与推理困难。

为此论文提出 Qwen3.8-Omni-Flash，一个原生多模态智能体模型。白话说，原生指文本图像音频视频在预训练早期就一起训练，而不是先训好文本模型再外挂语音模块；智能体指模型能规划、调用工具、委派子智能体并根据环境反馈迭代。论文同时给出两个开源框架来承载这种用法，后文会按任务路线、方法全景、组件计算、训练推理、实验条件、结果反证、复现收束的顺序展开。

已有路线在做什么，本文与它们是什么关系？

按同输入同目标来对照，已有智能体系统多集中在软件开发、文本知识工作、图形界面操作或协作助手，多模态能力主要被用作感知。也就是说，声音和图像被用来看懂当前屏幕或回答问题，但很少被用来规划 1 次视频剪辑或电影解说。论文的定位是补上以视频为中心的生产力工作流，这需要把感知延伸到规划与执行。

按同监督同运行阶段对照，传统长视频理解采用静态做法，1 次送入全部采样帧与伴随音频。传统多说话人会议分析采用级联流水线，依次做识别、对齐、说话人日志再接内容分析。传统视频翻译分成语音转写、文本翻译、配音、混音与后期，跨工具协调复杂。论文把这些都重构成智能体工作流：模型先做粗粒度分析，再按需调用工具取回相关音视频片段，必要时并行委派子智能体分别处理音频与视觉。这种由粗到细的按需取证是与静态基线的本质区别，后文实验专门设置直接解释与智能体执行的对照来验证。

实时交互在论文中被明确框定为系统级挑战，需要编排上下文与记忆管理、工具使用与子智能体委派。这与只优化语音合成自然度或首包延迟的路线不同，论文既改进说话者模块的表达力与流式效率，也提供面向桌面音视频输入与外部后端的生活框架。理解这层关系有助于避免把实时交互成绩只归因于模型本身。

要解决的三个具体困难是什么？

论文把目标定为提升智能体生产力，并点出 3 个关键挑战。第一是视频输入的存储传输成本与词元预算大，长表单在智能体工作流中做稠密处理很贵。第二是多数已有框架不支持在主模型上下文中处理流式音视频输入。第三是面向生产力的全模态应用本身探索不足。

对应的解法在引言就已布局。针对成本问题，论文发展信息抽象与按需访问模块，包括把视频转成详细字幕的 Omni-Caption、转成结构化文本摘要的 Omni-Video2Note、支持智能体懒加载视听内容的 Omni-Memory，以及把教程或标准操作流程视频转成可执行技能的 Omni-Skill-Creator。当抽象信息或选择性检索足够时，就不必稠密处理整个音视频。针对框架问题，这些模块被集成进轻量插件框架，已有智能体框架可以通过它访问视听能力。针对应用问题，插件自带生产力模块，例如支持长音视频翻译、影片解说与从音轨生成音乐视频的 Omni-Chatcut。

对音频方向的研究生，关键是理解问题定义中的时间维度。音频、空间音频与视频表示都带有显式时间信息，模型需要把音频事件与视觉事件对齐并在长序列上推理。空间音频是这一代新增的输入模态，其表示与已有音视频表示时间对齐，保留既定的时间戳约定。这决定了后文编码器与位置编码的设计。

方法全景：一个样本如何走完输入到输出？

先沿一个样本走完全程。假设输入是一段会议视频加用户提问请整理纪要并跟进任务。视频帧进入视觉编码器，视频中抽出的音频重采样到 16 千赫兹并转成 128 通道梅尔频谱后进入通用音频编码器，多通道部分并行进入空间音频编码器。3 路表示经各自适配器投影到语言主干的共享表示空间，按时间顺序排成统一多模态序列并保留文本时间戳。语言主干基于查询做规划，决定先取摘要还是直接取片段，调用记忆或字幕工具获取证据，必要时委派子智能体并行分析音频与视觉，最后生成纪要文本或实时语音回复，必要时调用外部工具发邮件或建任务。

这个流程对应论文总览图要表达的统一端到端能力。以下导读针对本次收到的官方原图像素，图注指出模型能处理文本音频图像视频并生成实时文本或语音回复，支持语音对话视频对话与视听工具使用。

看图路径： 1. 先沿左侧模型框到右侧主智能体框看感知到编排的主路径；2. 再对比中间五类插件在记忆剪辑字幕技能笔记上的分工；3. 最后看下方四个生产案例如何复用规划执行检查的闭环

论文图 1。原论文 Figure 1:：“Qwen3.8-Omni-Flash is a unified end-to-end model capable of processing multiple modalities, such as text, audio, image and video, and generating real-time text or speech response.”。

上图上半部分显示左侧模型框包含思考者与视觉编码器和空间音频编码器，右侧主智能体框包含编排、工具调用、上下文管理与执行结果，中间以齿轮衔接 5 类插件，分别对应核心感知、层次记忆、剪辑翻译、长视频字幕、技能创建与视频转笔记。下半部分用 4 个横条展示电影解说、自我进化、短剧翻译与音乐生成音乐视频的完整流水线，每个都包含主智能体规划、多个动作或工具智能体执行、检查与重试的闭环。初学者复述时应抓住主路径是感知到规划到工具到检查，而不是只记住插件名字。

Qwen-MM-Plugins × Qwen-Live-Harness： Qwen-MM-Plugins 负责把视听能力封装成轻量插件接口让已有智能体框架调用抽象摘要与按需取段工具，Qwen-Live-Harness 负责把实时多模态交互组织成上下文内存管理、异步工具调用与子智能体委派的系统，二者分工是离线生产力工具与在线实时编排，组合后模型既可作主智能体也可作子智能体嵌入生产流程。

需要强调的是，模型可以作为原生多模态主智能体直接运行，也可以作为调用这些工具的子智能体被已有框架调用。这种双角色设计是论文面向生产部署的关键选择。

编码器与主干各自做什么，如何拼成统一序列？

主干是思考者使用的混合稀疏混合专家语言模型，继承自 Qwen3.8-Next。白话说，混合专家指每个词元只激活部分前馈专家以扩大容量同时控制计算；词元混合指交替使用门控 DeltaNet 与注意力层，前者用固定尺寸循环状态概括历史，后者保留对上下文词元的直接访问。注意力层经过预热与稀疏训练过渡到稀疏注意力，用轻量索引器对压缩微块打分并选择相关块，核心注意力只在选中块内的原始词元上运算。预训练使用 256K 词元的原生窗口，后训练后扩展到 1M 词元。

感知侧有 3 个编码器。视觉编码器处理图像与动态采样视频帧。通用音频编码器用 4 个 2 维卷积块把声学特征下采样 16 倍，再经时间自注意力输出上下文表示，输出速率为 6.25 赫兹，约每 160 毫秒一个词元。空间音频编码器是并行支路，先把多通道音频表示成 1 阶 Ambisonics 格式，再处理其复数短时傅里叶变换，保留实部与虚部以保存通道间幅度与相位关系，再经卷积前端、时间自注意力与输出投影得到空间表示。3 路输出经模态专用适配器投影到共享空间。

Thinker × Talker： Thinker 负责理解多模态输入并生成用于推理、对话和工具调用的文本，Talker 负责把 Thinker 的高层表示转成流式语音令牌并合成波形，二者搭配的理由是把慢思考的文本规划与低延迟的语音渲染解耦，组合后模型既能做长程推理和工具调用，又能边生成文本边出声。

位置与时间安排是初学者易错点。文本用约 250K 词表的字节级字节对编码分词。图像与视频帧经视觉编码器处理，通用音频按上述前端处理，多通道音频并行得到空间表示。所有表示按时间顺序统一建模并保留显式文本时间戳。空间音频嵌入的位置编号类比同一视频帧内不同空间位置的视觉块：同一时间片共享时间索引但保留不同空间位置索引，既保持与音频流对齐，又能区分每个时刻的多个空间嵌入。

以下导读针对音频编码器原图，图注强调通用编码器经卷积下采样与自注意力提取上下文表示，空间支路捕捉方向与空间线索。

看图路径： 1. 先看左侧音频输入经滤波器组特征进入下采样卷积与自注意力的纵向流程；2. 再看右侧可选多通道输入经复数特征进入空间编码器的并行支路；3. 最后看顶部虚线标注的两路词元如何交织输出

论文图 2。原论文 Figure 2:：“Overview of the audio encoders in Qwen3.8-Omni-Flash.”。

上图左侧显示音频输入先转成滤波器组特征，再经 4 倍下采样卷积与 32 倍自注意力进入通用编码器；右侧显示可选的多通道输入先转成复数特征，再进入空间编码器；顶部虚线标注两路词元交织输出。复述时要说清两路输入特征不同、处理并行、输出时间对齐，而不是说成同一个编码器的两种模式。

AuT × Spatial AuT： AuT 负责从单通道音频中提取声学与语言内容表示，Spatial AuT 负责从多通道 1 阶 Ambisonics 的复数短时傅里叶变换中保留通道间幅度和相位关系以提取方向距离运动等空间线索，二者搭配是因为内容理解与空间定位需要不同前端，组合后按时间对齐交织成统一序列供语言主干联合推理。

主干的循环与稀疏检索如何配合长多模态序列，可单独记忆为效率与精度的分工。

Gated DeltaNet × Qwen Sparse Attention： Gated DeltaNet 负责用固定尺寸循环状态概括历史上下文以控制长序列开销，Qwen Sparse Attention 负责用轻量索引器对压缩微块打分并只在选中块上做原始词元的细粒度注意力，二者搭配是为兼顾长程记忆效率与按需精确检索，组合后主干能在 1000000 词元的多模态序列上做循环概括加稀疏取回。

实时版本的思考者与说话者结构放在下一段的系统图导读中展开，底层编码器与主干保持对应关系。

看图路径： 1. 先沿底部前端到中间主智能体的音视频输入方向确认信号来源；2. 再看中间思考者与说话者与视觉和空间编码器的层叠关系；3. 最后看顶部子智能体监视器工具与左右上下文记忆的调用回路

论文图 3。原论文 Figure 3:：“The overview of Qwen3.8-Omni-Flash-Realtime and Qwen-Live-Harness.”。

上图中间是主智能体框，底层并排视觉编码器与空间音频编码器，中层是思考者与说话者，顶层是文本回复函数调用与音频回复，向上连接子智能体监视器与搜索代码检索工具，向左右连接上下文管理与内外部记忆，向下经前端模块连接连续音视频帧。初学者应沿信号自下而上、决策自上而下、记忆左右回写的 3 个方向复述，避免把监视器与工具混为一层。

预训练与后训练如何安排，哪些参数冻结更新？

预训练数据覆盖多语言多方言与多模态，包括图像文本、视频文本、音频文本、视频音频、视频音频文本与纯文本。论文沿用上一代的时间建模与音视频时间戳表示，不做修改，新增空间音频并使其与已有表示时间对齐。预训练分 4 个阶段，全部使用 262144 词元的原生序列长度。第 1 阶段冻结语言模型参数，只对齐视觉编码器与两个音频编码器，先训各自适配器再训编码器。

第二阶段解冻全部参数，用约 2,500,000,000,000 词元的大规模数据全面学习，其中文本 1.1 万亿、音频 0.7 万亿、图像 0.35 万亿、视频 0.15 万亿、视频音频 300,000,000,000，音频含单通道与多通道。第三阶段固定预训练主干，只用稠密注意力的分布作监督来预热稀疏注意力索引器，此时仍用稠密注意力让索引器先学会块级选择。第四阶段启用稀疏注意力并联合训练主干与索引器，使模型适应稀疏模式同时保留多模态与长上下文能力。

后训练分 2 个阶段。第 1 阶段是多教师蒸馏，先从预训练基座出发独立优化多个领域专家，覆盖通用指令、基础推理、代码、智能体、视觉理解与音频理解，每个专家经监督微调与强化学习得到，再用专家生成的高质量轨迹组成统一多模态混合数据蒸馏到单一学生模型。论文给出的安排理由是相比直接在异构混合数据上微调基座，专家蒸馏提供更强更一致的监督，减少模态与任务干扰，并为强化学习提供稳健初始策略。

第二阶段是从蒸馏检查点出发的统一强化学习，任务混合覆盖推理、代码、智能体执行、多模态理解、音频条件对话与多轮交互，奖励同时评估任务正确性与交互质量，鼓励跨输入模态一致、对口语查询的自然回应、稳定的语言与人设、长对话的指令遵循，长程智能体任务按任务结果与执行结果而非模型自报完成度给奖。

说话者模块有独立的 5 阶段管线。先建平衡数据集做预训练，再引入复杂对话上下文做持续预训练，随后为多语言训练单语专家并用多教师在策略蒸馏缓解口音问题，再做轻量说话人微调捕捉目标音色，最后用强化学习对齐思考者偏好并优化说话者。论文未报告各阶段的具体步数与学习率，复述时应明确这是缺项，不从模型名推定实现。实时推理侧，思考者做分块流式输入处理，说话者消费流式文本输出并用自适应对齐交织文本与语音词元，每帧用多词元预测输出残差码本，再经因果码转波形解码器增量重建，上采样到 48 千赫兹以提升高频保真。

实验测什么，与谁比，条件是否一致？

评估围绕原生全模态智能体所需能力组织。先是通用与模态专用能力，含文本、视觉、音频与视听，覆盖感知推理以及代码办公与视觉智能体任务；再是全模态智能体能力，含多模态工具使用、网页搜索与智能体式音视频取证。文本与视觉任务对比 Qwen3.8-Flash、Qwen3.8-27B、Qwen3.7-Plus 等，音频与视听任务对比 Qwen3.5-Omni-Plus、Gemini 3.8 Flash、Seed 2.0 Lite 与 Muse Spark 1.2 等。论文说明基准专用工具与打分约定在表注中交代，涉及工具的结果反映模型加执行设置的整体，能力分组描述任务领域而不区分是否带工具推理，直接解释与智能体取证的对比单独在后文展开。

指标方向需要逐类记清。多说话人识别用日志错误率与连接词错误率，越低越好；通用识别用词错误率越低越好，语音翻译用 BLEU 越高越好；理解音乐交互类分数越高越好；长音频推理按精度、规则与链条分别报告。

实时效率报告文本吞吐、首文本延迟、首音频块延迟与生成实时率。比较公平性方面，论文明确不同智能体基准使用不同执行设置，例如部分用 Claude Code、部分用 OpenClaw、部分不用外部框架，因此它们是不同执行设置而非单一共享框架，直接跨基准比较数值大小并不恰当。

实时效率的测量条件交代较细，值得复述。使用 6 秒 12 秒 20 秒的纯音频与音视频片段，音频以 16 千赫兹单声道传输，音视频附加每秒 1 帧的 1280 乘 720 画面，每个条件经 1 次预热后取 10 次有效回复，使用全新会话并固定要求输出超过 200 个文本词元，输入提前上传并关闭语音活动检测。首文本与首音频延迟从客户端提交输入到首个非空输出块计时，含网络与服务端处理但不含建连、上传与播放；文本吞吐用服务端报告的词元计数；音频生成实时率用首末音频块间隔除以生成波形时长，不含初始等待。这些细节决定了延迟数字只在该评测设置下成立。

主结果：文本保持与多模态提升是否同时成立？

文本能力部分要回答多模态共训是否损害文本。以下比较问题是：在相同代码与办公智能体任务上，全模态模型是否与同尺寸文本模型相当，指标越高越好，条件按表注使用各自工具与温度设置。

上表显示全模态模型在三项上略高于文本基线，支持原生共训保留强文本能力的判断。但代价与反例同样明确，论文报告在另外两项上略低，且通用文本任务并非均匀提升，例如在 HLE 上领先的是另一模型。复述时不能只讲胜出项，要同时说明性能随任务变化。

音频部分的最大变化在多说话人识别与长音频推理。以下比较问题是：在多说话人与长音频理解上，新模型相对上一代是否有数量级改善，错误率越低越好、理解分越高越好。

上表的主要收益是多说话人错误率的大幅下降与长音频准确率规则分的提升，具体代价是链条分仍低于对照模型，说明长程证据链的组织仍有差距。多语言方面，理解与多说话人处理提升，但通用转写与翻译仍有差距，论文明确区分了这两类结论。

视听推理部分要看相对上一代的增量与相对最强对照的位置。以下比较问题是：在联合音视频推理与字幕可控性上，新模型是否显著进步，分数越高越好。

上表支持联合视听能力增强的判断，但论文同时报告在 3 个视频推理基准上对照模型仍保留更高分数，这正是后文引入智能体推理的动机。未胜出项必须保留，例如部分交互任务上其他模型领先，空间智能的另一处数字在正文前后表述存在差异，复述时不自行调和，只采用连续原句能覆盖的数字。

Static × Qwen Code： Static 指 1 次把采样帧与音频全部送入模型直接解释，Qwen Code 指智能体先规划再多次调用工具按由粗到细定位并校验相关片段，二者搭配是为了对比稠密处理与按需取证在精度与词元消耗上的差异，组合意义在于证明长音视频理解可以从静态处理转向主动证据收集。

智能体执行带来多少可部署的收益？

智能体基准部分比较的是模型加执行设置的整体。以下比较问题是：在多模态工具使用与网页搜索任务上，新模型相对上一代提升多少，分数越高越好，但各基准执行工具不同故只做同基准纵向比较。

上表的主要收益是相对上一代在 3 个智能体基准上分别提升十余到三十余点，且自身从静态转向智能体取证时在 3 个视频基准上全部提升，其中长基准提升最大并反超对照的静态成绩。具体代价是仍有基准上对照领先，且词元减少不等于端到端延迟或货币成本同比例下降，论文明确指出该结果只显示精度与词元权衡的改善。复述时要区分可部署收益与事后最优，搜索最优或人工挑段不能代替上述可运行策略。

论文还用一个自动研究案例展示长程执行。任务是在 12 小时内提升小模型 Qwen2.5-Omni-3B 的四川话识别并交付可用模型。模型自主选评测集、定基线、听音频诊断错误、构造针对性数据，经 4 轮实验创建 3413 条训练样本并根据评测反馈保留有效改动、回滚失败尝试，小模型字错误率从 25.79% 降到 15.30%，相对下降约 40.7%。这支持原生全模态模型能连接感知、实验规划与迭代训练的判断，但它是一个特定方言与特定评测集上的案例，不能推广为所有方言都成立。

对照与反证：哪些地方没有赢，条件有何不同？

把未胜出项集中起来才能避免误读。文本通用任务上，新模型在部分基准领先但在 HLE 上落后；视觉上在部分任务领先但在实体问答与真实世界感知上略低于同代文本模型；音频通用转写上在会议子集最低但在网络子集高于上一代，多语言转写翻译上误差更高或分数更低；视听上在字幕交互等多项提升但在部分推理与主动问答上对照或其他模型领先；实时交互的非思考模式在多项对话与意图理解上强，但在部分流式问答与语音基准上低于对照。

条件差异是解释这些反例的关键。静态与智能体是不同推理预算，直接解释用 1 次稠密输入，智能体用多次工具调用与跨轮上下文保留，二者的词元与延迟不可直接等同。不同智能体基准用不同框架，跨基准排名没有意义。实时评测固定了输入时长、画面帧率、输出长度与预热方式，离开这些条件谈首包延迟没有意义。论文对长视频智能体的主要结论是收益依赖模型与任务共同决定，而不是智能体在所有任务上必然更好。

对音频初学者，特别要区分百分点与相对百分比。字错误率从 25.79% 到 15.30% 是下降 10.49 个百分点，相对下降约 40.7%；词元从 145736 到 79117 是下降约 45.7%。不同指标的差值不能混入模型列下比较，自动指标也不能当成人评。论文未测量误判率在所有场景的分布，也未给出训练硬件预算，相关缺项在复现节继续说明。

边界与未验证的推测有哪些？

论文直接报告的是在所列基准与所列执行设置下的分数与效率数字，这些属于报告层面。有限解释是原生共训促进智能体能力从文本迁移到音视频，以及按需取证改善精度与词元权衡，这些有对照支持但仍受任务与模型影响。未验证推测是把单一方言自动研究案例或单个长视频案例推广为通用生产力保证，这需要更多领域与更长时长的验证，可能但待验证。

明确的边界包括：通用转写翻译仍有差距，多说话人之外的大规模噪声与重叠语音未单独量化；长视频智能体的延迟与货币成本未与词元下降一起报告；实时语音的自然度和风格可控性部分依赖自建评测，主观胜率与自动词错误率不能互换；空间音频的评测集中在空间智能基准，真实多声源运动场景的覆盖有限。缺失证据不是技术错误，但复述时要用支持而非证明的措辞。

伦理与使用边界在原文有专门声明。输入数据应合法获得并取得声音授权，不得侵犯声音与人格权益，合成音频按法律要求标注为人工智能生成，部署者与使用者各自承担法律责任。教学中应把这条作为部署前提，而不是附带说明。

复现先做什么，需要哪些信息条件？

先做最小可运行闭环。第一步用官方插件仓库搭建视听工具接口，验证能否从视频中抽取字幕与结构化笔记并按需取段；第二步用实时框架连接桌面音视频与外部后端，验证异步委派与记忆读写是否正常；第三步在小规模长视频集上复现静态与智能体取证的对照，记录精度与每查询词元。按资源状态，两个仓库当前可用，已确认可达，分别对应多模态生产力插件与实时交互框架，复述时可写当前已公开可用。

关键超参数与信息条件要保留。音频前端为 16 kHz 重采样、128 通道梅尔频谱、25 毫秒窗 10 毫秒跳，通用编码器下采样 16 倍、输出约 6.25 赫兹；视觉为动态采样帧；序列原生长度 262,144，扩展后达 1M；预训练第二阶段数据配比为文本音频图像视频与视频音频的 2.5 trillion 词元量级。

后训练用对话格式串行化并区分蒸馏与强化 2 个阶段。论文未给出优化器、学习率、批量与硬件预算，复现时应标记为缺项，不从混合专家名称推定实现。

评估复现要锁定数据集、模型基线、实验阶段、指标单位与聚合对象。同一数值在不同指标下不是同一结论，例如准确率与规则分不能互换。智能体基准必须保留原文实际可运行的工具设置，不能用人工挑选证据段的事后最优代替。实时效率必须复用相同的输入时长、画面规格、输出长度与计时口径，否则首包延迟不可比。

何时值得尝试，一句话如何带走？

当任务同时满足长输入、证据分散、需要规划与工具执行时，值得尝试这种原生全模态智能体路线，例如长会议跟进、长教程转笔记与技能、短剧本地化、音乐生成视频与电影解说。当任务只是短语音转写或单句翻译，且已有专用识别翻译链路更稳更便宜时，不必为智能体化付出额外复杂度。

带走的一句话是：用早期联合训练保留文本能力并迁移智能体能力到音视频，用抽象摘要与按需取证控制长输入成本，用插件与实时框架把模型嵌入生产，证据是多说话人与长视频任务的大幅提升，限制是通用转写翻译与部分推理仍有差距且效率结论限于给定测量条件。初学者复述全篇时，应能不看原文说出编码器分工、训练阶段冻结安排、静态与智能体的对照逻辑，以及 4 个表格中的基线与增量方向，这才算完成可核对的学习闭环。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-24 语音/音乐/音频论文速递