不用转写也能对话：用合成音视频同时练理解、判分与强化

英文题目：OmniVChat: Synthesizing, Benchmarking, and Training for Native Audio-Visual Dialogue

标签：#音视频交互 | #强化学习 | #基准测试 | #音视频

评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.1/1.5

👥 作者与机构

• Haolin He：机构信息未在 arXiv HTML 中可靠披露
• Yunfei Chu：机构信息未在 arXiv HTML 中可靠披露
• Qi Chen：机构信息未在 arXiv HTML 中可靠披露
• Wen Huang：机构信息未在 arXiv HTML 中可靠披露
• Yuan Feng：机构信息未在 arXiv HTML 中可靠披露
• Muzhi Zhu：机构信息未在 arXiv HTML 中可靠披露
• Zheqi Dai：机构信息未在 arXiv HTML 中可靠披露
• Haoning Xu：机构信息未在 arXiv HTML 中可靠披露
• Dongchao Yang：机构信息未在 arXiv HTML 中可靠披露
• Chunyat Wu：机构信息未在 arXiv HTML 中可靠披露
• Zining Liang：机构信息未在 arXiv HTML 中可靠披露
• Zhengxi Liu：机构信息未在 arXiv HTML 中可靠披露
• Xiquan Li：机构信息未在 arXiv HTML 中可靠披露
• Xie Chen：机构信息未在 arXiv HTML 中可靠披露
• Xize Cheng：机构信息未在 arXiv HTML 中可靠披露
• Qize Yang：机构信息未在 arXiv HTML 中可靠披露
• Jin Xu：机构信息未在 arXiv HTML 中可靠披露
• Qiuqiang Kong：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

原生音视频对话要求模型直接同时接收用户音频与视频并返回文本，查询嵌入在语音韵律、表情、环境声与轮次行为中，无独立文本问题与外部字幕或语音识别级联，多解回复使关键词匹配难以可靠评判。OmniVChat-Studio先按子类别配置采样属性与语料生成剧本并渲染音视频，再经描述与问答校验生成参考回复与分级量表，输出合成对话进入下一步。OmniVChat-Bench接着用大语言模型判分器对合成对话执行门控计分，覆盖五大能力类的单轮与多轮实例以度量基础对话能力。OmniVChat-RL最后以同一门控正确性联合效率与风格奖励优化Qwen3-Omni-Instruct思考器，使训练信号与评测口径一致并迁移至真机录制。与语音识别加字幕级联不同，该链路保留声学与视觉线索，以实例级量表替代关键词匹配，使合成数据同时服务训练与评测。在2800个合成实例基准下，OmniVChat-RL训练后模型的子类别均值分数为0.652，高于训练前基线的子类别均值分数0.465。该结论仅适用于单轮为主的受控短对话与中文单轮真机探针，未验证多轮长程记忆、实时打断延迟与高噪声强干扰外推。原文未披露训练、推理或部署成本与硬件配置。

🔗 开源与复现资源

• 第三方资源：https://qwen.ai/ — 链接可访问（HTTP 200）

• 第三方资源：https://ai.google.dev/gemini-api/docs/live-api — 链接可访问（HTTP 200）

• 第三方资源：https://seed.bytedance.com/en/SeedRealtime — 链接可访问（HTTP 200）

• 第三方资源：https://deepmind.google/models/model-cards/gemini-omni-flash/ — 链接可访问（HTTP 200）

• 第三方资源：https://www.minimax.io/blog/minimax-h3 — 链接可访问（HTTP 200）

• 第三方资源：https://wan.video/features — 链接可访问（HTTP 200）

• 第三方资源：https://openai.com/index/sora-2/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读保留什么？

这篇解读的输入是论文正文证据，目标是让刚进入语音、音乐、音频领域的研究生能核对并复述方法。必须保留的信息包括任务定义、数据引擎的 4 个角色与两条流水线、评测的门控计分规则、训练的奖励组成与训练量、以及合成集与真人集上的对照条件。输出是 1 篇按学习依赖展开的中文技术解读，不做营销式判断，教学用的例子会明确标为例子。

论文把任务定义为原生音视频对话。模型同时直接接收用户的音频和视频并返回文本，用户的提问藏在音频和视频里，不再另给文字问题，也不依赖外部字幕或语音识别。原文强调直接音视频输入减少外部延迟与计算，同时保留声学和视觉线索。研究难点有两个，一是缺少人们用自己设备录制的开源对话，噪声、相机抖动和设备姿态带来长尾输入条件，二是好回复往往要结合环境、表情、情绪和附近物体，而同样意思可以有多种说法，关键词匹配不可靠。

原生音视频对话 × 外部转写级联： 原生音视频对话指模型同时直接接收用户音频和视频并返回文本，查询就藏在音视频里，不另给文字题、不另做字幕或语音识别；外部转写级联指先用语音识别转文字再推理的做法，分工是把听和看拆开降低实现难度，但会丢掉韵律和情感线索并增加延迟与转写错误，本文选择原生路线就是为了保留这些线索并减少外部计算。

为解决数据与评测两难，论文提出用生成来服务理解。思路是用合成对话同时做训练与评测，载体是 3 个部分。第一是合成引擎，第二是评测集，第三是强化学习奖励设计。训练对象是问答式模型的思考部分，在合成对话上做强化，评测则同时看合成集与真人实拍集，以检验合成到真实的迁移。

同输入同目标的工作在测什么，本文位置在哪？

按同输入、同目标、同监督和同运行阶段对照，相关工作可分成五块。第一块是全模态模型，特点是一个系统同时处理多种输入输出模态，例子包括接受文本、音频、图像和视频的系统，以及用思考部分生成文本、用发声部分生成音频的设计，还有去掉独立语音识别或合成模块、强调渐进对齐视觉与语音的设计。这类工作提供底座，但不直接解决原生对话缺数据与难评测的问题。

第二块是音视频理解与对话评测。有的评测要求联合使用图像、音频和问题，有的包含上 1000 条音视频与数千问题且每题必须同时用两个模态，有的考察跨模态时间推理与长视频推理，有的考察幻觉与流式理解。更接近本文的是保留原始音视频流、把用户查询和环境声嵌在音轨里的做法，以及考察说话人身份、打断时机与打断措辞的社交对话评测，还有让人对着相机和麦克风提问、模型实时用音视频回答的真人数据集。本文的不同在于明确面向基础对话能力划分能力类别与子类别，并为每条合成与实拍对话配可机判的分层标准。

第三块是音视频联合生成。近年系统可以从文本或图像生成带同步对话与音效的视频，有的支持原生音频输出、多镜头控制与较长片段，有的支持对话式视频编辑。这类进展是合成引擎得以渲染同步音视频片段的前提。第四块是智能体式视频与音频生成，做法是把规划、生成、评估与修改分给不同智能体，用有界反馈循环做长视频与复杂音频场景。本文合成引擎沿用这种分工，但目标不是做影视，而是按配置可控地生成考查特定能力的对话。

第五块是强化算法，包括裁剪代理目标、无价值模型的组相对基线、去掉长度与难度偏差的改进，以及用序列似然比与序列级裁剪稳定混合专家训练的方法，还有用实例级评分标准做无可验证答案领域奖励的方法。本文训练沿用组基线与序列级归一化思想，奖励则直接复用评测用的门控评分。

要解决的具体问题与必须满足的约束是什么？

具体问题是模型在只给音视频、不给文字题的条件下，完成单轮与多轮基础对话。单轮例子是用户边走边问身旁哪一侧会议室门开着，模型要按用户视角而非画面左右回答。多轮例子是用户先展示花束并问插花建议，中途离开后回来问连接是否还在，模型既要确认连接，又要记得上一轮的花材话题。另一类例子是用户指着桌上最高的水杯问里面有没有水，模型看不到内部就不能编造，同时要能定位到左边较高的浅蓝色保温杯。

约束有 3 层。第一是输入约束，评测时所有系统都接收要求的音频与视频输入，不能只读转写文本作弊。第二是输出约束，训练与评测共用同一系统提示，要求第一人称、自然口语、默认一到三句说清核心、避免不适合朗读的列表与公式堆砌，并区分角色扮演与真实事实。第三是评分约束，每条回复按该条专属标准判定，不用全局关键词表，语言不对直接零分，前面层没全对后面层不得分。这种设计把语言、核心正确、额外细节和风格按顺序卡住，避免用冗长细节掩盖核心错误。

三部分如何连成一条可复述的主线？

主线可以沿一条样本走完。先按子类别配置采样属性与语料段落，例如语言、中英比例、场景域、相机设置、音频与视觉干扰等级，再由文字角色写出故事梗概与分镜计划。接着写带时间轴的结构化脚本并过确定性校验，然后渲染成同步音视频片段。渲染后由观察角色写描述与七方面质量报告，必要时做定点问答确认关键证据，例如门开还是关。最后按已确认的证据规划并生成参考回复与分层标准，再做 1 次语言、接地与层级顺序检查。合格的片段、回复与标准组成一条实例，进入评测集或训练集。

评测集负责给出可比分数，训练集负责给出可学信号，真人集负责检验迁移。训练时对同一输入采样多个回复，用门控评分、效率与风格三项加权求总奖励，再用组内减均值得到优势更新策略。评测时用同一门控评分算分，用同一风格检查算风格通过率，用单位字数得分算效率。三者在训练与评测之间名称与含义对应，这是论文反复强调的训练评测对齐。

为理解规模，先看下面这张数据与训练配置对照表，它把合成与实拍的数量关系和训练预算放在一起，后文方法细节与实验条件都会回到这些数字。

合成引擎的四个角色如何分工与修复？

引擎有 4 个角色。导演管一切文字输入输出，渲染器把通过的提示词与媒体引用变成同步音视频片段，评审员看渲染结果并写描述、质量报告与定点回答，校验器是确定性程序，只按配置规则检查结构化脚本或对话记录，给出通过或违规清单。颜色与编号在框架图中与各模块对应，单轮用数字编号，多轮用字母编号，采样模块共用。

导演 × 评审员： 导演负责一切基于文字的输入输出任务，包括写计划、写脚本、规划回复和写评分标准；评审员负责看已渲染的音视频并写字幕式描述、质量报告和定点问答，分工是观察与判断分离，搭配理由是防止用设想的脚本代替实际渲染结果做判断，组合意义是回复只跟随评审员确认过的证据，不跟随写偏了的脚本。

单轮流水线先采样属性与 3 段语料，再写描述、打磨计划、写脚本、过校验与校验复核、过脚本评审。脚本通过后做视频计划与渲染，再做视频描述、定点问答与视频评审，最后做回复计划、回复生成与回复评审。关键修复边界是每次修复回到出问题的阶段。重播种子保持脚本不变，重写回到文字阶段，定点问答补缺证据，多轮的计划更新从首个受影响轮次改起。每条修复路线有独立预算，预算用完则丢弃该次运行，不存半成品。采样到的属性 assignment 在修复中保持不变，防止把难对话修成易对话而改变批次分布。

多轮与单轮的主要差别有两处。一是把计划与计划评审拆开，联合计划要写清每一轮并选好后轮复用的前轮片段、音频或末帧，评审单独检查全部轮次与媒体链接。二是用逐轮提示词生成代替单轮的脚本生成与视频计划，每轮提示词用媒体标识符做占位符，提示词评审在渲染前检查引用与规划错误。每轮完成后记录片段、抽取音频与末帧的标识符，后轮引用缺失则整例无效。外观、背景与声音可用不同媒体来源，换场景通常要引用上一轮，渐变则要保留近期运动。

质量控制还有确定性后处理。音频尾部常见的宽带咔哒声与主动声音突然截断会被检测与修复，做法是在内容边界前有限窗口内找瞬态峰与背景电平，用升余弦淡出把尾部压到静音，不改变时长以保持音画同步。修完仍由人工按检查流程确认每段是否呈现预定对话，语义门控中评审员与导演可能犯同一种错误，人工检查就是补这一层。

下面这张表把引擎产出物的数量、语言比例与训练预算放在同一视野下，读表时注意合成与实拍在语言与轮次上的不对齐，后文讨论迁移时还会用到这个不对齐。

表后需要说清这张表的公平含义与代价。合成评测与合成训练来自同一子类别配置但视频不重叠，开发集用于选检查点，主评测集用于量增益，真人集只用于评测迁移，这种划分使合成增益与真实迁移可以分开读。代价是语言与轮次不对齐，真人集全中文且只有单轮，多轮能力无法被真人集直接验证，中文合成子集才可作为语言匹配对照。未胜出项是合成集天然可控但仍有渲染缺陷需要尾部修复与人工剔除，说明合成并不等于零成本干净数据。

分层评分标准如何把开放回复变成可复算分数？

每条实例配一条参考回复与一套分层标准。标准含多层，每层含一条或多条。评测时大语言模型只判断每条是否满足，再用确定性门控算分。Tier 0 查是否用用户语言，不给分，不通过则整条零分。Tier 0 之外每条满足且前面所有层全满足才各得 1 分，不完整的一层保留已得分但挡住后面层。

单条分数是可得分除以 Tier 0 之外总条数，取值在零到一之间。论文用集合交集计数满足条数，用连乘实现门控，用分母包含被挡住的条数实现惩罚。

分层评分标准 × 门控计分： 分层评分标准指每个样例配多层多条可判定标准，Tier 0 只查语言且不给分，不通过则总分为零；门控计分指只有前面所有层全部通过，后面层的每条通过才能各得 1 分，分工是前者定义考什么、后者定义什么顺序下得分有效，搭配理由是先保证语言和核心正确再奖励细节，组合意义是把开放式回复变成可复算的分数。

举一个教学例子帮助记忆，但不代表真实数值。用户问咖啡桌上节日马克杯是什么图案，视频显示白杯上有红色驯鹿剪影。标准可设为 Tier 0 要求英文，Tier 1 要求说出驯鹿，Tier 2 要求说出红色与剪影各 1 分，Tier 3 要求语气自然放松。只有 Tier 0 与 Tier 1 全对，Tier 2 的每条才能得分，只有 Tier 2 两条全对，Tier 3 才能加分。这种先核心后细节的顺序就是门控的含义。

聚合分两种。池化平均给每条实例等权，子类别平均先在每个子类别内平均再给 17 个子类别等权。主评测报告子类别平均作为总体均值。多轮评测时所有模型收到同样的前轮片段与参考回复，只评最后一轮回复。能力类别有 5 类，对话状态与链接感知、跨模态实体对齐、模型自我认知、抗幻觉与情绪识别，子类别共 17 个，场景域 22 个。单轮与多轮配对子类别共享定义但独立采样，场景、历史与证据可以不同，因此多轮减单轮的差不能直接解释为多轮本身的因果效应。

强化训练的输入、采样、奖励与更新如何衔接？

基座是问答式全模态模型的思考部分，含视频与音频编码器与文本解码器。训练用组序列策略优化，以思考部分为回复策略。每次输入采样多个回复，优势是该回复总奖励减去同组平均奖励，不做标准差归一化。当前策略最大化裁剪目标，全回复概率比按回复词数做长度归一化以降低长度依赖，裁剪区间限制单步改变量。训练用秩 64 的低秩适配器，只训注意力与混合专家投影，视觉与音频塔冻结，每次迭代 32 个提示、128 个完成，每 20 次存检查点，共 1000 次迭代。视频按每秒 2 帧采样，每片段至多 16 帧。

合成对话 × 真人实拍探针： 合成对话指由 OmniVChat-Studio 按子类别配置生成的音视频片段、参考回复和评分标准，用于大规模训练和主评测；真人实拍探针指用手机在真实场景录制的 360 条中文单轮对话，只用于评测迁移，分工是前者解决数量与可控性、后者检验真实分布，搭配理由是两者用同一子类别定义和同一评分形式，组合意义是用可控合成练出的能力能否在真实口音、噪声和构图下复现。

总奖励是四项加权。正确性直接用单样例门控分，权重为一。格式项只在训练用，非空且无思考标签为一否则零。效率项先算单回复原始效率，即门控分除以计数长度，中文每字一单位，英文每连续字母数字组一单位，组内撇号与连字符不断开，其他标点不计数，零分回复原始效率为零。再在同输入的多个回复间做最大最小归一化，最低得零、最高得一，其余按比例插入，全相等时都得二分之一，组均值相减后该常数项抵消，因此不需要固定长度目标。

风格项用同一大模型检查 7 条全过才得一，否则零。权重为格式 0.5、效率 0.1、风格 0.5，每项在零到一之间，总奖励在零到 2.1 之间。

正确性奖励 × 效率与风格奖励： 正确性奖励直接复用单样例门控评分，负责答对；效率奖励比较同一次输入下采样的多个回复的单位字数得分，负责用更短达到同样得分；风格奖励检查自然口语、简洁和角色扮演与事实区分等 7 条是否全过，负责好听，分工不同但共用同一训练目标相加，搭配理由是只优化正确性容易变长变生硬，组合意义是同时约束答对、简短、像人说话。

评测侧对应 3 个指标。正确性用门控分，效率用全集总得分除以总字数再乘 1000，即每千字得分，风格用成功评分请求中 7 条全过的平均。训练与评测共用同一系统提示与同一风格检查，保证优化目标与报告指标同义。论文未报告梯度穿过判分模型的细节，判分是文本模型且看不到视频，格式项直接检查，这些是监督来源的边界，复现时不应脑补判分模型可微。

评测集、基线与判分条件如何保证可比？

评测分三块。开发集 560 条合成对话用于选检查点，主评测集 2800 条独立合成实例用于量增益且与训练视频无重叠，真人集 360 条录制单轮对话用于测迁移且只用于评测。真人集覆盖 12 个单轮子类别各 30 条，不含多轮。构建时先给每个子类别写中文演员指南与探针变体，演员自选变体即兴发挥并用手机在真实场景录制，全部中文，无时间轴脚本。录制后检查是否命中目标子类别与变体、语音是否清晰、音视频是否可用，不合格重录。

标注时先做三份独立描述，两份侧重不同证据、一份含转写，再合并为事实记录并人工对录音校对转写与事实错误，62 条曾缺用户语音的记录在合并后补齐转写。随后只看文字记录写口语参考回复与分层标准，每条 3 到 5 条，恰一条 Tier 0 语言条，至少一条 Tier 1 条，品牌名先占位以免偏向某厂商。

基线分三块。闭源块含多个闪电与专业版本、问答式全模态增强版与种子 lite 版，开源块含问答式指令版与思考版、上一代 7B 与 3B、实时视觉语言交互版与轻量全双工版，外加自家训练版与两个奖励消融版。所有系统接收要求的音视频输入，其中交互版用外部语音识别做级联对照。全部行共用同一 1296 字符系统提示，保证风格要求一致。

判分用同一文本大模型与同一评分提示，风格与正确性分开请求，空回复风格记零，模型或判分请求失败则排除而非记失败，平均回复长度排除零长回复。判分一致性用固定回复集与 6 个判分模型另测，池化分跨度约为自举标准差的数倍，说明判分有系统宽严差异，但子类别排序高度一致。

下面这张表把主结果的关键数字放在同一视野下，读表前先明确比较问题与公平条件，读表后会解释收益、代价与未胜出项。

表后解释需要同时给出收益与代价。全奖励版在合成与真人上同时提升，且回复从约九十多字压到三十多字，效率与风格都到全场最高，支持奖励设计与合成到真实迁移的判断。代价是去掉效率后合成与真人分数更高但长度涨到 99 字、效率大跌，去掉风格后分数略升但风格大跌，说明正确、简短、好听三者存在权衡。未胜出项是合成总体最高仍是外部闪电版的 0.667，真人最高在外部是 0.575 而自家训练后达 0.632，合成排名不决定实拍排名，不能用合成第一论证真实第一。

训练曲线的门控奖励从 0.308 到 0.629、风格从 0.750 到 0.992、原始效率从 3.37 到 17.18，这些过程量支持优化在起作用，但单步变化与测量波动相当，不能把某一步的抖动当作机制证据。

主结果支持什么，又在什么边界下成立？

主结果按问题组织。测的是基础对话能力，不是实时打断延迟。开发集子类别平均从 0.507 到 0.707 选出第 940 步，主评测子类别平均从 0.465 到 0.652，真人实拍从 0.402 到 0.632，中文合成对照从 0.437 到 0.634。合成与实拍在共享单轮子类别上同步上升，论文据此认为两者分布对齐，但原文也明确这是间接提示，不是独立性证明，也不保证判分偏差相消。

分能力看，训练后抗幻觉、情绪、自我认知、实体对齐与对话状态 5 类都有增益，单轮与多轮平均都上升。分曲线看，初始连接确认、完成请求、未完成等待、指代与自我认知等子类别的合成与实拍曲线贴得较紧，描述指代与主说话人区分保留一定差距，单轮身份一致后期与实拍分开。多轮扩展中自家模型平均多轮减单轮为负 0.026，外部闪电版为负 0.114，前者在连接检查与说话人切换上有增益，后者在 5 个扩展上都更低，但每对样本独立且多轮每类仅 50 条，差值分辨率约正负 0.05，配对检验自由度只有四，不能做等价性断言。

判分敏感性需要单独交代。用同一 2800 条闪电回复集让 6 个判分模型打分，池化分从 0.643 到 0.678，子类别平均跨度 0.042，能力内跨度最小对话状态 0.017、最大情绪 0.081。两两标准一致率 87.8% 到 96.5%，Kappa 值 0.532 到 0.845，全部门控分一致率 65.8% 到 88.7%。方差分解把 95.7% 归于子类别难度、1.1% 归于判分宽严、3.3% 归于交互项，子类别排序相关系数不低于 0.936，最弱子类别 6 个判分一致。这些数字说明换判分会系统性上下浮动，但不改变哪类难的结论，且该分析只测固定回复集的判分敏感性，没有用其他判分重测从 0.465 到 0.652 的增益。

拿掉效率或风格后，行为如何变化？

消融保留评分与格式奖励，只去掉效率或风格中的一项，同语料、同目标、同适配器与解码设置各跑 1000 次迭代。去掉效率后总体更高，合成 0.697、真人 0.691，但长度从 36 字涨到 99 字，效率从 18.38 跌到 7.12，风格仍有 0.987。这说明没有长度压力时模型愿意用更长换正确，适合只看分数的场景，不适合要短回复的场景。去掉风格后合成 0.661、真人 0.632、效率 13.70、风格从 0.992 跌到 0.788。这说明风格约束对好听有独立贡献，去掉后分数可维持但口语感下降。

训练过程也显示权衡。去掉效率的运行中长度随评分曲线一起涨，去掉风格的运行中风格信号全程缺席。检查点选择仍按开发集子类别平均，去风格选第 920 步，去效率在可用评测范围内选第 940 步，开发集第 1000 步更高但无对应评测覆盖，因此论文明确这是检查点选择而非收敛声明。复现时应保留同样的选择规则，不要用事后最优步代替可运行策略的收益。

下面这张消融对照表把可部署含义说清楚，读表前先固定条件，读表后指出何时选哪个版本。

表后解释要回答何时值得尝试哪个版本。如果部署要求短而自然，全奖励版是可运行选择，虽然分数不是最高，但效率与风格最好。如果只追求评测分数且能接受近百字，去效率版更高，但要承担阅读与朗读成本。如果不在乎口语感，去风格版不可取，因为分数没有明显补偿却丢了风格。未评测边界是实时延迟与误判率，论文没有测量这些量，不能从分数改善承诺延迟改善。

哪些结论不能从现有证据推出？

第一，真人探针只覆盖单轮，不含多轮，也不测直播打断时的延迟，因此多轮与实时结论待验证。第二，合成与实拍增益一致支持迁移，但两者用同一评分形式与同一判分流程，一致性可能是评分共享带来的，不能当作因果机制证据。第三，单步变化相关性低，相邻检查点差的符号一致数接近随机，残差标准差与平均 20 步增益相当，短区间抖动里测量波动占比大，只有按 100 步分块平均后 3 条曲线的变化才高度一致。

第四，判分有系统宽严差异，池化跨度约为自举标准差的 5.2 倍，换判分会整体平移分数，论文报告的增益用逐回复均值，而判分分析用点加权分，两者口径不同，不能直接互换。第五，尾部音频修复只压尾部有限窗口，淡出覆盖约 10 秒片段的最后 1%，编码外差异约负 50 分贝，修后中位瞬态分从 86.6 到 0.02、高频能量中位下降 53.1 分贝，但这只解决尾部两类缺陷，不代表全部渲染问题消失。

第六，资源状态方面，正文只声明评测集与训练代码将公开用于研究，没有给出权重下载或可运行系统的承诺，复现前应按声明核对可用性。

复现先做什么，需要哪些超参数与检查？

先复现评分再复现训练。评分侧按原文实现门控公式，Tier 0 语言不对直接零分，其余层按全对门控逐层给分，单条分母包含被挡住的条数。聚合时同时算池化平均与子类别平均，主结论用子类别平均。多轮只评最后一轮，前轮片段与参考回复对所有模型相同。判分提示用原文的宽松匹配与模型名 4 条规则，风格检查用 7 条全过才算通过，空回复风格记零，请求失败排除。

训练侧用秩 64 低秩适配器，目标为注意力与混合专家投影，视觉与音频塔冻结，无散度惩罚，熵系数十万分之一，学习率百万分之一、权重衰减 0.01，共 1000 次迭代，每次 32 提示各采 4 回复，提示与回复预算分别为 11072 与 1024 词元，视频每秒 2 帧、每片段至多 16 帧，每 20 步存检查点。奖励权重为正确性一、格式 0.5、效率 0.1、风格 0.5。效率计数按中文每字一单位、英文每连续字母数字组一单位实现，同输入组内归一化。开发集选检查点，主评测与真人集只做 held-out 评估。

合成侧复现要保留采样不变性与有界修复。同一运行内采样属性不变，修复回到出问题阶段，重播种子、重写文字、定点问答与计划更新各有预算，预算用完丢弃。回复只用评审员确认的证据，脚本有但渲染缺失的细节要删掉。真人侧复现要保留三份独立描述合并、人工对录音校错、只看文字写回复与标准、品牌占位的流程。每条 3 到 5 条标准、恰一条语言门、至少一条 Tier 1 条。缺项是渲染器具体模型与提示词全文未在正文给出，附录按阶段描述但无完整可运行代码，复现合成质量需要补这部分实现。

何时值得尝试这条路线，还需补哪项验证？

当任务必须直接吃音视频、不能依赖转写，且好坏难以用关键词判定时，这条路线值得尝试。做法是先按能力拆子类别并为每条写分层标准，再用多智能体按配置合成可控数据，接着用同一标准同时做评测与奖励，最后用独立实拍探针验迁移。保留的关键是观察与判断分离、采样修复不变、门控先核心后细节、效率在同输入组内比较、风格单独检查。

还需要补三项验证。一是多轮真人探针，检验记忆与视角切换在真实对话中是否成立。二是实时条件下的延迟与打断评测，因为当前探针不测直播延迟。三是换判分重测增益，确认从基座到训练后的提升不是某一个判分的宽严带来的。做完这三项，才能把合成有效、奖励有效、迁移有效的判断从受限证据推广到可部署结论。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-21 语音/音乐/音频论文速递