不停播的数字主播：流式多模态参考与主动规划如何分工

英文题目：FlowAct-R2: Beyond Talking Avatar via Streaming Multimodal References and Proactive Agent Planning

标签：#音视频交互 | #扩散模型 | #语音代理规划与工具使用 | #流式处理 | #音视频

评分：5.3/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.7/1.5 | 清晰度 0.7/1 | 影响力 0.4/1.5 | 开源 0.2/1.5 | 可复现 0.1/0.5 | 工程/实践 0.8/1.5

👥 作者与机构

• Ziyao Huang：机构信息未在 arXiv HTML 中可靠披露
• Zhengkun Rong：机构信息未在 arXiv HTML 中可靠披露
• Shiyang Qin：机构信息未在 arXiv HTML 中可靠披露
• Shuang Liang：机构信息未在 arXiv HTML 中可靠披露
• Wentao Hu：机构信息未在 arXiv HTML 中可靠披露
• Yuxuan Luo：机构信息未在 arXiv HTML 中可靠披露
• Yuan Zhang：机构信息未在 arXiv HTML 中可靠披露
• Mingyuan Gao：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

FlowAct-R2面向开放式直播数字人，以滚动动作提示、流式音频与动态更新的图像音频视频参考为输入，输出连续720p人形视频流，难点在于长时保持身份外观的同时响应参考切换与观众打断。流式多模态参考扩散变换器适配预训练Seedance 2.0 Mini参考到视频骨干，以扩散强制支持自回归流式推理，并以视频驱动旋转位置编码对齐参考块与生成时间轴。该变换器再以参考加图像条件锚定身份、以部分加噪历史帧抑制漂移并输出连续视频流，前瞻交互智能体则离线提炼人物设定、长程议程与可复用多模态技能，在线结合观众事件与交互历史决定发起、叠加、推迟、打断或恢复行为，并以闲置、聆听、说话与技能执行时段驱动生成器更新提示与参考。相对已有方法，关键差异在于将参考与条件本身做成可流式切换的流并与智能体调度解耦，使同一接口同时支撑会话问答与唱跳、试穿、场景切换等任务型动作，实际意义在于支持小时级多场景自主直播。在与Vidu-S1对比的人评任务下，FlowAct-R2在视频质量维度的GSB得分为+54.76%，高于在实时交互维度的GSB得分+40.48%。该结论仅在演示精选帧与单组人评下成立，未验证长时身份漂移率与打断恢复成功率。原文未披露训练、推理与部署成本，未设局限小节，且正文对第四类场景在交互式游戏与直播游记之间表述不一致。

🔗 开源与复现资源

• 演示资源：https://huggingface.co/spaces/ProAudience/FlowAct-R2 — 链接可访问（HTTP 200）

• 演示资源：https://bone-11.github.io/Flowact-R2/ — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文解读如何组织？

本文解读的输入是标题为 FlowAct-R2 的论文正文证据与 6 张官方原图像素，目标是让刚进入语音音乐音频领域的研究生能核对事实并复述方法。必须保留的信息包括生成器基于 Seedance 2.0 Mini 参考到视频骨干、流式条件种类、智能体离线与在线 2 个阶段、4 个直播场景、实时 720p 与小时级播出、与 Vidu-S1 和 Vidu-S2 的比较条件与数字。输出是 1 篇按学习依赖展开的中文技术解读，不做营销判断，不补无源数值。

结构先讲为何真人式直播不能只做会说话的头像，再讲相关路线与本文任务边界，然后走一遍从观众输入到视频流出的全景，接着拆生成器与智能体的组件与计算，再说明训练构造与推理、实验条件、结果与反例，最后讲复现步骤与何时值得尝试。教学用的举例会明确标为例子，例如把换产品类比为例子，而不是论文报告的事实。

已有路线解决了什么，本文为何还要做流式参考与主动规划？

论文把已有数字人工作归为 3 类场景路线。第一类是对话，第二类是才艺表演，第 3 类是直播带货与产品演示。原文指出这些系统多被限制在单一场景，而开放式直播要求数字人像真人主播那样维持连贯人设与长期上下文，主动组织下一步，在不放弃当前活动的前提下响应意外输入，并协调语音、身体动作、物体交互与场景级动作。近期系统在连续人体视频生成、实时音视交互与交互式世界仿真上有进展，但论文提出仍剩两个耦合挑战。

生成器侧需要在保持身份与时间连续的同时纳入动态变化的图像音频视频参考。智能体侧需要在延迟敏感的在线环路之外提前准备复杂活动，又能在在线时让意外输入改道正在进行的行为而不破坏会话。相关工作对照要按同输入同目标同运行阶段理解。Vidu-S1 支持通过语音交互的实时交互视频生成，是可比的实时对话路线。Vidu-S2 支持流式参考条件，允许在持续交互视频会话中引入或切换产品图像，是可比的流式参考路线。

本文不是在同一数据集上刷自动指标，而是在直播式交互条件下比较倾听行为与参考保真，属于场景级对照，不能把类别差异直接读成通用胜负。

任务的输入输出与约束是什么？

任务可以表述为长时间交互式人体视频生成。输入是 3 类随时间变化的流。第一类是滚动动作提示，即描述当前要做什么的文本条件。第二类是流式驱动音频，即要说的语音与同步口型表情头动的声信号。第 3 类是动态更新的图像音频视频参考，例如新产品图、表演参考视频或人物外观图。

还有观众事件与交互历史，包括文本或音频提问、打断与历史摘要。输出是连续视频流，论文报告支持实时 720p 生成与小时级超长生成，覆盖娱乐直播、直播购物、视频聊天与直播 vlog 4 个代表性场景。约束有 3 条。第一是身份保持，不能换参考就换脸。第二是时间连续，不能因分段生成累积漂移。

第三是低延迟响应，观众说话时要有倾听态，说完要能接话，被打断要能停下再恢复。举例来说，例子：主播正在讲解一件衣服，观众突然问尺码并举起另一件产品图，系统需要在不重启视频的情况下切参考、回头展示后背、再回答问题，这只是帮助理解约束的例子，不是论文给出的实测延迟数值。

系统全景：一个样本如何从观众输入走成视频流？

沿一个样本走完全程有助于建立依赖顺序。开播前，离线准备把文本、图像、音频、视频与人工准备材料等多模态角色资产组织成人设、议程与可复用技能。人设规定角色应如何表现，议程提供要推进的活动，技能提供执行所需的准备资源。开播后，在线智能体把准备好的人设、议程、技能与观众事件、交互历史放在一起，先做行为决策决定演什么，再做调度决策决定何时与如何演。调度结果表达为空闲、倾听、说话与技能执行时段。

这些时段再转成给生成器的滚动提示、音频与多模态参考更新。生成器是流式多模态参考扩散变换器，接收这些条件流并产生连续视频。交互历史随会话演进而更新，供后续决策使用。因此智能体管行为与时机，生成器管把决策实现为连续画面，二者在互补层级上工作。下图给出从用户交互到智能体再到生成器最后到 4 个场景的总体耦合，读图时先看主路径再看分支如何汇入生成。

看图路径： 1. 从左侧用户交互箭头看进入主动交互智能体的双向环路；2. 对照中间智能体与流式多模态参考生成两个蓝框的衔接箭头；3. 检查右侧四个场景小图的标注与人物动作差异

论文图 1。原论文 Figure 1:：“FlowAct-R2 couples proactive interaction with streaming multimodal reference generation.”。

上图把主动交互与流式多模态参考生成并置。左侧用户交互与主动交互智能体形成双向环，中间生成框接收流式提示音频与多模态参考，右侧 4 组小图分别对应娱乐直播、直播购物、直播 vlog 与视频聊天。像素可见娱乐区人物上衣与动作连续变化，购物区人物手持物与背景文字 BREW 保持场景一致，vlog 区户外人物与建筑背景连续，聊天区人物面部表情连续。这说明同一智能体加生成器接口要同时支撑会话式与任务式行为，而不是只做问答。另一张系统总览图进一步展开离线与在线两条路径，读图时注意离线路径与在线路径的颜色区分以及历史更新回路。

看图路径： 1. 沿离线路径看多模态角色资产如何进入离线规划再产出人设议程技能；2. 沿在线路径看用户文本音频如何进入在线大脑再产出行为与调度决策；3. 观察底部时间轴上空闲倾听说话技能调用与打断议程激活的位置

论文图 2。原论文 Figure 2:：“System overview. Offline planning organizes multimodal avatar assets into a persona, an agenda, and reusable skills.”。

上图展示离线规划把多模态角色资产变为人设、议程、技能与历史，在线大脑基于观众文本或音频做出行为决策与调度决策，再沿时间轴排成空闲、倾听、说话、空闲、技能调用，并以提示序列与参考块驱动上方的流式多模态扩散变换器产生视频流。像素可见提示条从 PROMPT1 到 PROMPT7 连续排列，音频波形与 REFERENCE1 和 REFERENCE2 在后段插入，时间轴上标出打断与议程激活，顶部生成帧中人物舞蹈动作连续且服装背景一致。这对应正文所说的离线准备移出即时交互环路、在线只做行为与调度决策的安排。

生成器如何做到边播边换条件而不漂移？

生成器起点是预训练的 Seedance 2.0 Mini 参考到视频骨干，保留其参考保持能力。基础架构是扩散变换器，即基于变换器的扩散架构。关键改动是把扩散强迫从分块生成扩展到流式多模态参考。白话说，扩散强迫是给序列中不同标记分配独立噪声水平的方法，使模型能自回归式流式推理，同时保留骨干的双向时空建模。条件也变成流，动作提示、驱动音频、图像音频或视频参考都可在会话推进中更新或切换，例如展示新产品或调用参考引导的表演。

扩散强迫 × 流式多模态参考： 扩散强迫负责给序列中不同时刻的标记分配独立噪声水平，从而允许自回归式的流式推理；流式多模态参考负责把动作提示、驱动音频和图像音频视频参考都变成可随时间更新的条件流。二者搭配的理由是前者提供时间上可分段去噪的计算形式，后者提供内容上可切换的控制信号，组合后才能在不重启生成的情况下换产品、换动作并保持双向时空建模。

对齐与外观分两路处理。视频驱动旋转位置编码是旋转位置编码的变体，白话说旋转位置编码是通过旋转来编码位置关系的方法，视频驱动变体把输入参考块与对应生成时间轴对齐，解决参考在生成中途到达或变化时的时间对齐。显式训练的参考加图像条件记为(R+I)2V，用于锚定身份与外观。模型还以部分加噪历史运动帧为条件，用带噪历史提高对不完美生成历史的鲁棒性并减少误差累积。

视频驱动旋转位置编码 × 参考加图像条件： 视频驱动旋转位置编码负责把新到达的参考块对齐到当前生成时间轴，解决参考在播出中途到达时的时序错位；参考加图像条件负责锚定身份与外观，记为(R+I)2V。前者管何时对齐，后者管像谁，搭配后切换参考时既知道新参考对应哪一段生成时间，又不丢失人物身份。

音频与细节另有专门处理。专门的音频驱动训练支持语音、唇动、表情与头姿同步，粗到细推理逐步恢复视觉细节。把一个样本走完就是：新产品参考到达时，先由视频驱动位置编码确定它对应生成时间轴的哪一段，再由参考加图像条件固定人物身份，由部分加噪历史帧保证与上一段动作衔接，由音频驱动分支保证说话口型同步，最后由粗到细恢复包装纹理。

部分加噪历史运动帧 × 粗到细推理： 部分加噪历史运动帧负责把已生成历史以带噪形式作为条件，提高对不完美历史的鲁棒性并减少误差累积；粗到细推理负责在推理时逐步恢复视觉细节。前者管长时连续不漂移，后者管单段画面清晰，搭配后才能支撑小时级超长生成而不让历史误差放大成外观崩坏。

需要指出原文未报告噪声时刻表、参考块长度、历史帧窗口、音频编码器结构与粗到细阶段数等实现细节，因此不能从模型名称推定这些选择。

智能体如何把长期准备变成可打断的播出时间表？

智能体采用 2 阶段设计，把长程准备移出延迟敏感的交互环路，同时保留在线响应。离线规划从多模态角色资产导出人设，把会话组织成长程议程，把复杂行为编译成可复用多模态技能。人设管应如何表现，议程管要追求的活动，技能管执行所需的准备资源。这一步把会话组织与复杂行为准备移出即时交互环路。在线调度与响应在会话中把准备好的议程技能与观众文本或音频事件、汇总的交互历史结合，做出行为决策与调度决策。

按上下文，行为可被发起、叠加、推迟、打断或恢复。这使角色在无连续提示时能按议程自主活动，在有观众事件时能响应。

离线规划 × 在线调度与响应： 离线规划负责在开播前从多模态角色资产中整理出人设、长程议程和可复用多模态技能，把重准备移出延迟敏感环路；在线调度与响应负责在播出中结合观众文本或音频事件与交互历史决定演什么以及何时演，可发起、叠加、推迟、打断或恢复。二者搭配使无人输入时能按议程自主推进，有人打断时能及时改道而不丢会话。

决策到执行的落点是时段。调度表达为空闲、倾听、说话与技能执行时段，这些时段提供滚动提示、音频与多模态参考更新给扩散变换器。交互历史随会话演进更新，使后续决策能访问先前上下文。

行为决策 × 调度决策： 行为决策负责回答演什么，例如继续议程、倾听、说话或调用技能；调度决策负责回答何时与如何演，例如把行为排成空闲、倾听、说话和技能执行时段并处理打断与恢复。二者共同输出滚动提示、音频与多模态参考更新给生成器，组合意义是把语义选择与时间安排解耦，让生成器只接收连续条件流。

举例来说，例子：议程安排先聊天再跳舞，观众在跳舞中途提问，智能体可把舞蹈暂停切到倾听与说话，答完再恢复技能，这只是对发起叠加推迟打断恢复 5 种操作的白话转述，不是论文给出的状态机转移概率。

训练与构造用了什么监督，哪些参数状态未交代？

论文没有给出数据集规模、划分、采样、损失权重、优化器、学习率、训练步数与硬件预算，因此本节只能按证据讲清构造与推理的真实计算过程，不能编造训练配置。证据明确的是生成器适配预训练 Seedance 2.0 Mini 参考到视频骨干并保留其参考保持能力，使用扩散强迫形式做自回归流式推理同时保留双向时空建模。训练侧明确提到的监督包括显式训练的参考加图像条件、部分加噪历史运动帧条件、专门的音频驱动训练，以及粗到细推理。

按证据展开就是：参考加图像条件提供身份外观监督，历史运动帧以部分加噪形式提供抗累积误差的监督，音频驱动训练提供语音与唇动表情头姿同步的监督。智能体侧没有神经网络训练的证据，其构造是离线整理人设议程技能，在线做行为与调度决策并更新交互历史，属于规则与调用流程，而不是梯度更新。未报告的具体缺项包括哪些参数冻结或更新、梯度是否截断、监督来源是人工标注还是自动伪标签、何时重置历史。

解读必须指出这些缺项，不从骨干名称推定实现，也不补写拿掉某组件后必然怎样的因果断言。

在什么条件下测，与谁比，指标方向如何？

实验按问题组织为演示、与 Vidu-S1 比较、与 Vidu-S2 比较 3 组。演示组测系统能否在 4 种场景下连续生成并响应参考变化与观众交互，条件是实时 720p 视频，展示包括娱乐直播的观众对话加唱歌跳舞等技能、购物直播的产品展示试穿与产品参考间切换、视频聊天的倾听与富有表现力的轮替、直播 vlog 的场景变化与观众驱动分支。每行含 8 个按时间顺序的完整帧。比较组的对象是实际可运行策略，不是搜索最优或事后最优。

Vidu-S1 是支持通过语音交互的实时交互视频生成系统，比较的是同一观众请求与后续回应下的倾听与说话行为，指标是人评的 GSB 分，方向是正值表示 FlowAct-R2 更优。Vidu-S2 是支持流式参考条件的系统，允许在持续交互视频会话中引入或切换产品图像，比较的是相同产品参考下的包装图形与形状保真。原文未报告受试者数量、评分量表、随机化、统计显著性、延迟与成本测量，因此不能把人评优势推广为延迟或成本改善。

资源状态方面，项目页与 Hugging Face 空间本次均返回可用，依据证据可写当前可用，但这只说明演示入口可达，不等于代码权重开源或系统可本地运行。

主结果显示什么，代价与反例是什么？

比较问题是：在相同观众请求下，谁的倾听与回应行为更连续且富有表现力，公平条件是同一请求与后续回应的配对展示，指标方向是 GSB 正值表示本方法更优。下表整理人评主结果与行为描述，数值与单位保留原文写法。

表后解释需要同时讲收益与代价。论文报告 FlowAct-R2 在人评中视频质量与实时交互分别取得上述 GSB 分，伴随描述为视觉清晰度、动作自然度与表现力、动作响应性与对话上下文恰当性有改善。像素佐证见下图导读，读图时先确认左右分段再看人物细节。 同一次观众请求产品规格价格与过敏原的诚实总结，倾听段前 4 帧与回应段后 4 帧的对比显示 FlowAct-R2 在倾听时有注视头姿表情变化，而 Vidu-S1 在倾听时保持几乎不变的姿态微笑与手部姿势。

看图路径： 1. 对比上下两行在倾听段四帧中的手部姿态与面部变化；2. 观察同一观众请求下回应段四帧的表情与口型差异；3. 核对图上倾听与回应分段标注与八帧排列

论文图 5。原论文 Figure 5:：“Behavior against Vidu-S1 during the same audience request and subsequent response.”。

上图上行为 FlowAct-R2，下行为 Vidu-S1，每行 8 帧。像素可见上行人物在倾听段头部角度与口型有细微变化，手臂收拢于身前，回应段笑容与口型打开更明显；下行人物在倾听段右手持续贴于胸前围裙处，微笑弧度与头部角度几乎不变，回应段才出现口型变化。图下英文标注分别为专注倾听后富有表现力的表达与静态倾听姿态后接语音回应。这支持论文关于非言语行为更丰富的判断，但限制是该证据为单样本配对展示，未给出多人多轮的聚合分布，不能推广为每轮都成立。

未胜出项方面，论文未报告 FlowAct-R2 在任何指标上输给基线的负结果，也未测量误判率与延迟，这是明确的评测边界。 第二个比较问题是：连续切换产品参考时，谁的包装保真更好，公平条件是同一购物演示中的连续 3 个产品参考加一个独立圆柱案例。下图按列对照参考与两系统手持物。

看图路径： 1. 逐列对照顶行参考图与中间行 FlowAct-R2 手持物的包装颜色图案；2. 逐列对照底行 Vidu-S2 手持物在版式与比例上的偏离标注；3. 重点看第四列圆柱体在两行中的花纹与端部颜色差异

论文图 6。原论文 Figure 6:：“Product-reference fidelity against Vidu-S2.”。

上图顶行为 4 个参考，中间行为 FlowAct-R2，底行为 Vidu-S2。像素可见第一列红色印花袋、第二列深绿 pouch 的细曲线、第三列扁平八角盒的盖面纹饰、第四列浅底紫端圆柱在中间行均与顶行参考接近；底行则出现白色包装改版式、高对比树枝图形、高瘦锡罐改比例、多彩条纹等偏离，与图下英文标注一致。这支持流式多模态参考在切换时减少物体融合的判断，但代价是论文未给出多产品多主播的定量保真指标，属于定性案例证据。

四场景演示各自验证了哪种能力？

比较问题是：同一套智能体加生成器接口能否同时支撑会话式与任务式行为，公平条件是实时 720p 连续生成，观察方向是动作多样性与参考切换连续性。下表按四场景整理演示内容与帧证据，规格数字保留原文。

表后解释要增加新对照与适用条件。娱乐与购物行的像素显示同一视频内从正面讲解到富有表现力手势再到转身展示后背，服装纹理与背景货架保持连续，说明滚动提示与参考更新能驱动全身动作而不丢身份。聊天与 vlog 行的像素显示聊天行面部口型表情连续变化，vlog 行户外红衣人物在广场场景中走动转身挥手，左上角参考缩略图与观众文本保留自源视频，说明场景变化与观众驱动分支可在同一流中实现。

适用条件是这些均为精选帧演示，论文未报告长时漂移率、身份相似度曲线或音频同步误差，因此不能把 8 帧连续推广为小时级全程无漂移。未评测边界包括多人同框、遮挡后重现与极端光照下的稳定性。

若去掉某个对齐或历史机制会怎样，原文给了什么对照？

严格按证据说，论文没有提供消融表，没有逐个去掉视频驱动位置编码、参考加图像条件、部分加噪历史帧或音频驱动训练后的定量下降。因此不能补写拿掉后必然怎样。只能把已有对照当作有限解释。Vidu-S2 对照可视为对参考切换保真的外部参照：当切换产品参考时，FlowAct-R2 保留红色包装版式、绿色袋细线图案与扁平八角盒，而 Vidu-S2 出现相邻产品属性残留并融合成新物体，表现为偏白包装、突出树枝图形与高瘦多边形锡罐，圆柱案例把浅色图案包替换成多彩条纹。

这支持时间对齐与外观锚定共同起作用，但属于跨系统比较，不是控制单一变量的消融。Vidu-S1 对照可视为对倾听行为规划的外部参照：FlowAct-R2 在观众说话时产生连续倾听态，Vidu-S1 接近同一姿态，这支持行为与调度决策带来更丰富的非言语行为，但同样不是去掉智能体后的自身消融。缺失的验证是：若只保留生成器而用固定提示播出，倾听多样性会掉多少；若去掉部分加噪历史帧，小时级播出的累积误差会以何种斜率增长。这些都待验证。

哪些结论不能下，缺了哪些验证？

第一，定量证据有限。唯一数字主结果是与 Vidu-S1 的人评 GSB 分，原文未交代受试者数、试次、聚合对象与统计方法，也未报告自动指标如身份相似度、唇同步误差、视频质量分，因此不能把人评优势读成全面技术领先。第二，参考保真只有定性案例。4 个产品案例显示包装细节与比例差异，但无多样本成功率或误差分布，不能估计切换失败率。第三，成本与延迟未测量。

论文报告实时 720p 与小时级播出，但未报告 GPU 型号、显存、并发路数、端到端延迟与音频视频同步延迟，训练资源与推理开销要分别讨论，不能用总体趋势代替每步延迟。第四，实现细节缺项。噪声时刻表、参考块划分、历史窗口、音频特征、推理步数与超参数均未报告，复现时需自行探索并补测。第五，相关性不是因果。演示中舞蹈与讲解的连续性与智能体规划同时出现，但无消融不能断言连续性完全来自规划。

缺失证据不是技术错误，但未测量时不应承诺延迟或成本改善，也不应把单样本帧推广为全程保证。

要复述与复现，先做什么，需要什么条件？

复述方法时先沿样本走完输入到输出再展开术语。先说观众文本音频与历史进入在线大脑得到行为与调度决策，再说决策变成滚动提示音频与参考流，最后说流式多模态参考扩散变换器用视频驱动位置编码对齐、用参考加图像条件定身份、用部分加噪历史帧防漂移、用音频驱动保证同步、用粗到细恢复细节。术语首次出现先白话再给英文名，后文简称固定，例如扩散变换器、扩散强迫、旋转位置编码。复现先做什么取决于目标。

若只验证交互流程，可从公开演示入口入手，项目页与 Hugging Face 空间本次均可用，先跑娱乐、购物、聊天、vlog 4 个场景的示例，记录提示切换、参考切换与打断恢复是否连续。若要本地复现生成器，需先确认代码权重是否可下载与可运行，证据只支持演示可用，不支持代码开源的判断，Seedance 2.0 Mini 骨干的获取方式与许可需另查。关键超参数与信息条件在原文缺失，复现时要固定记录参考图像分辨率、音频采样率、提示更新频率、历史帧数与推理步数，并补测身份相似度、唇同步偏移与长时漂移。

还需补的验证包括多人评分的可重复性、产品切换成功率的多样本统计，以及不同网络抖动下的实时性。

何时值得尝试这种双组件方案？

当任务同时满足 3 条时值得尝试。第一，需要长时间不中断播出，且播出中途会换人、换物、换场景或换动作，固定参考的 1 次生成不够用。第二，需要无人说话时有事做、有人打断时能改道，纯 reactive 的问答头像不够用，此时离线准备人设议程技能、在线做行为与调度决策的分工能减少在线压力。第三，能接受定性为主的证据，先用演示验证行为丰富度，再补定量与成本测量。

若任务只是短片段高精度生成，或只有单轮问答无打断，则流式参考与主动规划的复杂度可能超出收益。常见误解需要澄清。流式不是把视频切成独立小段分别生成，而是用独立噪声水平与时间对齐让条件流连续进入同一自回归过程。参考加图像条件不是多给一张图就自动保身份，而是需要显式训练的锚定。智能体不是大语言模型直接输出视频，而是输出时段与条件更新，真正画面仍由扩散变换器实现。

回到中心判断，FlowAct-R2 把连续性交给生成器的对齐与历史机制，把自主性交给智能体的离线与在线分工，二者通过提示音频参考流衔接，这是从会说话的头像走向能规划并通过连续视频行动的持久视觉智能体的具体一步，但长时稳定性与可部署收益仍需更完整的协议与成本证据才能确认。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-30 语音/音乐/音频论文速递