英文题目：InstructDubber: Instruction-based Alignment for Zero-shot Movie Dubbing
会议身份：
conference:aaai:2026:conference-paper-id:38298
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#指令微调 #韵律 #零样本 #语音配音
评分：7.1/10 | 创新 1.4/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Zhedong Zhang：机构信息未能从会议 PDF 纯文本可靠映射
- Liang Li：机构信息未能从会议 PDF 纯文本可靠映射
- Gaoxiang Cong：机构信息未能从会议 PDF 纯文本可靠映射
- Chunshan Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Yuhan Gao：机构信息未能从会议 PDF 纯文本可靠映射
- Xiaowan Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Tao Gu：机构信息未能从会议 PDF 纯文本可靠映射
- Yuankai Qi：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
电影配音需以参考音频为音色条件、剧本为内容输入、静音视频为对齐依据，联合预测音素级时长与韵律并合成与口型及表情同步的语音，难点在于视觉域变化会导致传统唇部特征失效。InstructDubber先调用冻结预训练多模态大语言模型由视频与剧本生成语速指令和情感指令，再由指令时长蒸馏模块以槽注意力提炼时长线索并结合韵律文本特征预测音素时长，同时由指令情感校准模块用低秩自适应微调的轻量大语言模型抽取情感实体并预测音高与能量，最后将时长与韵律送入与ProDubber相同的冻结HiFi-GAN音频解码器合成配音。与依赖唇部视觉特征的方法不同，该方法以语言指令为域不变中介，避免了人脸检测与特征提取流水线。在V2C-Animation到Chem的零样本设置下时长散度为0.4565、情感相似度为70.34%且词错率为8.42%，优于ProDubber和StyleDubber。该结论限于V2C-Animation、Chem与GRID三类数据及6组跨数据集评测，复杂遮挡与多说话人重叠场景尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 演示资源：https://zzdoog.github.io/InstructDubber/ — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/jitsi/jiwer — 链接可访问（HTTP 200）
- 第三方资源：https://huggingface.co/openai/whisper-large — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
电影配音要对齐什么，为什么视觉特征路线会卡住？
电影配音的输入是三样东西：一段无声电影片段，一份要念的剧本，一段提供目标音色的参考音频。输出是一段新语音，它要用参考音色念出剧本，同时嘴型时间要对上，情绪起伏也要对上人物表演。对研究生来说，必须保留的关键信息是：时间对齐发生在音素级别，情绪对齐体现在基频与能量这类韵律属性上，评价时既要看时间差，也要看情绪相似度与可懂度。 传统做法把对齐建立在视觉特征上。
流程是先检测并裁剪人脸与嘴唇区域，再抽特征，然后用嘴唇特征管时长同步，用表情特征管韵律。这种做法有两个可复述的代价。第一是预处理链条长而脆，动画人物与真人讲课视频的脸型、画风、光照差异很大，检测与特征在新域上容易漂移。第二是跨域时对齐与音质一起掉，论文把这种现象画成视觉域差异导致零样本配音失败。 下面这张对比图把两条路线放在一起，上面是旧路线，下面是新路线，读懂它就能理解全文为什么要引入自然语言指令。
看图路径： 1. 先看上半部分训练域与未见域两条流水线，确认检测裁剪与特征提取出现的位置；2. 再看中间红色视觉域差异箭头指向哪里，判断它影响的是哪条虚线推理路径；3. 最后看下半部分自然语言指令框，确认语速与情绪描述分别用哪种颜色标出
论文图 1。原论文 Figure 1：“(a) Illustration of the previous dubbing methods with visual feature-based alignment, which rely on com- plex visual preprocessing and suffer from poor generaliza- tion to unseen…”。
上半部分显示训练域真人视频与未见域动画视频都要经过检测裁剪与特征提取，再进入配音模型，中间蓝色双向箭头标出视觉域差异，下方虚线路径指向失败的零样本配音波形。下半部分显示训练域与未见域视频连同剧本与提示词一起进入多模态大模型，生成细粒度配音指令，再分两路做时长蒸馏与情绪校准，最后经音频解码器得到零样本配音。这张图不支持任何数值结论，它只交代动机：把易变的像素特征换成相对稳定的语言描述，再做对齐。
已有配音方法分几类，各自缺了哪一块？
按输入与监督方式，已有工作可以分成 3 组，对照时要看同输入、同目标、同运行阶段。第一组用嘴唇区域视觉特征与文本特征融合来生成配音，目标是时间对齐，优点是同步直观，缺点是难以从多变场景的嘴型中重建清晰语音，常出现音质次优。第二组用基于音素的语音合成骨干，先预测与视频对齐的音素时长与基频能量，再结合声学预训练保持音质，这也是本文解码器所继承的路线。
第 3 组开始用多模态大模型，但只做到粗粒度辅助或自回归生成，例如用思维链提示生成场景类型与年龄性别，或把视频帧与文本直接喂给解码器自回归出声，都没有把细粒度指令当成对齐的主信号，也没有系统验证跨视觉域的零样本能力。 本文的差异点很明确：不把大模型当成配音生成器，而是当成鲁棒的指令生成器；不对齐像素特征，而是对齐语速指令与情绪指令；并且为两种指令分别设计可训练的时长与韵律模块。
本文演示页当前可用，地址见资源清单，但正文实验结论不依赖演示页的主观听感。词错误率工具链引用的第三方代码库当前可用，转写模型链接本次未能确认可达，因此复现时要先固定转写模型版本再比较词错误率。 这种划分也决定了后文实验的基线选择：既要和视觉特征主导的时长韵律预测方法比，也要和同样用大模型但只做粗粒度补充的方法比，才能说明细粒度指令对齐的增量来自哪里。
任务的形式化目标是什么，拆成哪两个预测问题？
论文把电影配音写成一个函数映射。输入是参考音频、配音剧本与无声电影片段，输出是配音音频。这个写法强调音色来自参考音频，内容来自剧本，对齐依据来自视频。
\[ˆADub = Model(ARef, Td, Vm),\]其中符号含义是：帽子标记的输出为生成的配音，括号内三项依次为参考音频、剧本与电影片段。 对齐子问题进一步拆成 3 个按音素的预测量：基频、能量与时长。基频与能量承载情绪与韵律，时长承载唇同步。
\[˜p, ˜n, ˜d = Alignment(Td, Vm),\]其中波浪线标记的三项为预测的基频、能量与时长，输入只有剧本与视频。这意味着音色信息不进入对齐模块，对齐只解决念多快与念什么腔调，音色由后续解码器与参考音频负责。这种拆分是后文两路设计的依据：语速指令管时长，情绪指令管基频与能量。
InstructDubber 让一个样本走完需要哪四步？
拿一个样本举例，输入是一段动画人物说话的无声片段加一句英文台词。第一步是生成指令：把视频、剧本与对应提示词一起送入预训练多模态大模型，得到两段自然语言，一段描述语速快慢，一段描述情绪变化。这里的例子是教学示意，不是原文数值：例如语速指令可能说嘴部运动较慢，情绪指令可能说从惊讶转向喜悦。
第二步是指令驱动的时长预测：语速指令经全局文本嵌入转成向量，再经蒸馏得到时长特征，与剧本的韵律文本特征做交叉注意力，最后由时长预测器输出每个音素的时长，并按视频总长度做缩放。第三步是指令驱动的韵律预测：情绪指令经轻量大模型分析器抽成情绪实体，再与韵律文本特征融合，由韵律预测器输出每个音素的基频与能量。第四步是音频生成：把剧本特征、预测时长、预测韵律与参考音频一起送入基于 HiFi-GAN 的预训练音频解码器，合成最终波形。
下图是全文的总装图，先看懂分支再看公式，图中蓝色为时长支路，绿色为情绪支路，右侧灰色为真实配音提供的监督。
看图路径： 1. 先沿左侧提示词、无声电影与剧本进入多模态大模型的箭头走一遍；2. 再分别跟踪上支语速指令经蒸馏层到时长预测器、下支情绪指令经轻量大模型到韵律预测器的路径；3. 最后看右侧真实配音经文本对齐器与音频大模型提供的监督箭头回到哪个损失
论文图 2。原论文 Figure 2：“The main architecture of the proposed InstructDubber.”。
上半蓝色虚线框是指导时长蒸馏：可学习时长原型与语速指令进入多个蒸馏层，得到时长特征，再与韵律文本特征拼接后进入时长预测器，监督来自右侧文本对齐器给出的真实时长。下半绿色虚线框是指导情绪校准：情绪指令进入轻量大模型做分析，音频大模型从真实配音抽情绪实体做监督，两者在情绪实体处对齐，再与韵律文本特征融合进入韵律预测器。左右两侧分别标出冻结与微调：多模态大模型与音频大模型冻结，轻量分析器做低秩微调。这张图没有给出可读数值，数值要到实验表里核对。
语速指令如何变成每个音素的时长？
语速指令的问题是信息丰富但冗余多，介词连词与无关描述都会干扰时长。论文的做法不是直接做交叉注意力，而是设一组可学习的时长原型槽位，用槽注意力迭代地把指令中与快慢相关的证据吸附出来。具体计算是先把指令经全局文本嵌入加位置编码得到序列，再线性投影成键与值，槽位经投影成查询，按缩放点积算每个槽位对每个词的注意力，再用加权求和与门控循环单元加多层感知机更新槽位。多层蒸馏后得到时长特征矩阵。
\[PDur = S(T ) ∈RK×dGT E.\]该式表示经过多层蒸馏后最终槽位矩阵即时长特征，行数为原型个数，列为嵌入维度。 得到时长特征后，方法把剧本先转音素，再用预训练的音素级语言模型抽韵律文本特征，以该特征为查询、降维后的时长特征为键值做交叉注意力，融合表示进入由双向长短时记忆网络加预测头构成的时长预测器。预测时长最后按输入视频长度缩放，保证配音总时长与视频一致。消融显示直接对原始指令做交叉注意力效果较差，用大模型直接回归时长序列则优化不稳定且推理成功率不稳，因此原型蒸馏是更稳的选择。
语速指令 × 时长原型： 语速指令负责把视频中嘴部快慢的视觉变化转成自然语言描述，时长原型负责提供一组可学习的槽位去吸附描述中与快慢真正相关的词；两者搭配的原因是指令冗余词多而时长预测需要紧凑向量，组合后形成从冗长文本到紧凑时长特征的蒸馏通路。
韵律文本特征 × 交叉注意力： 韵律文本特征负责表达剧本转音素后的语言学与可发声内容，交叉注意力负责以它为查询去检索时长特征或情绪特征；搭配的原因是时长与韵律都必须按音素位置落地，组合后每个音素都能拿到自身对应的视觉指令依据。
情绪指令如何变成每个音素的基频与能量？
情绪指令同样冗长，且开放描述难以直接监督。论文先把情绪空间收敛到 7 个预定义实体，再用一个轻量大模型当分析器从指令中抽实体。关键是监督来源：训练时用音频大模型从真实配音中抽真实情绪实体，以此为目标用低秩适配微调分析器，使其分析结果向真实配音情绪看齐。推理与评测时不再使用真实配音，只用校准后的分析器从指令预测实体。
得到实体文本嵌入后，同样以剧本的韵律文本特征为查询、降维后的情绪特征为键值做交叉注意力，再由与时长预测器同结构但带两个预测头的韵律预测器输出每个音素的基频与能量。消融显示直接对原始情绪指令做交叉注意力会引入冗余，用类似时长的蒸馏或不用校准直接抽实体，都不如有真实情绪监督的校准版本在情绪相似度上高。
情绪指令 × 情绪实体： 情绪指令负责保留人物表情变化的细粒度自然语言描述，情绪实体负责把这种开放描述收敛到 happy 等 7 个预定义类别；搭配的原因是直接用长文本预测韵律易引入冗余，收敛到实体后再做交叉注意力能让韵律预测获得更稳定且可监督的情绪依据。
训练时冻结谁、更新谁、用什么损失？
训练的数据流要分清冻结与更新。多模态大模型负责生成语速与情绪指令，音频大模型负责从真实配音抽情绪实体，两者在训练中冻结，只提供指令与监督。被更新的是蒸馏模块、交叉注意力、时长与韵律预测器，以及轻量情绪分析器的低秩增量。论文明确对分析器的每个注意力投影层与前馈层加秩适配矩阵，优化的是增量参数，损失是自回归损失。
\[EntityEmo = AudioLLM(ADub\]该式表示从真实配音经音频大模型抽出的真实情绪实体，它是校准分析器的监督目标。 音频生成使用与前人相同的预训练解码器，时长损失用预测时长与真实时长的平均绝对误差，情绪损失用预测基频能量与真实值的平均绝对误差之和，总损失是两项加权。权重与优化器设置是复现必须固定的条件，下表把原文连续句中出现的配置集中整理，数值写法保留原文。 下面这张表回答复现先固定什么：优化器、学习率、损失权重与情绪类别数是否与原文一致。
| 配置项 | 取值 | 说明 | 适用阶段 | 来源对象 |
|---|---|---|---|---|
| 损失权重 | λ1 = 2,λ2 = 1 | 时长与韵律加权 | 训练 | 总损失 |
| 优化器参数 | β1 = 0.9,β2 = 0.98 | Adam 动量项 | 训练 | 全模型 |
| 数值稳定项 | ϵ = 10−9 | Adam 分母项 | 训练 | 全模型 |
| 学习率 | 0.00625 | 初始学习率 | 训练 | 全模型 |
| 情绪实体数 | seven | 7 类情绪集合 | 训练与推理 | 分析器 |
表后需要说明代价与边界。低秩微调减少了可训练量并保留泛化，但论文未报告秩的具体取值与训练步数，也未报告大模型生成指令的耗时与失败率，因此不能把训练成本低当成已验证结论。
推理时多模态大模型仍需为每个片段生成两段指令，这是实际部署必须计入的开销。
低秩适配微调 × 情绪指令分析器： 情绪指令分析器负责从情绪指令中抽取情绪实体，低秩适配微调负责只更新其注意力与前馈层的低秩增量；搭配的原因是全量微调易破坏轻量大模型的泛化且开销大，低秩更新则在保留原知识的同时让分析结果向真实配音情绪对齐。
在哪些数据与指标上测，条件如何对齐？
实验用 3 个基准。动画电影配音集来自迪士尼动画，化学课数据集是单人讲课录像，网格数据集是多说话人按固定句式录制。划分上域内实验用同一基准的训练集训练、测试集评测，零样本实验用一个基准训练好的检查点直接去另一个基准的视频上配音，不做微调。文本对齐器用为语音合成微调过的识别模型来取音素与梅尔谱对齐，基频用预训练音高网络抽取，能量用对数范数计算。
指标方向必须先记住：时长散度越低越好，它算合成与真实在音素时长分布上的偏离；情绪相似度越高越好，它算生成与真实经情绪向量模型的余弦相似度，网格集多为中性表情故只在前两个基准上测；词错误率越低越好，它用大模型转写后再比对剧本；语音质量分越高越好，它是预测的平均意见分。比较时要注意转写模型版本与文本对齐器版本都会影响前两个指标，跨论文比较必须固定同一版本。
下表回答数据条件是否可比：规模、说话人与场景是否如原文所述。
| 基准 | 数据形态 | 规模 | 说话人 | 场景 |
|---|---|---|---|---|
| 动画集 | 视频音频文本三元组 | 10,217 | 153 | 迪士尼动画 |
| 化学课 | 课堂讲话切句 | classroom | teacher | 化学授课 |
| 网格集 | 固定句式录制 | 1,000 | 33 | 多人实验室 |
表后要指出未评测边界。原文未报告人工听感测试的误判率与统计显著性，也未报告不同性别年龄或噪声条件下的分组结果，因此自动指标上的领先不能直接等同于人工偏好全面胜出。
化学课为单人场景，动画为多人多情绪场景，两者在零样本互测时的难度并不对称，平均值会掩盖这种不对称性。
域内与零样本的主结果支持什么判断？
主结果分两类问题。第一类是域内配音：在同一基准上训练与测试，测模型在见过画风时的上限。第二类是零样本配音：跨基准直接推理，测对未见画风的鲁棒性。基线包括此前基于视觉特征的配音模型与同样用指令但只做粗粒度辅助的多数据集联合训练模型，后者在零样本表中因联合训练而在多组设置下数值相同，比较时要意识到它的训练条件与其他单基准模型不一致。
原文报告显示，在域内 3 个基准上，新方法在多数指标上最优或次优，特别是在化学课集上时长散度最低，在动画与化学课集上情绪相似度最高，语音质量分也有提升。零样本 6 组设置中，新方法在对齐准确度与配音质量上全面优于视觉特征基线，论文把原因归为自然语言指令对视觉域变化不敏感，因此时长与韵律预测更稳。重提结果时要加适用条件：时长散度在动画与网格域内并非最低，说明指令路线没有在所有时长场景包赢。
词错误率的改善依赖更准的时长韵律，但也受转写模型域匹配影响。 下图用梅尔谱展示零样本下的差异，读图时不要把颜色深浅直接当成好坏，要看结构。
看图路径： 1. 先确认左右两组训练与测试视频缩略图分别对应真人讲课与动画人物；2. 再对比每组四张梅尔谱图中红色虚线框标记的起始静音段宽窄差异；3. 最后对比白色虚线框内谐波纹理的连续性，判断哪一行更接近同组真值
论文图 3。原论文 Figure 3：“The mel-spectrograms of ground truth and synthesized dubbing by different models in zero-shot scenario.”。
左侧一组是真人训练、讲课视频测试，右侧一组是讲课训练、动画测试，每组 4 张谱图分别为真值、本文方法与两个视觉基线。红色虚线框标出起始段的时间占位差异，白色虚线框标出谐波纹理与变化形态，本文方法的白色框内纹理在连续性与起伏上更接近同组真值，而基线在跨域时出现拉长或压缩。这属于定性佐证，不能替代表中的时长散度与情绪相似度数值。
时长散度 × 词错误率： 时长散度负责衡量合成配音与真实配音在音素时长分布上的偏离以反映唇同步，词错误率负责用语音识别转写衡量发音可懂度；两者搭配的原因是时长对齐好不等于字咬清楚，组合后才能同时看到时间对齐与内容清晰度的代价关系。
拿掉蒸馏或校准会发生什么，哪种用法最有效？
消融回答两个操作问题。第一个是模块是否都必要：在视觉基线上分别加入时长蒸馏与情绪校准，再看 4 种场景平均。加入时长蒸馏后平均时长散度下降，同时词错误率与质量分改善；加入情绪校准后情绪相似度提升约 1.4 个百分点；两者合在一起得到最好整体表现。
这支持两个模块分工成立，但平均值掩盖了各场景差异，总体趋势不等于每组都成立。 第二个是用法是否选对。时长侧比较了直接对原始指令做交叉注意力、用低秩微调直接预测时长序列、以及原型数分别为一、五、十、二十的蒸馏。直接交叉注意力不能滤冗余，直接预测时长则优化隐式且不稳定，十原型在对齐与音质间更平衡。情绪侧比较了直接交叉注意力、用蒸馏代替校准、不校准直接抽实体，以及有真实情绪监督的校准版本，校准版本情绪相似度最高。
下面这张原表是情绪侧消融的直接证据，保留了可运行的基线与本方法，数值与单位保留原文写法。
| Method | EMO-SIM (%) | ↑ WER(%) ↓ | UTMOS ↑ |
|---|---|---|---|
| Raw Instruction CA | 69.55 | 10.41 | 3.38 |
| Instrcution Distilling | 70.51 | 9.92 | 3.42 |
| w/o Calibrating | 70.33 | 10.52 | 3.39 |
| Ours (IEC) | 70.94 | 9.79 | 3.44 |
表前已提出比较问题：在相同平均场景下，哪种情绪指令用法在情绪相似度、词错误率与质量分上更优。表后要讲代价与反例：直接用原始指令做交叉注意力在情绪相似度上低于校准版本，且词错误率更高；不校准直接抽实体同样落后，说明真实配音情绪监督不可省；但蒸馏替代方案在词错误率上接近本方法，说明若只关心可懂度，情绪校准的额外收益会变小。
原文还报告换用不同多模态大模型与不同规模文本嵌入模型时性能稳定，但未给出延迟与显存对比，因此稳定不等于同等开销。 下表把原文连续句中的关键消融增益集中起来，便于复述时核对方向，表中数值为原文报告的增益与原型选择结论。
| 对照 | 指标 | 本方法增益 | 基线现象 | 原文判断 |
|---|---|---|---|---|
| 情绪校准 | EMO-SIM | +1.43% | 未校准偏低 | 校准有效 |
| 时长原型 | 数量选择 | 10-prototype | 其他数量欠平衡 | 十原型更平衡 |
表后要强调限制。
该表只转述原文已报告的增益方向，不提供完整数值矩阵，完整数值以上一张原表与原文主结果表为准。原型数的最优结论只在平均场景下成立，换数据集或换指令生成模型后是否仍为十最优待验证，不应推广为通用最优超参数。
哪些结论还不能下，缺了哪项验证？
首先是指令生成质量的边界。方法依赖预训练多模态大模型为每个片段生成语速与情绪描述，若视频模糊、遮挡或剧本与画面不一致，指令可能出错，但原文没有测量指令错误率与下游时长韵律误差的对应关系，因此不能把失败都归为视觉域差异。其次是监督的适用范围。情绪校准依赖音频大模型从真实配音抽情绪实体，若真实配音本身情绪模糊或多情绪混合，7 类离散实体的监督会丢失细节，原文未报告多情绪片段的分组表现。第三是成本与延迟。
训练只报告优化器与学习率等条件，未报告显卡型号、训练时长、推理帧率与端到端延迟，实际部署时指令生成加 2 次交叉注意力加解码器的开销必须单独测量。第四是评价的完整性。词错误率依赖的转写模型链接本次未能确认可达，情绪相似度依赖的情绪向量模型也可能有域偏好，自动指标与人工唇同步感知的相关性未验证，因此不承诺人工听感全面改善。
这些缺项不是技术错误，而是复现与选型时必须补的验证：固定转写与对齐版本、记录指令失败率、分组报告多情绪与遮挡场景、测量端到端延迟。只有补齐这些，才能把平均指标上的稳健性落到可部署的边界上。
要复现这篇工作，先固定什么再跑什么？
复现的第一步是固定信息条件。准备 3 个基准的官方划分，保证域内用同基准训练测试，零样本不做微调。固定音素转换、音素级语言模型、音高网络、文本对齐器与音频解码器的版本，其中解码器沿用与前人相同的预训练权重，不要重训。固定多模态大模型、轻量分析器、全局文本嵌入与音频大模型的版本，因为换模型后指令措辞会变，直接比较数值不公平。 第二步是跑通指令生成。
按原文提示词分别生成语速与情绪指令，保存文本以便检查冗余与失败案例，再跑时长原型蒸馏与情绪校准。训练时冻结指令生成与音频情绪抽取，只更新蒸馏、预测器与分析器的低秩增量，损失权重固定为时长两份、情绪一份，优化器与学习率按训练节表格设置。推理时只用预测的情绪实体，不接触真实配音。 第三步是固定评价。时长散度、情绪相似度、词错误率与质量分的计算脚本要与基线完全一致，转写模型版本尤其关键。
若转写链接不可达，应换用本地可运行的同版本模型并在报告中注明，不把不同转写版本下的词错误率直接对比。代码开源、权重下载与系统可运行是三件不同的事：即使论文给出演示页当前可用，也不等于训练代码与全部权重可下载，复现前要分别确认。
何时值得尝试这条指令对齐路线？
当你的配音场景画风多变且不想维护人脸嘴唇检测链条时，这条路线值得尝试。它的可复述做法是：用通用视觉理解模型把快慢与情绪先说成文字，再用可训练的小模块把文字变成按音素落地的时长与韵律，最后交给高质量声码器保音质。已有证据支持它在跨动画与真人讲课的零样本设置下更稳，且换大模型与文本嵌入规模时表现稳定。 不适合的情况也要记住。
若你的场景全是同一演播室固定机位，视觉特征链条已很准，引入大模型生成指令可能只增加延迟而不带来对齐收益。若你的情绪超出 7 类或情绪快速混合，离散实体监督可能不够，需要先补细粒度情绪标注再谈校准。若你要做实时配音，必须先测量指令生成的端到端延迟，再决定是否缓存指令或改用更小的指令模型。
下一步最值得补的验证是记录指令错误率与对齐误差的关系，并在遮挡、多人同框与噪声配音下分组报告，这样才能把稳健性从平均指标落到可部署的边界上。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses