英文题目：Open Your Model’s Eyes: Video and Context-Aware Multimodal Backchannel Prediction
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.171
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#多模态学习 #跨语言 #音视频 #语音 #轮次切换
评分：7.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：方法研究
👥 作者与机构
- Min-Jae Kim：机构信息未能从会议 PDF 纯文本可靠映射
- Jun-Yeong Moon：机构信息未能从会议 PDF 纯文本可靠映射
- Mujeen Sung：机构信息未能从会议 PDF 纯文本可靠映射
- Gyeong-Moon Park：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
该工作处理多方对话中的反向通道预测，输入为反向通道起始点后1500ms音频与12帧视频及5词文本，输出为NoBC、Continuer、Understanding与Empathy四分类，其难点在于反向通道事件稀疏且主观性强，模型易过拟合于紧邻触发线索而忽视长程会话流。首先在完整对话构造的无标注上下文窗口上仅优化对齐损失进行上下文对齐预训练，学习通用会话动态并为微调提供初始化。然后在标注反向通道窗口上联合优化分类交叉熵与加权多层多模态对齐损失，实现反应精化与上下文保持的联合微调。其核心多层多模态对齐在编码器高层以跨层共享权重的交叉注意力实现稠密模态辅助稀疏模态，显式规定音频大于文本大于视频的信息层级与查询键值流向，避免层特定变换与表示空间损坏。在KC-Dialog语料任务下，CAMA-BC的Macro F1分数为58.53，高于BPM-V的53.77。与简单拼接视觉特征的基线相比，该层级化选择性增强能更充分利用非言语反应线索并缓解上下文与反应失衡，跨韩英数据的提升表明其捕捉到通用会话动态。该结论的适用边界在于咨询式固定机位与短窗口条件，在交互类型变化与长程依赖上尚未验证，且经验层级可能受限。单样本端到端推理开销为20.083 ms，训练成本需4张NVIDIA RTX 3090硬件，视频引入增加了延迟但仍可满足实时应用。
🔗 开源与复现资源
- 数据相关资源：https://github.com/etri/etri-miai — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/SKTBrain/KoBERT — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么值得做？
这篇论文研究的是附和预测，也就是在双人对话中判断听者此刻是否给出附和，以及给出哪一类附和。输入是同步的 3 路信号：说话人附近的音频波形、带时间戳的文字转写、按固定帧率采样的视频画面。输出是对当前窗口的四分类：无附和、延续、理解、共情。延续是 neh、yeh、ah 这类短促重复音，表示在积极听；理解是 uhm、uh、ah 这类稍长线索，表示听懂了。
共情是 hah、ugh、whoa 这类带情绪的反应，表示惊讶、同情或失望。研究生第 1 次接触这个任务容易把它当成普通语音分类，但它的难点在于事件稀疏且主观。论文统计显示附和样本只占对话数据的一小部分，用词量占整段对话的 48.7%，音视频时长占 62.16%，模型若只看附和点前后很容易记住触发音而不是理解对话。输出必须保留的关键信息是类别定义、窗口取法和评估方式。
论文沿用已有协议，在每个附和起始点之后取 1500 毫秒音频和 5 个词文本，视频则在对应时段均匀采样 12 帧。评估用宏平均 F1，即 4 个类别 F1 的平均值，报告 60 轮内早停的最优结果并在 3 个随机种子上平均。本文的解读目标是让你能复述数据构造、对齐计算、2 阶段训练和实验条件，能判断何时该引入视频、何时该怀疑结果。后续各节按学习依赖展开，先讲任务与路线，再讲全景与组件，再讲训练与实验，最后讲复现。
已有路线做到哪里，为何卡在音频加文本？
附和预测自正式提出后，主流做法是文本加音频。早期工作证明转写文本和音频能显著提升预测，并引入听者身份；后续的多任务模型用更大模型并加入情感分类作辅助任务，再进一步建模说话人与听者的交互。这些工作共同的输入是音频加文本，融合方式多为特征拼接，隐含假设是各模态在每个时刻贡献相等。论文指出这忽略了语言信号与非语言信号时间动态不同，也忽略了更广的对话上下文。
另一条线是多模态对齐，目标是把文本、音频、视频映射到统一表示空间以支持跨模态交互，已有自监督音视频联合嵌入、组合对比损失的多模态融合变换器、以图像或语言为锚的绑定方法，以及用交叉注意力让强模态做键值的方法。这些方法在静态场景有效，但在对话这种 tempo 不断变化、信息密度不均的场景仍未被充分验证。尤其当需要同时对齐 3 个模态时，复杂度几何增长，很多方法只能处理两两对齐。
本文的定位是把对话特有的不对称和稀疏性显式建模：不是简单加一路视频，而是让信息稠密模态辅助稀疏模态，并在整段对话上先学上下文。理解这一定位后，就能明白后文为何强调层次化与课程学习，而不是堆更大的单模态编码器。
三个困难如何互相咬合？
论文把困难归纳为三点。第一是视觉信息被系统性排除，尽管人类沟通研究早已说明手势表情重要。第二是信息不对称与时间不对齐，音频兼具韵律反应与时间上下文，文本语义丰富但反应弱，视频语言稀疏但非言语反应关键，若同等对待就会错配。第三是上下文与反应不平衡，附和事件稀疏，共情与理解等类别主观且语义复杂，简单的数据增强或类别重加权无法解决，模型会过拟合到附和前瞬间的触发模式，失去对长程对话动态的建模。
附和 × 上下文对齐： 附和指听者在不抢话的前提下用 neh、uhm、hah 等短反馈表示在听、听懂或共情，判断依赖触发瞬间；上下文对齐指用无标注整段对话学习长程会话动态，分工是前者定义要预测的稀疏事件，后者提供事件之外的语义和节奏约束，搭配理由是只在附和点附近训练会过拟合到直接触发音，组合后模型先懂对话流再学反应精度。
沿一个样本走一遍更直观。假设咨询对话中来访者说完一段工作压力倾诉，咨询师在 1.5 秒内发出一声叹息式共情。只看这 5 个词和 1.5 秒音频，模型可能记住叹息能量；但若看整段对话，会知道前文有老板、述职等压力源，叹息是对累积语义的反应而非孤立声音。视频此时提供面部表情与手势，文本提供压力源语义，音频提供叹息韵律，三者缺一都会让判断变薄。这就是后文要用整段对话做无监督预热，并用层次化注意力组织 3 模态的原因。
方法全景如何从整段对话走到精确分类？
方法名为上下文感知多模态对齐的附和预测，简称 CAMA-BC，核心是多层多模态对齐加 2 阶段训练。第一阶段叫上下文对齐，在无标注的完整对话上只优化对齐损失，学习言语、声音与视觉元素的相关性，窗口尺寸与附和预测完全相同以保证表示可直接迁移。第二阶段叫附和对齐，在有标注的附和数据上联合优化分类交叉熵与对齐损失，权重兰姆达设为 0.1，既保留上下文知识又强化与附和相关的跨模态关系。
编码器选用韩语文本的 KoBERT、语音自监督的 HuBERT、动作预训练的 VideoMAE，分别处理文本、音频、视频。对齐只做在各编码器最后若干层，论文默认取最后 3 层，理由是早层多为模态特有特征，抽象不足反而妨碍融合。最终预测头把音频锚表示与两组经音频增强的跨注意力表示拼接后做线性分类。下面这张示意图展示了数据利用范围的差异，是理解为何要用整段对话的关键。
看图路径： 1. 先看大虚线框内外对比：大框是本文可用范围，小灰框是先前工作范围；2. 再看图例中文本、音频波形、视频胶片与模型图标的对应关系；3. 沿手势与面部表情两处红圈看视频提供的非言语反应线索；4. 对照 Empathy 与 No BC 两个标签看同一会话流中不同时刻的监督稀疏性
论文图 1。原论文 Figure 1：“Schematic of the proposed data utilization in Context-Aware Multimodal Alignment for Backchan- nel Prediction (CAMA-BC), illustrating its ability to leverage a significantly…”。
这张图用大虚线框表示本文可用的自监督上下文知识，右下小灰框表示先前工作只用的受限范围。图中同时出现转写条、音频波形与胶片式视频帧，红色圆圈标出手势与面部表情，左下机器人图标代表本文模型。可以看到标签为共情与无附和的两个局部样本都嵌在更大的会话流中，上方还有老板相关陈述与叹息式回应。若只在小框内训练，模型看不到压力累积过程；放大到大框后，模型能学到语义铺垫与非言语反应的对应。这直接对应后文 2 阶段设计：先在大框内做无监督对齐，再在小框内做有监督特化。
多层对齐在算什么，谁帮助谁？
组件的输入是同一时间窗的 3 张量，记为音频、文本、视频。先经各自嵌入层与编码器层逐层变换，得到各层特征。论文在每种模态编码器的最后若干层中选取相同数量的层构成对齐集合，集合中每个元素是三元组，分别指向音频、文本、视频的某一层。对每个三元组，先经线性投影把序列特征映射到共享维度，再平均池化为样本级嵌入。同一批内同一样本的不同模态互为正例，其余样本为负例，用归一化点积加对数柔性最大构成对齐损失。直观说，就是让同一时刻的 3 路表示靠近，不同时间的表示远离。
\[sa = 16000Hz and video is sampled at sv = 30Hz.\]仅做直接对齐还不够，因为 3 路表示差异大。论文加入层次化跨注意力，顺序是音频大于文本大于视频。查询来自较稀疏模态，键值来自较稠密模态。例如用视频作查询、文本作键值得到增强表示，再与音频锚对齐；另两组类似构成视频音频与文本音频增强。
关键实现是跨注意力权重在对齐集合的所有层间共享，目的是学一致的跨模态交互模式，避免逐层独立参数过拟合到层相关特征，也避免与编码器争夺同一知识空间。最终预测时以音频为主锚，把音频表示与两组经音频增强的表示拼接后送入分类头。这种设计保留了信息层级，同时让视频与文本都得到稠密音频信息的增强。
看图路径： 1. 先沿左侧时间轴看 5 个词与 1.5 秒窗口如何切出上下文对齐与附和对齐样本；2. 再看中间视频音频文本三塔中后三层被框选为对齐层的结构；3. 沿右侧环形箭头看三组跨注意力如何连接三类特征；4. 最后看底部 Head 处四分类输出与交叉熵损失的汇合位置
论文图 2。原论文 Figure 2：“Illustration of the data construction and architecture of Context-Aware Multimodal Alignment for Backchannel Prediction (CAMA-BC), highlighting the Multi-Layer Multimodal…”。
左半部分展示多阶段训练的数据切法，顶部绿紫色转写条与波形下标出 5 个词与 1.5 秒，红色与蓝色虚线框分别对应上下文对齐的大量连续片段与附和对齐的标注片段。中间三塔分别对应视频、音频、文本编码器，深色为嵌入层，浅灰为编码层，最下方 3 层被横向框选并标注权重共享，底部经下投影汇入预测头输出 4 类与交叉熵。右上环形结构展示视频音频、视频文本、文本音频 3 组跨注意力如何连接 3 类特征。读图时应确认查询用实线、键值用虚线的图例含义，不要把下投影漏斗当成注意力权重本身。
信息不对称 × 多层多模态对齐： 信息不对称指音频同时含韵律反应线索和时间上下文、文本语义丰富但反应弱、视频语言稀疏但非言语反应关键；多层多模态对齐指在编码器后若干层用共享权重跨注意力做对齐，分工是前者决定谁做查询谁做键值，后者执行从信息稠密模态向稀疏模态的增强，搭配原因是平等拼接会浪费视频价值，组合后实现按层一致的跨模态增强。
编码器与采样如何固定，保证可比？
实现细节对复现至关重要。文本用韩语专用 KoBERT 处理韩语内容，音频用 HuBERT 提取自监督语音表示，视频用在 Kinetics 上训练的 VideoMAE，因其覆盖多样人体动作。音频采样率为 16 kHz，视频为 30 赫兹。对已有基线，论文沿用原论文的音频特征设置以保证公平。附和窗口固定为 1.5 秒与 5 个词，视频对应时段均匀采样 12 帧。
英文 Switchboard 数据本身无视频，论文先用生成式图像模型按年龄性别种族服装多样性生成参考人像，再用音频驱动的人像动画模型按对应音频生成 1.5 秒视频片段，以补齐多模态输入条件。编码器微调、分类器与随机初始化的投影跨注意力层使用不同学习率，分别为 5 乘 10 的负 6 次方、5 乘 10 的负 5 次方、5 乘 10 的负 4 次方，编码器投影与跨注意力层每轮衰减 0.95。对齐层默认取第九、十、11 层。批量大小为十六，在四块 RTX3090 上实验。
这些条件说明性能比较是在相同窗口与相同采样协议下进行的，改变窗口会改变上下文量，后文的长度消融将验证这一点。
跨注意力 × 权重共享： 跨注意力指以一种模态为查询去选择性关注另一种信息更稠密模态的键值；权重共享指同一组跨注意力参数用于对齐集合中所有层，分工是前者实现查询向稠密信息的 refinement，后者约束各层学一致的跨 token 交互模式，搭配理由是逐层独立注意力易过拟合到层相关特征并与编码器争用知识空间，组合后学到模态无关的显著关系并直接复用于最终预测头。
两阶段训练每步优化什么，如何防止遗忘？
训练分两步。第一步上下文对齐只优化多层对齐损失之和，不用类别标签，数据来自完整对话按相同窗口切出的连续片段。目标是让模型区分一般会话模式与附和特有触发，并促进时间同步的多模态对齐，起到正则作用。第二步附和对齐优化分类交叉熵加兰姆达乘对齐损失，兰姆达为 0.1。此时对齐损失既是保持上下文知识的约束，也是强化附和相关跨模态关系的辅助目标，可缓解向分类迁移时的灾难性遗忘。
论文的消融显示去掉第二阶段的对齐项会导致迁移中表示空间被破坏，去掉第一阶段则分类虽有提升但上下文理解变弱，两者结合才同时保证上下文深度与反应精度。
\[Da = {ai | 0 ≤i \lt sald} , Dt = {(ti, pi) | 0 ≤i \lt nt} ,\]需要指出未报告项：原文未明确说明第一阶段后是否重置优化器状态或冻结编码器，仅说明学习率与衰减策略及 2 阶段损失形式，也未给出梯度是否在投影层截断的细节，因此复现时应按原文超参数先完整微调并记录验证曲线，不应自行假设某部分冻结。若你的任务是无训练的推理复现，则本节对应的是数据构造与前向流程，而非参数更新。
上下文对齐 × 附和对齐： 上下文对齐是无监督第一阶段，只用对齐损失在等长连续对话片段上学模态相关性；附和对齐是有监督第二阶段，用分类交叉熵加权对齐损失微调，分工是前者做正则防止偏向反应触发，后者学精确分类边界，搭配理由是 2 阶段窗口尺寸相同可直接迁移表示，组合后保留上下文知识同时强化与附和相关的跨模态关系。
数据划分与标签如何构造，避免泄漏？
数据集包括韩语咨询对话、韩语多场景广播新闻辩论语音，以及英语电话对话。咨询对话每段约 50 分钟，带附和类别标注；广播数据共 55 个视频约 20 小时，视觉更动态；电话数据有详细话语级转写但无原始视频，需生成补齐。类别沿用 4 类：无附和、延续、理解、共情。
划分按 8:0.5:1.5 切为训练验证测试，并保证无附和与有附和样本数相等。上下文对齐样本数在咨询数据上为十三万余，在广播数据上为三万余，远多于标注样本，体现用整段对话扩充学习范围的思想。资源状态方面，用于获取韩语附和标注语料的链接当前可用，状态码为二百；韩语编码器仓库链接当前可用，状态码为二百。这意味着当前可按公开渠道获取数据与文本编码器，但仍需核对版本与切分脚本是否与论文一致。
采样时必须注意同一对话内的片段可能语义相关，划分应按对话或说话人隔离，论文未在正文详述隔离键，复现时应检查官方切分以避免同一说话人同时出现在训练与测试。
基线、指标与运行条件是否公平？
基线覆盖单模态、多模态与大模型 3 类。文本基线为 KoBERT 与两个文本大模型；音文基线为已有附和预测模型；为验证视频是否有用，论文把已有模型经 VideoMAE 简单拼接扩展为视频版本；另用多模态大模型处理音文视输入。
模型模态标记中字母分别表示文本、音频、视频。指标为宏平均 F1，方向是越高越好，报告早停最优并在 3 种子上平均。论文还报告了大模型对提示敏感，但尝试多种提示后趋势不变。硬件与耗时方面，本文模型单样本端到端耗时 20.083 毫秒，拼接基线为 18.868 毫秒，含所有模态特征提取且无缓存，说明引入层次化对齐的额外延迟有限，仍可支持实时应用讨论。理解公平性时要注意：大模型基线用提示推理而非微调，与微调模型不完全同训练代价。
生成视频的英语实验中所有模型都用同一批生成视频，因此视频质量对各模型的相对影响一致，但绝对性能受生成质量制约，不能直接等同于真实视频的效果。
视频到底加了多少分，层次化比拼接强多少？
先看视频是否有用这一问题。论文在咨询数据上比较不加视频与加视频的 F1，拼接式加视频已有提升，但幅度有限。公平条件是同一基线、同一窗口与同一指标，指标方向越高越好。下表整理原文报告的该对照，列数满足宽表要求，数值保留原文精度。
| 条件 | 指标 | 不加视频分数 | 加视频分数 | 比较对象 |
|---|---|---|---|---|
| 附和预测 | F1 分数 | 47.97 | 53.77 | BPM_MT |
| 附和预测 | F1 分数 | 55.82 | 56.68 | KoBERT 加 HuBERT |
表前问题是：在相同任务与指标下，仅加入视频是否提升，拼接与层次化差距多大。
表中两行分别对应两个可运行策略的不加视频与加视频分数，均为原文直接报告。表后解释是：拼接已显示视频有正向作用，但本文的层次化对齐在主结果中把咨询数据宏 F1 推至 58.53 左右，远超拼接基线的 53.77，支持视频价值需经正确对齐才能释放的判断。代价是推理耗时增加约 1.2 毫秒，且需视频编码器。
同时要注意未胜出项：多模态大模型在该任务上表现低，文本大模型也远低于微调模型，说明通用大模型不经任务适配难以捕捉多模态反应信号，不能把通用能力直接当成附和预测能力。
| 模态 | 无附和 F1 | 延续 F1 | 理解 F1 | 共情 F1 | 宏 F1 |
|---|---|---|---|---|---|
| 仅音频 | 85.21 ± 0.31 | 65.77± 1.40 | 49.14± 0.46 | 17.05± 1.11 | 54.29± 0.11 |
| 仅文本 | 84.09 ±0.74 | 57.90±1.94 | 30.83±0.65 | 17.45± 1.07 | 47.57 ±0.66 |
| 仅视频 | 74.91 ± 0.32 | 53.98± 1.10 | 35.16± 0.74 | 0.00± 0.00 | 41.01± 0.09 |
表前比较问题是：单模态各自强在哪里，信息不对称是否有证据。公平条件是同一数据集与同一四分类宏 F1，方向越高越好。三行分别为仅音频、仅文本、仅视频的可运行编码器结果。
表后解释是：音频宏 F1 最高且在理解类明显领先，支持音频兼具反应与上下文的判断；文本在共情上略高于音频但整体低，支持语义丰富但反应弱；视频整体最低且共情为零，但延续与理解非零，支持其提供稀疏但关键的非言语反应线索。这正是按音频大于文本大于视频组织跨注意力的经验证据。限制是单模态结果不能直接推出融合后贡献，融合效果还取决于对齐方式。
主结果在多数类与少数类上各赢多少？
主结果在咨询与广播数据上比较本文模型与全部基线。咨询数据上本文模型在无附和、延续、理解、共情上全面领先，尤其在延续与共情等少数类提升明显；广播数据上多数基线在理解与共情上为零，而本文模型取得非零分数，宏 F1 领先约 5 到 6 个百分点。英语电话数据即使使用生成视频，本文模型仍以 77.97 左右居首，且所有基线加生成视频后均有提升，支持方法捕捉的是跨语言的会话动态而非特定语言模式。
但需区分百分点与相对百分比：论文报告的是 F1 分数差值，应表述为几个百分点，不能说成百分之几的相对提升。反例是噪声与长度实验显示增长并非无条件：输入从 5 个词 1.5 秒扩到 10 个词 3 秒时，拼接与本文模型均有小幅提升，说明加长窗口带来额外上下文，但论文明确目标不是靠扩大窗口刷分，而是保证有限输入下的可靠性能。未评测边界包括长程依赖是否被 1.5 秒截断，以及生成视频质量对英语结果上限的影响，这些在局限节继续讨论。
拿掉哪一段，少数类先掉？
消融要回答对齐与 2 阶段各自的贡献。比较条件是同一咨询数据、同一四分类与宏 F1，越高越好。下表为原文报告的去掉多层对齐、去掉附和对齐中的对齐项、去掉上下文对齐后的结果，保留原文 2 位小数精度。
| 模型变体 | 无附和 F1 | 延续 F1 | 理解 F1 | 共情 F1 | 宏 F1 |
|---|---|---|---|---|---|
| 去掉多层对齐 | 88.94 | 70.82 | 48.75 | 18.10 | 56.68 |
| 去掉附和对齐 | 88.98 | 69.71 | 49.64 | 17.96 | 56.57 |
| 去掉上下文对齐 | 89.73 | 72.15 | 48.35 | 20.13 | 57.59 |
| 完整模型 | 89.90 | 72.73 | 49.99 | 21.49 | 58.53 |
表前问题是：在保持其他条件不变时，哪部分对少数类最关键。表中四行共享同一评估协议，指标方向一致。
表后解释是：完整模型宏 F1 最高，去掉任一部分都下降；去掉附和对齐中的对齐项后延续与共情掉得较多，支持该项在迁移中防止表示破坏；去掉上下文对齐后理解与共情低于完整模型，支持长程上下文对少数类重要。未胜出项是去掉上下文对齐的变体在无附和上仍接近完整模型，说明多数类可仅靠局部触发判定，不能据此认为上下文无用。
另一组对齐方法对比显示其他跨注意力扩展方法宏 F1 在 56.7 左右，低于本文的 58.53，支持 3 模态需显式设计辅助关系。超参数方面，对齐权重为 0.1 时最优，过大干扰分类，过小则失去正则；对齐层越靠后越好，前层抽象不足反而有害。
简单拼接 × 层次化对齐： 简单拼接指把 VideoMAE 特征直接拼到 Ortega 或 BPM_MT 后分类；层次化对齐指按音频大于文本大于视频的信息密度组织视频文本、视频音频、文本音频 3 组增强并做多层对比，分工是前者验证视频是否有用，后者验证如何用才有效，搭配理由是论文要分离模态存在价值与融合机制价值，组合对比显示视频价值需经正确对齐才能释放。
哪些结论还不能下，噪声与延迟如何看？
论文明确列出四点局限。第一，模态层级经验证有效但可能不适用于所有交互类型，需要随会话自适应的动态层级机制，这是待验证的推测而非已证明的失败。第二，默认 1.5 秒与 5 个词可能截断长程依赖，加长到 3 秒与 10 个词确有小幅提升，但会增加计算与延迟，适用条件需权衡。第三，视频引入延迟与推理成本，实测本文模型 20.083 毫秒对拼接基线 18.868 毫秒，增量可接受但仍需在真实实时链路中复测，因为总体趋势不等于每步都满足时限。
第四，附和分类本身主观，共情与理解无绝对真值，论文用随机翻转 5% 与 10% 标签模拟标注分歧，显示拼接基线宏 F1 大幅下降而本文模型仅下降约 4 到 6 个百分点，支持鲁棒性更强，但这不等于解决了标注不确定性，也未建模标注者间不一致。阅读时应使用报告、支持、可能 3 级表述：论文报告了数字，数字支持层次化与 2 阶段的判断，跨场景通用性与动态层级仍是可能待验证。未测量误判率分布与每类延迟时，不应承诺这些量得到改善。
要复现，先跑通哪三步，缺什么先补什么？
复现建议按数据、窗口、对齐的顺序推进。第一步按官方渠道获取韩语咨询与广播数据与切分，核对 8:0.5:1.5 划分与正负样本均衡，文本编码器用公开仓库当前可用版本，音频用 HuBERT，视频用 VideoMAE，采样率分别固定为 16 kHz 与 30 赫兹。第二步严格实现窗口：在每个附和起始点后取 1.5 秒音频与 5 个词文本，视频均匀采样 12 帧，上下文对齐用同样尺寸的连续片段，保证 2 阶段表示可迁移。
第三步实现多层对齐：在最后 3 层做投影平均池化对比，加入 3 组按信息密度组织的跨注意力并跨层共享权重，第一阶段只优化对齐损失，第二阶段用交叉熵加 0.1 倍对齐损失，学习率按编码器、分类器、投影跨注意力分别设置并对后者做每轮 0.95 衰减，批量十六，早停取验证最优。还需补的验证包括：同一说话人是否跨划分泄漏、生成视频在英语数据上的质量评估、提示敏感的大模型基线是否需固定种子与模板。
若只有文本无视频，应先复现拼接视频基线以确认视频增益，再升级到层次化对齐，避免把数据问题误判为机制问题。
何时值得尝试，一句话如何向同学复述？
当你的对话系统总在该嗯时沉默、不该插时抢话，且已有同步音频文本而缺非言语线索时，值得尝试本文思路：先用整段对话的无监督对齐让模型懂节奏与铺垫，再用小量标注学精确的附和边界，并让稠密模态去增强稀疏模态而非平等拼接。
向同学复述可这样讲：模型先在等长连续片段上把同时间的音文视拉近、不同时间的推远，跨注意力让视频查文本、视频与文本查音频且权重跨层共享，最后以音频为锚拼接分类，第一阶段学上下文，第二阶段加权保留上下文学生成共情延续等少数类。记住 3 个边界：默认窗口适合实时但可能丢长程依赖，层级顺序在咨询场景验证有效但未必处处成立，主观标签噪声下本文模型更稳但并未消除主观性。
下 1 次验证应补动态层级、自适应窗口与真实视频的英语对照，届时再判断跨语言通用的强度。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses