📄 浅层语音表示怎么做音画伪造检测的音频前端
评分：6.0/10 | 创新 1.1/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Qiwu Wen：Luqia Technologies
- Jahangir Alam：Luqia Technologies
- Eric Charton：Luqia Technologies
📌 核心摘要
视频通话类系统同时依赖语音和人脸视频输入，伪造的说话人视频会先污染感知再影响对话，论文研究这类输入完整性检查中的音频表示选择。输入是同步的语音波形与人脸视频片段，输出是片段真伪判定，难点在于训练时见过的合成器与测试时新合成器不同，检测器不能记住特定生成痕迹。方法固定基于模态正则化伪造检测（Modality-Regularization-based DeepFake，MRDF）的训练流程、AV-HuBERT（Audio-Visual Hidden Unit BERT）视觉处理和六块多尺度跨模态变换器融合编码器，只更换音频前端。语谱图路径从堆叠对数滤波器组特征构造token，语音自监督路径用冻结的wav2vec 2.0（Wave to Vector 2.0，W2V2）Base或WavLM Base+波形编码表示，经投影和时间对齐送入同一融合空间；论文还比较只执行前4、6、9、12层的做法，以及对前6层做非均匀加权的做法，权重由池化后的音频和视觉摘要经打分器产生。在生成器互斥的MMDF（Multimodal DeepFake，MMDF）评测上，加权浅层W2V2三轮平均宏观AUROC（Area Under Receiver Operating Characteristic，AUROC）为90.61%，高于语谱图基线的84.19%。该宏观增益适用边界明确：平均AUROC提升主要来自AniPortrait和MegActor-S，在Hunyuan上加权浅层模型为78.58%，略低于语谱图的79.68%，以Hunyuan为主的新分布可能使结论失效。尚未充分验证的范围包括三轮训练估计的训练变异性使分层自助区间仍为探索性，双流拼接与单向交叉注意力等部件比较多为单轮对照，换融合规则或检测器族与基准后浅层加权是否保持优势未经证实。浅层执行减少了执行计算但上层参数仍驻留显存，延迟测试在NVIDIA A40上从预解码张量计时至logits，不含媒体解码、重采样与因果流式部署成本，且语谱图路径在短输入下更快。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
视频通话感知为什么要检查音画输入是否被篡改
这篇论文面对的是视频中介的对话系统。系统靠同步的语音和人脸视频来感知用户，如果说话人视频是合成的，或者声音和嘴部动作对不上，后续的对话理解和回复生成就会建立在错误的感知上。所以作者把音画伪造检测当作感知前的完整性检查，输入是一段同步的音频加视频，输出是真或假的判断。
实用上有两个要求。一是遇到新的合成方法也要能发现，不能只记住训练时见过的生成器痕迹；二是计算要在低延迟预算下可行，不能为了精度无限加深模型。论文把第二个要求具体化为音频前端的选择：在检测器主体不动的情况下，换什么音频表示既有助于跨生成器泛化，又不显著增加推理时间。
这里的音频在本协议里有特殊分工。训练和验证用 FaceAdapter、Hallo2 和 LivePortrait，测试用 AniPortrait、Hunyuan 和 MegActor-S，生成器完全不重叠。作者说明音频辅助目标对真假片段都取真实类，所以语音主要作为参考，帮助判断视觉和跨模态的不一致，而不是直接靠音频本身判假。这个设定决定了后面不能把音频单模态的效果直接理解为整体效果。
已有路线做到哪一步，本文为什么只动音频前端
论文回顾了 3 条相关路线。跨模态与模态内正则化的 MRDF 保留单模态和多模态证据并做对齐正则，AVFF 学习音画内在对应关系，多尺度跨模态 Transformer 编码器引入多尺度自注意力和差分跨模态注意力。语音取证的工作则说明语音表示可以暴露说话内容与面部行为的不一致。
另一条线是纯音频伪造检测。Two Views, One Truth 把频谱视角和自监督视角用拼接或交叉注意力融合，层分析发现较低层可能保留较强取证线索且计算更少。音画表示的研究也发现预训练特征有用，但泛化仍有限。作者认为这些工作改进了模态如何交互，但较少系统回答一个更基础的问题：强检测器应该接收什么样的音频表示。
因此本文固定检测器，只换音频前端和它进入融合空间的方式。视觉沿用官方 MRDF 代码中的 AV-HuBERT 处理，融合用作者实现的六块 MSCT 风格模块，训练目标和分类头设计保持共享。这样不同前端的差异可以归因到表示和融合方式，而不是整个检测器结构的变化。
论文提出的三个具体问题是什么
第一个问题是冻结语音自监督表示和多视角融合是否优于继承的频谱前端。继承路径把堆叠的对数滤波器组做成词元，对照是冻结的 wav2vec 2.0 和 WavLM，以及两者融合。所有模型保留相同的音频、视觉和多模态交叉熵损失与 MRDF 对齐损失，权重都为 1。
第二个问题是执行深度如何同时影响检测和延迟。记波形为输入，前 L 个 Transformer 块产生隐藏序列，执行在第 L 块停止，更上层仍加载但不执行。比较 L 为 4、6、9、12，并在 6 层预算下比较加权规则。延迟在 NVIDIA A40 上用同步的 1、2、4、8 和 19.095 秒输入测量，从预解码主机张量到逻辑输出，不含媒体解码和重采样。
第 3 个问题是浅层非均匀聚合能否在几乎固定运行时提升检测。做法是在固定深度下对各层隐藏序列加权求和，再投影对齐到融合维度。比较末层、均匀平均、全局权重、音频条件和音画条件权重，其中 W2V2-L6-weighted 指前 6 层的音画条件权重。附录还用干预检验视觉条件是否真的起作用。
固定检测器的输入输出与音频前端位置
沿一个样本走一遍，输入是同步的一段语音波形加一段人脸视频。视频走 AV-HuBERT 视觉编码，音频走待比较的前端，两路词元先做词元数量裁剪并拼接分类词元，再进入六块 MSCT 风格融合，最后把分类词元拼接送入多层感知机输出真假。训练时还有模态各自和多模态的分类目标以及跨模态对齐正则，但推理只看最终逻辑输出。
下面这张图是理解全文分工的关键，左半是固定检测器主路径，右半上部是 6 层加权如何产生权重并广播相乘，下半是单层末层与两种双路融合的对照结构。读图时注意实线走特征、虚线走权重，查询键值标记的是多头注意力的输入来源。
看图路径： 1. 先看左图音频与视频两路如何经过裁剪和分类词元进入六块融合；2. 再看右图上半部分掩码平均与线性层如何产生六个标量权重；3. 注意虚线是权重广播相乘，实线是特征相加与投影；4. 对比下方单层末层、双路拼接与双路交叉注意力的查询键值来源
论文图 1。原论文 Figure 1:：“(a) Fixed AV detector. (b) W2V2-L6-weighted and comparison frontends.”。
从图上可以直接看到，音频前端是唯一的实验变量。无论是取某一层的隐藏序列，还是把 6 层加权求和后再投影到 256 维，或者把 WavLM 与 wav2vec 2.0 两路先投影对齐再融合，输出都要进入同一个 256 维融合词元空间。视觉摘要只进入权重选择器并经过停止梯度，不改变视觉主分支的检测通路，这为后面去掉视觉条件几乎不掉点的结果埋下伏笔。
视觉与融合主体做了什么，为什么说它固定
视觉流沿用 MRDF 实现中的 AV-HuBERT 前端，融合 Transformer 被替换为 6 个 MSCT 风格块。每个块内先做模态各自的多尺度自注意力，再做差分跨模态注意力，最后是模态各自的前馈网络，都通过残差连接组合。每个块用独立的前置层归一化残差路径，词元 256 维，8 个头，前馈是 256 到 1024 再到 256。
下面这张图展示了作者实现的融合块细节，上半是一个块的整体残差结构，下半左是键分 4 组做时域卷积的多尺度自注意力，下半右是音频分支的差分注意力。读图时先确认归一化与残差的位置，再看注意力分数相减发生在 2 次独立 softmax 之后。
看图路径： 1. 看上图一个融合块中 MSSA、DCA 与前馈各自的残差与归一化位置；2. 看中下左图键分四组做不同尺寸卷积后再拼接的位置；3. 看右图音频分支自注意力分数减去视觉查询分数再乘音频值的路径
论文图 2。原论文 Figure 2:：“MSCT-style fusion in this implementation, following Wei et al.”。
多尺度自注意力的具体做法是把键的头分成 4 组，分别用核长为 1、3、5、7 的深度时域卷积处理再拼接，然后计算缩放点积注意力，让每个词元聚合多感受野的时间证据。差分跨模态注意力的音频分支可以写成自查询注意力减去视觉跨查询诱导的注意力，再乘以音频的值，视觉分支对称。它强调本模态内部支持的注意模式与另一模态诱导模式之间的差异。
\[\mathbf{Z}_{A}=\left[\operatorname{softmax}\left(\frac{\mathbf{Q}_{A}\mathbf{K}_{A}^{\top}}{\sqrt{d_{h}}}\right)-\operatorname{softmax}\left(\frac{\mathbf{Q}_{V\rightarrow A}\mathbf{K}_{A}^{\top}}{\sqrt{d_{h}}}\right)\right]\mathbf{V}_{A},\]这个公式要计算的是音频分支的差分更新。其中 Q_A、K_A、V_A 是音频的查询、键、值，Q_{V→A}是从视觉流投影到音频空间的跨查询，d_h 是头维度。先对两组分数分别做 softmax 再相减，最后乘以音频值。理解时不要把相减当作注意力权重的简单修正，它是在比较两种查询下对同一组键的支持有何不同。
MSSA × DCA： MSSA 是多尺度自注意力，先把键的头分成四组做不同核长的时域深度卷积再做注意力，让每个词元看到多感受野的时间证据；DCA 是差分跨模态注意力，用本模态查询得到的注意力减去另一模态查询诱导的注意力，再乘以本模态的值。两者串在同一融合块里，前者做模态内多尺度聚合，后者突出模态间不一致。
频谱前端与冻结语音表示各怎么处理波形
继承的频谱路径从波形提取堆叠对数滤波器组特征，再构造成词元。测量包含 CPU 上的 logfbank 提取、NumPy 转换、张量构造和单样本 Python 循环。wav2vec 2.0 路径直接吃波形，用 FP16 在 GPU 上推理，不做重采样。两种路径在同一测量边界下比较，所以延迟差异反映的是实现路径差异，而不只是模型大小。
冻结意味着语音编码器参数不更新，梯度只经过新加的投影、对齐、融合和检测器。作者比较完整 12 层 wav2vec 2.0、完整 12 层 WavLM、两者融合，以及只执行前 4、6、9、12 层并取末层的配置。6 层配置再比较加权规则，控制在约一半深度预算下看混合方式的作用。
对数滤波器组 × wav2vec 2.0： 对数滤波器组是对短时频谱做滤波器组平均再取对数得到的频谱风格特征，需要在 CPU 上逐帧提取；wav2vec 2.0 是直接从波形学习上下文表示的冻结语音模型，在 GPU 上做前向推理。二者都是音频前端，输出都要投影对齐到同一融合词元空间，本文比较哪种输入能给固定检测器提供更可泛化的伪造线索。
WavLM × wav2vec 2.0： WavLM 和 wav2vec 2.0 是两个不同目标训练的冻结语音模型，前者更偏向声学和说话人相关任务，后者偏向上下文语音表示。本文把它们看作同一波形的两种视角，分别投影到 256 维并对齐到 WavLM 时间网格，再用拼接或单向交叉注意力融合成一个音频表示送入检测器。
浅层加权与双路融合的具体计算
在固定深度 L 下，加权聚合先对每层隐藏序列做掩码平均得到层摘要，对视觉词元也做掩码平均得到视觉摘要，然后经线性层、相加、tanh 和向量点积得到每层分数，再在层间 softmax 归一化。加权和后再做投影、长度感知的时域对齐和 2 次 256 维层归一化。打分器在层间共享，每个样本的 6 个标量权重广播到时间和通道维。视觉摘要经过停止梯度，意味着它只影响权重，不向视觉编码回传梯度。
\[\widetilde{\mathbf{H}}^{a}_{i}=\sum_{\ell=1}^{L}\alpha_{i,\ell}\mathbf{H}^{a}_{i,\ell},\qquad\mathbf{A}_{i}=\operatorname{Norm}\!\left[\operatorname{Align}\!\left(P_{a}\widetilde{\mathbf{H}}^{a}_{i}\right)\right],\]这个公式要计算的是浅层混合表示和进入融合的音频词元。其中 H^a_{i,l}是第 i 个样本第 l 层的音频隐藏序列，alpha 是学到的层权重，P_a 是到融合维度的投影，Align 是对齐，Norm 是归一化。求和范围是执行的 1 到 L 层，结果再投影对齐成 A_i 送入融合。
双路融合用冻结 12 层 WavLM Base+ 和 wav2vec 2.0 Base 的末层表示，先各自从 768 投影到 256 维并对齐到 WavLM 时间网格归一化，得到 X 和 Y。拼接做法是把两者在通道维拼接再学习投影，单向交叉注意力做法是以 WavLM 为查询、wav2vec 2.0 为键值做多头注意力再残差加回 WavLM 并做层归一化。
\[\mathbf{H}_{\mathrm{cat}}=P_{c}[\mathbf{X};\mathbf{Y}].\]\[\mathbf{H}_{\mathrm{xattn}}=\operatorname{LN}\!\left[\mathbf{X}+\operatorname{MHA}(\mathbf{X},\mathbf{Y},\mathbf{Y})\right].\]上面两式分别对应拼接与交叉注意力。H_cat 是拼接投影结果，P_c 是学习投影；H_xattn 是交叉注意力结果，MHA 的参数顺序是查询、键、值，残差携带的是准备好的 WavLM 特征 X。两者输出在进入检测器前都再做一次归一化，区别只在融合算子。
执行深度 × 层加权聚合： 执行深度指实际只前向运行前 L 个 Transformer 块，上层块仍加载但不执行；层加权聚合指在固定深度下对 L 层隐藏序列做加权求和。截断决定算多少层、省多少时间，加权决定每层占多少比重，两者组合就是用较少计算得到一个非均匀浅层混合表示。
训练如何组织，检查点与阈值怎么选
所有配置共享 MMDF 划分、视频处理、检测器、损失和优化设置。最多训练 30 轮，用 Adam，学习率 1e-4，权重衰减 1e-4，FP16 自动混合精度，批量 60。检查点按见过生成器的验证集上的生成器宏 AUROC 选择。主结果是 3 个训练种子的均值加标准差，种子为 12、22 和 42，单轮对照用其中一次的匹配检查点。
本研究训练的是检测器侧的参数，语音编码器保持冻结。损失包括音频、视觉和多模态交叉熵以及 MRDF 对齐损失，各权重为 1。阈值来自见过生成器的验证集，测试时保留该阈值做首秒与完整片段评估。配对自助法对保存的测试预测做重采样，同一重采样样本用于 2 个模型并按生成器和类别分层，层次区间还重采样 3 次训练。
需要说明作者未报告的内容。原文没有给出投影、对齐和选择器的逐层参数量与梯度路径细节，也没有说明上层未执行块的内存占用优化方式，只说明它们仍驻留内存。所以减少执行深度不减少内存成本，这个限制要和延迟收益分开理解。
数据划分、指标与延迟测量的条件
训练验证用 FaceAdapter、Hallo2 和 LivePortrait，最终测试用 AniPortrait、Hunyuan 和 MegActor-S，生成器不重叠。指标按未见生成器分别计算再宏平均，mEER 是各生成器等误率的均值，Worst 是每次训练中最低的生成器 AUROC，主结果再跨轮平均。Gap 是验证宏 AUROC 减测试宏 AUROC，越小说明跨生成器掉点越少。
延迟用每配置一个检查点，在单卡 A40、批量 1、FP16 下测量同步的 1、2、4、8 和 19.095 秒输入，每个进程 50 次热身加 200 次计时，共 3 个独立进程。计时从预解码主机张量到逻辑输出。受控时长用于看计算扩展性，与原生测试片段不同，原生同步音画内容约 2 秒，中位 2.015 秒，范围 1.895 到 2.175 秒。首秒评估取每个原生测试片段的前 1 秒同步内容。
宏 AUROC × 最差生成器 AUROC： 宏 AUROC 是先在每个未见生成器上算 AUROC 再平均，反映跨生成器的平均排序能力，越大越好；最差生成器 AUROC 是同一次训练中三个未见生成器里的最低值，反映短板，越大越好。前者看平均，后者看最弱一环，两者一起读才能知道提升是否被某个生成器拖累。
峰值显存约频谱路径 556 MB，语音变体 938 到 939 MB，双路约 1317 MB。p95 在 19.095 秒时频谱 55.77 毫秒，完整 wav2vec 2.0 为 54.57 毫秒，6 层末层 48.12 毫秒，6 层加权 48.85 毫秒。这些数字说明延迟比较的是包含特征提取路径的整体实现，而不是纯编码器理论复杂度。
浅层加权相对频谱前端提升多少，延迟如何变化
主结果是 3 次训练的均值。完整 wav2vec 2.0 把测试宏 AUROC 从频谱的 84.19% 提高到 87.19%，6 层取末层进一步到 88.08%，6 层加权达到 90.61%。加权相对 6 层末层和频谱分别提高 2.53 和 6.41 个百分点，且 3 次训练均为正向。层次自助区间分别为正向区间，说明样本层面的不确定性下仍为正，但训练轮数只有 3 次，区间仍是探索性的。
下表用原文连续句整理主结果与延迟对照，保留基线、实际可运行的浅层策略与完整深度对照。阅读时注意百分点是直接相减，不是相对百分比，且延迟与检测来自不同测量会话。
| 条件 | 指标 | 频谱前端 | 完整 wav2vec 2.0 | 6 层加权 |
|---|---|---|---|---|
| 19.095 秒受控输入 | p50 延迟 | 52.05 毫秒 | 52.93 毫秒 | 47.37 毫秒 |
从结果看，加权在平均上最好，但在 Hunyuan 上仍略低于频谱，短输入下频谱路径更快，只有在最长受控输入下截断语音才显示更低延迟，6 层末层在该输入下为 46.70 毫秒。
分生成器看，3 轮平均中加权相对频谱在 AniPortrait 从 90.38% 到 94.04%，在 MegActor-S 从 82.52% 到 99.19%，在 Hunyuan 为 78.58% 对 79.68% 略低。Worst 指标上频谱 3 轮平均最高，加权次之，说明平均提升主要来自前两个生成器，最弱一环仍是 Hunyuan。首秒评估中加权用 1 秒达到 86.85%，比完整片段低 2.75 个百分点，Hunyuan 从 68.84% 升到 75.36% 最受益于更长输入。
不同输入时长下延迟随时间如何增长
下表比较的是时长相关的 p50 模型路径延迟，单位毫秒，斜率是对 5 个时长的描述性拟合。它回答的是计算扩展性问题，而不是原生 2 秒片段的绝对快慢。
| Frontend | 1 s | 8 s | 19.095 s | Slope |
|---|---|---|---|---|
| Spectrogram | 23.15 | 33.20 | 52.05 | 1.59 |
| W2V2-L12 | 32.28 | 35.80 | 52.93 | 1.14 |
| W2V2-L6-last | 28.61 | 31.70 | 46.70 | .99 |
| W2V2-L6-weighted | 29.90 | 33.24 | 47.37 | .96 |
从表中可见，频谱在 1 秒时 23.15 毫秒最快，但斜率 1.59 毫秒每秒最大；完整 wav2vec 2.0 在 1 秒时 32.28 毫秒更慢，斜率 1.14；6 层末层与加权斜率约 0.99 和 0.96，在 19.095 秒时分别为 46.70 和 47.37 毫秒，低于完整深度的 52.93 毫秒。加权比末层在各时长略慢约 1 毫秒左右，说明权重选择器带来很小的额外计算。
限制是路径构成不同。频谱含 CPU 特征提取循环，语音用 GPU 推理，两者在同一测量边界下比较实现路径。内存上截断不省显存，上层块仍驻留。原生片段约 2 秒，首秒与完整评估的检测差异不能直接用受控长输入的延迟斜率来解释，两者是不同实验。
去掉哪部分会掉点，双路融合哪种规则更好
先看分生成器的平均表现，它能定位提升来自哪里，条件是 3 次训练均值，指标为 AUROC。
| Frontend | AniPortrait | Hunyuan | MegActor-S | Worst |
|---|---|---|---|---|
| Spectrogram | 90.38 | 79.68 | 82.52 | 79.68 |
| W2V2-L12 | 87.21 | 76.12 | 98.23 | 76.12 |
| W2V2-L6-last | 92.28 | 74.28 | 97.67 | 74.28 |
| W2V2-L6-weighted | 94.04 | 78.58 | 99.19 | 78.58 |
该表显示加权相对频谱在两个生成器上明显更高，在 Hunyuan 上略低。完整深度与 6 层末层在 MegActor-S 上已很高，说明语音表示对该生成器的区分帮助大，而 Hunyuan 始终是短板。Worst 列进一步确认平均提升不等于短板消失，报告时两者都要提。本表数值与单位依据论文 PDF。
双路单轮比较中，拼接达到 89.00% 原生宏 AUROC，高于单路 wav2vec 2.0 的 84.18% 和 WavLM 的 80.11%，而评估的单向交叉注意力为 84.72%。下表是同一单轮下两种融合规则在 3 个未见生成器上的 AUROC。
| Fusion | AniPortrait | Hunyuan | MegActor-S |
|---|---|---|---|
| Concatenation | 91.23 | 76.97 | 98.79 |
| Cross-attention | 88.94 | 69.09 | 96.15 |
拼接在 3 个生成器上都高于交叉注意力，差距在 Hunyuan 最大，76.97% 对 69.09%。两者验证集分数接近，97.92% 对 97.40%，差异主要出现在未见生成器。两者分数相关但阈值决策有 14.85% 不一致，说明改变的预测没有转化为更好的排序。延迟上交叉注意力 p50 为 92.30 毫秒，略高于拼接的 91.24 毫秒，峰值内存都约 1317 MB。本表数值与单位依据论文 PDF。
层加权机制上，6 层平均权重从第一层 0.362 递减到第 6 层 0.076，第一层在 3 轮中分别为 88.0%、98.1% 和 99.5% 样本上权重最大。固定检查点的干预显示，去掉或打乱选择器的视觉摘要只改变宏 AUROC 不到 0.02 个百分点，固定为验证均值权重降 0.18 个百分点，而均匀权重降 1.34 个百分点，其中 Hunyuan 降 3.27 个百分点。这支持增益主要来自学到的非均匀层混合，而不是视觉条件。单轮深度扫描还显示末层分数随深度非单调，4 层 90.57%、6 层 84.80%、9 层 81.52%、12 层 84.18%，6 层全局加权达 91.86%，说明层混合方式在该轮影响大而运行时间几乎不变。
这些结论在什么条件下才成立，有哪些未测范围
结论限定在一个检测器家族和一个生成器不相交基准。主结果是 3 轮，部件比较多为单轮匹配检查点，层次自助区间因只有 3 轮而偏探索性。加权相对末层的单轮增益范围是 0.43 到 4.79 个百分点，最小那轮的样本区间包含零，说明不能保证每一轮都有显著提升。
延迟与前缀测试从预解码输入开始，不评估因果流式与完整对话决策时间。受控长输入用于测扩展性，原生片段只有约 2 秒，不能把 19 秒的斜率优势直接说成日常 2 秒片段一定更快。短输入下频谱仍然更快，内存上截断不省显存。
未胜出项要明确。Hunyuan 上加权仍略低于频谱，Worst 指标频谱仍最高；WavLM 单路低于频谱；评估的单向交叉注意力不如拼接且延迟略高；均匀加权明显掉点。这些反例说明方法不是全面占优，适用时要看目标生成器分布和输入时长。
要复现第一步做什么，需要哪些信息条件
复现先固定划分与流程。用 MMDF 的见过与未见生成器划分，保持视频处理、六块融合、损失权重与优化设置一致，种子取 12、22、42，检查点按见过验证集的宏 AUROC 选择。音频编码器保持冻结，只训练投影、对齐、融合与分类侧，阈值沿用见过验证集。
前端实现要注意对齐细节。加权先做掩码平均再经线性与 softmax，权重广播到时频与通道，之后投影到 256 维并做长度感知对齐与 2 次层归一化；双路先各自投影到 256 维并对齐到 WavLM 网格再融合。延迟复现要用同边界，从预解码主机张量到逻辑输出，区分 1 秒、8 秒与 19.095 秒受控输入和原生约 2 秒片段。
来源方面，本次未发现绑定且完成 HTTPS 验证的作者资源，不得声称代码模型或数据已公开。论文提到 AV-HuBERT、MRDF 与 MSCT 等已有工作，但这只证明引用关系，不等于本篇资源可用。缺来源不是技术缺陷，复现时按原文描述重实现并记录环境即可。
什么时候值得尝试，还缺哪项验证
当检测器已固定且音频被当作视觉与跨模态推理的参考时，值得尝试把频谱前端换成冻结浅层语音表示，并学习非均匀层混合。预期收益是跨生成器平均提升和长输入下更低的斜率，代价是短输入可能更慢、显存不降、Hunyuan 类短板可能仍在。双路融合优先试拼接，而不是本篇评估的单向交叉注意力形式。
第一步建议从 6 层末层切入，确认延迟与平均指标变化，再加学到的层权重并做去掉视觉条件的干预，检查增益是否来自非均匀混合。同时保留分生成器与 Worst 指标，避免只看宏平均。
还缺的验证包括更多检测器家族、更多未见生成器、真实流式与端到端对话延迟，以及 3 轮以上的训练变异估计。只有补上这些，才能判断浅层加权是否超出当前基准与测量边界依然成立。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses