不用文字也能判仇恨吗：VINAYAKA 在双曲空间里对齐声音与画面

英文题目：VINAYAKA: Multilingual Audio-Visual Hate Speech Detection via Cross-Modal Fusion in Hyperbolic Space

会议身份：conference:interspeech:2026:conference-paper-id:kuwar26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#内容审核 #多模态学习 #多语言 #音视频 #音频分类

评分：6.3/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Bhavinkumar Vinodbhai Kuwar：机构信息未能从会议 PDF 纯文本可靠映射
• Orchid Chetia Phukan：机构信息未能从会议 PDF 纯文本可靠映射
• Rajesh Sharma：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多语言音视频仇恨言论检测以原始语音波形与采样视频帧为输入，输出仇恨与非仇恨二分类，代码混合、语言切换与自动语音识别误差使文本线索不可靠。VINAYAKA先用冻结WavLM提取副语言韵律表征并用冻结ImageBind提取管状时空行为表征，再经卷积压缩与池化得到紧凑音视频序列。紧凑特征经原点处指数映射送入庞加莱球，以双曲测地距离计算双向交叉注意力权重，实现时间音频与对应视觉场景的结构化对齐。对齐后的双向表征经莫比乌斯加权聚合与莫比乌斯加法融合，再由对数映射返回欧氏空间经全连接分类，前步压缩输出进入对齐计算，对齐输出进入融合分类。与欧氏拼接、欧氏交叉注意力及单纯莫比乌斯加法不同，该设计在负曲率空间同时建模层级依赖与精确对齐，以更低失真刻画副语言与行为线索的层级结构。在HateMM域内评测设置下，VINAYAKA的准确率为.914，高于Möbius加法基线的准确率.883。跨数据集外推存在明显适用边界，HateMM训练模型在MultiHateClip中文上宏平均F1值仅.551，跨文化迁移依然受限。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要保留什么？

这篇解读的输入是论文正文证据与本次收到的官方原图像素，目标是让刚进入语音与音频领域的研究生能核对并复述方法。必须保留的信息包括任务定义、只用音视频线索的决策条件、特征提取器的冻结状态、双曲融合的计算顺序、数据集划分与训练设置、域内与跨数据集的比较条件和关键数字。本文输出按学习依赖展开，先讲任务与相关路线，再讲方法全景与组件计算，然后讲训练与实验条件，最后讲结果、反证与复现。

论文研究的任务是多语言音视频仇恨言论检测，简称多语言音视频仇恨检测。输入是视频中的原始音频波形与原始视频帧，输出是整段视频属于仇恨还是非仇恨的二分类概率。白话说，就是不看语音转写文字，只听说话方式和看画面行为来判断是否有仇恨意图。英文名是 Multilingual Audio-Visual Hate Speech Detection，缩写是 M-AVHSD，后文统一用该缩写。需要先建立的直觉是，在线视频常有多语言混用、语码混合与语码切换，尤其在印度等多语言环境中，词汇在语言之间混合或在说话人之间切换。

此时依赖文本表示往往不可靠，因为自动语音识别会传播错误，而仇恨意图有时根本不在说了什么，而在怎么说或画面展示了什么。例如语气中的攻击性、音量与抖动变化，或者手势、符号与场景本身就能传达敌意。论文因此提出只用音视频线索做决策，并假设副语言与行为线索比文本更能跨语言和跨数据集泛化。

此前路线为什么走偏到只看文字？

先用白话界定 3 条路线。第一条是纯文本仇恨检测，把任务当作词汇分类，先后用过关键词、卷积与门控循环网络、语言 Transformer 等，优点是对干净英文文本有效，缺点是完全依赖词汇。第二条是语音仇恨检测，在自动语音识别转写上加声学线索，例如在 ADIMA 等数据集上发现响度与抖动等韵律特征是辱骂行为的重要指示，说明敌意常在说话方式里。第 3 条是多模态仇恨检测，把音频、视觉与文本一起用，例如 HateMM、ToxVidLM 与 MultiHateClip 等数据集与框架，但决策仍被文本主导。

同输入同目标的对照是，本文与这些多模态工作一样输入视频并输出仇恨标签，但监督与运行阶段不同。本文明确不用文本分支，只用冻结的语音与视觉编码器输出做融合，而此前多数工作把音视频当辅助，文本仍是主要依据。同监督的差异在于，本文的监督来源是视频级仇恨与非仇恨标签，不依赖转写文本的清洗质量，论文还特意采用零干预策略，不做人工转写清洗。理解这点才能明白后文跨语言评测的公平性。

也就是说，文本主导的方法在跨语言、语码混合与领域偏移下容易因识别错误而退化，而本文要验证非词汇线索是否更稳定。论文没有否定文本在干净单语条件下的作用，它要回答的是当文本不可靠时，音视频线索能否独立支撑判断。

要解决的矛盾是什么，假设如何可检验？

中心矛盾是内容审核需要处理多语言视频，但现有系统把决策压在文本上，而多语言与跨域条件下文本最不可靠。论文把问题形式化为多语言音视频仇恨检测，即在不依赖语言特定文本线索的条件下，从时间音频信号与对应视觉场景中检测仇恨意图。输入是原始波形与采样视频帧，中间表示是语音嵌入与视觉嵌入，目标是视频级二分类。检验假设分两步。

第一步是域内检验，比较单模态、拼接、欧氏注意力、莫比乌斯加法与本文方法，看双曲跨模态融合是否带来增益。第二步是跨数据集检验，在一个数据集训练后直接在另一个数据集测试，不做目标域微调，看副语言与行为线索是否比文本基线掉得更少。论文还提出几何检验，比较球面、欧氏与双曲流形，看负曲率是否必要。

副语言线索 × 行为线索： 副语言线索指说话方式中的韵律、响度、抖动、音色与说话人特性，由 WavLM 从原始波形提取；行为线索指画面中的手势、符号、场景与面部动态，由 ImageBind 视觉编码器从采样帧提取；二者搭配的理由是仇恨意图既可能在怎么说里也可能在可见场景里，组合意义是摆脱对词汇转写的依赖，用声音方式加画面行为共同判定。

沿一个样本走一遍有助于建立依赖顺序。一个视频进来，先得到一段波形与一组视频帧，然后分别变成语音特征序列与视觉特征序列，再经过卷积压缩与双曲投影，接着做双向跨模态注意力与融合，最后映射回欧氏空间分类。这里的前置概念是副语言与行为表示，后续的融合与分类都依赖它们的质量。如果这两路表示本身不能保留韵律与场景语义，后面的几何操作也无从对齐。

VINAYAKA 的全景路径是怎样的？

先解释方法全景的专有名词。VINAYAKA 是本文提出的多模态框架名，后文统一用该名。跨模态融合在双曲空间，英文是 Cross-modal Fusion in Hyperbolic Space，缩写是 CFHS，后文统一用该缩写。它的分工是让时间音频与对应视觉在负曲率流形中先对齐再融合，而不是在欧氏空间直接拼接。整体按样本流动可分为 5 个阶段。

第一阶段是特征提取，用冻结的 WavLM 处理原始波形，用冻结的 ImageBind 视觉编码器处理均匀采样帧，得到语音嵌入与视觉嵌入。第二阶段是欧氏压缩，每路经过两个 1 维卷积层与最大池化，再展平并经过全连接块，得到压缩后的欧氏特征。第三阶段是几何投影，把欧氏特征通过原点处的指数映射投影到曲率为负的庞加莱球。第四阶段是双曲交叉注意力与融合，分别算音频引导视觉与视频引导音频的注意力，再做莫比乌斯聚合与融合。

第五阶段是投影回欧氏空间并分类，经过对数映射与全连接网络加 Softmax 输出类别概率。

WavLM × ImageBind： WavLM 负责把原始音频波形变成保留韵律与说话人特征的语音嵌入，在多样声学条件下预训练并在本研究中冻结；ImageBind 视觉编码器负责把均匀采样视频帧变成捕捉运动模式与场景物体语义的视觉嵌入，同样冻结使用；二者搭配的原因是提供时间音频信号与对应视觉场景的两路输入，组合意义是为后续双曲投影与跨模态注意力提供可对齐的起点。

下面这段是图前导读，帮助初学者带着问题看官方架构图。读图时不要先猜模块位置，先确认左右分栏的空间标注与箭头主路径，再看两条模态支路在哪里进入双曲空间，又在哪里汇合回到欧氏空间，重点是交叉连线的方向与融合节点的输入来源。

看图路径： 1. 先从左向右沿原始音频波形与原始视频帧两条输入线跟踪到预测输出；2. 对比欧氏空间中一维卷积加最大池化加展平与双曲空间中几何投影的位置分界；3. 观察音频引导的视觉注意力与视频引导的音频注意力如何交叉连线再汇入双曲融合；4. 确认融合后回到欧氏空间才经过全连接网络做仇恨与非仇恨分类

论文图 1。原论文 Figure 1：“Overview of the proposed VINAYAKA architecture.”。

上图是官方架构图的可见内容解释。左侧是两路输入，上方为原始音频波形，下方为原始视频帧，分别经过黄色梯形表示的 WavLM 与 ImageBind 视觉编码器。中间欧氏空间部分每路都有特征提取框，框内标出 1 维卷积与最大池化，再经过展平得到压缩特征。分界线之后进入双曲空间，两路分别对应一个球体表示的几何投影，再进入上下两个跨模态注意力块，一个是音频引导的视觉注意力，另一个是视频引导的音频注意力，二者之间有交叉连线表示查询与键来自不同模态。

两路注意力输出汇入右侧另一个球体表示的双曲融合，再向右穿过分界线进入欧氏空间，经过纵向长条表示的全连接网络，输出仇恨与非仇恨预测。底部有 VINAYAKA 字样与双向箭头，表示整体流程归属。该图支持的判断是，融合发生在双曲空间内部，分类发生在映射回欧氏空间之后，顺序不可颠倒。

从嵌入到压缩：卷积块做了什么？

先讲白话。WavLM 是在约 94000 小时无标注语音上预训练的模型，用掩码预测与话语混合等技术，训练语料覆盖视频、音频书与政治演讲等多样声学条件，因此能学到韵律与说话人相关的副语言特征。ImageBind 是把视觉与音频等 6 种模态映射到统一嵌入空间的多模态模型，本文只用其冻结的视觉编码器，输入均匀采样帧，输出基于管状块的时空嵌入，能捕捉运动模式、场景级与物体级理解。两者在本研究中都保持冻结，只为下游提供嵌入，这是复现时必须保留的冻结条件。

下游单模态网络的安排是，预训练模型特征先过两个 1 维卷积层，过滤器数分别为六十四和一百二十八，卷积核大小为三，每层后接池化大小为二的最大池化。然后展平并经过含 128 个神经元的稠密层的全连接块，最后用 Softmax 输出类别概率。多模态拼接基线也是每路走同样的卷积与池化流水线，再拼接后送入全连接块分类。这个安排的理由在原文中是保持各基线实验设置一致，便于比较融合本身。

需要指出的缺项是，原文没有报告卷积层的梯度路径细节之外的学习率调度与权重衰减，也没有报告冻结编码器之外的可训练参数量，复现时只能按给出的优化器与早停规则执行，不从模型名称推定其他实现。

双曲空间 × 跨模态融合： 双曲空间指曲率为负的庞加莱球流形，适合表示层级结构关系；跨模态融合指用双曲距离算音频到视觉与视觉到音频的注意力权重，再用莫比乌斯加法与数乘聚合；搭配理由是欧氏表示难以刻画行为线索的层级依赖，组合意义是通过几何约束下的对齐让时间音频与对应画面更有效地交互。

这里要区分原始目标与近似。分类的原始目标是最小化二元交叉熵损失，优化步骤用 Adam 完成，近似体现在用卷积压缩代替直接对长序列建模，停止梯度体现在冻结的预训练编码器不更新。也就是说，可训练的是卷积、全连接与双曲融合中的线性变换部分，编码器提供固定表示。

双曲投影与双向注意力如何计算？

进入双曲部分前，先定义符号与输入。记音频欧氏压缩特征为音频隐藏表示，视觉欧氏压缩特征为视觉隐藏表示，二者分别来自展平后的全连接输出。投影目标是把它们送入曲率为负的庞加莱球，球的定义是范数受曲率约束的集合，曲率记为小写字母。实现是原点处的指数映射，把欧氏向量的方向保留而把长度按双曲正切函数压缩，保证落入球内。投影后得到双曲音频序列与双曲视频序列。

然后对每个模态通过莫比乌斯线性变换构造查询、键与数值，查询与键用于算距离，注意力权重用双曲测地距离的负值再做归一化得到。白话说，距离越近权重越大，音频到视觉与视觉到音频 2 个方向分别计算。聚合时用莫比乌斯数乘把数值按权重缩放，再用莫比乌斯加法沿另一模态求和，得到音频引导的视觉表示与视频引导的音频表示。双向表示再用 1 次莫比乌斯加法融合为统一双曲表示。

最后用原点处的对数映射把融合表示投影回欧氏空间，再送入全连接网络与 Softmax 分类。原文明确给出莫比乌斯加法、数乘与双曲距离的定义式，但本次没有收到可绑定的公式像素，因此正文不自行抄写展示公式，只保留上述可复述的计算顺序。未报告的缺项是莫比乌斯线性变换的具体参数初始化与曲率取值的学习方式，几何消融中只比较了固定曲率设置，不猜测曲率是否可训练。

训练与推理的真实计算过程是什么？

训练的监督来源是视频级二分类标签。HateMM 含 1083 段视频，其中仇恨与非仇恨数量在原文有明确划分；ToxCMM 是印地语英语语码混合对话数据，含 4021 条话语，官方二分类把有毒映射为仇恨；MultiHateClip 含 2000 条样本，分为英文子集与中文子集，原文把仇恨与冒犯合并为仇恨，把正常映射为非仇恨。划分上，对 HateMM、ToxCMM 与英文中文子集都采用五折交叉验证，所有实验取折平均的准确率与宏平均 F1。

跨数据集评测是在源数据集训练后直接在目标数据集测试，不做目标域微调，这是判断泛化而非适应的关键。转写方面，用 Whisper 得到自动语音识别转写，必要时用 PaddleOCR 做光学字符识别，仅供文本基线使用，本文方法推理时不依赖这些文本。优化器统一用 Adam，初始学习率为万分之一，批量大小为十六，损失为二元交叉熵，基于验证集宏平均 F1 早停。所有模型含单模态与多模态基线都在相同实验设置下训练，这是公平比较的前提。

推理时，一个新视频走冻结编码器、卷积压缩、双曲投影、双向注意力、融合、映射回欧氏与分类的固定流水线，不检索、不改写转写。需要说明的缺项是原文未报告训练轮数上限、早停耐心值与硬件预算，复现时应先按给出的学习率与批量大小跑通，再补记自己的硬件与耗时，不把总体趋势当作每折都成立。

数据、基线与指标如何组织才可比？

按问题组织实验条件。测什么，测只用音视频线索能否在域内有效且在跨语言跨域下更稳定。与谁比，与单模态音频、单模态视频、特征拼接、欧氏交叉注意力、莫比乌斯加法，以及官方实现的 MM-HSD 与 ToxVidLM 和按原文方法复现的 MultiHateClip 架构比。条件是否一致，所有模型同实验设置，编码器冻结，下游训练流程一致，且对基线采取零干预策略，不做人工转写清洗。指标方向是准确率与宏平均 F1 越高越好，报告的是折平均。

数据集特性也要交代。HateMM 是稳定的英语源域，来自 BitChute，约 43 小时与 144000 帧，含明确音视频仇恨线索。ToxCMM 来自 YouTube 的对话视频，语码混合使转写不可靠。MultiHateClip 来自 YouTube 与 B 站，含英文与中文视频，服务跨文化与跨域目的。论文特有的细节有两类值得展开。

一是文本基线的脆弱性设计，跨语言迁移时文本基线显著下降，用来反衬音视频线索对语言变化更不敏感。二是模态互补的观察，在多数数据集视觉略胜音频，而在对话式数据音频因显性言语攻击而略胜视觉，说明单模态都不够稳定。另一类细节是实现可用性声明，原文给出实现与训练模型的链接，但本次资源状态为没有发现来源绑定且完成验证的资源，因此不能写代码已公开或当前可用，只能说原文声称提供链接而本次未能确认可达。

域内谁赢了，赢的条件是什么？

比较问题是，在同一数据集内训练与测试时，双曲跨模态融合是否优于单模态与欧氏融合。公平条件是同划分、同折平均、同优化设置，指标方向是准确率与宏平均 F1 越高越好。下表整理原文报告的 4 个数据集域内宏平均 F1，均为 VINAYAKA 的可运行结果，用于建立上限而非直接证明跨域能力。

表后解释需要同时讲收益与代价。表显示 VINAYAKA 在 4 个数据集域内都达到该系列比较中的最优，支持双曲对齐有效捕捉结构化音视频交互的判断。但这只是域内证据，不能推广为跨域必然有效，而且未胜出项同样重要。原文报告单模态在不同数据集各有胜负，多模态拼接与欧氏注意力虽不如本文方法，但在域内仍明显优于单模态，说明融合本身就有收益，几何选择是额外增益。复述时不要把域内最优写成部署保证，还要看下节跨数据集的掉点。

域内评测 × 跨数据集评测： 域内评测指在同一数据集上做五折交叉验证，负责检验融合本身是否有效；跨数据集评测指在源数据集训练后直接在目标数据集测试且不对目标微调，负责检验跨语言与跨域鲁棒性；搭配理由是只看域内会高估文本依赖方法的实用性，组合意义是同时回答有效与可迁移两个问题。

重提结果时增加适用条件。域内最优依赖于冻结编码器提供的韵律与语义表示，以及卷积压缩保留了时间与场景信息，如果换编码器或改采样方式，数字可能变化。

跨数据集迁移掉在哪里，文本基线为何掉更多？

比较问题是，换语言与换域后性能如何变化，以及是否仍优于文本依赖基线。公平条件是源数据集训练后直接在目标测试，不做目标微调，指标仍是准确率与宏平均 F1。下表整理以 HateMM 为源与以中文子集为源的部分迁移结果，均为原文直接报告的宏平均 F1，展示跨文化迁移最难。

表后解释要讲具体对照与限制。以 HateMM 为源时，域内为 0.901，到英文子集降到 0.789，到语码混合对话降到 0.712，原文解释为政治主题的视觉重叠仍在，而符号化独白与混合语音声学差异更大。以英文子集为源时域内为 0.841，到 HateMM 为 0.786，到对话为 0.706，到中文为 0.609，显示跨文化跨语言最难。以中文子集为源时域内为 0.831，到英文、HateMM 与对话分别为 0.616、0.612 与 0.557。

以对话为源时域内为 0.885，到 HateMM、英文与中文分别降到 0.712、0.693 与 0.577。未胜出与负结果必须点名。中文到英文的迁移是全文最弱的一组，说明副语言与行为线索也受文化与领域影响，并非完全语言无关。文本基线在跨语言下掉得更显著，原文归因于对词汇线索的依赖与识别错误传播，这支持音视频线索相对更稳定的判断，但属于有限解释而非因果证明，因为没有单独控制转写质量的干预实验。

拿掉双曲几何会怎样，曲率符号重要吗？

比较问题是，融合的增益到底来自注意力对齐还是来自曲率本身。公平条件是同特征、同压缩流水线，只换融合与流形设置。下表整理几何消融的思想，用原文报告的固定曲率取向说明趋势，具体数值以原文表格为准，这里只复述方向与可核对的跨域掉点。

表后解释要包含反例。原文比较拼接、欧氏交叉注意力与莫比乌斯加法，发现莫比乌斯加法超过欧氏注意力，提示曲率感知聚合有表示优势，但在另 1 对比中欧氏注意力又略胜莫比乌斯加法，提示只有负曲率而无精确对齐也不够。本文方法把两者结合后取得增益，支持对齐加几何缺一不可的判断。几何消融比较球面正曲率、欧氏零曲率与双曲负曲率，报告负曲率最优。这验证了层级行为线索更适合双曲建模的假设，但限制是只做了固定曲率取值的比较，没有报告曲率连续取值的敏感性，也没有测量延迟与成本，因此不能承诺双曲一定更便宜或更快。

欧氏交叉注意力 × 莫比乌斯加法： 欧氏交叉注意力在欧氏空间算注意力并融合，负责验证不引入曲率时的对齐效果；莫比乌斯加法把特征投影到不同庞加莱球后直接做曲率感知的聚合，负责验证只有曲率聚合而无精细对齐的效果；搭配比较的理由是拆开对齐与几何聚合各自的贡献，组合意义是说明两者结合的跨模态融合在双曲空间才完整。

复述时要避免的误解是，把双曲当作万能几何。原文证据只支持在这组音视频仇恨任务与这套编码器下负曲率更好，不支持推广到所有多模态任务。

哪些结论还不能下，缺了什么验证？

先区分 3 类表述。论文直接报告的是域内与跨数据集的准确率与宏平均 F1，以及几何消融中负曲率最优。有限解释的是文本基线下降归因于识别错误传播，以及 WavLM 韵律特征与 ImageBind 语义表示对语言变化更不敏感，这些有跨语言对比支持但没有控制转写质量的独立实验。未验证推测的是副语言与行为线索天然跨语言，这只能说可能或待验证，因为中文与英文之间的迁移仍然困难，文化与领域差异依然存在。缺失证据不是技术错误，但复述时要用可能与待验证表达。

具体缺项包括，没有报告误判率的细粒度分析，没有测量训练资源、推理开销、输出帧率与实际延迟，没有报告统计显著性方法，没有给出可学习曲率与超参数敏感性，也没有评估当语音缺席或画面中性时的边界行为。相关性不是因果，总体趋势不等于每组每步都成立。例如以对话为源的迁移在不同目标上掉点不同，不能把平均稳定写成每对迁移都稳定。

教学例子明确标为例子，比如一段语气激烈但用词中性的独白可能被音频线索捕捉，而一段语音中性但画面出现攻击符号的视频可能靠视觉线索捕捉，这只是帮助理解分工的例子，不添加无源的效果数字。

要复现应先做什么，先跑通什么？

复现先做信息条件核对。再按学习依赖跑通流水线。第一步准备数据，按原文划分复刻 HateMM、ToxCMM 与英文中文子集的标签映射，HateMM 保留仇恨与非仇恨划分，对话数据把有毒映射为仇恨，MultiHateClip 把仇恨与冒犯合并为仇恨。跨数据集评测必须严格做到源训练直接测目标，不做目标微调，否则会高估迁移。第二步固定特征提取，用冻结的 WavLM 处理原始波形，用冻结的 ImageBind 视觉编码器处理均匀采样帧，不要一开始就微调编码器。

第三步实现下游网络，按原文实现两层 1 维卷积加最大池化加展平加稠密层的流水线，过滤器数、核大小与池化大小按原文设置，全连接块稠密层为一百二十八神经元。第四步实现双曲部分，按指数映射、双曲距离注意力、莫比乌斯聚合与融合、对数映射的顺序实现，先用固定负曲率跑通，再做零曲率与正曲率对照。第五步按统一优化设置训练，用 Adam、万分之一初始学习率、批量十六、二元交叉熵与基于验证宏平均 F1 的早停，报告折平均。

关键超参数与信息条件要保留，但缺失的早停耐心与硬件预算需在自己的复现报告中补记。关于可用性，原文声称提供实现与训练模型链接，但本次没有发现来源绑定且完成验证的资源，因此只能写链接本次未能确认可达，不能写代码已公开或系统可运行。先跑通的最小闭环是单数据集上的单模态与拼接基线，再接入欧氏注意力与本文融合，这样才能定位增益来源。

何时值得尝试这种做法，记住什么？

何时值得尝试，当视频涉及多语言混用、转写质量不可靠，或仇恨意图可能在语气与画面而不在词汇时，值得尝试只用音视频线索并在双曲空间对齐融合。复现先做的是冻结编码器加统一训练设置的公平基线，还需补的验证是转写质量的受控干预、曲率敏感性、误判分析与延迟成本测量。

记住的判断是，本文用可核对的域内与跨数据集数字显示，双曲跨模态融合优于拼接与单一几何或单一对齐的基线，且比文本主导基线在跨语言下掉得更少，但跨文化迁移仍然困难，不能承诺误判率、延迟或成本同时改善。回到中心矛盾，文本不可靠时声音方式与画面行为提供了另一条可检验的路径，而几何选择的作用是让这条路径的对齐更符合行为线索的层级结构。

初学者复述时应能沿样本说出输入到表示到组件到目标到输出的完整链条，并能指出每一步的冻结、监督与重置条件，遇到未报告处明确说缺项而不猜测。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总