从碎片到融合:全模态嵌入的统一路线图
本文诊断各模态嵌入研究在方法、综述与评测上相互隔离,提出以覆盖、可比、可组合三级能力衡量从转换到对齐再到联合嵌入的三条统一路径,并指出只有保留各模态特有结构并建立统一评测才能实现真正的全模态联合嵌入。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
本文诊断各模态嵌入研究在方法、综述与评测上相互隔离,提出以覆盖、可比、可组合三级能力衡量从转换到对齐再到联合嵌入的三条统一路径,并指出只有保留各模态特有结构并建立统一评测才能实现真正的全模态联合嵌入。
该文把自由文本换成固定字段的结构化字幕来微调流式扩散变换器,并用两步补全和问答式对齐评价来验证,在报告的两个生成集上对齐和质量都有提升,但结论依赖内部训练库与所选评价器组合。
该综述把音乐音频生成归纳为表示、生成范式与条件三类设计选择,用同一符号讲解编解码、扩散与偏好优化,并以系统对照表说明长歌曲、编辑与实时演奏各自的代价与评价限度。
论文针对全参考退化度量按模态割裂且在重退化区不敏感的问题,用固定参考隐式神经表示的对角 Fisher 敏感度轮廓之对称 KL 散度定义统一分数,并以 SIREN 闭式 Fisher 和超网络加速拟合支撑跨模态实验。
本文用三角区分测试和带无偏好选项的成对偏好测试评价四个语音增强系统在不同语音上的可区分性和日常收听偏好,并检验常用客观指标差值能否预测这两个维度,发现可区分性与系统性偏好并不等同且多数客观指标相关性不稳定。
论文把 KID 默认三次核与 KAD 默认中位数高斯核当作置换双样本检验,在 780 每侧样本下用输运距离匹配的平移、收缩与旋转探测它们能检出什么,并用样本量与带宽扫描说明恢复灵敏度的代价。
针对自由描述覆盖不一致、缺省无法区分缺席与证据不足的问题,SURE-Tagger 用专科模型提供证据再由语言模型整合成显式属性加补充描述的半结构表示,在 Tag-Bench 上标注得分最高,并用条件聚类指导一小时微调使 Qwen3-ASR-1.7B 整体误差相对下降 14.3%,代价是需要多模型流水线和候选池打标与评测开销。
论文固定音乐事实只改变工具报告离答案的推理距离,发现模型会照抄直接结论但一步推导就大幅掉点,音频和中间步骤自述都救不回来,瓶颈在读工具而不在工具本身。
论文用同一段音频配对的状态查询与变化查询考查七个冻结大音频语言模型,发现窗口逐段打分能验证局部配器状态并在短分段编码器中随前文恢复对乐器离开的判断,而直接说出起止时间的提示几乎不能暴露这些信息,但绝对分数仍然不高且结论只在配器查询与受控构造下成立。
论文用同一批句子的真人录音测出评估用识别器自身的漏检率,再用三个识别器家族逐词核验,证明标准往返转写的罕见词错误被高估两到三倍,而单识别器掩码是有偏的修正。
针对全局相似度把多属性压成一分而看不清缺了什么的问题,论文把标题拆成五个维度的原子概念并用大音频语言模型回答是否支持来打分,在替换检验和专家成对比较上显示更可靠且可解释,但使用维度仍最难且依赖大模型抽取与替换质量。
TRIAD 用 327 个查询和 86 个场景组检验只有文本图像音频三者齐备才能唯一确定答案的互相消歧能力,最强模型在单题上接近人类但在整组一致性和开放作答上大幅落后,且缺模态时仍能靠捷径作答。
EvalRx 针对基础模型局部系统性失败难以定位与验证的问题,用 M1-M5 的探索与冻结验证分离流程和分级修复门控,在语言、视觉语言和音频语言任务上实现可审计的改进,但效果依赖任务、模型与数据划分且每轮只验证一个修复。
本文比较 Qwen3-TTS 的两种参考用法在朗读、会议、情感和空管四个领域中的拟真度、声学得分与失效条件,发现领域差异远大于模型差异,且短参考配错文本最容易引发幻觉。
本文用形成与表示、管理层级两条轴线梳理多模态记忆,297 个架构与 82 个评测的证据显示动态更新已成主流而策略自演化仍稀少,代价是跨表示一致性与可验证性变难。
论文针对第一视角助手只看拒答率会掩盖伤害对象差异与不懂装拒问题,提出 2,902 条视频加语音查询的 STOU 基准并分离测试拒答与理解,发现理解后仍协助与对佩戴者伤害最弱是主要代价。
论文用组内划分在三个英语数据集上对照零样本、混合 LoRA 与分组 LoRA,发现增益集中在基线错误大且集中的地方,而混合适配常能持平或超过分组适配,因此超过零样本不能直接当作个性化的证据。
论文让两个 PersonaPlex-7B 直接交换音频 token 自由对话,用同一套 floor-transfer 规则测量接话时机,发现模型之间能相互耦合但中位间隔比人大三到四倍,且延迟扫频与分布形状支持反应式等待而非人类式提前预测。
论文用保留与归一化脉冲间隔的配对录音对比卷积与 Transformer 流程在同条件与跨条件下的物种分类准确率,发现归一化未给 Transformer 带来更大优势且跨到自然录音时性能下降,证据只支持有限作用。
论文用固定流程在不同最大上下文上分别训练小型因果 Transformer,发现民谣记谱中长上下文增益主要来自对展开的重复段落的原样拷贝,而演奏录音上增益小且早早放缓,代价是更长的注意力跨度和更不稳定的拷贝习得过程。