城市尺度步行视频里的空间与声音推理:Perception Test 2026 四赛道总结
论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。
论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。
针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音,论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造,在三种实时场景下把字符错误率大幅降低,但绝对误差仍高且高度依赖说话人自身数据与设备适配。
该工作用 100 小时人工核验对话做可靠评测、用 2000 小时自动标注对话做大规模训练,两路都保留同步的分人音轨和多维标注,并在分离、识别与轮次检测上验证了互补价值,但跨域远场与合成等待样本仍有限制。
STEMMA 针对多段音乐比较问题,先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答,并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持,属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。
论文用 10000 次多指抓取数据研究抓起前三秒观察预测抓起后是否掉落的问题,对比模态与时序建模并以上线重抓门控验证,触觉尤其是高分辨率动态触觉带来可测提升但以更多传感与计算为代价。
该文发布为录制 42 小时约鲁巴语语音而准备的 24905 句带声调符号文本,讲清来源改写与 Unicode 清洗过程,其复用价值只在标准约鲁巴语朗读新闻语域内成立。
论文用同一批 96 千次每秒录音比较全频带、低通和只留超声三种输入,发现 22.05 千赫兹以上的超声带能把孤立乐器识别和复音检测提高约 4 到 6 个百分点,但代价是需要 2.18 倍存储和宽带采集链路,且结论只在录音室隔离分轨和留出完整录音的划分下成立。
UniData 把用户的一句简单需求先扩展成多样事件,再用文本为中心的多模态指令生成器逐轮生成九种模态的对话,并用轮间相似度校正重复与偏题,在 GPT 评测的四维质量上高于对照方法,但多轮增益与跨模型迁移都依赖评测集与微调条件。
用 182 段带溯源的合成日语护理交接音频适配 1.47B 音频模型,全量微调与 rank-16 LoRA 在 39 段种子隔离合成测试上取得 0.8664 与 0.8461 的事实性-召回调和分,LoRA 以约 0.85% 可训练参数保留 97.7% 的聚合分,但未测量设备延迟功耗且未验证真实语音迁移。
论文用视觉估计的相机旋转与平移方向约束同一视频前后两段立体声的方位预测,并叠加左右声强差约束,在野外步行视频与仿真对照上验证了该弱监督的有效性与重叠声下的局限。
针对语音语言模型中显式思维链延迟高且难以表达细粒度声学线索的问题,AURAL 用高斯混合隐状态加联合块预测做两阶段训练,在 Qwen2.5-Omni 上把首个答案 token 时间从 1.22 秒降到 0.10 秒,代价是需要先构造 68.3 万条简洁思维链监督并依赖质量门控奖励来调节推理深度。
AVSD-Scenes 针对城市声景只有粗标签而缺少听视细节的问题,用两阶段自动管线先分模态生成事件与描述再用大语言模型融合成段,并用检索、对齐、分类与主观评价显示多模态描述在场景级检索与分类上优于单模态且能补充声视嵌入,代价是实例级区分力弱与仍存在幻觉风险。
该文用同一批俄语录音的长单元与短窗口对照微调并做全尝试连续合成评估,报告在约 1200 词时自回归模型的长目标训练大幅降低词错误率,而流匹配模型的绝对错误率仍高于 90%,代价是转录格式与语料构成等混杂尚未完全分离。
该文把 1926 年前管弦乐历史录音复原写成盲逆问题,用五阶段维纳-哈默斯坦退化函数合成成对数据,训练潜空间条件流匹配模型 SAMECFM,并在无参考指标与 MOS 上报告最优,但生成质量提升伴随保真度代价。
该文把可审计的生成来源链作为行为归因的前提,提出合成语音研究对象与五遍审计法,并在 113 条日语护理交接合成资产上验证了哪些归因问题被允许、哪些仍被缺失戳记阻断,代价是仍不提供因果归因与临床有效性结论。
OmniSeek 把音视频问答改为主动多轮取证循环,用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖,在长视频多跳基准上提升明显,但超长音频仍受上下文窗口限制。
针对领域实体与罕见专有名词难识别的问题,BaLEEN 用冻结语言模型加 Perceiver 瓶颈生成可预计算的层偏置注入冻结 CTC 编码器,在合成维基测试集上关键词漏识相对下降 8.7% 且词错误率相对下降 21%,代价是依赖合成语音与固定上下文预计算条件。
论文把单次混响拍手建模为未知拍手与未知房间冲激响应的卷积,用消声拍手数据集构造合成配对训练神经回归器,在受控合成基准上全面优于加窗激励基线,并在 7 个真实房间中把频谱离散度从原始录音水平降到更一致的估计,但与已知激励解卷积参考仍有差距。
针对新皮肤多事件音效补齐问题,论文用全量基础音频加已完成目标前缀与逐事件变换提示做潜在修复,在保持可运行基线对比下报告了重建误差下降与提示有效性,同时保留了对预言提示与时长先验的明确限制。
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。