EMODE:用两条专家通路同时保住说了什么和怎么说
EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题,用语义和副语言两条专家通路加三阶段训练做情感语音建模,在九个数据集平均准确率 72.10% 上最高,但合成可控测试显示中文组级别稳定性仍明显弱于英文。
EMODE 针对语音大模型容易只看文字内容而忽略韵律情感的问题,用语义和副语言两条专家通路加三阶段训练做情感语音建模,在九个数据集平均准确率 72.10% 上最高,但合成可控测试显示中文组级别稳定性仍明显弱于英文。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
FloorSAV 针对第一视角窄视野加移动声源难定位的问题,把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理,在 SAVED-Bench 整体从 58.3% 提到 65.3%,代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。
论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链,用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估,在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率,但结论只在给定数据分布和评测流程下成立。
HelixWorld 用连续 6-DoF 相机轨迹加离散动作同时驱动视频与双声道立体声音频,先训双向教师再蒸馏为因果学生,在单卡上实现 24 帧每秒的同步交互,并在 HelixBench 上显示出更强的随视角变化的声场对齐能力,但结论只在原文的数据筛选、评测子集与硬件条件下成立。
该文把刷分定义为扰动带来的加分并以编解码往返输出为基准,用五个攻击者取最坏情况做测量,发现四个常用预测器可攻击率差一个数量级以上,而闭环打补丁只在自家攻击空间内有效且随机扰动基线就能持平,还伴随域外一致性下降。
论文用 423 道母语撰写的多语言多模态难题考验网页浏览智能体如何发现并串联开放网络证据,最强原生检索配置准确率为 31.68% 而 57.68% 题目无任何模型答对,人力单题中位耗时 54.6 分钟说明检索代价很高。
论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数,用单材质加混合材质合成数据训练集合聚合模型,在合成测试上误差和单查询耗时低于可比基线,并能把真实录音转成新网格的重渲染声音。
InterView-C 用 27 场德语 VR 化身问卷访谈把双人眼动头部脸部手部追踪与逐词转写问卷时间窗对齐到同一时钟,并用人工校对转写和 1422 句否定标注证明短回答数字词易被语音识别丢掉而域内训练更适合转写对话的否定检测。
Jarvis 针对共享文档的多人讨论,用小型模型的检测加规则门限决定是否纠正遗漏或说错的事实,并用等候空档与举手加屏幕引证来进入对话,在合成与真实会议中验证了时机与正确性,但结论只在文档可查证的范围内成立。
论文用配对干净与受干扰输入证明闲聊和背景语音会进入病历与答题,并在注意力头干预中发现抗干扰与临床推理共用同一批组件,代价是通用质量分几乎发现不了这种污染。
Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述,用三套数据比较 52 种级联与端到端系统,发现任务可行但普遍过分割,微调能缓解而端到端在更长窗口上会退化。
论文用自采的英国口音金融语音基准 CavaBench,测量流式与离线语音识别在不同口音和噪声下的词错误率及其向大模型工具调用准确率的传导,发现总体强相关但任务关键 token 的保真度更能决定成败,而针对性微调能以较小延迟内存代价缩小差距。
论文把文本生成音乐的意图对齐定义为逐条满足专家修订的音乐清单,并用测试时验证器引导的提示词搜索提升三款开源后端的对齐分数,代价是最多 9 次生成与逐条音频问答验证的开销。
MMPostTrainBench 让研究智能体在统一基座和预算下自主改进图像、音频、视频等多模态能力并用目标与非目标、迭代轨迹与合规审计来衡量,MMResearch 再用媒体证据关联、分层记忆与开发集确认的保留机制把提交准确率提高但仍只在所测四任务与预算内成立。
论文为无网或弱网的非洲语言社区设计了一套离线语音交互流水线与两档硬件清单,并用三款 2-5B 指令模型在四种量化精度下的吞吐、内存、功耗与多语言分类准确率证明 Q4_K_M 是最兼顾速度与质量的部署选择,但树莓派首字延迟与奥罗莫语识别仍是短板。
针对整体打分掩盖局部错误的问题,论文把预测目标改为引用、镜头和音频事件三组原子单元,用确定性规则查结构、用局部语言模型查语义,在 786 个视频上发现前沿模型局部感知强但跨镜头身份保持和音画关联弱,且格式修补补不回缺失信息。
针对文本图像音频视频混合输入下靠错证据生成的问题,OmniConfess 先冻结候选回答再逐通道重打分形成口供并据此修正判断与局部重写,在 3540 例基准上提升幻觉指标但逐通道重算带来额外推理耗时。
论文针对单模态可解的音视频评测无法检验联合推理的问题,用 OmniQA 构造带时间戳证据链的问答与 112K 加 19K 训练数据,并用 MFSD 做线索条件下的 token 级信用分配,在 OmniVideoBench 达 50.0% 且在自建基准达 42.5%,代价是多路线索打分与验证流水线开销。
论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。