比较分最难,口音比说话人难:VoiceMOS 2026 三赛道技术解读
VoiceMOS 2026 把语音评估拆成增强语音的绝对分与比较分、情感合成的自然度与情绪匹配、编解码合成的说话人与口音相似度 3 类任务,用 18 支队伍的提交显示多数队伍超过基线,而比较分与口音相似度仍最难,优胜系统普遍用预训练特征加听众建模加集成换取排序一致性。
VoiceMOS 2026 把语音评估拆成增强语音的绝对分与比较分、情感合成的自然度与情绪匹配、编解码合成的说话人与口音相似度 3 类任务,用 18 支队伍的提交显示多数队伍超过基线,而比较分与口音相似度仍最难,优胜系统普遍用预训练特征加听众建模加集成换取排序一致性。
针对随机切分让同一艘船同时出现在训练与测试导致虚高的问题,UniqueShip 按 MMSI 隔离船舶、按天隔离背景构建 2460 小时船舶音频与 4218 艘船的基准,最强 Swin 加 Mel 基线在无泄漏下准确率为 0.665,而引入泄漏可抬高 0.08-0.21,且船数翻倍增益 2.4-2.6 点约为时长翻倍 0.8-1.3 点的两到三倍。
共分析 19 篇语音/AI 论文
该研究把听者重叠贡献分为回馈、协作与打断,把说话人行为分为不变继续、回合内适应与让出,用 300 个人工确认线索对比录音人与 PersonaPlex 的配对延续,最强证据是 66 个协作对中录音人 68.2% 适应而模型仅 34.8%,代价是其余行为分流为不变继续与让出且评估依赖转录打分与受限复现条件。
MP-Bench 用合成四人语音与显式、隐式、消极三类轮次条件测语音智能体,12 个系统的最强证据是带完美说话人标签的文本上限接近满分而实时语音系统在游戏轮次上徘徊于随机水平,代价是完全受控合成、无重叠与单决策点评估。
音频时刻检索要求在数分钟录音中按自由文本返回起止时间,基线用 MS-CLAP 加 QD-DETR 在开发测试集上 Recall1@0.7 为 13.56%,前三名以更强特征与检测网络加分数校准或多分辨率集成达到 48.59%,代价是更复杂的特征组合与后处理。
该研究针对真实世界音视频伪造超越人脸、混用编辑与合成的问题,构建含 3000 片段与 12000 问答的 AVFakeBench 并评测 11 个音视频大模型与 2 个专用检测器,报告显示大模型在二分类上更稳但在细粒度分类与解释上大幅下滑且存在视觉偏向与编辑盲区。
论文以 6 至 32 个月婴儿视角的纵向音视频为唯一感官来源,构建视频话语、图像话语与多轮交错三种预训练数据并从零训练紧凑视觉语言模型,再以新发布临床工具为依据建成十任务基准,证据显示小模型可在部分认知任务上接近大模型但域外泛化与未见任务仍明显受限。
该工作在骁龙开发板上实测五种神经音频模型的中央处理器与集成图形处理器推理,问题是流式回调期限下集成显卡何时有效,选择是统一用高通推理栈对比最优中央处理器引擎,最强证据是二维卷积声码器在最小块上图形处理器已全面领先,主要代价是小模型与循环模型的调用开销反而拖慢并需要借用大缓冲换并行。
论文提出只变一个物理因素的时间对齐视频对与单视频模式测试来审计视频生音频模型,用方向一致性与敲击对齐度量揭示文本提升语义却损害同步、像素物理推理普遍偏弱的代价。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读
EgoSound 针对第一人称视频中的声音理解构造 900 视频 7315 对开放问答与七类任务,用九个多模态大模型的评测显示最强模型仅 56.7% 准确率而人类达 83.9%,代价是自动构造依赖大模型与 GPT-5 判分带来的偏差与可复现性负担。
论文针对音视频大模型单模态理解强但跨模态细粒度时间推理弱的问题,构建包含对齐、低层关系与区间描述的三层基准 FAVE,用 3557、4546、1781 组问答证明十三款模型在联合时序任务上明显落后于人类,而增加采样帧数不能消除该差距。
论文针对音频视觉评测偏重单轮感知的问题,提出感知—推理—交互三层基准并区分指令与上下文两种音频角色,用 2451 个样本和多轮任务图揭示语音指令推理弱于文本指令且交互成功率普遍偏低,代价是构造依赖人工标注而交互判定依赖大模型裁判。
论文针对视频多模态大模型看人不细的问题,用两条自动标注与组装干扰项的流水线合成 16 个细粒度选择题,并在 30 个模型与人类基线上显示情绪与声画对齐仍远落后于人,且开放流水线把人工从出题转为验题。
以同一 SPICE 梯子电路为基准,用谐波、自振荡与大信号截止点偏移三类可复述测量,比较五种数字实现并在公共核心上做饱和器与位置消融,最强证据是分布式 1+4 级实现聚在频谱误差 0.04% 至 0.10% 而边界饱和的 JUCE 达 0.65%,代价是只覆盖静态与准静态条件且未做听感与硬件验证。
该研究在苹果 M3 上对比 BNNSGraph 等推理后端处理 LSTM、TCN、WaveNet 吉他音色模型的速度,核心证据是孤立实时系数很好但在真实混音回调下尾延迟爆表,而代价是平台绑定与状态实现差异需要逐项核对。
论文针对语音内容与视频画面的语义和时间对齐问题,构造 2405 个问答的 SVHalluc 基准并测试多款音视频大模型,最强证据是 Gemini-2.5-Pro 在全局语义对齐上达到 93.10% 而多数开源模型徘徊在 50% 附近,代价是开源模型跨模态绑定能力仍接近随机且需额外的人工核验构造流程。
TriDF 针对以人为中心的伪造提出可解释检测基准,用细粒度伪影感知、真假判定与解释幻觉三维评估多模态大模型,报告显示语义伪影最难且幻觉会切断感知到判定的链路。