边说边听不断线:用自动考官逼出多轮全双工对话的掉线与失忆
针对全双工语音智能体多轮一致性缺乏可复现评测的问题,该文用合成语音自动考官加分阶段语义目标与快慢两种节奏做流式多轮交互,并以轮换流畅度、多轮指令遵循和任务专属三维打分报告了三系统随时间下滑且修正与实体跟踪最难的证据,代价是仅覆盖英语四类任务并依赖转写加模型打分。
针对全双工语音智能体多轮一致性缺乏可复现评测的问题,该文用合成语音自动考官加分阶段语义目标与快慢两种节奏做流式多轮交互,并以轮换流畅度、多轮指令遵循和任务专属三维打分报告了三系统随时间下滑且修正与实体跟踪最难的证据,代价是仅覆盖英语四类任务并依赖转写加模型打分。
该文把 256 维说话人嵌入重编码到 500 维,用矩阵级稀疏、向量级稀疏与正交三种自编码器在同一说话人验证协议下比较,报告中等至高稀疏可在保持可比等错率的同时带来去相关与典型性改善,而互信息结合解耦熵式的指标更能跟踪这种改善,但高稀疏的零方差维度与概念选择敏感构成主要代价。
针对语音、环境声、音乐三域音频幻觉缺少大规模可诊断评测的问题,HalluAudio 用 5720 对人工校验问答与对抗诱发设计做零样本评测,报告显示结构与感知幻觉普遍存在而准确率无法代替可靠性判断。
针对病理语音下神经音频编解码重合成伪造难以检出的问题,论文构建配对的中英多病症基准并提出保留多证据、在双曲空间用多原型建模伪造模式的 PHOENIX-Mamba,其 PaSST 版本在英抑郁等任务上达到 97.04 准确率并把等错率降到约 5 左右,代价是依赖预训练表示与受控重合成协议而未覆盖真实信道与 TTS 等攻击。
论文提出只用声纹推断八类隐私属性的 HearSay 基准,用 22,064 段真实音频证明模型在性别上平均达到 92.89% 准确率且几乎不拒绝,而思维链推理在强模型上进一步放大泄露,轻量提示防御难以根治生理属性泄露。
共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读
针对单轨音乐问答无法考察跨轨比较的问题,该研究用四阶段流水线构造每对三问的比较问答集,并用统一评测显示句子级比较解释是当前模型的主要瓶颈,而其代价是严格过滤后保留高精度子集与依赖文本中间表示。
Kiwano 用纯 PyTorch 的数据管理、前端嵌入与后端打分统一研究说话人确认,在 VoxCeleb2 训练下 fwSE-ResNet-200 取得全局平均 3.16% 等错误率与 0.193 最小检测代价,代价是 79 小时训练与 706.3 千瓦时能耗及跨域仍有明显退化。
论文针对以人为中心的长视频多模态理解,构建约 1001 个视频与 4781 个问答的 LongInsightBench,用六类事件内与事件间任务测出 Gemini3-Pro 总体 80.04% 领先而跨事件因果仍偏低,并以模态替换对照揭示融合 deficit,代价是依赖专有模型与约 250 GPU 小时加 700 美元 API 成本。
针对多语言多模态模型的文化感知碎片化问题,MMAC 用 8 国 10 语言 27,000 题的三模态语义对齐题库和五维评测揭示跨语言跨模态不一致与解释不忠实,并以口音线索增益与整合失败等代价界定其适用边界。
论文针对多人对话音视频生成中身份漂移与轮转混乱难以被感知质量指标发现的问题,构建覆盖四层九维度的失败诊断问答基准,用 12 个全模态模型的诊断得分与三类生成器的人评成功率显示交互层是主要瓶颈,但诊断高度依赖音频输入与提示对齐条件。
针对多轮全双工评测中轮边界模糊与上下文不一致问题,论文用切轮加逐轮固定历史组织会话特征、对话质量、指令遵循与安全四个维度评测,报告显示随轮数与特征叠加成功率下滑且端到端模型语义保持更难,而高延迟级联方案则因回答不完整付出代价。
论文用配对文本图像音频乘法题证明感知近乎完美但计算随算术负载 C 急剧失效,并用强制续写损失探针与 LoRA 正交性揭示模型偏好分配式分解而强加单一启发式反而破坏原有路由。
该研究针对完整乐谱的多级理解问题,选择 ABC 文本与 PDF 图像双模态生成问答评测,最强证据是文本问答约 49.44% 而视觉问答仅约 24.22%,代价是跨级全对的严格成功率迅速归零且微调仍难维持高层一致性。
共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读
针对全模态理解可绕过模态与跨模态多跳推理路径失衡的问题,OMHBench 用表格三元组加三跳规则与六路模态置换构造 6144 题并报告专有模型仍对语音在后路径大幅掉点而高级提示无一致增益。
论文把同时含文本、音频、图像或视频的问答做成 1375 组优选对,用桥接加人工核验构造基准,报告榜单分数与下游 Best-of-N 表现为同分布 0.94、异分布 0.72 相关,但原生全模态模型仍弱于桥接后的双模态大模型。
论文把无指令下的主动帮助定义为视觉加音频加角色文本到动作序列的映射,用 19963 条 122 场景数据和四指标评测显示只有同时理解两模态才能给出正确帮助,而缺任一模态或替换任一模态都会使总体得分大幅下降。
PRiSM 把音素实现识别拆成转写准确与转写探针加表示探针两类下游使用来考,证据显示多语言覆盖与编码器加 CTC 更稳定而专用模型仍领先大音频语言模型,但以声学保真与任务依赖为代价。
论文用极简听觉测试 DeafTest 和 4555 题的音画推理基准 AV-Odyssey 证明低级听觉感知与高级音画推理高度相关,最强证据是两者准确率的 Pearson 相关达 0.945,而代价是当前模型在计数、响度与音高上仍接近随机猜测。