文字上能记住的多轮对话,换成语音还记得住吗
论文用 354 组十语言严格平行对话检验文字转语音的多轮能力迁移,发现文字成绩好的模型语音未必好,而把历史语音换成文字稿能部分恢复受损最大的两个模型的表现,但代价是增加转写处理且不能推广到所有模型。
论文用 354 组十语言严格平行对话检验文字转语音的多轮能力迁移,发现文字成绩好的模型语音未必好,而把历史语音换成文字稿能部分恢复受损最大的两个模型的表现,但代价是增加转写处理且不能推广到所有模型。
PianoBench 用同一钢琴片段的音频和乐谱文本两种输入考查模型,发现开源音频模型几乎不能从声音中提取答题线索,而前沿模型在给定显式音符加思维链时可达 93.2%,交错排列的教学讲解与演奏记录则能把 Qwen 3.5 9B 无思维链的文本推理从 42.8% 提升到 56.0%。
InteractionBench 用同一套 221 项录制用户音频测七个实时语音系统在对话时机、口语任务、耳语与音量、二十多轮 groundedness 上的表现,发现全双工系统内时机与任务正相关而离线级联相反,且网络延迟显著抬高托管系统的客户端时机分。
MEX 把分散的音乐期望验证方法收成四个可重复任务,用音频直接算出的意外与不确定性去检验重复学习、分段边界、符号模型一致性和脑电预测能力,基线显示不同模型和噪声水平各有取舍且都受数据集与评价条件限制。
Omni-Life 用 400 段视频考查助手能否在需要时及时说对、不需要时保持沉默,最好的 12 个配置也只有 4.48% 的视频完全做对,而反复提醒虽能提高覆盖却会带来每分钟数次的不必要打扰。
论文构造同时含口语主张与环境声证据的冲突音频,测五款音频语言模型能否坚持环境声答案,发现无语音时能听对不等于冲突时不跟错话语,而改提示词有时能拉回、有时只换错法。
论文用同一批音频同时检验表达、感知和利用三个环节,发现 8 个语音原生模型在中性措辞下几乎不报告轻度不耐烦语气,但两个开源模型的编码器仍能解码该语气,而对文字中不耐烦的稳定作答才是真正的稳健。
论文把语音识别从恢复唯一逐字稿改为在语音依据约束下按指令生成四级改写文本,并用 GSR-Bench 证明字面准确与可读改写之间存在权衡且弱语音下易出现无依据生成。
MixCardBench 把 10 秒多声源混音拆成逐声源的结构化卡片来分别考查发现与描述,用保留真实事件结构的合成流水线得到 4884 个场景和 9618 张卡,最强模型平均卡片字段分也只有约 60%,且声源越多检出越难。
论文把语言模型加支架看作待测智能体,用合成车内噪声故障检测基准分离支架各部件与模型的贡献,再用通风超材料设计案例检验技能划分如何决定成败,配齐阈值知识的智能体接近满分但弱模型与结构缺陷无法靠多思考弥补。
V33DA 把已检测到的每声鸣叫归给当时可见的某只斑胸草雀,用随身振动信号定真值并扣留该通道,再以三套划分检验熟悉个体识别与可迁移空间归属,代价是单装置、单发声事件与有限无线电特征。
论文把语音无法决定的书写差异定义为评测端转写规范化问题,用 1098 组最小对和兼顾一致性与语义保留的 SENA 指标检验方法,并用携带现象说明和改写约定的 TACS 智能体把平均成绩从常规工具的 10% 以下提升到 68.8%,但同音替换和符号类仍然困难。
论文针对音乐编辑缺少配对目标而无法区分保持原貌与执行改动的问题,用 MIDI 符号层干预加同一 SoundFont 渲染构造源与目标配对音频,并证明常用指标下文本相符与目标相符会给出不同系统排序。
VibeVideoBench 要求智能体在一小时内只用代码渲染画面并合成声音来交付 239 个中英文成品视频,用程序检查加约 1.3 万条任务细则加五维质量分三层打分,最强的 GPT-6 Astra 与 Claude Opus 5.5 也只在约四分之三任务上通过全部核心要求,而交不出片会显著改变排名且多因收尾渲染太晚。
论文要解决跨数十到上百小时视频的细粒度时空推理问题,用与问题无关的持久记忆加按需检索和三类技能的 4DMemory Harness 把任务时长与模型原生窗口解耦,在 5214 题上最高联合成功率 77.79% 但分布式计数等仍是短板。
AdShot 用 823 对 30 秒到 15 秒的真实广告考多模态大模型选镜头,最强 F1 仅 0.676 且时长误差常超 5 秒,架构与音频比参数规模更关键并伴随重信息轻行动的内容偏好。
论文提出中文金融多说话人语音基准 DecisionTraceBench,要求从原始音频恢复决策关键事件链并用 DCIST 打分,最强系统在真人录音上仅得 21.35%,证明只看转写错误率或末态数值会掩盖过程恢复失败。
DRAMA-Eval 用结构化剧本同时考指令执行、说话人一致和整场连贯,发现单句做得好不等于整场戏成立,而全局场景信息能明显提升沉浸感。
RASE 针对雷达隔玻璃测振动恢复语音的任务,提供配对雷达与干净语音数据、统一基线与保密评测,用直接振膜和二次表面两种条件加四个客观指标综合排名,首名综合分最高但可懂度绝对值仍低,说明方向可行但远未解决。
Omni-InteractScope 用 1479 段人工标注交互和 1790 个带时间窗的目标,检验模型能否在事件发生时调用工具、无需提问时主动提醒并走完多步指引,12 个模型在工具联合准确率、提醒召回和完整指引覆盖上都存在明显短板。