三路必须讲同一页:故事续写如何卡住图文语音的一致性
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。
PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。
τ-Multilingual 把英语语音任务框架原样保留、只做本地化调用者与评测本地化后,用 4500 次全双工通话检验五种语音配置,显示西语葡语印地语任务完成接近英语而韩语普通话明显掉队,且任务、交互、生成三类排名互相不一致。
针对广播语料高估方言识别能力的问题,Almieyar 按社区选图与五场景诱发新录 13.7 小时语音并零样本评测 12 个系统,总体最优仍有三成以上词错误率,且语系内部分化与字词指标背离说明必须多指标多社区评估。
论文固定文字、只改声音来要求不同工具调用,用只读文字的级联做零假设对照,报告 28 个系统在保护性来电上都偏向按字面执行、23 个可测系统中仅 11 个超越零假设,且写明规则与描述声音各只能挽回部分损失。
APEX-Voice 用 120 个带版本化工件、类型化工具、授权约束和冻结语音用户仿真的职业流程,测出最强实时语音智能体单次成功率仅 23.6% 且三轮全过仅 10.8%,代价是中间纠正与授权状态维护仍是主要瓶颈。
CoSE-E 针对 HR 与 IT 服务台的 1212 条五语对混语语音,用转写字面错、语义错与下游问答错三层评价发现混语多加的是表层错而能翻转任务答案的错集中在关键实体损坏,且数据集当前已公开。
HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答,报告语音条件偏见是随模型而异、可被个性化指令放大的特性,而开放任务中个性化更多降低回答有用性。
InterBias-SV 把噪声、信道与说话方式的联合误差问题组织为联合项、两个边际项与公共参考的四项加性对照,用 4068 条记录重算出说话人编码器组平均偏离仅 +0.0026 至 +0.0088 等错误率小量、但设置间标准差更大且试次配对与检查点来源尚未验证的描述性结果。
该挑战要求在多轮对话下同时给出前 20 首排序和有依据的回复,最强可复述证据是多路候选加保留来源证据的学习排序在受控对比中提升 nDCG,而冷启动与模糊单目标仍是主要代价。
该研究用典型性与干扰相似度双因子控制的 sounding actions 基准探测约 30 个大音频语言模型,发现典型样本到非典型样本与近干扰下的准确率系统性坍缩到接近随机,而层级分解有助、事件显式 grounding 普遍有害,人类仍大幅领先。
论文把双片段线索选择与下游执行拆开测量,发现四模型在近全数组合条件下问答与转写都大幅退化,而格式与思维链只能解释部分失败。
CUE-Mem 用显式与隐式对照的多会话文本图像音频历史检验长期用户记忆,显示隐式线索的保存与检索是主要瓶颈,而细化文本化与原生多模态接入只能部分缓解且带来代价。
论文用 1018 项 VGBench 诊断语音大模型在文字相同时能否按声学语境决定静默或调用工具,发现现成模型最高仅静默 14% 的切换指令,而联合监督训练 VoxGate 在保持正向控制全对下静默 91.3%,但该门控依赖声源与距离多线索组合且跨场景不稳定。
Duplex-MPE 用 2000 对显式与隐式称呼配对的多人连续语音场景,检验全双工助手何时新发起回答、答对、保持安静与在他人解决后收声,最强证据是 MiniCPM-o 4.5 在三项能力领先而高语音覆盖常伴随答错或侵入,代价是合成场景与自动语义打分只在抽样上经人工验证。
FA-Bench 用固定转录归一化、固定划分与全边界容差 F1 把 21 个开源模型与 9 个商用接口放在干净与四种退化语音上重跑,报告了 MAE 只算命中词带来 9% 到 14% 的虚低与 Whisper 约 150 ms 系统性偏早等偏差,代价是音素评测仍受词典与实现差异限制。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对合成语音能演而公开评测只能判六到九类基本情绪的问题,该工作用 40 情绪专家标注与 57 维说话风格探针构建野外基准并配以 Emolia 大规模训练数据,VoiceCLAP-Large 在 VoiceNet-Emo 上达到 0.702 的按提示校准平衡准确率,代价是阈值需事后校准且 Ext 子集一致性仍在机遇水平。
VoxMem 用四种声学证据与四种记忆操作的分类构造多会话语音记忆基准,在 15 个大音频语言模型上显示 32K 时无人超过 40%,且词汇语义远好于说话人、韵律与环境声,并随历史变长持续下降。
针对早期帕金森与健康对照的二分类问题,该基准用固定说话人无关划分与四种训练资源设置比较三种可运行方法,最强证据是 RECA-PD 在 DDK 与句子任务上平均最优而元音任务最难,代价是数据集泛化差距大且聚合与阈值迁移仍不稳定。