写法藏不住口音:SHAMS 用四层对齐测黎凡特阿拉伯语发音
针对黎凡特阿拉伯语内部差异大、正字法不标口音的问题,SHAMS 用 1300 条带音频的四层对齐语料同时测加符、字音转换、语音识别和音频到音素,并报告方言适配系统与大模型在各变体上的差距与代价。
针对黎凡特阿拉伯语内部差异大、正字法不标口音的问题,SHAMS 用 1300 条带音频的四层对齐语料同时测加符、字音转换、语音识别和音频到音素,并报告方言适配系统与大模型在各变体上的差距与代价。
该研究在 85.37 小时的五种伊比利亚语言加德语土耳其语对照上,用宏平均词错误率与实时因子比较十个开权重模型和一个商业 API,发现商用与受限模型领先、可商用开权重中 omniASR 系列与 Whisper 领先,而巴斯克语低覆盖与男性优势的性别差异构成主要代价。
针对近场榜单掩盖远场失效的问题,论文用新录消声语音与混合波形几何声学房间脉冲响应构造九条件不公开音频评测,报告平均词错率从近场 4.4% 升至静态低信噪比 41.3%、走动在匹配信噪比下增加约 1.3 至 2.7 个百分点、实测与仿真办公室误差平均约 1.7 个百分点,代价是单通道朗读英语与单点实测锚定限制了推广范围。
论文用响度、内容丰富度和情感表达三组单变量受控操纵审计六个语音裁判,发现成对比较会系统性偏好更响更丰富更欢快语音而理由很少点名真正起作用的声学线索,人听校准显示部分偏好超出人类权重。
论文用长度匹配的重复与对照配对证明重复本身导致语音合成计数失败,在 k≥6 时对照组 94.3% 完全正确而重复组仅 18.2%,且该差距经解码、识别器和分析规格多重检验仍稳定存在。
论文把语音评测不可比归因于执行方差与打分方差,用工具智能体完成异构上线、主智能体提交协议、确定性程序执行打分,在 18 个公开版本上把一次通过从 12 个提高到 18 个,但统一协议与论文报告仍存在随模型与语言变化的差异。
针对语音指令经转写后关键实体易被改写而词错率无法反映任务成败的问题,Talk2Agent 用 31.82 小时真人语音与固定下游智能体隔离评测语音接口,并以投影到提示可寻址意图的 Native 与 Shapley 免执行指标逼近真实执行,其代价是长提示口语化改写与工作区偏置仍不稳定。
针对多用户共享语音助手跨会话谁说了什么的问题,该研究用冻结说话人编码器加可训练轻量投影器生成说话人句柄输入冻结文本大模型,并在受控的 SpeakerBind 上以 70.40% 接近文本标签上限 71.88%,而破坏绑定后性能崩塌,代价是仍依赖转写级联与合成受控评测。
论文把全模态生成收紧为给定当前页图文与结构化下一页条件的三路续写,用 900 个经人工修订的故事转场同时检验条件实现与跨模态一致,32 组对照显示大视觉语言模型编排最可靠而视觉连续性是已评配置中最清晰的瓶颈,但语音区分度与聚合口径限制了细粒度排序。
PACT-SLM 用配对分支与可变起始点检验部分语音是否支撑外显动作,修正后 WavLM 探针在 onset 后语义标签准确率仅 26.03% 且未超过置换参考,完整轨迹准确率仅 5.94%,而时长对照更准地命中时机,说明身份与时机必须分开度量。
τ-Multilingual 把英语语音任务框架原样保留、只做本地化调用者与评测本地化后,用 4500 次全双工通话检验五种语音配置,显示西语葡语印地语任务完成接近英语而韩语普通话明显掉队,且任务、交互、生成三类排名互相不一致。
针对广播语料高估方言识别能力的问题,Almieyar 按社区选图与五场景诱发新录 13.7 小时语音并零样本评测 12 个系统,总体最优仍有三成以上词错误率,且语系内部分化与字词指标背离说明必须多指标多社区评估。
论文固定文字、只改声音来要求不同工具调用,用只读文字的级联做零假设对照,报告 28 个系统在保护性来电上都偏向按字面执行、23 个可测系统中仅 11 个超越零假设,且写明规则与描述声音各只能挽回部分损失。
APEX-Voice 用 120 个带版本化工件、类型化工具、授权约束和冻结语音用户仿真的职业流程,测出最强实时语音智能体单次成功率仅 23.6% 且三轮全过仅 10.8%,代价是中间纠正与授权状态维护仍是主要瓶颈。
CoSE-E 针对 HR 与 IT 服务台的 1212 条五语对混语语音,用转写字面错、语义错与下游问答错三层评价发现混语多加的是表层错而能翻转任务答案的错集中在关键实体损坏,且数据集当前已公开。
针对听与说需随对话演变的交互 3D 头生成问题,论文用用户面部视频加双人音频驱动测试时训练与双路快权重适应,在最难跨域划分上随对话推进改善表情统计,但逐帧对齐误差与颈部统计仍有代价与边界。
该文把可控多说话人对话语音合成从一次生成改为计划—合成—评论—修改的闭环,用统一做指令合成与情感语速响度编辑的 ControlEdit-TTS 做局部修改,在中英基准上把语句指令遵从 Yes 率做到 95.5% 并在对话偏好上占优,代价是最多 10 轮的评论与重改开销和风格与音色难以同时满足的回弹。
HEAR 用 843 名美国被试的 87k 条真人录音同时检验选择问答与开放问答,报告语音条件偏见是随模型而异、可被个性化指令放大的特性,而开放任务中个性化更多降低回答有用性。
InterBias-SV 把噪声、信道与说话方式的联合误差问题组织为联合项、两个边际项与公共参考的四项加性对照,用 4068 条记录重算出说话人编码器组平均偏离仅 +0.0026 至 +0.0088 等错误率小量、但设置间标准差更大且试次配对与检查点来源尚未验证的描述性结果。
论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题,提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法,在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点,而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。