说 same 话却判不同:语音与语言切换如何打散视觉 grounding 的三元组一致性
该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致,提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败,而增大规模与语音加文本联合输入只能缓解不能消除。
该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致,提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败,而增大规模与语音加文本联合输入只能缓解不能消除。
针对巴西葡萄牙语自发语音缺乏统一评测的问题,论文把多个公开语料的测试集拼成 72.46 小时的 Tarsila-ASR,用它评测开源模型并以 1156 小时会话数据微调 Whisper-large-v3 得到最低词错误率,但代价是推理更慢且中间检查点优于长训练。
该挑战针对音频问答只看最终答案而掩盖推理虚假的问题,用单模型轨与智能体轨对比内化推理与工具编排两条路线,最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势,代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。
针对微调后朗读变好、自发语音变差的演播室偏置问题,论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点,再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型,代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
该文针对神经音频编解码与基于其的大语言模型语音克隆在英语口音上的泛化问题,构建含 4000 样本、24 个系统、32 说话人和 10 种口音的平均意见分基准并收集 19600 条三维度标注,报告说话人相似与口音相似高度相关、客观指标可预测主观感受,但同口音听音人存在显著偏置且自然度评价需区分重合成上限与克隆去噪效应。
针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题,论文提出只在推理时生效的 MagpieTTS-LF,用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示,在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB,代价是仍需逐句自回归生成且未报告延迟与主观听感。
论文针对歌声合成长期偏向流行乐、跨流派泛化未经系统检验的问题,用文本到音乐生成加分离对齐的可扩展流水线构建覆盖 10 大类 26 子类的中文基准 MMGenre,并报告零样本控制仅带来小幅提升而 2 小时摇滚持续训练可将摇滚一致性从 1.5 提升到 4.9 所付出的强数据依赖代价。
针对音频描述中声学证据不足却被语言先验补足的幻觉问题,论文用检索到的宽带噪声保守描述做上下文校准,在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%,代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。
PathBench 把病理语音可懂度评估限定为无需可懂度标签训练的协议比较问题,用六个公开数据集和三种取材协议检验参考条件与刺激类型的影响,新提出的 DArtP 在免参考方法中平均相关最高但仍以显式参考方法为上限且受对齐与录音条件制约。
针对南阿塞拜疆语标注极少且用阿拉伯字母书写的问题,论文用社区朗读、北阿塞拜疆语音转写和独立难例集三路建数据,并在八个模型上做微调对照,最强证据是社区微调后的 MMS 在 GoldSet 上取得相对最好的词错率,但长短句、书写歧义和跨方言声学差异仍带来明显代价。
针对印度语言语音评测碎片化问题,该研究用统一预处理与多指标流水线同时评测 ASR 与 TTS,最强证据是 2B 参数 AudioX 并未稳定超过 600M 的 IndicConformer 且 TTS 自然度与可懂度明显分叉,代价是仍依赖预测 MOS 与公开评测集覆盖。
论文提出合成心音检测任务 SHAC 并构建 CARDIOFAKE 基准,用 MFCC 与 WavLM 的 Gram 最优传输融合 GROOT 在可见编解码器上达到 93.20% 准确率与 5.86% 等错误率,但跨编解码器泛化仍下降约 7 个百分点且推理开销未报告。
针对保留原旋律重唱改写后歌词的编辑任务,YingMusic-Singer 用旋律片段加目标歌词直接合成,并以课程学习加组相对策略优化同时提升歌词准确率与旋律相关性,代价是单阶段联合建模在音色相似度上不及多阶段基线且依赖大规模内部演唱数据。
针对开放式音频问答评价与人类判断不一致的问题,论文构建带多人标注的 AQEval 基准并提出结合大语言模型推理与音频蕴含检查的 AURA 分数,在 AQEval 上与人类评分的相关性显著高于 BLEU 等基线,但音频蕴含项带来的增益较小且依赖较弱的零样本蕴含模型。
该研究针对孟加拉语会话缺少轮次结束标注问题,用播客音频加说话人日志加语言模型初标加人工全检构建 35374 条语料,并用 Whisper 编码器加多尺度池化做二分类,在 319 条异源平衡测试集上达到 84.33% 准确率,代价是误报率升至 23.75%。
开放词汇声音事件检测要求对任意文本查询输出精确时间边界,COSED 以双编码器加高分辨率时序精修与语料作用域掩码加闭合开放联合监督为选择,在六任务统一零样本基准上五项最优一项持平,代价是多语料联合训练与精细时序建模的复杂度。
针对越南语—英语语码切换在语音助手链路中字错率与意图损失不一致的问题,该研究提出经大模型修复与问答探针计算的代码切换语义错误率并用商用与自研系统四集基准验证,显示音译策略虽推高词错率仍能保留意图,但语义评测带来更高的计算开销。
GRATS 针对普通话声调对时长扰动敏感而人工变速参考失真的问题,用 25 人×60 句×5 速共 7500 句自然平行录音做基准,报告了极端速率下时长与基频一致性下降而可懂度与感知质量出现分化的证据,代价是仅覆盖台湾朗读语料且暂缺主观听感验证。
论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。