真伪边界随方言漂移:ArFake 用四种合成器检验阿拉伯语音防伪
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
针对印地语一线健康对话的自发、噪声和重叠语音问题,论文用级联式说话人日志加语音识别再接大模型主题与摘要的四任务基准组织评测,最强证据是领域微调把 IndicConformer 的 tcpWER 从 26.78% 降到 20.23% 而参赛队最优做到 18.63% 左右,但下游摘要 ROUGE-L 仅 0.20 上下说明理解仍难。
论文针对歌声合成长期偏向流行乐、跨流派泛化未经系统检验的问题,用文本到音乐生成加分离对齐的可扩展流水线构建覆盖 10 大类 26 子类的中文基准 MMGenre,并报告零样本控制仅带来小幅提升而 2 小时摇滚持续训练可将摇滚一致性从 1.5 提升到 4.9 所付出的强数据依赖代价。
PathBench 把病理语音可懂度评估限定为无需可懂度标签训练的协议比较问题,用六个公开数据集和三种取材协议检验参考条件与刺激类型的影响,新提出的 DArtP 在免参考方法中平均相关最高但仍以显式参考方法为上限且受对齐与录音条件制约。
针对印度语言语音评测碎片化问题,该研究用统一预处理与多指标流水线同时评测 ASR 与 TTS,最强证据是 2B 参数 AudioX 并未稳定超过 600M 的 IndicConformer 且 TTS 自然度与可懂度明显分叉,代价是仍依赖预测 MOS 与公开评测集覆盖。
论文把预训练限定在 80 万小时级野外网页音频 UPS 上,用冻结编码器加固定探针测 73 语种识别与转写和 70 语种说话人聚类,80 次提交显示无单一模型三项全优且书写系统与子集构成显著影响难度。
论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。
PolyBench 用真实复调录音构造计数、分类、检测、并发与时长五类选择题,测出当前大音频语言模型在计数和首个重叠区间定位上普遍掉点,而并发判断的高分多来自标签偏置走捷径。
论文用双耳掩蔽级差检验 9 个冻结模型的微秒级耳间相位编码,发现通用双耳模型靠谱-时干扰纹理而非跨通道相位计算,专用相位感知模型才获得实质但未达解析上限的释放量,而宽带语音中的高检出率是包络混淆。
针对吴语越剧无专用演唱合成数据的低资源问题,论文用 565 段棚录对齐数据加发音与音高增广与条件流匹配基线 YueOpera-Singer,在 F0 RMSE 0.2133 与 MOS-N 3.92 取得可复现基准,代价是单演唱者单行当与 10 步推理开销。
针对印度语言评测中干净音频带来的乐观偏差和单参考转写带来的悲观偏差,Vimarsha 用约百小时受控野采加难例野外音频与人工校验的变体格评价十个系统,最强系统仍在野外 split 上词错误率翻倍以上,而拼写变体格平均每词提供约一点五种可接受写法。
针对朗读式干净评测与单参考词错误率高估误差的问题,该研究用 15 种语言 139 个区域簇的 536 小时无脚本电话对话与多变体转写格构建封闭评测,报告显示最优系统仍在方言与低质短语音上超过 20% 词错误率且地区差异可达约 4% 到 44%。
论文研究餐馆噪声下四人对话的同伴语音抽取,选择带说话人注册的目标说话人抽取与因果约束,用听音转写正确率与 P.835 质量分证明头部系统相对基线有实质提升,而客观指标与听感排名不一致且保留噪声与保真度不可兼得。
论文针对固定窗口把延迟与重叠一律判错的问题,用六类意图后验与人类轮换偏移分布加权连续打分,在 9728 个回合上显示最强系统综合分 0.47 远低于人类 0.86 且与人评一致性更高,但代价是需要多标注者意图标注与分人群拟合的参考分布。
针对戏剧配音中角色跨轮音色漂移、高潮台词演绎不足与长句分段节奏断裂三类场景级失效,SceneTTS-Bench 用统一输入协议与 SCS、UAR、RDR 三条自动诊断链在 160 场双语剧本上测出四套系统的互补短板,且场景级排序与句级可懂度排序明显背离。
SPADE 针对长语音中局部篡改的检测与定位问题,用大模型改写文本加合成与编辑两类生成器构建 12 语言数据,并在定位模型上报告跨生成器、跨语言、跨声学环境三类泛化证据,主要代价是未见生成器下接近随机猜测且噪声下显著退化。
该挑战用约 2100 小时 14 语言双人对话同时考 diarization 加识别与整场理解,基线显示长时说话人对齐与语义推理是主要瓶颈,而参赛系统靠域内 diarization 适配与音频依赖监督把误差与准确率推到新水平。
该文把 AI 音乐检测当作评估治理问题,用内容摘要与血缘分组冻结 828 轨主队列并分离校准与密封测试,在 562 轨四模型公共成功交集上报告 ArtifactNet 以 0.982 AUROC 领先但 Udio 补充集回落至 0.650,而聚合 F1 掩盖的生成器与真音乐域偏移与缺失覆盖决定了排名是否可比。
MSI-Bench 用 1152 个多人多轮语音场景考查说话人限定的记忆、指令跟随与推理,最强配置英文全通过率仅 66.8%、中文 54.5%,开源模型主要卡在多人语音感知,前沿模型则卡在干净文本上的说话人限定决策与开口克制。
MuLA-Bench 用 5038 个开放问题检验 16 语言长音频理解,发现语言难度随领域和任务变化、声学证据差距随操作变化、找对事件不等于对准时钟,而代价是声学单元稀疏不均且长尾结论受限。