发音方式一变,语音大模型的判断也跟着变:VQ-Bench 如何固定文本只动嗓音
该研究固定说话人与文本、只系统改变常态、气声、嘎裂声和句末嘎裂四种发音,用开放式生成与情绪识别检验语音基础模型,发现在 LFMAudio2 上非常态发音显著改变能动性与领导力评价并伴随性别不对称,而商业实时接口连性别这一生物特征检查都未通过。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该研究固定说话人与文本、只系统改变常态、气声、嘎裂声和句末嘎裂四种发音,用开放式生成与情绪识别检验语音基础模型,发现在 LFMAudio2 上非常态发音显著改变能动性与领导力评价并伴随性别不对称,而商业实时接口连性别这一生物特征检查都未通过。
论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题,发现中等偏大的 N 在更低比特率下仍保持可懂与连贯,而自动指标与人评的相关仍有限且评估方法需改进。
该研究把副语言评判拆成风格、语速、重音、年龄、性别五个可控成对任务,用 5175 个音频对和 Tie 弃权条件测出最强模型仍比人类低 17.7 个百分点,且在 Tie 上几乎不弃权,代价是位置偏置与文本依赖同时暴露。
该文在 TIMIT 音素识别上用卷积加双向长短时记忆网络的原始波形模型把总音素错误率拆到三套宽音类并统计替换混淆,最强证据是仅用 TIMIT 达 13.9%/15.3% 而 WSJ 迁移后达 11.3%/12.3% 并超过滤波器组基线,代价是增益高度集中于过渡依赖的辅音类而元音类改善有限。
针对无参考转录时难以判断识别假设是否忠于语音的问题,论文用现成自回归语音合成模型计算语音 token 在文本假设下的条件似然作为声学差异度,并在多系统合并与 N-best 重排上验证,最强证据是在噪声下相关性增强与最高约 20% 相对错误率下降,代价是依赖外部 TTS 知识且长争议段会退化为整句选择。
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
该挑战针对音频问答只看最终答案而掩盖推理虚假的问题,用单模型轨与智能体轨对比内化推理与工具编排两条路线,最强证据是智能体冠军 69.83% 对单模型冠军 65.29% 的细则分领先及实例级评分 0.7921 的一致性优势,代价是工具系统复杂且单模型仍依赖高质量数据与强化学习调优。
该研究用 CMU LEGO 电话对话比较系统相关与系统无关两套交换级交互质量分类路线,最强证据是端到端微调后系统无关模型与系统相关模型差异不再显著,但代价是可训练参数从 2.29M 增至 135.73M、延迟从 0.16 ms 增至 17.98 ms。
论文以 CosyVoice 2 与 MaskGCT 为案例研究口音-情感纠缠问题,用口音 SMOS 听辨、GenAID 嵌入的 UMAP 与质心余弦距离证明前者随情感指令大幅漂移而后者稳定,代价是单一声纹相似度指标无法反映口音错误。
该研究用无音频与音频分片两轴诊断三套基准与八个大音频语言模型,发现无音频仍保留六至七成满音频准确率,且音频需求项中仅约百分之三至四需跨片段信息,代价是现有分数更多反映文本先验与局部线索而非整体听觉理解。
论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上,用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平,代价是生成长度从 256 增至 1024 词元带来的延迟增加。
该研究在 42 种语言的替换错误上直接测量语音、形态、句法和词义相似度,用混合效应贝塔回归证明句子语义保留来自跨维度交互而非单维度叠加,最强证据是形态句法联合保留的增益和系统差异,但代价是对插入删除不建模且依赖现有工具链的标注噪声。
该研究以性别延展与非性别延展两组嗓音对比六个零样本语音合成模型,发现人耳相似度上两模型对性别延展组显著更差而三模型反向更好,且说话人相似度和自动平均意见分预测与人耳判断多处不一致,代价是现有自动评测难以替代人工听辨。
针对音频描述中声学证据不足却被语言先验补足的幻觉问题,论文用检索到的宽带噪声保守描述做上下文校准,在 Clotho-1K 上把 Qwen2.5-Omni-7B 的幻觉率从 26.53% 降到 16.98%,代价是依赖人工修订基准与检索编码器且未验证延迟与开放场景覆盖。
该研究在四种音频语言模型和五个音频问答基准上比较概率、采样、自验证、证据冲突与对比信号,发现选择题下首词 top-1 概率以平均 AUROC .740 超过十次采样的离散语义熵.708 且无需额外调用,而移除音频比移除问题使误差识别 AUROC 平均多下降.101 对.010。
论文在乌尔都语、旁遮普语、普什图语和信德语上零样本评测五种多语言模型并用 11 维误差分类拆解总词错率,最强证据是转写后处理不重训可恢复最高 25 个百分点词错率,代价是最佳结果仍远高于可部署阈值且短句、稀有词和命名实体持续失效。
论文指出按频率选词 n 元组会混入主题词而高估证据强度,改用显式定义的 156 个功能词集并以 ANOVA F 值筛选到 50 维,在 104 名澳大利亚男性说话人电话对话上从 Cllr 0.83 改进到 0.78,但仍弱于含主题词基线的 0.60。
论文用双耳掩蔽级差检验 9 个冻结模型的微秒级耳间相位编码,发现通用双耳模型靠谱-时干扰纹理而非跨通道相位计算,专用相位感知模型才获得实质但未达解析上限的释放量,而宽带语音中的高检出率是包络混淆。
该研究用语音克隆固定文本后比较三种语音大模型对六种口音与两种性别呈现的回答,发现在礼貌一致下东欧口音女性帮助性最低,人评比机器评更敏感,但受限于合成音色与小规模人评。
针对朗读式干净评测与单参考词错误率高估误差的问题,该研究用 15 种语言 139 个区域簇的 536 小时无脚本电话对话与多变体转写格构建封闭评测,报告显示最优系统仍在方言与低质短语音上超过 20% 词错误率且地区差异可达约 4% 到 44%。