母语和语音一换就失灵:Afri-MCQA 拆解非洲文化问答的语言与模态瓶颈
论文用 15 种非洲语言、约 7.5k 对图文加母语录音的平行问答测文化理解,最强闭源模型文本选择题仅 78% 而开放问答仅 38%,开源模型在母语语音开放问答上近零分且语音识别与语种识别先失灵。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文用 15 种非洲语言、约 7.5k 对图文加母语录音的平行问答测文化理解,最强闭源模型文本选择题仅 78% 而开放问答仅 38%,开源模型在母语语音开放问答上近零分且语音识别与语种识别先失灵。
论文把英语语音同传拆成 Qwen3 语音识别加强制对齐与 Gemma-4 解码器翻译的同步级联,用显式源文区间加离线挑选的 8 个对齐头加 qk-fast 重算实现解码器侧 AlignAtt,在英德和英意低延迟约 2 秒与高延迟 4 秒内超过主办方基线,代价是中文方向不稳定且全头重算会明显抬高计算感知延迟。
SRE24 音频轨围绕电话与视频伴音、变长注册与短测试、多语言与多人语音组织说话人确认试验,分析报告三段注册优于单段长注册、电话匹配优于视频伴音匹配、短测试与多人测试明显更难,而放宽训练数据的改善大于多系统融合的改善。
AURA-ST 针对豪萨语、伊博语、约鲁巴语到英语的低资源语音翻译,用双流声学编码加 4 倍卷积压缩把音频变成冻结 Gemma-4-E2B 的前缀,并只调 MLP 的 LoRA,在教师强制代理 BLEU 上达到 91.29,但自由自回归解码的 SpBLEU 仅为 19.5、5.2 和 4.6,暴露了严重的暴露偏置代价。
该研究在 2000 句共享英语-约鲁巴语码切换集上对比 6 个专用语音识别系统与 5 个音频语言模型,报告 Parakeet 与 Kimi-Audio 总词错率几乎相同但后者在切换边界显著更好,代价是约鲁巴语词错误普遍超过 97% 且生成式模型存在提示依赖的过度生成。
该综述把印度语言 NLP 按六大组十七个细粒度任务重组,用 200 余数据集、50 余评测和 100 余模型工具的覆盖来暴露语言与任务的不均衡,并以可核对的资源清单支撑后续复用。
该工作用翻译导向大模型加语音编码器处理英文语音并执行英中意德指令,以先转写后作答的思维链复用纯文本监督,在 IWSLT 2025 评测上翻译与问答达到可比最优,代价是语音编码器只训练约 0.8 轮且依赖后编辑修正格式。
针对中文儿童语音数据少、方言覆盖窄、缺少完整对话的问题,论文构建 112.5 小时 498 名 2-8 岁儿童与 500 名看护人的 ChildTalk 语料,并在同库与跨库上证明微调能稳定降低字错率,而加入上文提示可进一步减少替换与删除错误,但低资源方言与低龄段仍很困难。
CIS-BWE 针对带限语音缺失高频的问题,用双流 ConformerNeXt 生成器并行恢复幅度和相位,再用李雅普诺夫与去趋势涨落两类混沌判别器约束非线性动态,在 VCTK 与 MLS 上以约一半生成参数取得更优感知质量,代价是训练期李雅普诺夫特征计算使单轮训练时间明显增加。
该文针对泰语、越南语、斯瓦希里语和印尼语构造六类复杂文本诊断集,用内容一致性、语言一致性和生成稳定性三维指标比较 OmniVoice、VoxCPM2 和 MMS-TTS,发现数字日期与混写输入带来最集中的内容与时长失效,而轻量文本风险分与内容错误呈中等正相关但几乎不能预测语言混淆。
论文诊断单池逐层裁剪在语音大模型中的跨组件预算崩溃,提出双池 α-split 在保持联合灵敏度与全局 DP 保证不变下恢复可用词错误率,并以编码器 4.47 倍等效噪声换取语言模型仅 2.6% 开销。
针对无句子边界的长音频与计算感知延迟限制,用冻结音频编码器的 Qwen3-Omni-30B-A3B 只训练语言侧 LoRA 并以内化的``策略做读写决策,在官方开发集低延迟档取得英中 40.5 BLEU 与英德 27.7 BLEU,代价是依赖合成目标与固定块推理的折中。
该工作用自发语音同时检验阿尔茨海默病淀粉样蛋白阳性预测与原发性进行性失语三分类,对比拼接加注意力池化的 DMHAM 与词级对齐加门控交叉注意力的 CogniAlign,最强证据是西班牙语 SPIN 队列上 CogniAlign 加手工声学特征达到淀粉样预测准确率 83.86%,代价是 PPA 小样本三分类不稳定且手工特征在不同任务上时而冗余时而互补。
该文把语音幻觉检测转为推理时读取注意力图的二分类问题,用四个音频注意力指标加轻量逻辑回归在同域语音识别上超过不确定性基线,最强提升约 0.23 PR-AUC,但跨任务需重训且模型依赖明显,少头反而更利于域外泛化。
针对多语平行口语对话稀缺且翻译腔重的问题,论文用 WHO 知识库加对话行为大纲加母语者即兴实现的方法造出 6 千对话与 163 小时语音,基准显示英语检索与过滤持续领先而阿拉伯语最低,代价是内容未经临床验证且语音到文本检索几乎失效。
针对噪声混响等导致语言向量漂移的问题,该文冻结语种识别器并在其输出向量上学习流匹配变换,用五语种失真配对实验把 ECAPA 整体准确率从 0.6900 提升到 0.8672,代价是推理需 50 步常微分方程求解且法语等个别情形仍弱于波形前端。
论文用真实法语对话构造 CALLFC-FDB 与 MEDIA-FDB 并复用 FDB v1.0 四类任务,显示基于语音活动的计时指标跨语言基本稳定,而用户打断评分等内容指标在语言失配时明显下降,人-人对话则说明一味优化指标会损失自然度。
针对中法跨语言音色克隆,该工作用 Qwen3-TTS-12 Hz-1.7B-Base 做零样本批量合成,配合 10 秒窗 5 秒步长的滑动切分与 ECAPA-TDNN 余弦选优,在中文 CER 低至 1.39% 至 2.25%、法语 WER 多为 4.40% 至 8.52% 的条件下得到中文最高 0.7052 与法语最高 0.7173 的余弦相似度,代价是保 …
HydraQE 针对语音翻译无参考质量估计,用 Qwen3-ASR 同时编码源语音和译文假设,经稀疏层混合与双向重编码得到共享表示并用 DA、MetricX、xCOMET 三头监督加课程采样训练,在 IWSLT 2026 开发集与测试集段级别上超过级联文本基线,但不同预测头在语种与段级和系统级之间存在权衡且开发集系统级分数不稳定。
针对神经音频编解码器重合成的印度语伪造语音检测难泛化问题,论文构建多语言多编解码器基准并提出双阶段双曲对齐的检测框架,在域内与跨库迁移上报告更低等错误率,但以双编码器与大语言模型解码器开销为代价。