多语言

Apertus 1.5 用继续预训练把 Apertus 1.0 扩展为能读图像和音频、上下文到 262144 词元并带可选思考模式的完全开放模型，最强证据是 8B 思考模式把 MATH-500 从 51.2 提高到 71.4，代价是图像细节重建变粗、音频能力仍落后同规模音频模型且长上下文需专门恢复。

COAX 在预训练选专家时按数据类别加软偏置，让低资源类别被引向更大的指定专家子集，在多语言与多模态混合上改善了低资源验证损失，而推理时可去掉偏置保持标准 MoE 流程，代价是小规模下可观的训练吞吐开销。

针对多语言混合语音中不同输入提取难度不同，该研究用样本级难度估计加共享多出口提取器做自适应路由，在 PolyExtract 上以 0.30 GFLOPs 达到 15.07 dB 宏平均 SI-SNRi 并把下游平均词错误率从 16.8% 降到 14.6%。

SSEmb 只用标准语音转写对训练轻量适配器，把冻结语音编码器接到冻结文本检索向量空间，实现直接语音查文本，在英文与多语言及口语文档检索上接近级联系统且时延更低。

论文先量出已有对齐器在人工词边界上的误差和电话信道下的退化，再只用人标边界训练 Whisper 直接预测词起止时间戳，在英语、韩语、荷兰语和多语测试上超过蒙特利尔强制对齐器，而电话增强、槽位后置和带噪文本训练是关键代价与收益所在。

本文综述 2006-2025 年僧伽罗语 ASR，问题是标注语料少、形态复杂导致词错误率高，对比显示同架构下修正 OpenSLR-52 标注可带来 18.1% 相对下降，而跨测试集的 WER 数字不可直接比较，且大模型微调仍需解决方言、噪声和代码混合问题。

针对公开基座上算出的扰动能直接拖垮私有微调语音识别的问题，论文把防御集中到基座来源的可迁移方向上，用基座扰动训练、隐层位移约束和混合梯度扰动，把平均对抗词错误率从 92.6 降到 27.8，干净词错误率则从 16.4 升到 18.9。

针对注册与测试语言不一致时声纹会混入语言线索的问题，该工作用 w2v-BERT 2.0 做前端提取多层特征并聚合为说话人嵌入，在 TidyVoice2026 上融合后达到评测 A 等误率 2.21% 与评测 U 等误率 2.99%，代价是 580M 以上参数与 58.43 GMACs 的计算量。

论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力，发现攻击效果随匿名语音的语言可用性下降而下降，而大规模多语语音转换数据微调只能部分缩小跨语言差距。

针对无预先切分的多语双人对话说话人归属转写问题，比较了先做说话人日志再做分段识别并做文本纠错的级联路线与直接生成说话人标签时间戳和文本的统一路线，开发集上级联平均误差更低但统一路线在部分语言上占优，代价是统一模型在本研究中只能在约 60 秒块上微调而无法做全会话微调。

论文用 423 道母语撰写的多语言多模态难题考验网页浏览智能体如何发现并串联开放网络证据，最强原生检索配置准确率为 31.68% 而 57.68% 题目无任何模型答对，人力单题中位耗时 54.6 分钟说明检索代价很高。

论文要解决英文 CLAP 无法理解印度语言描述的问题，只训练一个基于 XLM-RoBERTa 的多语言文本编码器去对齐冻结的 CLAP 空间，最强证据是混合目标在 AudioCaps 检索上超过教师而翻译质量和模态间隙决定了结论成立的边界。

论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标，提出只在训练时使用的局部原型重建约束，用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关，低资源翻译上提升最明显。

该文研究如何在不重新训练 Qwen3-TTS 的前提下，用发声用力和过度清晰发音两个方向在推理时调整隐藏表示，并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚，同时保持说话人相似度和流式实时性。

该论文在 4 GB Jetson Nano 上用 Whisper 加 Opus-MT 加多语言 BERT 门限加 MBR 二遍修正研究英西语音翻译，在 tau 为 0.90 时 N 为 10 带来 BLEU 加 0.67 的显著词汇提升而 N 为 3 带来 COMET 加 0.0020 的语义提升，代价是常驻约 3.6 GB 和数十秒级延迟。

论文研究端到端语音依存句法分析中连接语音编码器与句法分析器的三段中间神经网络是否必要，提出去掉它们的简化结构，在法语、斯洛文尼亚语和奈贾语上达到相当或更好的分析准确率并减少约 12% 参数，代价和结论都只在联合微调与冻结编码器等明确条件下成立。

针对只有静音视频和候选文本的配音唇同步评审问题，论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理，在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

该研究在 85.37 小时的五种伊比利亚语言加德语土耳其语对照上，用宏平均词错误率与实时因子比较十个开权重模型和一个商业 API，发现商用与受限模型领先、可商用开权重中 omniASR 系列与 Whisper 领先，而巴斯克语低覆盖与男性优势的性别差异构成主要代价。

τ-Multilingual 把英语语音任务框架原样保留、只做本地化调用者与评测本地化后，用 4500 次全双工通话检验五种语音配置，显示西语葡语印地语任务完成接近英语而韩语普通话明显掉队，且任务、交互、生成三类排名互相不一致。