多语言

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

针对多对多联合识别与翻译中共享模型的负迁移与目标语言漂移，论文在分层 Transducer 上加入源条件与目标条件两组 MoE 适配器，在 Europarl-ST 九语言 72 方向上以单个 77M 模型实现平均 20.5 BLEU、0.651 COMET 与 15.71% WER，代价是仍需已知源与目标语言标识且仅验证离线场景。

针对无参考语音翻译质量估计在文档内排序的评价方式，论文把 580M 参数的 CometKiwi-22 改为文档内成对排序加权 MSE 微调，在开发集上达到平均 35.2% 的 per-source Kendall τ，相对 34.6% 基线小幅提升，代价是只用英德和英中数据且未利用音频信号。

针对多文种语音识别中同一语言输出文字不确定的问题，论文用解码器激活均值差提取文字向量并在推理时相加，在塞尔维亚语和中文混淆缓解与跨语言罗马化、西里尔化上验证效果，但西里尔化弱语言与编码器干预仍有限。

针对同一说话人说多种语言导致声纹捷径失效的问题，该系统用声学分类器加语音大模型加零样本音位模型做识别、用双转写加推理大模型做验证，开发集识别 95.2% 宏准确率与验证 0.90% 等错误率，评估集为 96.78% 与 3.06%，但开发到评估存在明显落差且融合参数依赖开发集估计。

针对多语长语音中逐帧搜索易累积系统性偏移的问题，该文把强制对齐改成在文本中插入时间槽并分类预测离散时间索引，报告在伪标签与人工标注上平均累积偏移大幅下降，代价是模型更大且实时因子略升、人工验证仅覆盖中文。

针对无文字低资源语言难以从原始音频发现音素单元的问题，该工作在 HuBERT 基础上用 55 语言的发音特征与音素监督做多语言续训，再以 ABX 可辨别性检验上下文不变性，最强有监督自适应在开发集与测试集取得 3.07% 与 3.39% 的平均误差，但自监督与有监督之间仍有差距且评估集中于 ABX。

针对印地语、孟加拉语、马拉地语语音转写中填充词与重复修复残留问题，论文用 MuRIL 词级标记引导指令微调并以对比损失惩罚复现不流利词，在人工校对与真实口语两类测试上取得一致提升，但真实集规模小且仅验证 3B 量级模型。

针对多语言多模态模型的文化感知碎片化问题，MMAC 用 8 国 10 语言 27,000 题的三模态语义对齐题库和五维评测揭示跨语言跨模态不一致与解释不忠实，并以口音线索增益与整合失败等代价界定其适用边界。

该工作把短语音语料拼接成最长 15 分钟的长指令数据并覆盖六任务四语言，用温度采样和端到端加级联两种结构参赛，最强证据是似然加最小贝叶斯风险重排在英语上把词错率从 37.65 降到 21.39 而语义任务仅小幅波动，代价是似然重排会误选切分候选并损害问答与摘要。

针对英语语音输入并按多语指令完成识别翻译问答的问题，该工作用只用识别数据训练的语音映射器对接冻结语言模型并加入合成科学演讲数据，在更小语言模型下追平上届最优并用跨域基准揭示识别与问答的权衡。

该工作用双模统一识别器做流式转写加多语言大模型做翻译的级联路线，在英德英意英中和捷英四个方向上以统一模型覆盖高低延迟档，最强证据是低延迟下统一模型转写与翻译质量优于缓冲与缓存感知基线，代价是中文等语序重排方向需缩小块并提前结束以控延迟。

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

Pinch-AST 针对最长约 2.5 小时无切分音频同时翻译，用 Qwen3-ASR 加 Qwen3.5-4B 每语言对 LoRA 级联与字符级最长公共前缀只增发，在单张 H100 上报告 En→De、En→It、En→Zh 相对基线 XCOMET-XL 提升 4.1、5.7、2.6 分，代价是靠固定块重解码与前缀截断训练控制延迟。

POWSM 用同一注意力编码器解码器结构统一完成音素识别、语音识别、带音频的字转音与音转字四项任务，在未见语言上取得可比最优的音素错误率，但多任务对域内识别的增益并不稳定且仍偏向高资源语言。

针对连续自回归语音模型没有显式序列似然而难以直接做直接偏好优化的问题，该工作用大音频语言模型自动构造同提示 chosen-rejected 对，并以拒绝采样微调冷启动加带监督锚的流匹配偏好优化做两阶段对齐，在 1600 句官方测试上把最终分从 73.96 提高到 75.80，而整体质量基本保持稳定。

PRiSM 把音素实现识别拆成转写准确与转写探针加表示探针两类下游使用来考，证据显示多语言覆盖与编码器加 CTC 更稳定而专用模型仍领先大音频语言模型，但以声学保真与任务依赖为代价。

论文把低资源多语言情绪识别重写为有标签非言语发声到无标签言语的无监督迁移，用 NOVA-ARC 在庞加莱球中做韵律离散化、强度校准和原型最优传输，最强证据是 APD 非言语到言语适配下多目标持续领先，而代价是依赖双曲码本与传输超参数的联合稳定。

针对十种非洲低资源语言的转写任务，PUMA 用冻结的 wav2vec 2.0 特征加可训练的通用语言投影与语言令牌和 CTC 训练，在同时训练平均词错误率 0.314 上报告优于 MMS 的 0.419 和 Whisper-large 的 0.339，代价是零样本下仍落后于 7B 量级系统且阿拉伯语等难语言更依赖语言令牌。

论文把同传从读写时机控制改成包含切句、删除、压缩与代词化的动作选择，用统计感知的逐步提示在英中、英德、英日上同时改善语义与单调性延迟，但文本实验与启发式充分性检查仍留下语音端到端的待验证缺口。