多语言

该研究把文化敏感提问译成 10 种语言再合成 1315 小时语音来考 12 个大音频语言模型，报告 MERaLiON 相关性最高也未过 0.5，而 LTU 等模型的零有害只是因为答非所问。

AfriVox 用 20 种非洲语言与 100 多种非洲英语口音同时考转写与到英语翻译，对比单模态识别翻译模型与多模态语音大模型，发现转写仍是单模态更准而翻译是多模态占优，且用约每语言 280 小时微调 Qwen2.5-Omni 可大幅降低三门尼日利亚语言的错误率，但代价是噪声与自发口语下全系模型仍明显退化。

该研究把文本选择题改写为可朗读的三语语音题，用同一批题目比较语言、口音、性别与选项顺序的稳定性，发现选项顺序与语言扰动最大而性别与口音较小，推理加深与先转写后作答能部分缓解不稳定，但语音总体放大了文本中已有的敏感性。

BuzzASR 用单语微调与分词器替换加文本多任务两条路线适配 102 种语言，在 77 种语言上超过 Whisper-large-v3 并在 27 种语言上达到开源最优，代价是逐语维护模型与域内评测带来的可比性限制。

论文针对多语言语音事实问答中跨语言与跨模态答案不一致问题，构建 8 语言平行语音文本基准 CCFQA 并用英语为桥的 5 样本迁移训练 LLM-SQA，最强证据是以极少目标语言样本达到与 GPT-4o-mini-Audio 可比的跨语言语音问答表现，代价是仍以英语为中心且仅覆盖语音与文本两种模态。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对对话语音中固定取前几句会引入无关冗余、取全量历史又成本过高的问题，论文提出多模态检索加精选方法 MARS，只取一条声学或语义最相关的历史来辅助当前句识别，并在 1.5K 小时训练下报告了优于 179K 小时顶级系统的混合错误率，代价是依赖微调 Whisper 建库与两遍解码的额外检索计算。

针对韩英混说识别缺乏公开非合成评测的问题，HiKE 以 1121 句自然录音加词/短语/句子三级与借词标注做细粒度评测，报告 10 个多语模型单语转混说时 MER 扩大 3 到 13 倍，而拼接单语合成的句级数据微调也能带来 6.8% 以上改善，但自然句内数据仍更优。

HPSU 针对真实口语中潜在意图与隐含情绪的理解缺口，用三阶段多模态半自动标注构建 2 万余中英样本与 16 个任务，并以 13 个模型与人类基线对比显示最好模型仅 62.6% 而人类达 87.3%，代价是依赖自动裁判与多模型协同标注带来的可复现性核对负担。

针对码切换话语中带矩阵语言口音的英语检出接近零的问题，论文用 80 条口音匹配英语做 LoRA 微调 MMS-LID 并引入 LangRank 排序评估，在印地-英语等四对语言上提升英语检出同时保持单语性能，代价是仍与 Oracle 有差距且依赖已知矩阵语言选口音。

该文研究冻结语音编码器加冻结大语言模型、只训练轻量连接器的多语言识别中按单语言还是按语系组织训练数据的问题，在近四十种语言上报告家族级连接器多数更低更稳但在内部差异大的语系会失效，并以通用连接器对照说明增益来自亲缘性而非单纯数据量。

针对 Whisper 在噪声下出现流畅但错误转写的幻觉问题，论文用自适应层注意力融合编码器分块表征再用多目标蒸馏对齐干净教师，印地语 -10 dB 等低信噪比下同时降低词错误率并提升语义分，同时增加约 0.98% 参数和约 8% 推理延迟。

针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题，MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合，在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA，代价是路由与负载均衡等额外机制和调参成本。

M2M 只用英文文本训练 2 个线性层完成多语言到多模态的映射，在 XTD 上英文达到 94.9% 的 Recall@10 而 11 个语言平均为 89.5%，代价是生成保真度和超大检索库上的差距仍然存在。

Orukeet 把 Parakeet 编码器中拟合误差最小的 12,288 个时域卷积核替换为解析 Gabor 函数并冻结，再训练其余参数，在 FLEURS 混合词错率上从 11.01% 降到 9.85%，代价是希腊语等少数划分明显变差且最终调优依赖 LibriSpeech test-other。

针对同传要在质量与延迟之间选读或写的问题，REINA 用完整音频与截断音频下对数概率之差估计信息增益来训练独立策略网络，在 MUST-C 与 CVSS-C 上提升归一化流效率，但截断适配训练与单调约束不可缺且德语高延迟点仍有反例。

该工作针对校园咨询资源不足与高风险漏检问题，用主动倾听对话流程加提示驱动的四级风险分类与双语语音链路组织系统，并以 400 小时语音与 40 例模拟加 15 人实测日志支撑分析，代价是未报告检测精度、延迟与误报成本。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。

SCENEBench 用合成叠加与受控变换构造背景声理解、噪声定位、跨语转写和发声特征四项任务，在五款大音频语言模型上报告自由回答与选择题准确率及本地延迟，发现模型偏向前景文字而系统性漏掉背景与运动线索。

针对 11 种东南亚语言语音理解评测缺失问题，论文构建 97,194 样本与 597 小时音频的 9 任务基准并统一双语提示与归一化，最强证据是时间定位与情感识别全面偏低且缅甸语等低资源提示落后英文可达 41 个百分点，代价是长音频覆盖过度与拒答等边界行为仍需专门处理。