边听边译不重算:全单向架构如何让大模型学会何时读、何时写
针对同声传译需在部分语音下增量输出的问题,EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理,在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡,但自适应增益依赖分块对齐质量与阈值调节。
针对同声传译需在部分语音下增量输出的问题,EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理,在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡,但自适应增益依赖分块对齐质量与阈值调节。
针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题,MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合,在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA,代价是路由与负载均衡等额外机制和调参成本。
针对语音到文本翻译在真实噪声下不稳定的问题,论文用可解释环境模拟器加功率谱模板原型约简与 27 组小规模超参数搜索组织鲁棒训练,在相同数据预算下使模拟噪声训练与真实噪声训练表现接近,代价是混响与精细调度需另行取舍且最优配置只在搜索范围内成立。
针对端到端语音翻译只对齐文字内容而丢失重音与情绪的问题,论文用语音编码器与风格编码器双分支加分层最优传输和注意力检索来分离并再融合两类信息,在 ContraProST 上提升方向性约 5.0 点、全局约 4.5 点,在 CoVoST-2 上 2B 平均提升 0.43 BLEU、8B 提升 0.98 BLEU,代价是两阶段训练与额外风格编码器开销。
针对同传要在质量与延迟之间选读或写的问题,REINA 用完整音频与截断音频下对数概率之差估计信息增益来训练独立策略网络,在 MUST-C 与 CVSS-C 上提升归一化流效率,但截断适配训练与单调约束不可缺且德语高延迟点仍有反例。
针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题,SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中,在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势,其代价是依赖句法分析器与额外的对齐预处理。
针对同传中为控延迟而产生的改写与概括,EviSI 用共享源证据与 Anchor/Event/Logic/Fluency 分工配合调和与确定性扣分来区分可接受变体与事实错误,在英中方向上恢复了人类系统总排序但在逐条输出上仍表现混杂。
该规则验证基准收集 3456 个跨 109 语言的难译输入;在 911 个纯文本难例的盲测与 Gemma 4 验证下,人类参考译文通过率为 99.1%,Gemini 3.1 Pro 为 43.8%。人译高通过部分由收录条件保证;提供人工规则后的高分属于特权信息诊断,不代表模型自生成规则的能力。
语音识别 | 8.4/10
语音翻译 | 6.0/10
语音识别 | 6.5/10
语音翻译 | 6.9/10
语音翻译 | 8.2/10
语音翻译 | 6.4/10
语音翻译 | 7.3/10
语音翻译 | 6.7/10
语音翻译 | 7.8/10
语音翻译 | 5.7/10
语音识别 | 6.2/10
语音翻译 | 6.4/10