语音翻译

📄 Bandwidth-Efficient and Privacy-Preserving Edge-Cloud Many-to-Many Speech Translation #语音翻译 #多语言 #大语言模型 #课程学习 #参数高效微调 🔥 8.1/10 | 前25% | #语音翻译 | #课程学习 | #多语言 #大语言模型 | arxiv 学术质量 5.1/7 | 影响力 1.5/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 作者：Yexing Du, Kaiyuan Liu, Youcheng Pan, Bo Yang, Ming Liu, Bing Qin, Yang Xiang 机构：哈尔滨工业大学（深圳），鹏城实验室 💡 毒舌点评 这篇论文试图在一个“不可能三角”——隐私、带宽、性能——上找到一个实用的平衡点，其工程野心和目标是值得肯定的。ESRT框架通过将推理拆分，将重量级的LLM留在云端，仅在边缘传输压缩的特征，这是一个直观且有效的工程解决方案。论文在FLEURS数据集上展示了强大的实验结果，尤其是ESRT-4B模型以较小的参数量超越了之前许多更大的模型，证明了其训练策略的有效性。开源代码和模型也值得鼓励。 然而，其核心创新点——边缘-云分割和特征压缩——在概念上并非开创性的，更偏向于系统优化和工程实现。论文声称的“隐私保护”主要基于信息压缩导致的重建困难（见图10），这是一种弱化的安全假设，而非经过严格密码学或对抗攻击验证的保障。对于顶会论文而言，这种论证略显单薄。实验虽然全面，但缺少在真实、动态的网络环境和多样化的边缘硬件上进行端到端延迟和功耗测试，这使得“边缘计算”的宣称有些理想化。整体而言，这是一篇扎实的系统论文，但理论深度和安全验证的严谨性有待加强。 📌 核心摘要 本文提出了ESRT（Edge-cloud Speech Recognition and Translation），一个隐私保护且带宽高效的边缘-云协同多方语音转文本翻译（S2TT）框架。该框架采用分割推理架构：在边缘设备部署轻量级的Whisper语音编码器和基于Q-Former的语音适配器，仅将高度压缩的声学特征（40或80个token）传输至云端，由云端大型语言模型（LLM，基于MiLMMT/Gemma-3）完成翻译解码。为支持45种语言的多方翻译并克服英语中心偏见，论文引入了改进的多任务加权课程学习策略（分三阶段，动态整合ASR、SMT、SRT任务）。在FLEURS数据集上的实验表明，ESRT-4B和ESRT-12B在45×44个翻译方向上达到了当时的最先进（SOTA）性能，显著优于多种基线模型，并证明了框架在隐私（防止声纹泄露）和带宽（高达15.6倍压缩）方面的有效性。 🔗 开源详情 代码：https://github.com/yxduir/esrt 模型权重：论文中承诺开源模型，并指向同一GitHub仓库（https://github.com/yxduir/esrt），但未单独列出HuggingFace或ModelScope等托管平台的权重下载链接。 数据集： FLEURS: https://huggingface.co/datasets/google/fleurs CommonVoice 24: https://datacollective.mozillafoundation.org/datasets?q=common+voice CoVoST-2: https://github.com/facebookresearch/covost Demo：论文中未提及。 复现材料：论文中提供了详细的训练配置（表I, II, III, V），并声称开源训练和推理框架。完整的训练脚本、依赖环境及详细文档可能包含在代码仓库中，但未提供独立的复现指南链接。 论文中引用的开源项目： Whisper: 来自OpenAI，论文中未提供GitHub链接。 NLLB-200: 作为对比基线，论文中未提供项目链接。 LLaMAX3: 作为对比基线，论文中未提供项目链接。 SeamlessM4T-V2: 作为对比基线，论文中未提供项目链接。 MiLMMT: 作为基础LLM，源自Gemma-3，论文中未提供MiLMMT的具体代码链接。 Gemma-3: 作为基础模型，论文中未提供其具体链接。 LoRA: 作为微调方法，论文中未提供具体实现仓库链接。 Q-Former: 作为语音适配器的核心组件，论文中未提供其原始实现仓库链接。 🏗️ 方法概述和架构 ESRT的核心是边缘-云协同的分割推理架构（如图3所示），旨在平衡性能、隐私和带宽。 ...

📄 Why We Need Speech to Evaluate Speech Translation #语音翻译 #多模态模型 #参数高效微调 #数据增强 🔥 8.3/10 | 前50% | #语音翻译 | #参数高效微调 | #多模态模型 #数据增强 | arxiv 学术质量 5.2/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 Maike Züfle (1), Danni Liu (1), Vilém Zouhar (2), Jan Niehues (1) 1 Karlsruhe Institute of Technology (KIT), 2 ETH Zurich 💡 毒舌点评 这篇论文像一位严谨的诊断医生，成功地揭示了一个重要但被忽视的病症：当前的语音翻译评估指标（无论是文本还是语音输入）对性别一致性和韵律等语音特有现象几乎完全失明。其诊断过程（系统性的元评估、新模型训练、深入的探测实验）无可挑剔，结论有理有据。然而，它最大的缺点在于“只诊断，不治病”。论文明确指出了三个病根（编码器信息丢失、模型忽略语音源、训练数据不足），却未能提出任何有效的解决方案或有潜力的治疗方向。这使得文章的贡献止步于“揭示问题”，而非“解决问题”。对于期望看到方法创新或突破性结果的审稿人来说，这无疑会拉低评价。不过，这种扎实的“问题定位”工作为后续研究铺平了道路，价值不容否认。 📌 核心摘要 本文针对语音翻译（ST）评估中存在的盲点展开研究。核心发现是：现有的文本和语音质量估计（QE）指标，包括直接使用语音输入的BLASER和SpeechQE，均无法评估语音翻译中至关重要的性别一致性和韵律现象，其表现接近随机猜测。为探究原因，作者训练了SpeechCOMET模型家族（基于SONAR和Whisper编码器）并评估了SpeechLLM作为评估器。两者在标准QE任务（IWSLT数据集上的相关性评分）上表现良好，甚至超越了文本基线COMETKiwi，但在语音特有现象评估上同样失败。通过探测实验，论文揭示了三个根本原因：1）SONAR等编码器抑制了声学特征；Whisper和SpeechLLM的编码器保留声学特征但模型未使用；2）QE模型在训练中倾向于忽略语音源信号；3）标准QE训练数据中缺乏相关示例。论文开源了所有模型和代码，并呼吁开发专门的语音特定数据集和真正依赖语音的模型。 🔗 开源详情 代码：https://github.com/MaikeZuefle/speechCOMET 模型权重：论文中未提及模型权重的直接下载链接，需根据代码和超参数自行训练。 数据集：使用了 IWSLT 2026 Metrics Shared Train Dev， MuST-SHE， ContraProST， WMT Human All 数据集，均为第三方公开数据集，论文未提供直接获取链接。 Demo：论文中未提及在线演示链接。 复现材料：论文在附录中提供了详尽的训练超参数（表4，表5）、模型架构细节（第3.1、3.2节）、数据处理方法（附录A.3）和消融实验结果（附录B），这些信息均包含在论文正文及附录中，可复现性高。 论文中引用的开源项目： COMET/COMETKiwi: 用于质量估计的基线模型。链接：https://github.com/unilm/comet SONAR: 用于语音编码的多语言模型。链接：https://github.com/facebookresearch/SONAR Whisper: 用于语音编码和语音识别的模型。链接：https://github.com/openai/whisper Qwen2.5 Omni: 论文中作为SpeechLLM进行评估的多模态大模型。链接：https://github.com/QwenLM/Qwen2.5-Omni (根据论文作者和名称推断) LlamaFactory: 用于微调大语言模型的框架（用于SpeechLLM的微调）。链接：https://github.com/hiyouga/LLaMA-Factory spaCy: 用于语言特征探测的NLP工具。链接：https://github.com/explosion/spaCy Kokoro TTS & MMS TTS: 用于合成训练数据的文本转语音系统。链接：https://github.com/hexgrad/kokoro (Kokoro)， https://github.com/facebookresearch/fairseq/tree/main/examples/mms (MMS TTS) 🏗️ 方法概述和架构 本文方法主要分为三部分：1）对现有指标的元评估，2）训练新的语音感知QE模型SpeechCOMET，3）评估SpeechLLM作为QE模型。 ...

📄 From Flat Language Labels to Typological Priors: Structured Language Conditioning for Multilingual Speech-to-Speech Translation #语音翻译 #多任务学习 #多语言 #低资源 #语言学先验 ✅ 6.9/10 | 前50% | #语音翻译 | #多任务学习 | #多语言 #低资源 | arxiv 学术质量 5.9/8 | 影响力 0.6/1 | 可复现性 0.4/1 | 置信度 高 👥 作者与机构 第一作者：Yu Pan（九州大学信息科学与电气工程学院，工作完成时；现Recho Inc.，东京） 通讯作者：Jianjun Zhao（九州大学信息科学与电气工程学院） 作者列表：Yu Pan（九州大学/Recho Inc.）、Yang Hou（国家信息学研究所）、Xiongfei Wu（卢森堡大学SnT中心）、Yves Le Traon（卢森堡大学SnT中心）、Liang Zhang（东华大学）、Lei Ma（东京大学计算机系/阿尔伯塔大学电气与计算机工程系）、Jianjun Zhao（九州大学） 毸舌点评 论文提出一个清晰且动机充分的框架，旨在解决多语言S2ST中“扁平化语言标签”表示能力不足的问题，将语言学类型学知识系统性地注入条件机制。其核心价值在于论证了结构化先验在低资源场景下的显著增益，这为数据稀缺的多语言任务提供了实用思路。然而，该工作的“框架感”有限，本质上是对一个强基线（S2ST-Omni）在条件机制上的精巧改进，而非一个可广泛应用的新架构。实验评估完全局限于CVSS-C这一合成目标语音数据集，且未与最新的一些SpeechLLM工作进行对比，影响了结论的普适性和说服力。创新性尚可，但不足以称之为突破。 核心摘要 问题：现有基于SpeechLLM的多语言语音到语音翻译（S2ST）系统常采用扁平化的语言标签（language-as-label）作为条件，忽略了跨语言共享的系统性语言学结构（如形态、语序、谱系关联），这在低监督数据下限制了模型的多语言适应能力。 核心方法：提出S2ST-Omni 2框架，将语言条件从扁平标签重构为结构化类型学先验，在三个层面进行注入：a) 表示层：类型学启发的层次化语言编码（TI-HLE），将源语言分解为形态、重排、语系和残差特定通道；b) 声学层：动态门控的语言调制Dual-CTC（LA-Dual-CTC），根据内容自适应地调制中间声学特征；c) 解码层：类型学感知的LLM提示，提供翻译导向的语言学指导。 新意：不同于以往仅用独立语言嵌入，本文系统性地将显式的语言学类型学知识融入S2ST模型的条件机制中，旨在提供更有结构的归纳偏置，而非让模型从数据中隐式学习所有语言差异。 主要结果：在CVSS-C数据集上，S2ST-Omni 2在平均BLEU（37.73 vs 35.67）和ASR-BLEU（35.00 vs 33.45）上相比基线S2ST-Omni分别获得5.8%和4.6%的相对提升，并在COMET和BLASER 2.0上也取得最优。消融实验证实了三个层面组件的互补贡献。在仅~3小时监督数据的低资源日语-英语任务上，S2ST-Omni 2同样显著优于基线。数据预算分析显示，随着训练数据减少，S2ST-Omni 2相对于基线的BLEU相对增益从5.8%单调增加至15.1%。 实际意义：该工作为数据稀缺的多语言S2ST任务提供了一种有效的技术路径，即通过引入语言学先验来补偿监督信号的不足，对构建更具语言适应性和数据效率的跨语言语音系统有启发价值。 主要局限性：a) 方法依赖于预先定义的、针对英语翻译任务的特定类型学分类，其泛化性（如到其他目标语言）未验证；b) 框架复杂度增加（引入了多路CTC损失、FiLM调制、动态门控），训练和推理成本未充分分析；c) 主要实验局限于CVSS-C的三个欧洲语言对及合成目标语音，对其他语系、真实场景的覆盖有限；d) 未提供代码或模型权重，可复现性不足。 方法概述和架构 整体流程概述：S2ST-Omni 2是一个基于组件的组合式S2ST框架，分为语音到文本翻译（S2TT）前端和可插拔的文本到语音（TTS）后端。前端核心是一个SpeechLLM，它接收语音输入，并通过多层、多模块的条件调制，最终输出翻译文本。训练分为两阶段：第一阶段稳定语音-文本对齐，第二阶段通过LoRA微调增强LLM翻译能力。整个系统并非严格端到端，因为S2TT和TTS通过显式文本接口解耦。 ...

📄 Streaming Speech-to-Text Translation with a SpeechLLM #语音翻译 #自回归模型 #流式处理 #多语言 #实时处理 ✅ 6.8/10 | 前25% | #语音翻译 | #自回归模型 | #流式处理 #多语言 | arxiv 学术质量 5.9/8 | 影响力 0.7/1 | 可复现性 0.2/1 | 置信度 高 👥 作者与机构 第一作者：Titouan Parcollet（三星AI中心剑桥） 通讯作者：未说明 作者列表：Titouan Parcollet（三星AI中心剑桥）、Shucong Zhang（三星AI中心剑桥）、Xianrui Zheng（三星AI中心剑桥，实习期间）、Rogier C. van Dalen（三星AI中心剑桥）。论文明确指出“这些作者贡献相等”。 💡 毒舌点评 这篇论文的核心想法——让LLM学会自主决定何时“等待”更多音频，而非依赖外部固定规则——在解决流式语音翻译的实时性鲁棒性矛盾上，是一个清晰且有实际价值的贡献。提出的短语级对齐生成方法也针对了跨语言对齐的真正痛点。然而，其全部实验建立在未公开的3B参数内部大模型、私有训练数据集“CoLiMu”和私有训练流程之上，且与社区广泛使用的、可公开复现的SOTA模型（如SeamlessM4T）缺乏直接对比。这使得其“显著优于现有固定策略”的宣称，在外部研究者看来，其有效性范围和绝对性能高度存疑。可复现性是其成为顶会论文的硬伤。 📌 核心摘要 要解决什么问题：现有的流式语音到文本翻译（STT）系统，尤其是基于SpeechLLM的系统，普遍采用固定的“wait-k”或类似外部启发式策略（如AlignAtt）。这些策略无法适应真实语音输入的变化（如静音开头、语速不均、停顿），导致在真实场景下产生翻译幻觉、遗漏或性能崩溃。 方法核心是什么：提出一种“混合”（intermixed）架构，将预训练的LLM作为统一的决策与生成核心。LLM在自回归解码时，不仅输出翻译文本标记，还能输出一个特殊的“等待”（W）标记。当模型输出W时，系统获取下一音频块；否则输出翻译词。模型通过自动对齐生成的监督序列，学会在信息不足时主动输出W以请求更多音频，从而实现自适应流式输出。 与已有方法相比新在哪里：（1）将等待策略从外挂式、非学习的模块（如wait-k, AlignAtt）变为LLM内部的可学习行为，与语言生成任务统一建模。（2）提出利用LLM和ASR工具链自动生成适合流式训练的短语级对齐数据，解决了跨语言（特别是英语-韩语）词级对齐困难导致的监督信号噪声问题。（3）设计了一种可选的“早期退出等待策略”，在LLM早期层拦截决策，以降低设备端能耗，而无损翻译质量。 主要实验结果如何：在Fleurs数据集的英-法和英-韩翻译任务上，所提混合模型在1-2秒的低延迟下，取得了接近离线基线（同架构离线模型）的翻译质量（COMET分数）。与Bestow的固定wait-k策略相比，其平均逻辑延迟降低约2.3倍，翻译质量提高约19.4%。在模拟真实场景的“SilFleurs”（输入前添加5秒静音）测试中，固定策略模型性能崩溃（COMET分数大幅下降），而混合模型保持稳定。关键数据见下表： 模型 策略 平均逻辑延迟 (秒) 质量 (COMET) SilFleurs 质量 (COMET) Bestow wait-k (步长640ms) ~2.0 0.820 0.509 Bestow AlignAtt (窗口f=12) ~2.0 0.832 0.604 Intermixed (本文) 学习策略 (最优κ) ~1.8 0.840 0.840 （注：以上数值基于论文图3(a)英-法任务描述及图5(a)鲁棒性测试结果） 实际意义是什么：为在移动设备、会议系统等场景部署低延迟、高鲁棒性、低功耗的实时语音翻译系统提供了新的架构思路，核心是解决了固定策略在非理想音频流下的致命缺陷。 ...

ICLR 2026 - 语音翻译 共 2 篇论文 ← 返回 ICLR 2026 总览 排名 论文 评分 分档 🥇 Scalable Multilingual Multimodal Machine Translation with Sp 8.5分 前25% 🥈 UniSS: Unified Expressive Speech-to-Speech Translation with 8.0分 前25% 📋 论文详情 🥇 Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion 🔥 8.5/10 | 前25% | #语音翻译 | #多模态模型 | #多语言 #低资源 👥 作者与机构 第一作者：Yexing Du（哈尔滨工业大学，鹏城实验室） 通讯作者：Youcheng Pan（鹏城实验室）， Yang Xiang（鹏城实验室）， Ming Liu（哈尔滨工业大学，鹏城实验室） 作者列表：Yexing Du（哈尔滨工业大学，鹏城实验室）、 Youcheng Pan（鹏城实验室）、 Zekun Wang（哈尔滨工业大学）、 Zheng Chu（哈尔滨工业大学）、 Yichong Huang（哈尔滨工业大学）、 Kaiyuan Liu（哈尔滨工业大学，鹏城实验室）、 Bo Yang（鹏城实验室）、 Yang Xiang（鹏城实验室）、 Ming Liu（哈尔滨工业大学，鹏城实验室）、 Bing Qin（哈尔滨工业大学，鹏城实验室） 💡 毒舌点评 ...

📄 Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion #语音翻译 #多模态模型 #多语言 #低资源 #大语言模型 🔥 8.5/10 | 前25% | #语音翻译 | #多模态模型 | #多语言 #低资源 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.7 | 置信度 高 👥 作者与机构 第一作者：Yexing Du（哈尔滨工业大学，鹏城实验室） 通讯作者：Youcheng Pan（鹏城实验室）， Yang Xiang（鹏城实验室）， Ming Liu（哈尔滨工业大学，鹏城实验室） 作者列表：Yexing Du（哈尔滨工业大学，鹏城实验室）、 Youcheng Pan（鹏城实验室）、 Zekun Wang（哈尔滨工业大学）、 Zheng Chu（哈尔滨工业大学）、 Yichong Huang（哈尔滨工业大学）、 Kaiyuan Liu（哈尔滨工业大学，鹏城实验室）、 Bo Yang（鹏城实验室）、 Yang Xiang（鹏城实验室）、 Ming Liu（哈尔滨工业大学，鹏城实验室）、 Bing Qin（哈尔滨工业大学，鹏城实验室） 💡 毒舌点评 亮点：论文思路非常聪明，绕过了图像多模态翻译的数据瓶颈，利用语音（尤其是TTS生成的合成语音）作为补充信息源，实现了多语言覆盖的飞跃。短板：框架对上游TTS模型的质量和语言覆盖有强依赖，论文中自进化机制的“正样本”筛选标准（S2 > S1）略显简单粗暴，可能无法捕获语音信息更复杂的交互模式。此外，论文声称“语音提供韵律线索”，但在实验中缺乏对韵律特征的具体分析或可视化，更多是效果验证。 ...

📄 UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice #语音翻译 #大语言模型 #语音合成 #端到端 #多语言 🔥 8.0/10 | 前25% | #语音翻译 | #大语言模型 | #语音合成 #端到端 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sitong Cheng（香港科技大学） 通讯作者：Yike Guo（香港科技大学），Wei Xue（香港科技大学） 作者列表：Sitong Cheng（香港科技大学）、Weizhen Bian（香港科技大学）、Xinsheng Wang（Soul AI Lab）、Ruibin Yuan（香港科技大学）、Jianyi Chen（香港科技大学）、Shunshun Yin（Soul AI Lab）、Yike Guo（香港科技大学）、Wei Xue（香港科技大学） 💡 毒舌点评 该论文的亮点在于其“大道至简”的哲学，用一个基于标准LLM的单阶段模型同时解决了翻译、声音和情感保持的复杂问题，性能数据非常亮眼。然而，其核心竞争力部分建立在自建的、通过TTS合成的超大规模数据集UniST之上，这使得结果的说服力打了些折扣——毕竟，如果给其他SOTA模型同样规模的定制数据，结果差距可能会缩小。此外，其多标记符的复杂分词策略在工程实现和通用性上是否是最优解，也值得商榷。 🔗 开源详情 代码：论文中未提及代码仓库链接。仅提供了演示网站。 模型权重：基于Qwen2.5-1.5B-Instruct，论文未明确说明是否提供训练后的UniSS模型权重下载。但演示网站可能托管了模型。 数据集：UniST数据集已构建，论文提到“公开”（release），但未提供具体的获取方式链接。数据构建流程和数据源已详细说明。 Demo：提供了在线演示网站：https://cmots.github.io/uniss-demo/ 复现材料：在附录B.1中提供了极其详细的训练配置（阶段、数据、学习率、批次大小等），在附录C和E中提供了评估指标和数据构建细节。复现信息相当充分，主要缺省是官方代码仓库。 论文中引用的开源项目：Qwen2.5-1.5B-Instruct (LLM骨干), BiCodec (语音分词/解码器), GLM-4 (语音分词器), Paraformer (数据清洗ASR), SparkTTS (合成TTS), Whisper (评估ASR), vLLM (推理加速), Megatron-LM (训练框架), webMUSHRA (主观评估) 等。 📌 核心摘要 这篇论文要解决的是表达式语音到语音翻译（S2ST）中的三大挑战：保留说话人声音和情感的配对数据稀缺、处理流程复杂、以及难以迁移文本LLM的翻译能力。方法核心是提出一个名为UniSS的单阶段、统一的文本-语音语言模型，它基于预训练的Qwen2.5-1.5B-Instruct构建，使用三种语音标记（说话人标记、语言标记、语义标记）来分别编码风格、内容和生成目标。其关键创新是引入了跨模态思维链（CoT）提示，在推理时将复杂的S2ST任务分解为“听、译、说”三个顺序步骤，从而显式地利用LLM强大的文本翻译能力来指导语音生成。为了训练该模型，论文还构建了一个大规模、高质量的合成数据集UniST（44.8k小时）。实验结果（主要见表1）表明，在CVSS-T数据集上，UniSS（质量模式）在翻译保真度（Speech-BLEU: EN-ZH 32.20, ZH-EN 24.28）、时长一致性（SLC 0.2: 0.98/0.87）和语音质量（UTMOS: 3.76/3.86）上均显著优于现有的端到端和级联系统。主观评估（表2）也证实其在情感相似度（MOS 4.51）和说话人相似度（4.42）上的优势。该工作的实际意义在于提供了一种更简洁、有效的下一代表达式S2ST系统构建范式。主要局限性是目前仅支持中英双语，且其分词器来自不同模型，导致词表膨胀。 ...

📄 MCIF: Multimodal Crosslingual Instruction-Following Benchmark from Scientific Talks #基准测试 #多模态模型 #多语言 #模型评估 #语音翻译 🔥 8.0/10 | 前25% | #基准测试 | #多模态模型 | #多语言 #模型评估 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Sara Papi（Fondazione Bruno Kessler (FBK)） 通讯作者：未明确说明 作者列表：Sara Papi (FBK), Maike Züfle (Karlsruhe Institute of Technology (KIT)), Marco Gaido (FBK), Beatrice Savoldi (FBK), Danni Liu (KIT), Ioannis Douros (Translated), Luisa Bentivogli (FBK), Jan Niehues (KIT) 💡 毒舌点评 亮点是设计了一个非常全面、平行且高质量的跨语言多模态指令跟随基准，填补了现有评估体系的关键空白；短板在于受限于计算成本，评估的开源模型参数规模普遍偏小（≤20B），且未包含任何闭源前沿商业模型的系统性对比（仅测试了Gemini 2.5 Flash），削弱了对当前技术天花板的揭示能力。 ...

📄 Scalable Multilingual Multimodal Machine Translation with Speech-Text Fusion #多模态模型 #语音翻译 #大语言模型 #多语言 #数据增强 🔥 8.0/10 | 前25% | #语音翻译 | #多模态模型 | #大语言模型 #多语言 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yexing Du（哈尔滨工业大学、鹏城实验室） 通讯作者：Youcheng Pan（鹏城实验室）， Yang Xiang（鹏城实验室）， Ming Liu（哈尔滨工业大学、鹏城实验室） （论文中明确标注{panych,xiangy}@pcl.ac.cn, mliu@ir.hit.edu.cn） 作者列表：Yexing Du（哈尔滨工业大学，鹏城实验室）， Youcheng Pan（鹏城实验室）， Zekun Wang（哈尔滨工业大学）， Zheng Chu（哈尔滨工业大学）， Yichong Huang（哈尔滨工业大学）， Kaiyuan Liu（哈尔滨工业大学，鹏城实验室）， Bo Yang（鹏城实验室）， Yang Xiang（鹏城实验室）， Ming Liu（哈尔滨工业大学，鹏城实验室）， Bing Qin（哈尔滨工业大学，鹏城实验室） 💡 毒舌点评 本文巧妙地将语音合成（TTS）和多模态大语言模型（MLLM）结合，提出了“语音引导机器翻译（SMT）”框架，并创新性地引入自监督进化机制来缓解数据稀缺问题，最终在多个基准上取得显著成绩。不过，其自监督进化机制中用于筛选“正负样本”的核心标准（COMET分数差异）略显简单粗暴，且迭代过程可能陷入局部最优，对“语音韵律信息如何具体帮助翻译”的深层机理剖析仍显不足。 ...

📄 UniSS: Unified Expressive Speech-to-Speech Translation with Your Voice #语音翻译 #自回归模型 #大语言模型 #数据集 #预训练 ✅ 7.5/10 | 前25% | #语音翻译 | #自回归模型 | #大语言模型 #数据集 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Sitong Cheng（香港科技大学） 通讯作者：Yike Guo（香港科技大学），Wei Xue（香港科技大学） 作者列表：Sitong Cheng（香港科技大学）、Weizhen Bian（香港科技大学）、Xinsheng Wang（Soul AI Lab）、Ruibin Yuan（香港科技大学）、Jianyi Chen（香港科技大学）、Shunshun Yin（Soul AI Lab）、Yike Guo（香港科技大学，通讯作者）、Wei Xue（香港科技大学，通讯作者） 💡 毒舌点评 本文最大的亮点在于“化繁为简”，通过精巧的token设计和提示策略，将复杂的多模态语音翻译任务“降维”成了预训练大语言模型熟悉的序列生成问题，并取得了SOTA级的性能，证明了这条路径的可行性。短板在于其高度依赖特定的、非原创的语音tokenizer（BiCodec, GLM-4）和合成数据集（UniST），这虽然是一种聪明的工程集成，但也意味着其核心创新更多体现在系统集成与训练范式上，而非底层表示学习的突破。 🔗 开源详情 代码：论文中未提及代码开源计划或提供代码仓库链接。 模型权重：未提及是否公开预训练或微调后的UniSS模型权重。 数据集：论文明确贡献了UniST数据集（44.8k小时），并提供了项目主页链接（https://cmots.github.io/uniss-demo），其中可能包含数据获取或申请方式（论文未详细说明获取途径）。 Demo：提供了在线演示网站（https://cmots.github.io/uniss-demo/）。 复现材料：在附录B.1中提供了非常详细的训练配置（三阶段数据、超参数、硬件、优化器设置），并声称遵循可复现原则。引用了使用的开源框架（Megatron-LM）和基础模型（Qwen2.5）。 论文中引用的开源项目：Megatron-LM（训练框架），vLLM（推理部署），Transformers库（评估），webMUSHRA（主观评估）。 📌 核心摘要 要解决什么问题：现有语音到语音翻译（S2ST）系统存在架构复杂（级联或两阶段）、难以保留说话人音色/情感风格、以及未能充分利用大型语言模型（LLM）预训练翻译能力三大挑战。 方法核心是什么：提出UniSS，一个基于预训练LLM（Qwen2.5-1.5B）的单阶段统一S2ST框架。它采用三类离散语音token（说话人token、语言token、语义token）分别建模风格、内容和生成目标，并通过跨模态思维链（CoT）提示（Listen-Translate-Speak）将LLM的文本翻译能力迁移到语音领域。 与已有方法相比新在哪里：（1）架构更简单：采用单阶段自回归模型，无需级联或多模态转换器。（2）能力迁移更直接：通过设计的提示格式，显式激活并利用LLM内部的翻译知识，而非将其仅视为黑盒序列转换器。（3）性能更全面：在翻译质量、说话人相似度、情感保持和时长一致性上全面超越现有方法。 主要实验结果：在CVSS-T基准上，UniSS (Q) 的英文到中文和中文到英文的Speech-BLEU分别达到32.20和24.28，显著超过基线（如Seamless-Ex的24.45/15.84）。其说话人相似度MOS达4.42，情感相似度MOS达4.51，时长一致性（SLC 0.4）接近完美（0.99/0.97）。关键消融实验证明，去除跨模态CoT提示会导致翻译质量暴跌约15个BLEU点。 实际意义是什么：为构建下一代更简单、高效、高质量的语音翻译系统提供了新范式。其发布的UniST大规模数据集（44.8k小时）也极大缓解了该领域高质量平行数据稀缺的问题。 主要局限性是什么：（1）模型和方法目前仅验证了中英双向翻译。（2）核心语音tokenizer并非本文原创，词汇表扩展较大。（3）数据集依赖于合成语音，其上限受合成模型质量制约。 🏗️ 模型架构 UniSS是一个端到端的自回归语言模型，其整体架构可概括为“统一tokenization -> LLM自回归生成 -> detokenization合成”。 ...