语音翻译

📄 VoxSumm: A Multilingual Corpus of Long-Form Spoken News for Joint Summarization and Translation 标签：#语音翻译 #大语言模型 #低资源 #语音合成 6.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.9/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：高 | #语音翻译 | #大语言模型 | #低资源 #语音合成 | arxiv 👥 作者与机构 第一作者：Yejin Jeon（Mila - Quebec AI Institute、McGill University）；Marie Maltais（Mila - Quebec AI Institute、McGill University，标注 equal contribution） 通讯作者：未说明 作者列表：Yejin Jeon（Mila - Quebec AI Institute、McGill University）、Marie Maltais（Mila - Quebec AI Institute、McGill University）、Virginia Ceccatelli（Mila - Quebec AI Institute、McGill University）、Min Ma（Google DeepMind）、David Ifeoluwa Adelani（Mila - Quebec AI Institute、McGill University、Canada CIFAR AI Chair） 💡 毒舌点评 亮点是给出了第一个大规模多语言长语音“联合摘要+翻译”基准 VoxSumm，703小时/24语言/10045对的规模填补了任务定义和数据空白，并做了较系统的模型与提示设置比较。短板是全部音频由 TTS 合成而非真实语音，且数据对齐依赖 CrossSum 自动语义相似度匹配，论文只承诺 release 却未给出任何可获取链接，可复现性大打折扣。 ...

📄 Breaking the Curse of Multilinguality in Many-to-Many Speech-to-Text Translation via a Resource-Aware Mixture of Speech Encoders 标签：#语音翻译 #语音大模型 #端到端 #课程学习 #多语言 8.2/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 🔥 8.2/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #语音翻译 | #语音大模型 | #端到端 #课程学习 | arxiv 👥 作者与机构 第一作者：Yexing Du（机构未说明；论文标注为 1,2） 通讯作者：论文未注明通讯作者 作者列表： Yexing Du（机构未说明；标注 1,2） Kaiyuan Liu（机构未说明；标注 1,2） Youcheng Pan（机构未说明；标注 2） Bo Yang（机构未说明；标注 2） Chengpeng Fu（机构未说明；标注 1,2） Yu Wang（机构未说明；标注 2） Ming Liu（机构未说明；标注 1,2） 说明：论文只给出作者单位编号 1 和 2，没有提供单位名称，因此无法确认具体机构。 💡 毒舌点评 用“冻结高资源专家 + 可训练中低资源专家”的方式把资源分层直接做进语音编码器，思路不算复杂，但确实直击共享编码器的容量竞争问题，45 语言全方向评测的工程量也值得肯定。不过“打破多语言诅咒”这个结论仍偏强：MoSE 本质上只是按人工资源等级把模型容量切成两半，缺少参数匹配对照、显著性检验和更精细的资源分组依据，效果有多少来自路由、多少来自直接翻倍编码器参数，论文并没有彻底说清。全方向 1,980 个翻译方向的主结果表也只给出聚合分布与代表方向，逐方向失败模式仍未充分暴露。 ...

📄 The Role of Disfluencies in Speech Translation 标签：#语音翻译 #基准测试 #音频理解 #Transformer #模型评估 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.4/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：高 | #语音翻译 | #Transformer | #基准测试 #音频理解 | arxiv 👥 作者与机构 第一作者：Maike Züfle（卡尔斯鲁厄理工学院） 通讯作者：未说明 作者列表：Maike Züfle（卡尔斯鲁厄理工学院）、Maria Teleki（德克萨斯农工大学）、Fabian Retkowski（卡尔斯鲁厄理工学院）、Vilém Zouhar（苏黎世联邦理工学院）、Oliver Grabner（德克萨斯农工大学）、Alexander Waibel（卡尔斯鲁厄理工学院、卡内基梅隆大学）、James Caverlee（德克萨斯农工大学）、Jan Niehues（卡尔斯鲁厄理工学院） 💡 毒舌点评 这篇论文为语音翻译中的不流畅现象做了一次扎实的"验尸报告"：通过人类情感标注和基准构建，首次量化了去除不流畅对情绪感知的扭曲，问题定义清晰且有现实意义。然而，该工作本质上是对现有模型盲点的系统诊断，其贡献边界应更清晰地界定。方法层面的创新有限，推理时策略的改进幅度微小且未解决根本问题——如果加两个上下文示例就能提升5个chrF点，那只能说明当前模型离解决此问题只差一点点提示工程，所谓的"盲点"可能更多是训练数据分布偏差，而非真正的认知缺陷。 ...

📄 SimulS2ST-Omni: Data-Efficient Streaming Speech-to-Speech Translation via Explicit Trajectory Supervision 标签：#语音翻译 #流式处理 #多任务学习 #参数高效微调 #音频理解 7.3/10 | 创新 1.3/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1.4/1.5 ✅ 7.3/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音翻译 | #多任务学习 | #流式处理 #参数高效微调 | arxiv 👥 作者与机构 第一作者：Rongshen He（The Chinese University of Hong Kong, Shenzhen） 通讯作者：Zhizheng Wu（The Chinese University of Hong Kong, Shenzhen） 作者列表：Rongshen He（The Chinese University of Hong Kong, Shenzhen）、Xinyu Liang（The Chinese University of Hong Kong, Shenzhen）、Dekun Chen（The Chinese University of Hong Kong, Shenzhen）、Jiaqi Li（The Chinese University of Hong Kong, Shenzhen）、Mingjie Chen（The Chinese University of Hong Kong, Shenzhen）、Zhizheng Wu（The Chinese University of Hong Kong, Shenzhen） 💡 毒舌点评 论文在数据稀缺条件下，通过精巧的轨迹监督和架构分解实现了有竞争力的流式S2ST，工程优化思路清晰，实验设计扎实。然而，核心依赖对齐质量且完全不开源，使其贡献的可验证性和可复用性大打折扣，更像是一个精心打造的内部技术报告而非开放研究。 ...

📄 When to Use Extra Context: Evidence-Grounded Terminology Adaptation for Simultaneous Speech Translation 标签：#语音翻译 #提示学习 #流式处理 #音频理解 #Transformer 6.7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.7/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音翻译 | #提示学习 | #流式处理 #音频理解 | arxiv 👥 作者与机构 第一作者：Zeyu Yang（香港中文大学（深圳）） 通讯作者：Zeyu Yang（香港中文大学（深圳）） 作者列表：Zeyu Yang（香港中文大学（深圳））、Satoshi Nakamura（香港中文大学（深圳）） 💡 毒舌点评 论文的亮点在于洞察精准——将上下文收益归结于术语恢复而非通用语义增强，并且将其实现为轻量的推理时框架。shuffled-memory控制实验设计严谨，有效地验证了性能提升源于与正确证据的对齐，而非通用偏向。短板也很明显：核心组件“术语提取器”是一个闭源的大语言模型API（Qwen3-30B-Instruct），其准确性、偏差和可复现性是硬伤。验证数据集规模有限且场景高度特化（ACL技术会议），在更通用或低资源场景下的价值存疑。方法高度依赖文档级上下文质量，这限制了其适用范围。 ...

📄 X-Translator: A Real-Time Multilingual Speaker-Aware Speech-to-Speech Translation System 标签：#语音翻译 #语音合成 #语音克隆 #实时处理 #多语言 7.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.4/1.5 ✅ 7.8/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #语音翻译 | #语音合成 | #语音克隆 #实时处理 | arxiv 👥 作者与机构 第一作者：Yuxiang Zhao（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院） 通讯作者：Xie Chen（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院） 作者列表：Yuxiang Zhao（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院）、Yichi Zhang（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab）、Yanjie An（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab）、Yanqiao Zhu（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院）、Zhanxun Liu（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院）、Yushen Chen（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院）、Qixi Zheng（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院）、Haina Zhu（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院）、Yunchong Xiao（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab）、Keqi Deng（Microsoft）、Shuai Fan（AISpeech Co., Ltd.）、Kai Yu（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab）、Xie Chen（上海交通大学计算机科学与工程系，MoE Key Lab of Artificial Intelligence, Jiangsu Key Lab of Language Computing, X-LANCE Lab; 上海创新研究院） 💡 毒舌点评 这篇论文最突出的亮点是构建了一个完全开源、模块化、面向部署研究的实时语音翻译系统，并提供了从系统设计、运行时策略到多维度评估的完整方案，这在黑盒API盛行的当下尤为珍贵。然而，其创新主要体现在工程整合与运行时控制层面，而非提出新的核心模型或算法，因此在技术深度上难以与顶级模型论文媲美，更像是一份详尽的“系统集成与评估技术报告”。 ...

📄 Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach 标签：#语音翻译 #语音大模型 #流式处理 #音频理解 #Transformer 5.7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.4/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 📝 5.7/10 | 前50% | 文档类型：方法研究 | 评分置信度：高 | #语音翻译 | #语音大模型 | #流式处理 #音频理解 | arxiv 👥 作者与机构 第一作者：Junkun Chen (Microsoft) 通讯作者：Junkun Chen (Microsoft), Jinyu Li (Microsoft) 作者列表：Junkun Chen, Jian Xue, Ming Tang, Abdel Heba, Hoda Gholami, Ruchao Fan, Jinyu Li (均来自 Microsoft) 💡 毒舌点评 论文提出用数据驱动替代架构修改来解决LLM同步翻译问题，思路务实，在多个语言对上展示了稳定的质量提升。然而，其核心贡献被彻底的封闭性所笼罩：所有评估均在私有会话语音数据上进行，依赖闭源教师模型生成标签，且未提供任何代码、模型或数据。这使得其声称的“简单”和“数据驱动”优势变得无法验证，论文本身更像是一个缺乏可复现性的内部技术报告，难以被社区检验和推进。 ...

📄 Gemma 4 Technical Report #多模态模型 #语音识别 #语音翻译 6.2/10 | 创新 1/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 0.6/1 | 影响 0.4/1.5 | 开源 1/1.5 | 复现 0.1/0.5 | 工程 1.3/1.5 ✅ 6.2/10 | 前50% | #语音识别 | #多模态模型 | #语音翻译 | arxiv 👥 作者与机构 第一作者：Sherif El Abd (Google DeepMind)，论文以 Gemma Team 署名，列出超过200位作者 通讯作者：未指定唯一通讯作者，论文脚注提供联系邮箱 gemma4report@gmail.com 作者列表：包括 Sherif El Abd, Vaibhav Aggarwal 等核心贡献者以及众多其他贡献者，绝大多数来自 Google DeepMind 💡 毒舌点评 这篇报告展现了教科书级别的工业界“秀肌肉”范式：用一份附带技术彩蛋的产品发布说明书，试图包装成学术论文。Gemma 4的工程集成能力毋庸置疑，特别是12B模型直接砍掉重型编码器、用一个矩阵乘法处理原始图块的激进做法，确实体现了敢于挑战主流范式的工程魄力。然而，报告在实验完整性上堪称灾难——毫无消融实验、回避与同参数级最强模型的直接对比（Qwen 3.5、DeepSeek V4 Flash等竞品仅在人类评估Arena中被隐晦提及，却不敢在自动化基准上正面对决）、所有关键训练配方完全黑箱，使得这份所谓的“技术报告”更像一份经过精心修剪的产品亮点清单，而非严肃的研究文档。 ...

📄 NAVER LABS System Re-implementation for the IWSLT 2026 Instruction-Following Task #语音翻译 #语音识别 #指令微调 #多模态模型 #参数高效微调 6.4/10 | 创新 0.5/2 | 严谨 0.8/1.5 | 实验 0.8/1.5 | 清晰 0.8/1 | 影响 0.7/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 6.4/10 | 前50% | #语音翻译 | #参数高效微调 | #语音识别 #指令微调 | arxiv 👥 作者与机构 第一作者：Anand Kamble（Florida State University） 第二作者：Aniket Tathe（University of Illinois Urbana-Champaign） 通讯作者：未明确说明。 💡 毒舌点评 这是一份诚实的系统复现报告，它把NAVER LABS 2025的旧船票勉强贴上了IWSLT 2026的新船，工程上中规中矩。但作为一篇论文，它几乎没有任何方法层面的新贡献：三阶段训练是照搬的，合成数据是Gemma生成的，且最关键的是——这10万条数据造出来了却没被用在主实验结果里，成了一个挂羊头卖狗肉的“未兑现承诺”。开源了代码却没给模型权重，这让“开源”两字的诚意大打折扣。作为共享任务基线尚可一用，作为学术论文则乏善可陈。 ...

📄 Unified Audio Intelligence Without Regressing on Text Intelligence #音频理解 #语音识别 #语音翻译 #语音合成 #音频生成 #多模态模型 #强化学习 6.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.8/10 | 前50% | #音频交互 | #多模态模型 | #音频理解 #语音识别 | arxiv 👥 作者与机构 论文摘要中未提供作者列表，无法确定具体作者与所属机构。 💡 毒舌点评 亮点在于将统一音频智能锚定在 30B MoE 文本 LLM 上，并明确提出“不退化文本智能”这一核心目标。但摘要几乎全篇堆砌任务名称与数据规模，却未给出任何可验证的定量对比数字，这使得 SOTA 宣称显得空洞。这种“全功能宣传册”式的摘要削弱了技术报告的严谨感。 📌 核心摘要 本文提出 Audex，一个基于 30B MoE 文本 LLM（Nemotron-Cascade-2-30B-A3B）的统一音频-文本大语言模型。采用单一 Transformer 解码器统一处理音频与文本：音频输入经编码器提取特征，通过投影映射到文本嵌入空间；量化的离散音频输出 token 与文本 token 混合，一同送入自回归解码生成。训练包括三阶段：（1）在 curated 的音频-文本数据集（157.4B 音频 token + 320.5B 文本 token）上进行多阶段监督训练；（2）纯文本 Cascade RL，用于强化文本对齐与推理能力，防止文本退化；（3）多域 on-policy 蒸馏，稳定多模态表现。论文宣称模型在音频理解、语音识别/翻译、TTS、音频生成与语音到语音生成等任务上达到 SOTA，同时文本推理、对齐、知识、长上下文与智能体能力仅有微弱甚至零退化。模型权重已释放。 ...