语音翻译

📄 ProactiveLLM: Learning Active Interaction for Streaming Large Language Models #流式处理 #语音识别 #语音翻译 7.2/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 1.3/1.5 ✅ 7.2/10 | 前50% | #语音识别 | #知识蒸馏 | #流式处理 #语音翻译 | arxiv 👥 作者与机构 第一作者：Junlong Tong（上海交通大学，Eastern Institute of Technology, Ningbo） 通讯作者：Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 作者列表：Junlong Tong（上海交通大学，Eastern Institute of Technology, Ningbo）、Yao Zhang（Eastern Institute of Technology, Ningbo）、Anhao Zhao（Eastern Institute of Technology, Ningbo，香港理工大学）、Yingqi Fan（Eastern Institute of Technology, Ningbo）、Yunpu Ma（Munich Center for Machine Learning, LMU）、Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 该论文发表于 ICML 2026（Proceedings of the 43rd International Conference on Machine Learning, Seoul, South Korea. PMLR 306, 2026） 💡 毒舌点评 该论文提出了一种巧妙的"内生信号驱动"范式，用自蒸馏和掩码训练替代外部对齐标注，让流式LLM学会"审时度势"，在非单调对齐任务（如QA）上展现了惊艳的上下文裁剪能力（如仅用78%上下文恢复97%性能）。然而，其决策头（熵/注意力驱动）的设计相对简单，本质上只是一个阈值触发器，远未触及学习型策略的上限。与强学习型基线的对比仅用了2000条数据，难以令人信服地论证内生策略的绝对优势。更令人担忧的是，在单调任务MT上，Proactive-Entr的延迟实际上高于Wait-9（AIL 8.36 vs 6.87），论文正文中"maintaining lower latency"的笼统宣称有过度包装之嫌——读者需仔细区分Proactive-Attn和Proactive-Entr的不同表现，不可被论文的修辞所误导。 ...

📄 Simultaneous Speech-to-Speech Translation Without Aligned Data #语音翻译 #强化学习 #多语言 #低资源 #流式处理 8/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 🔥 8/10 | 前25% | #语音翻译 | #强化学习 | #多语言 #低资源 | arxiv 👥 作者与机构 第一作者：Tom Labiausse（Kyutai, Paris, France） 通讯作者：未指定个人通讯作者，提供团队邮箱 hibiki@kyutai.org 作者列表：Tom Labiausse（Kyutai）、Romain Fabre（Kyutai）、Yannick Estève（LIA, University of Avignon）、Alexandre Défossez（Kyutai / Gradium）、Neil Zeghidour（Gradium） 💡 毒舌点评 通过消除词级对齐数据并用单BLEU奖励驱动RL，Hibiki-Zero简化了同时语音翻译的训练范式，并在多语言环境下取得了有竞争力的质量-延迟折衷，尤其在新语言适应方面展现出潜力。但过程奖励完全依赖BLEU，回避了对翻译自然度、韵律和语义保真度的直接建模；且评测数据及训练目标语音均为合成数据，存在生成-评估偏差风险，在实际场景下的泛化能力仍存疑。 ...

📄 NAVER LABS Europe Submission to the Instruction-following 2026 Short Track #语音识别 #语音翻译 #参数高效微调 #语音大模型 #低资源 6.2/10 | 创新 0.8/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0.3/1.5 | 复现 0.4/0.5 | 工程 1.2/1.5 ✅ 6.2/10 | 前50% | #语音翻译 | #参数高效微调 | #语音识别 #语音大模型 | arxiv 👥 作者与机构 第一作者：Marcely Zanon Boito（NAVER LABS Europe, France） 通讯作者：Marcely Zanon Boito（NAVER LABS Europe, France），邮箱 marcely.zanon-boito@naverlabs.com 作者列表：Marcely Zanon Boito（NAVER LABS Europe, France）、Hemant Yadav（IIIT Delhi, India）、Jean-Luc Meunier（NAVER LABS Europe, France）、Ioan Calapodescu（NAVER LABS Europe, France） 💡 毒舌点评 这篇系统报告本质上是一份竞赛技术报告，工程实现扎实，用更小的模型跑平了去年的SOTA。但学术贡献有限：改进的SpeechMapper不过是损失函数从MSE换成L1再拼上CTC的"四件套"，fakACL数据集是标准LLM生成套路的领域特化，毫无方法论创新。ASR和SQA的跷跷板效应只会摊手说"不可兼得"，却连个像样的帕累托分析都不做。MCIF一个验证集定生死，过拟合风险完全忽视。只能说竞赛第一，但科研价值嘛，别太当真。 ...

📄 Preserving Speech-to-Text LLM Capabilities in Speech-to-Speech Generation #语音识别 #语音翻译 7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7/10 | 前50% | #语音识别 | #语音翻译 | arxiv 👥 作者与机构 Yuxuan Hu, Heng Lu, Ruchao Fan, Yao Qian, Xiaofei Wang, Jian Xue, Heming Wang, Shuohang Wang, Young Jin Kim, Yelong Shen, Jinyu Li。具体机构未在提供文本中明确说明。 💡 毒舌点评 这篇论文试图解决一个实际且重要的问题：如何把已经很强的语音理解大模型（S2T LLM）无缝升级成能听能说的全能选手（S2S），而不毁掉它原本的本事。思路很直接：别动那个昂贵又聪明的“大脑”（冻结的主干），只给它接一个训练好的“嘴巴”（音频后解码器）。方法上，用中间层隐藏状态做同步、搞多令牌预测提速、训练时打包数据模拟多轮对话，都算得上工程上的小聪明。实验做得很全，从翻译到问答到对话，还自己搞了个多轮测试集，诚意可嘉。但问题在于，那个“嘴巴”跟“大脑”的连接方式（隐藏状态同步）到底有多优雅？消融实验里有些结论（比如MTP主要提效不影响质量）在某些指标上略有起伏，得仔细看数据。最大的槽点是，作为一个强调“可复现”和“开源精神”的领域，论文除了引了几个开源工具，核心代码、模型、数据链接一概不给，这让复现成了空中楼阁。总分7.2，算是中规中矩的技术应用论文，有贡献但离开创性还有距离。 ...

📄 GigaSpeechBench: A Real-World Multilingual Speech-to-Text Benchmark #语音识别 #语音翻译 #低资源 #口音识别 8.7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 🔥 8.7/10 | 前50% | #语音识别 | #语音翻译 | #低资源 #口音识别 | arxiv 👥 作者与机构 Yujie Tu1,2,8,9, Yifan Yang1, Tianrui Wang4, Yanqiao Zhu1, Guodong Lin5, Mingchen Shao6, Haoran Wang1, Junzhe Liu1, Yuxiang Fu5, Yizhou Peng7, Changsong Liu7, Peng Wang11, Zhikang Niu1, Yunchong Xiao3, Haolong Zheng10, Xiuwen Zheng10, Xulin Fan10, Wei-Qiang Zhang5,16, Lei Xie6,15, Longbiao Wang4, Eng-Siong Chng7, Jiajun Zhang8,9, Kele Xu13, Jianwei Yu3, Binbin Zhang3,15, Jiayu Du16, Wupeng Wang3, Zhigao Chen3, Yunlong Wu3, Guoguo Chen14,16, Xipeng Qiu2,12, Mark Hasegawa-Johnson10, Kai Yu1, Zhifu Gao3, Xiangang Li3, Xie Chen1,2,16 机构: 1.SJTU, 2.SII, 3.Alibaba, 4.TJU, 5.THU, 6.ASLP@NPU, 7.NTU, 8.CASIA, 9.UCAS, 10.UIUC, 11.CUHK-SZ, 12.FDU, 13.CCSE, 14.Seasalt.ai, 15.WeNet, 16.SpeechColab ...

📄 FBK's Long-form SpeechLLMs for IWSLT 2026 Instruction Following #语音识别 #语音翻译 #语音问答 #语音摘要 6.5/10 ✅ 6.5/10 | 前50% | #语音识别 | #语音翻译 | #语音问答 #语音摘要 | arxiv 👥 作者与机构 作者：Zhihang Xie (Fondazione Bruno Kessler & University of Trento), Marco Gaido (Fondazione Bruno Kessler), Sara Papi (Fondazione Bruno Kessler), Matteo Negri (Fondazione Bruno Kessler), Luisa Bentivogli (Fondazione Bruno Kessler) 机构：Fondazione Bruno Kessler, University of Trento 💡 毒舌点评 这篇论文是一个扎实的共享任务系统描述，但深度和原创性有限。优点在于实验部分做得比较系统，特别是对长格式幻觉的量化分析（如表2， 表8）和HIFS指标的引入，直面了当前SpeechLLM在长序列生成中的一个痛点。对三种分段策略的详尽比较也提供了实用的工程参考。然而，主要的不足在于“创新”的边界很窄。所谓的“长格式扩展”方法（人工拼接短数据）在领域内已有先例（如论文中引用的Fox et al., 2024），并未提出新的长程建模机制。核心模型架构直接复用了现有开源模型，适配器设计也是标准流程。长格式训练只跑了一个epoch就提交，这严重限制了结论的可信度——我们无法知道模型是否充分学习了长程依赖。评估方面，尽管提出了HIFS，但其公平性值得商榷：惩罚因子直接乘在任务分数上，可能过度惩罚了某些任务（如SSUM中幻觉率极高），而ASR中插入错误（INS）的数量剧增是否完全归咎于模型对长音频的幻觉，还是分段策略本身引入的上下文割裂问题，论文未能清晰区分。总体而言，这是一篇合格的任务报告，为社区提供了数据，但距离一篇有显著技术贡献的研究论文还有差距。 ...

📄 Does Translation-Enhanced Speech Encoder Pre-training Affect Speech LLMs? #语音识别 #语音合成 #语音翻译 #多任务学习 #大语言模型 7.1/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 0.9/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.1/10 | 前50% | #语音识别 | #多任务学习 | #语音合成 #语音翻译 | arxiv 👥 作者与机构 作者：Tomoya Mizumoto, Yusuke Fujita 机构：SB Intuitions Inc. 邮箱：tomoya.mizumoto@sbintuitions.co.jp, yusuke.fujita@sbintuitions.co.jp 💡 毒舌点评 这篇论文像一篇严谨的“消融实验报告”。它精确地回答了一个问题：在训练语音编码器时，加入翻译任务到底有没有用、有多大用？答案是“有用，且双向翻译比单向翻译更有用”。优点在于实验设计非常干净（控制变量），结论清晰直接。然而，这种清晰也暴露了其局限：研究范围被严格限定在“将预训练好的编码器接入冻结LLM”这一特定范式内，没有探索更灵活的架构（如端到端训练）。130k小时的训练数据对于如今的大模型时代来说显得“小家碧玉”，更像是在验证一个想法而非冲击SOTA。开源方面的完全缺席，对于需要复现或在该方向上继续推进的同行来说，无疑是一种遗憾。 📌 核心摘要 本文的核心研究问题是：在预训练语音编码器时，引入翻译任务（尤其是双向翻译）能否改善其与冻结的大语言模型的集成效果？作者认为，传统基于ASR的编码器学习到的是语言特定的表示，这与LLM统一的语义空间存在结构错位。为解决此问题，他们提出在预训练阶段加入跨语言翻译任务，特别是要求模型在英语与其他语言之间进行双向翻译，以迫使编码器学习语言无关的语义表示。实验对比了三种预训练目标：仅ASR、ASR + 单向翻译（X→en）、ASR + 双向翻译（X↔en）。结果表明，双向翻译预训练（X↔en）在语音翻译、意图分类等任务上带来了显著且一致的性能提升，并且能够泛化到预训练未见过的语言对，同时不损害依赖声学信息的情感识别任务性能。论文将这一优势归因于双向翻译目标提供了更对称、更彻底的语义抽象路径。 ...

📄 Evaluating Japanese Dialect Robustness Across Speech and Text-based Large Language Models #语音识别 #语音翻译 #参数高效微调 #多模态模型 #低资源 5.8/10 | 创新 1/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.3/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 📝 5.8/10 | 前50% | #语音识别 | #参数高效微调 | #语音翻译 #多模态模型 | arxiv 👥 作者与机构 Tomoya Mizumoto, Yusuke Fujita, Hao Shi, Lianbo Liu, Atsushi Kojima, Yui Sudo. （作者所属机构未在提供的原文片段中明确提及） 💡 毒舌点评 这篇文章就像一个精心设计的“方言压力测试”。它思路清晰，实验控制得当，像个规规矩矩的优等生作业，把“SLM继承LLM能力”和“数据/微调有用”这两个直觉验证得漂漂亮亮。但问题在于，这个“压力测试”的跑道（翻译任务）太窄，沙坑（CPJD数据集）太小，连计时器（TTS标准语音）都可能不准。结果就是，你得到了一份关于“如何在特定小跑道上跑得更稳”的精致报告，但对于“方言问题到底有多复杂、在真实世界中如何解决”的宏大命题，贡献就比较有限了。它证明了一些常识，但缺乏让人“Wow”的突破或深刻的洞见。分数给高了对不起那些真正硬核的创新，给低了又委屈了它的严谨和工整，所以卡在中间。 ...

📄 STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity #语音翻译 #语音合成 #语音识别 #多模态模型 #大语言模型 7.8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 7.8/10 | 前50% | #语音翻译 | #语音合成 | #语音识别 #多模态模型 | arxiv 👥 作者与机构 作者：Sitong Cheng, Weizhen Bian, Songjun Cao, Jin Li, Bei Liu, Chunyang Jiang, Yike Zhang, Weihao Wu, Yiming Li, Chi-Min Chan, Long Ma, Wei Xue 单位：香港科技大学，腾讯优图实验室，清华大学深圳国际研究生院 ...

📄 Measuring User's Mental Models of Speech Translation in Human-AI Collaboration #语音翻译 6.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.8/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 6.6/10 | 前50% | #语音翻译 | #语音翻译 | arxiv 👥 作者与机构 HyoJung Han, Nishant Balepur, Jordan Boyd-Graber, Marine Carpuat University of Maryland, College Park, USA 💡 毒舌点评 这篇论文的工作就像在一个精心设计的游戏里，测量玩家对游戏规则的理解深度。想法（基于QA的心智模型测量）有一定新意，把翻译质量评估拉到了“有用性”层面。但整个用户研究的规模（45人，16题）更像是一个本科生课程大作业，而不是一篇旨在建立通用框架的顶会论文。最大的亮点是发现中级用户学习最快，而错误高亮反而导致了“过度操作”这种反直觉结果。然而，论文的结论在很多地方显得过于自信，比如将“不完整/不自然”标记为最显著特征，却忽略了其在现实场景中可能本身就是最明显的错误，这几乎是句废话。实验设计本身（奖励机制、错误类别划分）足够细致，但样本的限制使得所有结论都蒙上了一层“偶然性”的阴影。最后，没有代码开源，让这个“可复现的框架”大打折扣。 📌 核心摘要 本文提出了一种基于跨语言问答（QA）的新型框架，用于衡量和理解用户对语音翻译（MT）系统的心智模型（Mental Model）。在该框架中，用户需决定对机器翻译的哪些句子请求专业重译，以最大化最终QA任务得分，这个过程自然地揭示了用户对MT系统错误模式的理解与预测能力。通过对45名不同法语熟练度用户的研究，论文发现：1）用户的心智模型随交互实践而增强，表现为奖励和准确率上升；2）中等语言熟练度的用户学习效果最显著，而基础水平用户进步困难；3）用户主要依赖翻译输出的表面特征（如不完整性、语音噪声）来更新心智模型，而对主题相关错误最不敏感；4）在三种解释条件中，提供ASR转录最能有效辅助用户（尤其是中级用户）构建心智模型，而提供错误高亮虽然提高了准确率，却导致用户过度重译，反而降低了任务得分。 🔗 开源详情 代码：论文未提供。 模型权重：论文未提供。 数据集：使用了公开数据集 2M-BELEBELE。论文提供了引用信息，但未给出直接下载链接。 Demo：论文未提供。 复现材料：论文未提供完整的实验代码或筛选后的问答集数据。 🏗️ 方法概述和架构 论文的核心贡献是提出一个用于测量MT心智模型的交互式框架。该框架包含一个定制的用户研究界面，其工作流程和关键组件如下： ...