语音翻译

📄 LESS: Large Language Model Enhanced Semi-Supervised Learning for Speech Foundational Models Using in-the-wild Data #语音识别 #语音翻译 #半监督学习 #大语言模型 #多语言 ✅ 7.5/10 | 前25% | #语音识别 #语音翻译 | #半监督学习 #大语言模型 | #语音识别 #语音翻译 学术质量 7.0/7 | 选题价值 7.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Wen Ding（NVIDIA Corporation） 通讯作者：未说明 作者列表：Wen Ding（NVIDIA Corporation），Fan Qian（NVIDIA Corporation） 💡 毒舌点评 这篇论文巧妙地将一个在NLP领域成熟的工具（LLM）转化为解决语音SSL中“脏数据”问题的利器，思路实用且效果显著，特别是在AST任务上SOTA的结果很有说服力。然而，其验证的“语音大模型”高度集中于Whisper，缺乏对其他架构（如USM, MMS）的验证，让人好奇该框架是否具有更普适的迁移能力。 🔗 开源详情 代码：提供。论文明确提供了开源配方的GitHub仓库链接：github.com/nvidia-china-sae/mair-hub/tree/main/speech-llm/less_recipe。 模型权重：未提及开源作者自己训练的模型权重。但所使用的基础模型（Whisper Large-v3, Yi-Large, LLaMA-3-70B）均为公开可用的模型。 数据集： 有标签数据（AISHELL-1, Fisher, Callhome）是公开的标准数据集。 论文中使用的“真实世界”YouTube数据集（1590小时普通话， 868小时西班牙语）是自行收集的，论文未说明其是否公开或如何获取。 Demo：论文中未提及在线演示。 复现材料：提供了开源配方，包含训练流程、依赖工具（K2 Icefall）和实验配置的关键细节（如学习率， 模型， LLM选择， 过滤阈值），复现基础较好。 论文中引用的开源项目： K2 Icefall toolkit (https://github.com/k2-fsa/icefall) Silero VAD (https://github.com/snakers4/silero-vad) Whisper Large-v3 (Hugging Face) Yi-Large (通过NVIDIA NIM访问) LLaMA-3-70B (通过NVIDIA NIM访问) Qwen2.5-coder-32b-instruct (通过NVIDIA NIM访问) ESPnet (用于对比的基线结果) 📌 核心摘要 要解决的问题：当前最先进的语音基础模型（SFMs）在半监督学习中利用从真实世界（in-the-wild）收集的未标注音频数据时，面临一个核心挑战：这些数据声学环境复杂多样，模型生成的伪标签质量较低，导致训练效果不佳。 方法核心：提出了LESS框架。该框架在标准的无教师-学生（Noisy Student Training）SSL流程中，引入一个文本大语言模型（LLM）作为“校正器”，对SFMs（如Whisper）在未标注音频上生成的伪标签（ASR转录或AST翻译文本）进行修正。随后，通过一个基于WER（词错误率）变化的数据过滤策略，筛选出LLM修正后质量更高的伪标签，与原始有标签数据混合，用于迭代微调SFMs。 与已有方法相比新在哪里：传统SSL方法要么专注于训练策略优化，要么使用小型模型和经过筛选的无标签数据。LESS的创新在于：(a) 首次系统性地将LLM集成到面向真实世界、嘈杂数据的语音SSL流程中，作为独立的伪标签优化模块；(b) 提出了“WER Prompting”技巧，让LLM在生成修正文本时同时输出估计的WER，可辅助过滤；(c) 专门设计并验证了该框架在“真实世界”数据场景下的有效性，而不仅仅是使用现有干净数据集忽略其标签。 主要实验结果： 中文ASR：在WenetSpeech测试集上，相比仅使用AISHELL-1训练的监督基线，经过三轮LESS迭代训练后，WER从17.7%绝对下降至13.9%，降幅达3.8%。在领域内测试集AISHELL-1/2上，WER保持稳定（约3.0%/5.2%）。 西语-英语AST：在Callhome和Fisher测试集上，LESS方法达到了34.0和64.7的BLEU分数，显著优于监督基线（33.5， 64.2）和不加LESS的标准NST（33.2， 64.0）。 消融实验：验证了通用LLM（Yi-Large）比代码专精LLM（Qwen2.5-coder）更适合纠错；WER提示词（WER Prompting）和严格的过滤阈值（0.1）能带来性能提升。 实际意义：该框架为利用海量、易获取但质量低劣的网络语音数据训练更强健、适应性更广的语音大模型提供了一种有效的工程化路径，有助于降低对昂贵精标数据的依赖。 主要局限性：研究中使用的语音大模型（SFMs）主要局限于Whisper Large-v3，未验证该方法在其他主流架构（如USM, MMS）上的泛化能力。此外，对于AST任务，仅进行了一轮迭代实验，多轮迭代的潜力和收敛情况有待探索。真实世界数据的噪声和多样性控制标准未深入讨论。 🏗️ 模型架构 论文提出的是一个迭代优化的流水线框架（LESS），而非一个独立的新模型架构。其核心组件和数据流如下： ...

📄 LongSpeech: A Scalable Benchmark for Transcription, Translation and Understanding in Long Speech #基准测试 #数据集 #语音识别 #语音翻译 #多语言 ✅ 7.8/10 | 前25% | #基准测试 | #数据集 | #语音识别 #语音翻译 学术质量 5.5/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Fei Yang（上海交通大学；阿里巴巴国际数字商务） 通讯作者：Chenyang Lyu（阿里巴巴国际数字商务） 作者列表： Fei Yang（上海交通大学；阿里巴巴国际数字商务） Xuanfan Ni（阿里巴巴国际数字商务） Renyi Yang（代尔夫特理工大学；阿里巴巴国际数字商务） Jiahui Geng（林雪平大学） Qing Li（格罗宁根大学） Chenyang Lyu（阿里巴巴国际数字商务） Yichao Du（阿里巴巴国际数字商务） Longyue Wang（阿里巴巴国际数字商务） Weihua Luo（阿里巴巴国际数字商务） Kaifu Zhang（阿里巴巴国际数字商务） 💡 毒舌点评 亮点：论文直面语音模型从“短句能手”到“长卷大师”转型过程中的评测荒漠，构建了一个任务全面、数据量级宏大（10万+段，每段约10分钟）的“压力测试场”，其“内容分离”和“时序定位”等任务设计尤其刁钻，能有效暴露模型在长上下文推理上的短板。短板：作为基准，其自身的“创新”更多是工程整合与任务设计，论文对实验结果的剖析深度略显不足（例如，为何某些模型在特定任务上崩溃？），且完全依赖GPT-4作为某些任务的评估器，引入了“用更贵的模型评估便宜的模型”的黑箱与成本问题。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文评估了多个现有模型，但未提及公开自己训练的模型权重。 数据集：论文明确表示“The benchmark will be made publicly available to the research community.”，即数据集计划开源，但未给出具体的下载链接或平台（如Hugging Face）。 Demo：论文中未提及。 复现材料：论文提供了数据构建的方法论和流程描述，这是重要的复现材料。但未提供数据预处理脚本、评估脚本或具体的超参数配置。 引用的开源项目：论文引用了被评估的音频语言模型的代码库或技术报告，如Whisper [1], Qwen2-Audio [5], Kimi-Audio [6], AudioFlamingo3 [9], Voxtral [10], DashengLM [11]。也引用了评估工具如GPT-4-Turbo [14]和指标库如ROUGE [13]。 📌 核心摘要 解决问题：现有语音基准测试（如LibriSpeech）主要针对短音频，无法有效评估模型处理真实世界长时音频（如会议、讲座）的能力，特别是在需要跨片段理解、推理和跟踪复杂信息时。 ...

📄 MTP-S2UT: Enhancing Speech-to-Speech Translation Quality with Multi-Token Prediction #语音翻译 #多任务学习 #语音大模型 #多语言 #预训练 🔥 8.5/10 | 前25% | #语音翻译 | #多任务学习 | #语音大模型 #多语言 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Jianjin Wang（东北大学计算机科学与工程学院）与 Runsong Zhao（东北大学计算机科学与工程学院）为共同第一作者 通讯作者：Tong Xiao（东北大学计算机科学与工程学院，NiuTrans Research） 作者列表：Jianjin Wang（东北大学计算机科学与工程学院）、Runsong Zhao（东北大学计算机科学与工程学院）、Xiaoqian Liu（东北大学计算机科学与工程学院）、Yuan Ge（东北大学计算机科学与工程学院）、Ziqiang Xu（东北大学计算机科学与工程学院）、Tong Xiao（东北大学计算机科学与工程学院，NiuTrans Research）、Shengxiang Gao（昆明理工大学）、Zhengtao Yu（昆明理工大学）、Jingbo Zhu（东北大学计算机科学与工程学院，NiuTrans Research） 💡 毒舌点评 亮点：这篇工作的核心思想非常巧妙——既然CTC损失所在的解码器中间层天然融合了文本（通过CTC对齐）和语音（通过预测）两种模态的信息，那么在这里施加“预测未来”的MTP损失，就能“更早、更有效地”强化表示学习，理论动机直白且有效。 短板：实验主要局限于CVSS-C这个单一数据集上的两种语言对（英法、英西），虽然用了三种分词器，但缺乏更多样化的语言、领域（如对话、噪声环境）以及与当前最先进多模态翻译模型（如SeamlessM4T）的直接对比，其实际效用和泛化能力仍需在更广泛场景中验证。 🔗 开源详情 代码：论文中未提及任何代码仓库链接。 模型权重：未提及公开的预训练模型权重。 数据集：实验使用公开的CVSS-C数据集。 Demo：未提及在线演示。 复现材料：论文在“模型设置”和“实验”部分提供了较为详细的训练配置（如模型维度、层CECTC权重、MTP的N值等），有助于复现。但未提供完整的训练脚本、学习率调度等细节。 论文中引用的开源项目：fairseq（用于ASR评估）、SentencePiece（文本分词）、HiFi-GAN（语音合成）。 📌 核心摘要 问题：当前主流的直接语音到语音翻译（S2ST）方法，如S2UT模型，使用离散的语音token作为中间表示。但单个语音token语义信息稀疏，需要多个token才能表达一个完整语义单元，这增加了预测的熵和建模的复杂度。 方法核心：本文首次将多token预测（MTP）损失引入S2UT框架。更进一步，作者提出MTP-S2UT损失，将MTP应用于计算CTC损失的解码器中间隐藏层，而非传统最终层，以促进模型在更早阶段融合语音和文本的跨模态信息。 创新点：与已有MTP工作仅作用于最终层不同，MTP-S2UT利用CTC层富含跨模态信息的特性，在该层施加MTP损失，旨在更早增强隐藏表示的语义密度。 实验结果：在CVSS-C基准的法语→英语和西班牙语→英语任务上，所有MTP变体均稳定提升翻译质量（以ASR-BLEU衡量）。MTP-S2UT始终获得最佳性能。例如，在法语→英语任务上，使用S3分词器和贪婪解码时，ASR-BLEU从基线17.79显著提升至24.36。分析表明，MTP损失引导CTC对齐中的文本token前移，并降低了模型预测语音token的不确定性。 实际意义：该研究为提升语音到语音翻译质量提供了一个即插即用的损失函数改进方案，其思想可推广到其他依赖离散单元进行序列到序列转换的任务中。 主要局限性：实验验证的语言对和场景相对有限，未与最新的端到端多模态翻译系统进行对比；同时，代码未开源，限制了社区的即时验证和快速应用。 关键实验结果表格： ...

📄 nGPT as a Scalable Architecture for Speech Recognition and Translation #语音识别 #语音翻译 #nGPT #多语言 #位置编码 ✅ 7.5/10 | 前25% | #语音识别 | #nGPT | #语音翻译 #多语言 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Nune Tadevosyan (NVIDIA, Santa Clara, CA 95051, USA) (论文中注明*贡献相等) 通讯作者：未说明 作者列表：Nune Tadevosyan (NVIDIA), Nithin Rao Koluguri (NVIDIA), Monica Sekoyan* (NVIDIA), Piotr Zelasko (NVIDIA), Nikolay Karpov (NVIDIA), Jagadeesh Balam (NVIDIA), Boris Ginsburg (NVIDIA)。所有作者均隶属于NVIDIA公司。 💡 毒舌点评 亮点：在将Transformer编码器稳定扩展到3B参数上展现了工程实力，nGPT架构在单阶段训练下即在X→EN翻译任务上展现出强泛化能力，这是一个扎实的架构贡献。 短板：论文声称“首次将ALiBi应用于语音”，但核心贡献更像是将NLP领域成熟技术适配到语音任务，创新高度有限；同时，在ASR任务上，费尽心思提出的nGPT-3B在多阶段微调的1B FastConformer面前并未取得全面优势，削弱了其“可扩展性”叙事的部分说服力。 ...

📄 Phrased: Phrase Dictionary Biasing for Speech Translation #语音翻译 #偏差学习 #多语言 #流式处理 #多模态模型 ✅ 7.5/10 | 前25% | #语音翻译 | #偏差学习 | #多语言 #流式处理 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Peidong Wang（Microsoft CoreAI） 通讯作者：Jinyu Li（Microsoft CoreAI） 作者列表：Peidong Wang（Microsoft CoreAI）、Jian Xue（Microsoft CoreAI）、Rui Zhao（Microsoft CoreAI）、Junkun Chen（Microsoft CoreAI）、Aswin Shanmugam Subramanian（Microsoft CoreAI）、Jinyu Li（Microsoft CoreAI） 💡 毒舌点评 亮点：本文提出的PHRASED方法具有良好的通用性，能将同一个思路（利用双语短语对）同时应用于传统的流式端到端模型（CTC-GMM）和新兴的多模态大模型，并在后者上实现了显著的短语召回率提升。短板：实验仅在中-英翻译任务上验证，且所用的“短语列表”规模（3K）与真实工业场景（可能包含数十万条目）的匹配度和鲁棒性存疑；此外，论文未提供任何代码或模型，极大地限制了其可复现性和直接应用价值。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：评估使用了RealSI和OntoNote5，但未说明是否提供了预处理后的版本或获取方式。 Demo：未提及。 复现材料：论文给出了一些训练超参数（如学习率、步数）和模型规模，但未提供完整的训练配置、数据预处理脚本或评估代码。不足以支撑完全复现。 论文中引用的开源项目：未提及依赖的特定开源工具/模型，Phi-4-multimodal为外部开源模型。 总体，论文中未提及开源计划。 📌 核心摘要 要解决的问题：实体短语（如专有名词、新词）因在训练数据中罕见，在端到端语音翻译（ST）中容易被错误翻译，影响核心语义理解。 方法核心：提出短语字典偏差（PHRASED），利用用户提供的源语言-目标语言实体短语对 {I: O} 来增强翻译。核心是先从中间表示（如ASR文本）中匹配源语言短语 I，再对匹配到的目标语言短语 O 进行概率加分。 新在何处：首次为端到端语音翻译设计并验证了“短语字典偏差”机制，与传统的仅使用目标短语列表（PLB）的偏差方法不同，它显式利用了源语言信息。同时，将该方法成功适配到流式Transducer模型和多模态大模型两种架构。 主要实验结果：在中文到英文的RealSI测试集上，PHRASED使流式CTC-GMM模型的短语召回率相对PLB提升了21%；使Phi-4多模态大模型的BLEU提升2.9点，短语召回率相对基线提升85%，远超PLB在大模型上失败的表现。关键数据见下表。 表1：流式语音翻译模型结果（RealSI 中-英） ...

📄 PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs #语音翻译 #偏好优化 #大语言模型 #多任务学习 #多语言 ✅ 7.5/10 | 前25% | #语音翻译 | #偏好优化 | #大语言模型 #多任务学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Jing Xu† (†The Chinese University of Hong Kong) 通讯作者：未说明（论文作者列表为Jing Xu, Jiaqi Wang, Daxin Tan, Xiao Chen，未标注通讯作者） 作者列表：Jing Xu（香港中文大学）、Jiaqi Wang（香港中文大学）、Daxin Tan（华为人工智能实验室）、Xiao Chen（华为人工智能实验室） 💡 毒舌点评 亮点：巧妙地将机器翻译中的“回译”思��移植到语音翻译，用于自动、无需人工标注地构建偏好优化数据对，这一设计在降低S2ST研究门槛上非常聪明。短板：整个系统的“地基”——偏好数据质量——完全依赖Whisper等上游ASR的转录准确性，论文对此潜在的误差传递与放大问题缺乏深入分析，这使得方法的鲁棒性存疑。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开的PROST-LLM模型权重。 数据集：使用了公开的CVSS语料库（可获取）和Commonvoice语料库（可获取）。 Demo：未提供在线演示。 复现材料：提供了非常详细的训练配置、超参数设置（学习率、batch size、epoch、LoRA参数）、模型版本、数据集描述。但未提供训练硬件信息、最终模型检查点、详细的数据预处理脚本。 论文中引用的开源项目： LLM: LLaMA 3.2-3B (引用[3])。 语音表示: mHuBERT (引用[11])。 ASR: Whisper-large-v3 (引用[22])。 语音合成: Unit HiFi-GAN (来自fairseq开源项目，论文提供了GitHub链接)。 TTS (基线系统): MeloTTS (论文提供了GitHub链接)。 偏好优化: DPO (引用[14])、SimPO (引用[15])。 论文中未提及开源计划。 📌 核心摘要 要解决什么问题：大语言模型在语音到语音翻译（S2ST）任务上应用不足，主要受限于高质量的配对S2ST数据稀缺。 方法核心是什么：提出PROST-LLM框架，分三步渐进式提升LLM的S2ST能力。首先，在CVSS数据集上进行有监督微调（SFT），并采用“三任务学习”（ASR，S2T，S2ST联合训练）和“模态链”（先生成目标文本，再生成目标语音）策略增强初始性能。其次，利用微调后的模型对源语音生成多个候选翻译，再将其回译为源语言语音，通过与源语音的多指标比较（WER, MCD, BLEU, METEOR）自动构建偏好数据对（首选与拒斥）。最后，使用这些偏好数据对进行偏好优化（PO），进一步精炼模型的S2ST性能。 与已有方法相比新在哪里：首次将“模态链”和“三任务学习”引入LLM的S2ST训练；首次利用回译机制自动构建偏好数据，并结合偏好优化来提升LLM的S2ST能力，避免了昂贵的人工标注；证明了可以利用单语语音语料库构建偏好数据，减少对配对S2ST数据的依赖。 主要实验结果如何：在CVSS语料库（英法双向翻译）上进行实验。与强级联系统（S2T+TTS）相比，PROST-LLM（采用模态链+DPO）将BLEU差距从初始的14.38（en2fra）和8.83（fra2en）显著缩小至3.15和1.04。消融实验证明，三任务学习和模态链策略均优于基础SFT；偏好优化能持续带来提升；使用单语数据构建偏好对甚至能取得比使用配对S2ST数据更好的效果。所有实验配置下的语音自然度（UTMOS）均高于级联系统。 实际意义是什么：为在数据有限条件下增强LLM的跨模态语音生成与翻译能力提供了一个有效框架，其自动偏好数据构建方法具有普适性，可推广到其他多模态生成任务。 主要局限性是什么：（1）偏好数据质量强依赖Whisper转录质量，其误差会直接影响偏好信号的准确性，论文未分析此影响；（2）实验仅在英法翻译上验证，多语言泛化能力未知；（3）硬件训练信息缺失，大规模复现的计算成本未知；（4）虽然模型使用了LLaMA 3.2-3B，但论文未提供模型权重，且框架的扩展性（如更大LLM、更多模态）有待验证。 🏗️ 模型架构 PROST-LLM的整体训练流程与模型架构如图1所示。 ...

📄 Revisiting Direct Speech-to-Text Translation with Speech LLMS: Better Scaling than Cot Prompting? #语音翻译 #语音大模型 #端到端 #多语言 ✅ 7.5/10 | 前50% | #语音翻译 | #语音大模型 | #端到端 #多语言 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Oriol Pareras（巴塞罗那超级计算中心） 通讯作者：未说明 作者列表：Oriol Pareras（巴塞罗那超级计算中心）， Gerard I. Gállego（巴塞罗那超级计算中心， 加泰罗尼亚理工大学）， Federico Costa（巴塞罗那超级计算中心， 加泰罗尼亚理工大学）， Cristina España-Bonet（巴塞罗那超级计算中心， 德国人工智能研究中心）， Javier Hernando（巴塞罗那超级计算中心， 加泰罗尼亚理工大学） 💡 毒舌点评 论文实验设计严谨，通过控制单一变量（S2TTpl数据规模）清晰揭示了Direct prompting优于CoT的“数据扩展性”，为后续研究指明了一个务实且资源效率更高的方向。但不足之处在于，所有结论均建立在“翻译器质量上乘”的伪标签数据之上，且最终Direct并未实现对CoT的绝对超越，其宣称的“更好扩展性”在缺乏更大规模数据验证的情况下，略显前瞻性有余而实证不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：使用了公开的ASR/T2TT/S2TT数据集。论文构建的伪标签S2TTpl数据集未提及是否公开。 Demo：未提及在线演示。 复现材料：提供了部分训练细节（如学习率、批量大小、硬件），但缺失关键配置文件、数据处理脚本和检查点信息。 论文中引用的开源项目： 骨干LLM：salamandraTA-7B-Instruct (HuggingFace) 语音编码器：mHuBERT from TWIST (HuggingFace) 语音质量评估：BLASER 2.0 (HuggingFace) 语言识别：GlotLID v3 评估工具：SacresBLEU, XCOMET-XL (HuggingFace) 训练框架：Transformers, DeepSpeed 开源计划：论文中未提及开源计划。 📌 核心摘要 问题：当前基于LLM的端到端语音到文本翻译（S2TT）主流采用思维链（CoT）提示策略，即先转录后翻译。但CoT的优势主要源于可利用海量ASR和文本翻译（T2TT）数据。本文研究随着专用S2TT数据规模增加，CoT是否仍是最佳选择，以及直接翻译（Direct）策略的扩展潜力。 方法：通过伪标签方法构建大规模多语言S2TT数据集（将ASR语料的转录翻译为6种欧洲语言），并系统性地对比了Direct和CoT两种提示策略在从小到大不同数据规模下的性能表现。 新意：这是首个在如此大规模（约384M目标token）和多语言（6种语言）伪标签S2TT数据上，系统对比Direct和CoT提示策略扩展行为的研究。挑战了CoT在S2TT中的固有优势假设。 结果：在Fleurs基准测试上，随着伪标签S2TT数据（S2TTpl）规模从0%增加到100%： Direct策略的xCOMET分数（S2TT核心指标）持续稳定提升，从基线80.6升至88.0（见图3a）。 CoT策略在20%数据规模时达到峰值（~90.0 xCOMET），之后性能反而下降。 同时，CoT策略的ASR子任务性能（WER）随数据增加而显著恶化（图3b），而Direct策略保持稳定。详细的跨语言趋势见图4。 基线对比（全量ASR+T2TT+S2TT数据，无伪标签S2TTpl数据）：CoT基线（26.39 BLEU / 88.0 xCOMET）显著优于Direct基线（21.04 BLEU / 80.6 xCOMET），具体见表2。 意义：表明在S2TT数据稀缺时，CoT因其能复用ASR/T2TT数据而占优；但随着S2TT数据规模增大，更简单、计算成本更低（约减半）的Direct策略显示出更优的扩展潜力，是未来构建大规模S2TT系统的一个有前景的方向。 局限：所有S2TT数据均为伪标签生成，其质量（依赖翻译模型和过滤器）直接影响结论。论文未探索Direct策略在利用副语言信息（如韵律）方面的潜在优势。 🏗️ 模型架构 论文构建的S2TT系统是一个端到端的LLM模型，由语音编码器和LLM骨干网络组成。 ...

📄 SEP-ST: Incorporating Speech Entity Prompt Into Large Language Models for Speech Translation #语音翻译 #大语言模型 #多任务学习 #命名实体识别 #多语言 ✅ 7.5/10 | 前25% | #语音翻译 | #多任务学习 | #大语言模型 #命名实体识别 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Fei OuYang (昆明理工大学， 云南人工智能重点实验室) 通讯作者：Zhengtao Yu (昆明理工大学， 云南人工智能重点实验室) 作者列表：Fei OuYang (昆明理工大学， 云南人工智能重点实验室)、Linqin Wang (昆明理工大学， 云南人工智能重点实验室)、Zhengtao Yu (昆明理工大学， 云南人工智能重点实验室) 💡 毒舌点评 亮点在于直击端到端语音翻译中“命名实体”这个老大难问题，提出了一种无需外部知识库、通过联合训练从语音中直接提取实体特征提示LLM的优雅方案，在CoVoST-2和MuST-C上的实体翻译准确率（TSR）提升非常亮眼。短板是方法高度依赖于预训练的NER模型生成训练标签，且消融实验显示一种核心变体（Transformer-based）效果不佳，这使得其“端到端”的纯粹性打了折扣，更像是一个“半端到端”的增强方案。 🔗 开源详情 代码：论文中提供代码仓库链接：https://github.com/Crabbit-F/SEP。 模型权重：未提及是否公开预训练或训练好的模型权重。 数据集：使用公开数据集CoVoST-2和MuST-C，但未提及是否提供自建的SEP提取数据集。 Demo：未提及。 复现材料：提供了基本的训练细节（优化器、学习率、warmup步数、调度策略）和模型架构描述。关键超参数（λ值）、硬件信息、完整的训练配置文件未说明。 引用的开源项目：依赖预训练模型：Whisper-large-V3（语音编码器）、Qwen2.5（LLM）、Q-Former（适配器）、roberta-large-ner-english（NER工具）。 📌 核心摘要 问题：当前端到端语音翻译模型在翻译命名实体（如人名、地名、机构名）时准确率不足，而依赖级联或外部知识库的方法存在误差传播和泛化性差的问题。 方法核心：提出SEP-ST，一个端到端框架。其核心是新增一个“语音实体提示（SEP）提取模块”，直接从语音表征中学习并提取实体相关的嵌入特征。然后将该特征与原始语音特征和文本指令拼接，共同输入大语言模型（LLM）进行翻译，从而引导模型关注并准确翻译实体。 创新点：与已有方法相比，该工作是首个提出直接在语音表征层面进行端到端实体特征提取并作为提示整合进LLM的统一框架，摆脱了对外部实体词典或检索模块的依赖。 主要实验结果：在CoVoST-2数据集上，平均BLEU从39.1提升至40.6，实体翻译成功率（TSR）从36.4%提升至70.5%。在MuST-C零样本评估中，平均BLEU从16.9提升至20.6。具体对比数据见下表。 方法 CoVoST-2 (En2X) Avg BLEU CoVoST-2 (En2X) Avg TSR MuST-C (zero-shot) Avg BLEU MuST-C (zero-shot) Avg TSR LLM-SRT-7B (基线) 39.1 36.4 16.9 43.2 SEP-ST (CTC-based) 40.6 70.5 20.6 55.0 实际意义：提升了语音翻译在真实场景（常包含大量实体）中的可用性和保真度，简化了现有实体翻译增强方案的流程。 主要局限性：SEP提取模块的训练依赖于预训练NER模型标注的伪标签；其Transformer变体效果不佳，表明该特征学习方式有待探索；实验仅限于英译德/日/中三种语言方向。 🏗️ 模型架构 整体架构（如图2(a)所示）由四个核心组件顺序连接，输入为语音，输出为翻译文本。 ...

📄 SLM-TTA: A Framework for Test-Time Adaptation of Generative Spoken Language Models #语音识别 #语音翻译 #领域适应 #自适应学习 #语音大模型 ✅ 7.0/10 | 前50% | #语音识别 | #领域适应 | #语音翻译 #自适应学习 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Yuan-Kuei Wu (Yuan-Kuei Wu1,2)（台湾大学电信工程学研究所，Meta） 通讯作者：未明确说明，但根据作者列表排序和贡献标注，Li Wan可能是主要指导者。 作者列表： Yuan-Kuei Wu（台湾大学电信工程学研究所，Meta） Yang Liu（Meta） Yiteng Huang（Meta） Zhaojun Yang（Meta） Haibin Wu（Meta） Ruizhe Huang（Meta） Yi-Te(Ethan) Hsu（Meta） Shuyu Kong（Meta） Ming Sun（Meta） Florian Metze（Meta） Li Wan（Meta） 💡 毒舌点评 亮点：论文首次系统性地解决了生成式语音大模型（SLM）在测试时自适应的难题，填补了这一领域的空白，其提出的无监督目标（熵最小化、伪标签）结合置信度过滤的框架设计精巧，且实验验证了其在多种任务和严苛噪声条件下的有效性。 短板：方法的核心组件（熵最小化、伪标签、置信度过滤）均为现有技术的组合与调整，创新的深度有限；且所有实验仅在单一商用模型Phi-4-Multimodal上进行，其结论能否泛化到其他架构（如更大、更小的模型或其他训练范式）的SLM上存疑。 ...

📄 TTA: Transcribe, Translate and Alignment for Cross-Lingual Speech Representation #语音识别 #语音翻译 #多任务学习 #多语言 #对比学习 #模型评估 ✅ 7.5/10 | 前25% | #语音识别 | #多任务学习 | #语音翻译 #多语言 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wei Liu（腾讯AI Lab, USA） 通讯作者：未说明 作者列表：Wei Liu（腾讯AI Lab, USA）、Jiahong Li（腾讯AI Lab, USA）、Yiwen Shao（未说明）、Dong Yu（未说明） 💡 毒舌点评 亮点： 论文针对Whisper编码器在Speech-LLM应用中的具体痛点（输入长度限制、模型臃肿、中文语义弱）设计了专用的轻量模型TTA，并通过巧妙的ZT-AED混合架构和显式对齐损失，在显著更小的模型规模上实现了性能反超，思路清晰且实用。 短板： 模型容量的“天花板”效应在语音翻译任务上暴露无遗（仍落后于Whisper-Large），且论文声称验证了“跨语言能力”对ASR无益，但所用的跨语言检索评估方式和“能力”定义略显单一，结论的普适性有待更深入探讨。 🔗 开源详情 代码： 论文明确表示“模型权重和训练配方将作为音频理解工具包Auden的一部分发布”，但未提供具体代码仓库链接。 模型权重： 承诺公开（“will be released”）。 数据集： 训练数据混合使用了公开数据集和内部数据，论文未提及会公开其训练数据集。使用的公开数据集在参考文献中列出。 Demo： 未提及。 复现材料： 提供了详细的训练设置（模型规格、数据混合比例、多阶段训练策略、优化器参数、硬件环境），具备较好的可复现基础。 论文中引用的开源项目： Whisper [1], OWSM [3], Lhotse [30], Qwen2.5-7B-Instruct (用于生成ST数据) [2]。 📌 核心摘要 要解决什么问题： 现有Speech-LLM模型（如Qwen-Audio）普遍采用的Whisper编码器存在输入长度受限（30秒）、模型规模庞大、中文语义性能较弱等局限，影响了集成效率与效果。 方法核心是什么： 提出轻量级模型TTA（Transcribe, Translate and Alignment），采用混合Zipformer-Transducer与注意力编码器-解码器（ZT-AED）架构。模型在358k小时的多语言数据上联合训练自动语音识别（ASR）、语音翻译（ST）和一个基于BERT的对比学习语音-文本对齐任务。 与已有方法相比新在哪里： ①架构上：创新性地将高效的Zipformer编码器与专为ASR/ST设计的双分支（Transducer + AED）解码结构结合，专门优化语义表示。②训练目标上：显式引入对比学习对齐损失，强化跨语言语义空间的构建。③验证深度上：系统研究了跨语言能力、ASR与ST之间的相互关系。 主要实验结果如何： TTA模型（~250M参数）在多个中文和英文基准测试上显著优于Whisper Medium（762M参数），并在部分多语言基准（如CommonVoice）上超越Whisper Large-v3。在跨语言语音检索任务上超越Whisper Large-v2。作为编码器接入ASR-LLM系统时，TTA编码器表现出最优的识别性能和优化效率。关键对比数据见下表（Table 1节选）： 数据集 指标 Whisper Medium Whisper Large-v3 TTA (Ours) aishell 1 CER↓ 6.74 5.33 1.85 librispeech clean WER↓ 2.88 2.01 1.58 commonvoice (avg) WER↓ 11.86 8.30 6.76 covostv2 BLEU↑ 35.12 37.60 35.28 实际意义是什么： 为Speech-LLM提供了一种更高效、语义更强大的语音编码器选择，有望降低系统复杂度并提升下游任务性能。其设计思路和结论对多任务语音表示学习有参考价值。模型承诺开源，将促进后续研究。 主要局限性是什么： ①模型容量限制导致其在语音翻译上仍无法匹敌超大模型（Whisper-Large）。②在零样本评估（Fleurs）上未超越Whisper-Large，泛化能力存疑。③论文观察到强化跨语言对齐可能对ASR带来轻微性能下降，揭示了任务目标间的潜在张力。 🏗️ 模型架构 TTA的整体架构如图1（pdf-image-page2-idx0）所示，是一个多任务、多分支的端到端系统。 ...