端到端

📄 Low-Bandwidth High-Fidelity Speech Transmission with Generative Latent Joint Source-Channel Coding #语音增强 #语义通信 #端到端 #生成对抗网络 #流式处理 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #语义通信 #生成对抗网络 学术质量 6.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Guangkuan Li（北京邮电大学） 通讯作者：Jincheng Dai（北京邮电大学） 作者列表：Guangkuan Li（北京邮电大学）、Shengshi Yao（北京邮电大学）、Sixian Wang（上海交通大学）、Zhenyu Liu（University of Surrey）、Kai Niu（北京邮电大学）、Jincheng Dai（北京邮电大学） 💡 毒舌点评 亮点：该工作聪明地将神经音频编解码器（RVQ-GAN）与联合源信道编码（JSCC）解耦后又紧密融合，利用生成模型在低带宽下提供先验信息，有效缓解了传统JSCC在极低带宽下的质量崩塌问题。短板：虽然声称“节省60%带宽”，但对比基线（Opus+LDPC, Encodec+LDPC）的配置细节（如Opus的码率、LDPC的开销）未在文中清晰界定，使得“节省”的绝对值在不同实际部署条件下可能有所变化。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用LibriSpeech数据集，该数据集为公开数据集。 Demo：提供了在线演示链接：https://semcomm.github.io/GLJSCC 。 复现材料：论文详细描述了模型架构、三阶段训练策略、损失函数、关键超参数（如网络维度、码本大小、学习率等），为复现提供了必要的理论细节。但未提供训练配置文件、预训练检查点或更细粒度的超参数搜索范围。 论文中引用的开源项目：引用了Encodec（神经音频编解码器）、5G LDPC编码等作为对比基线。具体代码仓库未在提供的文本中列出。 总结：论文提供了理论框架和部分实现细节，并附有Demo，但未开源核心代码和模型，因此严格复现仍需一定工作量。 📌 核心摘要 问题：现有的语音联合源信道编码（JSCC）方法在带宽极度受限时，感知质量会急剧下降，难以满足高保真传输需求。 核心方法：提出生成式潜在联合源信道编码（GL-JSCC）框架。该框架首先使用RVQ-GAN将语音压缩到一个与人感知对齐的潜在空间，然后在该潜在空间内使用流式Transformer执行JSCC，最后采用三阶段渐进式训练策略进行优化。 创新点：与传统在源空间或简单神经网络潜空间进行JSCC不同，本文在生成式潜在空间中进行JSCC，该空间具有更高的稀疏性和感知对齐性，且生成模型本身为低带宽下的重建提供了额外的先验知识。 主要实验结果：在AWGN和COST2100衰落信道下，GL-JSCC在低信噪比（SNR）和低带宽条件下均优于传统方法（Opus+LDPC, AMR-WB+LDPC）和神经网络基线（DeepSC-S, Encodec+LDPC）。例如，在SNR=2dB的AWGN信道下，GL-JSCC能达到与Opus+LDPC相同的感知质量（PESQ分数），但节省高达60%的带宽。主观MUSHRA测试也证实了其优越的听感。 实际意义：该框架为在带宽受限的弱网络（如工业物联网、偏远地区）中进行高质量语音传输提供了一种有效解决方案，推动了语义通信在音频领域的实用化。 主要局限性：性能上限受限于RVQ-GAN神经编解码器本身的重建质量（PESQ分数最高约4）；实验主要基于英文语音数据集（LibriSpeech），在其他语言或声学环境下的泛化能力未验证。 🏗️ 模型架构 GL-JSCC的整体架构分为两个核心部分：生成式潜在编解码器（Latent Codec） 和 联合源信道编解码器（JSCC Codec），其流程如公式(1)所示：语音 x -> 潜在编码器 E -> 潜在表示 l -> JSCC编码器 J_e -> 发送符号 s -> 无线信道 -> 接收符号 ŝ -> JSCC解码器 J_d -> 潜在表示 l̂ -> 潜在解码器 D -> 重建语音 x̂。 ...

📄 MELA-TTS: Joint Transformer-Diffusion Model with Representation Alignment for Speech Synthesis #语音合成 #扩散模型 #自回归模型 #端到端 #零样本 ✅ 7.0/10 | 前25% | #语音合成 | #扩散模型 | #自回归模型 #端到端 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Keyu An（Alibaba group） 通讯作者：Zhiyu Zhang（National Mobile Communications Research Laboratory, Southeast University） 作者列表：Keyu An⋆（Alibaba group）、Zhiyu Zhang⋆†（Alibaba group, National Mobile Communications Research Laboratory, Southeast University）、Changfeng Gao⋆（Alibaba group）、Yabin Li⋆（Alibaba group）、Zhendong Peng⋆（Alibaba group）、Haoxu Wang⋆（Alibaba group）、Zhihao Du⋆（Alibaba group）、Han Zhao⋆（Alibaba group）、Zhifu Gao⋆（Alibaba group）、Xiangang Li⋆（Alibaba group） 注：⋆表示Alibaba group，†表示National Mobile Communications Research Laboratory, Southeast University。第一作者和通讯作者基于论文标题下方作者列表顺序及贡献说明（“The first two authors contribute equally to this work.”）判断。 💡 毒舌点评 亮点在于用“表示对齐”模块巧妙地借用了预训练ASR编码器的语义知识来指导自回归模型生成更连贯的语义表示，确实显著加速了收敛并提升了内容一致性（WER大幅下降）。但其声称的“端到端”仍依赖预训练的说话人编码器和ASR编码器进行对齐，且声音克隆的说话人相似度（SS）在英文测试集上反而弱于其主要对比基线CosyVoice，暴露了该架构在全局声学上下文利用上的短板。 ...

📄 Mixture of Experts for Recognizing Depression from Interview and Reading Tasks #语音生物标志物 #混合专家模型 #多模态模型 #端到端 ✅ 6.0/10 | 前50% | #语音生物标志物 | #混合专家模型 | #多模态模型 #端到端 学术质量 6.5/7 | 选题价值 1.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Loukas Ilias（雅典国立技术大学电气与计算机工程学院 DSS实验室） 通讯作者：未说明 作者列表：Loukas Ilias（雅典国立技术大学电气与计算机工程学院 DSS实验室），Dimitris Askounis（雅典国立技术大学电气与计算机工程学院 DSS实验室） 💡 毒舌点评 亮点：这篇论文的最大亮点在于它“不满足于现状”，没有沿用只分析自发语音或简单拼接特征的常规思路，而是系统性地探索了将朗读与自发语音通过复杂的张量分解融合，并引入MoE进行“因材施教”，这种技术组合的探索精神值得肯定。 短板：然而，所有华丽的架构都建立在仅110个样本的“地基”上，导致核心结果表（表1）中各项指标的标准差（±6%~±13%）甚至比一些方法的性能提升幅度还大，这使得“我们更好”的结论显得底气不足，其声称的SOTA地位在更大数据集上能否复现要打个大大的问号。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：使用公开的 Androids语料库。 Demo：未提供在线演示。 复现材料：提供了基本的超参数设置（学习率、batch size、优化器、专家数量等）和硬件信息，但缺乏实现细节。 论文中引用的开源项目：librosa（用于音频处理），AlexNet（用于特征提取）。 📌 核心摘要 问题：现有抑郁症语音识别方法存在三个局限：通常只分析自发语音而忽略朗读语音；依赖难以获取或易出错的转录文本；以及未采用能根据输入内容自适应调整计算方式的模型（如MoE）。 方法：本文提出一个端到端的深度神经网络框架。它将朗读语音和自发语音（面试）分别转换为包含log-Mel频谱图及其一阶、二阶差分的三通道图像。这些图像通过两个共享权重的预训练AlexNet提取特征，得到768维向量。随后，使用基于块张量分解的BLOCK多模态融合方法将两个特征向量融合。最后，融合特征被送入混合专家层进行分类。论文对比了三种MoE变体：稀疏门控MoE、基于CP分解的CPµMoE和基于张量环分解的TRµMoE。 新意：这是首次在抑郁症识别任务中，（1）联合建模朗读与自发语音；（2）采用基于张量分解的多模态融合；（3）将输入条件计算（MoE）集成到单一端到端网络中。与之前简单使用AlexNet或拼接特征的方法相比，本文强调了更精细的特征融合与动态的专家路由。 结果：在Androids语料库（110样本）上的实验表明，本文提出的最佳模型TRµMoE达到了87.00%的准确率和86.66%的F1分数。消融实验证实了融合两种语音、使用BLOCK融合以及引入MoE层的必要性。例如，去掉MoE层后准确率下降3.31%，仅使用自发语音时准确率仅为81.73%。 意义：该工作验证了结合不同语音任务（朗读+自发）并利用更高级的融合与动态计算模型，能为抑郁症等心理健康问题的语音生物标志物检测提供更全面、更有效的建模途径。 局限：主要局限是数据集规模极小（仅110人），导致所有实验结果的标准差巨大，模型的稳定性和泛化能力未经验证。此外，研究仅基于意大利语单语种数据，缺乏跨语言验证。 🏗️ 模型架构 论文提出了一种用于抑郁症识别的多模态端到端深度神经网络架构，整体流程如下： ...

📄 MSANET: Multi-Scale Semantic Aggregation Network for Brain-Assisted Speech Enhancement in Multi-Speaker Conditions #语音增强 #多模态模型 #端到端 #图神经网络 ✅ 7.5/10 | 前25% | #语音增强 | #端到端 | #多模态模型 #图神经网络 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Zehui Feng（上海交通大学设计学院） 通讯作者：Ting Han（上海交通大学设计学院；上海交通大学医学机器人研究院） 作者列表：Zehui Feng（上海交通大学设计学院），Dian Zhu（上海交通大学设计学院），Junxuan Li（上海交通大学设计学院），Yang Bai（上海交通大学设计学院），Ting Han（上海交通大学设计学院；上海交通大学医学机器人研究院） 💡 毒舌点评 亮点：论文架构设计极具“工程师思维”，将EEG信号处理的生理学先验（频段划分、通道拓扑、生理延迟）与深度学习模块（多尺度卷积、图神经网络、注意力机制）进行了系统性地、模块化的结合，逻辑链条完整。 短板：部分核心创新（如GCMCA）的理论支撑和具体实现细节（如高斯混合模型在线更新的策略）略显不足，且在工程实用性上，该复杂框架在助听器等资源受限设备上的部署可能性和延迟问题，论文中未做任何探讨。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开模型权重。 数据集：论文中使用了Cocktail Party和AVED两个公开数据集，但未在文中提供数据集的具体下载链接。 Demo：未提及在线演示。 复现材料：论文提供了相对详细的实验设置（数据集预处理、训练超参数、硬件环境），但不足以独立复现。 论文中引用的开源项目：论文引用了GCN [15]、CMCA [6] 等前人工作作为基线，但未明确说明是否直接使用了它们的开源代码。 总体开源情况：论文中未提及开源计划。 📌 核心摘要 要解决的问题：在多人说话的嘈杂环境中，利用脑电图（EEG）信号来增强目标说话人的语音（即“鸡尾酒会问题”）。现有方法存在缺陷：语音编码器难以捕捉精细的频率结构；EEG信号存在通道间相关性建模弱、频率分解不足、生理响应延迟等问题；跨模态融合策略粗糙。 方法核心：提出MSANet，一个端到端的多尺度语义聚合网络。其核心包含三个模块：1）多尺度编码器（使用不同卷积核大小）联合建模EEG和语音的时频动态；2）通道-频谱频率（CSF）聚合模块，根据生理/声学知识划分频段并计算注意力，增强关键通道和频带特征；3）结构-功能图（SFG）聚合，构建EEG通道的空间结构图和功能连接图，通过图卷积网络建模通道依赖，并加入时间感知模块补偿生理延迟；4）高斯聚类跨模态注意力（GCMCA），在原跨模态注意力机制基础上，引入高斯混合模型施加类内紧凑、类间分离的损失，优化跨模态语义对齐。 与已有方法相比新在哪里： 首次在端到端框架中系统性地融合多尺度时频编码、基于生理先验的EEG图建模和改进的跨模态注意力。 提出CSF聚合，显式利用神经节律和语音频带知识进行特征提纯。 提出GCMCA，通过聚类损失约束，使跨模态语义融合更具判别性。 主要实验结果：在Cocktail Party和AVED两个公开数据集上，MSANet在SI-SDR、STOI、ESTOI、PESQ四个指标上均取得了最优性能。关键数据如下表所示： 数据集 方法 SI-SDR (dB) STOI (%) ESTOI (%) PESQ Cocktail Party MSANet (ours) 13.99 90.97 80.32 2.69 M3ANet [9] (次优) 13.95 89.23 78.36 2.58 AVED MSANet (ours) 10.97 90.93 82.36 2.27 M3ANet [9] (次优) 10.89 90.60 82.06 2.21 消融实验证明，移除CSF、SFG或GCA模块均会导致性能下降，其中GCMCA模块移除后性能下降最明显。 实际意义：为脑机接口辅助的听力辅助设备（如人工耳蜗、助听器）提供了更先进的算法基础，有望在复杂声学环境下显著改善听障人士的语音理解能力和生活质量。 主要局限性：1）框架模块较多，计算复杂度可能较高，未讨论实时性；2）高度依赖高质量的EEG信号，在信噪比极低的EEG情况下性能可能受限；3）论文中未提供模型权重或代码，不利于社区验证和应用。 🏗️ 模型架构 图1：MSANet整体架构示意图（来自论文图1） ...

📄 Musicdetr: A Position-Aware Spectral Note Detection Model for Singing Transcription #歌唱语音转录 #音乐信息检索 #对象检测 #注意力机制 #端到端 🔥 8.5/10 | 前10% | #歌唱语音转录 | #对象检测 | #音乐信息检索 #注意力机制 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Mengqiao Chen（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室） 通讯作者：Wei Xu（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室） 作者列表：Mengqiao Chen（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Qikai He（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Zhuoyuan Zhang（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Wenqing Cheng（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室）、Wei Xu（华中科技大学电子信息与通信学院，湖北省智能互联网技术重点实验室） 💡 毒舌点评 亮点：首次将DETR引入歌声转录领域，并非简单套用，而是通过设计音符位置解码器、多目标单匹配策略和质量敏感损失函数三个针对性模块进行了深度改造，在多个基准上达到SOTA，证明了对象检测范式在AST中的有效性。 短板：论文计算复杂度（特别是引入额外解码器层）未作分析，在音符密集或快速演唱等复杂场景下的鲁棒性有待进一步验证；此外，部分训练细节（如具体优化器参数）的缺失略微影响了技术方案的完整透明度。 🔗 开源详情 代码：论文明确提供了代码仓库链接：https://github.com/ChenMengqiao/MusicDETR。 模型权重：论文未提及是否公开预训练模型权重。 数据集：论文扩展的SSVD3.0数据集公开可用，提供了下载链接 (https://github.com/hust-itec2/SSVD3.0)。MIR-ST500和ISMIR2014为公开数据集。 Demo：论文未提供在线演示链接。 复现材料：论文提供了代码仓库，但未详细列出训练配置文件、检查点或附录中的超参数设置。 引用的开源项目：论文未明确列出所有依赖的开源项目，但方法基于DETR框架，并使用了mir_eval库进行评估。 📌 核心摘要 问题：自动歌声转录（AST）旨在从歌声音频中推断音符的起始、结束时间和音高。传统方法或简单的帧级预测模型在准确性和端到端能力上仍有提升空间。 方法核心：本文提出了MusicDETR，一个基于Transformer的端到端AST模型。它将转录问题转化为频谱图上的音符对象检测问题，并首次在AST领域引入DETR框架。其核心创新在于设计了利用音符间位置关系的音符位置解码器、增加训练正样本的多目标单匹配（MTSM）策略以及对检测质量更敏感的质量敏感匹配损失（QML）。 创新点：a) 位置感知解码：通过量化音符在频谱图中的位置相关性（MC值接近0.8），并在解码器自注意力中显式融入音符间的相对位置关系编码。b) 训练策略优化：采用MTSM策略，通过复制目标图像来增加每个训练批次中的正样本数量，缓解O2O匹配导致的样本稀缺问题。c) 损失函数设计：提出QML损失，同时对预测框的IoU和分类分数敏感，避免因匹配错误导致的重叠检测和漏检。 ...

📄 Peeking Into the Future for Contextual Biasing #语音识别 #多任务学习 #端到端 #上下文建模 #工业应用 ✅ 7.0/10 | 前50% | #语音识别 | #多任务学习 | #端到端 #上下文建模 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Ramaneswaran Selvakumar (Samsung Research America, USA) 通讯作者：未说明 作者列表：Ramaneswaran Selvakumar (Samsung Research America, USA)、Cindy Tseng (Samsung Research America, USA)、Eesung Kim (Samsung Research America, USA)、Vijendra Raj Apsingekar (Samsung Research America, USA)、Yun Tang (Samsung Research America, USA) 💡 毒舌点评 该论文巧妙地将“多令牌预测”这一语言模型技术嫁接到语音识别的上下文偏置任务上，用一种轻量级的方式（去掉偏置编码器和交叉注意力）解决了实体打分问题，体现了“四两拨千斤”的工程智慧。然而，所有验证都局限在Librispeech这个相对“干净”且以有声书为主的基准上，其在嘈杂、口音多样、实体更复杂的实际语音助手场景中的泛化能力，恐怕会打个问号。 ...

📄 Polynomial Mixing for Efficient Self-Supervised Speech Encoders #语音识别 #自监督学习 #端到端 #低资源 #开源工具 🔥 8.0/10 | 前25% | #语音识别 | #自监督学习 | #端到端 #低资源 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Eva Feillet (Université Paris-Saclay, CNRS, Laboratoire Interdisciplinaire des Sciences du Numériques; Miles team, Université Paris-Dauphine-PSL) 通讯作者：未说明 作者列表：Eva Feillet (Université Paris-Saclay, CNRS, LISN; Miles team, Université Paris-Dauphine-PSL), Ryan Whetten (Laboratoire Informatique d’Avignon, Avignon Université), David Picard (LIGM, École Nationale des Ponts et Chaussées), Alexandre Allauzen (Miles team, Université Paris-Dauphine-PSL) 💡 毒舌点评 亮点在于PoM的设计思想——用全局多项式状态来“总结”序列信息再广播回每个token，比简单的平均池化（SummaryMixing）理论上更具表达力，并被实验证实有效。短板是，尽管PoM在效率上实现了线性复杂度，但在最关键的WER指标上，它只是“接近”而非“超越”强MHA基线（如RelPosMHA），对于追求极致性能的应用场景，其吸引力可能有限；此外，论文中提出的“分割频率混合”等变体并未带来稳定收益，核心创新的增益边界尚未被完全厘清。 ...

📄 Purification Before Fusion: Toward Mask-Free Speech Enhancement for Robust Audio-Visual Speech Recognition #音视频 #语音识别 #语音增强 #多任务学习 #端到端 ✅ 7.5/10 | 前25% | #语音识别 | #多任务学习 | #音视频 #语音增强 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Linzhi Wu (University of Electronic Science and Technology of China, Chengdu, China) 通讯作者：Xingyu Zhang (Defense Innovation Institute, Academy of Military Sciences, Beijing, China) 作者列表： Linzhi Wu (电子科技大学) Xingyu Zhang* (军事科学院国防创新研究院) Hao Yuan (北京大学) Yakun Zhang (军事科学院国防创新研究院) Changyan Zheng (High-tech Institute, Weifang, China) Liang Xie (军事科学院国防创新研究院) Tiejun Liu (电子科技大学) Erwei Yin (军事科学院国防创新研究院) 💡 毒舌点评 这篇论文提出了一个清晰的“先净化再融合”新范式，用端到端学习替代了脆弱的显式掩码生成，想法简洁有效，在LRS3数据集上也取得了不错的性能提升。然而，其最大的短板在于完全的“闭源”状态，没有提供代码、模型或训练细节，对于希望跟进或复现的读者来说，这意味着需要从零开始摸索架构细节和训练策略，极大增加了实践门槛。 ...

📄 QFOCUS: Controllable Synthesis for Automated Speech Stress Editing to Deliver Human-Like Emphatic Intent #语音合成 #端到端 #注意力机制 #少样本 ✅ 7.5/10 | 前50% | #语音合成 | #端到端 | #注意力机制 #少样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 请基于当前提供的论文内容尽量完整提取作者与机构信息，要求： 明确标注第一作者（如论文可判断），否则写“未说明” 明确标注通讯作者（如论文可判断），否则写“未说明” 列出能确认的作者姓名及其所属机构（大学、实验室、公司） 机构信息尽量具体到实验室或部门；如果文本里没有，就写到能确认的层级 禁止猜测机构信息；无法确认时明确写“未说明” 输出格式示例： 第一作者：张三（清华大学计算机系） 通讯作者：李四（Google DeepMind） 作者列表：张三（清华大学计算机系）、李四（Google DeepMind）、王五（未说明） 💡 毒舌点评 用 2-3 句话做有信息量的点评，必须同时包含至少 1 个亮点和 1 个短板。可以犀利，但不要空泛嘲讽，不要只喊“很强”或“很水”。 🔗 开源详情 请只根据论文内容或当前提供文本中的链接信息总结开源情况，禁止编造仓库、stars、平台热度。尽量覆盖： 代码：是否提供代码仓库链接；若无，写“论文中未提及代码链接” 模型权重：是否提到公开权重；若无，写“未提及” 数据集：是否公开、如何获取；若无，写“未提及” Demo：是否提供在线演示；若无，写“未提及” 复现材料：是否给出训练细节、配置、检查点、附录说明 论文中引用的开源项目：列出了哪些依赖的开源工具/模型？ 如果论文中未提及，明确说明“论文中未提及开源计划” 📌 核心摘要 用 5-8 句话总结这篇论文，必须覆盖： ...

📄 Revisiting Direct Speech-to-Text Translation with Speech LLMS: Better Scaling than Cot Prompting? #语音翻译 #语音大模型 #端到端 #多语言 ✅ 7.5/10 | 前50% | #语音翻译 | #语音大模型 | #端到端 #多语言 学术质量 7.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Oriol Pareras（巴塞罗那超级计算中心） 通讯作者：未说明 作者列表：Oriol Pareras（巴塞罗那超级计算中心）， Gerard I. Gállego（巴塞罗那超级计算中心， 加泰罗尼亚理工大学）， Federico Costa（巴塞罗那超级计算中心， 加泰罗尼亚理工大学）， Cristina España-Bonet（巴塞罗那超级计算中心， 德国人工智能研究中心）， Javier Hernando（巴塞罗那超级计算中心， 加泰罗尼亚理工大学） 💡 毒舌点评 论文实验设计严谨，通过控制单一变量（S2TTpl数据规模）清晰揭示了Direct prompting优于CoT的“数据扩展性”，为后续研究指明了一个务实且资源效率更高的方向。但不足之处在于，所有结论均建立在“翻译器质量上乘”的伪标签数据之上，且最终Direct并未实现对CoT的绝对超越，其宣称的“更好扩展性”在缺乏更大规模数据验证的情况下，略显前瞻性有余而实证不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开模型权重。 数据集：使用了公开的ASR/T2TT/S2TT数据集。论文构建的伪标签S2TTpl数据集未提及是否公开。 Demo：未提及在线演示。 复现材料：提供了部分训练细节（如学习率、批量大小、硬件），但缺失关键配置文件、数据处理脚本和检查点信息。 论文中引用的开源项目： 骨干LLM：salamandraTA-7B-Instruct (HuggingFace) 语音编码器：mHuBERT from TWIST (HuggingFace) 语音质量评估：BLASER 2.0 (HuggingFace) 语言识别：GlotLID v3 评估工具：SacresBLEU, XCOMET-XL (HuggingFace) 训练框架：Transformers, DeepSpeed 开源计划：论文中未提及开源计划。 📌 核心摘要 问题：当前基于LLM的端到端语音到文本翻译（S2TT）主流采用思维链（CoT）提示策略，即先转录后翻译。但CoT的优势主要源于可利用海量ASR和文本翻译（T2TT）数据。本文研究随着专用S2TT数据规模增加，CoT是否仍是最佳选择，以及直接翻译（Direct）策略的扩展潜力。 方法：通过伪标签方法构建大规模多语言S2TT数据集（将ASR语料的转录翻译为6种欧洲语言），并系统性地对比了Direct和CoT两种提示策略在从小到大不同数据规模下的性能表现。 新意：这是首个在如此大规模（约384M目标token）和多语言（6种语言）伪标签S2TT数据上，系统对比Direct和CoT提示策略扩展行为的研究。挑战了CoT在S2TT中的固有优势假设。 结果：在Fleurs基准测试上，随着伪标签S2TT数据（S2TTpl）规模从0%增加到100%： Direct策略的xCOMET分数（S2TT核心指标）持续稳定提升，从基线80.6升至88.0（见图3a）。 CoT策略在20%数据规模时达到峰值（~90.0 xCOMET），之后性能反而下降。 同时，CoT策略的ASR子任务性能（WER）随数据增加而显著恶化（图3b），而Direct策略保持稳定。详细的跨语言趋势见图4。 基线对比（全量ASR+T2TT+S2TT数据，无伪标签S2TTpl数据）：CoT基线（26.39 BLEU / 88.0 xCOMET）显著优于Direct基线（21.04 BLEU / 80.6 xCOMET），具体见表2。 意义：表明在S2TT数据稀缺时，CoT因其能复用ASR/T2TT数据而占优；但随着S2TT数据规模增大，更简单、计算成本更低（约减半）的Direct策略显示出更优的扩展潜力，是未来构建大规模S2TT系统的一个有前景的方向。 局限：所有S2TT数据均为伪标签生成，其质量（依赖翻译模型和过滤器）直接影响结论。论文未探索Direct策略在利用副语言信息（如韵律）方面的潜在优势。 🏗️ 模型架构 论文构建的S2TT系统是一个端到端的LLM模型，由语音编码器和LLM骨干网络组成。 ...