不转写、不翻译：用对齐的句向量直接生成法语摘要

英文题目：Bridging Languages and Modalities: Lightweight Cross-Lingual Text and Speech Summarization for Low-Resource Scenarios

会议身份：conference:interspeech:2026:conference-paper-id:chellaf26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#数据集 #迁移学习 #跨语言 #低资源 #语音翻译

评分：6.4/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Chaimae Chellaf：机构信息未能从会议 PDF 纯文本可靠映射
• Salima Mdhaffar：机构信息未能从会议 PDF 纯文本可靠映射
• Yannick Estève：机构信息未能从会议 PDF 纯文本可靠映射
• Stéphane Huet：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

跨语言摘要需从源语言长文档或长语音提炼要点并用法语重写，在源语言资源稀缺且语音存在识别误差时级联系统易断裂。本文将文本按句子切分、语音按语音活动检测切分，分别用冻结的跨语言对齐句子嵌入与语音嵌入编码为语义向量序列。该向量序列经线性投影加GeLU激活对齐维度后，送入改造的编码器解码器SBARThez直接生成法语摘要。两阶段先在法语上预训练生成能力再用目标任务微调，只训练投影层与生成部分，使文本训练的模型可直接迁移到语音推理。与先翻译后摘要或先转写翻译后摘要的级联方案不同，该方法完全在句子级语义空间操作，避免误差累积并支持跨语言与跨模态迁移。在ABT-SpeechSUM突尼斯语语音到法语任务测试集下，SBARThez-speech的Rouge-L为20.59，高于W-LST加mT5-large级联基线的Rouge-L 18.95。该结论适用边界受限于法语为目标语言、新闻与故事讲述等有限领域及14种文本语言加3种语音，长语音建模与合成参考摘要的偏差尚未验证。该方法训练成本仅140M可训练参数，推理开销总量约700M参数，远小于级联系统超过2.7B的计算量。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，要输出什么，必须保留什么？

这篇论文要解决的输入有两种。一种是低资源语言写的文档，例如普什图语、泰米尔语、约鲁巴语的新闻文档。另一种是低资源语言的语音，例如突尼斯阿拉伯语的讲座录音、布列塔尼语的传统故事口述、亚美尼亚语的有声书。目标输出统一为法语的书面摘要，要求连贯简洁，通常 1 到 4 个句子。必须保留的是源内容中的关键事件、人物关系和结论，不能因为换了语言就丢失重要性判断。

初学者容易把这个任务理解成先识别再翻译，其实论文强调 3 个耦合操作：理解源语言细微含义、按重要性过滤、用法语语法和词汇重构。在数据充足时可以用大量平行文档学习这种映射，但在低资源下既没有足够的源语言到法语的翻译对，也没有语音到摘要的标注对。传统做法是把任务拆成自动语音识别加机器翻译加单语摘要，每一步的错误会向后传递。例如布列塔尼语根本找不到可用的翻译器，级联链条在第一步就断了。

论文因此提出绕开词级转写，直接在语义向量层面做跨语言、跨模态迁移。学习时只用法语的大规模摘要数据和少量目标语言数据，推理时却能处理未见过的源语言。这就是全文的方法起点。

已有路线为什么在低资源语音上走不通？

跨语言文本摘要的经典路线有两条。先翻译后摘要是把源文档翻成法语再摘要，先摘要后翻译是先在源语言内压缩再翻译摘要。两条路线都允许用非平行数据独立训练翻译和摘要模块，但论文指出它们受翻译错误和压缩时信息损失的拖累。跨语言语音摘要沿用了同样的级联思想：先用语音识别得到转写，再用多语言模型如 mBART、mT5、flanT5 或大语言模型生成摘要，同样存在识别错误传播问题。

近年出现的端到端方法试图用一个模型直接从音频或文本生成摘要，例如同时处理翻译与摘要的通用模型，但评估多集中在英语、葡萄牙语等高资源语言。另有两项低资源文本研究被重点讨论，一项用 mBART 渐进训练加离散提示与强化学习，另一项用多语言数据存储检索相似样例来引导大模型，但两者都只处理文本输入。语音表示学习的进展提供了新工具。

传统声学特征是 10 到 20 毫秒的帧级特征，而 SAMU-XLSR、SONAR、SENSE 等工作把 5 到 10 秒的长段压缩成一个话语级向量，并通过教师学生框架与 LaBSE、BGE-M3 等语言无关句子空间对齐。论文的判断是，既然语音向量已经和文本向量在语义空间聚到一起，就可以用同一摘要器消费两种模态，从而在只有少量语音数据时仍能生成摘要。这一定位把本文与纯文本低资源工作和纯高资源语音工作区分开来。

任务的形式化定义与评测口径是什么？

形式化地说，输入是一个文档或一段音频。文本情况下先按句子切分为 s1 到 sn，语音情况下先按语音活动切分为 s1 到 sn。每个片段被编码为向量 vi，得到序列 v1 到 vn。模型要基于这个向量序列生成法语词序列 word_1 到 word_t，训练目标是与参考摘要的交叉熵最小。举例说明：一段布列塔尼语故事录音被切成 5 个有声段，分别变成 v1 到 v5，模型读入这 5 个向量后输出三句法语故事梗概，这就是一个样本走完全程的例子。

评测分两块。文本部分用 CrossSum 数据集，测从 11 种低资源语言加英、日等到法语的摘要，指标是 Rouge-L 和不做重缩放的 BertScore，Rouge-L 看最长公共子序列重合，BertScore 看基于上下文嵌入的语义相似度，都是越高越好。语音部分用自建的 ABT-SpeechSUM，测突尼斯阿拉伯语、布列塔尼语、亚美尼亚语语音到法语文本，同样用这两个指标。需要记住的是语音参考摘要本身是用大模型从翻译文本合成的，并经人工抽查测试集的忠实性与无幻觉，因此它不是多人撰写的人工金标准。

这个条件决定了结果只能解读为相对优劣，不能等同于真实部署中的人工满意度。

整体框架如何把两种输入统一成一种输出？

整体思路可以概括为先对齐再生成。第一步是对齐：文本用 BGE-M3 把每句变成向量，语音用 SENSE 把每个语音段变成向量，两者共享语义空间。第二步是生成：把向量序列经过线性投影加 GeLU 激活，送入改造后的 BARThez 生成法语。BARThez 原本是词级编码器加词级解码器，论文删掉编码器的词嵌入层，使编码器直接消费句子级或话语级向量，而解码器保持词级不变。这样做的安排理由在原文有明确交代：操作在嵌入层面自然支持跨语言和跨模态迁移，且只需要有限语音数据。

训练分 2 个阶段。第一阶段在法语 MLSUM 约 390,000 篇新闻加摘要上适配，让词级模型学会读句子向量。第二阶段按输入媒介微调：文本任务用句子嵌入，语音任务用语音嵌入，且第二阶段的语音模型必须与第一阶段的句子模型属于同一教师学生体系，以保证空间一致。推理时文本与语音走同一生成器，只是嵌入来源不同。下图展示了从底部输入到顶部输出的完整通路，是理解分叉与汇合的关键。

看图路径： 1. 先从底部两个输入图标沿箭头向上追踪汇合到嵌入模型框；2. 再数中间 v1 到 v5 五个向量如何一对一进入投影层；3. 对比绿色编码器与解码器标注，确认编码器已改为句子级；4. 最后看顶部输出 word_1 到 word_t 确认仍是词级自回归输出

论文图 1。原论文 Figure 1：“Our model’s architecture.”。

从像素可见，底部左侧是文档图标、右侧是波形图标，中间用 OR 连接，表示二选一输入。向上经过切分条 split_1 到 split_5，再经 s1 到 s5 箭头进入浅蓝色大框标注的文本句子或语音话语嵌入模型，输出 v1 到 v55 个竖条。5 个向量向上进入米黄色投影层加 GeLU 框，再进入绿色句子级编码器与词级解码器，最终顶部输出 word_1 到 word_t 的法语摘要。这种画法把可冻结的嵌入模型、可训练的投影加生成器、保持词级的解码器 3 层职责分得很清楚。初学者应注意，图中没有出现语音识别文本或翻译文本中间框，这正是端到端与级联的本质区别。

文本与语音嵌入各自做什么，为何选这对组合？

文本侧选用 BGE-M3，依据是它在 MTEB 榜单的 112 种语言、58 个数据集、8 类嵌入任务中，在重排、双语挖掘和语义相似度上表现强，且规模为 560M 参数、开源、语言无关。语音侧选用 SENSE，它基于多语言 w2vBERT 2.0，用注意力池化把帧级音频压成单个话语级向量，并学习预测 BGE-M3 文本向量，从而在 83 种语言上使语音、转写与翻译聚到一起。选择这对组合不是随意搭配，而是教师学生血缘一致才能保证向量可比。训练与推理时嵌入模型始终冻结，只有投影层和改造后的序列到序列模型被训练，可训练量为 140M，总量为 700M。

输入维度是 1024，BARThez 需要 768，投影层负责补齐这个缺口。沿一个样本看：法语新闻文档先分句，每句经 BGE-M3 得 1024 维向量，投影到 768 维后送入句子级编码器，解码器逐词生成摘要。若换成突尼斯语音，则先用 Silero 语音活动检测切段，每段经 SENSE 得同样 1024 维向量，后续通路完全相同。

句子嵌入 × 序列到序列模型： 句子嵌入负责把变长的一句话压缩成一个 1024 维的语言无关语义向量，分工是跨语言归一化；序列到序列模型负责把向量序列展开成法语词序列，分工是内容选择与语言生成；二者搭配的理由是嵌入已经抹掉源语言词形差异，生成器只需学语义到法语的映射，组合后新增的作用是无需源语言平行摘要数据即可做跨语言迁移。

话语级语音嵌入 × 文本句子嵌入： 话语级语音嵌入负责把 5 到 10 秒的音频段变成与文本向量同空间的向量，分工是跨模态归一化；文本句子嵌入负责把源语言句子变成同一空间的向量，分工是提供大规模可训练的代理输入；搭配理由是 SENSE 用 BGE-M3 做教师蒸馏使两类向量余弦相近，组合意义是先在文本上训练摘要器，再直接搬到语音上推理或微调。

这种设计把语言差异和模态差异都推到冻结的嵌入端解决，生成端只学从语义到法语的压缩与表达，因此能用高资源法语数据带动低资源语言。

改造后的生成器与级联基线如何对比？

改造后的生成器被命名为 SBARThez，即语义版 BARThez。结构改动只有两处：删除编码器词嵌入层，增加输入端的线性投影加 GeLU。编码器于是从词序列编码器变成向量序列编码器，解码器仍是标准的自回归词解码器。训练时优化器用 AdamW，批量 16，预训练序列到序列参数学习率 1 乘 10 的负 5 次方，投影层 1 乘 10 的负 3 次方，权重衰减统一 1 乘 10 的负 5 次方，损失为交叉熵。基线分两类。

文本基线包括 M2M-100 1.2B 先翻成法语再用 BARThez 摘要、M2M-100 加 mT5-large 摘要、以及直接在 CrossSum 法语部分微调的 mT5-large 端到端。语音基线包括 Whisper-Large 语音翻译到英语再经 M2M-100 到法语再用 mT5-large，以及 Whisper 识别加 M2M-100 翻译加 mT5-large。原文还说明试过 mT5-small 与 base 但 consistently 不如 large，故只报最强变体。比较的公平性在于文本侧 SBARThez 只在法语数据上微调，未见源语言，而 mT5-large 同样在法语上微调后直接测源语言；语音侧对布列塔尼与亚美尼亚采用合并训练策略时，基线也采用同样的合并训练以保证稳定。

这种对照设置使胜负可以归因于表示路线而非数据偏袒。

端到端摘要 × 级联式摘要： 端到端摘要分工是一步从源语音或源文本直接生成目标摘要，避免中间转写；级联式摘要分工是先做语音识别再做机器翻译最后做单语摘要，每步可独立优化；搭配比较的理由是低资源下识别与翻译模块缺失或误差累积，组合对照新增的作用是检验嵌入路线是否在无翻译器时仍可用。

教师-学生蒸馏 × 投影层： 教师-学生蒸馏分工是冻结 BGE-M3 指导 w2vBERT 2.0 加注意力池化，使语音向量预测对应文本向量，分工在训练嵌入空间；投影层分工是把 1024 维嵌入线性映射到 BARThez 所需的 768 维并过 GeLU，分工在适配生成器输入；搭配理由是空间对齐解决语义一致、投影解决维度 1 致，组合后语音向量才能被句子级编码器直接消费。

需要强调，级联基线总量超过 1,000,000,000 参数，语音级联在推理时超过 2,700,000,000，而本文方法推理时仅 700M，可训练仅 140M，轻量是核心代价优势。

两阶段训练与语音数据构造具体执行了什么操作？

第一阶段训练在 MLSUM 法语子集上进行，输入是法语句向量，目标是法语摘要，目的是把词级 BARThez 校准到句子向量空间。第二阶段文本任务在 CrossSum 法语部分继续微调，输入仍是法语句向量，目的是贴合该数据集的摘要风格，且刻意不加入源语言资源，以检验语言无关嵌入的迁移能力。第二阶段语音任务分两种配置。

突尼斯语用其训练切分单独训练，布列塔尼语与亚美尼亚语因音频样本太少，单独训练不稳定，故合并两者训练集联合训练，因同属小说与故事域，训出一个模型再分别在各自测试集评估。每种配置又分两种输入：SBARThez-text 用翻译文本经 BGE-M3 编码训练，突尼斯用英语翻译、布列塔尼与亚美尼亚用法语翻译；SBARThez-speech 直接用低资源语音经 Silero 切分再经 SENSE 编码训练。嵌入模型全程冻结，梯度只更新投影层与改造后的编解码器，监督来源是参考摘要的词级交叉熵。

语音数据集 ABT-SpeechSUM 的构造同样是训练条件的一部分。亚美尼亚语从 Grqaser 有声书收集小说与故事音频，再从网上找公有领域的法语原文作对齐翻译；布列塔尼语从布列塔尼方言声音档案收集传统讲述者录音及法语翻译；突尼斯语用 TEDxTN 的三向语音翻译语料，按时间戳拼接片段级英语翻译得到文档级翻译。再用 GPT-4o mini 扮演专业标注者，从翻译文本生成一到四句法语浓缩摘要，并人工核查测试集无幻觉且保留主旨。

原文未报告学习率调度、早停轮数与随机种子，这是复现时的缺项。

数据规模、划分与指标如何保证可比？

文本实验用 CrossSum，评估集把测试与开发集合并，法语除外只用测试集，覆盖 11 种低资源语言与法、英、日 3 种高资源语言。语音实验用 ABT-SpeechSUM，规模差异很大，这直接影响训练稳定性判断。下表整理自原文连续表述，呈现三语的录音数、平均时长、总时长与翻译及摘要词数，单位保留原文写法。

表前问题是三语数据是否同等充足、指标方向如何。

公平条件是同一测试切分、同一 Rouge-L 与 BertScore、同一法语输出要求，越高越好。表中可见突尼斯语 102 段、总 27 小时 18 分，布列塔尼仅 39 段共 47 分钟，亚美尼亚 30 段共 6 小时 41 分，输入长度从 220 词到 2562 词不等。这种不均衡解释了为何后两者需要合并训练。划分上突尼斯训练 77 段 20.82 小时、开发 10 段、测试 15 段，布列塔尼训练 20 段 0.41 小时、测试 15 段 0.27 小时，亚美尼亚训练 15 段 3.45 小时、测试 10 段 2.16 小时。指标聚合按测试集平均，原文未说明统计显著性检验与置信区间，这是解读小幅领先时需留意的边界。

基线配置与推理成本的对照条件是什么？

文本基线的翻译器统一为 M2M-100 1.2B，摘要器为在 CrossSum 法语上微调的 BARThez 或 mT5-large，端到端 mT5-large 同样在法语上微调后直接测源语言。语音基线分两种：Whisper-Large 语音翻译到英语加 M2M-100 到法语加 mT5-large，以及 Whisper 识别加 M2M-100 翻译加 mT5-large，其中突尼斯的 mT5 在英语翻译上微调故省去 M2M-100，布列塔尼与亚美尼亚在法语翻译的合并集上微调以匹配本文的合并策略。所有基线总量超 1,000,000,000，语音级联推理超 2,700,000,000，而 SBARThez 可训练 140M、推理总量 700M。硬件预算方面论文仅致谢 GENCI-IDRIS 的 3 个机时编号，未给出 GPU 型号、训练时长与推理延迟。

指标用 Rouge-L 与 BertScore，文本表以 Rouge-L 斜杠 BertScore 成对报告，语音表分 R-L 与 BS 两列。需要核对的是数值相同不代表同一指标，例如文本法语的 24.73 在不同系统下可能分属 Rouge-L 与 BertScore 列的不同位置，必须按列归属解读。百分点与相对百分比也不同，原文只报绝对分，未报相对提升，解读时不应自行换算成百分比增益。

主结果显示了什么，谁在何处未胜出？

文本主结果的总体趋势是级联在高资源法、英上更好，但在日语上本文方法最优且在其他高资源上保持可比。在多数低资源语言上 SBARThez 超过全部基线，在普什图、缅甸、基伦迪上与端到端 mT5 及级联 mT5 相当。值得注意的细节是伊博、基伦迪、皮钦语未见于 BGE 训练，但 SBARThez 仍在伊博与皮钦上最优，支持语言无关嵌入的泛化判断。对于基伦迪与皮钦，原文明确因找不到合适的翻译器而无法运行级联，这本身就是级联在低资源下的失效证据。

语音主结果是 SBARThez-speech 在三语上同时取得 Rouge-L 与 BertScore 最高，且 SBARThez-text 仅用文本训练、测语音输入时仍在布列塔尼与亚美尼亚上超过级联，显示跨模态泛化。下表用原文连续句覆盖关键数字，保留原精度与单位口径，R-L 为 Rouge-L，BS 为 BertScore。

表前比较问题是端到端嵌入路线能否在无转写下超过含 Whisper 与 M2M-100 的级联，公平条件是同一切分与同类 mT5 微调策略，指标越高越好。

表后解释是语音训练版全面领先文本训练版，说明直接用语音向量微调带来额外收益，代价是需语音切分与嵌入计算；未胜出项是 SBARThez-text 在突尼斯上 Rouge-L 17.76 低于 Whisper 翻译级联的 18.95，说明纯文本训练的跨模态迁移并非在所有语言上都最优。基线在布列塔尼上 Rouge-L 仅 1 到 3 分区间，反映识别与翻译双重失败，而本文方法保持在 10 分以上，这是最强的反证。

跨模态与跨语言泛化经住了哪些对照？

论文没有做传统意义的模块消融，例如去掉投影层或解冻嵌入会怎样并未报告，因此不能推定拿掉后必然崩溃。但它提供了两种天然对照。第一是跨模态对照：同一 SBARThez 结构，分别用文本向量训练与语音向量训练，再都在语音向量上测试。结果显示语音训练版在三语上都高于文本训练版，突尼斯高约 2.8 个 Rouge-L 点，布列塔尼高约 1.3 点，亚美尼亚高约 4.5 点，支持用少量语音做第二阶段微调的价值。

同时文本训练版仍具竞争力，尤其在布列塔尼与亚美尼亚超过级联，这支持嵌入空间已部分对齐的判断。第二是跨语言对照：文本实验中未见于 BGE 训练的伊博、基伦迪、皮钦仍取得强结果，且在高资源日语上反超级联，说明优势不限于某一语系。但限制同样明显：普什图、缅甸语上仅为相当而非超越，表明当翻译器可用且质量尚可时，级联仍难被拉开差距。

语音侧突尼斯输入长达 2562 词、音频平均 16 分钟，长输入截断与分段策略可能影响结果，但原文未给出不同切分长度的对比。总体而言，有限解释是嵌入对齐质量决定迁移上限，未验证的推测是增加更多源语言微调会单调提升，论文未测这一点，不应承诺。

哪些边界尚未评测，不能承诺什么？

首先是参考摘要的合成性。语音三语没有人工金标准，摘要由 GPT-4o mini 从翻译文本生成，仅人工核查测试集的忠实性，因此自动指标的高低反映的是与合成摘要的接近度，不能当作人工评价。其次是语言覆盖的局限。文本测了 14 种到法语，语音只测了三语到法语，输出端只有法语，未测到英语或其他目标语言的泛化。第三是缺失的成本与鲁棒性测量。

论文报告了参数量，140M 可训练、700M 推理总量对比基线 10 亿以上与语音级联 27 亿以上，但未测量训练时长、推理延迟、显存占用与误判率，不能承诺延迟或成本按同比例下降，总体趋势不等于每步都更快。第四是未报告的超参数与统计量。学习率、批量、权重衰减已给，但调度、早停、种子、显著性检验均缺，布列塔尼训练仅 0.41 小时，小样本下方差可能大。第五是模块依赖。

方法要求第二阶段语音模型与第一阶段句子模型属于同一教师学生体系，若换用 SAMU-XLSR 配 BGE-M3 之外的组合，空间一致性不再成立，需要重新验证。最后是资源可用性。本次收到的证据中资源状态为未发现可验证的开源绑定，不得声称代码、模型或数据已公开，复现前需自行确认链接可达性。

复现先做什么，需要准备哪些信息条件？

复现应按依赖顺序准备。第一步准备嵌入：下载 BGE-M3 与 SENSE 权重，确认两者为同一蒸馏体系，冻结两者，文本按句切分、语音先用 Silero 语音活动检测切段再编码，得到 1024 维向量序列。第二步准备生成器：用 BARThez 165M 参数版本，删除编码器词嵌入层，在输入端加线性投影到 768 维加 GeLU，记为 SBARThez。第三步 2 阶段训练：先在 MLSUM 法语约 390,000 篇上用 AdamW 训练，生成器学习率 1 乘 10 的负 5 次方、投影层 1 乘 10 的负 3 次方、权重衰减 1 乘 10 的负 5 次方、批量 16、交叉熵损失；再在 CrossSum 法语或 ABT-SpeechSUM 对应切分上微调，布列塔尼与亚美尼亚需合并训练。

第四步评估：文本用 BGE-M3 编码源语言、语音用 SENSE 编码切分音频，生成后算 Rouge-L 与无重缩放 BertScore，注意测试与开发集合并口径。常见误解是以为冻结嵌入就意味着输出确定，实际上解码仍是随机采样或束搜索，种子与解码参数会影响结果。另一误解是把自动指标当人评，合成参考下的高分不代表无幻觉，需保留人工抽查环节。若无法获取 ABT-SpeechSUM，可先在 CrossSum 文本上复现跨语言迁移，再补少量语音验证跨模态迁移。

何时值得尝试这种嵌入优先的路线？

当目标是低资源语言到法语的摘要，且缺乏可用的语音识别或机器翻译模块时，这种路线值得优先尝试。它的前提是能找到与文本句子空间对齐的话语级语音嵌入，例如 SENSE 配 BGE-M3，并能承担法语大规模摘要的 adapting 训练。若翻译器可用且质量高，例如部分高资源语言，级联仍可能相当或更优，此时嵌入路线的轻量优势是否足以抵消微小精度差距，需按部署约束权衡。若只有文本无语音，仍可用 SBARThez-text 先行，论文显示它在语音测试上已具竞争力，后续再补语音微调。

还需补的验证包括人工评价、多目标语言、长音频分段策略与延迟实测。回到中心矛盾：低资源下词级中间件既贵又脆，论文用对齐的语义向量把语言与模态差异前置消化，使生成器专注于压缩与法语重构。理解这一点，就能复述全文方法而不陷入营销式判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总