不对抗语音下练出抗屈折变化的语音翻译：跨模态鲁棒性迁移如何成立

英文题目：Cross-Modal Robustness Transfer (CMRT): Training Robust Speech Translation Models Using Adversarial Text

会议身份：conference:interspeech:2026:conference-paper-id:issam26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#对抗训练 #对抗鲁棒性 #多语言 #语音翻译

评分：7.8/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前25% | 文档类型：方法研究

👥 作者与机构

• Abderrahmane Issam：机构信息未能从会议 PDF 纯文本可靠映射
• Yusuf Can Semerci：机构信息未能从会议 PDF 纯文本可靠映射
• Jan Scholtes：机构信息未能从会议 PDF 纯文本可靠映射
• Gerasimos Spanakis：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

端到端语音翻译（End-to-End Speech Translation，E2E-ST）将源语言语音直接译为目标语言文本，但非母语屈折形态变异易导致性能骤降，而合成对抗语音成本高昂。该工作先在CoVoST 2转写译文对上预训练翻译编解码器，再以词对齐对比学习与语音文本混合表示联合训练拉近同词跨模态表征并让解码器熟悉混合输入。接着冻结语音编码器，将对抗文本词嵌入替换对应语音片段构成对抗混合序列，仅用对抗文本微调翻译模块并以非对称KL约束其输出贴近干净语音与文本分布。与已有跨模态对齐相比，关键差异在于把对齐后的语义空间直接作为鲁棒性载体，避免了文本到语音合成对抗语音。在4个语向的Speech-MORPHEUS对抗测试中，CMRT-FN较HuBERT-Transformer平均提升3.4个BLEU点，同时相对CMRT-TR干净集仅下降约0.6个点。该结论限于CoVoST 2的英德、英加泰罗尼亚语、英阿、法英及屈折变异攻击，未验证噪声口音自发语音与其他架构的外推性。微调耗时1小时46分，约为对齐训练15小时56分的八分之一，远低于合成5万条对抗语音所需的17小时53分。

🔗 开源与复现资源

• 代码相关资源：https://github.com/issam9/CMRT — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，这篇解读要交付什么？

这篇解读的输入是论文正文证据和两张官方原图像素，目标是让刚进入语音翻译领域的研究生能复述方法、核对实验条件并理解代价。必须保留的信息包括任务定义、2 阶段做法、冻结与更新安排、4 个语言方向、干净集与对抗集的区分、主要超参数和计算开销。本文的输出是 1 篇按学习依赖展开的技术讲解，不做超出证据的效果承诺。

论文研究的任务是端到端语音翻译。白话说，就是输入一段源语言语音，直接输出目标语言文本，中间不要求模型先输出源语言转写。用英文名说，就是端到端语音翻译，缩写为端到端语音翻译模型；与之相对的是级联系统，先做语音识别再做机器翻译。初学者容易以为语音翻译只要在干净朗读数据上分数高就够了，但论文关注的是另一类输入：非母语、方言或自发语音中常见的屈折形态变化，例如名词单复数、动词时态、形容词比较级等小变化。这类变化在文本上只差几个字母，在语音上发音接近，但在翻译模型里可能引起较大的输出漂移。

端到端语音翻译 × 级联系统： 端到端语音翻译负责把源语言语音直接映射到目标语言文本，省去显式中间转写；级联系统负责先做语音识别再做文本翻译，两段可分别优化但会传递识别误差。论文选择端到端路线，是因为要研究屈折变化在声学输入连续进入翻译编码器时造成的脆弱性，而不是只研究识别或翻译单段的脆弱性。

学习路径是先弄清任务与相关路线，再看方法全景，然后沿一个样本走完输入到输出，接着讲训练与对抗语音构造，再讲实验条件、结果与反证，最后讲复现步骤与适用边界。后文简称固定为端到端语音翻译、对抗文本、语音编码器、翻译编码解码器、词对齐对比学习。后文所有数字都以论文报告的 BLEU 分数为准，BLEU 越高表示机器翻译输出与参考译文越接近，方向是越高越好。

已有路线在解决什么，本文与它们是什么关系？

已有工作第一条线是缩小语音与文本的模态差距。白话说，就是让同一句话的语音表示和文本表示在模型内部落在相近位置，否则用文本预训练得到的翻译能力很难搬到语音输入上。论文提到的具体做法包括对比学习和混合训练。前者把配对的语音文本表示拉近，把不配对的推远；后者把语音和文本表示按词混合后送入翻译部分。论文的继承关系是同时使用词级对比学习和混合训练，并报告二者结合得到更强的语义对齐，而不是只用其中一种。

第二条线是语音翻译的鲁棒性。级联系统过去分别研究识别鲁棒性和翻译鲁棒性，例如口音、噪声或识别错误向翻译的传递。文本翻译中有专门针对屈折变化的工作，例如 MORPHEUS 通过把名词、动词、形容词替换为同词性的其他屈折形式来模拟非母语错误，再做对抗微调。论文明确把 MORPHEUS 从文本扩展到语音，称为 Speech-MORPHEUS，用于生成评测用的对抗语音，而不是直接照搬文本做法。

同输入同目标的对照是同样做端到端语音翻译的基线，包括只用标准语音翻译目标训练的 HuBERT-Transformer，以及用最优传输做跨模态混合的 HuBERT-CMOT。论文报告 CMOT 这类强对齐方法在干净集上表现好，但在从原始输入切换到对抗输入时平均下降约 7.4 个 BLEU 点，说明对齐本身不等于抗屈折扰动，仍需要针对性的鲁棒微调。这个对照的作用是把对齐收益和鲁棒收益分开，避免把干净集分数高误读为对抗集也稳。

要解决的具体脆弱性是什么，为什么难在语音侧直接做？

具体问题是端到端语音翻译在屈折变化面前脆弱。举例说，假设转写中 happiness 被换成 happy，含义相近但词形不同，非母语者可能在口语中产出后者。文本侧制造这种对抗样本相对便宜，只需改词并重新训练翻译模型；语音侧要得到对应的对抗音频，需要把改写后的转写再用语音合成系统读出来，还要保证合成质量足够高，否则分不清是模型不鲁棒还是合成音频本身质量差。论文指出高质量合成需要源语言的高保真文本转语音系统，资源消耗大，这就是为什么语音侧难以直接做大规模对抗微调。

论文还做了一个过滤来保证攻击在声学上真实有效。白话说，如果两个词写法不同但发音完全相同，例如法语中某些同音异形词，那么文本上算 1 次成功攻击，语音上模型根本听不出区别，就不该计为语音攻击。因此 Speech-MORPHEUS 在选候选屈折形式时要排除与原词发音相同的同音词。这个细节对复述很重要，因为它解释了为什么不能把文本对抗集直接拿来合成音频而不做音系过滤。

教学例子仅为帮助理解，不代表论文数值：比如把英文转写中的 bring 换成 brings 再合成，模型可能把德语译文的动词位置或一致关系搞错。但论文真正报告的效果要用其 4 个语言方向上的 BLEU 变化来核对，不能用这个例子推断提升幅度。

方法全景：两阶段如何分工，一句话走完一个样本？

跨模态鲁棒性迁移简称 CMRT，分为对齐训练和鲁棒微调两大阶段。第一阶段称为 CMRT-TR，负责把语音和文本语义空间对齐；第二阶段称为 CMRT-FN，负责只用对抗文本嵌入做鲁棒微调，不需要对抗语音参与训练。2 阶段共用同一套语音编码器加翻译编码解码器架构，但冻结策略不同，这是复现时最容易出错的地方。

先沿一个样本走完流程。输入是一条三元组，包含原始音频、转写和目标译文。音频先经语音编码器变成帧级表示，文本先经词嵌入层变成词级嵌入。借助词级强制对齐，每个词都能找到对应的语音帧区间和文本词向量区间。对齐阶段把同一词的语音均值池化表示和文本均值池化表示拉近，并随机按词混合语音文本表示后送入翻译编码解码器。鲁棒微调阶段则把被对抗攻击改动的词位置上的干净语音嵌入替换为对抗文本嵌入，形成对抗混合序列，再用交叉熵和散度损失更新翻译部分。

下面这张图是理解替换思想的关键，阅读时先看左右对照，再看替换箭头的起点和终点。下文导读段提出观察问题，图后解释段再把观察对应到真实组件。

看图路径： 1. 先看左右两块面板标题从未对齐到已对齐的变化，确认方形是转写词、圆形是语音词；2. 再看右侧绿色干净词对是如何上下竖直对齐的，特别是 happiness 上下对应；3. 最后沿右侧红色 happy 到绿色 happiness 的实线替换箭头和下方虚线模拟箭头，确认训练时替换的是嵌入位置而不是重录音频

论文图 1。原论文 Figure 1：“CMRT aligns speech and text semantic spaces (right).”。

这张图左侧标注为未对齐，右侧标注为已对齐。左侧 4 个词 you、bring、us、happiness 的方形转写节点与圆形语音节点之间连线交叉错乱，表示同一词的 2 模态表示没有落在相近位置。右侧同一组词上下竖直对齐，绿色表示干净，红色表示对抗。右侧的关键动作是把 happiness 位置的干净语音嵌入拿掉，换上 happy 对应的红色对抗文本嵌入，实线箭头标为替换，虚线箭头标为模拟。这正好对应正文公式中按词下标替换的思想：在已对齐空间中，对抗文本向量可以站在干净语音向量的位置上，让翻译编码解码器在训练时见到屈折扰动，而不需要真正合成 happy 的音频。

对抗文本嵌入 × 对抗语音： 对抗文本嵌入负责在已对齐的语义空间中提供屈折变化后的词向量，例如把 happiness 对应位置换成 happy 的文本嵌入；对抗语音负责在真实评估中提供由对抗转写经语音合成得到的音频，用来检验模型是否真能处理发音变化。搭配的原因是生成大规模高质量对抗语音成本高，论文用前者在训练时模拟后者的语义扰动，用后者只做评测而不做训练，从而把文本侧易得的对抗信号迁移到语音侧。

对齐组件如何计算，混合表示究竟是什么？

对齐依赖两个机制，先讲各自的分工。词对齐对比学习简称 WACO，输入是词级语音表示和文本表示。具体做法是对每个词的语音帧区间做均值池化得到语音词向量，对文本词向量区间做均值池化得到文本词向量，然后在批次内最大化配对词的余弦相似度，最小化与其他词的相似度。温度系数控制分布的尖锐程度，论文报告的取值为 0.2。混合训练的输入是同样的词级区间，做法是对每个词抛 1 次均匀随机数，按阈值决定该词位置取语音帧还是文本嵌入，再把所有词位置的选中片段拼接成完整混合序列。这个阈值即混合概率，论文报告为 0.8，含义是大部分词位置仍取语音，少部分取文本。

词对齐对比学习 × 混合训练： 词对齐对比学习负责把同一词的语音词表示和文本词表示在余弦空间中拉近、把同批次其他词推远，解决模态语义不对齐；混合训练负责按词以概率从语音或文本中二选一拼接成混合序列，让翻译编码解码器习惯接收混合模态输入。二者搭配的理由是只有语义位置对齐而解码器没见过混合输入，替换对抗文本嵌入时仍会被当作分布外输入，对齐加熟悉输入结构才支撑后续的跨模态替换。

组合的意义在论文消融中有直接支持。只用混合训练时语义相似度明显低于只用词对齐对比学习，但对抗集上的差距相对较小，说明混合训练带来的是结构上的好处，即让翻译编码解码器熟悉多模态输入。二者结合时既有高余弦相似度，又有最高的对抗集分数，论文因此认为强语义对齐加对混合输入的熟悉是跨模态迁移的前提。这个判断的证据是相关性散点图，后文消融节会结合第二张图再核对。

初学者常问为什么不直接在句子级做对比。论文选择词级的原因是后续替换也是词级的，只有词级对齐才能保证替换位置语义可比。如果只在句子级对齐，替换一个词的嵌入时无法保证该位置的局部语义仍落在语音流形附近，迁移效果会打折扣。

模型由哪两块组成，语音分支做了什么特殊处理？

模型由语音编码器和翻译编码解码器两块组成。语音编码器在英语为源语言的方向使用预训练 HuBERT，在法语为源语言的方向使用多语 mHuBERT。翻译编码解码器是标准的 Transformer 结构，论文报告为 6 层编码器加 6 层解码器，每层 512 维隐状态、8 个注意力头、前馈网络 2048 维。语音编码器后还接了两层 1 维卷积，核大小为 5、步长为 2、填充为 2、隐状态 1024，用于降低时间分辨率，使帧序列长度更接近文本词序列长度。

语音编码器 × 翻译编码解码器： 语音编码器负责把原始音频变成帧级声学表示并经卷积降采样后按词边界切分；翻译编码解码器负责接收词级语音表示、文本嵌入或二者混合序列并生成目标语言。论文把二者分开，是因为第一阶段可以用文本预训练先得到可用的翻译能力，第二阶段再联合优化语音分支，而鲁棒微调时冻结语音编码器只更新翻译部分，从而保住已学到的跨模态对齐不被对抗目标冲掉。

文本侧的预处理也需要复述清楚。音频是 16 比特、16 千赫单声道原始波形，过长或过短的样本会被去掉，论文给出的帧数上下界分别是 480k 和 1k。文本去掉标点，使用源目标共享的 10k 词表单元 SentencePiece 分词。词级对齐来自 NeMo 强制对齐器，它输出每个词对应的语音帧起止位置和文本起止位置，是后续对比学习和混合训练的索引基础。如果对齐器质量差，词边界切错，那么对比学习的正样本本身就是错的，这是复现时需要检查的隐藏条件。

翻译编码解码器先在转写翻译对上用机器翻译交叉熵预训练，再进入多任务的语音文本联合训练。联合训练的总损失包括语音翻译交叉熵、文本翻译交叉熵、混合输入交叉熵、对比损失和对称散度损失，对比权重为 1.0，散度权重为 2.0。这些权重不是随意设置的，它们决定了模型在保翻译质量和拉近模态之间如何分配梯度。

两阶段如何训练，哪里冻结，梯度从哪里来？

第一阶段训练分为文本预训练和多任务对齐。文本预训练只更新词嵌入层和翻译编码解码器，目标是标准的文本翻译交叉熵，学习率为 1e-4，每批最多 33k 词元，最多 100k 步，若验证损失 10 轮不下降则早停。第二阶段即 CMRT-TR，同时优化语音编码器和翻译编码解码器，学习率为 1e-4，每批最多 16M 音频帧，共 40k 步。监督来源有 3 路交叉熵分别对应语音、文本和混合输入，外加全数据集上的对比损失和混合表示与语音文本输出分布之间的对称散度损失。

第二阶段的微调即 CMRT-FN，做法完全不同。此时语音编码器被冻结，只更新翻译部分，目的是保住已学到的跨模态对齐。输入是干净语音和对抗文本，攻击改动过的词索引集合记为对抗位置，其余位置按混合概率决定取语音还是文本。对抗位置一律取对抗文本嵌入，非对抗位置按概率取语音或文本。损失包括语音交叉熵、文本交叉熵、对抗混合交叉熵，以及对抗混合输出分布向干净语音和干净文本输出分布看齐的非对称散度损失，散度权重提高到 5.0 以强调鲁棒性，混合概率仍为 0.8。

对称散度对齐 × 非对称散度对齐： 对称散度对齐负责在对齐训练阶段让混合表示与语音、文本 2 个方向的输出分布互相靠近，目标是建一个中立的共享语义空间；非对称散度对齐负责在鲁棒微调阶段让对抗混合嵌入的输出分布去靠近干净语音和干净文本的输出分布，方向是单向的，干净分布作为锚点不被拉走。搭配的原因是建空间时需要双向一致，而做鲁棒时不能让干净行为被对抗行为带偏，因此要把干净输出当作教师分布固定住。

需要指出的缺项是论文未报告是否对嵌入层或卷积降采样层做差异化学习率，也未给出散度损失中停止梯度的显式写法。从文字描述可知干净分布应作为锚点，但原文没有写出是否对干净分支截断梯度，因此复述时只能说按非对称散度让对抗分布靠近干净分布，不能断言梯度只流经对抗分支。推理时用波束搜索，波束大小为 5，训练阶段取最后 10 个轮次检查点的平均，微调阶段若轮数超过 10 才做平均，否则用最后检查点。

数据、攻击构造与基线条件是什么？

数据来自 CoVoST 2，这是一个基于 Common Voice 的多语语音翻译数据集，覆盖 21 个源语言到英语和英语到 15 个目标语言。论文只用其中 4 个方向：英语到德语、英语到加泰罗尼亚语、英语到阿拉伯语、法语到英语，并在测试集上报告结果。选择英语和法语为源语言的理由是其非母语使用者数量远超母语者，屈折变化问题更具代表性。对抗实验用 Speech-MORPHEUS 生成训练集采样 50k 条的对抗副本，以及开发集和测试集的完整对抗副本。

攻击构造需要展开。MORPHEUS 原本针对英语，把名词、动词、形容词替换为同词性的其他屈折候选。论文扩展到法语时用法语屈折工具找候选，用法语分词和词性标注工具做切分与标注，再用 eSpeak NG 做音素化以过滤同音词，最后用 XTTS-v2 多语语音合成模型把对抗转写读成音频。干净对照也用同一合成模型把干净转写读成音频，目的是证明对抗集掉点来自屈折扰动而非合成质量差。论文报告合成干净语音的分数甚至高于原始录音测试集，因为合成语音更规整，这支持了掉点归因。

基线包括纯文本 Transformer、标准端到端 HuBERT-Transformer、用最优传输混合的 HuBERT-CMOT、用 50k 合成对抗语音微调的 TTS-Morpheus-FN，以及本文的 CMRT-TR 和 CMRT-FN。实现基于 Fairseq，机器翻译模型在单卡 A100 上训练，语音翻译模型在单卡 H100 上训练。指标是去词元化、区分大小写的 BLEU，经 SacreBLEU 计算。显著性用配对近似随机化检验，论文报告 CMRT-FN 相对基线的提升在 0.01 水平显著。

主结果：提升多少，干净集付出什么代价？

比较问题是只用对抗文本微调能否在不大幅损伤干净集的前提下提升对抗语音翻译质量。公平条件是所有语音模型在相同 CoVoST 2 划分上训练，对抗集都由同一 Speech-MORPHEUS 流程生成，指标都是 SacreBLEU 且越高越好。下表整理论文正文直接报告的平均与跨骨干提升幅度，宽表要求用五列呈现方向、条件与可运行策略的对照。

表后解释需要同时讲收益与代价。论文报告 CMRT-FN 在四方向上平均比 HuBERT-Transformer 高 3.4 个 BLEU 点，且不需要任何对抗语音参与训练，这是核心收益。用大规模预训练 NLLB 初始化翻译部分后，整体质量更高，但对抗脆弱性依然存在，而 CMRT 的提升反而放大到 3.6 和 6.1，超过标准骨干上的 3.2 和 4.7，说明方法可随更强文本 backbone 扩展。代价是 CMRT-FN 相对其起点 CMRT-TR 在原始集上有约 0.6 个 BLEU 点的下降，但远小于直接用 50k 合成对抗语音微调的约 3.6 个 BLEU 点下降，后者在对抗集上虽最高但干净集损伤大。未胜出项是法语到英语上 CMRT-FN 的对抗分数甚至略好，部分原因是其起点在原始集上本身较强，不能单看对抗绝对值就断言跨语言迁移能力相同。

反证是干净合成对照。如果掉点只是因为合成音频难识别，那么干净合成也应掉点，但论文报告干净合成的分数反而高于原始集，因此对抗集的下降更可能来自屈折扰动本身。另一反证是文本 Transformer 在干净与对抗转写上的趋势与语音模型在干净合成与对抗合成上的趋势相关，进一步支持攻击有效。

对齐方式与计算开销：少了哪块会怎样，快在哪里？

消融问题是语义对齐强度是否决定跨模态迁移效果，以及省掉对抗语音合成到底省了多少时间。公平条件是在英语到德语开发集上测语音文本余弦相似度，在对抗测试集上测 BLEU，4 个配置分别是基线、只用混合、只用词对齐对比学习、二者结合。下图把相似度与分数的关系画成散点，导读先确认坐标含义，图后解释再对应到机制选择。

下面散点图的横轴是余弦相似度从 0 到 1，纵轴是 BLEU 分数从 14 到 18，红色虚线是上升趋势线，4 个蓝点从左下到右上依次为基线、混合、词对齐对比学习、两者结合。

看图路径： 1. 先确认横轴是余弦相似度、纵轴是 BLEU 分数，四个蓝点自左下向右上排列；2. 再依次找到 Base、Mixup、WACO 和 WACO 加 Mixup 四个标注的位置关系；3. 最后看红色虚线拟合趋势，判断语义对齐越高对抗集分数是否越高，并注意 Mixup 单点偏离直线的程度

论文图 2。原论文 Figure 2：“Correlation between speech-text representation cosine similarity (En-De dev set) and BLEU scores on the adversarial test set.”。

从像素可见，基线点相似度最低且分数最低，混合单点相似度约 0.2 但分数已明显高于基线，词对齐对比学习单点相似度约 0.66 且分数更高，两者结合点相似度约 0.8 且分数最高。论文的解释是更高语义对齐对应更好的微调后鲁棒性，而混合训练虽相似度不高却能缩小与词对齐方法的分数差距，说明熟悉混合输入本身有独立价值。因此复现时不能只做对比学习而不做混合，否则替换对抗嵌入时解码器仍会感到陌生。相关性不等于因果，这是有限解释，论文没有证明提高相似度必然按直线提升分数。

计算开销的对照需要五列呈现时间与策略差异，数字全部来自正文连续原句。下表第二张宽表承担成本与干净集代价的核对。

表后解释是微调只用约八分之一的初始训练时间，约 1 小时 46 分，而合成 50k 对抗语音就需要约 17 小时 53 分，还不计后续训练时间。代价是微调仍需 50k 对抗文本和词级对齐，并非零额外数据。未评测边界是不同合成音色、语速或真实非母语录音上的泛化，论文只用单一合成模型做对抗与干净对照，不能推广到所有口音。

哪些结论还不能下，哪些条件变了可能失效？

论文直接报告的是 4 个方向上的平均提升和 NLLB 骨干上的放大效应，支持在已测试的屈折扰动和合成条件下跨模态迁移有效。有限解释是语义对齐与对抗分数的正相关，散点只有 4 个配置，不能当作严格的因果证明。未验证推测是把该方法推广到其他语音到文本任务或完全不同的神经架构，论文在结论中明确列为未来工作，当前不应承诺同样有效。

缺失证据不是技术错误，但复述时要标清。例如论文没有测量误判率、推理延迟、输出帧率与实际延迟的关系，也没有报告多轮随机种子的方差，因此不能说方法同时改善了延迟或稳定性。训练资源只报告了单卡型号与墙钟，没有给出显存峰值、数据加载与对齐预处理的总预算，部署成本需要补测。

适用条件也很具体。如果词级强制对齐质量差、源语言没有可靠的屈折候选工具或音素化工具，或者对抗扰动超出屈折变化而涉及语序、省略、重复等自发语音现象，当前流程可能失效。法语同音词过滤说明语言特异性不可忽略，换一个语言需要重新确认过滤规则，否则会出现文本上有效而语音上不可区分的虚假攻击。

复现先做什么，需要哪些代码与参数？

复现的第一步是拿到代码与数据条件。论文给出代码链接，资源状态为可用，当前可写已公开可获取。数据用 CoVoST 2 的 4 个方向划分，文本预处理去掉标点并用共享 10k 单元 SentencePiece，音频保留原始 16 比特 16 千赫单声道并按帧数过滤。先用 NeMo 强制对齐器得到词级边界，再用文本翻译预训练得到可用的翻译编码解码器，这是后续一切对齐的基础。

第二步按超参数重跑 2 个阶段。对齐阶段学习率 1e-4，对比权重 1.0，温度 0.2，散度权重 2.0，混合概率 0.8。微调阶段冻结语音编码器，学习率仍为 1e-4，散度权重提高到 5.0，混合概率保持 0.8，步数为 5k。评估用波束 5 的搜索和 SacreBLEU 的区分大小写去词元化分数，训练阶段平均最后 10 个检查点，微调阶段按轮数决定是否平均。

第三步复现攻击与对照。先用 MORPHEUS 逻辑生成对抗转写，再用音素化过滤同音词，最后用 XTTS-v2 合成对抗语音与干净合成语音。必须同时报告原始集、对抗集、干净合成集三列，否则无法区分是鲁棒性差还是合成质量差。建议先在英语到德语上跑通对齐相似度与对抗分数的对应关系，再扩展到其余三方向，避免一开始就在全量四方向上消耗合成预算。

何时值得尝试，一句话如何带走？

当你的语音翻译模型在干净朗读集上可用，但用户包含大量非母语或方言口音，且你没有预算为源语言合成大规模对抗语音时，值得尝试 CMRT。它的本质是用便宜的对抗文本嵌入站在已对齐的语音位置上，让翻译部分提前见过屈折扰动。需要补的验证是真实非母语录音、多合成音色以及目标语言超出德语、加泰罗尼亚语、阿拉伯语、英语之外的泛化。

带走的判断是跨模态对齐加混合输入熟悉是迁移的前提，冻结语音编码器和提高散度权重是保住干净能力的关键，而直接用合成对抗语音微调虽对抗分数更高但干净集代价更大。复述方法时按三元组输入、词级对齐、对比加混合、对抗替换加非对称散度的顺序讲，就能把论文的因果链说完整而不引入无源数字。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总