把文字方向做成向量：语音基础模型中线性的文字表征与免训练转写控制

英文题目：Linear Script Representations in Speech Foundation Models Enable Zero-Shot Transliteration

会议身份：conference:acl:2026:conference-paper-id:2026.findings-acl.464

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#测试时自适应 #语音大模型 #多语言 #零样本 #语音识别

评分：6.8/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Ryan Soh-Eun Shim：机构信息未能从会议 PDF 纯文本可靠映射
• Kwanghee Choi：机构信息未能从会议 PDF 纯文本可靠映射
• Kalvin Chang：机构信息未能从会议 PDF 纯文本可靠映射
• Ming-Hao Hsu：机构信息未能从会议 PDF 纯文本可靠映射
• Florian Eichin：机构信息未能从会议 PDF 纯文本可靠映射
• Zhizheng Wu：机构信息未能从会议 PDF 纯文本可靠映射
• Alane Suhr：机构信息未能从会议 PDF 纯文本可靠映射
• Michael A. Hedderich：机构信息未能从会议 PDF 纯文本可靠映射
• David Harwath：机构信息未能从会议 PDF 纯文本可靠映射
• David R. Mortensen：机构信息未能从会议 PDF 纯文本可靠映射
• Barbara Plank：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

多语言语音基础模型需将语音转写为目标文字，但同一语言多文字并存时输出文字不稳定，且提示对小模型控制力弱。该方法先对同一音频分别用源文字与目标文字提示解码Whisper，收集各解码器层激活并按序列均值池化，输出的双侧激活均值进入下一步差分。接着用归一化Levenshtein编辑距离过滤保留双侧均成功的样本，每侧取少量样本求层均值后相减，得到每层文字向量，完成方向提纯。推理时在每个解码步对各层末token隐状态加回该向量并以强度σ控制偏移，塞尔维亚向量可直接复用，伪标签二次估计则用目标语言初判转写重估向量实现适配。相对提示基线，该机制不微调参数而以线性向量算术直接偏置激活空间，因而可跨语言零样本复用并反映真实发音而非字符映射。在FLEURS语料罗马化转写评测任务下，塞尔维亚向量零样本迁移至印地语的准确率为0.69，高于无提示基线的0.01。其适用边界受限于X到Latin与X到Cyrillic及简繁中文，西里尔化多数语言低迷且编码器干预与OWSM-CTC泛化弱，伪标签在多语西里尔化多退化。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/mainlp/transliteration — 链接不可用（HTTP 404）
• 第三方资源：https://github.com/unicode-org/icu — 链接可访问（HTTP 200）
• 第三方资源：https://github.com/openai/whisper/discussions/277 — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，输出要解决什么不确定性？

这篇论文的输入是语音，输出是文字。研究对象是多语语音基础模型，以 Whisper 系列为主要实验载体。模型结构是编码器加解码器，编码器处理语音，解码器是自回归语言模型，逐词生成转写文本。目标不是提升一般识别率，而是控制输出用哪种文字书写。对于刚进入语音领域的读者，需要先分清语言和文字。

语言决定说什么，文字决定怎么写。同一种语言可以用多种文字书写，例如塞尔维亚语可以用拉丁字母，也可以用西里尔字母；中文可以用简体，也可以用繁体。论文把这种现象称为文字混淆，也就是同一段语音在不同次推理中可能落入不同文字，且不受用户控制。

为什么会出现混淆，论文给出的解释与训练数据有关。Whisper 类模型在网络规模数据上训练，每个语言的数据包含多种地区变体，而不同地区变体习惯用不同文字。模型在训练时见过同一语言配多种文字的样本，推理时就没有确定偏好。论文强调文字带有社会政治含义，举例是克罗地亚语境更常用拉丁字母，台湾语境更常用繁体中文，因此事后控制输出文字是实际需求。理解这一点很重要，后续所有方法都是为了在不重新训练的前提下，让用户指定输出文字。

论文要保留的关键信息有三点。第一，控制手段必须是推理时、无反向传播、不微调参数。第二，控制要能处理两种场景，一是同一语言内部的文字稳定，二是把一种语言转写到它通常不用的文字，例如意大利语用西里尔字母书写，日语用拉丁字母书写。第三，评价要看生成文本与目标文字真值在字符层面的接近程度，而不是只看是否出了目标文字的字符。开场需要明确输出形态：给定音频和目标文字方向，模型输出目标文字的转写文本，中间通过向量加法实现。

与语言混淆、转写和激活转向有何不同？

相关工作可以按输入、目标、监督和运行阶段来对照。第一类是语言混淆，已有工作讨论大模型输出错误语言，或码切换语音识别中语言 diarization 的问题。论文指出自己的不同在于不仅要求语言正确，还要求文字正确。语言对了但文字错了，在塞尔维亚语和中文场景下仍算失败。第二类是针对文字混淆的已有方案，例如把语言标记扩展为包含文字的标记。论文认为这种做法需要重新训练或微调，对已经训好的 Whisper 并不直接适用，而且把文字写死在标记里，不容易诱发未见过的语言与文字组合。

第三类是自然语言处理和语音中的转写工作。文本领域多为训练专用转写模型或微调大模型，用于拉丁键盘等场景；多语语音中则有用罗马化构造跨语言语音空间、做零样本适配的工作。论文的区别是完全不训练转写器，而是用激活转向实现。第 4 类是激活转向本身，在文本模型中已用于控制主题、情感、毒性、真实性和拒绝行为，其依据是高层概念在激活空间中呈线性方向，加一个向量即可改变行为。

论文引用了拒绝方向和真实性方向的工作，说明方法来源。需要强调的是，此前转向多针对整句语义或安全属性，论文把它用到亚词层面的正字法属性，即声音和文字，这是新的应用点。

对初学者而言，相关路线的取舍可以这样记。同输入都是语音或文本，同目标都是得到可读文本，但监督不同：转写专用模型需要平行转写数据训练，标记扩展需要改词表重训，而本文方法只需要少量已能按提示输出两种文字的样本来算均值差。运行阶段也不同：前两者在训练阶段解决问题，本文在推理阶段解决问题。这决定了后文实验基线为什么包含无提示直接推理和加提示偏置两种对照。

文字混淆问题如何定义，成功标准是什么？

论文把任务分成两类。第一类是文字混淆缓解，对象是本身就用多种文字的语言，实验选塞尔维亚语的拉丁与西里尔，以及中文的简体与繁体。给定音频，要求输出指定文字的转写。真值用确定性工具生成，塞尔维亚语用 cyrtranslit，中文用 OpenCC。第二类是转写，对象是源语言与目标文字在常规中不搭配，例如意大利语转西里尔字母，日语、韩语、俄语、希腊语、印地语转拉丁字母。罗马化用 uroman 和 pykakasi，西里尔化用 ICU，个别语言先罗马化再经 ICU 转西里尔。

评价指标是字符级归一化编辑相似度。做法是计算预测与目标文字真值的编辑距离，除以两者较长者的长度，再用一减去该值，转为相似度，论文称之为准确率，取值为一表示完全一致。预处理会去掉标点、空格和不在目标文字中的部分，目的是聚焦转写本身是否正确。比较条件在后文实验节交代，基线包括不加任何提示的直接推理，以及在解码器前加目标文字前缀的提示方法。

文字混淆 × 文字向量： 文字混淆负责描述问题现象，即同一语言的语音在推理时非确定地落入不同文字；文字向量负责给出干预手段，即用激活空间中的方向表示目标文字。两者搭配的理由是混淆来自训练数据中多文字并存，而方向可加性允许在不改参数的情况下把输出推向指定文字，组合意义是把稳定性控制转化为向量加法。

为理解非确定性的含义，需要看论文第一张示意图的左侧。该图用俄语计算机一词为例，同一语音可能被写成西里尔形式的 компьютер，也可能被写成拉丁形式的 kompyuter，中间用问号表示模型没有稳定选择。右侧则给出本文假设，即文字是激活空间中的一个线性方向，加上该向量即可切换文字，且无需训练。

看图路径： 1. 先看左侧从同一音标输入分叉到两种文字的箭头，确认非确定性含义；2. 再看右侧激活空间中从源均值指向目标均值的长箭头及其标注；3. 最后对照下方加向量后输出文字变化的示意，理解推理时干预位置

论文图 1。原论文 Figure 1：“Left: Multilingual ASR models like Whisper exhibit script confusion: the same speech may be tran- scribed in different scripts non-deterministically.”。

这张图左侧的教学价值在于把混淆具体化为 1 次输入对应两个合法文字输出，右侧把解决方法具体化为均值点之间的箭头和加法操作。看图后要回到成功标准：缓解混淆要求低资源文字的相似度提升，转写要求未见组合也能产生可读的目标文字，而不是只输出几个目标字符。

三步方法如何从样本走到推理时控制？

论文方法分为收集、分离、相加 3 步，全程围绕解码器每一层进行。设隐藏维度为 D，解码器层数为 L。对每条音频，用两种文本提示分别解码，一种是源文字提示，偏向源文字输出，另一种是目标文字提示，偏向目标文字输出。记某层在某个词位置的激活为向量，论文先对一条样本内所有词位置做平均，得到该样本在该层的平均激活，再在多个样本上按提示分别求均值。

第二步是方向分离。用目标提示下平均激活的均值减去源提示下平均激活的均值，得到每一层的文字向量。第 3 步是激活相加。在转写时，对每一解码步的当前最后一个词元激活，加上强度系数乘以该层文字向量。论文在实验中对所有层同时加，且所有层用同一个强度值，强度在验证集上网格搜索选择。编码器实验是例外，后文单独说明。

沿一个样本走一遍有助于建立依赖关系。输入是音频加源或目标提示，中间表示是各层解码激活，组件是均值池化和均值差，目标是得到指向目标文字的方向，输出是推理时每步加向量后的文字受控文本。关键细节是过滤。并非每次提示都能成功诱发对应文字，若把失败样本也平均进去会引入噪声。论文用归一化编辑距离衡量提示输出与对应文字真值的接近程度，只有源和目标两侧都小于阈值的样本才保留。

看图路径： 1. 按左中右三面板顺序看收集、相减、相加三个步骤；2. 比较黄色源文字点群与蓝色目标文字点群的分布与均值标记；3. 跟踪中间红色方向箭头如何在右图被加到新样本上

论文图 2。原论文 Figure 2：“Illustration of our method for extracting script vectors.”。

这张三面板图把上述流程画成点群操作。左图黄色为源文字样本点，蓝色为目标文字样本点；中图计算两类均值并相减得到红色方向；右图把该方向加到新样本上，使其落向目标文字一侧。看图时要注意每层都有自己的向量，不是全模型共用一个向量。论文还报告只需一个高质量样本对即可近似方向，这为样本效率分析埋下伏笔。

激活收集与过滤具体做什么计算？

激活收集的操作对象是解码器每层的输出。论文对每条音频做 2 次解码，1 次喂源文字提示，1 次喂目标文字提示，提示文本含义都是这是一句某种语言的话，只是文字不同。附录给出了塞尔维亚语拉丁、西里尔和简繁中文的具体提示，以及俄语、希腊语等罗马化和西里尔化提示。对每次解码得到的词序列，取出该层每个词位置的激活向量，按序列长度平均，得到该样本该层的句级表示。

过滤的计算是归一化编辑距离。分子是预测文本与该提示对应真值之间的编辑距离，分母是两者长度的最大值。阈值记为 theta，论文在文字混淆和罗马化中用 0.4，在西里尔化中因识别性能较低放宽到 0.8。只有源和目标两侧同时小于阈值的前 10 个训练样本被保留，用于计算均值。这种配对保留保证方向来自同一音频在两种文字下的对比，减少内容差异的干扰。

提示偏置 × 激活 steering： 提示偏置负责在解码器输入端放入目标文字的文本前缀，从上下文引导输出文字；激活 steering 负责在每层解码激活上直接加上文字向量，从表征层面推动输出文字。搭配理由是前者依赖模型对提示的跟随能力，在小模型上较弱，后者不依赖跟随而直接改激活，组合意义是论文能对比上下文引导与表征干预在不同模型尺寸下的互补性。

理解提示与转向的分工对复现很重要。收集阶段依赖提示，因为需要两种文字的激活来相减；测试阶段的转向则不依赖提示能单独控住文字，它直接改激活。若小模型跟随提示能力弱，收集时更需要过滤，否则方向会被失败样本污染。论文的单样本实验也说明，只要找到一个双侧都通过过滤的样本，方向已可用。

方向相减与推理相加为何能跨语言复用？

方向分离假设高层概念在激活空间中呈线性方向。论文对每层用目标均值减源均值，得到该层的转向向量。推理相加是对每层当前步的激活加上强度乘以该向量。强度记为 sigma，论文在验证集上从 0.1 到 0.5 网格搜索，文字混淆的最优值在所有设置下都是 0.1，转写的最优值按语言和方向列在附录表中。

跨语言复用的做法是先在塞尔维亚语上学到罗马化和西里尔化方向，直接用于其他语言，称为零样本。论文报告这种直接复用在部分语言上已相当可用，再用零样本输出作为伪转写重新收集激活、再学一个适配新语言的方向，称为伪标签方法。伪标签的收集是在已转向的模型上进行，因此第 2 次的方向更贴合目标语言的语音与文字对应。

零样本转写 × 伪标签自适应： 零样本转写负责把从塞尔维亚语提到的罗马化或西里尔化方向直接用于日语、韩语等新语言；伪标签自适应负责用零样本转写出的结果重新收集激活并再学一个更贴合新语言的方向。搭配理由是跨语言方向大体相似但不完全一致，组合意义是用 1 次免训练迁移先得到可用输出，再用其做 2 次提纯。

例子有助于理解但不代表数值承诺。例如把塞尔维亚语的罗马化方向用于俄语语音，模型仍可能输出拉丁字母串；若该输出质量尚可，就把它当作伪真值来重算均值差。论文的罗马化结果支持方向跨语言相似的假设，但西里尔化结果显示并非所有语言都同样成功，意大利语是例外，后文结果节会展开。

本研究训练了什么，没有训练什么？

本研究没有训练或微调任何语音基础模型参数。Whisper 各尺寸和 OWSM-CTC 模型都是既有权重，实验只做推理和激活层面的算术。需要明确的是，无训练不等于确定性求解。解码仍是自回归采样或束搜索过程，输出受音频、提示和所加向量的共同影响，冻结参数不能保证每次输出完全一致。

实际计算过程包括 4 类。第一类是带提示的 2 次解码，用于收集激活；第二类是均值池化、过滤和均值差，用于构造每层向量；第三类是带向量加法的转写解码，用于评估；第 4 类是线性探针和编码器转向等分析性计算。

超参数搜索只针对强度 sigma 和过滤阈值 theta，不更新网络权重。论文未报告梯度路径、优化器和训练资源，因为不存在训练阶段；缺失的不是技术错误，而是方法本身不需要这些。复现时应把重点放在提示文本、过滤阈值、样本选择和强度搜索上，而不是调学习率。

论文还说明代码链接当前不可用，第三方工具链接可用。资源状态是正文开源声明的唯一依据，当前只能写代码链接不可用，不应写已公开或可下载。第三方工具如 ICU 和 Whisper 讨论帖链接本次确认可达，可用于理解确定性转写和提示写法。

数据、模型、基线与指标条件是否一致？

数据用 FLEURS 数据集，它提供一百多种语言的平行语音与文本。论文在每个源和目标文字上各收集 10 个训练样本，取前 10 个双侧通过阈值的音频。验证集用于选强度，测试集用于报告。附录给出各语言的训练、验证和测试量，例如普通话、塞尔维亚语、俄语、意大利语、印地语、希腊语、日语和韩语的具体条数，后文用原表呈现。模型方面，文字混淆覆盖 Whisper 的 tiny、base、small、medium、large、v2 和 v3，转写聚焦 large-v2，另用 OWSM-CTC v4 验证 CTC 架构。

基线包括无提示直接推理和加目标文字前缀的提示方法，转向方法用与提示基线相同的提示来学向量，保证来源一致。指标方向是归一化编辑相似度越大越好，论文称为准确率。预处理统一去掉标点、空格和非目标文字，保证比较的是转写质量。需要提醒的是，不同文字方向的绝对值不可直接比大小，因为语言难度和工具真值质量不同；同一语言内跨方法的比较才有意义。

比较公平性还涉及强度选择。文字混淆用平均准确率最高的强度，转写因零样本准确率在样本间分布不均，用单个最高准确率对应的强度。附录还列出转写各语言的最优强度。编码器转向是单独设计，不用提示收集激活，而是按文字分别平均非配对激活，并额外尝试更大强度。这些条件差异在解读表格时必须保留，否则会把不同协议下的数字误当同条件胜负。

下表是论文附录中 FLEURS 各语言的数据划分，原表为四列，包含语言与训练、验证、测试量。表前问题是样本量是否足以支撑 10 样本向量学习与测试评估，公平条件是各语言划分公开且测试量远大于向量学习用量，指标方向与本表无关但决定后文结果可比性。

该表显示各语言训练量在两千到三千余条，验证 200 到 400 条，测试三百到九百余条。用 10 个样本学向量只占很小比例，支持样本效率结论的可信度。但也要注意测试量跨语言不均，例如印地语测试较少，解读跨语言差异时应考虑样本量与领域差异，不能只看单一均值。

混淆缓解与跨语言转写测出了什么？

文字混淆的结果按模型尺寸展开。论文报告提示的效果随模型增大而改善，但在小模型上控制西里尔等低频文字较弱。以 Whisper tiny 为例，提示仅比直接推理略多诱发西里尔，而激活转向显著提升西里尔准确率。对塞尔维亚拉丁和简体中文等高频文字，直接推理已占多数，提示和转向的增益较小。总体是转向和提示都能提升低频文字的稳定性，转向在小模型和低频方向优势更明显。

为看清尺寸趋势，需要结合分组柱状图。该图 4 个子图分别对应塞尔维亚拉丁、西里尔与简繁中文，横轴为模型尺寸，纵轴为目标文字相似度，颜色区分无提示、提示、转向和单样本转向。

看图路径： 1. 先确认四个子图分别为塞尔维亚拉丁、西里尔与简繁中文；2. 再按横轴模型尺寸从小到大比较四种颜色方法的柱高变化；3. 重点观察西里尔与繁体两组中无提示基线明显偏低的位置

论文图 3。原论文 Figure 3：“Script confusion mitigation accuracy.”。

从像素可见，第二组塞尔维亚西里尔中黄色无提示柱在各尺寸普遍偏低，蓝色转向柱明显更高，尤其在 tiny 到 small 段；第四组繁体中文也有类似但幅度较小。第一组拉丁和第三组简体中各方法柱高接近，说明高频文字本已稳定。这支持论文判断，即方法主要解决低频文字的不稳定，而非全面提升识别。

转写结果聚焦 large-v2。罗马化方面，直接把塞尔维亚语向量用于新语言，印地语和俄语零样本已达约六到 70%，希腊语中等，日韩较低；再用伪标签自适应后 5 种语言全部提升。西里尔化整体弱于罗马化，意大利语零样本达 40% 以上，为最强，其他语言较低。论文假设意大利语因本身是高资源拉丁文字，与训练数据主体更接近，故更易被推向西里尔。

下图是罗马化准确率分组，横轴为 5 种语言，纵轴为相似度，颜色区分无提示、提示、零样本和伪标签。

看图路径： 1. 确认横轴五种语言与纵轴归一化编辑相似度的含义；2. 比较每组内蓝色零样本柱与粉色伪标签柱的相对高低；3. 注意日语和韩语组中蓝色柱明显低于俄语和印地语组

论文图 4。原论文 Figure 4：“Romanization accuracy across different lan- guages for Whisper large-v2.”。

像素显示黄色与绿色柱几乎贴零，说明直接推理和提示都不能产生罗马化；蓝色零样本在俄语和印地语较高，在韩语最低；粉色伪标签在所有语言都高于蓝色，尤其在日语和韩语上抬升明显。这支持方向跨语言相似但需适配的判断。西里尔化图未选为正式解读图，但正文指出其整体偏低且意大利语例外，复现时不应期待所有语言都达到罗马化的水平。

下表整理论文直接报告的关键转写数字，均为目标文字相似度。表前问题是零样本方向是否跨语言有效，公平条件是同一 large-v2 与同一相似度指标，方向是越大越好。

表后解释需要同时看到收益与代价。收益是零样本已能在俄语和印地语罗马化上达到可用水平，且伪标签进一步普适提升；代价是西里尔化整体偏低，意大利语虽零样本最强但伪标签反而下降，说明 2 次学习会引入噪声。未胜出项是日韩罗马化零样本较弱，若只看零样本会低估方法，需结合伪标签看完整流程。

单样本、层分布与编码器干预说明了什么？

样本效率分析重复文字混淆实验，但只用第一个通过过滤的样本学向量。结果显示单样本转向与 10 样本转向接近，说明一个高质量配对已能近似方向。这对复现有直接意义，即不必收集大量样本，应优先保证过滤严格。若用较多但质量不均的样本，反而可能引入噪声，论文据此推测西里尔化伪标签 setup 有改进空间。

层分布分析用线性探针检验每层是否可分。对塞尔维亚拉丁与西里尔、简繁中文各收集 50 个激活，共 100 个，训练均值中心化后在测试集上用向量点积加 sigmoid 预测文字。结果显示所有解码器层都可分，首层已可预测最终文字。这支持全层同时转向的设计，也提示可用探针提前决定是否需要转向，而不必等完整解码。论文未验证这种选择性应用的实际收益，仍待验证。

线性探针 × 全层转向： 线性探针负责检验每一层激活是否能用文字向量方向线性分开两种文字；全层转向负责在推理时对所有解码器层同时加同一强度的向量。搭配理由是若文字信息分布在所有层，则只转一层不充分，组合意义是探针结果为全层加法的设计提供了直接依据。

编码器转向是反证类实验。做法是不用提示收集激活，对编码器所有层和时间步加向量。结果是对文字有一定控制，但弱于解码器转向；在部分方向需把强度加大到一才改善，塞尔维亚罗马化在该强度下甚至无文本生成。CTC 模型 OWSM-CTC 的结果更不均衡，中文基本不受影响，塞尔维亚罗马化从低基线大幅提升而西里尔主导方向下降。这表明线性文字表征在 CTC 中部分存在，但弱于 Whisper，不宜推广为全架构通用结论。

下表整理超参数与 CTC 关键数字，均为原文直接报告。表前问题是复现时阈值和强度如何设置，公平条件是区分混淆与转写、解码器与编码器不同协议，指标方向是相似度越大越好。

表后解释要指出代价与边界。解码器混淆的最优强度稳定为 0.1，便于复现；转写需按语言查表，不能共用。CTC 的提升伴随主导方向下降，说明转向不是无代价的全局增益。未评测边界包括编码器最优强度的系统搜索和 CTC 中文无变化的原因，论文留作未来工作。

转向结果为何更像发音而非逐字对照？

论文用表格例子说明转向偏向声音。韩语例子中，确定性工具按字符映射得到与读音差距较大的串，而转向结果更接近实际发音。希腊语例子中，现代希腊语多个元音字母都读作同一元音，正字法保留历史区别，工具按字映射不能反映合并，转向结果统一为对应读音的字母。日语例子中，字符通常读作 ha，但在作助词时读作 wa，转向正确反映了后者。印地语和俄语也有类似情况，即正字线索会误导确定性系统。

确定性转写工具 × 发音忠实转写： 确定性转写工具负责按字符映射给出唯一标准答案，如 uroman、pykakasi、ICU 和 OpenCC；发音忠实转写负责按实际读音给出更符合听感的文字形式。搭配理由是字符映射会保留历史正字法而不反映合并或变读，组合意义是论文用人工例子说明转向结果偏向声音而非逐字对照，从而解释与工具真值的差异来源。

这种声音偏向对评价有影响。由于真值来自确定性工具，发音更准的转向输出反而可能因与工具不一致而被扣分。理解这一点才能正确解读罗马化数字的上限。论文还观察到命名实体现象，部分英文实体如地名直接以英文形式出现，而非按源语言读音转写；且小强度下命名实体最易被推动。

假设是这些词与英语发音相近，且训练数据以英语为主，导致跨文字对齐更强。复现时若用含大量命名实体的数据学向量，可能更容易提取方向，但这只是假设，尚未做对照验证。

失败条件也值得记录。西里尔化在多数语言上有限，编码器转向弱于解码器，CTC 上中文几乎无变化，意大利语伪标签低于零样本。这些反例说明方法不是在所有语言、文字和架构上均匀有效。对初学者而言，应把成功条件记为解码器转向加高资源拉丁相关的罗马化，而把西里尔化弱语言和 CTC 作为需额外验证的边界。

哪些结论有证据，哪些只是假设？

直接报告的是混淆缓解在低频文字上的提升、罗马化零样本在部分语言的可用性、伪标签的普遍提升、单样本可用性、全层线性可分，以及转向偏声音的例子。这些有数字或可视化支撑。有限解释的是意大利语西里尔化最强归因于高资源拉丁训练占比，以及命名实体易转向归因于英语数据占比，这些有合理性但未做因果对照，应表述为支持而非证明。

未验证推测包括探针提前分流能否省算力、单高质量样本能否改善伪标签西里尔化、训练动态如何形成跨文字对齐。论文明确把训练动态和更多架构的系统研究留给未来工作。局限还包括只研究转写到拉丁和西里尔，以及简繁中文之间，未覆盖更多文字方向；主要聚焦 Whisper 系列，对开放数据模型和纯编码器模型的分析不足；只关注发音忠实转写，未处理语义为主的多种合法转写。

伦理部分指出数据均为公开，方法用于可解释语音识别，但转向和探针也可能被误用于生成或检测与特定人群相关的内容。作者鼓励用于接纳语言多样性和说话人自我表达。复现时不应把总体趋势当作每组每步都成立，也不应承诺未测量的延迟、误判率或成本改善。

复现应先做什么，需要哪些信息条件？

复现的第一步是准备模型与数据。模型用 Whisper large-v2 做转写，用全尺寸做混淆趋势，数据用 FLEURS 对应语言的测试与验证划分。提示文本按附录原样使用，含义为这是一句某种语言的话，文字分别对应目标文字。第二步是实现收集与过滤。按每层对词位置平均，再按归一化编辑距离过滤，混淆和罗马化阈值 0.4，西里尔化 0.8，各取 10 个双侧通过样本。

单样本实验取第一个通过样本。第 3 步是算均值差得每层向量，第四步在验证集上搜索强度，混淆从平均最优选，转写按单样本最高选，解码器全层同强度相加。

需要保留的关键信息条件包括过滤阈值、强度网格 0.1 到 0.5、混淆最优 0.1、转写最优按语言查附录、预处理去掉标点空格和非目标文字、指标为一减归一化编辑距离。代码链接当前不可用，不能写已公开；第三方 ICU 与讨论帖链接可用，可用于实现确定性真值和提示参考。硬件与耗时原文未报告，复现预算需自行记录。

何时值得尝试可以这样判断。若任务是同一语言多文字稳定，且小模型上提示效果差，转向值得优先试；若任务是把语音转到非常用文字且目标是拉丁字母，零样本加伪标签值得试；若目标是弱语言的西里尔化或 CTC 架构，应先做小规模验证，因为原文显示效果有限。还需补的验证包括更多文字方向、开放数据模型的训练动态，以及探针指导的选择性转向是否真能保持质量并省算力。

如何一句话记住方法与适用边界？

记住一条主线即可。对同一音频用两种文字提示各解码 1 次，按过滤保留成功样本，对每层平均激活相减得到文字方向，推理时每步加回去。若方向来自塞尔维亚语，可直接用于其他语言的罗马化，再用其输出重学 1 次会更贴合新语言。适用边界是低频文字和罗马化收益大，高频文字本已稳定，西里尔化弱语言、编码器单独转向和 CTC 架构效果弱或不均衡。

对研究生而言，可核对的动作清单比结论更重要。核对是否用了配对样本，是否做了双侧过滤，是否每层独立向量，是否全层同强度搜索，是否按原文协议选最优，是否用同一指标和同一预处理对比基线。若其中任一步被替换，例如用非配对平均或单层转向，数字变化不能直接归因于方法本身。最后要区分论文直接报告与假设，跨语言相似性和声音偏向有证据支撑，而训练数据占比解释和命名实体机制仍是假设，需要新的对照才能转为结论。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

另有 10 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 acl-2026 论文汇总