解码器才是瓶颈：冻结语音编码器与印度大模型做印英混读识别

英文题目：CROSS-MODAL ALIGNMENT OF SPEECH ENCODERS AND INDIC LLMS FOR HINDI-ENGLISH CODE-SWITCHING ASR

会议身份：conference:eusipco:2026:conference-paper-id:0000156

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#Adapter #大语言模型 #多语言 #语音 #语音识别

评分：5.7/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.6/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Singh Bhooi, Puneet：机构信息未能从会议 PDF 纯文本可靠映射
• Abrol, Vinayak：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

印地语英语语码切换语音的输入是技术讲座长音频，输出是天城体与拉丁体混排的转写文本，难点在于句内快速语言切换导致文字体系选错与切换边界不稳。方法链条分为三步：冻结语音编码器先将声学信号压缩为紧凑表征，接着可训练轻量适配器对帧分组下采样并投影到大模型词嵌入空间，最后冻结的印度专用指令微调解码器在提示条件下自回归生成转写。与微调原解码器相比，该机制把声学建模与语言先验解耦，直接借用更强的印度语言先验约束文字选择。在 MUCS 2021 人工清洗盲测集上，最优配置相对解码器微调基线同时降低词错率 Word Error Rate (WER) 与音译词错率 Transliterated-WER (T-WER)，取得 21.56% WER 与 20.69% T-WER，相对差距由约 11.2% 收窄至约 4.2%。结论仅在该百小时级讲座语料与冻结 Whisper-Large-v3 编码器加 Krutrim-2 组合下成立，换用其他大模型、解冻编码器或开放域对话尚未验证。原文未披露训练时长、推理延迟与部署成本。

🔗 开源与复现资源

• 第三方资源：https://openreview.net/forum?id=Bkg6RiCqY7 → https://openreview.net/challenge?redirect=%2Fforum%3Fid%3DBkg6RiCqY7 — 链接可访问（HTTP 200）
• 第三方资源：https://www.sarvam.ai/blogs/sarvam-1 — 链接可访问（HTTP 200）
• 第三方资源：https://www.sarvam.ai/blogs/sarvam-m — 链接可访问（HTTP 200） 预印本/扩展版链接未在会议页展示；会议版来源见页首官方记录与 PDF。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，为什么混读特别难

这篇论文处理的是印地语英语代码切换语音识别。输入是 16 千赫采样的原始讲课语音，来自多说话人技术教程，时长约 101.28 小时，噪声与多人轮流都存在。目标是输出一串离散文字记号，同一句话里既有天城体印地语也有拉丁体英语。难点不在于听不清音节，而在于同一个发音可以写成两种文字，切换点又非常快。举例来说，一个技术词用英语字母写与用印地语转写读起来相同，但按词错误率只能算一种对。

论文把这种现象称为声音对但文字错。初学者要先建立这个区分，后面所有关于编码器与解码器的诊断都围绕它展开。论文的输入输出都按样本组织，每个样本是一段波形对应几十个记号，输入长度远大于输出长度，因此编码器必须先压缩时间维度，再交给文字侧生成。输出阶段要求自回归生成，直到遇到结束符或达到最大长度。论文强调训练与测试转写本身有噪声且对齐不好，因此最终以人工清洗过的盲测集为准，这决定了后面数字的可比性。

同任务已有路线做了什么，本文站在哪里

在代码切换方向，已有工作主要改造耳语模型本身。一种思路是加编码器精炼模块与语言提示，用长短时记忆与连接时序分类增强时间建模。另一种思路是找与语言标识相关的注意力头并加引导损失。还有软提示微调，把可学习提示放在模型不同阶段。也有工作把混合语言对当作一种新语言，用加权组合表示语言标识。

针对印地语英语，唯一聚焦耳语的工作是做即时数据增强与大模型合成数据。另一条路线是语音语言模型，用模态适配器连接冻结语音编码器与解码器大模型，早期有用简单变换器或延迟融合，近期有用简单多层感知机的模型。论文指出这些工作多依赖部分微调基础模型，且在印度低资源场景验证有限。萨尔瓦姆的尝试在探索印度语言大模型语音识别，但针对印地语英语代码切换的语音语言自适应仍是空白。

本文的位置很明确，不再反复打磨耳语解码器，而是诊断出解码器语言先验是瓶颈后，直接用冻结的指示大模型替换它，只训练中间适配器。

瓶颈诊断要回答什么问题

论文先问声学侧与语言侧谁在犯错。做法是固定耳语大模型第三版，分别只训练编码器、只训练解码器、全部训练，比较词错误率与转写词错误率。逻辑是如果编码器已抓住发音，那么转写词错误率会相对较低，而词错误率仍高，差值就暴露文字选择问题。如果解码器微调带来最大改善且差值最大，就说明原解码器先验最弱。论文报告解码器微调最有效，同时其词错误率与转写词错误率差距最大，表现为把本应对的词写成错误文字。

编码器微调与全量微调的转写词错误率改善较小。这个诊断把后续方法选择锁定为替换解码器，而不是继续增大声学侧。初学者复述时要强调，这不是一般意义上的模型更大更好，而是先用受控比较定位模态差距，再决定冻结哪一端、训练哪一端。

冻结两端只训练中间的全景如何走通

方法全景是一个样本从波形到文字的单程。波形或梅尔谱先进入冻结的耳语编码器，得到时间压缩后的语音向量序列。接着按固定组长把相邻帧堆叠，缩短长度以适应大模型上下文窗口。堆叠向量进入可训练适配器，被投影到指示大模型的词嵌入维度，形成语音嵌入序列。语音嵌入与提示词嵌入拼接成完整输入，送入冻结的指示大模型做自回归 next 记号预测。

训练时把标准转写送入大模型以条件化预测，推理时逐步生成直到结束。整个过程只有适配器参数更新，编码器与大模型都不动。论文用 27.8M 这个量级说明参数效率，并强调不需要微调解码器即可利用更强的指示先验，从而减少错文字与边界错误。

语音编码器 × 指示大模型： 语音编码器负责把 16 千赫波形或梅尔谱变成紧凑声学向量，保留发音内容但不懂文字规范；指示大模型负责按印地语英语混合先验生成文字，决定用天城体还是拉丁体以及在何处切换；二者搭配的原因是声学已够用而文字先验不足，组合意义是用适配器把语音向量投影到大模型词嵌入空间，让生成侧直接约束文字与边界。

沿一个样本复述就是波形变向量，向量分组变短，短序列经适配器变成大模型能读的嵌入，嵌入加提示生成文字。表示层面要记住语音向量维度与大模型维度不同，长度也不同，因此分组与投影缺一不可。目标层面是让大模型在给定语音嵌入与提示下，给正确下一词更高概率。输出层面是完整转写序列，可直接计算词错误率与转写词错误率。

编码器输出如何分组与降采样

语音编码器可以是卷积、循环、变换器或 conformer 堆叠，作用是把很长的输入变成较短的向量序列。论文用符号区分原始长度与编码后长度，编码后长度约为原始长度除以结构自带的降采样因子。记号层面，输入长度以千计，输出记号只有几十个，因此压缩是必须的。适配器之前还有一步人工分组，把连续多帧拼成一组，组数取上整以容纳尾部不足一组的情况。分组因子选得足够大，才能让投影后的序列长度落进大模型上下文。

这一段初学者容易忽略，但它决定了后面 4 种适配器是否需要自带降采样。普通多层感知机与瓶颈结构依赖人工堆叠，而卷积类适配器用步长卷积自行降采样，因此不需要手动堆叠。理解这一点才能看懂论文为什么在不同适配器下输入处理不同。

四种适配器各自做了什么计算

论文比较 4 种适配器，都是把分组语音向量映射到大模型维度。最简单的是两层前馈网络，先映射到 2048 维，经非线性再映射到大模型维度。卷积适配器用 3 层 1 维卷积，每层步长为 2，通道按语音维度到 1024 再到 1024 再到大模型维度，逐步降时间分辨率并变换特征。多分辨率卷积用 5 个并行分支，卷积核大小分别为 3、5、7、9、11，各输出 256 通道，每分支经批归一化与平滑激活，拼接后再经 1 维卷积与归一化激活得到最终输出，目的是捕捉多尺度谱时信息。

最优的是瓶颈多层感知机加平滑激活与层归一化，把输入经 2048 到 1024 再到 2048 的瓶颈，再投影到大模型空间，每层线性后都有层归一化，激活用更平滑的函数以改善梯度与稳定性。论文强调只有适配器可训练，两端冻结，梯度只回传到适配器。

适配器 × 跨模态对齐： 适配器指冻结编码器与冻结大模型之间可训练的轻量投影模块，负责降采样堆叠与维度映射；跨模态对齐指让语音嵌入序列能被大模型当作可理解的输入记号；二者搭配是因为直接拼接维度与长度都不匹配，组合意义是只用少量参数学会压缩与翻译表示，而不改动两端大模型。

初学者复述时要说清卷积自带降采样而多层感知机依赖分组，这是公平比较的前提。论文最终显示瓶颈结构最好，支持的解释是映射更高效稳定，而不是参数最多就好。

瓶颈多层感知机 × 层归一化： 瓶颈多层感知机指先把高维堆叠语音特征压缩到 2048 再到 1024 再回到 2048 的结构，负责以少参数做非线性映射；层归一化指每个线性变换后做的稳定化操作，配合平滑激活函数改善梯度；二者搭配是因为直接大维度映射易不稳定，组合意义是在保持 27.8M 量级的同时获得比普通多层感知机与卷积适配器更稳的投影。

教学例子是把适配器想象成翻译插头，但要立刻对应回真实计算，插头对应的是维度对齐与长度压缩，翻译对应的是非线性投影到词嵌入空间，不能把比喻当作性能证明。

训练时更新谁冻结谁，监督从哪里来

训练只更新适配器，耳语编码器与指示大模型全程冻结。优化器用 AdamW，混合精度，在单张 80 吉显存的英伟达 H100 上训练 10 轮，批量为 8 并累积 2 步，学习率先 1000 步从 0 线性热身到万分之一，再线性衰减到 0。监督来源是成对的语音与标准转写，训练时把标准转写送入大模型以条件化下一词预测，损失驱动适配器学会把语音嵌入放到正确文字附近。论文没有报告解冻大模型或编码器的梯度路径，也没有给出适配器之外的正则细节缺项之外的安排，复述时不应推定用了其他技巧。

消融中有一个把编码器也解冻的版本，参数量上升到约 677.8M 量级，但效果反而变差，这反向支持冻结编码器是合理选择。初学者要记住可训练量不是越大越好，本文最优配置只训练适配器，量级在 27.8M 左右，约为解码器微调的三十多分之一。

数据划分指标与基线条件如何保证可比

数据用 2021 年多语言代码切换挑战中的印地语英语子集，来自技术口语教程，多说话人，官方标注训练与测试本身有噪声与对齐问题。论文以人工清洗的盲测集为金标准报告，并同时报告挑战榜用的两个指标。标准词错误率要求文字完全一致，转写词错误率在参考为英语时允许预测为本地文字转写形式，方向是越低越好。基线包括竞赛传统模型、耳语零样本与 3 种微调。零样本分印地语提示与英语提示，微调也分两种提示，以控制语言标识的影响。

硬件与训练轮数在各适配器间保持一致，比较时只换适配器结构或大模型。论文还引入代码切换二元组准确率，分别衡量印地语到英语与英语到印地语边界是否正确。

词错误率 × 转写词错误率： 词错误率要求文字形式与参考完全一致，错写文字也算错；转写词错误率允许英语词以转写到本地文字的形式出现，声音对即算对；二者搭配的原因是代码切换中存在大量同音异写，组合意义是用两者差值量化脚本误差，差值越大说明发音已识别但文字选择失败。

复述实验条件要同时核对数据集、划分、模型、提示、指标与聚合对象，不能只看数字相同就认为是同一指标。百分点差值与相对百分比是不同量，论文中 30% 左右的相对改善不等于下降 30 个百分点。

主结果测什么，与谁比，数字支持什么判断

主结果要回答冻结两端加适配器能否超过最强的耳语解码器微调，且条件是否一致。比较对象是实际可运行的解码器微调与全量微调，不是事后最优。指标方向都是越低越好。论文报告瓶颈适配器配 12B 的克鲁特里姆二代达到较低的词错误率与转写词错误率，且脚本误差差距大幅缩小，说明声音对但文字错得到缓解。代码切换边界准确率在 2 个方向都有提升，进一步支持边界处理改善。

其他适配器如普通多层感知机、卷积与多分辨率卷积均未超过瓶颈结构，说明结构选择重要。需要强调的是，论文同时保留了此前只用竞赛原始数据训练的基线，那些基线没有用外部语音或标签修正，因此不能与本文直接视为同数据量胜负，只能作为榜单背景。

下面第一张表提出核心比较问题，在相同盲测集上，解码器微调与语音语言自适应谁的文字一致性更好，指标方向均为越低越好，公平条件是同为实际可训练策略且在盲测集上评估。

表后解释需要同时给出收益与代价。收益是词错误率与转写词错误率双降，且差距从 11.2% 压到 4.2%，说明很多原来发音对但写错文字的项被纠正。代价与限制是该收益依赖指示大模型的词表与分词，若换成其他指示大模型则不成立，论文中换用较小与较大萨尔瓦姆模型的消融均未达到同样水平。未胜出项包括普通多层感知机与卷积适配器，它们的转写词错误率更高，表明不是任意投影都能对齐。此外解冻编码器的版本反而变差，说明增加可训练量不必然带来提升。

换大模型与解冻编码器为什么没有更好

消融回答两个反证，换大模型是否就行，解冻更多是否就行。论文把指示大模型换成 2B 的萨尔瓦姆一代与 24B 的萨尔瓦姆混合模型，保持瓶颈适配器不变，结果均不如克鲁特里姆二代。这支持性能不只取决于参数规模，更取决于预训练词表与分词对目标语言的覆盖。第二个反证是解冻耳语编码器再接适配器与克鲁特里姆二代，结果也不如全冻结版本。这支持瓶颈在语言侧而非声学侧，动声学侧反而可能破坏已有的稳定表示。

解码器微调 × 语音语言自适应模型： 解码器微调指只更新耳语模型解码器约 800,000,000 参数以适应混合文本；语音语言自适应模型指冻结耳语编码器与冻结指示大模型只训练适配器；二者分工不同，前者改造原有语言先验，后者直接替换为更强的指示先验，搭配比较的原因是定位瓶颈在解码侧，组合意义是说明换解码器比改原解码器更省参数且脚本一致性更好。

下面第二张表提出诊断问题，耳语内部到底该动哪一部分，比较零样本后的 3 种微调，指标为转写词错误率越低越好，相对改善相对零样本计算。

表后解释要说明主要收益与反例。收益是只训解码器在转写词错误率上最好，相对改善约 30.98%，支持解码器是首要瓶颈。全量微调转写词错误率为 21.97%，并未超过只训解码器，构成反例，说明增加训练量不保证更好。只训编码器为 23.59%，改善最小，进一步支持声学已够用。未评测边界是论文没有报告不同语言提示在消融大模型下的交叉影响，也没有给出统计显著性，因此不能把小幅差异推广为普遍规律。

哪些条件没测，不能承诺什么

论文明确指出两项依赖。一是性能依赖大模型预训练词表与分词对目标语言的覆盖，若目标语言对不在词表中，对齐可能失效。二是可靠评估需要干净人工核验的测试划分，因为原始训练与测试标注有噪声。若换成噪声测试集，数字会失真。未测量的量包括误判率分解之外的延迟、推理开销与实际部署成本，论文只报告训练在单卡 80 吉上跑 10 轮，没有给出首包延迟或实时率，因此不能承诺更快或更便宜。

总体趋势是瓶颈适配器最好，但不等于每条语音都更好，论文未提供按噪声、说话人或切换密度的分组结果。相关性不等于因果，边界准确率提升与脚本差距缩小支持语言先验更强，但没有证明是唯一原因。复述时要用报告显示表达直接数字，用支持表达机制解释，用可能待验证表达推广到其他印度英语对。

复现先做什么，需要保留什么信息条件

复现先准备 2021 年挑战的印地语英语数据，并明确区分原始噪声划分与人工清洗盲测集，所有最终数字只在盲测集上报告，同时记录词错误率与转写词错误率的计算方式，特别是英语转写算对的规则。模型侧下载耳语大模型第三版语音编码器与克鲁特里姆二代指示大模型并冻结，只实现瓶颈适配器，包括分组堆叠、2048 到 1024 再到 2048 的瓶颈、平滑激活与层归一化。训练用 AdamW、混合精度、批量 8 累积 2 步、10 轮、热身 1000 步到万分之一再线性衰减的 schedule，单卡 80 吉环境。

解码时用自回归生成直到结束符，对比时必须包含解码器微调基线与不同提示，避免只与零样本比。论文未声明代码开源，资源状态只能依据本次收到的第三方链接判断，相关大模型博客与论文预印本当前可用，但不等于本研究代码与权重可一键运行。复现时若换大模型，需先检查分词对天城体与拉丁体混合的覆盖，否则可能复现不出同样差距缩小。

何时值得尝试这个蓝图，还需补哪项验证

当任务呈现同音异写多、切换边界快、标注噪声大，且计算预算只够训练几千万参数时，这个冻结两端只训练适配器的蓝图值得尝试。它的价值在于把有限参数用在跨模态投影上，直接借用指示大模型的文字先验，而不是反复微调原解码器。对于其他低资源或混合文字语言对，同样可先做编码器与解码器分别微调的诊断，若出现转写词错误率远好于词错误率且解码器微调最有效，再考虑替换解码器。

还需补的验证包括按噪声、说话人与切换密度的分组评估，以及在更多指示大模型上的系统比较，以确认词表覆盖的影响。部署前还需实测推理延迟与显存占用，因为大模型解码开销与适配器训练开销是两回事。常见误解是以为参数越少越好或大模型越大越好，论文证据恰好相反，27.8M 的瓶颈结构胜过更复杂卷积，而 24B 大模型并未胜过 12B，关键是投影结构与语言覆盖是否匹配。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

区域 1 · 查看论文原页

区域 2 · 查看论文原页

区域 3 · 查看论文原页

另有 11 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 eusipco-2026 论文汇总