📄 把英文声音理解模型搬到九种印度语言：只训练文本编码器
英文题目：Indic-CLAP: Text–Audio Understanding in Indic Languages via Cross-Lingual Distillation
标签：#音频检索 | #知识蒸馏 | #音频分类 | #多语言 | #跨语言
评分：6.5/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Sanat Kumar Agrawal：机构信息未在 arXiv HTML 中可靠披露
- Srikanth Raj Chetupalli：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
对比语言-音频预训练把音频片段和自然语言描述映射到同一单位球面共享空间，支持零样本分类和跨模态检索，但原有文本编码器只理解英语，9种印度语言没有公开音频字幕数据。Indic-CLAP先用机器翻译把AudioCaps英语字幕转成印度语言字幕，构成音频、英语字幕与印度语字幕的三元组，再用冻结的CLAP音频编码器和英语文本编码器预先算好音频向量与英语向量并缓存，训练时不再读取音频。可训练的学生编码器以XLM-RoBERTa-base为起点，对翻译字幕做注意力掩蔽平均池化、线性投影和ℓ2归一化，输出512维归一化向量，直接落入原有共享空间。该向量的训练比较了文本教师均方误差、音频教师均方误差、音频教师对比目标和同时对齐两侧的混合目标，混合目标用超参数λ平衡文本余弦项和音频InfoNCE项。评估用AudioCaps和Clotho的文本到音频与音频到文本检索召回率，以及ESC-50和UrbanSound8K的零样本分类准确率，还用蒸馏保真度和模态间隔分析对齐状态。多语言联合模型在AudioCaps上混合目标λ=0.10时音频到文本R@1为38.8%，超过CLAP教师的24.5%，零样本分类为73.3%。结论适用于翻译字幕覆盖的日常环境声，Clotho上的检索仍低于教师，Helsinki-NMT翻译的印地语模型零样本分类仅57.7%。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
第三方资源：https://github.com/Sanat-agrwl/IndicCLAP-csvs — 链接可访问（HTTP 200）
第三方资源：https://sanat-agrwl.github.io/IndicCLAP → https://sanat-agrwl.github.io/IndicCLAP/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
声音理解任务的输入输出是什么
这篇论文面对的是文本到音频的理解任务。输入是一段音频和一句自然语言描述，例如一段狗叫的录音和一句狗在吠叫。目标是让机器能判断两者是否对应，从而支持两种用法：跨模态检索，即用一句话找到最相关的音频，或者用一段音频找到最贴切的描述；零样本分类，即不为新类别重新训练分类器，而是把类别名写成句子后直接比较相似度。必须保留的信息是声音事件的种类、属性和时序，例如是吠叫还是雷声，是单次还是连续。
输出是一个可比较的相似度分数，通常是两个单位向量之间的余弦相似度。原文指出 CLAP 已经在英文上实现了这种能力，但它的文本分支是单语的 RoBERTa，且只在英文音频描述对上训练，因此无法直接处理印度语言的查询。
CLAP × 对比学习 × 联合表示空间： CLAP 指把音频和文本分别编码后映射到同一向量空间的模型，对比学习指把配对的音频和描述拉近、把不配对的推远的训练方式，联合表示空间指两者可以直接算余弦相似度的 512 维单位球面，三者分工是：对比学习是手段，两个编码器是载体，联合空间是检索和零样本分类得以运行的场所。
对于刚入门的同学，可以把联合空间想象成一个地图：英文句子和音频本来已经被摆在相近的位置，论文要做的是把印度语言的新句子也放到地图上正确的位置，而不重画整张地图。这决定了后文只训练文本编码器、冻结音频编码器的总体选择，也决定了评测要同时看检索和分类，因为地图位置对了两种任务才能都好。
已有路线为什么没有覆盖印度语言
在相同输入输出和相同运行阶段下比较，已有路线有 3 条。第一条是原版 CLAP，用 HTSAT 做音频编码器、RoBERTa 做英文文本编码器，在 LAION-Audio-630K 加上 AudioCaps 和 Clotho 的扩展描述集上做对比训练，得到共享 512 维空间，它是本文的教师和上限参照。第二条是 GLAP，它把文本分支换成用机器翻译目标训练的 SONAR，从而获得多语言句子表示，原文明确说 GLAP 只覆盖 4 种非英语且不含印度语言，但它的 SONAR 分支在设计上覆盖本文的 9 种语言，因此可以在零样本条件下直接测试。
第 3 条是翻译描述后重训的思路，在文本到音频检索和音频描述生成中已有尝试，但论文指出针对印度语言的公开音频描述数据和模型在文献中不存在。也就是说，缺的不是想法，而是印度语言上的配对数据、训练好的模型和系统评测。本文的定位正是在教师冻结的前提下，用机器翻译的 AudioCaps 描述补上这块数据，再用蒸馏补上模型，这个定位决定了它不重训音频侧，也不重新收集人工标注。
论文要解决的具体困难是什么
具体困难有 3 个层面。第一，数据层面没有印度语言的音频描述对，只有英文 AudioCaps 可用，AudioCaps 包含约 52.25K 条 AudioSet 录音的手写英文描述，划分为训练 45.72K、验证 2.17K、测试 4.36K，教师正是在这类数据上校准得最好的模型。第二，语言层面音频描述很特殊，短小、拟声词多、复合修饰多，例如 crackling、chirping、sizzling 这类词在通用平行语料中很少见，通用翻译容易不译、误译或丢失事件顺序。
第三，模型层面希望不破坏已有的音频表示，只增加 9 种语言的文本理解能力，这 9 种语言是印地语、孟加拉语、泰米尔语、泰卢固语、马拉地语、古吉拉特语、卡纳达语、马拉雅拉姆语和旁遮普语。如果重训整个双编码器，代价大且可能破坏原有对齐；如果只训练文本侧，就需要找到能同时对齐文本教师和音频教师的目标，这正是后文比较 4 种蒸馏目标的原因。例子：同样是嘶嘶声，一种翻译保留了声音词，另一种把它写成无关动词，学生学到的位置就会完全不同。
总体流程如何只训练文本侧就继承对齐
总体流程可以沿着一个三元组讲清楚。设音频为 a、英文描述为 t、其印度语言翻译为机器翻译版本，教师音频嵌入记为 a 向量，教师英文文本嵌入记为 t 向量，学生输出记为 c 向量，三者都应在同一个单位球面空间中。训练时教师的 a 向量和 t 向量被预先算好并缓存，训练过程不再读取音频波形，只更新学生文本编码器的参数。测试时，用学生编码器编码印度语言查询，再与冻结的另一模态嵌入算余弦相似度做检索或分类。
论文的假设是传递性：如果学生足够接近英文教师，而英文教师本来就与音频教师对齐，那么学生也就与音频对齐。但后文实验说明这种传递并不完美，模态间隙会让只学一端的学生偏向一极，因此需要混合目标来同时看两端。
下图是论文给出的蒸馏总览，读图时请先分清 3 条支路的可训练状态，再看共享空间中三点的位置关系，最后看底部损失的加权方式，这是理解训练代价的关键。
看图路径： 1. 先沿三条输入箭头看印度语字幕、英文句子和音频片段各自进入哪个编码器；2. 再看右侧虚线框内的共享 512 维空间中三个圆点 c、t、a 的并置关系；3. 最后看底部橙色条带中混合损失把文本项和音频项如何加权
论文图 1。原论文 Figure 1:：“Cross-lingual CLAP distillation. Only the Indic student \mathcalT_in is trained; both CLAP encoders stay frozen and their embeddings are pre-computed, so no audio is read at…”。
从像素可见，顶部紫色块是唯一标为可训练的印度语言分支，由 XLM-RoBERTa 加投影组成，输出 c 点；中间灰色块是冻结的 CLAP 英文文本编码器，输出 t 点；底部青色块是冻结的 CLAP 音频编码器，输出 a 点，三点并置在右侧虚线框表示的共享 512 维 CLAP 空间中。底部橙色条带写明混合损失是文本项与音频 InfoNCE 项的加权和。这张图把代价讲清楚了：因为教师嵌入预计算，训练时没有音频前向和音频梯度，只有文本学生的前向反向，计算量集中在 XLM-RoBERTa 的端到端微调上。
学生编码器是什么结构，输入如何变成向量
学生编码器的结构紧跟 CLAP 文本编码器的设计，但把单语底座换成多语底座。具体过程是：输入一句印度语言描述，先经过预训练的 XLM-RoBERTa-base 得到每个词元的隐状态，XLM-RoBERTa-base 在 100 种语言上预训练过，覆盖本文 9 种语言；然后对词元状态做注意力掩码感知的平均池化，得到一个句子级向量；再经过一个线性投影层映射到 512 维；最后做二范数归一化，把向量放到单位球面上。
论文说明只训练线性投影层是不够的，预备实验发现必须端到端微调整个 XLM-RoBERTa 加投影。线性层权重按均值为零、方差为 0.0004 的正态分布初始化，偏置置零。输入处理的作用是把变长、多语言的离散词元变成定长、可比较的方向向量，代价是微调大模型的显存和计算开销，但相比重训音频和文本双塔仍然小很多。
冻结 × 蒸馏 × 学生编码器： 冻结指 CLAP 原有的音频编码器和英文文本编码器参数不再更新，蒸馏指用教师输出的嵌入作为监督信号训练新模型，学生编码器指新训练的印度语言文本编码器，三者搭配的意义是：教师提供已经对齐好的跨模态位置，学生只学把新语言句子放到同一位置，从而不读音频、不重训音频侧就继承跨模态对齐。
需要补充的是，平均池化时填充词元被掩码排除，只有真实词元参与平均，这对短小的音频描述尤其重要，否则填充会稀释句子语义。归一化则保证余弦相似度只比较方向，不受向量长度影响。
两种均方误差蒸馏各在模仿谁
论文比较的第一组目标是两个均方误差目标。文本教师均方误差要求学生对翻译句子的输出尽量等于英文教师对原英文句子的输出，音频教师均方误差要求学生输出尽量等于对应音频的教师音频嵌入。前者是同模态模仿，认为语言间语义对应相对容易学，与音频的对齐靠传递性获得；后者是跨模态逐点模仿，直接把文本点拉到音频点的位置，论文预先指出这是更难的问题。
训练时批量大小为 256，用 AdamW 优化器，峰值学习率 2 乘以 10 的负 5 次方并退火到 10 的负 7 次方，梯度按全局二范数裁剪到 1.0，最多 30 轮，均方误差目标用验证损失做耐心为 5 的早停。原文没有给出逐层梯度路径的额外说明，只能按证据说监督来自教师嵌入，梯度只经过学生文本编码器。
\[\mathcal{L}_{\textsc{TT-MSE}}(\mathbf{t},\hat{c})=\|\mathbf{t}-\mathcal{T}_{in}(\hat{c})\|_{2}^{2},\]上式中 t 是冻结英文教师嵌入，尖角号 c 表示机器翻译的印度语言句子，T 表示学生编码器，目标是两者欧氏距离平方最小。这个公式对应文本教师均方误差，音频教师版本只需把 t 换成 a。理解这个公式的关键是：它约束的是绝对位置相等，而不是批量内的相对排序，这为后文对比损失的差异埋下伏笔。
TT-MSE × AT-MSE × AT-NCE： TT-MSE 指学生去拟合英文教师文本嵌入的均方误差目标，AT-MSE 指学生去拟合音频教师嵌入的均方误差目标，AT-NCE 指学生与冻结音频嵌入做对称对比损失的目标，三者分工不同：前者学语言间语义对应，中者做跨模态逐点模仿，后者做批量内语义级跨模态对齐，论文比较它们是为了说明逐点跨模态模仿最难、语义级对齐更可行。
对比目标与混合目标多了什么约束
第二组目标是对比式目标。音频教师 InfoNCE 是把 CLAP 训练用的对称交叉熵搬到蒸馏中：学生文本嵌入与冻结音频嵌入算相似度矩阵，同一下标的配对要比批量内其他组合更相似。它不再要求逐点相等，而是要求语义级可区分，这通常更适合检索。但论文指出它仍可能让学生与英文教师失配。于是提出的混合目标把两端结合：文本项用 1 减去余弦相似度衡量与英文教师的对齐，音频项用 InfoNCE 衡量与音频教师的对齐，再用超参数在 0 到 1 之间的权重加权。
文本项特意用余弦而不用欧氏距离，原文给出的理由是与 InfoNCE 量级可比。当权重为 0 时只对齐文本端，当权重为 1 时退化为纯音频对比目标，中间值则同时约束两极。
\[\mathcal{L}_{\textsc{Hyb},\lambda}(\{\mathbf{t}_{i}\},\{\hat{c}_{i}\})=(1{-}\lambda)\frac{1}{B}\sum_{i=1}^{B}\bigl(1-\cos(\mathbf{t}_{i},\mathcal{T}_{in}(\hat{c}_{i}))\bigr)\\ +\lambda\,\mathcal{L}_{\textsc{InfoNCE}}(\{\mathbf{a}_{i}\},\{\mathcal{T}_{in}(\hat{c}_{i})\}),\]上式中 B 为批量大小，t 为教师文本嵌入，a 为教师音频嵌入，尖角号 c 为翻译句子，括号内第一项是文本余弦项，第二项是音频 InfoNCE 项。实现上仍只更新学生，教师嵌入预计算。
混合目标 × 余弦相似度 × InfoNCE： 混合目标指同时蒸馏英文文本教师和音频教师的加权目标，余弦相似度项负责与文本教师保持语义一致，InfoNCE 项负责在批量内与音频教师保持可检索的相对关系，组合后多出的作用是同时约束文本极和音频极，避免只靠一端导致模态间隙偏向一边。
教学上可以这样记：均方误差管绝对位置，对比损失管相对顺序，混合目标就是既要位置不偏，又要顺序可检索，多出的约束正是跨模态检索需要的排序信息。
翻译数据和训练调度如何搭建
训练数据完全来自翻译。教师是已在扩展描述集上训练好的 CLAP，音频编码器为 HTSAT，文本编码器为 RoBERTa。学生训练只用 AudioCaps 训练集的翻译描述，验证集用于早停。翻译管线比较了两种：Helsinki-NMT 和用音频上下文提示的 GPT-4o-mini。论文观察到通用神经机器翻译常把声音词留作不译，或把领域词误译，例如把 sizzling 译成与访问相关、丢失事件顺序和音频专用词汇，而带音频上下文的大模型能更好保留拟声和事件结构。
优化调度上，所有模型都用 AdamW，线性预热 1000 步，峰值学习率 2 乘以 10 的负 5 次方，余弦退火到 10 的负 7 次方，批量 256，梯度裁剪 1.0，最多 30 轮。均方误差目标监控验证损失，InfoNCE 类目标监控验证检索 R@1，耐心分别为 5 和 8。教师嵌入预计算意味着训练时不解码音频，这既是效率选择，也意味着学生从未见过原始波形，只能通过教师向量间接获得声学信息，这是理解泛化间隙的前提。
评测在什么数据和指标下进行
评测围绕 3 个问题：学生是否学到了教师的文本结构，跨模态检索是否可用，类别级零样本分类是否可用。蒸馏保真度的做法是把翻译测试句用学生编码，再与全部教师英文嵌入算余弦相似度排序，报告 top-1 召回率，越高表示越接近教师。跨模态检索在 AudioCaps 测试集 970 段独立录音共 4360 条描述和 Clotho 测试集 1045 段录音上进行，分别报告文本到音频和音频到文本的 R@1 和 R@10，越高越好。
零样本分类在 ESC-50 的 2000 段 50 类和 UrbanSound8K 的 375 段 10 类上进行，做法是把翻译后的类别标签嵌入自然语言模板，例如印地语模板表示这是某种声音，再用音频嵌入与各类别嵌入比相似度，报告 top-1 准确率。模板和标签经过 2 名印地语母语者核查，60 个中有 59 个判为正确。GLAP 的比较分两层：直接零样本测试其 SONAR 分支的印度语言能力，再用同样翻译数据和同样目标微调其文本编码器，以检验蒸馏策略是否与架构无关。
翻译质量如何限制学生上限
首先要回答翻译是否值得投入。比较问题是在相同印地语学生和相同文本教师均方误差目标下，只改变翻译管线，观察保真度和下游任务是否一致变化。公平条件是模型结构、教师、训练集划分和评测集都相同，指标方向都是越高越好，数值单位为百分比。
| 翻译管线 | 保真度 | 音频到文本 R@1 | 文本到音频 R@1 | 零样本准确率 |
|---|---|---|---|---|
| Helsinki-NMT | 37.2 | 25.5 | 14.7 | 57.7 |
| GPT-4o-mini | 63.6 | 33.0 | 21.6 | 84.8 |
表中 GPT-4o-mini 在保真度、双向检索 R@1 和零样本准确率上全面高于 Helsinki-NMT，例如保真度从 37.2% 提高到 63.6%，零样本从 57.7% 提高到 84.8%。解释是音频描述的语言现象特殊，通用翻译的错误会直接变成监督噪声，学生再努力也只能模仿错误的文本位置。该对照只做了印地语，但论文据此在全部 9 种语言中统一采用 GPT-4o-mini 翻译，这是一个从单语言证据推广到多语言流程的决定，复现时若换翻译引擎需要重新验证。例子：把 sizzling 误译会让学生把嘶嘶声的句子放到错误语义点，检索时自然对不上对应的音频。
多语言联合训练与分语言训练谁更好
第二个比较问题是应该为每种语言单独训练一个模型，还是 9 种语言联合训练一个多语言模型。公平条件是都用文本教师均方误差目标，都在 AudioCaps 翻译数据上训练，都用相同的检索和分类协议，教师在匹配英文设置下的 R@1 为音频到文本 24.5%、文本到音频 24.2%，零样本准确率为 92.5%，指标方向均为越高越好。
| 训练方式 | 保真度 | 音频到文本 R@1 | 文本到音频 R@1 | 零样本准确率 |
|---|---|---|---|---|
| 分语言平均 | 57.4 | 30.6 | 20.3 | 75.6 |
| 联合多语言平均 | 70.5 | 29.5 | 22.1 | 75.3 |
主要收益是联合训练的保真度大幅高于分语言训练，平均从 57.4% 提高到 70.5%，最高达 75% 左右，说明多语言数据共享了对齐能力。检索呈现不对称：音频到文本上学生甚至超过教师，而文本到音频上学生低于教师且与保真度正相关。论文的解释是数据集不对称，多条文本对应同一音频，音频查询只需命中其中一条文本就算成功，而文本查询必须精确命中英文教师位置才算成功。
代价是零样本与教师仍有约 17 个百分点的差距，保真度停在 75% 附近意味着学生没有完全复刻教师的概念结构。该结论只在文本教师均方误差目标下验证，换混合目标后多语言优势是否同等大小需要看后文的平均结果，不能直接把本表的数值套到其他目标上。
不同蒸馏目标在域内评测中如何取舍
第 3 个比较问题是在多语言模型下，4 种目标加混合权重扫描中哪个更适合检索、哪个更适合分类。公平条件是都用 9 种语言平均，都在 AudioCaps 域内测试，都保留 CLAP 教师基线，指标方向仍是越高越好，检索同时看 R@1 和 R@10 以区分首位命中和前十命中。
| 目标 | 零样本 | 音频到文本 R@1 | 音频到文本 R@10 | 文本到音频 R@1 | 文本到音频 R@10 |
|---|---|---|---|---|---|
| TT-MSE | 75.3 | 29.5 | 74.7 | 22.1 | 71.9 |
| AT-MSE | 60.8 | 27.3 | 77.2 | 17.9 | 63.9 |
| 混合权重 0.10 | 73.3 | 38.8 | 84.9 | 25.4 | 75.4 |
| CLAP 教师 | 92.5 | 24.5 | 74.9 | 24.2 | 74.7 |
主要收益是混合权重 0.10 在双向检索上明显最好，音频到文本 R@1 达 38.8%、文本到音频 R@1 达 25.4%，超过纯文本目标和纯音频对比目标，也超过教师在 AudioCaps 上的 24.5% 和 24.2%。但零样本上纯文本目标更好，混合权重增大后分类下降，说明检索和分类存在权衡。只用音频教师的两个目标在多数任务上弱于文本侧目标，逐点跨模态模仿尤其差。GLAP 部分原文还报告其英文检索很强，零样本直接测印度语言时检索尚可但分类只有 38.5%，用本文目标微调后分类明显回升，支持蒸馏策略与架构无关的判断。限制也很清楚：超过教师仅限域内 AudioCaps 检索，分类仍低于教师；GLAP 英文行的高检索不能与印度语言行直接比胜负，因为输入语言不同。
权重变化与模态间隙如何解释检索提升
为了理解为什么小的非零权重最好，论文做了权重扫描和模态间隙分析。权重为 0 时接近纯文本对齐，权重为 1 时退化为纯音频对比，中间值在检索上先升后降，分类则总体下降。机制解释依赖间隙测量：用全部语言池化的模态质心间余弦相似度和配对平均相似度刻画位置，间隙值 0 代表音频极、1 代表文本极。CLAP 文本与音频质心余弦为负，处于相反半球，配对相似度仅 0.22，本身就存在间隙。文本教师学生紧贴文本极，间隙为正 1.02，继承了与音频的疏远。
音频均方学生贴近音频极但配对仍差，说明逐点跨模态难学；混合模型质心略向音频移动，与音频的配对相似度从 0.22 提高到 0.27。域外泛化的比较问题是混合目标的优势能否带到未训练过的 Clotho 和 UrbanSound8K，公平条件是同样九语言平均、同样指标方向。
| 目标 | US8K 零样本 | Clotho 音频到文本 R@1 | Clotho 音频到文本 R@10 | Clotho 文本到音频 R@1 | Clotho 文本到音频 R@10 |
|---|---|---|---|---|---|
| TT-MSE | 73.0 | 17.8 | 58.2 | 14.5 | 53.0 |
| 混合权重 0.10 | 76.3 | 17.9 | 58.3 | 15.0 | 53.4 |
| CLAP 教师 | 79.2 | 29.6 | 74.9 | 22.9 | 68.3 |
表中在 Clotho 双向检索上混合 0.10 与纯文本目标的差距在 0.5 个百分点以内，具体为 17.9% 对 17.8%、58.3% 对 58.2%、15.0% 对 14.5%、53.4% 对 53.0%，而 UrbanSound8K 分类为 76.3% 对 73.0%，相差 3.3 个百分点，因此不能把 0.5 个百分点推广到全部域外任务。域外 Clotho 检索整体低于教师，论文归因于泛化间隙，因为教师见过 AudioCaps 加 Clotho，而学生只在 AudioCaps 翻译上训练。
模态间隙 × 质心 × 配对相似度： 模态间隙指对比学习后音频嵌入整体与文本嵌入整体分处不同区域的现象，质心指一类嵌入的平均方向，用于看两团整体偏离多远，配对相似度指同一音频与其对应描述的相似度，用于看逐例对齐好不好，三者结合才能解释为什么整体靠近了检索仍可能不好，以及混合目标的微小位移为何带来检索提升。
结论在什么条件下才成立，还有哪些没测
论文的结论附带明确条件。第一，翻译质量是上限，当前最优结果依赖 GPT-4o-mini 带音频上下文的翻译，若换成通用翻译，保真度和下游任务都会大幅下降，因此低资源语言若没有高质量翻译，复现效果会打折。第二，超过教师仅限域内 AudioCaps 检索，Clotho 检索和两套零样本分类仍低于教师，不能理解为全面超越，域内音频到文本检索的容易性也与 1 对多标注结构有关。
第三，多语言联合优于分语言的结论是在文本教师目标下得到的，混合目标下的逐语言差异原文未报告平均之外的细节，只能说趋势在各语言成立，但具体数值仍需自己跑。未胜出项也很清楚：音频教师均方误差在保真度和任务上都较差，纯音频对比目标的分类也明显偏低。尚未评测的范围包括真实印度语言人写描述而非机器翻译描述上的表现、生成和描述等任务，以及误判率和延迟之外的部署代价，这些都没有测量就不能承诺改善。
复现第一步做什么，需要哪些关键设置
值得尝试的时机是：已有英文 CLAP 可用、目标语言没有音频描述对、但能获得质量较好的英文到目标语言的翻译，且任务是检索或模板式零样本分类。复现第一步不是重训音频，而是准备三元组并缓存教师嵌入：取 AudioCaps 训练集的英文描述，用选定的翻译管线得到 9 种语言版本，再用冻结的 CLAP 英文文本编码器和音频编码器分别算出教师向量并保存。
接着用 XLM-RoBERTa-base 加平均池化、线性投影和归一化搭建学生，端到端微调，批量 256，AdamW，线性预热 1000 步，峰值学习率 2 乘以 10 的负 5 次方，余弦退火到 10 的负 7 次方，梯度裁剪 1.0，最多 30 轮，均方误差看验证损失早停，对比类看验证 R@1 早停。建议先跑文本教师目标建立基线，再扫描混合权重，重点看 0.10 附近。关于资源，论文正文只给出来源链接的提及情况，本次核验中第三方链接可达只证明论文提到了该地址，不等于作者已开源或权重可下载，代码、权重和可运行系统要分开确认，不可混为一谈。
如何一句话记住方法与取舍
把整篇工作连起来看，输入是冻结教师提供的英文语义位置和音频位置，输出是能放进同一地图的印度语言句子向量，中间的桥梁是高质量翻译加混合蒸馏。文本项保证概念结构不走样，对比项把整体从文本极向音频极拨动一点点，这一点点足以让域内检索超过教师，但分类仍需要更完整的教师结构，因此权重必须折中。联合多语言训练通过参数共享提高了保真度，但仍受翻译噪声和域外泛化的限制。
还需要补的验证是：在真实人写印度语言描述上的测试、在更多类别模板和更多音频域上的稳定性，以及把模态间隙从相关观察推进到因果验证。记住这三句话，就能在不夸大论文价值的前提下复述关键步骤并判断何时可以直接套用、何时需要重新调翻译和权重。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses