📄 为巴斯克语做一个能听会说的语音语言模型
评分：5.8/10 | 创新 1/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Andoni Sudupe：机构信息未能在本次解析中与作者逐人可靠绑定
- Inma Hernaez：机构信息未能在本次解析中与作者逐人可靠绑定
- Ander Arriandiaga：机构信息未能在本次解析中与作者逐人可靠绑定
- Christoforos Souganidis：机构信息未能在本次解析中与作者逐人可靠绑定
- Ibon Saratxaga：机构信息未能在本次解析中与作者逐人可靠绑定
- Eva Navas：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
能听懂巴斯克语口语并用同语言文字和语音回答的系统是对象，输入为巴斯克语语音，输出为文字回答和语音波形，难点是无语音指令三元组且从头多模态预训练成本过高。系统沿LLaMA-Omni模块化结构，以Latxa-3.1-8B-Instruct为主干，Whisper-large-v3-eu编码语音经语音适配器映射到词嵌入空间，非自回归语音解码器由主干隐状态并行预测离散单元再经Unit HiFi-GAN合成波形。数据上把英文VoiceAssistant-400K译为巴斯克语口语问答，再用VITS合成语音并经微调mHuBERT聚类提取离散单元，构成约45万条三元组。训练分两阶段，先冻结编码器训练适配器和主干以听懂语音并生成文字，再冻结前三部分只训练语音解码器对齐变长单元序列。在与训练不相交的4419条合成指令上，内容质量LLM-as-a-judge Score本系统为3.86/5，低于英文LLaMA-Omni在各自英文条件下的3.99/5但高于Qwen2-Audio的3.47/5。同批合成评测经巴斯克语Conformer识别的词错率为9.94%，低于英文LLaMA-Omni在各自英文ASR条件下的10.82%，音频质量预测值UTMOS为3.07，低于英文基线的3.62至4.22，流式延迟在A100上按块大小40测得370 ms，高于LLaMA-Omni的346 ms而远低于SpeechGPT的5587 ms。该结论仅适用于同分布合成评测，未经真实口语验证，判分模型与主干同族且UTMOS主训于英日语音，两阶段各训练3轮合计不足100小时，使用4张NVIDIA A100 80GB。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
这篇论文要解决什么输入输出问题
这篇论文研究的是巴斯克语的端到端语音交互。输入是一段用户说出的巴斯克语语音，目标是系统直接听懂并用巴斯克语语音回答，中间不经过先识别成文字、再用文字大模型回答、再用语音合成读出来的 3 段级联管线。
为什么要绕开级联管线，论文给出的理由很具体。级联结构容易丢失语音里的语义信息，每 1 级的错误会累积到下 1 级，而且 3 段串行带来较高的响应延迟。直接处理语音的语音语言模型希望把理解和生成放在同一个模型里，文本回复和语音回复并行产生，从而降低延迟。
对巴斯克语这样的低资源语言，困难在于两头都没有现货。一头是语音指令数据，公开可用的巴斯克语三元组几乎不存在；另一头是同时会巴斯克语文字又会巴斯克语语音的大模型也不存在。论文把任务限定为先做出第一个开放的巴斯克语语音语言模型，验证在没有大规模多模态预训练的条件下，能否靠模块组装加合成数据走通。
已有路线为什么还覆盖不到巴斯克语
论文把相关路线分成两类。第一类是论文中描述的原生多模态系统，它们能直接处理和生成语音，但论文指出其主要用英语和中文训练，不覆盖巴斯克语。第二类是论文中提到架构上可借鉴的 LLaMA-Omni、LLaMA-Omni2 和 Spirit LM 等，论文指出它们同样几乎只关注英语和中文。
巴斯克语在文本上本来就落后，引入语音后差距更大，因为音频本身必须属于目标语言，不能靠英语音频凑合。论文因此没有去做一个新的基础大模型，而是选择跟随 LLaMA-Omni 的模块化设计。论文给出的两个实际原因是 LLaMA-3.1-8B-Instruct 已有巴斯克语适配版本 Latxa，以及预训练模块能大幅减少训练算力，这对低资源语言更现实。
在语音侧，论文沿用了已有路线的分工。输入侧用 Whisper 做编码器，输出侧用从 HuBERT 表示聚类得到的离散单元加 Unit HiFi-GAN 声码器来合成波形。这部分不是论文新发明的声学原理，而是把英语路线里验证过的组件换成巴斯克语适配版本，再解决数据和训练配方问题。
数据缺口具体卡在哪三种数据上
论文把所需数据分成 3 种，每种对应一个要训练的模块。第一种是音频加转写文本对，用于把 HuBERT 微调成能提取巴斯克语离散单元的编码器。第二种是离散单元加音频对，用于训练 Unit HiFi-GAN 声码器。第 3 种是语音输入、文本输出、离散单元输出的三元组，用于训练完整的语音语言模型，要求问答本身是口语化、对话式的。
其中第 3 种最稀缺。巴斯克语没有公开的语音指令数据集，录制几十万条真实对话既贵又慢。论文的思路是先用高质量英语文本指令集 VoiceAssistant-400K 做底，再翻译成巴斯克语，再用巴斯克语语音合成补上音频，最后从回答音频中提取离散单元，拼成三元组。
这样做的前提是翻译不能是生硬的机器翻译腔，合成语音要覆盖足够多的提问人声音，而回答声音要与声码器训练的声音一致，否则训练和推理时的离散符号会错位。后面几节就是围绕这 3 个条件展开的。
整个系统让一个语音样本走完需要哪几步
可以沿着一次用户提问理解全流程。用户说出一句巴斯克语，Whisper-large-v3-eu 先把它编码成连续语音表示。这个表示时间分辨率很高，直接喂给大语言模型太长也对不齐词嵌入空间，所以语音适配器先做降采样缩短序列，再经过两层带 ReLU 激活的前馈网络，把维度投影到大语言模型的嵌入维度，然后拼进提示里。
主干模型是 Latxa-3.1-8B-Instruct，它是在 LLaMA-3.1 架构上专门为巴斯克语微调过的文字模型，负责保证句法、形态和语义理解。模型读到语音嵌入后，产生文本回复，同时把产生文本之前的隐状态交给语音解码器。语音解码器先上采样到音频所需的时间长度，再用非自回归 Transformer 预测离散单元序列，最后由 Unit HiFi-GAN 把离散单元变成波形。
推理时为了低延迟，离散单元按块处理。当生成的单元数达到预设块大小，记为 Ω，就把这一段送给声码器合成并立即播放，用户不用等整句做完。这种文本与语音并行、语音分块流式合成的设计，是论文所说的区别于先生成完整文本再合成的关键。
输入侧编码器和适配器各自解决什么困难
输入侧有两个部件，分工不同。Whisper-large-v3-eu 是已经为巴斯克语语音识别适配过的编码器，它解决的是把波形变成对音素和词汇敏感的连续表示。论文没有重新训练它，在语音语言模型第一阶段它是完全冻结的。
语音适配器解决的是模态对齐问题。语音帧序列比文本词序列长得多，维度也与大语言模型不一致。适配器通过降采样减少时间长度，再做非线性投影，让语音表示看起来像大语言模型能接受的嵌入。第一阶段只训练适配器和大语言模型，就是为了学会这种对齐，同时让大语言模型输出简短口语化的回复。
Whisper 编码器 × 语音适配器： Whisper 编码器负责把巴斯克语输入语音变成连续声学表示，语音适配器负责先降采样缩短时间长度再经两层前馈网络映射到大语言模型的词嵌入维度，二者搭配才能让冻结或微调的文本主干读懂语音而不重做大规模多模态预训练。
输出侧如何从隐状态并行得到语音
输出侧的关键是不依赖中间文本。传统做法是等文本全文生成完再做语音合成，延迟高。论文沿用的做法是取大语言模型在生成文本之前的隐状态，直接学习到离散语音单元的映射，文本和语音两路并行解码。
离散单元来自微调后的 mHuBERT-147。具体做法是把回答语音送进微调后的 HuBERT，取第 9 层隐状态，再用针对 1000 个中心优化的 KK-Means 聚类量化成离散符号。声码器和语音语言模型必须用同一套 HuBERT 和同一套聚类，否则符号含义不一致。
声码器是多说话人配置的 Unit HiFi-GAN，用预训练 ECAPA-TDNN 提取的说话人嵌入来区分声音。训练时只用了 Maider 女声和 Antton 男声两个目标声音，论文说早期实验表明两说话人设置已能抓住必要的副语言特征，又不引入更复杂配置的负担。
大语言模型主干 × 非自回归语音解码器： 大语言模型主干负责理解指令并产生文本回复的隐状态，非自回归语音解码器负责把这些隐状态上采样并一次性预测离散语音单元序列，二者并行解码文本与语音，避免等待完整文本再合成，从而实现低延迟流式播放。
HuBERT 离散单元 × Unit HiFi-GAN 声码器： HuBERT 离散单元是把语音经微调后的 HuBERT 第 9 层表示再做 1000 类聚类得到的离散符号，Unit HiFi-GAN 声码器负责把这类符号加说话人嵌入还原成波形，前者提供与内容强相关的紧凑中间表示，后者负责波形细节与音质，两者必须用同一套 HuBERT 与聚类否则符号对不上。
三个模块分别怎么训练和冻结
论文的训练分成先准备部件、再 2 阶段训练整体。部件准备包括 HuBERT 微调和声码器训练，Whisper 巴斯克语版本和 Latxa 文字主干是现成的，不用重训。
HuBERT 从支持 147 种语言、包含巴斯克语的 mHuBERT-147 出发。论文没有做需要海量数据的持续自监督预训练，而是选择在有 600 小时转写数据的条件下微调做语音识别。数据是 composite-eu，把 CommonVoice、BasqueParliament 和 OpenSLR 3 个巴斯克语公开集合整理合并而成。训练配了 100 轮、批量 64，在一块 NVIDIA H100 80 GB 上用 Hugging Face Transformers 库跑了约 400 小时。
声码器用 SpeechBrain 实现，在巴斯克语语音合成数据集上训练。该集有两个说话人，Maider 和 Antton，每人约 13500 句、平均每句 4 秒，每人约 16 小时。最终训练 1000 轮、批量 128，在一块 H100 上约 10 小时完成。
整体语音语言模型分 2 个阶段。第一阶段目标是听懂语音并生成连贯文本，冻结语音编码器，只训练语音适配器和大语言模型，用标准的下一词预测交叉熵损失，并要求输出简短口语化。第二阶段目标是并行生成语音，此时冻结编码器、适配器和大语言模型，只训练非自回归流式语音解码器，以大语言模型隐状态为输入，用联结时序分类损失学习变长对齐，不需要在训练数据里提供显式的文本到语音对齐。2 阶段各跑 3 轮，按 LLaMA-Omni 推荐超参数，在 4 块 NVIDIA A100 80 GB 上总计不到 100 小时。
第一阶段语音理解 × 第二阶段语音生成： 第一阶段语音理解只训练语音适配器和大语言模型、用交叉熵学从语音到文本回复的映射，第二阶段语音生成则冻结编码器、适配器与大语言模型、只用 CTC 损失训练语音解码器去对齐变长离散单元序列，分阶段是为了先保证听懂和会答，再单独解决语音并行生成而不破坏已学到的理解能力。
合成三元组数据是如何一步步造出来的
语音语言模型的三元组是合成管线的产物。第一步是文本指令，先取英语 VoiceAssistant-400K，它本身已是口语化结构，再用 Latxa-3.1-70B-Instruct 按严格规则翻译成巴斯克语。论文强调这样做是为了去掉常规机器翻译常带来的直译腔和解析错误，保证文化和句法适配。
第二步是音频合成，用 VITS 端到端语音合成系统。提问部分用 14 个合成声音、男女各半，保证提问人多样性；回答部分则固定用训练声码器的同一个说话人，保证回答音频的离散单元与声码器一致。
第三步是提取回答的离散单元，用微调后的巴斯克语 HuBERT 取第 9 层加 1000 类 KK-Means，与声码器完全同源。最终得到约 450,000 个问答对，提问音频约 550 小时，回答音频超过 3300 小时。论文把它定位为端到端多模态对齐的可行基线，而不是真实对话分布的完整替代。
需要提醒初学者，这套数据从文本翻译到语音都是合成的，优点是规模大、格式统一，代价是口音、噪声、停顿和真实用户表达的多样性都与真实语音有差距，后面评测的结论也要在这个前提下理解。
评测分成哪两块，每块测什么和用什么工具
评测分部件和端到端两块。部件评测看 HuBERT 和声码器本身。HuBERT 虽然最终用途是提离散单元，但因为是用语音识别微调的，就用语音识别的词错误率和字错误率来检验其表示是否抓住巴斯克语音素特性。声码器用梅尔倒谱失真衡量从离散单元重建波形的质量，这个值越低越好，通常低于 5 到 6 分贝被认为合成质量高。
端到端评测看完整对话系统的三件事。内容质量用大模型当评委，让 Latxa-3.1-70B-Instruct 按严格规则从有用性、相关性、事实准确性和巴斯克语流利度打 1 到 5 分。音频质量用 UTMOS 预测器，它主要在英语和日语上训练，对巴斯克语只是指示性分数。语音可懂度是把生成语音用巴斯克语 Conformer 识别模型转写，再算词错误率和字错误率，只统计巴斯克语部分。
测试集是 4419 条合成指令，与训练数据不重叠，但用的是同一套合成管线，测试时也没有真实巴斯克语语音。因此这是在分布内的自动评测，真实用户语音上的表现还没有测。
内容质量评分 × 语音可懂度 × UTMOS 音频质量： 内容质量评分衡量回复是否有帮助、相关、准确且巴斯克语流利，语音可懂度用巴斯克语识别模型转写合成语音再算词错误率来衡量发音是否听得清，UTMOS 音频质量衡量听感上的合成自然度，三者分别回答说什么、听不听得清、听起来好不好，不能互相代替。
部件本身学得怎么样
先看两个部件的独立结果，这决定了后面端到端的天花板。下表比较的问题是 HuBERT 表示与声码器重建是否达到可用水平，指标方向是词错误率越低越好、梅尔倒谱失真越低越好。
| 条件 | 指标 | 结果 |
|---|---|---|
| HuBERT 微调 100 轮后，composite-eu 测试集 | 词错误率 | 4.90% |
| 声码器训练 1000 轮 2 说话人，Antton 声音 | 梅尔倒谱失真 | 4.8 dB |
| 声码器训练 1000 轮 2 说话人，Maider 声音 | 梅尔倒谱失真 | 5.1 dB |
论文报告微调后的 HuBERT 在 composite-eu 测试集上词错误率为 4.90%，认为有效抓住了巴斯克语音素特性，接近巴斯克语识别的先进基线水平。声码器侧 Antton 为 4.8 分贝、Maider 为 5.1 分贝，都落在论文所说的高质量区间内，多说话人策略在早期实验中表现出更好的音质和稳定性。
这部分没有给出拿掉多说话人或换层的对照数字，所以只能说当前配置可用，不能推出哪一处改动必然带来多少提升。部件好不等于端到端一定好，因为端到端还受大语言模型理解、解码器对齐和合成管线一致性的影响。
完整系统在内容、可懂度和延迟上表现如何
端到端要回答的核心问题是合成数据训出的巴斯克语系统能否同时保证说什么清楚、听得清、延迟低。下表整理了论文报告的关键数字，内容分越高越好，可懂度词错误率越低越好，延迟越低越好，UTMOS 越高越好。
| 条件 | 指标 | 本方法结果 |
|---|---|---|
| 4419 条合成指令，大模型评分 1 到 5 分 | 内容质量 | 3.86 |
| 生成语音经巴斯克语识别转写 | 词错误率 | 9.94% |
| 生成语音经巴斯克语识别转写 | 字错误率 | 1.62% |
| 生成语音，UTMOS 预测 | 音频质量 | 3.07 |
| A100 显卡，块大小 40，流式合成 | 延迟 | 370 ms |
论文报告平均内容分为 3.86，语音可懂度词错误率 9.94%、字错误率 1.62%，音频质量 3.07，流式延迟 370 毫秒。论文把 370 毫秒与 LLaMA-Omni 的 346 毫秒对比，认为接近，而级联式的 SpeechGPT 为 5587 毫秒，差距很大。延迟的测量条件是 NVIDIA A100 80 GB、块大小与 LLaMA-Omni 相同，换硬件或换块大小结果会变。
与英语系统的对比只能看趋势，不能当严格胜负。英语数值来自不同评委、不同识别模型和不同合成语音，论文原表也注明跨语言数字只是指示性、不可严格比较。在这个前提下，3.86 略低于 LLaMA-Omni 的 3.99，高于 Qwen2-Audio 与 SALMONN 组合的 3.4 左右；可懂度 9.94% 与 LLaMA-Omni 英语的 10.82% 量级相近，但与 LLaMA-Omni2-7B 的 3.26% 还有差距；音频质量 3.07 落后于所列英语基线，这是最大的短板。
哪些对照缺失，哪些差距已有明确指向
这篇论文没有做常规的消融表，比如拿掉适配器、冻结与微调主干的对比、单说话人与多说话人声码器的完整数字对照。能看到的只有文字层面的早期实验结论，即多说话人声码器在音质和稳定性上更好，所以最终选了两说话人配置。初学者不要把这种文字结论当成可复述的提升幅度。
已有明确指向的差距是音频质量。部件的梅尔倒谱失真显示声码器重建本身不差，但端到端 UTMOS 只有 3.07，明显低于英语基线。论文把未来工作指向更有表现力的语音合成系统，暗示瓶颈可能在回答语音的合成质量和表现力，而不只是声码器重建误差。
另一个缺失是真实语音测试。训练和测试都来自同一套合成管线，测试集虽与训练不重叠，但说话人、信道和表达方式仍在同一分布内。论文明确说真实用户语音上的结果还有待测试，因此 3.86 分和 9.94% 词错误率应理解为在分布内合成条件下的可行性证据，而不是部署到真实环境的保证。
结论在什么条件下才成立
第一个限制是评委与主干同族。内容质量的评委是 Latxa-3.1-70B-Instruct，它与 8B 主干同家族，也参与了翻译，论文承认可能存在自偏好偏差。由于缺少第二个评委模型和巴斯克语人工标注，只能把 3.86 当作有偏差风险的自动评分。
第二个限制是音频质量工具不匹配。UTMOS 主要在英语和日语上训练，巴斯克语分数只是指示性，不能当绝对听感排名。第 3 个限制是可懂度依赖特定识别模型和合成语音质量，换识别模型或换真实语音，词错误率会变。
第四个限制是来源可复现性。本文依据的原文没有提供经校验可用的代码、模型或数据链接，写作时不得声称已公开。论文正文提到材料在 HuggingFace 和 Github，但本次没有收到可验证的可用资源，因此复现讨论只能按论文描述的步骤走，不能承诺开箱即用。
最后，跨语言对比表本身注明不可严格比较。不同语言、不同评委、不同识别与合成条件下，数字方向可以参考，但不能写成巴斯克语系统超越或等同于某个英语系统。
如果要复现第一步该准备什么
复现的第一步不是直接训端到端，而是先把数据和部件对齐。需要准备 600 小时量级的巴斯克语转写语音用于 HuBERT 语音识别微调，准备双说话人、每人约 16 小时的语音合成数据用于 Unit HiFi-GAN，还要准备 VoiceAssistant-400K 的翻译与合成管线，包括 70B 翻译模型、VITS 合成系统、14 个提问声音和固定的回答声音。
第二步是保证离散单元一致。用同一套微调后 HuBERT 的第 9 层和同一套 1000 类聚类，同时服务于声码器训练和语音语言模型第二阶段，并用 ECAPA-TDNN 说话人嵌入区分 Maider 与 Antton。任何一处换模型或换层，都要重训声码器和解码器，否则符号错位。
第三步再按 2 阶段训整体。第一阶段冻结编码器、训练适配器和大语言模型；第二阶段冻结前三者、只训语音解码器。硬件上原文是 HuBERT 一块 H100 约 400 小时、声码器一块 H100 约 10 小时、端到端 2 阶段在 4 块 A100 上总计不到 100 小时。没有相同硬件时，时间只能按比例估算，不能直接承诺。
什么时候值得尝试这种路线，还缺哪项验证
当目标语言有可用的文字大模型适配版本、有几百小时转写语音、有十几小时高质量合成数据，但没有语音指令数据时，这条路线值得尝试。它用翻译加大模型润色解决文本侧，用多声音合成解决提问多样性，用固定回答声音加统一离散单元解决声码器一致性，避免了大规模多模态预训练。
值得尝试不等于直接可用。论文的证据只支持在合成分布内走通了听懂、会答、能说、延迟低，内容分和可懂度与英语路线量级相近，但音频质量落后。下一步最需要补的是小规模人工评测和真实非合成巴斯克语语音测试，再加第二个独立评委，才能确认自动分数是否与人的听感和有用性一致。
对刚入门的研究生，复述时抓住三句话就够了。系统是 Whisper 加 Latxa 加适配器加并行语音解码器加声码器；数据是英语指令翻译成巴斯克语再合成三元组；结论是合成数据加模块组装在分布内可行，但音质、评委偏差和真实语音泛化都还没有解决。
📎 论文与评分元数据
排名：前50% | 文档类型：模型报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses