跨语言

该研究以三词同调句和中性基线相减的增量测量检验彝—汉语双语者的汉语焦点韵律，显示焦点词基频与强度扩张与北京对照组相当而焦点后压缩完全缺失，且语言经验不能预测焦点后基频，四项经验预测量均不显著。

论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练，最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右，人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍，但跨语言联合只带来微弱且不显著的提升。

论文以能否保留副语言信号为问题，用八个开源克隆模型在复述与固定文本下做下游分类对照，最强证据是 176 组配置均显著高于随机且跨语言克隆训练显著优于英语直接迁移，代价是多数配置仍有中位数 3.2 个百分点的下降且与语内训练仍有差距。

该研究用英语音频加电磁发音数据同时估计 6 个口腔声道变量和周期性、非周期性、基频 3 个声源特征，再以鼻音度为腭咽代理跨语言测试，在未见过的法语和俄语上分别保持约 0.83 和 0.74 的平均相关，代价是俄语受噪声和鼻化差异影响更大且腭咽评估样本很少。

论文把逐字与意图两种转写策略显式为解码器前缀标签并配对监督，用监督交叉注意力做词级对齐、用转写提示做补全，在英语训练零样本德语上把不流畅事件 F1 从约 10% 提升到 90% 以上，代价是需要成对转写与词边界监督及两阶段微调。

该研究让 101 名英语单语听者与冻结的英语单语 Whisper-medium.en 和 HuBERT-large-ll60k 在相同法语、日语、希腊语、泰语情绪语音上做六选一判断，发现三者都显著高于 21.4% 的机会水平，但人类偏向中性与负情绪而模型偏向快乐与惊讶，且 HuBERT 整体高出人类 6.8 个百分点。

针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题，论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练，并用统一罗马化和双码本缓解竞争，在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5，代价是需要目标域音频加文本和两阶段训练。

论文把序数情绪识别改写为双语音比较任务，用语义描述加 GeMAPS 声学证据生成比较推理轨迹，再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B，在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线，而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。

针对中英混语唇语数据稀缺问题，论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型，在 CSLR 上把混合错误率降到 16.48，代价是纯单语中文识别仍明显弱于原始多语基线。

针对病理性语音标注稀缺问题，论文提出跨语言检索增强分类 CRAC，用有监督对比对齐做跨语言检索再做交叉注意力融合，在韩国脑卒中和意大利 ALS 两套数据上受试者级平衡准确率达到 87.3% 和 86.7%，代价是需要维护异语言向量库并调检索数 k。

针对跨语言语音情感识别中编码器过拟合语料特异线索的问题，该文用类原型锚定的条件扩散学习样本-原型双向变换，在英日互测中欠拟合侧分别提升 6.42 和 4.00 个百分点，代价是需联合训练去噪器与分类器并调节成对与循环约束权重。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

该研究把冻结语音编码器的多层向量序列变成两两内积的二维自注意力权重图再用可训练 VGG-19 做多标签口吃检测，在中英德零样本评估中保留单语 F1 的 77-98% 并在词重复上超过最优模型，但在阻塞延长等声学主导类型上落后约 10-23%。

论文以音素受控仿真加英到日真实跨语言两路对照，检验预训练语音合成模型在微调中学习未见目标音素的能力，发现微调自然度更高但达到相同目标音素错误率需要相同或更多数据，说明预训练主要改善自然度而对音素增加帮助有限。

论文只改变输入归一化来训练识别墨西哥西班牙语元音的多层感知机，再用美国英语元音测试其归类与不懂英语的西班牙听者数据的吻合度，最强证据是 Lobanov 在平均绝对误差、均方根误差、相关和首选类别一致数上全面最优，代价是它以抹平说话人与语言间差异为前提，只适用于初始态建模。

针对零样本跨语言语音情绪识别中语言失配与无目标标注问题，论文用有监督对比拉齐跨语言同情绪表示并用说话人对抗去说话人线索，在九组零样本任务上平均 UAR 达 82.26%，代价是仍需多语言有标注训练数据且未闭合与有监督上限的差距。

针对印度语语音克隆掉词慢且部署重的问题，该工作用 10 秒参考音生成合成语料并经四阶段过滤后微调带双位置说话人条件的 FastSpeech2，在印地语等四种语言上把可懂度和自然度做上去，同时把推理加速 53 倍，代价是说话人相似度略低于直接以参考音为条件的基线。

针对语音大模型中高资源语种翻译好而低资源与零样本语种差的表示不可比问题，POTSA 冻结编码器与大模型只训练 Q-Former 并用偏置补偿加令牌级最优传输做跨语言对齐，在 FLEURS 五语种平均提升 1.29 BLEU 且零样本平均提升 2.93 BLEU，代价是每语种需 10 小时平行语音并引入额外对齐损失与层调度。

针对跨语言和噪声下说话人确认易把语言当成身份的问题，该文先用弧面间隔损失在多语言数据上微调 ReDimNet-B6，再冻结主干训练轻量三元组投影网络，开发集等错误率从基线 3.07% 降到 1.58%，代价是最易条件出现 0.07 个百分点回退且盲测集仍明显高于开发集。

针对 GAN 声码器域内保真与未见场景泛化不足的问题，论文提出用语音自监督表示辅助的质量差距加相对配对反馈的训练目标 RAF，在 LibriTTS 训练并在多未见集验证，最强证据是 RAF 版 BigVGAN-base 在感知指标上超过参数量约 8 倍的 LSGAN 版 BigVGAN，代价是训练需更长片段、自监督模型与梯度惩罚带来更高训练开销。