不用音素词典做词对齐:把多语表示和可学习的动态规划拼在一起
该文要解决词级强制对齐在多语下的可扩展问题,选择融合 MMS 与无监督音素边界表示再用可学习动态规划定边界,最强证据是在 TIMIT 和 Buckeye 上超过 MFA 与 MMS 基线,代价是编码器与解码器不能联合优化且在荷兰语等未见语言上优势只在部分容差下成立。
该文要解决词级强制对齐在多语下的可扩展问题,选择融合 MMS 与无监督音素边界表示再用可学习动态规划定边界,最强证据是在 TIMIT 和 Buckeye 上超过 MFA 与 MMS 基线,代价是编码器与解码器不能联合优化且在荷兰语等未见语言上优势只在部分容差下成立。
该工作用源语音的二值语音活动掩码约束固定长度修复式合成以实现唇同步配音,最强证据是帧级对齐准确率从约 73% 提升到约 96% 且主观韵律无显著下降,代价是在翻译时长严重失配时出现删读、重复或调序。
该研究用 teat/tit 的静音中段与 peace/piss 的清化替换构造可复述的感知实验,报告日本大学生主要靠元音时长和切断感做判断,保留高频与送气并未提高正确率,代价是短时长条件系统性偏向/ɪ/。
论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差,报告搭嘴误差显著更低且单语 HuBERT 整体最优,但冻结基座与盲目增大规模或语言数都不能保证更好。
针对 Whisper 预训练几乎未见过的低资源受体语言,论文用同语系内正字法分布最接近的施主语言先训 LoRA 再迁移初始化受体 LoRA,在 40-100 小时条件下相对受体单独微调获得约 9%-17% 的词错误率下降,代价是仍需数十小时受体标注语音与施主大语料先训。
针对语音情感标签模糊与训练早期不确定性高的问题,论文提出随训练进程把正确标准从前 k 命中线性收紧到 top-1 的渐进弱监督,用 WavLM-Base 在 IEMOCAP 上报告 78.08% 非加权准确率、在 ViSEC 上报告 85.70%,代价是需要设置初始 k、集中度与三阶段退火 schedule。
针对纯音频讽刺识别任务,ProSarc 用全局情感基线与帧级韵律动态之间的可测不一致做分类,在 MUStARD++ 上报告 F1 为 75.3%,代价是依赖短句韵律对比与单一起点假设且跨语言证据有限。
该研究以三词同调句和中性基线相减的增量测量检验彝—汉语双语者的汉语焦点韵律,显示焦点词基频与强度扩张与北京对照组相当而焦点后压缩完全缺失,且语言经验不能预测焦点后基频,四项经验预测量均不显著。
论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练,最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右,人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍,但跨语言联合只带来微弱且不显著的提升。
论文以能否保留副语言信号为问题,用八个开源克隆模型在复述与固定文本下做下游分类对照,最强证据是 176 组配置均显著高于随机且跨语言克隆训练显著优于英语直接迁移,代价是多数配置仍有中位数 3.2 个百分点的下降且与语内训练仍有差距。
该研究用英语音频加电磁发音数据同时估计 6 个口腔声道变量和周期性、非周期性、基频 3 个声源特征,再以鼻音度为腭咽代理跨语言测试,在未见过的法语和俄语上分别保持约 0.83 和 0.74 的平均相关,代价是俄语受噪声和鼻化差异影响更大且腭咽评估样本很少。
论文把逐字与意图两种转写策略显式为解码器前缀标签并配对监督,用监督交叉注意力做词级对齐、用转写提示做补全,在英语训练零样本德语上把不流畅事件 F1 从约 10% 提升到 90% 以上,代价是需要成对转写与词边界监督及两阶段微调。
该研究让 101 名英语单语听者与冻结的英语单语 Whisper-medium.en 和 HuBERT-large-ll60k 在相同法语、日语、希腊语、泰语情绪语音上做六选一判断,发现三者都显著高于 21.4% 的机会水平,但人类偏向中性与负情绪而模型偏向快乐与惊讶,且 HuBERT 整体高出人类 6.8 个百分点。
针对多语言自监督模型把声学符号对齐推迟到微调导致跨脚本泛化不足的问题,论文在 MMS 基础上插入联合 SSL 与 CTC 的对齐感知持续预训练,并用统一罗马化和双码本缓解竞争,在 FLEURS 上把测试 WER 从直接微调的 47.2 降到双码本的 35.5,代价是需要目标域音频加文本和两阶段训练。
论文把序数情绪识别改写为双语音比较任务,用语义描述加 GeMAPS 声学证据生成比较推理轨迹,再经有监督微调与直接偏好优化训练 Qwen2.5-Omni-3B,在 MSP-Podcast 上以约 5% 语句量的 10k 对训练超越 240k 对训练的排序基线,而推理轨迹在跨域与跨情绪上带来更稳的泛化与可解释性。
针对中英混语唇语数据稀缺问题,论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型,在 CSLR 上把混合错误率降到 16.48,代价是纯单语中文识别仍明显弱于原始多语基线。
针对病理性语音标注稀缺问题,论文提出跨语言检索增强分类 CRAC,用有监督对比对齐做跨语言检索再做交叉注意力融合,在韩国脑卒中和意大利 ALS 两套数据上受试者级平衡准确率达到 87.3% 和 86.7%,代价是需要维护异语言向量库并调检索数 k。
针对跨语言语音情感识别中编码器过拟合语料特异线索的问题,该文用类原型锚定的条件扩散学习样本-原型双向变换,在英日互测中欠拟合侧分别提升 6.42 和 4.00 个百分点,代价是需联合训练去噪器与分类器并调节成对与循环约束权重。
该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练,显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解,且未损害情感识别所需的声学信息。
该研究把冻结语音编码器的多层向量序列变成两两内积的二维自注意力权重图再用可训练 VGG-19 做多标签口吃检测,在中英德零样本评估中保留单语 F1 的 77-98% 并在词重复上超过最优模型,但在阻塞延长等声学主导类型上落后约 10-23%。