先读出发音再写出文字:音素前置如何约束语音大模型的声学对齐
针对语音编码器偏发音而大语言模型偏语义的对齐错位,该文提出先预测音素再生成文本的联合训练,在 100 小时低资源和 960 小时及荷兰语条件下报告词错率下降,代价是输出变长与仍需低秩适配。
针对语音编码器偏发音而大语言模型偏语义的对齐错位,该文提出先预测音素再生成文本的联合训练,在 100 小时低资源和 960 小时及荷兰语条件下报告词错率下降,代价是输出变长与仍需低秩适配。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
该研究针对博杰普尔语到印地语和爱尔兰语到英语的低资源语音翻译,采用先转录后翻译的级联路线,比较不同语音识别前端与直接和经中间语言的翻译路由,最强证据是博杰普尔语开发集上直接翻译取得 BLEU 25.59、chrF++ 42.48、TER 63.83,代价是爱尔兰语需换专用识别模型才达到全覆盖且仍依赖代理诊断而无标准翻译分数。
针对统一低秩适配破坏解码器中间层共享语义的问题,该研究按 U 形结构分配秩并用奇异值尾部方向冻结中间层,在 18 个低资源语言上以约五分之一参数达到与标准低秩相当的平均词错误率,并在极低数据下更稳定,代价是平均掩盖了分语言差异且未验证推理延迟。
针对连续西班牙语静音发音重建中说话人发音差异大且数据少的问题,论文提出每轮按音素平均误差自适应调整帧级损失权重的方法,在肌电和唇读两种模态上以字符错误率为主要证据显示多数说话人可懂度提升,但增益随预训练增强而减小且呈说话人依赖。
该研究复核一篇中库尔德语语音合成公开释放,问题是论文、模型卡与文件三者是否一致,方法是逐项比对配置、评测与许可,最强证据是三系统合成分为 4.08、4.01、4.06 且与各自录音质量同序,主要代价是测试集未标记、识别器兼做转写与评分以及禁改许可限制了公开修正。
AURA-ST 针对豪萨语、伊博语、约鲁巴语到英语的低资源语音翻译,用双流声学编码加 4 倍卷积压缩把音频变成冻结 Gemma-4-E2B 的前缀,并只调 MLP 的 LoRA,在教师强制代理 BLEU 上达到 91.29,但自由自回归解码的 SpBLEU 仅为 19.5、5.2 和 4.6,暴露了严重的暴露偏置代价。
该研究把希腊音频数据集扩展为片段对齐的歌词转写基准,在同一协议下对比 Whisper 三种规模与转写翻译配比及先语音后歌声的两阶段适配,报告 Large-v3 两阶段词错误率 27.2%,代价是翻译辅助只在小容量模型上为正且增强与复调训练均未获益。
该研究在 2000 句共享英语-约鲁巴语码切换集上对比 6 个专用语音识别系统与 5 个音频语言模型,报告 Parakeet 与 Kimi-Audio 总词错率几乎相同但后者在切换边界显著更好,代价是约鲁巴语词错误普遍超过 97% 且生成式模型存在提示依赖的过度生成。
该综述把印度语言 NLP 按六大组十七个细粒度任务重组,用 200 余数据集、50 余评测和 100 余模型工具的覆盖来暴露语言与任务的不均衡,并以可核对的资源清单支撑后续复用。
该文针对泰语、越南语、斯瓦希里语和印尼语构造六类复杂文本诊断集,用内容一致性、语言一致性和生成稳定性三维指标比较 OmniVoice、VoxCPM2 和 MMS-TTS,发现数字日期与混写输入带来最集中的内容与时长失效,而轻量文本风险分与内容错误呈中等正相关但几乎不能预测语言混淆。
针对 HeyJay!数据集的三级构音障碍严重程度分类问题,论文用冻结的 wav2vec 2.0 Large XLSR-53 做特征提取加约 67000 参数的可训练解码器,在说话人独立五折交叉验证下取得话语级准确率 64.6%、说话人级准确率 80.2%,代价是中度与重度边界仍存在与专家分歧同构的混淆。
针对构音障碍等病理语音与常态语音声学失配问题,该研究在冻结 Voxtral-Mini 全部权重下用 x-vector 驱动的逐层 FiLM 做说话人条件化,在 TORGO 和 NeuroVoz 上以约 1.6% 可训练参数获得接近微调的识别与问答保持能力,但原始识别输出更依赖后处理纠错。
针对北部库尔德语 Badini 变体缺平行语音文本问题,论文用 2000 句英译巴迪尼加 45 人录音验证得到 5224 条 15 小时 40 分钟语料,最强基线 W2V-BERT CTC 在测试集词错误率为 55.07%,而语音到文本翻译 BLEU 仅 5.24,代价是小数据微调仍难克服方言与书写差异。
论文在 Archi 与 Kina Rutul 两种东高加索濒危语言上整理约 45 分钟与 75 分钟训练语音并统一为 IPA 转写,对比 CTC 专用模型与 Whisper 及音频大语言模型,发现音素 F1 随对数训练频次呈 S 形增长,而面向语音的专用结构加语言相关词表与平均初始化在可运行条件下取得更低错误率,但稀有复合音素仍近乎无法识别。
针对博杰普尔语到印地语新闻领域语音翻译,论文比较了 Wav2Vec2 加 NLLB 解码器的端到端适配方案与 Whisper 加 NLLB 的级联加 QE 融合方案,最强可复述证据是开发集端到端 32.77 分与级联经 QE 融合后 COMET 提升,但测试集大幅回落暴露了标注噪声与适配器泛化瓶颈。
共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读
该工作以中库尔德语到英语自发语音翻译为目标,对比用真实语音经语音识别加机器翻译做伪标签与用语音合成加机器翻译造数据两条路线,最强证据是伪标签训练的端到端模型在开发集 25.73、测试集 21.09 的 BLEU,代价是依赖已微调好的识别与翻译模型以及严格过滤,而纯合成数据在自发语音上明显偏弱。
针对马普敦贡语到西班牙语的极低资源语音翻译,论文冻结 Canary-1B-v2 并只训练约 589k 参数的线性适配器、用英语源语言占位实现翻译方向劫持,开发集上时长过滤版本取得 1.56 的词错率和 3.7 的 BLEU,测试集上过滤版本取得 0.82 的 BLEU 和 14.31 的 chrF2++,代价是仍存在重复解码和极低的绝对分数。