不问老人、只学专家:用在策略奖励学习缓解慢速偏执的长辈语音合成
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
针对老年听辨需求,论文用医护专家示范代替老人偏好标注,以专家奖励加发音奖励的复合奖励做 GRPO 微调,并用两阶段在策略奖励学习抑制奖励黑客行为,最强证据是第二阶段在可听性与老人 MOS 上同时超过 SFT 与无 OPRL 的 GRPO,代价是专家数据仅 1.5 小时且需多轮奖励模型重训。
针对无声唇视频生成可懂、自然且口型同步语音的问题,LipAdapter 冻结视觉语音识别与多语 TTS、只训练文本到视频对齐以预测唇形引导的音素时长,在 LRS3 上用 30 小时训练达到 21.2% 词错率,但短于 1 秒的片段同步置信度明显下降且依赖上游识别文本质量。
针对南阿塞拜疆语标注极少且用阿拉伯字母书写的问题,论文用社区朗读、北阿塞拜疆语音转写和独立难例集三路建数据,并在八个模型上做微调对照,最强证据是社区微调后的 MMS 在 GoldSet 上取得相对最好的词错率,但长短句、书写歧义和跨方言声学差异仍带来明显代价。
针对家庭间域偏移与多说话人重叠的婴儿中心家庭录音,该工作用 LoRA 微调的 Whisper 编码器加目标说话人提取与分层分类器做帧级多层标注,报告平均 74.88 Macro-F1 与 68.14 κ,最强证据来自消融与跨层比较,代价是测试家庭偏移未显式建模且测试时自适应增益有限。
针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。
论文把 Fisher 白化后的输入误差互协方差用于构造语音模型的低秩适配子空间,并在相同可训练参数量下比较均匀秩、自适应秩与跨层共享,报告自适应秩分配在 Whisper 与 Qwen3-ASR 上对标准 FCCA 最稳定地降低词错误率,但仍落后于大预算 LoRA 与全量微调。
ARIS 用神经网络只做从波形到声码器系数的分析、用无参数 DSP 做合成,在每人不足 1 小时的五个单人语料上达到与 WORLD 可比的拷贝合成质量,并以约一半于 KlattGrid 的 F2/F3 误差实现单线索编辑,但高频自然度预测分仍略低于微调后的 HiFi-Glot。
论文用田野 9 人约 4 小时加网络 51 人约 94 分钟拼成 60 人 7.5 小时语料,以 Silero 切分加 Wav2Vec2 转写按韵律短语计算莫拉每秒并人工补岛屿和 50 岁二分年龄,发现仅 Nga Pu Toru 年轻人显著快于年长者而另两岛无年龄差,但人脸年龄估计失败使流程只能半自动。
针对孟加拉语缺少长篇单人 TTS 数据的问题,作者构建 20 小时有声书语料 BanglaKontho 并配套文本归一器,用同构 MB-iSTFT-VITS 基线显示 WER 9.5% 与 MOS 4.46 优于 IndicTTS-Bn 复训基线的 16.0% 与 3.16,代价是单说话人叙述风格与非商业许可限制。
该研究针对孟加拉语会话缺少轮次结束标注问题,用播客音频加说话人日志加语言模型初标加人工全检构建 35374 条语料,并用 Whisper 编码器加多尺度池化做二分类,在 319 条异源平衡测试集上达到 84.33% 准确率,代价是误报率升至 23.75%。
论文在特维语、达格巴尼语和埃维语上先用圣经通用域与青少年性与生殖健康域对比五种语音识别系统,再把微调目标从算力不可行的 Gemma 4 转到可在 T4 上训练的 Qwen3-ASR-0.6B 并在严格隔离的人录域内音频上验证,最强证据是埃维语词错误率下降 44.5 个百分点,代价是残余错误仍高且依赖域内验证数据的持续投入。
该文先用英语量化把训练单元从 12.03 秒缩到 0.35 秒的代价,再用短语音训练的单音子模型去强制对齐长语音得到句子级语料,并在 5 种濒危语言上证明 CPU 可训练的 HMM 系统域外性能优于大模型,但 Jejueo 和 Mohawk 仍极难且 Hawaiian 只保留 23.20% 时长。
该文把跨语言文本与语音摘要统一为语义向量序列到法语摘要的生成问题,用 BGE-M3 与 SENSE 对齐的嵌入加 140M 可训练的 SBARThez 实现,在 CrossSum 低资源文本和自建 ABT-SpeechSUM 三语语音上超过级联与 mT5-large 基线,但依赖嵌入空间对齐质量且摘要多为合成参考。
针对大模型语音识别只用文本适配会出现语音文本失配的问题,论文用混合批次把少量配对语音文本和大量文本放在一起训练,在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率,同时更好地保留了源域性能。
该文把低资源与非标准变体的识别失败界定为语言政策问题,提出七层处境模型与误识、错位、失信三害分类及参与式审计修复闭环,代价是未做新架构实验且验证仍待后续多社区审计完成。
该研究把多方言统一到国际音标输入上,用方言感知混合专家缓解合训时的风格平均,再以参数高效微调扩展 3 小时级新方言并以识别反馈的强化学习整合高质量成都话数据,最强证据是强化学习把成都话词错误率从 29.25% 降到 23.93% 并带动西安话等相关方言下降,代价是整体词错误率和主观分仍落后于数十万小时级商业系统且闽南语等远亲方言错误率仍很高。
论文在乌尔都语、旁遮普语、普什图语和信德语上零样本评测五种多语言模型并用 11 维误差分类拆解总词错率,最强证据是转写后处理不重训可恢复最高 25 个百分点词错率,代价是最佳结果仍远高于可部署阈值且短句、稀有词和命名实体持续失效。
针对空中交通管制英语口音重、信道噪声强且真实标注仅 4 小时的问题,该工作用文本转语音、声音转换、双向口音转换加声学仿真合成训练数据,在 ATCO2 上把 Whisper-small 从开箱 63.32% 词错误率降到纯合成 24.18% 与混合训练 21.64%,代价是需先做分离增强、过滤约 35% 幻觉样本并承担额外微调耗时。
针对台语老年居家紧急意图识别,论文构建 21 人 3079 条真实数据集并对比两种野外数据挖掘路线,最强证据是戏剧挖掘预训练再经 1600 条域内适配后达 90.21% 准确率,而直接跨域仅约 70% 上下,代价是细粒度紧急类仍易混淆且轻量模型远落后。
针对正式语料与日常口语失配导致波斯语识别与翻译退化的问题,论文构建 36.77 小时口语优先的非正式平行语料 T-PID 并做针对性文本规范,再在该语料上微调 Whisper 与 Wav2Vec2-BERT 和 NLLB-200,在 T-PID 及正式集上同时降低词错误率并提升 BLEU,代价是英文译文主要由机器生成加抽检、附着词等细节未统一且资源当前不可用 …