罗马尼亚语逆文本规范化:规则精度与大模型泛化的取舍
该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示,显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%,而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。
该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示,显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%,而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。
针对歌唱质量评价中歌词与音乐脱节、颤音与拖腔导致转写错位的问题,论文提出按语义块对齐的内容与音乐双路框架 MUSICJUDGE,在自建 SWARALYRICS 上取得与专家排序 Spearman 0.683 的报告相关性,代价是依赖伴奏估计全局调性与多步流水线实现。
针对车舱中文多意图口语理解缺少复杂基准的问题,论文构建含 8 域 81 意图 192 槽位的多意图数据集并统一评测多类大模型与大音频模型,报告显示上下文学习总体准确率不足 15% 而域内微调可达 60.73%,端到端模型靠避免识别误差传播追平流水线方法。
论文把鲁棒性当作随分布漂移持续演化的能力,用语言内容、说话人特征、声学环境三类因子构建 MoDiCoL 并设计四段课程,对比经验回放、表征正则与正交梯度三种持续学习策略,最强证据是 10% 回放把平均词错率降到 17.31 并接近零遗忘,代价是仍依赖记忆容量与任务顺序且部分组合靠合成与仿真补齐。
针对只用少数公开模型训练导致在真实商用语音合成面前泛化不足的问题,论文用 30 个 API 约 230 小时伪造语音构造 MultiAPI Spoof 并提出在嵌套块间加滑动窗口局部注意力的 Nes2Net-LA,加入训练后把 MultiAPI 测试集等错误率从 7% 以上降到 1% 以下且在未见 API 上仍有效,代价是 API 溯源中未见类召回仍偏低。
MuVAP 针对单通道音频加单视角视频的多人轮替问题,用角色相对投影把任意人数压缩为当前与下一持有者两角色,并用因果视听轨迹锚定全局声学预测,在连续未剪辑对话上评估静默与活跃条件下的换保持与下一说话人预测,但历史窗依赖与类别不平衡带来延迟与偏置代价。
该研究为毛利语构建首个 16 类情感表演语料 Pā-Kakare 并用听辨与基频、强度、语速验证其可区分性,最强证据是八选一听辨 36.15% 显著高于 12.5% 机会水平且三项声学特征方差分析均显著,代价是表演语料自然度有限、混淆集中在相近唤醒度类别且数据需申请受管访问。
该文为普什图语从界面本地化、维基句子抽取、易丢音素补句到广播动员建成 147 小时众包朗读库,并用 MCV20 微调 Whisper Base 在 MCV20 测试集上报告 13.4% 词错误率,但朗读口音、方言与性别缺失限制了外推。
论文把 Wav2Vec2 与 HuBERT 微调到两种富含搭嘴音的 Khoisan 语言上比较搭嘴与非搭嘴音素误差,报告搭嘴误差显著更低且单语 HuBERT 整体最优,但冻结基座与盲目增大规模或语言数都不能保证更好。
论文把音位 ABX 改成韵律 ABX,用同一音段不同重音、声调、音高的三元组和 DTW 距离检验自监督语音表示是否拉开韵律对立,最强证据是 17 个模型在三语上显著优于声学基线且层间排序跨合成与上下文保持稳定,主要代价是英语重音上合成代理与自然录音相关性低且人类仍在日语和汉语任务上领先。
针对曼尼普尔两种拉丁拼写藏缅语的数据空白,论文用教科书录制加自动切分流水线建成 9.58 小时坦库尔语和 10.79 小时马林语单说话人库,并在相同划分上训练 Tacotron 2 与 FastSpeech 2,最强组合 FastSpeech 2 加 StyleMelGAN 在主观盲测取得 3.06 与 3.51 分,代价是方言差异与声调建模仍限制可懂度。
论文用先听后想象的配对范式采集单人超 21 小时 EEG,以音素诱发电位与加权 Canberra 距离检验听觉感知与想象言语在音素级是否一一对应,最强证据是对角最小与分离比提升 3.37 倍,代价是单被试与弱头皮信号带来的泛化限制。
SingFox 针对歌声伪造检测泛化难的问题,用 20 个语言、1150 歌手、四类生成范式构造六条评测赛道,报告跨数据集最高准确率 77.84 %,而替代伪造使基线跌至 45.13 %,代价是训练子集小且部分语言缺乏人评验证。
针对文本生成歌曲评价维度重叠与高分扎堆问题,论文按作曲流程拆出七个原子维度并组织 11717 首专家标注样本,用 MuQ backbone 训练自动打分器,在分布外集上以 utterance 与 system 两级相关和 AB 辨别力验证细粒度区分能力,代价是依赖严格筛选的专家标注与长音频推理成本。
SoniSpeech 用声学传感眼镜采集 34 小时、18000 条配对的有声与无声话语和同步视频,以当代对话语料实现开放词汇覆盖,并用 CTC ResNet-34 基线在无声测试上报告 26.3% 词错误率,但跨模式泛化仍存在大幅落差。
该文用 640 段法语新闻短语音、100 名懂法语与 101 名不懂法语评分者的 0 到 100 分标注研究自动人格感知,最强证据是法语组尽责性多模态准确率 67.1 的分类结果,代价是整体精度仍在 50 到 67 之间且多模态不总是优于单模态。
论文用 196 份问卷加 66 份自录语音建成跨男性态度与语音库,证明自我感知的男性度与平均基频只有弱线性关系而满意度关系更顺,并揭示 Praat 与 REAPER 在同一批朗读上存在系统性基频偏差,但众包录音条件与横断面设计限制了因果推断。
针对稀有词和命名实体识别难的问题,该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错,在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。
论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题,最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本,代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。
URGENT-MOS 针对跨数据集标注不一致与绝对质量和偏好割裂的问题,用共享特征加绝对多指标预测与自然度条件偏好模块统一建模,在多域偏好和相关性评价上更稳健,但全量 15 指标联合监督并不总是带来增益。