盯住语码切换点:用发音相近的错误文本教会模型分清混淆
针对语码切换点附近集中出错的问题,该研究用只改切换点的近似错误文本做对比训练,在两个中英与越英基准上同时降低整体词错误率和切换点错误率,代价是离线依赖大模型扩写与三重过滤的额外构造流程。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对语码切换点附近集中出错的问题,该研究用只改切换点的近似错误文本做对比训练,在两个中英与越英基准上同时降低整体词错误率和切换点错误率,代价是离线依赖大模型扩写与三重过滤的额外构造流程。
针对跨语言语音语料需要用更少句子覆盖全部音素的问题,corpusgen 用评估、选择、生成三命令共享发音转换与覆盖追踪,以贪心与精确优化等六种算法做句子选择,并在 40 种语言 12 个语系上验证,但原文未给出可复述的逐算法句子数与耗时数字。
针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败,该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化,在分布内最高相对降低 89.6% 混合错误率,在分布外 SEAME 上最高降低 20.0%,代价是仅覆盖翻译类拒答且未验证其他能力是否退化。
DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表,用多对一与一对一两轨分别考查单元纯度与音位对应,最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT,但插入错误主导且一对一仍极难。
该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照,报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感,代价是仍需为目标语言做一次自监督预训练。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
针对不同母语背景系统性替代模式不同的问题,该研究为每个第一语言构建有向加权统计混淆图并经图卷积注入语言学分支,在 L2-ARCTIC 上报告检测 F1 为 59.52%,代价是图依赖训练集对齐统计且需已知测试句的标准音序列与第一语言标签。
该研究以英语、日语、俄语纵向自然互动为对象,用动态时间规整度量儿童话语后 2 秒内照顾者话语的基频轮廓距离,并以贝叶斯多层模型检验时间间隔与儿童年龄的作用,最强证据是三国儿童年龄越大轮廓距离越大,而短时邻近效应仅在俄语成立且在日语反向,代价是只看整句轮廓、只覆盖三种语言文化。
论文在英日德三语 MELD-ST 上量化语音大模型情绪识别的语言依赖性别差距,并用经验风险加最坏语言内男女损失差距正则与自适应权重训练,在单模态提升约 5.5% 且多模态提升约 5.0% 的同时把总体性别差距分别缩小 0.1% 和 1.4%,代价是固定大权重会明显损伤识别性能。
论文针对印地-英语混码语音的强制对齐提出两个可复述操作:用 bootstrapping 重映射词典解决 ph-f 与 J-z 自由变体,用句级混码数据训练声学模型对齐句中英语词,最强证据是混码模型平均中点误差 4.15 ms 约为单语模型的十分之一,代价是词典需人工校对鼻音与 schwa 且结论限于 MFA v1.0 与朗读语料。
论文用试镜与选角双角色游戏收集多语言情境化韵律语音,再用冻结表征加轻量分类器做情感识别与分阶段探测,显示库内情感可学但跨库更难,且年龄与情感在中间表征仍可恢复,代价是整体规模小、非专业表演变异大。
该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。
论文把近 10 万小时英语预训练的 F5-TTS 直接在 1417 小时 11 种印度语言上微调,用对照实验显示直接微调在总体 MUSHRA 73.4 上超过混入英语与从零训练,并以 10 小时每语言保留涌现能力为代价换来零资源语言的可扩展性。
论文构造约 108 小时三类声学条件的多人对话基准并统一评测说话人日志与识别,报告显示印度专用管线在时长加权平均上取得最低的 16.0% 日志错误率与 38.8% 级联词错率,但高重叠与低资源语言仍使三类误差同步上升。
该研究在 29 种语言 33 个数据集上冻结 11 个自监督语音主干只训练分类头,发现跨语言迁移更多受语言结构类型制约而非预训练量或参数规模,最强平均 F1 来自 Whisper 而达罗毗荼语系系统性失效且增大参数不能解决。
针对多语言说话人确认中说话人与语言纠缠导致跨语言试次退化的问题,L-Proto 选择每个训练回合只从单一语言采样说话人并做原型分类,在 TidyVoice 开发集上把 SimAM-ResNet100 的总体等错率从微调的 2.63 降到 1.18,代价是需要语言标签、每语言足够说话人多样性并增加采样开销。
针对多语言说话人确认中语言失配导致身份与语言特征纠缠的问题,该研究选择在 w2v-BERT 2.0 上做层适配与多尺度聚合,并以梯度反转做语言对抗与多语言合成扩增,最强证据是在开发集上相对基线明显降低等错率,而代价是在未见语言与合成域失配条件下增益受限。
LUMO 针对无网与隐私敏感场景,在树莓派 5 上用本地语音识别加 4 比特量化小模型加本地合成组成全离线流水线,在短指令上报告低噪声下较低词错误率与约 3.2 秒端到端延迟,代价是强噪声下错误率明显上升且小模型推理能力有限。
针对自回归解码慢、非自回归精度差的矛盾,该文用音频条件掩码扩散解码器加两步自我纠正训练与位置偏置采样,在多英语基准上达到 1.8%/3.6% 等词错误率并保持并行加速,代价是仍需多步迭代且未覆盖更广泛语言域。
该研究用人工标注话语时长比较同一越南语接触项目第一年与第二年前八个片段,报告儿童总话语占比从 10.9% 升至 25.3%、师生比从 8.17 降至 2.94,但英语仍占主导且组织者越南语输入下降而儿童越南语输出仅获中等强度证据支持。