跨语言朗读时间结构:用六个时长特征合成亨廷顿病语音指数
该研究用自适应能量包络检测朗读中的浊音 burst 与停顿,把六个跨语言一致差异的时间特征按语言匹配对照标准化平均为 CTSI,在 89 例 HD 与 82 例对照中与 cUHDRS 等临床分数强相关,最高为 SDMT 的 r=-0.77,代价是仅用时长信息且未做纵向验证。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
该研究用自适应能量包络检测朗读中的浊音 burst 与停顿,把六个跨语言一致差异的时间特征按语言匹配对照标准化平均为 CTSI,在 89 例 HD 与 82 例对照中与 cUHDRS 等临床分数强相关,最高为 SDMT 的 r=-0.77,代价是仅用时长信息且未做纵向验证。
针对已很强的德英多语识别基座,论文用两步合成数据加贝叶斯低秩适配证明瓶颈在知识整合而非数据复杂度,以保持单语为代价换来语码切换词错误相对下降 32.87% 而标准微调则大幅退化。
针对非洲语言在朗读基准上被低估的部署误差问题,AfriVox-v2 用 14 种语言的自发野外对话加 10 个应用领域标注来重测现代模型,最强证据是区域优化的 Sahara-v2 在 AfriVox-v2 平均词错误率 20.49 仍显著低于通用大模型,但数字 20.32% 与命名实体 23.11% 的高误差说明关键信息转写仍不可靠。
该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标,用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟,但语音端质量仍依赖更大合成与翻译模型补强。
ARTIST 把多语言语音到语音翻译转成先预测目标端发音特征离散单元再合成波形的两段任务,用冻结的 20 码本向量量化自编码器做跨语言瓶颈并配合编码器中间 CTC 与卷积增强差分注意力解码器,在仅用短句训练却测长句的条件下以 166M 参数在 BLEU、COMET 和 chrF 上超过 1.2B 参数基线,代价是仍依赖发音特征提取器与两阶段预训练冻结的设计。
针对四对低资源语音到英语翻译的统一共享负迁移问题,论文用聚类分组、自交叉梯度相似度定共享比与联合 SVD 加正则 CCA 定能量分配来只改造编码器第 11 层 FFN2,在统一微调基线上取得最高 14.4% 相对 BLEU 增益,代价是只验证了单层单模型且部分语言对仍有回退。
针对多语种语音识别中共享解码器互相干扰的问题,BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层,在五个 CoVoST 2 语种上用词错误率验证收益,同时保留了小语种与高资源语种表现不一致等代价。
该工作用 47.88M 参数的双向 Mamba2 编码器在约 250 小时 67 语言无标注语音上做掩码离散单元预测,在官方评测以说话人聚类 ARI 0.735 超过四个基线,但语言识别 macro-F1 0.073 与字符错误率 0.870 仍明显落后,且后期检查点出现音素泛化退化。
针对神经音频编解码器生成的老年伪造语音检测任务,论文构建英汉老年编解码器伪造数据集并证明旧基准模型跨年龄泛化严重退化,提出以詹森香农散度对齐语言绑定与图像绑定表示的融合框架 BONSAI,以平均等错误率 1.66% 建立新基准,但代价是依赖域内老年训练数据与双基础模型推理成本。
针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对语码切换点附近集中出错的问题,该研究用只改切换点的近似错误文本做对比训练,在两个中英与越英基准上同时降低整体词错误率和切换点错误率,代价是离线依赖大模型扩写与三重过滤的额外构造流程。
针对跨语言语音语料需要用更少句子覆盖全部音素的问题,corpusgen 用评估、选择、生成三命令共享发音转换与覆盖追踪,以贪心与精确优化等六种算法做句子选择,并在 40 种语言 12 个语系上验证,但原文未给出可复述的逐算法句子数与耗时数字。
针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败,该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化,在分布内最高相对降低 89.6% 混合错误率,在分布外 SEAME 上最高降低 20.0%,代价是仅覆盖翻译类拒答且未验证其他能力是否退化。
DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表,用多对一与一对一两轨分别考查单元纯度与音位对应,最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT,但插入错误主导且一对一仍极难。
该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照,报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感,代价是仍需为目标语言做一次自监督预训练。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
针对不同母语背景系统性替代模式不同的问题,该研究为每个第一语言构建有向加权统计混淆图并经图卷积注入语言学分支,在 L2-ARCTIC 上报告检测 F1 为 59.52%,代价是图依赖训练集对齐统计且需已知测试句的标准音序列与第一语言标签。
该研究以英语、日语、俄语纵向自然互动为对象,用动态时间规整度量儿童话语后 2 秒内照顾者话语的基频轮廓距离,并以贝叶斯多层模型检验时间间隔与儿童年龄的作用,最强证据是三国儿童年龄越大轮廓距离越大,而短时邻近效应仅在俄语成立且在日语反向,代价是只看整句轮廓、只覆盖三种语言文化。