不按口音分专家,按发音方式分:六个语音专家的口音适配
针对带口音英语识别中音素实现系统性偏移的问题,该工作把适配轴从口音身份换成发音方式,用六个低秩语音专家加帧级混合路由做 Conformer 适配,在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%,代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。
针对带口音英语识别中音素实现系统性偏移的问题,该工作把适配轴从口音身份换成发音方式,用六个低秩语音专家加帧级混合路由做 Conformer 适配,在 L2-ARCTIC 上多口音达到 10.43% 词错率、未见口音相对单一低秩适配平均改进 12.3%,代价是依赖一个跨域只有 36.04% 首选准确率的冻结音素模型和层选择分析。
针对非自回归语音识别无法用历史词消解多路径不确定性的问题,该研究用掩码预测模型的单次前向并行采样估计负词错率期望效用并取最大,在四类语料上显著优于原非自回归解码且保持数十倍于波束搜索的速度,但增加采样数与解码器调用会带来显存与计算代价。
针对自由文本风格描述与语音对齐覆盖窄的问题,论文用内在与情境分训加统一模型的对比策略,在检索与分类上以专用模型取胜、在组合描述上以统一模型取胜,代价是推理时需选对专用变体且最优挑选带来线性推理开销。
论文研究仅用一句自然语音做音色参考的个性化电子喉语音转换,对比伪目标训练与级联两条路线,报告最佳特征级级联加有监督微调在 SER 降到 59.65%、相似度到 0.84,代价是需要 240 对平行数据构造伪监督与额外的微调步骤。
针对波兰语儿童咝音替代筛查,论文用波兰语 wav2vec2 加 6 层后编码器做带括号替代标记的 CTC 词元识别,再经 Levenshtein 对齐定型并由固定模板助手呈现,在 10 名未见儿童 559 句上报告 88.7% 整句匹配与筛查代理 F1 为 0.67,代价是仅覆盖固定提示词与替代类偏差且假阴性仍明显。
针对儿童语音的筛查需求,PhonLLM 把预期发音与声学证据一起送入解码器,联合输出标准音素和音系过程标签,在多语临床数据上平均标注 F1 为 75.9 且音素错误率低于纯转写流水线,但对 backing 与 deletion 仍明显更弱。
该研究把双人协作对话的认知负荷当作回归问题,用 30 秒窗口声学特征加互动时序特征和双头门控循环单元预测 NASA-TLX 分数,最强证据是加入互动特征后时间需求的二元组一致性相关系数从 0.42 升到 0.51,而代价是不同二元组间差异极大且时序差分普遍无增益。
针对无电控条件下复现语音动态的问题,该研究用直线凸轮与旋转凸轮分别驱动六个发音滑块,并以可插拔板片实现凸轮廓形可编程,在“I love you” 一句上得到两种凸轮下大致相似的共振峰轨迹,代价是每句需重新设计和拼装廓形。
论文提出以行归一化增益比度量供体语言对目标语言影响的跨语言迁移矩阵,并在 44 种语言上用同一 HuBERT 编码器对比性别识别与说话人验证,发现前者近乎语言无关而后者普遍负迁移且亲缘语言内才有正迁移,但结论依赖小样本动态区间与单轮微调条件。
针对同文本同状态下不同语音实现导致目标速度不同而被平方误差平均掉的问题,ReaFlow-TTS 引入贯穿整条轨迹的 utterance 级实现潜变量 z 并用 VAD 线性映射做分级操控,行为证据是跨初始噪声可复现的音高能量时长倾向,代价是效价方向灵敏度较低且操控需在小幅自然度变化内使用。
该研究用只保留前三个共振峰轨迹的正弦波句再做噪声声码器模拟,比较去掉 F1、F2、F3 后的普通话句子识别率,报告 F2 最重要、F3 影响最小,但包络截止频率和频带数会调节 F1 与 F2 的相对权重。
该研究用 8 名南方越南语母语者朗读 8 个四音节叠词的 576 个词例检验节奏模式,发现第二、四音节在时长上显著长于第一、三音节的弱强交替支持词层重音与双音节音步,但形态中心位置与载体句未改变总体模式且强度与基频未呈现同型弱强。
针对年龄与性别编辑在大规模语音数据中受噪声标签干扰而出现映射漂移和身份丢失的问题,RIVET 在潜表示上增加幂等正则并与生成损失联合训练,在 GLOBE 与受控噪声 EARS 上提升了身份保持与性别编辑成功率,而自然度与可懂度基本持平、年龄分类仍有未胜出项。
针对声学编解码缺语义约束易读错、语义表征丢音色的问题,SARA 用冻结语义锚加残差声学编码器做直接融合,在 50 Hz、64 维紧凑隐空间下把 F5-TTS-Small 零样本合成词错率做到 1.79,把基座版做到 1.74,代价是编码器多一路推理开销与大规模语音训练成本。
论文把 1000 类、每类 5 样的口语词分类做成持续学习任务,用从头训练的生成式元持续学习与 HuBERT 全量微调和冻结分类头对比,显示 GeMCL 在 1000 类时只落后约 2% 但适配快 2000 倍且逐词波动小一个数量级以上。
针对脑电非平稳导致的逐窗判决抖动与固定平滑带来的切换迟滞,SGAD 用因果状态检测估计切换概率并自适应调节平滑强度,在多种音频/说话人/被试划分下把平均 Sw-F1 提升到 67.3% 而 SDL 控制在 1.18 s,代价是仍需两阶段训练且最严格划分下精度降至 76.7%。
针对标注构音障碍语音稀缺导致跨病因跨语言泛化难的问题,论文用教师伪标签加 LibriSpeech 粗二分弱监督对比预训练再微调,在五套未见数据集上平均 SRCC 达 0.761,而细粒度伪标签监督反而损害跨域表现。
该研究以六种语言儿童语料的实际发音与成人理想形式为对象,按词首、词中、词尾计算辅音簇分布熵,发现模型系统呈稳定的三位置分化而儿童系统边缘对比更弱且词中熵最高,词汇增长推动模型熵上升并引导实际向模型收敛而句法复杂度可能在词尾拖慢该过程。
针对文本注册的用户自定义关键词检测能耗过高问题,SPARK 用端到端脉冲网络与脉冲驱动注意力做音频文本匹配,在 LibriPhrase 上以 99.07% 的 AUC 和 3.97% 的 EER 维持可比性能,代价是音素级难负样本区分仍弱于重型预训练基线且全脉冲链路依赖特定仿真与能量估算条件。
该文研究单通道两人语音分离能否只用说话人身份做唯一监督,通过对比分离输出嵌入与辅助话语嵌入来训练分离器,在 Libri2Mix 上从零训练到 8.1 dB SDR 并能向含噪域自适应到 8.7 dB,但仍低于全波形监督的 14.4 dB 与 9.7 dB 上界。