高水平巴斯克语口语能分清吗:mHuBERT-147 与 wav2vec 2.0 的 C1 二分类对照
论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。
论文在巴斯克语 C1 考试独白与英语 ICNALE 独白上用纯语音自监督模型做二分类,巴斯克语上 mHuBERT-147 显著优于 wav2vec 2.0 xlsr 而英语 B2 上结论反转,代价是高水平相邻等级差异细微且语料不可公开。
针对多人标注不一致的模糊语音情感,该工作把预测目标从单标签改为情感分布,并用分布对齐目标加结构化思维链分别管住决策不确定性和推理过程,在 IEMOCAP 和 CREMA-D 上用 SFT、DPO、GRPOz 验证了改进,但高维分布下不同策略的优劣会变化。
针对合成语音来源验证被说话人特征干扰的问题,论文提出在双分支框架上加说话人解耦的切比雪夫损失与双曲黎曼损失,在 MLAAD 四种说话人-来源组合协议上以 ResNet34 加 RiemannSD-AAM 取得平均 EER 最低,但未见训练仍依赖伪说话人标签与固定超参数。
该文把神经音频编解码器与编解码器自监督预训练解耦做三组对照,报告重建语音与离散-token 预训练在英日中任务上对编解码器训练语言不敏感、但对自监督预训练语言高度敏感,代价是仍需为目标语言做一次自监督预训练。
针对重叠语音下编码器表示难解耦而大模型解码又慢又不稳的问题,该文用适配后的 LLaMA 在训练时做串行输出教师信号来正则编码器,并用话者计数头路由到两话者或三话者串行 CTC 分支,在 LibriMix 上实现推理全编码器化,三话者条件显著优于同类大模型系统且实时率大幅降低。
针对语音意图分类中语义相邻类别难分的问题,该工作用 DeepSeek-R1 生成的候选枚举加拒绝解释加标签三段轨迹做多任务微调正则,在 SLURP 和法语 Speech-MASSIVE 上六个语音大模型意图准确率最高提升 2.4 个百分点且推理时只直接输出标签。
论文用视觉世界眼动时间线做基准,对比因果与非因果端到端语音识别模型的词激活轨迹,发现因果循环模型能复现先队列后押韵的竞争顺序而非因果与大预训练模型不能,但识别准确率更高者反而偏离人类,代价是小词表孤立词和受控语义目标的生态效度有限。
该研究用 10000 条 7 语 34 情绪的三级感知重音标注检验 EmphaClass 与 WhiStress 在单语、跨语、多语、跨唤醒度和跨数据集下的泛化,报告语系内可迁移、跨语系与中文显著下降而多语联合训练可恢复鲁棒性的证据与代价。
为解决语音大模型只用文本指令评测脱离真实开口交互的问题,论文构建 9 任务 11 语言的人录平行口语-文本指令集 DOWIS,并用 Phi-4 Multimodal 与 Qwen2.5-Omni 证明文本指令系统性高估文本输出任务性能,而语音输出任务中口语指令打平或反超,非正式与短指令最难。
论文固定后训练检查点比较监督微调与组相对策略优化微调,报告纯 GRPO 在域内持平而四个域外集回升,但强正则欠拟合与去掉负奖励变差构成主要代价。
针对未见攻击与声学条件下的语音伪造检测,论文提出域自适应双选通混合专家,在波形与自监督表示两路做 Sinc 滤波并用域原型指导路由,在 21DF、ITW 和 FoR 上把等错误率从 3.69%、10.46% 和 7.47% 降到 2.54%、6.35% 和 4.42%,代价是只增加约 0.17M 参数并引入选通与原型等附加设计。
针对不同母语背景系统性替代模式不同的问题,该研究为每个第一语言构建有向加权统计混淆图并经图卷积注入语言学分支,在 L2-ARCTIC 上报告检测 F1 为 59.52%,代价是图依赖训练集对齐统计且需已知测试句的标准音序列与第一语言标签。
该文把远场回传增强中的本人声音当作已知干扰来删除,用注册语音条件化的时域掩蔽模型实现去噪加删人声,主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s,代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …
该文把说话人匿名定义为区分两个说话人的高斯差分隐私权衡函数,用裁剪加噪的高斯说话人机制扰动低维说话人嵌入并经变分自编码器映射回有效嵌入,在 2024 语音隐私挑战上以词错误率低于 4% 实现最高 41.2% 等错误率,同时给出任意攻击者的等错误率理论下界。
针对固定帧率均匀分配分辨率的问题,DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE,在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线,代价是每步 1 比特掩码开销与高码率下增益收窄。
音乐源修复要同时解混与逆转非线性制作效果,DTT-BSR+ 用生成式 DTT-BSR 做分布拟合再用回归式 Demucs-L 做波形重建,在 MSRBench 上把八个声部的 MMSNR 全部提升并在五个声部超过 X-LANCE,但第二步会推高部分声部的 FAD 均值项。
针对音频编码器在分类与理解任务上各有所长的问题,论文以 Whisper 保语音语义、Dasheng 补声学信息,用逐帧 softmax 门控残差融合加 STFT 支路做稳定骨干,对比隐式 LoRA 适配与显式残差解耦两种注入方式,最强证据是隐式在 Track-A 总体达 0.712 而显式在更多子任务登顶,代价是部分语音任务仍不如单编码器或基线。
针对跨语言说话人确认中语言与身份纠缠导致同人跨语言难接受、异人同语言难拒绝的问题,论文用冻结主干加说话人与语言两路 LoRA 并以语言分支锚定共享判别器做对抗解耦,在 TidyVoice 开发集上达到 0.91% 等错误率并在官方评测融合后达到 2.43% 与 2.84%,代价是需要语言标签、三阶段课程权重与推理时丢弃语言分支。
针对模块化看脸零样本合成在训练用语音嵌入、推理用脸嵌入导致身份漂移的问题,论文用去语料痕迹的说话人编码器加双向脸声对齐,并在声学模型训练中同时约束嵌入空间与共享身份空间的一致性,最强证据是在保持可懂度的同时提升说话人相似性与一致性,代价是三阶段训练与多组损失权重需要协同调试。
针对流水线式语音助手靠静音超时切轮导致迟钝打断的问题,DualTurn 用双通道生成式语音预训练学对话动态再微调出六种信号组合成五种智能体动作,在 Switchboard 上以 wF1 0.633 超过 VAP 的 0.389 并提前约 220 毫秒预判轮替,但回声信号精度仍低且训练限于英语双人对话。