跨语音到音乐连续学评分:用 frozen 语义锚稳住旧任务
针对语音到音乐的域漂移与打分尺度不一致,CAQA-Net 用可训练波形分支学生成可塑性、用冻结频谱分支做稳定性锚、用多头加蒸馏正则与原型门控做任务无关推理,在五数据集序列上报告与联合学习上界相差 0.036 SRCC,而冻结与门控等设计带来推理与调参代价。
针对语音到音乐的域漂移与打分尺度不一致,CAQA-Net 用可训练波形分支学生成可塑性、用冻结频谱分支做稳定性锚、用多头加蒸馏正则与原型门控做任务无关推理,在五数据集序列上报告与联合学习上界相差 0.036 SRCC,而冻结与门控等设计带来推理与调参代价。
该研究用 12 条合成声调连续统和辨认加区分双任务比较 27 名景颇母语者和 23 名普通话母语者,报告显示除二声与三声之间未形成范畴知觉外其余声调对均有边界,但景颇组在多对声调上的边界宽度更大而分辨峰更矮,且全程未训练神经网络模型。
针对非平行语音转换中训练与测试的内容音色组合不一致问题,CFLOW-VC 在 VITS 与 FreeVC 骨干上用归一化流的可逆变换加 StarGAN 式循环一致性训练,并引入梅尔风格编码器与波形增广,在干净、噪声与口音三组测试上提升音色相似度与自然度,代价是干净条件下词错误率略高于个别基线且需两阶段训练。
论文把成人训练的自监督匿名化流水线用 MyST 儿童语料微调内容编码器和声码器并换成儿童音色池,在单人域内与跨口音和双人混合下维持高隐私的同时改善可懂度和儿童感,但双人可用性仍受目标说话人提取质量限制。
针对语音情绪标注主观且噪声大的问题,论文用众包感知一致性与意图对齐定义由易到难的课程,在 CREMA-D 上用 LSTM 和 Transformer 验证了规则课程的精度与梯度更新效率,但随机划分课程无效且最难类的划分与代价依赖特定数据集。
针对 10 dB 信噪比医院环境噪声下心音 S1、S2 与杂音被掩蔽的问题,CLEAR 依次用 Whisper 编码器取长程语义嵌入、掩码图注意力网络做乘性去噪、潜在生成对抗网络在嵌入空间修复连续性,最强证据是单个最优样本从 PESQ 1.0304、SI-SDR -29.3715 dB 恢复到 PESQ 4.6433、SI-SDR 64.3566 dB,代价 …
针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。
该研究用 ResNet34-MHA 嵌入加 LDA-PLDA 与校准似然比,在 102 名香港粤语青年男性数据上并行比较 G.711、AMR-NB 高低码率与 Opus 失配及 5s 到 90s 检材时长,报告系统级 Cllr 在 30s 后饱和且低码率 AMR-NB 损伤最大,但个体级 Cspkllr 显示少数说话人持续偏高且整体越差者对编解码更敏感。
针对轮次切换评测只看说没说的问题,CoDeTT 用 4 动作加 14 意图的分层决策与两阶段漏斗评测揭示动作正确但理由错误的幸运猜测,其代价是合成主导的数据构造与历史过长时的语义过承诺。
针对语音 AD 检测数据稀缺且通用增强丢失认知特征的问题,该研究用检索增强大模型生成认知受约束文本再用属性引导语音合成补齐声学一致样本,在 ADReSSo 等多模型对照中提升检测性能,代价是需要精细标注、微调与控制增强比例。
该工作用统一流程采集博多语等四语 146 小时自发独白,以声学分布与说话人无关语种识别验证可分性,最强融合特征达 92.95% 准确率,代价是性别不平衡与无转写限制。
针对整句标注掩盖帧级情感动态的问题,该文只用声学信号做协同推理与冲突回填的多粒度监督,在 IEMOCAP、EmoDB 和 MELD 上报告了 78.10% WA、97.30% WA 和 55.48% WF1,代价是需要先训练 K 组上游子模型并调平衡系数。
针对合成语音 MOS 只给点估计不可靠的问题,ConformalMOS 用冻结上游表征加高斯平滑序回归做点估计,再用分裂共形校准输出区间,在 BVCC 上以系统级 MSE 为 0.08 取得相对 FUSE-MOS 约 7.0% 的降低,代价是 utterance 级 MSE 略升且保证只在可交换性成立时有效。
针对音视频分路处理导致时间与语义错位的问题,该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐,在 AVSD 上报告 50.30% 准确率,但长视频描述性指标仍偏低且训练仅 1 轮。
针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题,论文用平行话语加增强对齐微调 HuBERT 得到 PINT,最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%,代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。
针对固定降采样忽略语速与内容变化的问题,该工作用连续积分触发机制按转写词元数动态压缩声学帧,在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度,代价是依赖转写长度监督与分词器选择。
在共享多语数据上重算 k-means 伪标签并恢复掩码预测可以改善内容任务但方差大,而说话人日志分离能力在离散单元模型中系统性下降,对比模型则未出现该退化。
针对客服多轮对话中实体易错问题,论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示,报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善,但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。
论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。
针对持续广义类别发现中声音频谱重叠与基类偏置问题,论文用实例自适应正则加高斯混合自适应阈值与指数滑动平均动态教师做伪标签稳定,在 ShipsEar 上累计平均精度报告 74.14%,代价是新类精度仍低于 Happy。