不用逐层试错:让自监督目标自己选出 Whisper 适配层
针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。
针对儿童与方言等低资源域偏移,Gumbel-BEARD 用可训练的硬 Gumbel-Softmax 在每步自动选择 Whisper 编码器预测层并配合 BEST-RQ 自监督适配,在 MyST 上以 10 小时标注达到全量 133 小时微调相当的 9.35% 词错误率,并在全量时达到 8.21%,代价是仍需两阶段适配与有限标注微调。
该文针对客服语音中烦躁强度难以及时量化的问题,用银行客服表演录音加三维度 1 到 10 分众包标注与一致性筛选构造时序语料,最强证据是微调后 XLSR 模型在攻击性强度上平均绝对误差 1.333 而相关系数 0.710,代价是表演口音、非说话人无关划分与小样本内部验证限制了外推。
针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算,HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧,使主干处理半帧率序列,在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB,代价是同一步内要一次生成两帧而峰值计算并未降低。
针对神经编解码处理后真语音更易被误判为假的问题,该工作用难正例挖掘加引导损失和三元组损失拉开编解码后真与假的嵌入距离,在未见编解码上把等错误率从约三成降到约一成二,代价是需构造特定小批量并调两个间隔超参数。
针对标准残差向量量化各阶段频率纠缠与并行子带解码丢失谐波上下文的问题,HARP 只改训练损失、把 9 个阶段按低到高分成 4 组并做累积解码与软子带监督,在语音音乐通用音频上同时报告了客观与 MUSHRA 增益,代价是训练期约 2-3 倍解码器前向开销。
针对单侧聋用户听不清聋侧正侧方语音的问题,该工作用眼镜侧挂的偶极加全向混合阵列做侧向最小方差无失真波束形成,在 90 度侧向仿真中以 2 偶极加 1 全向组合相对 3 全向提升 0.78 dB 信号失真比和 0.04 扩展短期客观可懂度,但前方和后方优势有限且依赖理想噪声协方差。
针对改大或压住 creak 时音高与性别感知易被连带拖走的问题,论文用两段条件连续归一化流分别处理高层说话人属性与低层嗓音品质并在中间层做对抗去相关,在 LibriTTS-R 与 YourTTS 主干上以更小的音高偏移和更稳的性别与说话人验证指标完成 creak 编辑,代价是强操作仍会损失部分说话人相似度且抑制方向的主观 creak 变化不显著。
该工作针对阿姆哈拉语和阿凡奥罗莫语从零搭建录音室级多说话人语音合成数据与基于 SpeechT5 的微调流程,用 100 小时加 13 小时针对性数据的规模与主观平均意见分 4.65 和 4.43 证明语言学知情数据是关键,代价是同形异义消歧仍依赖规范化输入且未开源验证。
该文用芬兰语俄语双语者的电磁发音仪数据做线性探测,检验自监督语音表示是否编码发音动作,最强证据是多语言模型平均相关约 0.69 且约 5 分钟配对数据即饱和,代价是自发任务与上唇垂直通道明显更难预测。
该研究在德语整句产出中同时操纵词频与音节惊奇度,发现反应时与长元音时长不支持离散串行模型的加性预测,而呈现随单双音节变化的选择性交互,且句中与句末位置效应稳定存在。
针对儿童发音高度可变而成人音素识别会强制归类的问题,该研究用无监督音节发现模型 Sylber 对 957 名 5 到 15 岁儿童做自底向上分析,报告了边界一致性随年龄上升、音节簇数量先升后降、簇纯度单调上升的证据,代价是需要成人对齐参考和额外儿童适配训练且边界未做严格评测。
在英语 MSP-Podcast 约 104 小时与台湾普通话 BIIC-Podcast 约 102 小时上用 WavLM Large 做唤醒度、效价、优势度回归,发现唤醒度用 2 小时适配即可追平 100 小时单语模型而效价需约 20 小时,且优势度测试集绝对值极低限制了结论外推。
针对每人仅有少数方向实测时如何补全任意方向双耳头部脉冲响应的问题,论文提出直接在时域做掩码补全的 HRIR-Former,用正弦方向编码加 Transformer 与双耳线索辅助头实现网格自由推理,在 SONICOM 上 M 等于 19 时以归一化均方误差负 8 点 24 分贝和强度差误差 0 点 95 分贝为证据,代价是仍限同库训练且缺少听感验证。
该文要解决无实测条件下的人头相关传输函数个性化问题,选择在神经场上加被试参数与域参数并用仿真重建梯度一步反推被试参数,最强证据是在 SONICOM 上把平均谱误差降到 3.60 dB 并在 HUTUBS 上优于已有精修方法,代价是仍只建模对数幅度谱且依赖高质量头模仿真。
用粤语英语双语语音在同语言与跨语言配对下比较 18 个说话人嵌入模型与人耳相似度判断,显示嵌入能区分同一人与不同人但跨语言时区分度下降,且依赖语速与共振峰等共享声学线索,而粤语微调并未带来可运行的提升。
针对低帧率离散化丢失音色和微韵律的问题,论文用离散 token 做自回归骨架加单步连续残差精修,在 LibriTTS 上于 12.5 Hz 把 TTS 自然度从 1.99 拉回 4.10,代价是需维护双路编解码与两类损失的联合训练。
论文把连续监听下的何时提醒形式化为四态决策,用打断与静默两种解码标记在 Qwen2-Audio-7B 上实现主动辅助,在 ESC-50 上报告 99.6% 打断 F1 与 100% 去重召回,在 Epic-Sounds 零样本下保持 96.7% 起始召回,代价是噪声域静默召回偏低且平均延迟约 3.5 秒。
针对构音障碍语音可懂度差异大而数据少的问题,该工作冻结 HuBERT-large-ll60k 主体、只训练可懂度调节器与识别器,用通道级缩放平移把可懂度信息注入声学特征,在 TORGO 留一说话人测试下把平均词错误率从 54.0% 降到 21.0%,代价是仍需 utterance 级可懂度嵌入与两阶段训练流程。
针对零样本声音克隆的未授权冒用问题,该工作先解耦内容与说话人表示再在说话人嵌入空间加对抗扰动并用心理声学掩蔽约束不可听性,在 VCTK 上报告 87.2% 防御成功率、MOS 4.18、WER 5.30%,代价是需要两阶段训练且黑盒迁移后防御率明显下降。
针对发音合成中声带碰撞阶段被硬裁剪为零而不够自然的问题,该研究用指数过渡的软接触与软分离加偏斜控制重建声门面积波形,在保持相同合成器与参数网格的听辨中以 58.1% 的偏好率和 3.02 对 2.68 的平均意见分胜出,但优势随预发声开度和相位等条件变化。