词对了还不够:非言语发声的可控性为何与语音质量脱钩
NVV-SuperBench 针对笑、叹息、哭泣等非言语发声提出 45 类双语可控生成基准,用客观、人听与大模型多评分者三路评估 15 个系统,报告显示可控性常与语音质量脱钩,而低信噪比口腔音与长时情感发声仍是最难的瓶颈,且加非言语发声会抬高词错误率并改变自然度偏好。
NVV-SuperBench 针对笑、叹息、哭泣等非言语发声提出 45 类双语可控生成基准,用客观、人听与大模型多评分者三路评估 15 个系统,报告显示可控性常与语音质量脱钩,而低信噪比口腔音与长时情感发声仍是最难的瓶颈,且加非言语发声会抬高词错误率并改变自然度偏好。
OmniVoice 针对两阶段文本到语义再到声学管线的误差传播与信息瓶颈问题,选择单阶段双向 Transformer 直接由文本预测多码本声学词元,并以全码本随机掩码与大语言模型初始化为关键手段,在 581k 小时开源多语数据上实现覆盖 600 余种语言,最强证据是中英文与 102 语可懂度接近真值,代价是长尾低资源语言仍依赖重采样与修复流水线且推理需 32 …
该研究以加拿大 Hansard 英法议会 40 组独白加提问为对象,用余弦相似度检验声学韵律与语义趋同,发现全局与首尾分段趋同并存且跨语言存在两阶段规划,但强驱动特征消融后跨语言下降更大。
论文把冻结说话人嵌入放到含大量干扰者的 1:N 检索中,测信道、噪声、语言、年龄四类失配,发现 ERes2Net 等多尺度监督模型抗滤波和老化但都过拟合英语语音,自适应对称归一化不改前端只校准分数即在电话到网络失配下带来普遍增益,但自监督跨语言骤降等短板仍在。
OnDA 针对常开关键词识别的说话人与环境偏移,把权重自学习与结构化通道剪枝都搬到端上,用伪标签的域内数据做剪枝与微调,在 HeySnips/HeySnapdragon 上以 0.5 次误报每小时下等精度实现最高 9.63×压缩,代价是伪标签噪声与微调样本更少且剪枝时机影响端上能耗回本点。
针对时间对齐的电喉转自然语音数据稀缺问题,该研究用 13 分钟真实电喉语音把预训练任意到多说话人转换模型先微调为自然到电喉合成器以批量生成合成平行数据,再用合成数据监督微调出可转多目标音色的一到多电喉到自然模型,最强证据是合成电喉语音的频谱失真和转换后语音的韵律与可懂度优于基线,代价是仍需预训练转换模型与大规模自然语音库且对特殊音素与情感韵律覆盖不足。
针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题,论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线,再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量,并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优,同时保留教师性能。
该文针对英语短语音主导、长语音与多语言评测分散且准度与效率口径不一的问题,搭建覆盖 86 个系统与 11 个数据集的三轨评测流程并统一词错误率与逆实时因子计算,在当前结果中 Conformer 类编码器加大语言模型解码器平均词错误率最低而 CTC 与 TDT 解码器吞吐更高,但差异同时受训练数据与配置影响。
针对歌声合成检测中伴奏遮蔽与幅度谱丢失相位 discontinuity 的问题,OPERA-Net 以相位一致 CQT 捕捉瞬时频率异常并以 WavLM 语义门控抑制伴奏,在 CtrSVDD 混合 EER 做到 1.54% 而代价是双流结构与预训练依赖。
该文研究用可移动机器人作已知位置校准源时的分布式麦克风几何标定问题,以含时钟捕获偏移的到达时间差模型推导克拉美罗下界并最小化该下界来求最优声源位置,最强证据是在高斯噪声与声学仿真下定位与偏移估计误差均低于随机放置,代价是一阶段联合优化计算量随声源数增大而显著上升。
针对语音增强被动处理与主动投毒假设的矛盾,论文用训练集内高信噪比干净语音作触发器并配对静默目标,仅做数据投毒就在四种模型和两个数据集上实现近 100% 静默攻击成功率,而正常增强的 PESQ 下降多在 2% 以内。
该研究为毛利语构建首个 16 类情感表演语料 Pā-Kakare 并用听辨与基频、强度、语速验证其可区分性,最强证据是八选一听辨 36.15% 显著高于 12.5% 机会水平且三项声学特征方差分析均显著,代价是表演语料自然度有限、混淆集中在相近唤醒度类别且数据需申请受管访问。
针对自监督语音模型随机掩码会打断稀疏病理线索的问题,PAN-Mask 用六维声学描述子加端到端注意力估计帧级病理显著性并优先衰减高显著帧,在六个数据集上比随机掩码平均提高 13.82 个百分点,代价是增加轻量检测器与掩码超参数的联合优化复杂度。
针对带切分前端中循环时间与跨频带模块的串行依赖问题,论文用并行时间—频带混合器替代循环展开并用可学习的观察信号加回抑制伪影,在冻结 Whisper 下降低词错误率,代价是仍需两阶段训练且为话语级非流式混合。
针对一步式交错时间戳会拖累转写质量的问题,论文用同一语音大模型先做纯转写再带时间戳复写,并以模块化低秩适配实现隔离训练,最强证据是英语平均 27.1 毫秒、多语 21.2 毫秒且词错误率与基座持平,代价是模块化分支需处理缓存复用与二次音频注入。
针对多语语音大模型中多任务混训导致语言区分度丢失的问题,PART 用先单语 ASR 逐层解冻再引入 S2TT 联合优化的三阶段策略,在 Fleurs 上把平均 WER 从 6.4 降到 4.7、在 CoVoST2 上平均提升 1.4 BLEU,代价是需要 810k 小时 ASR 加 434k 小时 S2TT 数据与 256 卡三轮训练。
该文为普什图语从界面本地化、维基句子抽取、易丢音素补句到广播动员建成 147 小时众包朗读库,并用 MCV20 微调 Whisper Base 在 MCV20 测试集上报告 13.4% 词错误率,但朗读口音、方言与性别缺失限制了外推。
该研究用 teat/tit 的静音中段与 peace/piss 的清化替换构造可复述的感知实验,报告日本大学生主要靠元音时长和切断感做判断,保留高频与送气并未提高正确率,代价是短时长条件系统性偏向/ɪ/。
针对车内多座位语音串扰问题,该研究把心理声学掩蔽权重写入多用户 MIMO 加权最小均方误差预编码,在实车测得脉冲响应上报告 MU-MIMO-Perceptual 取得 STOI 0.859 与 ViSQOL 4.191 的最高语音质量,代价是在部分频段声对比度不及只压能量的 ACC 与 PM。
论文在被动服务器威胁下只用全局与本地权重差做非参数质心分类,证明口音与年龄可被高准确率推断而性别接近随机,并以针对性微调与功能位移分析解释泄露与预训练覆盖不足的关系。