高资源模型为何在东南亚语言上失灵:SEA-Spoof 的配对构造与跨源评测
针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题,论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据,证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右,而在新数据上微调可恢复到 0.2% 左右,但伴随原域遗忘与语言间难度差异。
针对泰米尔语等六种东南亚语言真伪检测覆盖不足的问题,论文用十个开源与四个闭源系统按真实文本配对生成 711 小时数据,证明在 ASVspoof5 上为 1.25% 等效错误率的模型会在新数据上恶化到 43.8% 左右,而在新数据上微调可恢复到 0.2% 左右,但伴随原域遗忘与语言间难度差异。
针对带噪语音中语音与噪声在声学空间纠缠导致高频衰减和频谱空洞的问题,Seed-Enh 把增强拆到语义空间与音色空间分别处理再用流匹配融合,在 DNS 盲测与 LibriTTS+wham 上取得最高的整体质量分 3.095 与 3.193,代价是字符错误率仍高于判别式基线且对干净参考仍有依赖。
针对整句独热标注模糊和变长聚合稀释问题,该文用冻结 HuBERT-large 加 Swin 适配器做分段嵌入,再用图注意力做序列到一聚合,并在后训练和微调用自蒸馏与监督对比增强鲁棒性,在 IEMOCAP 五折上报告 76.22% 加权准确率和 76.84% 非加权准确率,在 MER2023 上报告 71.53% 宏 F1 和 0.9844 效价值均方误差,但 …
论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题,用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动,在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右,代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。
针对自回归语音理解中强制意图前缀仍可恢复槽位的能力残留问题,论文提出两阶段绑定子空间遗忘方法,在 SLURP 上把强制前缀下的 BRR@10 从 92.64 降到 22.10、语义相似度从 90.14 降到 24.80,同时保留集性能基本稳定。
针对语音大模型逐词元自回归推理慢的问题,该文用冻结 CTC 编码器的贪心假设做草稿,经熵门控与单次 LLM 似然校验加失败回退,在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%,代价是高速档有约 12% 相对词错率上升。
针对录音自语音不自然问题,论文用浏览器交互系统 SELFIX 把搜索约束到音高、声道长度和两种滤波器共四个可感知维度,在 25 人概念验证中发现一致的低频提升和男性特有的降调加长声道,而多滑块组合进一步提高了匹配评分。
针对连续隐表示在重建保真与合成可懂度之间的权衡,论文提出在变分自编码器隐空间加语义对齐正则的 Semantic-VAE,在 LibriSpeech-PC 上以 2.10% 词错率和 0.64 说话人相似度超过梅尔谱与普通声学变分自编码器基线,而重建质量与普通变分自编码器基本持平。
针对多通道含噪混合中空间建模易受非平稳与扩散噪声干扰的问题,该文在神经全秩空间协方差分析与说话人活动模型上增加干净混合的信噪比、似然与后验三项半监督目标,在合成会议数据上报告分离指标明显提升而日志小幅改善,但仍依赖干净混合与噪声录音可得且未验证运动声源。
针对语音情感识别中时序建模重而跨库易失效的问题,SETEAB 以深度可分离下采样压缩、SE-Res2Block 通道校准、TEAB 双向门控建模与加权融合组织轻量多尺度流程,在五库平均 UA 达 47.69% 与跨库平均 WA 达 37.53% 的同时把计算控制在 0.06-0.12GFLOPs 量级,代价是跨库方差仍较大且部分基线细节依赖原文表头口径。
该研究以 ElevenLabs 性感化男女声为对象,用性感文本与彩虹通道文本交叉配对做听辨实验,发现男声更易得积极与支配评价、女声更易得顺从与性感评价,且换成中性文本后女声性感化标签仍显著残留,代价是样本仅限英语商业平台与北美听众。
论文用先听后想象的配对范式采集单人超 21 小时 EEG,以音素诱发电位与加权 Canberra 距离检验听觉感知与想象言语在音素级是否一一对应,最强证据是对角最小与分离比提升 3.37 倍,代价是单被试与弱头皮信号带来的泛化限制。
该研究用有无逗号的歧义句考查合成音的韵律可懂度,发现压缩音高变化的单调处理影响很小,而与韵律线索无直接语音关联的机器化音质只在有逗号句上提高了图片匹配正确率,问卷上情感音仅提高了自然度评分。
SingFox 针对歌声伪造检测泛化难的问题,用 20 个语言、1150 歌手、四类生成范式构造六条评测赛道,报告跨数据集最高准确率 77.84 %,而替代伪造使基线跌至 45.13 %,代价是训练子集小且部分语言缺乏人评验证。
针对说话人差异导致情感识别难泛化到未见说话人的问题,SISER 用 wav2vec 2.0 做编码器、ECAPA-TDNN 做说话人判别器并以熵最大化做对抗训练,在 IEMOCAP 上测试集达到 60.63% 非加权准确率,代价是两阶段交替训练与强判别器带来的训练复杂度。
针对仅用麦克风检测鼾声、低通气和阻塞性呼吸暂停并估计 AHI 的问题,论文提出把多分辨率 ALE 的逐帧置信图注入 Transformer 注意力偏置与特征调制的 ACF-SED,在 APSAA 上报告 Event-F1 0.7105、Segment-F1 0.6930、PSDS 0.7633,代价是双流编码与门控交叉融合带来的结构与调参复杂度。
针对加性噪声、混响与非线性失真同时出现的语音增强问题,SLICE 把退化表征加到时间步嵌入以逐层传播,在受控多退化测试上 ESTOI 达 0.80、SI-SDR 达 3.7 dB,而同编码器只做输入层相加时反而跌到 0.73 与 1.4 dB,代价是混响类样本的 SI-SDR 仍为负且野外数据的编码器增益变小。
针对文本生成歌曲评价维度重叠与高分扎堆问题,论文按作曲流程拆出七个原子维度并组织 11717 首专家标注样本,用 MuQ backbone 训练自动打分器,在分布外集上以 utterance 与 system 两级相关和 AB 辨别力验证细粒度区分能力,代价是依赖严格筛选的专家标注与长音频推理成本。
SoniSpeech 用声学传感眼镜采集 34 小时、18000 条配对的有声与无声话语和同步视频,以当代对话语料实现开放词汇覆盖,并用 CTC ResNet-34 基线在无声测试上报告 26.3% 词错误率,但跨模式泛化仍存在大幅落差。
针对会议中重叠语音难分的问题,该文把 SRP-DNN 估计的波达方向作为显式辅助输入注入 S2SND 主干,并在 AliMeeting 上报告离线相对降低 7.4% 与结合通道注意力后超 19% 的改善,代价是依赖多通道估计与两阶段训练。