音频不变只改身份描述:语音大模型情绪判断为何随之漂移
该研究把同一段音频固定、只改提示词中的口音国家语言描述来分离身份先验,用最佳与最差身份条件之间的 F1 差距和音频区间的显著性重分布来量化漂移,并用只调语言模型的轻量 LoRA 把敏感度降到接近随机置换水平,代价是需要额外微调且未覆盖组合身份。
该研究把同一段音频固定、只改提示词中的口音国家语言描述来分离身份先验,用最佳与最差身份条件之间的 F1 差距和音频区间的显著性重分布来量化漂移,并用只调语言模型的轻量 LoRA 把敏感度降到接近随机置换水平,代价是需要额外微调且未覆盖组合身份。
该研究在统一多模态架构下比较标准自注意力与 RetNet、LightNet、GSA、FoX、KDA 在 MSP-Podcast 上的情感识别效果,报告显示标准自注意力在 Test1 均值 36.42% 和 Test2 均值 27.19% 上最稳,而高效变体在 400 秒序列上把延迟降到 5.96 ms 量级、显存降到 0.328 GB 量级,代价是识别分数下 …
针对连续语音中关键词稀少而背景占主导导致标准熵最小化偏向背景类的问题,ImKWS 用解耦熵与多视角一致性做测试时适应,在 1 比 8 与负 10 分贝等条件下宏平均 F1 超过 AdaKWS 等基线,代价是只更新归一化仿射参数且依赖两阶段样本筛选阈值。
该文用 37 把键盘 37440 次敲击构成的 KEYAC 检验冻结语音预训练表示加轻量下游头的按键识别泛化,发现 VoIP 编解码导致显著下降,而单隐层 KAN 适配头在各条件下一致提升并以 WavLM 最强,但仍需标准录音训练且无可验证的公开代码与数据。
针对口语语种识别在白盒梯度攻击下急剧退化的问题,论文提出自防御对抗重训练 SDART,用渐进式对抗样本挖掘加无教师动态在线标签平滑和语言一致性约束,在 VoxLingua-10 与 Common Voice 上同时改善干净与受攻击样本的等错误率和平均代价,但强迭代攻击与跨库绝对数值仍有明显残留误差。
针对量化后多层信息被求和压扁的问题,RVQ-Grid 把每层量化向量堆成三维网格并用双轴循环块分离,在 WSJ0-2Mix 上比 Codecformer 提升 3.6 dB 并以约 6 倍更少的乘加操作达到 8.6% 词错误率,但样本级指标仍低于波形 SepFormer。
针对零-shot 流匹配语音合成训练目标与听感评价脱节的问题,该工作用两个模型分别学偏好与非偏好分布并配合改进的无分类器引导采样,在 Seed-TTS 中英文集上同时降低词错误率、提升说话人相似度,代价是推理需运行双模型并依赖小规模代理偏好数据。
针对实时零样本声音转换中说话人相似度低的问题,该研究用基频激励信号补回离散内容单元丢失的韵律,并用全局嵌入加轻量互补编码器的因果融合提升表达能力,在 LibriTTS 训练、VCTK 未见说话人评测上将说话人余弦相似度做到 80.83%,代价是可懂度略低于最优基线且主观相似度提升未达显著水平。
该研究以推理时因果干预解剖 SAM Audio 的文本条件与自注意力收敛,发现加性注入定语义、交叉注意力修声学、稳定层早收敛,并据此提出免训练的层选择注意力缓存,以约 25% 自注意力计算节省实现最高 6.7 倍的质量保持优势。
针对全频带黑盒检测难定位伪造痕迹的问题,BandMIL 用 8 频带注意力做可解释谱分析、用 WavLM 做全局时序建模并以门控融合与多实例学习聚合,在 ASVspoof 2019 LA 上报告 1.28% EER 和 0.0331 min t-DCF,但融合在 A10 等三类攻击上弱于单分支且未验证跨数据集泛化。
针对口语实现与书面形式多对多映射带来的转写不一致问题,论文用输出国际音标与正字法的语音转文本模型加以后续大语言模型做双文本规范化,在英语文本规范化与韩语牙科语料上报告了大幅误差下降,但英语评测依赖合成语音这一受控条件是主要代价与边界。
针对端到端说话人日志与识别中说话人判别不足的问题,该文用全局聚类加簇内重编码的分层分类与日志识别联合训练,在 AliMeeting 等三套会议数据上降低了归属误差,代价是依赖离线嵌入聚类与过滤流水线且未验证延迟与大规模开放场景。
针对固定白噪声增益阈值在阵列失配下顾此失彼的问题,该工作用双分支网络同时预测噪声掩蔽与频率相关 WNG 约束并嵌入可微 QEP 鲁棒 MVDR 层,在 8 元线阵仿真与变间距失配条件下以 SNR 增益和 SDR 改善为证据,代价是依赖仿真训练与早期参考信号监督。
针对神经音频编解码压缩会洗掉波形级水印的问题,Latent-Mark 用测试时波形优化把潜在表示推向秘密流形方向并以跨编解码器联合优化求零样本迁移,最强证据是在 SNAC 压缩后仍保持 0.58 以上存活率并在 DAPS 上达 0.93,代价是多编解码器联合优化要牺牲部分单编解码器专精性能并依赖 150 步梯度优化。
该工作用共享语音编码器加两条属性分支同时对齐语义教师与说话人教师,在多语言检索上接近单语义模型并在说话人验证上接近教师模型,代价是需要双教师监督与大规模多语言训练。
针对基础模型表示中内容与说话人纠缠的问题,该文用合成干预数据加多分支对比损失学出两个子空间,最强证据是跨域说话人验证等错误率明显下降,主要代价是内容分支在关键词任务上丢失信息且两分支仍有泄漏。
论文针对解码消息概率呈正态分布因而可用离群检测发现篡改的问题,提出两阶段自适应攻击 AWM,先用少量相似音频估计正常均值方差再逐比特约束优化,报告在两种水印与三种语音数据上替换与伪造检测率低于 10% 且去除为 0%,代价是音质优化会小幅抬高被检出风险。
针对挖掘语音翻译数据又吵又错位的问题,论文用排序加蒸馏两步得到保留或丢弃伪标签并微调音频大模型直接听原声做判断,在法英上达到 22.72 分 ASR-BLEU、比不过滤高约 1.4 分,代价是需要先算声学与语义信号并训练排序器和微调模型。
论文用只在音乐上训练的神经音频指纹处理语音标注难题,一是去重将 50000 条语音留言减至 25017 条,二是用最远点采样在嵌入空间取多样子集,线性探测显示指纹在说话人上 F1 达 96.36%,代价是口音准确率不及 WavLM 且阈值与采样细节未完全公开。
针对 ASVspoof 5 训练集中真假语音文本内容错位导致的语言捷径问题,论文用 Common Voice 训练的语言教师经梯度反转引导 XLSR 学生学语言不变表示并以变分信息瓶颈约束去除强度,在九个域外评测集上把混合等错误率降到 8.72% 但在 ASVspoof 5 域内评测上仍弱于挑战赛前四名。