补上幅值与相位线索,再在奇异值域里微调:MoSE 音频伪造检测解读
针对预训练语音表示漏掉低层幅度相位伪影的问题,该工作用频率音频编码器显式建模幅度与相位、用谱混合专家在冻结奇异基下适配 WavLM,在 2019 LA 上报告 0.29% 等错误率与 0.0081 最小串联代价,代价是引入跨注意力融合与多专家门控等额外结构与超参数。
针对预训练语音表示漏掉低层幅度相位伪影的问题,该工作用频率音频编码器显式建模幅度与相位、用谱混合专家在冻结奇异基下适配 WavLM,在 2019 LA 上报告 0.29% 等错误率与 0.0081 最小串联代价,代价是引入跨注意力融合与多专家门控等额外结构与超参数。
该研究用粤语声调外在归一化双任务加脑电时频分析回答负荷下如何维持知觉恒常,发现行为准确率不受视觉负荷影响,但顶枕 alpha 同步增强与高负荷前额 delta 去同步共同支撑主动控制,代价是视觉任务准确率下降与额外抑制资源投入。
针对歌声合成检测中伴奏遮蔽与幅度谱丢失相位 discontinuity 的问题,OPERA-Net 以相位一致 CQT 捕捉瞬时频率异常并以 WavLM 语义门控抑制伴奏,在 CtrSVDD 混合 EER 做到 1.54% 而代价是双流结构与预训练依赖。
针对梅尔谱到波形重建中频谱细节丢失与相位卷绕监督不准的问题,SCNet 用低频子带条件网络提供频域先验并用幅度加权相位损失强调高能量区,在域内与跨域评测上优于同量级基线,代价是引入双分支与耦合模块的额外计算。
针对单通道语音分离需要同时建模短时连续性与长时说话人一致性的问题,TF-MossFormer 在时频域交替做频率与时间建模并先局部后全局地融合注意力,在 WSJ0-2Mix 上报告 S/M/L 三档 22.6、24.0、24.4 dB 的 SI-SDRi,代价是 M/L 档计算量分别达到 283.4 与 425.0 G MACS/s。
该研究以 35 对英语异形同音词共 14000 个自然语料 token 为对象,用 50 帧时间归一化梅尔频谱与音素对数值比较同对词的音段实现,并用广义加性模型检验语境语义可分性对语音可分性的调节,代价是结论依赖强制对齐、线性判别与观察性建模而非因果操纵。
该研究以 141 例哮喘受试者的后胸四部位常态呼吸音为输入,用短时傅里叶变换分频带计算呼气与吸气谱功率之比并取受试者中位数,再与肺量计 FEV1/FVC 做 Spearman 相关,最强证据是 100-200 Hz 和 200-400 Hz 在左下与左上部位呈现随年龄性别偏移的中等相关,而代价是相关系数仅 0.2-0.4 且多为组内趋势,不能替代肺量计。
针对初学者看不懂语谱图时间细结构的问题,该演示用 CARFAC 耳蜗滤波加 SAI 稳定成像生成基频图,以 16 kHz 输入和 450 样点分帧做实时双屏对照练习四个普通话声调,默认词表限定 22 词且未报告学习增益的定量实验。
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
SMIA 针对 AI 合成语音中人耳不敏感的低能量时频区做黑盒频谱掩蔽与插值搜索,在 ASVspoof 2019 与 LibriSpeech 上报告独立反欺骗最高 100%、独立验证最高 97.5%、联合管线最高 82% 的攻击成功率,但强反欺骗与保真说话人特征之间存在明显张力。
针对多通道语音增强中均匀 SDR 损失忽视音素级时频线索的问题,该研究提出基于局部语音存在、语音干扰比和谱通量加权的时频加权 SDR 框架,在白噪声下实现更强的干扰抑制和辅音与爆破音识别提升,代价是在语音形噪声下部分失真指标和短时客观可懂度略有下降。
针对音频标注贵且通用主动学习忽略时频结构的问题,论文提出先用软损失分布刻画难学模式再用特征加梯度相似度匹配无标注样本的 TSAL,在 40% 标注预算下以 ESC-50 上 82.65% 对 79.90% 等结果领先基线,代价是每轮需额外计算伪标签梯度和相似度排序。
该文把近端聆听增强做成在谱-时间调制域上学习全局掩蔽并保持总能量不变,在多种噪声和客观加主观指标上报告了优于时频基线的平均增益,但低信噪比下个别条件仍被基线反超且主观验证规模很小。
针对单声道到双耳合成中耳间差异难复现的问题,Spec2Spatial 先做时域几何对齐再在时频域学习左右耳关联与位置调制,在 Binaural Speech 上取得 DILD 1.250、DITD 0.034 和 MRSTFT 1.174,代价是仍依赖小规模同域录音与位置姿态输入。
该研究把板混响脉冲响应转成多分辨率幅度谱图加相位通道后用 ResNet-18 回归七个原始物理参数,在 200 条 5 秒对照上把平均 NMSE 从基线 0.0605 降到 0.0058,代价是依赖下采样到 1470 Hz 的低频段与仿真分布。
针对机械与水下录音中弱而宽带的循环调制检测问题,论文用 CARFAC 内毛细胞通道包络谱代替 FAM 加 ICMC 的谱相关面,在合成音、CWRU 轴承与 ShipsEar 工作船录音上恢复了主要的低频循环线,并把同任务墙钟耗时降到约 2 至 37 分之一,代价是真实水下宽带噪声下归一化后噪声基更高。
针对固定采样率建模与频点数增加带来计算膨胀的问题,TF-Refiner 把深层分析限定在可配置截止频率以下并用浅层解码加局部复数滤波保持全频带输出,同一套在两种采样率训练的参数可用于未见采样率,代价是推理时仍需按预算选择截止频率的工作点。
针对谐波注意力依赖先验字典而清音恢复弱的问题,论文提出对注意力键和值做有限标量量化的无字典离散注意力,并在 TFGridNet 上验证其与谐波注意力的互补增益,最强组合在可见集提升 0.10 PESQ 与 0.56 dB SISNR,代价是前端与注意力替换带来的额外计算与结构复杂度。
针对家具移除与移动后同一声源接收位置的房间脉冲响应更新问题,论文提出以均匀材质仿真代理刻画几何变化的 PG-RIR,在 14 场景留一评估上把 T60 误差降到 0.0316 秒左右,但多步回代会累积平滑且逆渲染基线在大表面数下失效。
针对可逆恒 Q 变换各频带时域系数不等长导致的多次核启动与搬运开销,论文用打包实信号傅里叶加固定路由表把选频加窗重排折进带内短逆变换,在同算子同长度基线下把分析合成往返加速两到八倍,代价是实现固定在 65536 点切片并依赖重叠切片处理长信号。