重叠帧算了两遍:HALO 把主干内部帧率减半再复原
针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算,HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧,使主干处理半帧率序列,在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB,代价是同一步内要一次生成两帧而峰值计算并未降低。
针对 50% 及以上重叠 STFT 相邻帧高度相关造成的轻量模型冗余计算,HALO 在不改 STFT/ISTFT 流程下用两个自适应动态卷积做降帧与复帧,使主干处理半帧率序列,在 DNS3 上以相近 MAC/s 加宽通道后 GTCRN 的 PESQ 提升 0.1、SI-SNR 提升 0.5 dB,代价是同一步内要一次生成两帧而峰值计算并未降低。
针对重型自监督模型难以部署到实时边缘端的问题,MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏,在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率,代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。
针对固定下采样在不同采样率下帧移错位的问题,MSR-HuBERT 用按采样率分流的自适应下采样卷积把多率波形对齐到统一 20 毫秒时间网格并保留掩码预测与 Transformer,在 16 至 48 kHz 的识别与全带重建对照中给出可核对的收益与代价。
针对带切分前端中循环时间与跨频带模块的串行依赖问题,论文用并行时间—频带混合器替代循环展开并用可学习的观察信号加回抑制伪影,在冻结 Whisper 下降低词错误率,代价是仍需两阶段训练且为话语级非流式混合。
QuadVAD 用 4 ms 细粒度判决、可学习谱分解加卷积与 LSTM 的紧凑结构、MFA 对齐加 TIMIT 微调的数据管线,在公开集和加噪 TIMIT 上取得更高的 AUC-ROC 与更准的起始边界,代价是依赖精确对齐标签和特定增益与噪声条件下的评估口径。
针对说话人确认中保持全时间分辨率导致一维通路算力随通道线性上涨的问题,ReDimNet2 在保持维度重排残差逻辑的前提下引入时间池化并用上采样恢复聚合长度,以 B0 到 B6 七档配置在 VoxCeleb1 上系统性压低等错误率,最大代价是放宽恒体积约束并在大模型上引入训练波动。
针对语音情感识别中时序建模重而跨库易失效的问题,SETEAB 以深度可分离下采样压缩、SE-Res2Block 通道校准、TEAB 双向门控建模与加权融合组织轻量多尺度流程,在五库平均 UA 达 47.69% 与跨库平均 WA 达 37.53% 的同时把计算控制在 0.06-0.12GFLOPs 量级,代价是跨库方差仍较大且部分基线细节依赖原文表头口径。
该文用实时磁共振影像直接估计梅尔谱并合成波形,问题是未见说话人能否不依赖参考语音保留语言内容,方法是用跨模态说话人嵌入引导影像分支学习说话人特征,最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近,代价是绝对基频和同性别说话人区分仍受限。
针对流式关键词检测中逐帧输出带来的池化状态冗余,论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时把嵌入计算和缓存都压下来,但分类间隔拉大也带来了可测的延迟代价。
针对仅用舌部超声视频合成可懂语音的问题,论文用 4 层三维卷积加 6 层 Transformer 预测梅尔谱并经 HiFi-GAN 发声,在 TaL 单人集上词错误率做到 15.93%、多人混合训练做到 31.64%,代价是跨说话人零样本泛化仍弱、需对新用户微调。
针对超声舌成像的探头位移与散斑噪声及协同发音长时依赖,论文用聚类降采样加物理增强与三维卷积加双向循环建模,在儿童超声数据集的重叠与未见说话人两种划分上把词错误率降到 0.1595 与 0.0597,代价是增强幅度与掩蔽比例需小心约束且大模型在小数据上并未占优。
针对说话时颏舌骨肌手工量厚度慢且不一致的问题,论文用深度分割加骨架中线测厚组成 SMMA,在 11 名粤语人上做到高质量图 MAE 为 0.53 mm 且/a:/显著厚于/i:/,代价是对图像质量敏感且样本小而单一。
针对英语单词重音检测依赖音节边界标注的问题,该研究用分层卷积把帧级表示压缩为音节级表示并以 Post-net2.0 损失约束每词恰有一个重音,在 ISLE 德意口音数据上报告最高 94.86% 与 96.24% 的准确率,但仍需真实音节数与后处理配合。
针对无参考语音质量预测在未见失真下泛化弱的问题,DNSMOS-C 在 DNSMOS Pro 上把 SCOREQ 三元组对比损失直接加到 64 维编码器嵌入上做单阶段联合训练,域内相关系数和跨 NISQA 子集泛化多数提升,且 PCA 显示质量排序增强,代价是失真类型可分性略降且推理与 DNSMOS Pro 相同。
针对单声部音频基频估计要在噪声下保持准确同时可实时运行的问题,FCPE 用对数梅尔谱输入加深度可分离卷积主干做 360 类音高分类,在 MIR-1K 上报告 96.79% 粗音高准确率并以 0.0062 实时因子运行,代价是在极低信噪比白噪声等极端条件下仍明显掉点且依赖增强策略补泛化。
针对含谐波和噪声时基频滤波不准会拖累瞬时基频的问题,该研究用 Wave-U-Net 直接增强基频波形再求解析信号瞬时频率,在干净与加噪条件下取得更高的粗正确率,但干净强调制跟踪仍不及 NINJAL 且存在下采样混叠的待验证解释。
论文把卷积的时间填充在过去与未来之间重新分配,用双缓冲加选择性状态更新解决分块流式的状态污染,在固定 1.37M 参数下实现 12.5 ms 时 PESQ 3.35 到 75.0 ms 时 PESQ 3.43 的延迟可配族,代价是每个延迟点需独立训练且大块才能实时。
论文用去掉舌区输入和舌掩膜引导的双编码器检验舌区贡献,发现在单帧二维卷积映射下两种操作均未带来统计显著的质量变化,但引导模型把激活集中到了舌区,代价是结构更复杂而客观指标没有提升。
该文在 TIMIT 音素识别上用卷积加双向长短时记忆网络的原始波形模型把总音素错误率拆到三套宽音类并统计替换混淆,最强证据是仅用 TIMIT 达 13.9%/15.3% 而 WSJ 迁移后达 11.3%/12.3% 并超过滤波器组基线,代价是增益高度集中于过渡依赖的辅音类而元音类改善有限。
针对多通道增强依赖固定阵列几何的问题,该工作提出由麦克风坐标动态生成卷积核的 Geo-DConv 适配器,在 RealMAN 真机录制数据上让 SpatialNet 与 TF-GridNet 适配可变阵列并在多拓扑与跨数据集上保持提升,代价是增加少量坐标建模参数与计算。