不换求解器换算子:用声道形状直接算出稳态发声的物理信息神经算子
该研究把声带双质量振动与一维声道波动方程写成无监督物理损失,用分支输入声道形状、主干输入时空坐标的深度算子一次学习五个元音的稳态周期解,最强证据是基频误差约 0.1-0.2% 与声门流量和唇端声压波形接近传统求解器,代价是训练约 80 小时且目前只验证已见形状的稳态推理。
该研究把声带双质量振动与一维声道波动方程写成无监督物理损失,用分支输入声道形状、主干输入时空坐标的深度算子一次学习五个元音的稳态周期解,最强证据是基频误差约 0.1-0.2% 与声门流量和唇端声压波形接近传统求解器,代价是训练约 80 小时且目前只验证已见形状的稳态推理。
针对视频推理中只看画面或只用语音转文字会丢失语调环境音的问题,Flash-VAReason 用音频时间融合加全局去重保留独特音频令牌,在 CharadesEgo 上取得 Overall 2.3789 的同时把单样本推理控制在 6.10 s,代价是长音频仍需截断且未做细粒度音频事件建模。
针对 Conformer-Transducer 端侧过大问题,论文用二值低秩分解加梯度敏感度的混合秩分配把编码器压到亚 1 比特,用 LibriSpeech 上 1.0 bpw 混合秩 dev-other 词错误率 6.01% 与 0.2 bpw 仍可运行为证据,代价是解码器与联合网络仍需高秩且低码率下词错误率明显上升。
针对单通道语音增强中轻量化导致相位建模退化的问题,QC-GAN 用四元数 Conformer 生成器加 MetricGAN 判别器,在 VoiceBank+DEMAND 上以 0.89M 参数达到 PESQ 3.48,以 35K 参数达到 3.23,代价是四元数运算带来更高的实数乘加量与 CPU 负担。
QuadVAD 用 4 ms 细粒度判决、可学习谱分解加卷积与 LSTM 的紧凑结构、MFA 对齐加 TIMIT 微调的数据管线,在公开集和加噪 TIMIT 上取得更高的 AUC-ROC 与更准的起始边界,代价是依赖精确对齐标签和特定增益与噪声条件下的评估口径。
针对强噪声下轻量声学麦克风增强容量不足的问题,LAU-NetV2 用皮肤加速度计压缩出语音活动和谐波两路线索以特征调制方式控制 U-Net 瓶颈,在 TAPS 加 DNS 噪声上把 PESQ 从 1.78 提升到 2.78,代价是增加约 30k 调制开销并需经 40% 剪枝才能在 MCU 上满足 48.66 ms 推理预算。
针对说话人确认中保持全时间分辨率导致一维通路算力随通道线性上涨的问题,ReDimNet2 在保持维度重排残差逻辑的前提下引入时间池化并用上采样恢复聚合长度,以 B0 到 B6 七档配置在 VoxCeleb1 上系统性压低等错误率,最大代价是放宽恒体积约束并在大模型上引入训练波动。
为在拿不到原始训练数据且不允许老词退化的条件下增加新触发词,该文冻结约 150k 参数的基座并只训练不超过 10k 参数的扩展分支与新词头,在固定 1% 误接受率下把新词平均漏检率从可部署独立模型基线的 6.46% 降到 4.37%,最坏情况计算量为 16.34M,低于同预算适配器与低秩适配的 18.45M 与 20.52M。
针对语音大模型逐词元自回归推理慢的问题,该文用冻结 CTC 编码器的贪心假设做草稿,经熵门控与单次 LLM 似然校验加失败回退,在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%,代价是高速档有约 12% 相对词错率上升。
针对语音情感识别中时序建模重而跨库易失效的问题,SETEAB 以深度可分离下采样压缩、SE-Res2Block 通道校准、TEAB 双向门控建模与加权融合组织轻量多尺度流程,在五库平均 UA 达 47.69% 与跨库平均 WA 达 37.53% 的同时把计算控制在 0.06-0.12GFLOPs 量级,代价是跨库方差仍较大且部分基线细节依赖原文表头口径。
针对扩散增强需要多步迭代带来的延迟问题,论文用漂移模型把去噪写成前推分布向干净分布的平衡,用语义潜空间的漂移场做单步映射,最强证据是直接映射在 VoiceBank-DEMAND 上报告 PESQ 3.15 和 SI-SDR 16.1 dB、条件生成报告 SCOREQ 4.33,代价是注入噪声会牺牲波形精度且非配对下配对指标明显下降。
针对流式关键词检测中逐帧输出带来的池化状态冗余,论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时把嵌入计算和缓存都压下来,但分类间隔拉大也带来了可测的延迟代价。
针对音频预填充随主干增大而变贵与音频微调损伤文本能力的问题,论文用与主干同层数的窄卷积注入器直接生成层相关键值缓存,在冻结 Qwen3-0.6B 下以音频预填充激活参数从 1108M 降至 552M 为代价逼近微调基线,并用噪声旋转位置编码与键值尺度匹配解决长句泛化。
针对块流匹配固定块长在难建模语音段速度估计不稳的问题,论文提出免训练的轨迹置信度做逐帧可靠性信号并用截断加再生成动态调块,在 Seed 中英集上把英文词错率降到 1.798% 且自然度提到 3.809/3.973,代价是阈值 0.75 时相对推理耗时变为 1.08 倍。
针对声音事件检测需要帧级定位而轻量模型容量不足的问题,论文提出以教师 logits 为公共蒸馏空间、配合时序投影器和置信度加权损失的 TAT-KD,最强证据是 4.548M 参数的 SE-CRNN 学生达到 PSDS 0.574,代价是训练期要附加多级投影器并依赖冻结教师的帧级输出质量。
针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。
针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题,论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影,在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率,并把长句解码器额外开销从百秒量级降到数秒量级,代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。
针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题,该文用通道级 k-means 聚类合并注意力头和前馈中间单元,并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降,代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。
针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题,U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失,在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量,代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。
针对流式语音转换中冻结声纹嵌入与帧级声学生成失配的问题,VOSSA 从冻结内容编码器中间层经注意力统计池化提取声纹并与转换目标联合训练,在六个数据集上以相近的 NISQA-MOS 和 WER 换来更高的归一化目标相似度、更小的 F0 误差和更小的元音 F1 分布距离,代价是仍需双路径重建加对比约束联合优化且推理仍保持约 73 ms 延迟。