论文解读

判别先分、生成再修:MeCo 用一步平均速度把估计搬回干净语音流形

针对多通道分离中判别模型信号保真高但听感差、生成模型自然但需多步迭代的问题,MeCo 用条件平均速度场做一步校正并引入数据空间优化,在 WSJ0+WHAM!上达到 10.08 dB SI-SDR 与 3.19 DNSMOS,代价是只增加 1 次函数求值和 0.0068 实时率。

 · 更新于 2026-11-05 · 约 16 分钟 · 7520 字 阅读 →
论文解读

缺失中也要认出情绪:用遮罩卷积与多尺度一致性做轻量语音情感识别

针对重型自监督模型难以部署到实时边缘端的问题,MSMC 用无泄漏遮罩卷积编码器加均值教师多尺度蒸馏,在 IEMOCAP 即兴子集十折留一说话人验证下达到 76.0% 加权准确率,代价是仍只在该数据集与该协议下验证且依赖 60% 时域遮罩等特定训练条件。

 · 更新于 2026-11-05 · 约 20 分钟 · 9994 字 阅读 →
论文解读

在线又剪枝又微调:OnDA 把个性化关键词识别的架构也拿到端上改

OnDA 针对常开关键词识别的说话人与环境偏移,把权重自学习与结构化通道剪枝都搬到端上,用伪标签的域内数据做剪枝与微调,在 HeySnips/HeySnapdragon 上以 0.5 次误报每小时下等精度实现最高 9.63×压缩,代价是伪标签噪声与微调样本更少且剪枝时机影响端上能耗回本点。

 · 更新于 2026-11-05 · 约 19 分钟 · 9272 字 阅读 →
论文解读

在线时不能看未来:用渐进蒸馏把视觉前端变轻并保住说话人区分度

针对因果视听说话人分离缺未来上下文且视觉前端笨重的问题,论文用因果化 DeepAVSR 加在线 AV-CrossNet 做基线,再用渐进加权的视觉知识蒸馏把前端压缩到约 48 倍参数与 7.5 倍计算量,并在 LRS2、LRS3 与 VoxCeleb2 上取得在线最优,同时保留教师性能。

 · 更新于 2026-11-05 · 约 17 分钟 · 8294 字 阅读 →
论文解读

不换求解器换算子:用声道形状直接算出稳态发声的物理信息神经算子

该研究把声带双质量振动与一维声道波动方程写成无监督物理损失,用分支输入声道形状、主干输入时空坐标的深度算子一次学习五个元音的稳态周期解,最强证据是基频误差约 0.1-0.2% 与声门流量和唇端声压波形接近传统求解器,代价是训练约 80 小时且目前只验证已见形状的稳态推理。

 · 更新于 2026-11-05 · 约 20 分钟 · 9629 字 阅读 →
论文解读

声音不能只转文字:用独特性留住声学线索的视频推理压缩

针对视频推理中只看画面或只用语音转文字会丢失语调环境音的问题,Flash-VAReason 用音频时间融合加全局去重保留独特音频令牌,在 CharadesEgo 上取得 Overall 2.3789 的同时把单样本推理控制在 6.10 s,代价是长音频仍需截断且未做细粒度音频事件建模。

 · 更新于 2026-11-05 · 约 21 分钟 · 10383 字 阅读 →
论文解读

解开 1 比特下限:用可变秩二值分解把编码器压进亚比特

针对 Conformer-Transducer 端侧过大问题,论文用二值低秩分解加梯度敏感度的混合秩分配把编码器压到亚 1 比特,用 LibriSpeech 上 1.0 bpw 混合秩 dev-other 词错误率 6.01% 与 0.2 bpw 仍可运行为证据,代价是解码器与联合网络仍需高秩且低码率下词错误率明显上升。

 · 更新于 2026-11-05 · 约 19 分钟 · 9146 字 阅读 →
论文解读

用四元数耦合幅度与相位:QC-GAN 如何在 0.89M 参数下逼近全尺寸 Conformer 增强质量

针对单通道语音增强中轻量化导致相位建模退化的问题,QC-GAN 用四元数 Conformer 生成器加 MetricGAN 判别器,在 VoiceBank+DEMAND 上以 0.89M 参数达到 PESQ 3.48,以 35K 参数达到 3.23,代价是四元数运算带来更高的实数乘加量与 CPU 负担。

 · 更新于 2026-11-05 · 约 17 分钟 · 8117 字 阅读 →
论文解读

4 毫秒做判决:QuadVAD 如何把边界精度、噪声鲁棒和 25 KB 共存

QuadVAD 用 4 ms 细粒度判决、可学习谱分解加卷积与 LSTM 的紧凑结构、MFA 对齐加 TIMIT 微调的数据管线,在公开集和加噪 TIMIT 上取得更高的 AUC-ROC 与更准的起始边界,代价是依赖精确对齐标签和特定增益与噪声条件下的评估口径。

 · 更新于 2026-11-05 · 约 20 分钟 · 9556 字 阅读 →
论文解读

不用并行编码器:用语音活动与谐波线索调制瓶颈的轻量多模态增强

针对强噪声下轻量声学麦克风增强容量不足的问题,LAU-NetV2 用皮肤加速度计压缩出语音活动和谐波两路线索以特征调制方式控制 U-Net 瓶颈,在 TAPS 加 DNS 噪声上把 PESQ 从 1.78 提升到 2.78,代价是增加约 30k 调制开销并需经 40% 剪枝才能在 MCU 上满足 48.66 ms 推理预算。

 · 更新于 2026-11-05 · 约 17 分钟 · 8189 字 阅读 →
论文解读

时间池化为何能让维度重排网络把通道做宽而不把算力做贵

针对说话人确认中保持全时间分辨率导致一维通路算力随通道线性上涨的问题,ReDimNet2 在保持维度重排残差逻辑的前提下引入时间池化并用上采样恢复聚合长度,以 B0 到 B6 七档配置在 VoxCeleb1 上系统性压低等错误率,最大代价是放宽恒体积约束并在大模型上引入训练波动。

 · 更新于 2026-11-05 · 约 17 分钟 · 8404 字 阅读 →
论文解读

冻住已发货检测器再长出新词分支:参数封顶的模块化关键词扩展

为在拿不到原始训练数据且不允许老词退化的条件下增加新触发词,该文冻结约 150k 参数的基座并只训练不超过 10k 参数的扩展分支与新词头,在固定 1% 误接受率下把新词平均漏检率从可部署独立模型基线的 6.46% 降到 4.37%,最坏情况计算量为 16.34M,低于同预算适配器与低秩适配的 18.45M 与 20.52M。

 · 更新于 2026-11-05 · 约 21 分钟 · 10231 字 阅读 →
论文解读

用冻结 CTC 编码器做草稿:语音大模型的自投机解码如何同时加速与纠偏

针对语音大模型逐词元自回归推理慢的问题,该文用冻结 CTC 编码器的贪心假设做草稿,经熵门控与单次 LLM 似然校验加失败回退,在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%,代价是高速档有约 12% 相对词错率上升。

 · 更新于 2026-11-05 · 约 17 分钟 · 8499 字 阅读 →
论文解读

又轻又准的情感识别:SETEAB 用压缩前端与门控时序平衡精度与跨库泛化

针对语音情感识别中时序建模重而跨库易失效的问题,SETEAB 以深度可分离下采样压缩、SE-Res2Block 通道校准、TEAB 双向门控建模与加权融合组织轻量多尺度流程,在五库平均 UA 达 47.69% 与跨库平均 WA 达 37.53% 的同时把计算控制在 0.06-0.12GFLOPs 量级,代价是跨库方差仍较大且部分基线细节依赖原文表头口径。

 · 更新于 2026-11-05 · 约 15 分钟 · 7299 字 阅读 →
论文解读

不走多步轨迹:把语音增强写成分布平衡的单步投影

针对扩散增强需要多步迭代带来的延迟问题,论文用漂移模型把去噪写成前推分布向干净分布的平衡,用语义潜空间的漂移场做单步映射,最强证据是直接映射在 VoiceBank-DEMAND 上报告 PESQ 3.15 和 SI-SDR 16.1 dB、条件生成报告 SCOREQ 4.33,代价是注入噪声会牺牲波形精度且非配对下配对指标明显下降。

 · 更新于 2026-11-05 · 约 18 分钟 · 8990 字 阅读 →
论文解读

关键词只偶尔出现,为何卷积要每帧都全算一遍:子模型短时记忆的稀疏调度

针对流式关键词检测中逐帧输出带来的池化状态冗余,论文把卷积主干切成以池化结尾的子模型并按静态调度稀疏执行,在保持识别精度的同时把嵌入计算和缓存都压下来,但分类间隔拉大也带来了可测的延迟代价。

 · 更新于 2026-11-05 · 约 21 分钟 · 10436 字 阅读 →
论文解读

不碰大模型权重,如何把声音写进它的短期记忆

针对音频预填充随主干增大而变贵与音频微调损伤文本能力的问题,论文用与主干同层数的窄卷积注入器直接生成层相关键值缓存,在冻结 Qwen3-0.6B 下以音频预填充激活参数从 1108M 降至 552M 为代价逼近微调基线,并用噪声旋转位置编码与键值尺度匹配解决长句泛化。

 · 更新于 2026-11-05 · 约 19 分钟 · 9519 字 阅读 →
论文解读

固定块长走不稳难音区:用轨迹直不直来动态截断再生成

针对块流匹配固定块长在难建模语音段速度估计不稳的问题,论文提出免训练的轨迹置信度做逐帧可靠性信号并用截断加再生成动态调块,在 Seed 中英集上把英文词错率降到 1.798% 且自然度提到 3.809/3.973,代价是阈值 0.75 时相对推理耗时变为 1.08 倍。

 · 更新于 2026-11-05 · 约 17 分钟 · 8411 字 阅读 →
论文解读

帧级蒸馏为何不能只对齐逻辑:用教师无关的时间上下文投影做轻量声音事件检测

针对声音事件检测需要帧级定位而轻量模型容量不足的问题,论文提出以教师 logits 为公共蒸馏空间、配合时序投影器和置信度加权损失的 TAT-KD,最强证据是 4.548M 参数的 SE-CRNN 学生达到 PSDS 0.574,代价是训练期要附加多级投影器并依赖冻结教师的帧级输出质量。

 · 更新于 2026-11-05 · 约 18 分钟 · 8674 字 阅读 →
论文解读

去掉时间步还能增强语音吗:自洽整流流如何只看当前位置推断去噪方向

针对线性路径下目标速度场与时间无关的问题,论文提出去掉时间步嵌入的自洽整流流 ARF,只用当前状态与带噪观测估计噪声,在 VoiceBank+DEMAND 上 NFE=5 时 PESQ 达 3.11 且 NFE=1 时 RTF 低至 0.02,代价是混响泛化仍明显下降。

 · 更新于 2026-11-05 · 约 16 分钟 · 7914 字 阅读 →