组末才分人、跨组再加权:eConv-TasNet 压缩跳连的分离改进
针对单通道双人语音分离,eConv-TasNet 在保留编码器解码器基础上以组级早分离替代逐单元分离并以指数加权跨组聚合替代全量求和,在多基准上提升分离质量并降低参数与延迟,代价是峰值精度仍低于大参数 Transformer 路线。
针对单通道双人语音分离,eConv-TasNet 在保留编码器解码器基础上以组级早分离替代逐单元分离并以指数加权跨组聚合替代全量求和,在多基准上提升分离质量并降低参数与延迟,代价是峰值精度仍低于大参数 Transformer 路线。
该文用 M 个 2×2 旋转或反射核的递归克罗内克积构造 2^M 维正交反馈矩阵,以 O(N log2 N) 就地迭代完成反馈运算,并用单个核角度连续控制立体声耦合、奇偶冻结与时变调制,代价是只覆盖正交矩阵的一个参数子空间且听感验证依赖示例音频。
论文把全双工语音模型的知识退化归因于深层语义与声学梯度冲突,用共享浅层加并行深层头与语义对齐通道来分离优化,主证据是口语问答平均提升 7.4% 与 FullDuplexBench 1.5 提升 28.5%,代价是约 10B 参数与专用三通道训练数据依赖。
共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读
针对流式与扩散式文本转音频需数十至数百步积分导致延迟高的问题,MeanAudio 以均值流回归区间平均速度并配合双文本编码与瞬时到平均课程,在 AudioCaps 上用 120M 参数实现单步 FD 14.30 与 RTF 0.013,代价是长音频与语音生成仍受限。
针对 DAFx 参数估计挑战 Task A 从未归一化位移脉冲响应恢复板混响物理参数的问题,论文用三层一维卷积加双向 GRU 的时域回归器直接预测六个可辨识参数,在 150 例开发测试集上以参数归一化均方误差 0.0499 优于粒子群优化基线的 0.0618,并把单条推理时间从 36.46 秒降到 1.10 秒,代价是面密度一项略差且最优检查点早在第 5 轮 …
共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读
该文用均匀 K 均值量化感知训练在 ResNet-36 与 ResNet-200 上定位 2 比特为主要退化区间,以分数漂移与阈值附近有害翻转解释退化,并用 2/3/4 比特校准级联在接近 FP32 性能下降低平均计算代价,但三模型常驻带来内存代价。
该文以脉冲成形原理重访脉冲表合成,用按基频索引的单周期脉冲加时变低通、成形噪声与混响生成铜管音色,并以小号三八度与起振微调制案例说明表情来自三条控制曲线的联动,代价是脉冲与轮廓仍难从混响录音中稳健自动提取。
针对流式语音大模型边听边推理容易出错且不能回滚重说的问题,RetroThinker 用三阶段事后反思微调让 Moshi 在文本内心独白中自验自改,在 TTS 版 GSM8K 上以相近延迟取得 11 个百分点的绝对准确率提升,代价是反思会先拉长推理链,需再用 Early Reasoning 和 LengthDPO 压回延迟。
该研究固定 Qwen2-Audio-7B-Instruct 做受限英译中语音翻译,只对 gate_proj、up_proj 和 down_proj 做有损量化加无损 Zstandard 压缩,本地 416 条对比中 q3 加 Zstd 以 0.7767 的 COMET 最接近 0.7792 的基线而体积降到 10.312 GB,q2 加 Zstd 以 …
该文针对单条未归一化板混响脉冲反推六维物理与观测参数的问题,用离线仿真训练的归一化树集成一次回归代替逐条迭代优化,在两组仿真验证集上把归一化均方误差降到约 0.012 并把默认粒子群的估计时间从 2252.59 秒降到 10.75 秒,代价是只给点估计且参数精度只在仿真匹配分布下成立。
针对语音对话中停顿与轮次结束难以区分的问题,论文构建含合成与真实对话的 OpenETD 数据集并提出 SpeculativeETD 两级协作推理,用端侧轻量模型逐块判有声无声、只在静音段触发服务端大模型判暂停还是结束,在混合训练下真实集上取得更好分割效果,代价是服务端调用与传输延迟仍需计入部署预算。
针对脉冲神经网络在语音命令识别中时序建模弱的问题,论文提出多视角脉冲时间感知注意力与上下文精炼 MLP 构成的 SpikCommander,在 SHD、SSC、GSC 上以 100 时间步取得更高精度,代价是更长的时序展开与更复杂的分支结构。
论文针对音频问答中统一长度推理导致的简单题冗余和难题推理不足,提出随模型感知难度调节长度奖励的 GRDR 与 GA2DR,在保持准确率的同时报告平均推理长度下降至少 50%,代价是 GRDR 在强噪声与高难度集上更易出现奖励投机与不稳定。
针对流匹配语音生成中 ODE 反复调用神经网络导致推理慢的问题,WaveEx 用单层小波分解加一阶泰勒分频外推替代部分求解步骤,在四类任务上报告 2.75-5.73 倍加速,代价是早期高曲率段仍需保留少量 ODE 步且高频外推带来轻微波动。
针对 Transformer 伪造语音检测器深层冗余且域外泛化差的问题,论文用 XLS-R 加 1 到 4 层 MTLA 分类器并以角距离把浅层向末层对齐,在 19LA 训练、多域评测下以 479.11K 分类器参数取得域外增益,但过强对齐与过深堆叠仍会退化。
针对 Qwen3-ASR-0.6B 的 18 层音频编码器,X-AuT 用短预算行为探针选择可恢复层组合,再经表示对齐、跨尺度蒸馏与 LoRA 微调分两跳压到 14 层,单次运行显示 16 层宏平均误差从 5.61% 降到 5.27%,14 层为 5.75% 且音频塔参数减少 20.7%。
针对音视频大模型推理时 KV 缓存过大问题,AccKV 按层自适应聚焦关键模态并先模态内合并再跨模态校准,在 MVBench 与 AVSD 上用 10% 缓存与 120 词元预算维持接近全缓存精度,但未测量延迟与吞吐提升。
论文针对多模态 token 与文本从第 0 层共同走完全部语言模型层造成的算力负担,提出仅让文本走完全程而把多模态 token 直接送入中间层的 DeepInsert,并在视觉、音频、分子模态中显示第 4 层插入可持平基线,而更深插入可用可接受回落换取推理加速。