把思考藏进隐状态:AURAL 如何用多路径分块推理换来更快首字应答
针对语音语言模型中显式思维链延迟高且难以表达细粒度声学线索的问题,AURAL 用高斯混合隐状态加联合块预测做两阶段训练,在 Qwen2.5-Omni 上把首个答案 token 时间从 1.22 秒降到 0.10 秒,代价是需要先构造 68.3 万条简洁思维链监督并依赖质量门控奖励来调节推理深度。
针对语音语言模型中显式思维链延迟高且难以表达细粒度声学线索的问题,AURAL 用高斯混合隐状态加联合块预测做两阶段训练,在 Qwen2.5-Omni 上把首个答案 token 时间从 1.22 秒降到 0.10 秒,代价是需要先构造 68.3 万条简洁思维链监督并依赖质量门控奖励来调节推理深度。
针对端侧语音推理中循环层每步稠密矩阵乘开销大的问题,DuSpaR 用前馈加反馈双状态回路调制输入并对矩阵乘向量做 ReLU 稀疏,在相近参数下比 GRU 在关键词识别和语义理解上省算力且精度更高,在语音增强上省约一半算力并保持质量,但稀疏收益依赖输入分布与部署是否支持跳零。
针对一步零样本语音转换中内容编码器耗时约为主流程十倍的问题,MeanVoiceFlow2 用教师 MeanVoiceFlow 做转换蒸馏并联合训练轻量内容编码器与平均速度网络,再以真实数据重建、扩散判别器混合对抗和教师增强条件扩充提升真实感与解耦,在 VCTK 上自然度高于教师且推理约快 9 倍、说话人相似度基本持平。
针对只需数秒语音即可克隆的 VC/TTS 滥用问题,STM 把扰动放在频域幅度谱上并用心理声学掩蔽阈做硬钳位,仅优化扰动去逼近目标说话人嵌入,在白盒实验中以 80 步迭代取得可比或更高的声纹拒绝率,同时把黑盒可迁移保护保留在 71.50% 而把生成耗时降到 2.19 对 3.48 秒每句的量级。
论文研究不做梯度微调能否直接用预训练 ASR 编码器做说话人无关唤醒词检测,并用 SliceGPT 式 PCA 结构化剪枝把编码器通道减半,证据是 50% 剪枝时参数约减 40% 而 EER 仅温和上升,但随机保留同等维度会使 EER 恶化到 40% 以上。
针对手机上音频已预填而完整回答仍需逐词生成的按需理解任务,As2d 让音频条件起草者脱离目标已验证前缀独立推进并由目标验证纠正,在四机七数据集上把合并语音识别吞吐相对纯目标解码提高 42 到 76%,代价是候选供给不足时仍需目标单步推进且增益依赖覆盖率与到达时机。
针对一分钟语音变成 750-1500 个音频 token 且语言模型浅层仍高度关注音频的问题,用编码器输出的闭式线性映射预测全层注意力排序并在模型前剪枝,转录用分箱覆盖、选择题再在第 2 层做精度融合校正,保守预算下与全音频差距控制在小范围内,激进预算下全面领先可运行基线,代价是线性先验在两类 Qwen-Audio 模型上失效且需用漂移筛查区分。
针对被动声学监测每夜数十 GB 超声数据的问题,该工作把短时傅里叶特征加轻量谱减与全量卸载到 MVP 加速器的 8 比特 CNN 做成边缘门控,在空间异域低流行率下报告 AUC-ROC 0.9748 并抑制 99.4% 噪声帧,代价是只保留 65.3% 蝙蝠叫声且 100 毫秒窗仍需 104.00 ms 端到端延迟。
该研究在 85.37 小时的五种伊比利亚语言加德语土耳其语对照上,用宏平均词错误率与实时因子比较十个开权重模型和一个商业 API,发现商用与受限模型领先、可商用开权重中 omniASR 系列与 Whisper 领先,而巴斯克语低覆盖与男性优势的性别差异构成主要代价。
Tacit-TTS 针对 IndexTTS2 自回归语义解码慢且已有并行方案依赖参考文本的问题,用掩码非自回归生成加免训练语速估计与重流蒸馏实现免文本克隆,跨语言证据显示英文目标相似度 0.789 且词错率 0.10%,代价是中文指标与内容准确率仍低于教师模型。
针对能听出副语言线索却不会用它规划回复的感知推理脱节问题,LoopSLM 用权重共享循环块加每轮声学重锚定和两阶段训练实现无文本思维链直接回复,证据是推理精度提升超 20 个点且生成词数减少 64.5%,代价是提示处理与每解码步都要跑 4 轮循环带来的执行深度增加。
针对耳机助听器等电池供电设备的语音去噪功耗问题,Zephyr 把 Spiking-FullSubNet 改写为 INT8 硬件友好版本并配以稀疏感知的复用 PE 阵列,在 Intel N-DNS 上报告 14.54 dB 与 52.9nJ 每帧的估算能耗,代价是相对浮点原版约 0.66 dB 下降且能耗为 45nm 估算而非实测。
针对对齐感知草稿在加长草稿 horizon 后接受长度饱和的问题,论文用递推的声学进度状态给音频交叉注意力加高斯偏置并做变长联合训练,在五个 ASR 测试集上以无损方式报告了 0.6B 目标 1.657×与 1.7B 目标 1.227×的宏平均端到端加速,代价是引入进度预测器与强制对齐监督。
该文把离线音乐分离模型不改权重地按单跳滑窗流式运行,用读出位置控制算法延迟,证明窗口长度处存在质量拐点,并在 23 与 93 毫秒下用 HT-Demucs 与 SCNet 达到专用实时模型相当的分离质量,代价是除 HT-Demucs 外仍高于实时计算量。
针对免提通话需要因果低延迟联合回声噪声控制的问题,DiffVQE2 用因果卷积加单向 GRU 改造混合扩散框架并辅以有限前视,在 ICASSP 2023 AEC 盲测上以更低算力取得更高的主观 MOS,但客观双讲指标仍有代价。
针对流匹配语音合成多步积分代价高的问题,论文用出发点局部微分恒等式做蒸馏、用一致性代价图做全局步数规划、用四步模型做对齐自蒸馏,最强证据是 Seed-TTS 上一步达到 1.80% 词错率接近 32 步教师的 1.76%,代价是说话人相似度和预测质量仍低于教师。
针对全双工语音每秒输入必须在下一秒前变成一秒语音的截止期问题,DuplexCadence 把时钟速率与保留界声明给运行时,用按需定址的携带缓存与精确形状图回放在合成尾段实现约 2.85 倍加速与约 38.8% 峰值内存下降并保持逐字节一致,代价是一次性捕获预热与自回归阶段仍在无损范围之外。
针对条件流匹配合成中近似子带持续增长而细节子带滞后的问题,论文提出免训练的频率选择性增强,在离散小波域按步调制中间梅尔谱,最强证据是 26 步达到 32 步质量且 FAD 大幅下降,代价是一次性标定低维调度且跨模型需更换函数形式。
在 T15 同一批缓存候选上,一次返回全表概率的 Jev 调用把测试词错率降到已发表权重下 7.46% 与重调权重下 6.93%,四组配对都领先两个 7B 打分器且 95% 上界最多落后 0.20 个点,代价是托管调用与传输主导的延迟。
论文针对语音指令识别中脉冲神经网络被认为比比特串行量化网络更慢的问题,提出带延迟控制的发放内核与流水延迟搜索,在匹配映射下用建模核延迟证明跨时间步重叠可更快,并在 GSC 上以 96.31% 精度达到 119.64 μs 建模延迟,代价是等待位置选错会同时变慢变差。