📄 严格因果、状态恒定的流式语音识别器 E-Gaborformer
评分:6.6/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Nir Krakowski:机构信息未能在本次解析中与作者逐人可靠绑定
- Tamir Cohen:机构信息未能在本次解析中与作者逐人可靠绑定
- Ohad Zohar:机构信息未能在本次解析中与作者逐人可靠绑定
- Chen Zarfati:机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
实时语音代理需要在说话同时给出转写,编码器输入为80 ms一帧的语谱特征,输出为每帧的音素或词片段分布,难点是在严格因果下压缩长历史又保留近期精确信息。前端先经卷积下采样得到80 ms帧并送入E-Gaborformer块,块内全局分支以三层门控增量循环做长程压缩、每第四层用128帧滑动窗口注意做精确召回,局部分门多层感知机分支负责近邻细节,两路经固定因果Gabor字典卷积后合并,循环输出门从0.5启动以保持早期活跃。编码器输出与历史词片段一起进入换能器预测网络,该网络交替堆叠循环层与词级因果注意以复制数字、人名等近期词,训练时对同一套权重随机切换无前视与480 ms前视组块掩码。LibriSpeech-100因果对照中混合编码器十轮后与同尺寸因果E-Branchformer基本持平,且早期达到相同字错率所需的更新数最多减少约18%。生产级0.6B参数希伯来语和英语流式换能器在英语代理流量上比同尺寸Nemotron 3.5 ASR Streaming字错率低28%到31%,同一套权重支持严格因果与480 ms前视且精度相同。该结论限于上述受控对照和内外生产语音集,希伯来地址网址邮箱集字错率相对上升约7%,更长轮数对照、发射延迟实测和多分钟长流尚未验证。每流约19 MB的常数状态量和2.6倍的换能器训练加速已披露,未给出端到端延迟实测。
🔗 开源与复现资源
- 第三方资源:https://deepdub.ai — 链接可访问(HTTP 200)
可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
语音助手要什么样的识别器
实时语音助手面对的是电话质量、自发说话、多人并发的音频流。输入是连续声波经短时傅里叶与梅尔滤波得到的声学帧序列,目标是在说话人还没说完时就给出文字,而且每通电话的服务内存不能随通话变长。
这带来两个硬约束。第一是严格因果,输出帧只能用当前及过去的音频,不能等未来。第二是每流状态有界,缓存键值或卷积历史的方式若随时间线性增长,数千并发下成本不可接受。
论文的解决对象就是声学编码器加换能器的整体流式方案:编码器把声学帧变为高层表示,预测网络读已输出的词,联合网络逐帧决定发射词或空白。评价用词错率,越低越好,生产还关心恒定状态大小与训练更新速度。
已有路线为何不够用
强编码器如 Conformer 交错自注意力与卷积模块,Branchformer 让注意力与卷积门控多层感知机并行,E-Branchformer 再加深度卷积合并,在多任务上达到很好水平。但它们原本双向,改为因果掩码后仍要缓存全部历史键值,论文估算 18 层 1024 维在 80 毫秒帧下每分钟每路约 110 MB。
流式工作用分块、记忆截断、有限右上下文来限界状态,Nemotron 3.5 流式版就是固定左上下文 56 帧的 0.6B 参数多语换能器。另一路线是线性注意力循环,把历史压缩进固定矩阵并每帧更新一次,DeltaNet、门控 DeltaNet 到 Gated DeltaNet-2 逐步加入纠错写与数据依赖遗忘,在语言建模上逼近注意力,混合少量注意力层可补精确回忆。
结构化滤波器方面,视觉中有高斯导数、傅里叶贝塞尔基,语音前端有 Gabor、SincNet、LEAF,也有事后拟合 Gabor 再冻结的做法。本文不同点是时间维、在每个编码块内、从初始化就限制在因果 Gabor 张成空间。
论文要回答的具体问题
在完全相同的因果前端与训练流程下,以循环为主的编码器能否在识别准确率上追平注意力为主的 E-Branchformer,同时把每流状态变为常数并更快达到给定准确率。
为此需要分工解决三件事:长程记忆如何不存全部历史,局部时频调制如何用少参数因果建模,循环分支训练初期过 quiet 导致的空白平台停滞如何消除。生产层面还要回答同一套权重能否兼顾严格因果与有限前视,以及换能器训练能否在不改变目标的前提下大幅加速。
E-Gaborformer 的整体流程
输入是 128 维对数梅尔,经 SpecAugment 与全局均方差归一化,再经因果 2 维卷积堆下采样 8 倍到 80 毫秒帧。论文定义输出帧 j 覆盖止于 80j 毫秒的 8 个 10 毫秒跳帧,加 25 毫秒窗则依赖止于 80j+12.5 毫秒的音频,掩码注意力、左侧填充卷积、前向循环与左侧填充下采样共同保证严格因果。
编码器保留 E-Branchformer 的三明治块:半步前馈、全局与局部分支并行、合并、第二半步前馈。改动是全局分支按层号三层循环一层滑窗注意力,两个深度卷积都换为 Gabor 字典卷积,循环层的输出门也改动。受控模型 12 层 256 维,生产编码器 18 层 1024 维加 640 维联合网络与混合预测网络。
下面先看单块的连接关系,再分别解释循环更新、字典卷积与门修复。
读图说明:该块状图是理解分叉与汇合的唯一依据,请按主路径与分支标注观察因果数据流。
看图路径: 1. 沿顶部 80 毫秒帧经半步前馈后如何分叉为全局与局部分支;2. 看全局分支标注的三比一与局部分支的门控 Gabor 卷积;3. 看两分支在合并块经拼接、Gabor 卷积与投影后再做半步前馈

论文图 1。原论文 Figure 1::“One E-Gaborformer block (residual connections omitted).”。
该图可见顶部帧先经半步前馈,然后分叉,左侧全局分支标注四层中三层循环一层滑窗注意力,右侧局部分支标注投影切分与门控 Gabor 卷积,两路向下汇入拼接再 Gabor 卷积再投影的合并块,最后经半步前馈与层归一化输出。这说明局部细节与全局上下文在块内分离处理、块末融合,固定大小状态标注也对应这种分工。
全局分支为何三份循环配一份滑窗注意力
Gated DeltaNet-2 简称 GDN-2,每头维护 64 乘 64 矩阵状态,每帧用衰减、擦除、写入更新一次,再与查询相乘得输出。查询键值过因果短卷积并做归一化,衰减按通道遗忘,擦除去掉当前键已存内容,写入选值通道。状态大小固定,可携带窗外久远信息,但压缩会丢精确拷贝。
滑窗注意力只看最近 128 帧即 10.24 秒,带旋转位置编码,提供窗内精确回忆。每四层中三层为 G,第四层为 S,记为 GGGS。推理时循环为矩阵, attention 为键值环形缓冲,卷积为最近 K-1 个输入缓存,均与流长无关。
Gated DeltaNet-2 × 滑窗注意力: Gated DeltaNet-2 是每帧更新一次固定大小矩阵状态的循环层,负责把任意久远的历史压缩携带;滑窗注意力是只看最近 128 帧的因果注意力层,负责对近窗做精确回忆。两者按三比一交替,是因为纯压缩状态缺精确拷贝,纯注意力状态随通话变长,而搭配后长程靠循环、近程靠注意力。
\[S_{t}=\bigl(I-k_{t}(b_{t}\odot k_{t})^{\!\top}\bigr)\,\mathrm{Diag}\!\left(e^{g_{t}}\right)S_{t-1}+k_{t}\,(w_{t}\odot v_{t})^{\!\top},\qquad o_{t}=S_{t}^{\top}q_{t}.\]该式计算矩阵状态的单步更新与读出:先以对角衰减遗忘旧状态,再以当前键做误差校正式擦写并写入新值,最后与查询相乘得输出。它对应每帧一次的固定代价更新,是恒定状态的来源。
时间卷积如何只用 16 个固定原子表示
局部 cgMLP 分支把通道投影到 2c 并切分为值与门两半,只在门上做时间深度卷积;合并块把 2 分支拼接后再做一次深度卷积投影回 d。E-Gaborformer 把这两处都换为字典卷积。
字典有 16 个单位范数单侧原子:2 个高斯,包络峰在当前帧向过去衰减,7 个频率对数排布 0.03 到 0.4 周每帧的正余弦波包,每频正交以覆盖任意相位。核长 31 在 80 毫秒帧下跨 2.48 秒,波包中心在 0.375 到 5 赫兹,对应短语与慢速音节调制;40 毫秒消融时覆盖 0.75 到 10 赫兹。每个通道核为原子的线性组合,只学系数与偏置,每通道 16 参数而非 31 个抽头,fp32 构造再转激活精度。
读图说明:16 个波形小图直接展示字典形状与因果包络,是理解平滑先验的关键,请对照频率标注看振荡密度。
看图路径: 1. 数 4 行 4 列共 16 个原子,区分 2 个高斯与 14 个波包;2. 看横轴为滞后 -30 到 0,包络峰值在当前帧并向过去衰减;3. 对比低频平缓与 5.00 赫兹高频振荡的波形密度

论文图 2。原论文 Figure 2::“The 16 fixed causal Gabor atoms (kernel 31, lag -30\ldots 0 left to right; frequencies at 80 ms frames). Each channel’s kernel is a learned linear combination of them.”。
图可见第一行两个高斯平滑单调,第二行起随标注频率升高振荡变密,右侧高频在滞后零端收尖,左侧久远端趋零,证实单侧因果与包络衰减。每个通道核即这些波形的加权叠加,约束能量集中在约 0.4 周每帧以下,但单侧截断会从最高频原子泄漏部分能量。
Gabor 字典 × 深度卷积: 深度卷积指每个通道独立在时间上做一维卷积;Gabor 字典指 16 个固定的单侧高斯与正余弦波包基。把卷积核限制为字典的线性组合,学习对象从 31 个抽头变为 16 个系数,起到平滑先验作用,同时天然保证因果。
\[h_{c}[\tau]=\sum_{m=1}^{M}a_{c,m}\,\phi_{m}[\tau],\qquad\tau=-(K-1),\dots,0,\]该式约束通道核为字典线性组合,求和范围为滞后负 K-1 到零,只用过去。它说明学习量是系数,基固定,天然因果。
\[\phi^{\cos}_{k}[\tau]\propto e^{-\tau^{2}/2\sigma_{k}^{2}}\cos(2\pi f_{k}\tau),\quad\phi^{\sin}_{k}[\tau]\propto e^{-\tau^{2}/2\sigma_{k}^{2}}\sin(2\pi f_{k}\tau),\quad\sigma_{k}=\mathrm{clip}(0.5/f_{k},\,1,\,(K-1)/2),\]该式给出波包的构造:高斯包络乘余弦或正弦,宽度按频率倒数裁剪。它说明频率非线性进入的是固定基而非可学参数,核对系数线性,区别于学中心频率的前端。
循环分支太 quiet 为何卡住训练
早期混合模型用 SiLU 输出门与均方根归一化极小值 1e-5,第二轮 18 个因果含循环运行中有 4 个在一轮内走不出只输出空白的初始平台。首评 250 步时循环分支输出均方根约 0.005 到 0.006,同模型注意力分支约 0.28 到 0.38,相差 50 到 60 倍。
论文归因于输出路径:门预激活近零时 SiLU 近零,循环输出小到低于归一化极小值,归一化不再放大,网络其余部分学会绕开循环分支。某停滞种子后期分支变响仍未离平台,支持分支早期失活的假设。
修复是不增参数地把 SiLU 换为起点 0.5 的 S 形门,并把极小值降到 1e-6,门卷积系数近零初始化偏置为 1 使门初开。之后循环分支起点均方根约 0.09,后续 36 个因果含循环运行全部离平台,750 或 1000 步离台,对照 E-Branchformer 为 750 步。未停滞种子下两门最终词错率相近,说明修复改的是停滞率而非上限。
读图说明:左右两面板分别显示词错率平台与分支响度演化,请注意停滞曲线与量级差异。
看图路径: 1. 左图看一条标准门控曲线长期停在高词错率平台;2. 右图对比循环分支在标准初始化下比注意力分支低约两个量级;3. 看改用 S 形门后循环分支起点抬升并与注意力分支接近

论文图 3。原论文 Figure 3::“Standard (SiLU) and sigmoid GDN-2 output gate in the causal 1:1 hybrid (three seeds each, 40 ms front end).”。
左图纵轴为开发集词错率随更新步下降,一条标准门曲线长期贴顶,S 形门 3 条均下降;右图纵轴对数刻度的分支输出均方根显示标准循环分支起点远低于注意力虚线,S 形门起点明显抬升。这支持门与归一化是早期失活原因的判断。
严格因果 × 可选前视: 严格因果指第 j 个输出帧不依赖第 j 帧之后的任何输入;可选前视指滑窗注意力层按块允许最多 C-1 帧未来帧。由于循环层和卷积仍严格因果,前视上界不随层数累积,同一套权重可在严格因果与 480 毫秒前视之间切换。
损失、优化与加速如何组织
受控研究用 CTC 加贪心解码无语言模型,输出层为 5000 个字节对子词,中间层 CTC 仅作消融。生产用 RNN-T,预测网络读已发符号,联合网络逐帧输出词表加空白分布,损失对帧符号格全部路径求和。
优化对隐矩阵用 Muon、其余用 AdamW,峰值学习率 1e-3 预热 500 步后逆平方根衰减,bf16 自动混合,每轮约 2330 更新。生产用约 12,000 小时希伯来语与 96,000 小时英语,希伯来采样加权,加变速与 SpecAugment,每更新约 8500 秒音频,先以 Nemotron 作教师 10750 步蒸馏编码器与格上空白下词其他 3 类概率,之后只用 RNN-T 损失。预测网络由两层循环换为 G A G A 四层混合,G 层拷贝已训权重,注意力层随机初始化,先冻结编码器做全词表散度蒸馏再解冻微调。
CTC × RNN-T: CTC 是每帧独立预测符号或空白的对齐损失,用于受控小实验以隔离编码器差异;RNN-T 增加读已输出符号的预测网络和联合网络,输出依赖历史文本,用于可部署的生产模型。论文先用 CTC 做公平对比,再把选定结构放大为 RNN-T 换能器。
换能器加速核心是双类别格:每节点只需下词与空白两个对数概率,联合对数经分块算出后取对应项减对数和得归一化值,前后向只在两类上跑,梯度经闭式回传联合网络。输出层补 0 到 128 倍数行偏置负 1e4 以启用张量核,深度卷积写成 Toeplitz 矩阵乘,长度重组按池化排序提高填充率且保留原损失权重,另有固定形状与预取消除主机同步。
双类别 RNN-T 格 × 对数和: RNN-T 格是帧与文本位置组成的 blank 前进与符号前进的路径图;双类别格指每个节点只保留发射下一个文本符号与发射空白两个对数概率,对数和指对词表求 log-sum-exp 得归一化项。只算这两个值加闭式梯度即可得到与全词表格完全相同的损失和梯度,省去大量 softmax 存储与计算。
\[\frac{\partial\mathcal{L}}{\partial z_{t,u}}=\gamma^{y}_{t,u}\,\mathbf{e}_{y_{u+1}}+\gamma^{b}_{t,u}\,\mathbf{e}_{\varnothing}-\bigl(\gamma^{y}_{t,u}+\gamma^{b}_{t,u}\bigr)\,\mathrm{softmax}(z_{t,u}),\]该式给出联合对数梯度的闭式:两类梯度分别加到对应独热位置,再减其和乘 softmax。它说明词表级工作只剩一次对数和与一次梯度遍,全格目标与梯度与全词表实现完全一致。
受控与生产实验在什么条件下比较
受控用 LibriSpeech 100 小时干净训练集加 0.9、1.0、1.1 变速每轮 304 小时,开发集 clean 与 other 只做选择与报告。前端统一为 128 梅尔、25 毫秒窗 10 毫秒跳、因果 8 倍下采样到 80 毫秒,CTC 贪心无语言模型,基线为同前端同流程的因果 E-Branchformer,参数 26.8M 对 27.6M,均验过单句过拟合与噪声替换未来输入不变过去输出的数值因果。
架构筛选约 160 次训练 36 种编码器配置,先双向后因果再换门与前端,每配置 3 种子,以整程差距而非单点比较,短程易被离台速度主导。生产测试为内部语音助手流量留存:希伯来一般、困难、人名、地址网址邮件,英语一般困难,54 条 WhatsApp 真实语音 1.18 小时 8941 词按 20 秒分段,均贪心无外语言模型且文本归一化一致。与 Nemotron 同尺寸 0.6B 在 24 录音 1214 词的英语一般集上同音频同归一化对比,前视按块掩码每微批从 1、2、7、14 帧块采样,对应 0、80、480、1040 毫秒。
受控 LibriSpeech 上快多少、最终差多少
下表先看双向下去掉因果约束时的排序,以说明因果设置改变了结论的适用边界。比较问题是双向时循环与 Gabor 是否仍有利,条件为 40 毫秒帧 80 梅尔 3 种子,指标为一轮与 3 轮后开发集词错率,越低越好。
| E-Branchformer | 32.6 / 48.7 (3) | — | 20.5 / 37.1 (3) |
|---|---|---|---|
| E-Branchformer, Gabor gate conv | 77.7 / 83.1 (1) | 33.9 / 50.0 (3) | 20.8 / 37.6 (1) |
| GDN-2 only, Gabor gate conv | 79.5 / 85.0 (1) | 65.9 / 75.6 (2) | 23.4 / 40.8 (1) |
| 1:1, Gabor gate conv | 99.6 / 99.8 (0) | 59.1 / 69.6 (2) | 24.4 / 41.0 (1, orthonormal) |
双向时 E-Branchformer 明显最优,纯 GDN-2 3 轮 23.4 与 40.8 对 20.5 与 37.1 落后 2.9 点,含循环或 Gabor 的多组出现停滞,正交基减少停滞但不提升正常训练。这说明循环在因果下才显匹配,表内单种子续训与横杠缺测限制了外推。
受控因果主结果整理如下,单位为百分比,斜线前后为 clean 与 other。比较双方前端流程完全相同,指标为贪心 CTC 无语言模型词错率,越低越好,关注离台速度与 10 轮终点。
| 条件 | 指标 | E-Gaborformer | E-Branchformer |
|---|---|---|---|
| 训练 3 轮终点 | 开发集词错率 | 26.2 / 44.5 | 27.1 / 45.1 |
| 训练 10 轮终点 | 开发集词错率 | 20.5 / 39.2 | 20.8 / 39.2 |
3 轮时平均领先 0.9 与 0.6 点且 3 种子 clean 各领先 1.4、0.2、1.2 点,达到给定 clean 词错率快 5 到 18%,10 轮后 other 持平 39.2%,clean 低 0.3 点且两种子各低 0.35 与 0.22 点。曲线显示 E-Gaborformer 首评后全程在 clean 领先并逐渐收窄,结论限于 100 小时 10 轮贪心无语言模型条件,未测长训练与语言模型增益。
读图说明:该状态对比图把恒定成本与线性增长放在同一时间轴,是评估并发服务代价的关键,请先看斜率再看水平线标注。
看图路径: 1. 看横轴通话时长 0 到 10 分钟与纵轴每流状态 GB;2. 对比斜升的无界因果注意力与贴近零线的水平线;3. 确认恒定状态标注约为 19 MB 不随通话变长

论文图 4。原论文 Figure 4::“Inference state per stream at production scale (d=1024, 18 layers, fp32).”。
图可见无界因果注意力状态随 0 到 10 分钟直线升至约 1.1 GB,而 E-Gaborformer 换能器含预测网络约 19 MB 水平不变。研究模型约 3 MB,生产编码器约 17 MB 加预测约 2 MB,代价是循环压缩与 128 帧窗外的精确回忆受限。
生产流量上与同尺寸流式模型差多少
下表比较同为 0.6B 的 Nemotron 流式与本文换能器,条件为同一英语一般生产集同归一化贪心解码,指标为词错率百分比越低越好,分别看严格因果与 480 毫秒前视。
| model | causal | 480 ms lookahead |
|---|---|---|
| Nemotron 3.5 ASR Streaming | 14.0 | 13.3 |
| E-Gaborformer transducer | 9.6 | 9.6 |
因果时 9.6 对 14.0 低约 31%,480 毫秒时 9.6 对 13.3 低约 28%,本文模型加前视在该集与 WhatsApp 均为 16.0% 不变,而 Nemotron 加前视好 0.7 点。这支持仅 4 层可见未来的设计可在该流量严格因果部署,但比较流量为作者模型训练分布且早期用 Nemotron 作教师,外推到其他口音噪声需另测。
恒定状态与训练加速的数字整理如下。比较问题是同尺寸下状态是否不随通话增长、训练加速是否改变目标,指标为每流兆字节与每更新秒数。
| 条件 | 指标 | 本文 | 对照 |
|---|---|---|---|
| 生产 10 分钟 | 每流状态 | 约 19 MB 恒定 | 同尺寸因果注意力超 1 GB |
| 训练每更新 | 用时加速 | 快 2.6 倍 | 目标与梯度精确不变 |
状态恒定来自矩阵、环形窗与卷积缓存均固定,训练 7.55 秒降至 2.90 秒单卡、3 卡 9.0 秒降至 3.58 秒,其中 bf16 联合乘法外其余保持精确。代价是 Toeplitz 与对齐等工程复杂度,且加速数限于给定批量与硬件形状,换批量需重测。对前代生产模型,希伯来一般困难人名各相对降 11%、19%、20%,地址类升 7%,英语持平,说明增益集中在难例与人名而非全集。
每个改动贡献了多少
第 3 轮换 S 形门后 3 种子全训练,1 比 1 混合中 Gabor 换无约束核 clean 升 1.2 点 other 升 1.1 点,去掉全部注意力升 1.1 与 1.4 点,3 比 1 与 1 比 1 持平故保留更省的 3 比 1,带查询键归一化的门控注意力无变化,第六层中间 CTC 降 clean 1.3 点但在 128 梅尔 8 倍卷积下与不用持平 26.2 与 44.5 故终版不用。
前端把 40 毫秒经卷积 8 倍变为 80 毫秒,编码计算近半而精度 27.4 与 44.8 对 27.4 与 45.2 持平,深度可分离 8 倍差约 1 点,梅尔 80 到 128 降 clean 从 27.4 到 26.2。因果 E-Branchformer 加 Gabor 门卷积升 2.0 点,双向仅升 0.2 点,说明 Gabor 增益依赖混合与因果设置,不能单独推广为卷积通用改进。
训练曲线上 Gabor 初期落后无约束 0.4 点,1.5 轮反超 0.5 点并扩大到 3 轮 1.2 点且 3 种子领先 0.0、1.2、2.5 点;3 比 1 对 1 比 1 首轮领先 2.3 点后收敛到持平。对 E-Branchformer 首评后每评 clean 领先,差距从 1.8 点收窄到 10 轮 0.3 点,短轮差距含离台速度成分。
结论在什么边界内成立
受控结论限于 LibriSpeech 100 小时、10 轮、贪心 CTC 无语言模型、同前端同优化,绝对词错率仍高,clean 约 20.5%,other 约 39.2%,不能直接当作生产绝对水平。双向排序相反提示循环优势是因果专用,换数据、长训练、语言模型或非因果场景需重比。
生产增益限于作者内部留存集与给定归一化,英语一般集仅 24 录音 1214 词,WhatsApp 仅 54 条 1.18 小时,地址类反而升 7% 说明非全胜。Nemotron 对比流量为本文训练分布且用过其作教师与词表扩展,提示词与右上下文设置虽对齐但仍非中立基准。
缺失验证包括多分钟长流实测、发射延迟、并发成本实测与统计显著性,论文结尾也列为下一步。字典条件数约 8 乘 10 的 6 次方有效约 12 维但直接用原字典训练,系数优化细节与长窗外记忆衰减曲线未充分报告,不能据此承诺延迟必然更低。
复现第一步做什么
先复现因果数值检查:用 80 毫秒帧管线,把未来输入换噪声确认过去输出不变,再跑单句过拟合确认模型容量。基线用同前端因果 E-Branchformer,优化用隐矩阵 Muon 其余 AdamW,峰值 1e-3 预热 500 步逆平方根衰减。
再搭 12 层 GGGS、4 头 64 维、窗 128、核 31 的 16 原子字典,门卷积近零偏置 1,合并随机,S 形输出门与 1e-6 归一化极小值。评测每 250 步看是否 750 步前后离空白平台并记录分支均方根,留 3 种子。
生产复现需 128 梅尔 8 倍因果卷积、13100 词加空白、混合预测网络与块掩码多前视训练,注意教师蒸馏仅前 10750 步,之后纯 RNN-T。作者链接为第三方 deepdub.ai 当前可达,不代表权重已公开,本文未确认代码与权重可下载,不可当作可运行依据。
什么时候值得尝试
当任务必须严格因果、通话可达分钟级且并发成本敏感,同时可接受 128 帧精确窗加循环压缩的记忆折中时,该 3 比 1 加 Gabor 字典的思路值得尝试。它在受控因果下更快离台并终点持平或小胜,且同一权重兼顾零与 480 毫秒前视。
若场景允许双向、依赖长程精确拷贝如密集实体复制,或已有大语言模型重打分,增益可能缩小,应先在目标分布做小轮消融,重点看 Gabor 对无约束、3 比 1 对 1 比 1、有无注意力三组差距。
还需补长流、多噪声口音、延迟与显著性验证,再决定是否替换现有流式编码器。训练加速的双类别格与对齐等在保持精确目标下通用,值得优先复用。
📎 论文与评分元数据
排名:前50% | 文档类型:系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。
评分规则:type-aware-v1
评分模型:muse-spark-1.3-contributor
评分请求协议:openai_responses