📄 不解码怎么做语音决策：冻结大模型的单 token 读出
标签：#音频问答 | #Adapter | #基准测试 | #语音情感识别 | #高效推理
评分：6.4/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Jie Jin：机构信息未在 arXiv HTML 中可靠披露
- Ziyin Ma：机构信息未在 arXiv HTML 中可靠披露
- Min Yin：机构信息未在 arXiv HTML 中可靠披露
- Jinyu Chen：机构信息未在 arXiv HTML 中可靠披露
- Haigang Song：机构信息未在 arXiv HTML 中可靠披露
- Zhikun Pang：机构信息未在 arXiv HTML 中可靠披露
- Xiaowen Zhang：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全双工语音助手在每次用户说话前后都要回答轮次是否结束、是否为打断、选择哪条填充语、说话人是谁这类封闭问题，现有先转写再自回归生成答案的做法延迟高且丢掉声音里的副语言信息。DuplexJev把冻结的自动语音识别编码器隐状态经小型连接器映射为冻结大语言模型的输入嵌入，把每个问题写成字母选项形式，只做一次前向并在答案位置读取选项词元的分布，不做任何解码采样。内容对齐沿用转录蒸馏使音频输入匹配金色转录本下的分布，决策学习只对读出的答案字母做交叉熵，两类样本按各自损失混合训练，避免只模仿听不见声音的文本教师；跨注意力融合与仅末层两种连接器用于检验线索丢失发生在目标函数还是结构。与在同一引擎上从转录本生成10字段JSON相比，在30条真实语音事件、每事件10个决策的评测中，单词元读出把每事件延迟从1567 ms降到92 ms。在已发布口语问答集qa100共100题的准确率上，末层连接器经两轮1%数据包训练后语音输入为90%，读取标准转录本为91%。跨注意力连接器在性别与情感任务的准确率上从55%和28%均提升到90%，而纯转录蒸馏训练仍停留在接近机遇水平。8卡节点约0.1 s回答8条语音的80个决策，结论适用于离线整句输入，流式逐帧输入与固定时钟轮询尚未验证，训练用了多轮1%数据包与短程副语言阶段。
🔗 开源与复现资源
- 第三方资源：https://github.com/adventists-ai/duplexjev — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全双工智能体每轮到底要回答什么
全双工语音智能体边听边说，用户一句话过来，它要先做一串很小但堵住回复的封闭式判断：这轮话说完了吗，是附和还是打断，该放哪条预录的过渡语，说话人是谁，情绪如何。论文把这类任务统称为语音到决策，输入是截至当前时刻的语音加上可选的智能体状态，目标不是转写出全文，而是对运行时给出的问题返回选项上的分布，必须保留的除了词义还有声音里的副语言信息，输出则是类型固定的答案加置信度。
来自车载助手 Dimi 的统计让代价很具体：1,450,000 轮用户轮次里，仅为做小决策就最多调 3 次大模型，工具需求检查中位数 1471 个输入 token，意图标注 530 个，开场白生成 5020 个才换 20 个 token 的输出，从语音结束到首包音频中位数 1.29 秒。在高峰期要把这些决策做快，就得预留空闲算力，所以它们同时占延迟和成本。理解这一点，才能明白后文为什么执着于不解码、能批量。
已有三条路线为什么不够快或不够全
论文对比时把输入、目标和运行阶段对齐，而不是笼统比谁分高。第一条是端到端全双工模型，每帧每通电话都要解码，各自占一条解码流，批量服务贵，且决策不作为类型化输出暴露；第二条是级联，先用自回归转写再生成答案，一个决策要花转录加答案长度量级的自回归步数，又慢又把声音信息丢掉；第 3 条是专用轮次分类器，便宜但一模型只答一个固定问题。
还有一类语音大模型的连接器训练思路值得单说：用大模型在转录文本上的输出做蒸馏来对齐语音连接器，老师从没听过声音，对词外问题只能给出文本先验。论文的定位是借用 1 次系统决策模型的想法：给定状态和运行时声明的问题，不生成文本，直接返回选项分布。相关工作节的公平点在于，只有输入同为语音、目标同为封闭决策、运行阶段同为在线服务时，延迟和容量的比较才成立。
要解决的两个具体问题是什么
第一个问题是延迟与批量的矛盾。封闭式小决策数量多、上下文长，如果每个问题都走 1 次完整的提示编码加自回归生成，长对话上下文会被重复编码很多次，显存和时间都随问题数线性膨胀。第二个问题是听不到说话人。用转录蒸馏训练的连接器在内容问答上很好，但在性别上长期停在随机水平，尽管线性探针能从编码器读出 97% 的性别，说明信息在编码器里有，却没被连接器后的大模型用起来。
论文把瓶颈归为目标而非容量：学生越拟合老师，就越和老师一样对声音无知。所以方法要同时回答：如何 1 次前向读出多个问题的分布并精确共享前缀，以及如何换一种只监督读出位置的损失让冻结大模型用上编码器已有的副语言线索。
DuplexJev 的整体流程是怎样的
先看整体数据流向有助于跟上后文的两个变体与两种损失。下面这张结构图是全文方法的总览，建议先沿箭头走一遍再细看文字。
看图路径： 1. 先沿左侧语音到编码器再到融合与投射最后进入冻结大模型的横向主路径看数据流向；2. 再看下方状态加问题与选项字母如何进入同一前向并在底部读出每个问题的字母概率；3. 对比变体 A 的三层融合标注与变体 B 只用最后一层的虚线标注
论文图 1。原论文 Figure 1:：“DuplexJev. Only the connector (fusion block and projector, orange) is trained.”。
这张图显示只有橙色的融合块和投射器可训练，左右两条支路分别是 3 层融合的变体 A 和只用最后一层的变体 B，下方是状态加问题经冻结大模型 1 次前向后在底部读出每个问题的字母概率，全程标明零解码步。具体过程是：冻结的语音编码器输出分层隐状态，经连接器变成大模型嵌入空间的语音 token，与文本状态和带字母选项的问题拼成提示，1 次前向后在每个问题的答案位置取 logits，只在该题的选项字母内做 softmax。
内容对齐仍用转录蒸馏，决策训练用答案字母的交叉熵。问题之间、通话之间可以同批，共享长上下文时把公共前缀编码 1 次，再把各问题的短后缀拼成一行，用块对角掩码保证各后缀只能看前缀和自身因果历史，位置编号在每个后缀起点重启到前缀长度，读答案时取各后缀最后一个 token。这种构造在数值精度内与逐题单独读出等价。
语音是怎么进入冻结大模型的
编码器侧用的是 Qwen3-ASR-0.6B，冻结，大模型侧用的是 Qwen3-32B，冻结，可训练的只有连接器。变体 B 即 last-layer 连接器，只取最后一层隐状态，做帧堆叠加多层感知机投到维度 5120 的嵌入空间，风格沿用 Ultravox 式投射器。变体 A 即 cross-attention 融合连接器，在投射前加融合块，查询来自第 18 层，键来自第 14 层，值来自第 9 层，输出投射零初始化并残差加回最后一层，所以训练起点与 B 完全相同。设计背后的直觉是 ASR 微调可能把最后一层推向语言内容而中间层保留说话人和韵律，但论文用探针验证发现对这个编码器并不成立。ASR 编码器在这里指把语音变成隐状态的声学前端，冻结大模型指参数不更新、只提供文本理解和字母分布的通用模型。
ASR 编码器 × 冻结大模型： ASR 编码器负责把语音波形变成逐帧的隐状态，保留内容和说话人线索；冻结大模型负责理解由文本状态加问题组成的提示并给出字母上的概率分布。二者搭配时编码器和大模型都不更新，只训练中间的小连接器做模态对齐，这样既保留大模型原有的文本推理能力，又让语音能以连续嵌入的形式进入大模型，组合后多出的是免解码的语音问答能力。
单题的读出方式是类型化的：选择题把选项随机 permute 后挂在字母下以消除位置偏置，布尔题用 N 与 Y，打分题用 1 到 K。1 次前向后取答案位置的 logits，限制到 K 个选项 token 再归一化，最大值即置信度，可用于拒答。公式上先讲符号：状态是 St，问题是 qj，选项 ok 经映射 πj 对应到某个字母，z 是该字母的 logit，目标是给出每个选项的条件概率。
\[p(o_{k}\mid S_{t},q_{j})=\operatorname{softmax}_{k}\big(z_{\pi_{j}(k)}\big),\]这个式子就是在 K 个字母上做 softmax，不采样，所以输出恒合法。
单 token 读出 × 批量与前缀共享： 单 token 读出指把每个选择题的选项挂在字母 A、B 等下面，只取答案位置的 logits 并在选项字母内做 softmax，不采样生成；批量与前缀共享指多个问题共用同一段模板、对话上下文和语音前缀的 KV 缓存，每个问题只编码自己的短后缀。二者搭配的理由是单步读出天然可并行，而共享避免把长上下文在每行重复编码，组合后多出的是低延迟高并发的决策服务能力。
批量时最朴素的是整行复制，每行重编码语音和上下文；前缀共享则把长度 P 的公共前缀编码 1 次，代价约 C(P) 加各后缀代价之和，显存占 P 加各后缀长度之和，而不是问题数乘以平均长度，这对 1471 甚至 5000 长度的对话上下文很关键。
两种连接器结构差在哪里
两种连接器的输入处理与代价需要分开算。B 只有投射器，参数 17.8M；A 多一个 3.2M 的融合块，总计 21.1M。两者都冻结编码器和大模型，梯度只经过融合与投射，监督来自后文的蒸馏或答案损失。A 的输出投射零初始化加残差，意味着第一步与 B 一致，后续才慢慢学出对中间层的利用。
论文比较它们的动机很明确：如果瓶颈是连接器容量或位置，A 应明显更好学副语言；如果瓶颈是目标，A 与 B 应学得一样快。实际训练用相同数据和进度，A 在 8 卡 H200 上，B 在 8 卡 A800 上，全局批量 16，学习率 2×10−4，1k 步热身加余弦衰减，每轮 32k 步。连接器输出的语音 token 速率在正式成本对比中是每秒 6.25 个，早期前缀共享实验用堆叠因子 8 约每秒 1.6 个，所以前缀很短，问题文本反而占主导。
last-layer 连接器 × cross-attention 融合连接器： last-layer 连接器即变体 B，只把编码器最后一层隐状态做帧堆叠加 MLP 投到大模型嵌入空间；cross-attention 融合连接器即变体 A，在投射前加一个融合块，以 18 层做查询、14 层做键、9 层做值并残差加回最后一层。搭配比较的理由是检验中间层是否保留更多说话人和韵律线索，组合对比后发现两者在探针中都已线性可分，瓶颈不在连接器结构而在训练目标。
教学上可以这样记例子：同样一段 2.6 秒语音，B 直接把最后一层交出去，A 则让最后一层去查 14 层和 9 层再叠回来，但起点相同，差别只在是否允许用中间层线索。例子只是帮助定位模块，不代表性能结论。
两种损失各监督哪里
本节先说清谁冻结谁更新，再说监督从哪来。编码器和大模型始终冻结，只有融合块和投射器更新。内容样本走转录蒸馏：给定语音嵌入，冻结大模型应输出与把语音换成金标准转录文本时相同的分布，用温度 2 的 token 级 KL 实现，这能保住内容行为，但老师没听过声音，对词外问题的目标就是文本先验，学生越学越无知。
决策样本走答案 token 监督：在读出公式用的同一模板和同一位置上，只对那个答案字母做交叉熵，模板里固定的聊天标记如空推理块被排除，字母是唯一被监督的 token。混合目标是按样本相加：转录与续写样本算蒸馏平均，封闭式决策样本算答案交叉熵平均，两平均相加。R1 与 R2 只用内容任务做蒸馏，数据是 WenetSpeech、GigaSpeech、LibriSpeech、Common Voice 和 CoVoST 的公开混合，切成 100 个不相交包，每轮用一个即 500,000 句。
R3 是从 R2 连接器开始的短副语言阶段，性别包 3.2 万真实句来自 AISHELL-1 和 LibriSpeech，情感包 26,000 句 4 类来自 ESD 中英文和 CREMA-D 英文，每段音频兼做转录、续写和一道字母随机、题干改写的封闭题，测试说话人与训练不重叠且不用合成音。
转录蒸馏 × 答案 token 监督： 转录蒸馏指让模型在听到语音时的输出分布去拟合它在看到金标准转录文本时的输出分布，目标是保持内容理解；答案 token 监督指只对读出位置上的那个答案字母做交叉熵，目标是教会模型做封闭式决策。二者搭配的原因是蒸馏的老师只见文本、听不到声音，对性别情感只能给出文本先验，组合成混合目标后内容样本走蒸馏、决策样本走答案监督，才同时保住内容和副语言线索。
与 DiVA 只做文本条件蒸馏、DeSTA2 把副语言写成文本描述再生成、以及在生成答案上做交叉熵的标注任务训练相比，本文的不同在于只监督读出的单个 token，既不需要描述也不需要解码，并用探针证明挡住线索的是目标而非连接器。
评测集和基线在什么条件下比较
内容侧有 3 个条件。qa100 是发布的 100 道四选一，中英各 50，各语言内逻辑与事实各 25，金标准字母在 A 到 D 均衡，题干用 VoxCPM2 合成、选项为文本，每段经独立 ASR 做归一化精确匹配校验；同一提示测 3 种输入：语音、把语音换成 oracle 转录文本的上限、只看选项的下限 0.36。ZJU-ML 是 ZJU 音频基准 v2.0.0 的主语言部分，100 道四选一，50 道事实题一半是 ODSQA 与 SD-QA 真录音，50 道数理逻辑是合成音；Easy-Turn 测零样本四分类轮次状态。
副语言侧性别是 800 句真语音加 ZJU 性别基准 v1.2.0 的 100 段，情感是 800 句四分类，情感语料同句多情感朗读，转录文本对照按构造就在随机水平。基线包括 oracle 转录、只看选项、已发布的 Whisper 连接器及其 Gemma-3-27B 版本。成本侧用 1 卡 H200、bf16，DuplexJev 延迟是预热 1 次后 3 次计时的中位数，不计音频加载；级联基线是 Qwen3-ASR-0.6B 贪心转写加 Qwen3-32B 的 vLLM 生成 10 字段 JSON，另用同一引擎把同样 10 题做成单 token 读出来近似 DuplexJev，事件是 30 条真语音覆盖 2 到 12 秒。为分离读出与实现，还加 1471 长度的对话上下文复测。
单 token 读出到底省了多少延迟
下面比较的核心问题是：在同一引擎、同一 10 题、同一批真实事件下，逐题单 token 读出相对 1 次生成 JSON 能省多少延迟并撑起多少并发，指标方向是延迟越低越好、预算内事件每秒越高越好，条件分无上下文和带 1471 长度上下文两档。
| ctx | method | steps | (ms) | 0.25 s | 0.5 s | 2 s |
|---|---|---|---|---|---|---|
| 0 | JSON | 86 | 1567 | 0 | 0 | 16.9 |
| 0 | readout | 0 | 92 | 17.3 | 20.4 | 33.5 |
| 1.5k | JSON | 87 | 1598 | 0 | 0 | 8.4 |
| 1.5k | readout | 0 | 144 | 9.7 | 12.0 | 18.4 |
主要收益在延迟与预算内容量：无上下文时读出每事件 92 毫秒对 JSON 的 1567 毫秒，约 17 倍，还没算级联另需的 411 毫秒自回归转写；带上下文时 144 毫秒对 1598 毫秒，约 11 倍。JSON 在 0.5 秒内一个事件都服务不了，读出能到每秒 20.4 与 12.0 个事件。复制到 8 卡 H200 每卡一引擎，8 个事件即 80 个决策在 94 到 103 毫秒完成，0.5 秒内读出达每秒 161 个事件即 1613 个决策，带上下文时每秒 100 个事件，饱和时达每秒 3684 个决策。
代价与反例是：打满 64 并发时两者吞吐相当，无上下文 335 对 311 个决策每秒，因为批量解码本身便宜且一个 JSON 提示把上下文摊到 10 题，而读出在每题行里重复转录与指令。限制是优势在会话预算下的延迟与容量而非原始吞吐。另一细节是批量不改答案：跨 utterance 批量与逐条在 800 条性别上 790 条一致，ZJU 上 99 到 100，qa100 最多差一题。
语音问答离读文本还有多远
内容理解的比较问题是：语音经连接器进入冻结大模型后，封闭式问答相对读 oracle 文本损失多少，公平条件是同一提示、同一大模型、只换语音与文本输入，指标是四选一准确率越高越好。下表整理了原文报告的准确率，单位为百分之，qa100 按总数与中英拆分，ZJU-ML 与 Easy-Turn 并列。
| input | qa100 | zh / en | ZJU-ML | Easy-Turn |
|---|---|---|---|---|
| oracle transcript | 91 | 45 / 46 | 89 | 80.5 |
| options only | 36 | 18 / 18 | 39 | – |
| Whisper, released (Qwen3-32B) | 89 | 43 / 46 | 85 | 76.1 |
| Whisper, released (Gemma-3-27B) | 92 | – | 77 | – |
| B last layer, R2 | 90 | 44 / 46 | 79 | 76.1 |
| A x-attn, R2 | 83 | 39 / 44 | 77 | 77.1 |
B 在仅两个 1% 数据包后 qa100 答对 90 对 91，英文持平，文本条件错的多是单 token 无推理做不出的算术日期题；A 为 83。ZJU-ML 上两者 77 到 79，低于训练数据多得多的发布版 Whisper 连接器的 85。换件不变读出：Whisper 连接器给 89，其 Gemma 版 92 对文本上限 93。
零样本轮次 Easy-Turn 语音 76 到 77 对文本 80.5，但等待类的召回在文本下也只有 0.3 左右，说明是模型阅读的局限而非听的局限。置信度可做拒答：B 在概率不低于 0.95 时覆盖 87% 的 qa100 且准确率 93%。限制是 ZJU-ML 真录音事实部分更难，两个自训连接器都偏低，这与后文情感漂移的讨论相连。
内容理解 × 副语言感知： 内容理解指回答与词义、逻辑事实有关的问题，用 qa100 和 ZJU-ML 衡量；副语言感知指从声音判断性别、情感等词外信息，用 800 句真实语音和 ZJU 性别集衡量。二者分工不同，前者靠文本蒸馏即可保持，后者必须靠答案监督才能习得，组合评估的意义是检查学副语言时是否丢了内容，论文发现性别训练基本不伤内容而情感数据会带来明显漂移。
复述关键步骤时记住：内容行只说明语音问答接近文本上限，副语言行才说明能听见说话人，两类指标不能混用。
为什么蒸馏听不到说话人而答案监督可以
副语言的比较问题是：固定数据、进度与连接器，只换损失时性别与情感准确率如何变，指标越高越好，同时看内容问答的变化。下表按原文整理了探针、起点与各训练分支，性别为 800 句与 ZJU 原生与字母重排，情感为四分类 800 句，变化量相对同连接器的 R2 起点。
| gender | ZJU n/l | emotion | Δ\Deltaqa100 | Δ\DeltaZJU-ML | |
|---|---|---|---|---|---|
| probe, encoder last layer | 97.5 | – | 92.5 | ||
| probe, connector A / B | 98.1 / 96.5 | – | 87.9 / 88.3 | ||
| Whisper, released connector | 55.4 | 51 | 27.1 | ||
| A after R2 | 55 | 53 / 50 | 28 | ||
| B after R2 | 54 | 50 / 51 | 27 | ||
| A, distillation, 6k | 53 | 49 / 50 | – | ||
| B, distillation, 6k | 53 | 52 / 52 | – | ||
| A, answer CE, gender, 6k | 89.4 | 73 / 67 | 27 | +3 | +2 |
| B, answer CE, gender, 6k | 87.9 | 60 / 57 | 26∗ | −-3 | +2 |
| A, answer CE, emotion, 3k | 49† | 40 / 43 | 71.8 | +1 | −-6 |
| B, answer CE, emotion, 3k | – | – | 85.5 | −-1 | −-10 |
| A, MIX-CE, 4k | 89.5 | 81 / 76 | 88.9 | −-4 | −-17 |
| A, MIX-KD, 4k | 89.9 | 90 / 86 | 90.0 | −-1 | −-16 |
表后解释机制与代价。蒸馏 6k 步后性别仍 53% 随机水平，答案保持文本先验，换数据配比、5 倍学习率、随机重启、在训练句上用训练提示测 56% 都救不回来，而损失还在下降，说明学生在拟合无知的老师。只换答案交叉熵，同数据同进度性别到 A 的 89.4% 与 B 的 87.9%，情感到 A 的 71.8% 与 B 的 85.5%；性别占比 80% 时 250 步即 A 的 92% 与 ZJU 原生 97%。探针显示编码器最后一层已线性可分性别 97.5% 情感 92.5%，两连接器交到大模型的嵌入也分别达 98.1 与 96.5、87.9 与 88.3，且 A 与 B 学性别速率相近，情感 B 更好，支持瓶颈在目标不在连接器。
交叉检查排除了答案偏置：性别模型做情感仍 26 到 29% 随机，情感模型不懂性别。内容代价是 qa100 都在起点 3 点内，全交叉熵混合为负 4 点；ZJU-ML 更敏感，性别训练单独基本中性为正 2 点，情感数据各掉 6 到 10 点，两个四任务混合掉 16 到 17 点，几乎全部来自真实录音事实半部分，例如 MIX-KD 在该半为负 15 对 50 而合成音半为负 1，中英文皆然。混合蒸馏不减少该漂移，但保住 qa100 为负 1 对负 4，并给出最好的副语言组合即性别 90、ZJU 的 90 与 86、情感 90。
训练曲线与前缀共享证明了什么
这节回答两个可复现的细节：同数据同进度下损失切换是否立即分叉，以及前缀共享是否精确等价。先看 R3 曲线的读图说明：左图纵轴是 800 句性别准确率，横轴是 R3 步数以千计，4 条线区分 A 与 B 各自的蒸馏与答案监督并以 97.5 探针为顶；右图纵轴是准确率，横轴同为步数，两条情感上升线配两条 ZJU-ML 虚线看漂移。
看图路径： 1. 看左图横轴 R3 步数 0 到 6k 下四条性别曲线的分叉：蒸馏持平而答案监督快速爬升；2. 看右图情感两条上升曲线与 ZJU-ML 虚线下降曲线的交叉位置；3. 注意左上角 probe 97.5 的虚线作为编码器本身含性别信息上限的参照
论文图 2。原论文 Figure 2:：“R3 from the R2 connector, same data and schedule.”。
图后解释可见内容：左图两条蒸馏线贴着底部持平，两条答案监督线在 2k 步已到 88 对 84 并继续到约 90；右图情感线从随机附近爬到 70 多与 80 多，而 ZJU-ML 虚线同步下滑，说明学到副语言的同时内容基准在掉。探针虚线高而蒸馏线低，直观支持信息在编码器里有但蒸馏学不到。前缀共享的精确性是：20 句乘 10 题的 200 对中共享与逐题答案相同为 A 的 195 与 B 的 198 对，0.5 到 5k 上下文下 40 对全同，除一处 0.31 外其余分差不大于 0.06，中位数绝对概率差 0.01 到 0.02，属 bf16 噪声。
无上下文时音频前缀短，问题文本占主导，100 题共享把 3.1 秒批量复制降到 1.6 秒；带生产级上下文时批量复制在 5 题乘 5k 已显存溢出，而拼行把 KV 保持在前缀加后缀之和，100 题乘 1.5k 从串行 37.9 秒到 5.1 秒，50 题乘 5k 从 112 秒到 5.5 秒。
结论在什么条件下才成立
先说适用边界。延迟结论依赖封闭式单 token 读出加 vLLM 前缀缓存与批量服务，事件是 30 条真实 utterance 的十决策 workload，对话上下文取 1471 中位数；一旦换成开放生成或超大并发打满，JSON 摊薄上下文的优势会回来，吞吐反而持平。内容接近文本的结论指 qa100 这类四选一短答，且 B 在 R2 后 90 对 91，英文持平，算术日期类单步无推理仍错；ZJU-ML 上自训连接器 77 到 79 低于发布版 Whisper 的 85，不能推广为语音理解全面持平。
副语言结论依赖测试说话人与训练不重叠、无合成音、情感语料同句多情感使文本对照随机；性别 80% 配比下 250 步即高，但那是配比倾斜的结果。漂移结论要精确：16 到 17 是整个 ZJU-ML 的损失，几乎全部来自真实录音事实部分，MIX-KD 在该半为负 15 对 50、合成音半为负 1，不能把整表损失全记到真录音头上而不提分母。流式方面论文只提固定时钟批量、每 160 到 200 毫秒收齐各路最新音频、把轮次完整性当问题之一以替代 VAD 的部署设想，未评测流式输入。误解澄清：冻结不等于输出确定，bf16 与批量仍有数值噪声。
无训练不适用于此文，此文训练了连接器，只是没动编码器与大模型。
复现第一步做什么
复现先对齐信息条件再跑数。模型用 Qwen3-32B 的 bf16 冻结版加 Qwen3-ASR-0.6B 冻结编码器，连接器从零训，B 为 17.8M，A 多 3.2M 融合。数据用公开 ASR 与翻译混合切 100 包，R1 与 R2 各用一包即每轮 500,000 句，R3 性别 3.2 万加情感 26,000，测试说话人隔离。训练超参按原文：全局批量 16，学习率 2×10−4，1k 热身余弦衰减每轮 32k 步，R3 学习率 10−4，蒸馏温度 2，内容做转录与续写蒸馏，决策题字母随机、题干改写、只监督答案字母。评测先跑 qa100 的语音、oracle 文本与只看选项 3 个条件，再跑 ZJU 脚本的性别与主语言部分，注意文本对照在性别情感上应随机。
成本复现用 1 卡 H200，预热 1 次后取 3 次中位数，不计音频加载；前缀共享要校验共享与逐题的答案一致率与概率差。代码与权重方面，论文给出 github 链接与 pip 包名 duplexjev 并称发布权重、训练配方、批量推理管线与 qa100，但本次只确认第三方链接可达，不能写成作者资源已公开可用，需要自行核验链接内容与版本。Whisper-large-v3-turbo 编码器加投射器的替换实验可直接插拔验证模块化。
什么时候值得尝试还缺哪项验证
值得尝试的场景是每轮有多个封闭小决策、长对话上下文、预算卡在 0.5 秒内的全双工服务：把工具检查、意图、填充语选择、轮次完整性、性别情感等做成字母题，1 次前向批量读出并用置信度做拒答；填充语可从大预录库用布尔短名单或由粗到细的字母树选择，随库增长免重训。第一步是把现有 10 题 JSON 改写成每题一字母提示，先在文本上验证单 token 读出的延迟与一致性，再接入语音连接器。
不值得的是开放式生成、需要多步推理的算术日期题、以及已打满吞吐只看总量的离线批处理。还缺的验证是流式输入下的轮次与打断表现、车载噪声与远场、更多说话人与语言的泛化、以及情感漂移的成因与缓解，混合蒸馏目前保 qa100 但不减 ZJU-ML 漂移。伦理上用公开语料许可、情感仅研究用、未采新的人体数据，标签为语料自带，分类器用于研究信息流而非识别个人。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses