英文题目：Acoustic-to-Text KV Compression for Full-Duplex Speech Models
标签：#全双工语音交互 | #模型压缩 | #知识蒸馏 | #LoRA | #流式处理
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Yejin Lee：机构信息未在 arXiv HTML 中可靠披露
- Seungbeom Kim：机构信息未在 arXiv HTML 中可靠披露
- Yongha Lee：机构信息未在 arXiv HTML 中可靠披露
- Kyuhong Shim：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全双工语音模型需边听边说并长期累积声学键值缓存，语音表示比文本占用更多序列位置，输入结束后才压缩无法削减流式峰值。方法链分三步：先在每秒双工单元的听音空闲内用转录侧通道增量生成文本片段并留作上下文，再以词级强制对齐监督训练该通道并用冻结教师做原生位置蒸馏以约束听说行为，最后在超预算时逐出旧声学状态而保留文本与近窗。与保留压缩语音表示的已有压缩相比，该机制差异在于把记忆显式语言化并与流式逐出联动，兼顾可查询性与实时性。在LongSpeech十分钟会话评测任务下，4K预算下所提声文压缩方法的峰值指标为4.02K，低于同适配无逐出基线模型的峰值指标11.35K，降幅对应原文报告的64.6%。该结论限于MiniCPM-o 4.5单基座与英语长语音转录、时序问答和摘要任务，未验证其他全双工架构与噪声多说话人外推。原文未披露训练硬件与总成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，哪些信息必须保留？
这篇论文的输入是连续到达的 1 秒音频单元，模型要在听的同时决定是继续听还是开始说。目标是在长达 10 分钟的交互中控制峰值键值缓存，同时保留过去语音中的语言内容以支持后续转写、时序问答和摘要。必须保留的信息包括两类，一是近期语音的声学细节，用于正在进行的听与打断判断，二是较早语音的语言内容，用于之后才显现相关性的提问与总结。输出包括两类，一是给用户听到的语音回复，二是留在语言模型上下文但不进入语音解码器的转写文本。
初学者容易把压缩理解为等全部音频到齐后再做 1 次摘要。论文明确指出，只在输入完成后压缩无法降低输入处理过程中已经产生的峰值内存。对于长时全双工交互，峰值出现在流式过程中，因此必须在流式过程中反复判断缓存是否超预算并及时驱逐。另一个容易混淆的点是语音表征比文本占更多序列位置，原文给出转写结果每秒语音约占 3 个位置，而声学历史每秒约占 17 个位置，这就是把声学换成文字能省内存的直接原因。
全双工语音模型 × 听音空隙： 全双工语音模型负责在持续接收用户语音的同时决定继续听还是开始说，听音空隙负责提供每两个 1 秒音频单元之间的剩余计算时间，前者提出实时双向交互的需求，后者给出可插入额外计算的时间窗口，两者搭配使转写可以在不阻塞听说的情况下进行。
本解读只讲论文实际研究的任务，即基于 MiniCPM-o 4.5 的全双工流式听与说，不扩展到离线长语音识别或通用文本缓存压缩。凡是教学举例都会明确标为例子，不添加无来源的数值或效果。
同输入同目标的已有路线有何不同？
在全双工语音模型方面，论文回顾了同步预测用户与智能体语音块、增加可被打断的流式听通道、用控制词切换说与听、双流建模以及沿共享时间轴对齐多模态输入输出等路线。MiniCPM-o 4.5 属于每秒做 1 次听或说决策的路线，这是本研究直接改造的对象。评估交互行为的基准是 Full-Duplex-Bench，覆盖轮流、后通道和打断等任务。
在键值缓存压缩方面，文本大模型的已有方法包括保留注意力汇聚词加近期窗口、按注意力分数选择状态、在输入处理中反复压缩以满足固定预算。语音语言模型方面，已有工作减少语音词数量、压缩声学键值、按头分配预算或保留摘要词状态后丢弃声学状态。这些方法保留的是压缩后的语音表征，而不是显式转写文本。本研究的差异在于构造显式文本记忆，并在全双工流式过程中驱逐旧声学状态。
在利用听音时间计算方面，已有工作从部分语音启动文本推理、生成不说出的思维链、调度中间推理或维护循环隐推理状态，目的是提升推理与回复质量。本研究同样利用听音时的计算，但目的是构造转写记忆以支持后续缓存驱逐，并通过轻量低秩适配实现，不在推理时引入独立语音识别模型。
为什么峰值内存与实时性必须同时解决？
问题可以沿一个样本走一遍来理解。假设用户连续说了 10 分钟，模型每秒收到一个音频单元，每个单元包含单元标记、约 10 个音频词以及一个听或说决策。如果全部声学键值都保留，缓存位置数随时间单调增长，峰值出现在流式尾部附近，内存占用最大。此时若再做问答或摘要，需要读取很长的声学历史，计算与显存压力都大。
实时性约束来自听音空隙。论文的设置为每秒一个单元，在听状态下处理完当前单元后到下一个单元到达前还有剩余时间，实测约 900 毫秒。这段时间足以做增量识别，但不足以做重型重编码或等待整段结束后再处理。因此方法必须满足 2 个条件，第一，转写必须能在单元级时间内完成，第二，驱逐必须在每个单元后检查并执行，而不是等到会话结束。
比如一个例子，仅为教学例子：第 1 秒听到 I like，第二秒听到 this，第 3 秒模型开始说 me too。如果没有压缩，3 秒的声学状态都留着。如果有压缩，前 2 秒的声学状态在转写完成后可被驱逐，只留下 I like 与 this 的文本词，第 3 秒的声学与回复文本保留。这样后续问你刚才说了什么，模型仍能从文本中找到答案，而缓存位置数明显减少。
方法全景：转写、保留与驱逐如何配合？
方法全景分为 3 步。第一步是在每个双工单元的原生决策之后插入一个转写段，用新引入的两个特殊词 delimit 起始与结束，转写段留在语言模型上下文但不送入语音解码器，因此不影响说出的内容。无论是听单元还是说单元，都利用听音空隙生成转写，说单元的原生回复生成在转写段之后继续。第二步是训练旁路，使其能预测是否打开转写通道，并在打开时贪心解码至多 64 个文本词。第 3 步是在线驱逐，当常驻缓存超过预算时，从保留窗口之外的最旧单元开始驱逐，直到回到预算内或无可驱逐单元为止。
下面导读图一，该图对比原生流式与所提方法的 3 段时间推进，重点看缓存如何从全部保留变为部分斜线驱逐，以及文本词如何留下。
看图路径： 1. 先从上到下看四行时间推进：首行原生，次行开始转写，随后两行展示缓存驱逐累积；2. 对照每行上方色块：粉色键值缓存与斜线驱逐标记如何变化；3. 跟踪同一句话在声学嵌入与文本词之间的对应，例如 I like 与 this 与 movie 的保留方式；4. 观察第三单元 speak 后转写段仍在上下文但回复词 me too 单独出现在末尾
论文图 1。原论文 Figure 1:：“Overview of acoustic-to-text KV compression: native streaming (top) and the proposed method (lower rows).”。
图一可见的内容可分为四行。首行原生路径每单元保留粉色键值缓存，第三单元出现 speak 与 me too。第二行开始时在听决策后插入 asr start、I、like、asr end。第三行经过 1 秒后第一单元的粉色块变为斜线驱逐标记，但其文本词保留，第二单元新增 this 的转写。第四行经过 2 秒后前两个单元的声学部分均被标记驱逐，第三单元在 speak 后仍插入 movie 的转写，再接 me too。
这说明驱逐对象是单元标记、音频词、原生决策、转写分隔符与终止符等声学与结构状态，而转写词、模型生成的回复文本与系统前缀被保留。位置编号随送入模型的每个词递增，不因驱逐重编码，剩余键保持原旋转位置。
转写旁路 × 声学键值缓存： 转写旁路负责把已听到的语音转成紧凑文本并留在上下文中，声学键值缓存负责保存原始音频对应的键值状态，前者用每秒约 3 个位置记录语言内容，后者每秒约占 17 个位置，两者搭配使旧声学状态被驱逐后语言信息仍可被后续问答使用。
转写段放在哪里，驱逐时删什么留什么？
转写段的位置是固定的，即每个单元的第一个原生决策之后。模型在推理时先预测是否输出起始特殊词，如果预测到起始词则贪心解码直到结束词或达到 64 词上限或出现控制词，此时强制补结束词关闭分段。如果未预测到起始词，则该单元无转写，原生解码继续。被跳过或截断的分段带来的错误计入报告的词错误率，这保证评估不回避旁路失败。
保留窗口 × 在线驱逐： 保留窗口负责保护最近 5 个单元不被驱逐以容纳转写延迟，在线驱逐负责在缓存超过预算时从最旧的可驱逐单元开始删除声学与结构状态，前者给出延迟容限，后者执行内存控制，两者组合实现流式过程中的峰值内存上限。
驱逐的具体规则是每次处理完一个双工单元后比较常驻位置数与预算， main 实验预算为四千。保留窗口为最近 5 个单元，用于容纳转写延迟，论文称 5 秒覆盖了在 LibriSpeech 测试集上测得的旁路发射延迟。驱逐时删除单元标记、音频词、原生决策、转写分隔符与终止符的键值状态，保留转写词、模型生成的回复文本与系统前缀。这种划分的理由是语言内容已由文本承载，而近期声学仍需用于正在进行的交互判断。
只用短语音如何训练转写又不破坏听说？
训练数据仅为短转写语音，不需要长语音或全双工交互数据。具体是 LibriSpeech 训练干净子集中的 13.210000 条短话语，共 460 小时，词对齐来自 Montreal Forced Aligner，并附加零点 5 秒发射延迟。每个参考词按其声学端点加延迟除以 1 秒单元长度向上取整，分配到唯一的目标单元分段中。
训练时冻结原始模型作为教师，教师处理不含转写段的同一音频，收集其在原生预测位置的全词表输出分布，并对学生新增的两个特殊词赋零概率以扩展到学生词表。学生则在原生词序列上做教师强制，并在原生决策后插入有监督的转写段。由于插入改变了序列下标，对齐按原生预测事件而非序列索引进行。
总目标由四项相加，原文实现如下，符号含义在段后解释。
\[\mathcal{L}=\mathcal{L}_{\mathrm{ASR}}+\mathcal{L}_{\mathrm{native}}+\mathcal{L}_{\mathrm{dec}}+\mathcal{L}_{\mathrm{turn}},\]其中转写项是对转写词及其分隔符的掩码交叉熵，原生项是在所有对齐的原生预测位置上对教师与学生在温度一条件下的前向散度的平均，另两项是对同一逐位置散度按组重加权的辅助损失。决策辅助损失按每单元首个实际送入词分为听、说或其他组内先平均再跨组平均，轮次辅助损失对非决策位置按送入词是否为轮次结束符分为结束与延续两组同样处理。
参数更新仅为语言模型中的十六秩低秩适配器以及两个新词的嵌入与输出行，新增 43700000 参数，约占语言模型的 0.53%，音频编码器、视觉模块、语音解码器与教师保持冻结。训练 3 轮，学习率万分之一，批量十六，四项权重均为一。
转写监督 × 行为蒸馏： 转写监督负责教会旁路输出正确的分段文本，行为蒸馏负责约束学生在原生预测位置上与冻结教师的输出分布保持一致，前者提供新能力，后者防止听与说的策略被破坏，两者相加使小参数适配既学会转写又保留交互行为。
在什么数据与协议上测内存、理解与交互？
长时推理评估使用 LongSpeech 基准的 10 分钟音频会话，每项任务取前 100 个英文会话，任务包括长转写词错误率、关于事件顺序的时序问答准确率以及摘要的 BLEU 与 ROUGE。问答准确率由 GPT-4o 判定。外部语音识别级联在流式时保留原生声学缓存，问答时从重编码的转写中作答。本方法在任务查询时仅使用输入语音的转写，在丢弃流式缓存后重编码。流式缓存的听与查询分别指流式后与时序问答时的常驻位置数。
交互行为评估使用 Full-Duplex-Bench 1.0 版的官方协议与评分脚本，共 727 个样本的五项任务，在相同解码设置下比较。报告的接管率包含暂停列，另有延迟与评分。消融设置包括无驱逐的上界、八千、六千、四千以及全部驱逐的下限，每种预算测 15 个会话，单元时间为包含旁路解码与驱逐的每秒单元 wall-clock，在单张八十吉 H100 上批量为一，大于 1 秒报告截止期 miss。
训练与延迟的配套测量包括在 2620 条 LibriSpeech 测试干净话语上的词发射延迟，以及在 10039 个 1 秒单元上的单元处理时间分布。原文未提供代码、模型或数据的可达链接，本次收到的资源状态为空，因此本解读不声称任何代码或权重已公开，复现需按论文文字重建流程。
长语音理解与峰值内存的主要结果是什么？
比较问题是，在相同的 MiniCPM-o 4.5 骨干与相同的长会话条件下，显式文本记忆加驱逐是否同时降低峰值缓存并保持理解。公平条件是同为流式处理，指标方向为词错误率越低越好，问答准确率与摘要分数越高越好，缓存位置数越低越好。下表整理主结果的核心对照，数值保留原文写法。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 长会话流式 | 转写词错误率 | 96.9 | 12.9 | 原生流式 |
| 长会话问答 | 时序问答准确率 | 30.0 | 42.0 | 原生流式 |
表后解释如下。论文报告转写词错误率从 96.9 降至 12.9，时序问答准确率从 30% 升至 42%，同时摘要也有提升。与保留汇聚词加两千近期位置的流式大模型基线相比，该基线词错误率更高且问答准确率仅为个位数，支持在驱逐前保留显式语言记录的重要性。与外部识别级联相比，本方法问答与摘要接近，但离线大模型与流式 Conformer 的词错误率更低，只是它们增加了更多参数或保留了原生声学缓存。未胜出项是词错误率并未超过参数量更大的外部大模型，这说明内置旁路的优势在内存与集成而非绝对识别精度。
峰值流式缓存 × 截止期 miss： 峰值流式缓存负责度量整个流式输入过程中常驻位置数的最大值，截止期 miss 负责度量处理 1 秒单元是否超过 1 秒 wall-clock，前者反映内存是否受控，后者反映实时性是否成立，两者需同时报告才能说明压缩既省内存又不拖慢交互。
预算、蒸馏与下限如何影响行为与延迟？
比较问题分为两组，一是交互行为是否因转写训练而改变，二是不同缓存预算下内存、精度与实时性如何权衡。公平条件是相同解码设置与同一适配模型，仅改变是否蒸馏或预算大小。下表先看交互行为的反证，数值保留原文写法。
| 条件 | 指标 | 原生 | 本方法 | 无蒸馏对照 |
|---|---|---|---|---|
| 后通道 | 接管率 | 0.000 | 0.218 | 论文报告接近全接管 |
| 暂停与轮流 | 综合表现 | 原生水平 | 与原生相当 | 提前抢说 |
表后解释如下。论文报告在有蒸馏时暂停处理、轮流与打断与原生相当，仅后通道接管率从零升至 0.218。无蒸馏时模型几乎接管所有暂停与后通道，并在几乎每个样本从首单元就开始说话，轮流接管率为 1.0 且延迟为零，这反映的是过早说话而非更快响应。消融说明仅更新小部分参数仍可破坏预训练的交互策略，因此需要显式的行为约束，且冻结教师在普通转写话语上即可提供该监督。
另一组是预算消融，比较问题是在同一适配模型下四千预算是否为可用工作点。下表整理峰值与实时性的关键数字，数值保留原文写法。
| 条件 | 指标 | 无驱逐峰值 | 4K 峰值 | 相对降低 |
|---|---|---|---|---|
| 流式内存 | 峰值位置数 | 11.35K | 4.02K | 64.6% |
| 单元处理 | 均值与分位 | 458 | 461 ms | 675 ms |
| 截止期 | 超时单元占比 | 0.32% | 0.00% | 10,039 |
表后解释如下。论文报告在四千预算下峰值从 1.13510000 降至四千零二十，相对同一适配模型无驱逐降低 64.6%，问答与摘要接近无驱逐设置，词错误率从 14.4 改善至 12.9。更激进的下限将峰值压至 1.941000 但词错误率升至 19.7，单元均值升至 501 毫秒且九十九分位达 1337 毫秒，超时占比 4.07%，因此支持四千为工作点。
在四千下单元处理均值 461 毫秒，九十九分位 675 毫秒，在 10039 个 1 秒单元中无超时。均值词发射延迟为 1.01 秒，相对原生提示转写的九点 5 秒明显更低，最大 2.59 秒落在 5 秒保留窗口内。未评测边界是该延迟与超时结论限于单批量 H100 与所测会话，不直接推广到其他硬件或并发。
哪些结论有边界，哪些量尚未验证？
论文直接报告的是在所测条件下的内存、理解与交互分数，有限解释是显式文本记忆有助于跨越近期声学窗口的查询，未验证推测是该思路是否同样适用于其他全双工骨干或更长会话，需要待验证的措辞。相关性不等于因果，例如词错误率在四千预算下优于无驱逐，不能直接断定驱逐本身提升识别，可能是重编码查询或分段解码路径差异所致。
缺失证据不是技术错误，但需明确指出。具体缺项包括未报告统计显著性与方差，未测量多人重叠语音或强噪声下的转写鲁棒性，未给出训练耗时与显存，未评估多批量并发时的截止期。总体趋势不等于每组都成立，例如预算从八千降至四千时问答准确率有波动，摘要的 BLEU 与 ROUGE 变化也较小。推理开销、输出帧率与实际延迟应分别讨论，论文给的是每秒单元的 wall-clock 分布，不能简化为单次前向时间。
另一个边界是后通道接管率上升。虽然暂停、轮流与打断与原生相当，但后通道从零升至 0.218 是否可接受取决于产品对插话的容忍度，论文未做人评，自动指标不能当作人评。
复现先做什么，需要哪些超参数与信息条件？
复现先做三件事。第一，按 1 秒双工单元重建数据流，每个单元含单元标记、约 10 个音频词与听或说决策，并在首个原生决策后插入由起始与结束特殊词 delimit 的转写段。第二，用词级强制对齐加零点 5 秒延迟生成单元级转写目标，每个词只出现在一个目标分段。第三，实现预算检查与驱逐循环，预算四千，保留最近 5 个单元，驱逐单元标记、音频词、原生决策、分隔符与终止符，保留转写词、回复文本与系统前缀，位置编号递增不重编码。
关键超参数包括低秩秩 16、缩放三十二、学习率万分之一、批量十六、训练 3 轮、四项损失权重均为一、推理时贪心解码至多 64 词。信息条件包括教师为冻结的原始模型且处理无转写段的同一音频，对齐按原生预测事件而非索引，新增两词的教师概率置零。评估时需区分流式后与查询时的常驻位置数，并分别记录峰值与终值。
本次未发现来源绑定且完成验证的资源，因此不能声称代码、模型或数据已公开。复现者应准备自行实现转写段插入、组平衡散度与驱逐逻辑，并用 LongSpeech 前一百英文会话与 Full-Duplex-Bench 727 样本按官方协议验证。
何时值得尝试，还需补哪项验证？
当系统需要在单卡上长时间连续听且不能让缓存无限增长，同时后续需要回答早前内容时，该方法值得尝试。它的适用条件是存在可利用的听音空隙，且转写延迟能被保留窗口覆盖。如果交互以极短指令为主或硬件无空隙，则收益有限。
复现成功后还需补两项验证。一是在目标硬件与批量下重测单元时间的均值、分位与超时占比，确认四千预算仍无截止期 miss。二是在目标场景下重测后通道与打断的人感，确认接管率上升是否可接受。论文特有的误解是把转写段当作说出内容，实际上它留在上下文但不送入语音解码器；另一个误解是把峰值降低当作全程更快，实际上均值处理时间包含转写与驱逐，需看分布与超时才能下结论。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses