📄 长会话下全双工语音模型为什么会变差，又如何稳住
英文题目：Diagnosing and Mitigating Long-Session Degradation in Full-Duplex Speech Models
评分：7.2/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Junho Kim：机构信息未能在本次解析中与作者逐人可靠绑定
- CheHyun Lee：机构信息未能在本次解析中与作者逐人可靠绑定
- Donghun Kang：机构信息未能在本次解析中与作者逐人可靠绑定
- Youngho Cho：机构信息未能在本次解析中与作者逐人可靠绑定
- Dongwook Lee：机构信息未能在本次解析中与作者逐人可靠绑定
- Heeseung Kim：机构信息未能在本次解析中与作者逐人可靠绑定
- Sungroh Yoon：机构信息未能在本次解析中与作者逐人可靠绑定
📌 核心摘要
全双工语音交互（full-duplex）要求模型在听用户说话的同时生成语音，并自主决定开始、继续或停止说话，论文研究这类模型在连续10分钟到20分钟会话中行为退化的诊断与缓解。输入是用户语音流与不断增长的对话历史，输出是模型语音流与说话时机决策，难点在于声学细节、语言内容与交互控制记号随时间累积，处理负担与记忆成本同步上升。诊断部分构建闭环仿真，用大语言模型（large language model，LLM）、文本到语音（text-to-speech，TTS）、语音识别与语音活动检测组成虚拟用户，跟踪响应超时、内容质量与说话人相似度。缓解部分先把长轨迹切成短段，用冻结基座教师加对话摘要生成可靠目标，再让学生对拼接长轨迹做蒸馏；再引入双分辨率上下文（two-resolution context，TRC），近窗保留原始词元，远端只保留 gist 词元。相对已有轮次评测与截断式长上下文处理，差异在于显式分离内容与控制监督，并让压缩记忆参与训练与流式推理。在PersonaPlex上8-10分钟对话质量（conversation quality，CQ，1-5分越高越好）从基线1.29提升到TRC的3.84，18-20分钟仍保持3.53，而纯低秩适配（low-rank adaptation，LoRA）已无法报告有效分数；TRC把提示词外键值缓存（key-value cache，KV-cache）增长速率降低91.7%-95.8%，适用范围限于三类原生全双工结构与英语日常话题仿真，20分钟外与真实打断场景尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://kimjunho333.github.io/dmlsd-fdsm/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全双工语音对话要解决什么输入输出问题
自然对话不是严格的 1 人说完另 1 人再说，听者可能在对方尾音未落时就接话，也可能用简短的嗯、对来表示在听，还可能直接打断。传统轮次系统把听和说分开，模型一次只做一件事。全双工语音模型的目标是同时处理输入语音流和生成输出语音流，输入是连续进来的用户音频，输出是模型正在合成的语音，模型还要在每个时刻决定继续说、停下听或开始接话。
这带来两个必须同时保留的信息。一是语言内容，即聊了什么话题、做过什么约定；二是声学和交互细节，即每段语音的音色、语速、停顿和谁在说话。随着会话变长，历史越来越长且混杂文字、音频编码和控制符号，模型要在很长的异构历史下既选对内容又选对时机。本文研究的就是当会话延长到 10 分钟量级时，这种能力是否还能维持，如果不能，会以什么形式退化。
全双工 × 轮次交替： 全双工指模型能边听边说，允许打断、同时说话和边说边决策；轮次交替则是先听后说，一轮结束才进入下一轮。全双工需要同时处理输入语音流和输出语音流的时序关系，因此历史会不断累积，本文的退化问题正是在这种持续并发条件下出现的。
已有评测和长上下文方法各缺了哪一块
在全双工建模路线上，一类做法用外部控制器或内部预测器单独管轮次切换，另一类把说话内容和说话时机放在同一个生成过程里建模，本文关注的 4 个模型属于后者。它们用带时间结构的语音和文本历史决定何时回应，并用历史 hidden 状态调节语音合成。这类历史天然会越积越长，可靠处理越来越难，难的不只是记住了什么，还包括语音质量和是否愿意开口。
在评测路线上，已有工作覆盖了打断、同时说话、简短附和、多轮指令跟随和工具使用等能力，也有工作按轮次或时间报告过轮次管理和指令跟随的下降。但这些评测多为较短或脚本固定的对话，没有在动态演化的长会话中同时跟踪响应、说话内容和音色 3 条线。本文的诊断正是补上长时间、闭环演化这一条件。
在长上下文推理路线上，文本语言模型常用丢弃部分键值缓存或把上下文压缩成可复用的紧凑表示，增量场景下还有随序列增长逐步压缩、保留局部原始窗口加要点记忆的做法。但这些主要在文本上验证，本文是把它适配到同时生成语音和控制说话时机的全双工语音模型，并与训练目标配合。
论文把长会话不稳定具体化成哪些可测现象
论文把问题限定为端到端全双工模型在连续 10 分钟乃至 20 分钟会话中的行为演化，而不是单轮问答的绝对水平。它关心 3 类可观测退化。第一是响应意愿和速度，模型是否越来越慢、越来越频繁地超时无应答，乃至会话被迫终止。第二是说话内容质量，回复是否从切题连贯变成重复、矛盾或无意义，甚至退化成非语音的哼声。第三是音色一致性，合成声音是否逐渐偏离开场时的说话人特征。
关键在于这些退化在不同模型上出现的时间和组合不同，有的先丢响应，有的先丢内容和音色。如果只看平均分或只看短会话，就无法发现这种分化和 onset 差异。因此论文先建立能让对话动态展开的闭环仿真，再按分钟切分统计，才能说清退化从何时开始、影响哪条线。
两步思路如何分工：先稳住行为再管住显存
论文提出两个互补的办法。第一步是特权上下文自蒸馏，解决行为退化。它不找外部长对话语料，而是把长轨迹切成短片段，让同一个冻结基座模型在短片段加摘要的特权条件下给出可靠预测，再让学生用连续长历史去模仿。这样学生学到的是用长上下文复现短上下文的好行为，训练时长约 10 分钟。
第二步是双分辨率上下文结构，解决历史越长越难处理和越存越多的问题。它保留最近约 10 秒的完整原始细节，把更早历史逐片压缩成要点标记，推理时只保留要点加局部窗口。这样训练时学生正好学会依赖压缩记忆，测试时即使超过训练时长，显存和注意力负担也不再随时间线性膨胀。两者结合时，蒸馏提供目标，压缩结构提供可扩展的记忆形式。
双分辨率上下文在推理时能看到什么、看不到什么
把会话按约 1 秒切成时间片，每个片尾追加一个要点标记。设局部窗口时长约 10 秒，窗口内保留完整的原始词元，窗口外的原始词元丢弃，只留每片一个要点。预测位置能看到固定前缀、窗外所有要点和窗内原始上下文。要点在计算自己时能看到固定前缀、它之前的所有要点和自己所在片的原始词元，因此旧信息可以通过要点链向后传递。
位置编码上，对原始上下文保持原有相对偏移，对前缀和要点则用紧凑编号把它们拼在局部窗口之前。层执行上，要点从共享可学习嵌入出发逐层处理，第一层时要点还没有吸收对话信息，所以原始查询不看第一层的要点键值；最后一层省略要点的自身更新，因为其输出无人消费。训练时只更新要点嵌入和主干问答投影上的轻量适配器，音频模块冻结。
下图左侧展示原始查询和要点查询各自的可见范围，右侧展示教师分段重起与学生连续跟随的监督关系，读图时重点看实线可见与虚线屏蔽的划分，以及监督箭头从教师对齐到学生的方向。
看图路径： 1. 先看左上原始查询能看到前缀、窗外要点和窗内原始块；2. 再看左下要点查询只能看到前缀、之前要点和自己所在块；3. 最后看右侧教师分段重起与学生连续走完的监督箭头
论文图 3。原论文 Figure 3:：“TRC and privileged-context self-distillation.”。
双分辨率上下文 × 要点标记 × 局部窗口： 双分辨率上下文把历史分成两种精度：局部窗口保留最近约 10 秒的原始细节，用于保证即时响应和发音连贯；更早的每个时间片只保留一个要点标记，用紧凑的键值记忆代表该片内容。要点标记之间还能互相看到，因此旧信息以压缩形式向后传递，推理时只需保留要点加窗口，从而同时实现保细节和省显存。
实线框是查询允许注意的上下文，虚线框是被屏蔽后丢弃的远期原始块，黄色小块是要点记忆。右图教师每段都带摘要重新开始，学生则带着要点记忆连续走完，绿色箭头表示教师预测在对齐位置监督学生。这种可见性设计保证近期有细节、远期有压缩线索，同时训练和推理的注意力规则一致。
教师轨迹如何构造，学生学哪三项损失
教师轨迹按场景生成。训练用 5 种人物设定和 20 个话题，与诊断仿真的人物话题完全不同，其中两话题留作验证。每场景生成 4 条轨迹，每模型共 400 条，训练 360 条、验证 40 条。每条由 5 个对话片段拼接，目标总长约 10 分钟，每个片段从用户发言开始，到 90 秒后模型说完一轮的第一个可停点结束，上限 150 秒。片段边界处用语言模型对之前对话写摘要，教师下一段带着基本提示加摘要重新开始，用户模拟器也同时看到摘要和当前段内对话。
为保证教师可靠，有质量过滤。不合要求的片段会重生成，例如用户说完 3 秒无回应、同一话语内连续重复跨度达 20 词、150 秒到不了边界等。最后一次尝试若仍无语音文本，会强制一次说话决策，但该位置不计入散度监督。每场景在第二段和第四段后各分叉一次，形成 4 条共享前缀但后续不同的轨迹，平均时长在 8.8 到 9.6 分钟之间。
特权上下文自蒸馏 × 教师 × 学生： 特权上下文自蒸馏中教师和学生是同一个冻结的基座模型的不同使用方式：教师每次只看一个短片段加前面对话的文字摘要，因此处于不易退化的特权短上下文中；学生则连续走完拼接后的长轨迹，只能看到原始长历史。让学生模仿教师在对齐位置的预测，就把短会话中可靠的行为迁移到长会话，而不需要外部长对话语料。
学生连续回放拼接轨迹的原生输入，不重编码音频，教师的预测位置与学生在连续轨迹中的对应位置对齐。监督分三项，内容散度管说什么，控制散度管何时说，hidden 匹配管送给冻结音频解码器的 hidden 状态是否一致。总目标是三项加权求和，实验中 3 个系数都取 1。
\[\mathcal{L}=\lambda_{\mathrm{cnt}}\mathcal{L}_{\mathrm{KL,cnt}}+\lambda_{\mathrm{ctl}}\mathcal{L}_{\mathrm{KL,ctl}}+\lambda_{\mathrm{hid}}\mathcal{L}_{\mathrm{hid}}.\]上式把内容散度、控制散度和 hidden 归一化平方误差相加。内容与控制按教师所选词元和说话状态划分，分别在各自位置集合内平均，避免数量多的一类主导权重。hidden 项用教师 hidden 范数归一化，保证不同幅度的状态可比。超出每段开头到教师对首个用户发言作出回应之前的区间才开始监督，强制说话的位置只排除散度监督，hidden 仍覆盖音频调节位置。
内容位置 × 控制位置： 内容位置指正常说话过程中预测下一个文本词的位置，决定回复说什么；控制位置指决定开始说、停止说、切换听说状态或特殊控制符的位置，决定何时说。两者数量和难度不同，分开计算散度再加权，可以避免数量多的一类淹没另一类，保证说什么和何时说都被监督到。
闭环仿真如何让对话动态展开并按分钟统计
诊断仿真不是播放固定脚本，而是让模型回应进入对话上下文去影响下一轮用户说什么。用户模拟器由大语言模型、语音合成、语音识别、语音活动检测组成。用户按策略等待模型说完再回应，被打断则丢弃剩余音频，超时则换说法重试，连续 3 次超时终止会话。计时用逻辑音频时长而非墙钟时间，避免推理快慢干扰时序测量。每个模型仿真 90 段英文对话，覆盖 3 种人物、10 个日常话题，每组合重复 3 次，目标 600 秒。
下图是仿真循环示意，先看用户侧如何从对话上下文生成文本再合成语音，再看模型侧输入输出如何与语音活动检测和转写模块形成闭环。
看图路径： 1. 先沿左侧用户模拟器 1 到 5 的编号看文本如何变成语音再变回文本；2. 再看右侧模型输入输出与中间语音活动检测之间的语音流向；3. 注意底部图例区分语音流、文本流和控制流
论文图 1。原论文 Figure 1:：“Closed-loop simulation protocol. Overview of the simulation loop, in which model responses are incorporated into the dialogue context to condition subsequent user turns.”。
图中左侧 1 号由语言模型按人物话题和历史生成回应文本，2 号合成用户语音并按策略播放，右侧模型接收后生成语音，3 号检测语音活动区分正常接话、打断和简短附和，4 号离线识别转写模型语音，5 号更新历史进入下一轮。底部图例说明语音、文本和控制 3 类流向，整个循环使后续用户输入依赖于模型此前的实际输出。
6 个指标分 3 组。响应组看地板转移偏移、响应超时率和累积终止率。地板转移偏移是正常接话时模型开口时刻减去用户结束时刻的中位数，负值表示重叠抢说。超时率是等待起点落在某区间的已解决机会中超时占比，终止率是触发 3 次连续超时的会话累积占比。内容组看对话质量和词错误率，音色组看说话人相似度。
\[\mathrm{RT}(I)=\frac{\sum_{e\in\mathcal{E}}\sum_{i\in\mathcal{O}_{e}(I)}y_{e,i}}{\sum_{e\in\mathcal{E}}|\mathcal{O}_{e}(I)|}.\]上式是超时率的计算，把某区间内所有已解决回应机会中的超时次数除以总机会数。正常接话或打断算有回应，仅有简短附和不算回应。
\[\mathrm{WER}(I)=\frac{1}{|\mathcal{E}_{\mathrm{WER}}(I)|}\sum_{e\in\mathcal{E}_{\mathrm{WER}}(I)}\frac{\sum_{s\in\mathcal{S}_{e}(I)}\bigl(\mathrm{Sub}_{e,s}+\mathrm{Del}_{e,s}+\mathrm{Ins}_{e,s}\bigr)}{\sum_{s\in\mathcal{S}_{e}(I)}N_{e,s}},\]上式是词错误率的计算，以模型原生文本为参考、离线识别为假设，按句子对齐后统计替换删除插入，再按参考词数归一化后在满足样本量的剧集间平均。
响应超时 × 会话终止： 响应超时指用户说完并等待 3 秒后模型仍没有非简短附和的回应，每次超时都会换一种说法重试；会话终止指连续三次超时后强制结束本次会话。前者是单次机会的失败率，后者是累积到无法继续的比例，两者组合才能区分偶发变慢和彻底失去响应能力。
对话质量 × 词错误率： 对话质量是语言模型裁判对一分钟内模型说话内容是否切题连贯打的 1 到 5 分，衡量语义层面是否还能聊下去；词错误率比较模型原本想说的文本和实际合成语音被识别出的文本之间的差异，衡量说的内容是否被语音忠实实现。两者分工不同，一个看说什么，一个看说出来的语音是否走样。
基线配置与样本量门槛如何保证可比
4 个基线都用公开权重以半精度运行并与模拟用户交换音频。评价把每会话按 1 分钟切分，终止后未观测区间除终止率外不再计入，且只有满足最少样本量才报告，避免用极少数残存会话撑起曲线。说话人相似度首分钟只做注册，从 60 秒后开始评分。多分钟汇总时先在剧集内按语音时长加权，再在剧集间平均，置信区间用剧集级自助重采样 2000 次得到。
下表说明基线的时间步、上下文策略和解码设置，这是理解长会话负担差异的前提，比较时任务、仿真策略和聚合规则对所有模型一致。
| Model | KV Context | Step | I/O (kHz) |
|---|---|---|---|
| Moshi | 240 s sliding | 80 ms | 24 / 24 |
| PersonaPlex | 240 s sliding | 80 ms | 24 / 24 |
| MiniCPM-o 4.5 | accumulated | 1 s | 16 / 24 |
表中步长是每次推理处理的输入音频时长，键值上下文一栏区分滑动窗口和一直累积两种原生策略，解码一栏给出文本与音频的温度和采样参数。滑动窗口本身截断旧上下文，累积式则一直增长，这直接影响后文显存和延迟的对比起点。
诊断用人物话题与训练用人物话题完全隔离，训练场景还另设验证话题，因此稳定性提升不能解释为记住了测试话题。教师轨迹生成与诊断仿真的用户提示也有差异，前者允许回看摘要并鼓励利用早前信息，后者更强调自然继续，这些条件差异在解读记忆测试时需要记住。
四个基线在十分钟里分别从哪里开始掉
曲线总览显示 4 个模型至少在一类指标上退化，但阶段和主线不同。Moshi 先是对话质量和音色缓慢下滑，末段响应急剧恶化。PersonaPlex 和 Raon-SpeechChat 主要是内容和音色退化，前者全程渐进，后者最后两三分钟加速。MiniCPM-o 4.5 则主要是响应变慢变哑，内容分仍能维持在 4 以上。
下图把 6 个指标按会话时间展开，每点是 1 分钟区间的汇总，阴影是自助置信区间，读图时不要把单点抖动当趋势，重点看后半程的斜率和分叉。
看图路径： 1. 对比上排三个响应指标中哪条曲线上升最早最陡；2. 对比下排对话质量下降与词错误率上升是否同步；3. 注意右下音色相似度首分钟灰带为注册区间不参与评分
论文图 2。原论文 Figure 2:：“Behavioral degradation over long sessions.”。
从像素可见，上排响应指标中 MiniCPM-o 4.5 的地板转移偏移持续抬高，Moshi 在 8 分钟后超时率和终止率陡升；下排对话质量中 PersonaPlex 和 Raon-SpeechChat 掉到 1 分附近，词错误率在末分钟接近 100%，音色相似度也同步走低。这说明长会话不稳定是多维问题，不同架构的薄弱环节不同。
下表把关键首尾数字放在一起，比较问题是同一仿真和同一聚合下退化幅度有多大，指标方向是超时率、终止率和词错误率越低越好，地板转移偏移接近零或略负为正常接话，对话质量和音色相似度越高越好。
| 条件 | 指标与区间 | 基线首分钟 | 基线末分钟 | 退化含义 |
|---|---|---|---|---|
| Moshi | 超时率 7-8 分钟 vs 8-9 分钟，终止率 10 分钟累积 | 12.7% | 70.2%，96.7% | 末段大量无应答并被迫终止 |
| PersonaPlex | 对话质量首 vs 末分钟，词错误率末分钟 | 4.90 | 1.08，97.9% | 内容崩溃且语音与文本严重不符 |
| Raon-SpeechChat | 对话质量首 vs 末分钟，词错误率末分钟 | 4.62 | 1.03，98.7% | 内容崩溃且语音实现失效 |
| MiniCPM-o 4.5 | 地板转移偏移中位数首分钟 vs 8-9 分钟 | 0.39 s | 1.89 s | 接话越来越慢 |
这些数字来自 90 段仿真、特定人物话题和逻辑时间计时，且末分钟样本量已因终止而减少，报告门槛未满足处按缺失处理，因此结论仅在相同仿真策略和相同聚合规则下比较首尾区间时成立，不能直接推广到真人对话或允许打断附和的用户策略。未胜出项是 MiniCPM-o 4.5 的内容分在基线下仍相对稳定，说明响应差不等于内容差。
训练时长内自蒸馏和压缩各带来多少改善
在 0 到 10 分钟的训练时长内，特权上下文自蒸馏总体改善了稳定性。对 PersonaPlex 和 Raon-SpeechChat，响应、语音文本一致性和音色一致性的退化都明显减轻，再叠加压缩结构后多数指标好于只用轻量适配器。MiniCPM-o 4.5 的改善较局限，内容和音色保持得更好，但响应超时仍然严重，压缩在此时长内没有额外好处。
下表聚焦 8 到 10 分钟附近的内容指标，比较问题是相同模型下基线、只用适配器和再加压缩三者的 late 表现，方向是对话质量越高越好、词错误率越低越好。
| 模型 | 基线对话质量 8-10 分钟 | 压缩方案对话质量 8-10 分钟 | 词错误率变化方向 | 结论 |
|---|---|---|---|---|
| PersonaPlex | 1.29 | 3.84 | 基线 44.3% 量级降至压缩后较低水平 | 内容崩溃被大幅缓解 |
表后解释要说明代价和边界。只用适配器已能在训练时长内缓解退化，但压缩的额外收益在不同架构上不均匀，MiniCPM-o 4.5 在此时长内几乎无增益。这表明方法不是统一抬高所有指标，而是主要修复内容和音色线，响应线在该模型上仍是短板。同时所有 late 数字都依赖裁判打分和转写对齐规则，MiniCPM-o 4.5 还对超前文本做了截断修正，因此跨模型绝对值不宜直接排名，应看同模型内的变化。
超出训练时长的 20 分钟会话才是分水岭。只用适配器的 3 个模型在 10 分钟后都急剧恶化，18 到 20 分钟词错误率达 88.7% 到 99.6%，其中 2 个模型对话质量掉到 1.06 和 1.00，意味着回复本身崩溃。加压缩后退化明显更平缓，PersonaPlex 在 18 到 20 分钟仍保持 3.53，Raon-SpeechChat 为 3.29 且词错误率为 44.3%，MiniCPM-o 4.5 内容分为 4.64 且词错误率 5.8%，只是响应超时继续缓慢增加。证据支持压缩把增益外推到训练时长之外，但不支持响应问题已被解决。
压缩记忆是否以牺牲具体信息记忆为代价
信息保留测试用 100 个虚构问答做单针回忆，开场给出事实，中间只放静音并强制听，在 0、5、10 分钟后用原问题探测，答对计分。比较问题是相同探测距离下完整上下文与压缩记忆的准确率，方向是越高越好。结果是压缩总体弱于短时完整的基线，但在基线随时间丢失的模型上反而形成长时优势。
下图按模型和保留时间分组比较准确率，读图时先看同组内颜色高低，再看随时间是否稳定，不要把短时差距直接等同于长时无用。
看图路径： 1. 比较每个子图绿色基线与红色压缩在 0 分钟处的高度差；2. 观察随保留时间变长基线是否保持或突然掉到接近零；3. 注意最右侧还有蓝色 480 毫秒小块的额外压缩条件
论文图 4。原论文 Figure 4:：“Information retention. Recall accuracy against probe distance for Base and TRC.”。
像素可见，PersonaPlex 基线在 0 分钟约 38% 后迅速归零，压缩虽起点更低但 5 分钟和 10 分钟仍有十余点；MiniCPM-o 4.5 基线全程 80% 以上，压缩全程 50% 左右，始终落后；Raon-SpeechChat 基线从 70% 多掉到 10 分钟约 11%，压缩在 10 分钟反而更高，且 480 毫秒小块设置在长时更好。这说明压缩与记忆存在权衡，最优块大小因模型而异，当前训练没有显式记忆任务，短时记忆落后是预期代价。
消融还验证了 hidden 监督的必要性。下表比较 PersonaPlex 压缩方案在保留与去掉 hidden 项时的晚段表现，方向是词错误率越低越好、音色相似度越高越好。
| 条件 | 晚段词错误率 12.8% 起点变化 | 晚段音色相似度 0.579 起点变化 | 含义 |
|---|---|---|---|
| 保留 hidden | 12.8% | 0.579 | 语音文本与音色更稳定 |
| 去掉 hidden | 19.8% | 0.418 | 语音实现与音色明显变差 |
该消融只在 PersonaPlex、相同轨迹和相同训练配置下完成，选验证损失最低的检查点评测 20 分钟会话，因此结论限于该模型和该设置。它支持 hidden 匹配对维持语音文本一致性和音色一致性重要，但不能推出去掉散度会怎样，也不能推广到另 2 个模型。论文明确把加入显式记忆目标列为未来工作，当前方法更适合保行为稳定而非保逐字回忆。
计算效率方面，压缩把提示词之外的键值增长速率降低 91.7% 到 95.8%，主干延迟随上下文的涨幅从无压缩的 141% 到 259% 压到 12% 到 15%，但 PersonaPlex 因基线用固定环截断而本身不涨，压缩反而在各点稍慢。要点计算在短上下文是额外开销，优势随上下文变长才显现。
这些结论在什么条件下才成立，还有哪些没测
所有主结论都绑定在特定仿真条件下。用户策略是等模型说完再回应、被打断丢弃剩余音频、不主动打断或附和，用逻辑时间计时，超时 3 秒重试、3 次终止。这些规则保证可比，但也意味着未测试用户频繁打断和附和下的长时稳定性，不能把结果直接套用到更具攻击性或更随意的真人交互。
指标本身也有条件。对话质量依赖语言模型裁判的整段打分，只看内容不看音质和时机；词错误率依赖原生文本与离线识别的对齐和截断规则；音色相似度依赖首分钟注册和 3 秒分块平均。任一组件更换都可能改变绝对值，因此论文强调同模型同规则下的变化，而非跨评测的绝对排名。
训练数据也有限。适配器加要点嵌入仅约 0.1% 主干参数，轨迹约 10 分钟、400 条每模型，人物话题与诊断隔离但仍是合成分布。论文在局限中承认这可能窄化原生全双工行为，记忆测试也显示高压缩下逐字回忆有限。更大的多样本验证、真人长会话验证和显式记忆目标都还需要补。
要复现诊断和训练第一步需要准备什么
复现诊断先固定 4 个公开权重和推理配置，再搭建闭环仿真。权重包括 Moshi、PersonaPlex、MiniCPM-o 4.5 和 Raon-SpeechChat 的发布检查点，仿真需要用户大语言模型、语音合成、语音活动检测、离线识别和说话人编码器，并按 800 毫秒静音封口、3 秒超时重试、3 次终止、目标 600 秒加 15 秒收尾的规则推进。首分钟用于音色注册，超时和终止的统计口径与样本量门槛必须与原文一致，否则 late 数字不可比。
下表给出发布检查点，这是复现的起点，运行时还需注意半精度、音频采样率和各模型特有的文本语音提示。
| Model | Checkpoint |
|---|---|
| Moshi | kyutai/moshiko-pytorch-bf16 |
| PersonaPlex | nvidia/personaplex-7b-v1 |
| MiniCPM-o 4.5 | openbmb/MiniCPM-o-4_5 |
表中左侧是模型名，右侧是权重标识，照此拉取才能保证与原文同一基线。文本提示和参考音频、首帧保留等细节影响注意力和音色起点，改动后应视为不同条件。
复现训练则先按新人物话题生成短片段加摘要的教师轨迹，经过滤和分叉得到约 10 分钟的拼接轨迹，再用对齐的内容散度、控制散度和 hidden 误差训练轻量适配器与要点嵌入。压缩的窗口和块时长按模型原生时间单位换算到约 10 秒和 1 秒，前缀和首帧保留按注意力沉降行为分别设置。评估时训练时长内看 10 分钟，泛化看 20 分钟，并同时报告显存增长与主干延迟，避免只报行为分。
什么时候值得尝试这种组合，还缺哪项验证
当全双工模型在短对话中可用，但长到数分钟就出现超时增多、内容重复矛盾或音色漂移，且历史显存随时间明显增长时，这套组合值得尝试。特权自蒸馏适合没有长对话语料但短行为可靠的场景，双分辨率压缩适合需要把会话延长到训练时长之外且希望显存几乎不涨的场景。两者共享同一蒸馏目标，压缩记忆的引入方式在训练和推理一致，这是外推的关键。
第一步建议从诊断开始，用相同仿真跑出按分钟的六指标曲线，确认薄弱环节是响应还是内容音色，再决定是否引入压缩。如果主要痛点是响应超时，本文方法在 MiniCPM-o 4.5 上的效果有限，不应期望超时消失。如果痛点是内容崩溃和音色漂移，压缩加蒸馏在 3 个模型上都显示出训练时长内外的内容音色收益。
还需要补的验证包括含用户打断和附和的长会话、真人长会话的主观评价、更大更多样适配数据的行为多样性检查，以及在压缩下加入显式记忆任务后短时回忆能否追平完整上下文。只有补上这些，才能判断该方法在实际陪伴和任务型长交互中是否同样稳健。项目页面在线可用，但这只说明作者提供了相关链接，不代表已开源全部代码权重，复现前应先核对可获取的资源范围。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses