Jarvis：在多人会议里何时开口、如何开口的主动语音智能体

📄 Jarvis：在多人会议里何时开口、如何开口的主动语音智能体

英文题目：Jarvis: A Proactive Speech Agent for Multi-Party Conversations

标签：#语音对话系统 | #检索增强 | #轮次切换 | #基准测试

评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5

👥 作者与机构

• Seunghyun Oh：机构信息未在 arXiv HTML 中可靠披露
• Hirotaka Hiraki：机构信息未在 arXiv HTML 中可靠披露
• Shuyue Stella Li：机构信息未在 arXiv HTML 中可靠披露
• Yulia Tsvetkov：机构信息未在 arXiv HTML 中可靠披露
• Shyamnath Gollakota：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

多人会议中出现与共享文档可核查事实不符或遗漏时，现有语音助手只在被点名时应答单人，无法判断是否该开口、何时开口又不抢话。Jarvis以会前共享文档与实时多人语音流为输入，只在必要时口头纠正或补答，并给出页码与原文段落引用。语音处理模块为每人做流式识别并附说话人与时间戳形成轮次，普通轮次送入主动推理链，直接点名问题则分流至直接问答。主动推理链共用同一小模型分步处理：监视步骤对照文档判断新增问题状态并记入待解决问题记忆，自修复检查判断小组是否已自行解决，若未解决则由 grounded生成步骤产生带引用的干预文本并送入交互模块。交互模块将干预排队，仅在长静音、无人说话且输入能量持续偏低时释放，举手请求许可或等待空档直说两种方式占用公共发声时间，说话中检测到持续人声即让出话筒。在从18篇论文各取3个问题共54个问题、开与关各跑一次共108次人为打断的让出评测中，让出率指标下启用让出为51/54即94.4%高于禁用让出的0/54即0.0%。适用范围限于英文远程会议与单文档问答，表格数值引用与长文档上下文仍会失效，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

Jarvis 要解决的是什么样的会议难题

这篇论文设想的场景很具体：几个人围着一份事先发下来的长文档开会，比如十五页的合同、财报或学术论文，讨论中有人问了一个文档里其实写了但没人记得的细节，或者有人把样本量、年限、数量说错了，而讨论还在这个错误的基础上往下走。作者想让一个事先读过文档的语音智能体作为参会者旁听，只在小组确实缺了或说错了可查证的事实、并且小组自己在几轮内没有纠正时才出声补上，还要给出页码让大家能核对。如果小组自己改对了，它就保持沉默。

输入是会议的实时多路语音和事先共享的文档，输出是偶尔插入的一两句语音纠正加屏幕上的引证，目标是帮小组不把错误带进后续决策，同时尽量不抢话、不分散注意力。论文把这种困难称为知识层面的破裂，只管缺了什么、错了什么，不管社交气氛或观点分歧，这样对错和时机才能有客观答案。 读这张总览图可以先建立直觉，它把直接被叫到才回答和自己判断要不要插话分成两条路，又把说错后没人改和有人改对两种结局并排放。

看图路径： 1. 先看左上面板里共享文档、参会人与智能体的位置关系；2. 再对比右上持续说错与右下小组自己改对两种时间线；3. 注意左下直接提问与主动判断两条进入路径的文字

论文图 1。原论文 Figure 1.：“Jarvis in a live multi-party meeting.”。

图里左侧是它作为一个参会者出现在会议中，旁边放着共享文档的片段和页码，右上是错误被沿用时它举手并在空档说出正确数字加页码，右下是小组自己说出正确数字时它继续显示正在听但不出声。左下的小流程把问题是否还没解决、话轮是否空出来、是否要举手连成一串，说明它不是一有答案就说，而是先等小组、再等时机。

它和以往的语音助手、会议工具哪里不同

论文花了不少篇幅区分 3 类相近工作。第一类是常见的被动语音助手和单人对话系统，它们等唤醒词或等用户提问，默认每一句对它说的话都值得回答，没有处理多人之间互相说话、没人理它时它该不该开口的问题。第二类是文字侧的主动或多方系统，比如在聊天里决定何时发言、在谈判里选择干预点，它们可以发一条可略读、可推迟的消息，不占用大家共用的发声时间，也不用解决何时算抢话、被打断后是重说还是放弃。

第 3 类是耳语式或屏幕提示式助手，只给某一个人看，不进入公共语音，也不面对全组验证。Jarvis 的不同在于它要进入公共语音，用掉大家的时间，还要接受全组检验，所以论文同时做了进入时机的机制和屏幕引证，并把评测锚定在文档可判定的事实上。

什么时候该说、说什么才算可衡量

作者把何时开口变成一个检测问题。做法是把每次讨论都锚定在一份文档上，文档里写了什么就是标准。缺口是问了文档能回答的问题但没人答，错误是说了文档会否定的主张，错误里还分了两种，一种是把数字换成相近但不对的值，考细粒度 grounding，一种是把另 1 篇论文的 distinctive 事实说成这篇的，考系统是否只认当前文档。每个事件都事先记下触发轮、理想动作和还有用的时间窗，过了窗才纠正就不算数。

更关键的是每个应说的事件都有一个应沉默的对照：缺口对照已有人答对的提问，错误对照小组自己修好的说错。这样系统不能只靠看到提问或看到可疑数字就说话，必须看小组随后有没有自己解决。论文还设了文档根本没写的不可答问题，要求系统不编造，可以沉默、明确说没写，或只给文档里相关的信息。

主动介入 × 被动应答： 被动应答指被点名或被唤醒词叫到才回答，主动介入指没人叫它、它自己判断小组遗漏或说错了可查证的事实才开口；论文把两者放在同一系统里分开走，被动走直接问答通道，主动走检测加等待的循环，是为了让打断只发生在有文档依据且小组自己没修好的时刻。

这种设计把主动行为从好不好、礼不礼貌的主观评价，变成了在已知事件上说对说错、说早说晚、何时闭嘴的客观计数，但代价是合成事件比真实错误更规整，真实讨论里常有 hedging、含糊和跨多轮的线索，结论能否外推需要再看真人部分。

系统整体分哪三块、声音怎么走

Jarvis 分成语音处理、主动骨干和交互三块。语音处理把每路音频做语音活动检测、唤醒词检测和流式语音识别，切成带说话人、起止时间的轮次，标成直接叫它还是人与人之间的普通讨论，同时把静音、持续说话等声学事件送给交互模块，事后把批准的文本合成语音放回会议。主动骨干只处理普通轮次，负责判断有没有文档能解决的问题、小组是否已自己解决、以及用哪句文档原句来支撑说法。直接叫它的轮次绕过主动循环，走文档问答通道。

两路文本都进交互模块，由它决定何时放音、何时让出话轮、是否要举手等许可，并在界面上显示状态和引证。 这张结构图适合对照上面的文字看两条路径的分叉和汇合。

看图路径： 1. 沿普通轮次与唤醒词轮次两条箭头看分流位置；2. 看主动循环里三个编号步骤与待办记忆的连接；3. 看右侧交互模块四个框如何先后管理播放

论文图 2。原论文 Figure 2.：“Jarvis system architecture. It has three components: speech processing module, proactive backbone and interaction module.Block diagram of the Jarvis system.”。

图顶是语音处理，含分说话人识别、唤醒词路由和语音播放，中间左侧是主动骨干，含共享文档、直接回答和每轮三步循环加待办记忆，右侧是交互模块，含等空档、让人、举手和更新状态引证，底部是屏幕状态与证据。可以看到普通轮次向下进入循环，唤醒词轮次斜着绕过循环，直接回答不等待，而主动回答要带引用页一起交给交互，批准后才送语音合成。

主动骨干如何用小模型加规则决定说不说

主动骨干共用一个小模型和同一份编号句子文档，所有阶段的系统提示都以同一文档块开头，既让引用编号一致，也让推理引擎能复用缓存。文档被切成编号句子，模型只能报编号，不能自己改写原文，服务端再把编号还原成原句，解析不到的编号会被丢掉，每次最多报 3 个编号，表格或图里没有句子可引时宁可不带编号也不编一个。 这张骨干流程图把并行与串行画得很清楚，适合在这里对照理解。

看图路径： 1. 看顶部编号句子文档如何被每一步共享；2. 看两个并行判断如何分别写入增加计数与标记修好；3. 看两次沉默出口分别对应门限未满足与引用无效

论文图 3。原论文 Figure 3.：“Our proactive backbone is a deterministic harness of small models.”。

图顶是共享文档切成的编号句子，每步都读它，智能体只能说能指到这里的话。每个普通轮次同时进两个语言模型判断，一是文档能修的问题吗，含错误事实、缺失事实和张冠李戴，二是小组自己修好了吗，两者分别做增加计数和标记修好，中间是待办记忆与是否持续出现、是否仍未修好的规则门，只有都满足才走向右侧生成，生成后还要把编号换成页码加原文，任一条件不满足就沉默。

监视器 × 自我修复检查： 监视器负责每轮判断讨论是否出现文档能解决的问题并抽出争议点，自我修复检查负责判断小组在随后几轮里是否已经自己说出了正确答案；前者提出候选，后者负责取消，两者并行更新同一个待办清单，门限只在问题持续且未被修好时才放行。

具体说，监视器每轮给新话语定 6 种状态中的一种，可行动的是错误事实、缺失事实和把别处说法算成这篇的张冠李戴，不行动的是在轨、离题和文档同主题但没写具体细节的答不出。它还要抽出争议点，写成与措辞无关的短名词短语，比如训练用了多大的数据集，而不是抄答案或抄原话，这样同一话题在提问和说错时能对上，便于跨轮追踪。若可行动，它再抄出文档里的正确值和句子编号作为兜底。

自我修复检查每轮看待办清单，用规则复核模型说的已解决：只有最近 3 轮里确实出现了正确值、且内容词达到一定比例、数字完全一致、不是提问也不是说想不起来、还说了新词，才算关掉，张冠李戴则看有没有撤回。两者互补，模型懂两打之类同义，规则保证确实刚说过。

声明台账 × 门限： 声明台账指按语义归一后的争议点保存的记忆，记录持续计数、冷却和是否已说过，门限指决定放行的确定性规则；台账提供跨轮的状态，门限提供耐心和去重，组合后单个模型的误判不能直接触发语音，避免一出现可疑就抢话。

台账用句向量比较新争议点和已有的是否同一问题，余弦达到阈值算同一问题，持续计数在连续检出时加一，遇到报成非可行动就清零，不提及则不变。门限要求持续计数达到阈值、未被判定已解决、不在冷却、且没说过同一问法才放行，部署时持续阈值取 2，冷却 6 轮。生成只在放行后运行，按纠正、补缺、指明不是这篇写的 3 种意图写口语文本，不带编号，再拼成关于某主题加页码和关键词的说法。生成前后还有去重和兜底：引不到有效句子就用监视器的编号，还不行就丢掉，与最近说过的高度重复也丢掉，说过的内容会追加进上下文，方便后续把自己的纠正认成已解决。

交互模块如何找空档、被打断后怎么办

论文强调口语与文字不同，说一句话就占掉大家的时间，还会挤掉下一个想说的人，所以交互模块把生成和播放分开。生成好先排队，只有当语音活动检测到较长静音、无人说话、输入能量持续很低时才放音，以区分真正的换轮和句中停顿，若有更新的干预先到就替换掉旧的，保证说的是当前状态。说话时一旦检测到持续的人声就立刻让出，不因短的语气词停下。

被打断后按已播时长恢复：刚开始就被打断下次完整重放，说了几秒就从被截断的句子起接一句收尾再继续，说得差不多就丢掉剩余，因为打断可能意味着兴趣不大或要点已传达到。实现里播放门要求约 2.0 s 静音且各路无声、输入能量低一段时间，约 0.5 s 连续人声就停下，恢复按 2 s 内外和 5 s 外分三档。直接提问也走同样的让出和恢复，只是它被叫到所以生成好就准备放，不走主动的等待计数。

等候空档 × 举手等待许可： 等候空档指检测到较长静音且无人说话才播放已生成的干预，举手等待许可指先举手、等到有人说请讲才播放；前者靠语音活动检测找可进入的缝隙，后者把是否值得打断的决定交回给小组，前者更及时，后者更克制，论文在真人实验里顺序体验了两种。

举手模式是给想要更紧控制的小组准备的。系统先举手，有效期 60 s，超时未被叫到就丢掉，避免说过时信息。许可检测用锚定尾部的正则式识别请讲之类的说法，并排除还没、等一下等拒绝，还要处理语音识别把短语切碎或漏掉智能体字样的情况，会把同一人相邻 1.5 s 内、总跨度 3 s 内的碎片拼起来再匹配，检测到许可后等 400 ms、无新语音才放音。屏幕侧同时显示空闲、听、想、说等状态和举手信号，并把引证的页码、关键词和原文段送到共享文档 viewer，滚动到对应页并标出段落，让大家边听边核对。

没有训练新模型时系统靠什么构造和组装

这篇工作没有从零训练语音或语言模型，也没有微调出一个端到端的主动说话模型，实际计算是已有模型的调用加规则和合成数据的构造。语言侧部署的是 Qwen3.6-35B-A3B 这类混合专家小模型，活跃参数约 3B，监视器和自我修复用低温度保证稳定，生成和直接回答用较高温度保证口语流畅，所有阶段都用结构化输出约束成 JSON。语音侧用现成的流式识别、语音活动检测、唤醒词和语音合成模块拼成实时链路，延迟靠缓存文档前缀、流式生成和排队放音来控制。

信息缺口 × 事实错误： 信息缺口指问了文档能回答的问题但没人答出来，事实错误指说出了与文档矛盾的主张；两者都是应开口的情形，但处理不同，缺口要完整补答案，错误要先核对再纠正，论文用配对的已自行解决事件做对照，检验系统能否区分 unresolved 与已解决。

数据集 CHI-180-proactive 的构造本身就是主要的训练与评测准备工作。它从 18 个子领域各取 10 篇 CHI 论文共 180 篇，每篇先用大模型抽几百条带页码和原文哈希的事实，再按抽取、抽象、是非、不可答的配比造 12 个问答条目，这些条目既做问答评测，又埋成缺口和不可答事件。错误分说错没人改和随后自己改好两种，共享触发但后续不同，数字替换和跨篇张冠李戴两种做法都要过确实为假、不能只看上下文判定、不干扰问答条、不泄露答案四道确定性检查。

对话按每 10 轮一个事件、15 轮后开始、主对话 220 轮 20 个事件加独立 60 轮 4 个已解决提问的计划合成，两个说话人一个质疑证据、一个解释方法，非剧本轮次按先想再评分抢话轮的引擎生成，并限制每段只能用局部事实池、可回答事件的答案全程 withheld，数字白名单和逐轮校验防止自泄。生成器筛选只用来确认候选落在真实研究对话的变化范围内，而不是排名次，文中说多数条件与真实对话的分布差异已小于真实数据自身两半的差异，最后选了一个够用的配置。

评测分哪几层、每层在什么条件下计数

评测分四层。第一层是直接问答，只换回答模型，提示、解码和温度都固定，问题作为直接轮次注入、无上下文、评分在加口语包装前做，比较在 4 个模型都回答且判定的题目上做，避免拒答多的模型占便宜，指标是严格正确、含部分的正确、正确中引用与标注证据重合的比例，以及首 token 与总延迟，文档前缀先缓存。第二层是打断让出，用 54 个问题各跑开与关两种，共 108 轮，人在智能体说话时插话，看是否停下和从检测到停音的延迟。

第三层是合成对话回放，逐轮送入、等裁决再送下一轮，每篇只给当前论文，跨篇事实必须靠发现当前篇没有来判，事件在触发后 5 轮内算对准，已自行解决的事件窗口从修好那轮才开，提前说算打断修复。

第四层是 23 人的 Zoom 真会，14 场、每场 2 到 3 人，讨论 2 篇事先读过的论文，带队人按事件卡植入易与难的错误并改述成自然口语，另有自发错误和自发提问，干预按触发轮到决策轮的轮数记硬两轮内、软 5 轮内、晚，正确性对照论文原文，引用从显示来源的阶段起核对页与原文，作者复核了模型判定的每一项。

真会分 5 段累加功能，先直接说、再举手、再显示来源、再积极与克制两档等待阈值，顺序固定以便每次只变一处，但条件与顺序、熟悉度混杂，只能当顺序印象读，不能当随机对照的胜负。

合成对话里说与不说的分工是否成立

先看事件类型与理想动作的定义，这是后文所有计数的口径。

表把缺口、错误、自我纠正、已解决提问和不可答 5 类按定义、类别、触发、理想动作和每篇数量列出，应说的是缺口每篇 10 个、错误每篇 4 个，应沉默的是自我纠正和已解决提问各 4 个，不可编造的是不可答 2 个，合计每篇 24 个事件，全集 4320 个事件、50400 轮。它的公平条件是缺口配已解决提问、错误配自我纠正 2 对分别比较：缺口触发为提问、错误触发为主张，只差小组是否自己解决，指标方向是应说看开口率与说对率，应沉默看沉默率，不可答看编造率。

自我纠正的应沉默事件窗口从修好轮才开，提前说算打断修复，不算处理该事件，与应说事件窗口规则不同。 看完口径再看这张结果级联，它把每种情形按沉默对开口、开口中对准对偏离、对准中正确对部分对编造逐层展开。

看图路径： 1. 先看每种情形第一条里沉默与开口的数量对比；2. 再看开口中对准事件与偏离目标的小段；3. 注意底部图例里好结果与部分正确的颜色含义

论文图 5。原论文 Figure 5.：“Outcome flow by proactive behavior across the conversations in the CHI-180-proactive dataset.Five stacked-bar cascades, one for each situation, showing outcomes in patient mode.”。

图里缺口 1800 个中开口 1631 个、对准后正确 1503 个，错误 720 个中开口 554 个、对准后正确 514 个，自我纠正 720 个中沉默 697 个，已解决提问 720 个中沉默 701 个，不可答 360 个中沉默 171 个、开口 189 个里 163 个只给相关信息。结合正文，应说侧缺口开口约 90%、错误约七成多，开口后正确或部分正确在九成五以上，应沉默侧两类都在九成七左右，不可答编造约 2.5%，干预多在 2 到 3 轮内到达。

限制是错误里未开口的 166 个中有 117 个是跨篇张冠李戴，系统只有当前篇，只能靠发现缺席来判，比数字换错更难，这解释了错误开口率低于缺口。 下表把上面的关键率整理成可对照的形式，数字都来自连续原文句。

表前已说明比较问题是能否区分未解决与已解决，公平条件是缺口配已解决提问、错误配自我纠正 2 对分别比较，自我纠正窗口从修好轮起开、提前说算打断修复，指标方向是开口率越高越好限于应说、沉默率越高越好限于应沉默、说对率越高越好。表后要补的是代价与反例：缺口漏说对应监视器判成无问题 91 例和判成与已说过太像 22 例，门限多等一轮后没回来 44 例是错误侧漏说原因，不应列为缺口原因；监视器判无问题在错误侧还有 64 例，3 类都不是没答案而不说。

错误侧跨篇事实是主要难点；在完全无事件的对话里它在 180 篇中共只说了 51 次，说明沉默偏置是设计使然，不是偶然。

直接问答与打断让出的延迟代价如何

直接问答层比较了 4 个规模的模型，结论是 35B 两档在 3 套文档问答上接近，9B 与 4B 在多部件答案和更长文档上掉得更多，但多为部分而非全错，严格加部分后差距收窄到百分之几以内。引用在正确回答中与标注证据重合 90% 左右，人工抽查发现多为引了另一处同样能支撑的句子，真实有效更高。延迟上 4B 首 token 最短，总时长也短，有趣的是稠密 9B 端到端反而比只激活 3B 的混合专家 35B 慢，因为后者每秒 token 更多，长文档的预填充让首 token 增加几十到一百多毫秒。

打断层开让出时 54 轮中停下 51 轮，关掉时 0 轮停下，中位停音延迟 486 ms，范围 465 到 521 ms，落在人对话轮替的半秒到 1 秒缝隙里，3 次失败是插话没被算成持续语音。这两层说明问答能力与实时性在小模型加缓存下是够的，但问答用的 CHI 题目由同系模型生成，可能偏向该系列，所以另用两套独立集做对照。

真人会议里时机、正确性与偏好是什么样

真人层的比较问题是合成结论在有识别错误和真实抢话时是否还成立，公平条件是同一套门限与引用规则、同一批带队流程，指标方向是决策轮减问题轮越小越好、事实与论文一致越高越好、引用页与原文对上越高越好。

该表按直接说、举手、显示来源、积极、克制 5 段列出干预数、硬软晚与正确部分错误及引用对上数，合计决策 164 次、实际播出 134 次，未播出多为被更新干预替换、举手超时丢弃或段间切换丢失。硬两轮内 139 次、再加软 5 轮内 11 次，正确 148 次、部分 15 次、错误 1 次且未播出，显示来源后引用对上 84 对 87。它的主要代价不在决策而在播出等待，举手后等许可中位 6.5 s，最高一成超 50 s、最长 133 s，因为小组要等当前人说完才叫它。这一设计的限制是顺序累积特征，后面部分总是在更熟悉智能体后被体验，配对评分只能读作顺序印象而非受控对照。

谁先把问题解决掉的统计来自同一份转录与同一套事件卡，共 223 个可反应线索，其中植入错误 84 条、智能体先处理 52 条、人先纠正 10 条、无人处理 22 条，自发错误 32 条中智能体处理 19 条、人先纠正 4 条、无人处理 9 条，提问或缺口 107 条中智能体处理 84 条、人先纠正 5 条、无人处理 18 条。智能体在 3 类上分别处理约 60%、自发错误约 60%、提问约近 80%，未处理多为监视器没标、同一轮第二个问题被顶掉、含糊猜测、识别错误或文档本就没写。

自发错误与植入错误处理率相近，是作者用来论证结论不只靠带队措辞或合成规整的最不混杂信号。问卷侧举手比直接说在不打扰等项更高，显示来源让可核查与信任从约 2.3 上到约 4.6 且不增加跟上难度，实际去看来源的人从 8 到 18，21 对 23 想要显示来源；积极与克制两档没有明确结论。

总体觉得有帮助与信任较高，干预量多为正好，愿在自己会议用中等偏上，但先前常用语音助手或会议 AI 的人评分更高，完全没用过的人保留最多，说明部分低分来自对 AI 的基线态度而非单次行为。

下面这张整理表比较的问题是 164 次决策口径内有多少正确、部分正确与错误，公平条件是同一批转录与同一套计时与正确性口径，决策 164 与播出 134 为不同口径分开说明。

该表只用 164 次决策口径：两轮内 139 与正确 148 均为 164 决策口径，正确加部分正确为 163/164，不用 148 代表全部成立；决策 164 而播出 134 说明约 30 次决策因被替换、举手超时或切换丢失而未播出，唯一错误未播出需按决策口径单独说明，播出侧的等待才是体感延迟来源。它的限制是只看总量不分直接说与举手等 5 段，段间差异仍要回看原表。

拿掉等待与自我修复检查会发生什么

论文把耐心做成不可拆的两半来消融：门限负责等多几轮，自我修复检查负责在这几轮里发现修好并取消，单拿一半都不会克制，无门限则已在修好前说，无检查则等了也看不见修好。做法是两者一起去掉、其余不变，重放自我纠正事件。完整系统在修好后沉默约九成七，去掉后沉默掉到 16%，80% 在自我修复前就说了。这支持了等待不是简单延迟，而是靠检查来取消的判断。

失败分析还补了另一面：漏说的缺口与错误多为监视器判无问题、门限多等一轮后没回来、与已说过太像 3 类，且跨篇事实占错误漏说的大头。另有两类重复，一是决定时需要、等许可时人先说了同样事实，举手延迟的代价，二是同一问题多次说或话题回来又说一遍，冷却是故意允许再说，但系统没减掉已说过的内容。

哪些条件下结论才成立、哪里还不稳

首先是闭书设定。系统只读上传的文档，不用外部检索、网页或参数知识，每句都要求能指到句子，好处是可核查，代价是文档外的提问答不了，长文档或多文档会挤占小模型的上下文与每轮延迟，改检索能缓解但多一步。第二是阈值与守卫都是经验常数，持续阈值、匹配阈值、解决分数、时间窗等可能随小组、文档和风格而变，未来可学习或自适应。

第三是耐心依赖同一问题的稳定表述与向量匹配，监视器换说法就会断链、计数清零而沉默，且检测失败与匹配失败都表现为沉默，难以区分。第四是语音链路的误差，多人识别在名字数字上最易错，唤醒词会误触，目前只支持英语，同地一室的说话人分离更难。第五是评测范围，合成与真会都围绕 CHI 论文的 Zoom 远端会，合同、财报、规范各有表格密集、法言等难点，平台可迁但需重估。

社会层面公开纠正有面子成本，举手在此不只是抢话管理，也是让小组决定是否值得为 1 次纠正付出人际成本；沉默也不能当正确背书，系统为避开说错会主动放弃不确定的，漏说里有故意的成分。

要复现第一步做什么、需要哪些信息条件

复现先不要从端到端语音开始，先复现文本回放。准备 1 篇带页码的 PDF，按句子编号并保存页与原文的映射，同一文档块拼到每个阶段提示前以便复用缓存。按论文的六状态、争议点写法、证据与编号规则实现监视器，温度 0.1，输出 JSON 并做模式约束；再实现自我修复检查，同样低温，只看最近窗口，模型提议后用最近 3 轮、内容词比例、数字全等、非提问非想不起来、有新词等规则复核；台账用句向量阈值归一，持续阈值 2、冷却 6 轮、遗忘窗口等按部署值起步。

生成只在放行后运行，纠正限一到两句、缺口不限长、张冠李戴限一句，引不到有效编号就丢掉。交互先做排队等静音放音和持续人声让出，再做举手 60 s 超时与许可正则。评测要自建带对照的事件集，每个应说配一个触发相同但已解决的应沉默，并记触发轮与 5 轮窗，指标分开口率、说对率、沉默率和编造率。硬件上原文用数据中心 GPU 跑模型，远端会音频本就要上云，本地离线或隐私敏感则要更小模型。

关于来源，原文未发现可验证的公开代码模型数据绑定，不能写已公开或可下载，要分开说论文、权重、运行三件事缺哪些。

什么时候值得试、还需要补哪项验证

值得试的是有共享材料、可查证细节多的例会，比如论文讨论、实验复盘、尽调与设计评审，且小组愿意给它举手许可和屏幕引证，能接受偶尔延迟换可核对。如果会议无共享材料、高度正式、涉密或以社交为主，论文的自由文本反馈已提示不合适。还需要补的验证是更自然错误的覆盖：在 hedging、跨多轮、多问题同轮、表格密集文档上的表现，以及阈值按组自适应的效果；另需报告误打断率、端到端延迟分布与算力成本，不能只看正确率。

容易误解的三点值得重申：举手慢多为等许可而非判得慢；沉默高不等于全对，沉默不背书；自发错误处理率与植入相近才让外推更有底气，但仍只在文档可判定、远端英语会议的条件下成立。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递