📄 第一视角下何时开口说什么的主动语音助手

英文题目：EgoVoice: Proactive Spoken Assistance from Egocentric Multimodal Streams

标签：#语音交互 | #偏好优化 | #数据集 | #基准测试

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Heeseung Kim：Department of AI, University of Seoul

📌 核心摘要

可穿戴助手需要从第一视角视频与音频中持续观察用户操作，在用户没有提问时决定是否开口、何时开口以及说什么，难点在于沉默占多数、干预时机依赖任务进度，而语音播放本身会占用时间。EgoVoice 从 HoloAssist 录像出发，先用声源分离保留背景声，再重合成干净的用户与指导者语音，形成带时间戳的听或说监督数据；接着在 MiniCPM-o 4.5 上做监督微调（Supervised Fine-Tuning，SFT），学习每秒输出保持沉默或生成指导文本与语音；最后用直接偏好优化（Direct Preference Optimization，DPO）比较同一上下文的多个候选，奖励时机更准的输出。与零样本骨干相比，监督微调版本在 170 个评测会话上把起始时刻 F1 从 0.113 提高到 0.274，把内容余弦相似度从 0.519 提高到 0.684。DPO 版本进一步把 F1 提高到 0.324，但内容相似度回落到 0.649，人工偏好中两者都优于骨干而彼此没有显著差异。结论适用于论文重建的装配类任务与回放评测，召回率仍低于 0.3，大量应干预时刻仍被漏掉。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

智能眼镜要解决的是什么样的协助问题

论文面向戴着智能眼镜做手工任务的场景，输入是连续的第一视角视频与音频，包含用户手部操作、用户说话和环境声，目标是在用户没有明确提问时决定是否开口、何时开口以及开口说什么，输出是直接播放给用户听的语音。必须保留的信息有两类，一是任务步骤的程序性上下文，例如组装灯具的配方与当前做到哪一步，二是时间对齐关系，即指导要在用户下个动作开始前说完，否则再正确的内容也会迟到。

论文强调已有 3 条路线各自只解决一部分，带语音输出的多模态模型偏向被动问答，全双工对话解决边听边说但不管任务时机，流式视频主动助手只输出文字而不解决语音时长问题，因此需要把三者合在一起评测与训练。例子是用户拿着螺丝犹豫时，旁白式复述用户在拿螺丝没有帮助，而指出用更短的螺丝才是可执行的指导，这种指导是否有效取决于它能否在用户动手前被完整听到。

已有三条路线各管什么不管什么

第一条是语音对话与全模态模型，从识别加语言模型加合成的级联发展到直接生成离散语音单元，再到能同时处理视频音频文本并流式生成文本与语音，MiniCPM-o 4.5 属于这一类，支持视频音频输入的全双工交互，但原文指出它是通用助手，不是为第一视角任务指导设计的。

第二条是第一视角任务理解与数据集，Ego4D、EPIC-KITCHENS、Assembly101 与 Ego-Exo4D 偏向动作识别与预测，HoloAssist 最接近本任务，因为它记录了用户操作时真人指导者的语音，但它是单声道混合且人声经过变调匿名化，不能直接拿来训练自然语音交互，还需要分离背景声并重合成干净的双通道语音。第 3 条是流式视频下的主动协助，ProAssist 提出数据整理、评测与端到端流式文本模型，ESTP 等多阶段训练改进时机，EgoSpeak 研究何时开口，Mirai 等原型靠级联调用实现可穿戴语音提示。

论文的比较口径是输入、目标与运行阶段要一致，文字助手不能直接等同语音助手，只预测何时说也不能等同同时学会说什么，因此把 ProAssist 作为文字基线另加语音级联，把闭源实时语音接口与零样本 MiniCPM-o 4.5 作为可运行语音基线，以便在完整会话上对照时机与内容。

何时说与说什么为什么必须一起评

主动语音协助的难点在于开口时刻与语音长度互相牵制。文字基准假设指令在发出瞬间就被看到，而语音需要播放时间，若把合成语音放在与文字相同起点，用户可能在语音还没放完就已动手；若把起点提前，又可能撞上上一句话或出现在用户还没看到相关画面时。论文用图说明真人指导会把话说完再让用户动手，而朴素合成往往更长而压住动作。

因此评测必须同时看开头是否命中、内容是否相关、整段是否在用户动手前结束，只有三者都满足才算一次可用的主动干预。读图说明如下，图 1 把输入、决策与效果分成左右三块，左侧是第一视角操作，中间是逐时刻沉默或开口，右侧是纠错式指导与完成状态，下方还区分了无用的场景复述与有用的主动指导。

看图路径： 1. 先看左格输入包含第一视角操作画面与声音图标；2. 再看中格 t1 到 t4 的沉默与开口切换；3. 最后看右格纠错式指导与完成态的对比

原论文 Figure 1：Overview of proactive egocentric spoken assistance.

论文图 1。原论文 Figure 1:：“Overview of proactive egocentric spoken assistance.”。

图 1 左侧画出戴眼镜用户拧螺丝，视角框与声音图标表示视频与音频都在输入中，中间 t1 到 t4 3 个沉默后一次开口表示稀疏干预，右侧用户先拿错螺丝、助手说用更短的螺丝、最后正确完成，下方明确把用户拿着螺丝这类第三人称复述标为不提倡，把可执行的纠错标为提倡，这对应后文对复述率与指导率的统计。

整体流程从录像清洗到两阶段训练

方法总览是先把 HoloAssist 录像变成干净的流式监督，再在 MiniCPM-o 4.5 上做监督微调学听或说，再用偏好优化调时机。数据侧保留背景声、重合成用户与指导者双通道语音并保留时间戳，训练侧用 60 秒窗口保证每个窗口至少包含一次干预及周围沉默上下文，评测侧在完整会话上测时机、内容与整体帮助度，训练与评测都使用任务名与分步配方作为程序性上下文。读图说明如下，图 2 左侧是数据构造三步，右上是监督微调，右下是偏好优化，颜色区分听、说、文本、视频与音频，适合对照后文冻结与更新位置。

看图路径： 1. 先看左列从混合单声道到训练语料的三步清洗；2. 再看右上监督微调中编码器冻结与 LoRA 位置；3. 最后看右下偏好对的 chosen 与 rejected 分支

原论文 Figure 2：Overview of the EgoVoice framework.

论文图 2。原论文 Figure 2:：“Overview of the EgoVoice framework. We process HoloAssist recordings into clean training data (left, Section 3.1), fine-tune MiniCPM-o 4.5 to learn listen-or-speak behavior (top…”。

图 2 左列从上到下是单声道变调的 HoloAssist，经 SAM-Audio 做源分离、经语言模型做文本规范、经 IndexTTS2 做语音重合成，落到包含视频、语音与噪声的训练语料，标注为 1249 段 91.7 小时，右上在 MiniCPM-o 4.5 上对语言模型与语音解码器加 LoRA 而编码器冻结，损失写作语言损失加 0.1 倍语音损失，右下从监督后模型采样不同时机的候选，用 F1 选出 chosen 与 rejected 再做偏好优化。

每秒一块的流式接口如何决定听或说

推理时模型按 1 秒一块处理交错的视频与音频，每块带 1 帧视频与 1 秒音频，输入音频只含背景声与用户语音，指导者语音只作目标不作输入。模型把当前块编码后追加到历史上下文，然后输出一个决策词，Listen 表示保持沉默，Speak 表示随后自回归生成指导文本，文本隐状态再经语音解码器变成 S3 语音单元，最后由流式声码器变成用户听到的波形，沉默块则不产生文本与语音。读图说明如下，图 3 用相机组装会话展示 7 到 18 秒的块序列，上方是视频帧与用户说话我不知道怎么做，中间是听或说与文本词，下方是语音波形，适合看沉默段与开口段如何交替。

看图路径： 1. 先沿秒块看视频帧、用户语音与背景声三行；2. 再看 Listen 或 Speak 行在何处由沉默转为开口；3. 最后看开口块的文本词如何对应下方语音波形

原论文 Figure 3：The streaming interface of EgoVoice (R101-2Aug-DSLR).

论文图 3。原论文 Figure 3:：“The streaming interface of EgoVoice (R101-2Aug-DSLR).”。

图 3 在 7 到 9 秒连续 3 个开口块生成拆镜头一类指导，10 到 13 秒用户说话期间保持沉默，17 到 18 秒再次开口，可见开口块的文本词与下方语音波形对齐，而沉默块没有文本与语音，这种逐块二选一就是后文监督标签 zt 的来源。

Listen × Speak： Listen 指模型在当前一秒块保持沉默的决策，Speak 指决定开口并随后生成文本与语音的决策，二者每块二选一，搭配后把何时干预变成可监督的逐块分类，组合意义是让沉默占多数的流数据也能学到稀疏开口。

S3 speech tokens × speech-token decoder： S3 speech tokens 指文本隐状态对应的离散语音单元，speech-token decoder 指由隐状态生成这些单元的 0.3B 解码器，二者分工是语言主干管说什么、语音解码器管怎么说，搭配后文本与语音在 Speak 块上对齐输出。

为什么不用文字转语音直接造数据

论文解释若从视频文字数据直接合成语音，会破坏真人录制中已有的时间对齐，且缺少真实环境声。真人指导的时长与用户动作是互相适应的，合成语音往往更长，放在原时间戳会拖到动作开始之后，提前又会引入新的碰撞。HoloAssist 的优势是干预本就与用户行为一起录制并带有背景噪声，缺点是单通道混合与变调人声不自然，因此必须先分离再重合成，并用严格的时长约束保留原有的对齐关系。读图说明如下，图 4 用 3 条时间轴对比真值、同起点合成与提前合成，横轴是秒，上方是前一条话语、目标话语与用户动作，红色斜线标出冲突区，适合理解时长约束的必要性。

看图路径： 1. 先看上行真值在用户动作前留出空隙；2. 再看中行同起点合成因过长压住动作；3. 最后看下行提前会撞上前一条话语

原论文 Figure 4：Why naive TTS synthesis on video-text dialog data is insufficient.

论文图 4。原论文 Figure 4:：“Why naive TTS synthesis on video-text dialog data is insufficient.”。

图 4 上行目标话语长约 5.0 秒且在用户动作前约 2.0 秒结束，中行同起点合成长约 10.0 秒仍在说话时用户已动手，下行提前虽避开动作却撞上前一条话语且指导出现在相关画面之前，这就是后文丢弃超过原时长的候选、要求发音完全正确的原因。

source separation × speech resynthesis： source separation 指用 SAM-Audio 去掉人声只留背景声，speech resynthesis 指用 IndexTTS2 重合成干净的用户与指导者语音，二者分工是前者保环境声、后者保自然人声，组合后得到可训练的多通道时间对齐数据。

数据清洗与两阶段学习具体做什么

数据清洗分三步。先用 SAM-Audio 以语音区间加减 0.2 秒为提示抽走人声，残差作背景通道，再用 Silero 语音活动检测验证无残留人声，有残留则整段丢弃。文本先用语言模型规范拼写标点与填充词，并按原标注去掉开头结尾与录制有关的无关寒暄，约占全部话语的 9.0%，再经独立复核保证忠实。然后每段给用户与指导者各分配一个来自 Multilingual LibriSpeech 英语子集的参考音色，训练用 2498 人、评测用不相交的 340 人，每句合成 20 次，丢弃超过原时长候选，再用 Qwen3-ASR-1.7B 选词错误率最低且经人工核验全对才保留。

原始 1673 段 124.8 小时经此剩 1419 段，其中训练 1249 段 91.7 小时、基准 170 段 12.9 小时。训练把每段切成 60 秒窗口，每块记为视频、输入音频、听或说标签、规范文本与语音单元，指导者语音不进输入，参考话语按强制对齐的词时间戳摊到秒块，并以该话语为中心加抖动取窗，每轮得到 13676 个窗口，评测则跑完整会话。监督微调对语言主干与语音解码器加秩 32 的 LoRA，冻结视觉与音频编码器，损失为语言交叉熵加 0.1 倍语音交叉熵，且语音损失梯度在隐状态处截断不回传主干。

偏好优化从监督后模型每窗采样 10 个候选，用基于文本的 F1 打分，取最高为 chosen，从后 3 名随机取 rejected 且要求 F1 差至少 0.10，共 5335 对，只对语言主干加 LoRA，语音单元不计入似然，采用按长度归一的偏好目标。

\[\mathcal{L}_{\mathrm{DPO}}=-\mathbb{E}\!\left[\log\sigma\!\left(\frac{\beta}{|y^{+}|}\rho_{y^{+}}-\frac{\beta}{|y^{-}|}\rho_{y^{-}}\right)\right],\]

上式中 x 是流式上下文，y 正负是整窗的听或说决策加文本词序列，rho 是当前策略相对冻结监督模型的对数概率差，beta 控制偏好约束强度，除以长度是为避免长回复占优，原文默认 beta 为 0.1。

Supervised Fine-Tuning × Direct Preference Optimization： Supervised Fine-Tuning 指先学基本的沉默与开口行为，Direct Preference Optimization 指再用同上下文候选的 F1 高低学偏好，前者管说什么的内容基础，后者管何时说的频率与时机，组合后时机提升而内容略有代价。

评测如何度量开头内容与是否说完

评测给所有模型含任务名与分步配方的系统提示，使程序性上下文一致。开头时机用匈牙利匹配把预测与参考配对，允许早 2.5 秒晚 1.5 秒，早比晚容忍更大，命中后按会话算精确率召回率 F1 再宏平均。是否说完看 end-vs-action，即用户下个动作开始减去预测说完的秒数，正表示说完才动手，负表示还在说话用户已动手，它等于开始提前量减去语音时长，只在被判为程序性指令且 5 秒内有后续动作的 942 条子集上报告。内容相关是对配对文本用 Qwen3-Embedding-0.6B 算余弦相似度。

整体质量用语言模型当评委按 1 到 5 分打正确性、及时性、简洁性与总体帮助度。所有指标分 2 通道，模型内部文本反映想说什么，转录实际语音反映用户听到什么，开头在文本通道取块序号、在语音通道用识别加强制对齐定起止，两个通道的配对集合可能略有不同。

onset timing × end-vs-action： onset timing 指预测开口是否落在参考开口的不对称窗口内，end-vs-action 指预测说完相对用户下个动作提前或滞后多少秒，前者管开头是否及时，后者管是否在用户动手前说完，搭配后才能发现开头对但说太长仍会误事。

主动开口的时机与内容谁更好

主比较的问题是在相同配方上下文与完整会话条件下，谁的开口更准且内容更贴近真人指导，指标方向是 F1 与余弦越高越好。闭源实时接口因依赖语音活动检测、用户沉默时很少触发，F1 至多 0.03，零样本 MiniCPM-o 4.5 靠听或说机制 F1 为 0.113 但评委总体分最低，倾向复述而非指导。文字 ProAssist 本身 F1 为 0.195，语音级联不改变决策故 F1 不变。下表整理监督微调相对文字基线的关键数字，比较条件是语音转录通道（EgoVoice-SFT text-asr）对内部文本通道（ProAssist text-llm），数字来自原文连续句。

评估方面指标基线本方法比较条件
干预时机与内容起始 F1 / 余弦相似度0.195 / 0.5940.274 / 0.684语音转录通道（EgoVoice-SFT text-asr）对内部文本通道（ProAssist text-llm）

上表显示监督微调在 F1 与余弦上都超过文字基线，尽管后者不受合成与识别噪声影响，说明流式语音监督学到了更贴近真人开口与措辞的行为，但这只是开头与内容，还需看是否在用户动手前说完。偏好优化相对监督微调 F1 提升 0.050 而余弦从 0.684 到 0.649，评委总体分不显著区分，表明 2 阶段互补而非单向全胜。限制是召回仍低，偏好优化召回 0.285 意味着仍错过多数真人干预时刻。

人听起来更愿意选谁

人类偏好比较要回答自动指标的提升是否能被人感知，条件是同一第一视角片段只叠加不同助手的语音，保留用户原声与背景声，评委在两版间选更及时有帮助者或平局。每组比较招募 100 人并用真值对静音的注意力题过滤，保留 252 到 267 个有效判断，片段围绕真值话语截取并给出上下文。

ComparisonWinTieLosep-val
SFT vs MiniCPM45.6%23.0%31.3%0.01
DPO vs MiniCPM45.3%21.7%33.0%0.02
DPO vs SFT36.1%30.6%33.3%0.60

这一比较显示监督与偏好版本都显著优于零样本主干，p 为 0.01 与 0.02，说明时机与内容改进能被人听出来，而偏好相对监督的数值小优不显著，p 为 0.60，与前文时机小升内容小降互相呼应。限制是仍是离线打分而非交互式任务完成度，且未测量延迟与打断处理，结论只适用于该截取与叠加条件下的人工听感。

配方上下文与语音时长起什么作用

消融要回答内容从哪来、为何能说完。去掉配方使模型只看视频音频，内容与评委分下降最多，说明程序性上下文既管说什么也管何时说。去掉语言主干与语音解码器间的梯度截断，F1 略升但评委分下降，说明语音损失回传会干扰内容。偏好优化的变体中长度归一、原始与无参考版本都比监督提升 F1，差异主要在余弦与评委的权衡，beta 调大到 0.5 会多说但内容变差，同时要求 F1 与余弦双升的复合奖励反而两者都降，说明单一清晰的 F1 信号更有效。下表整理是否在用户动手前说完的均值比较，正为提前说完，条件是动作关联子集的语音通道。

评估方面指标监督微调偏好优化真人指导
说完相对动作end-vs-action 均值+1.57s+1.75s+1.69s

从动作关联子集看，只有两个训练版本均值与中位数都为正且接近真人，而级联与零样本因平均说 6.38 秒与 9.87 秒被拖成负值，各系统开口起点都在动作前 3 到 6 秒，差别几乎全在时长，因此决定何时说不够，还必须说得短。反例是偏好优化仍有 28.2% 配对说完晚于动作开始，监督为 24.3%，级联为 62.0%，均值向好不等于每次都及时。额外分析显示干预顺序的秩相关偏好版 0.868、监督版 0.841，接近 ProAssist 的 0.850 而高于主干的 0.749，配对内容最接近真值的比例训练版也更高，但长尾复述与重复仍来自主干继承。

哪些结论超出证据就不再成立

论文明确任务限于 HoloAssist 的程序性组装，烹饪户外导航与社交泛化未经保证。评测用预录会话，用户动作固定不受模型建议影响，因此分数是交互性能的代理而非直接测量，且不建模双方打断，说完才放完的假设不覆盖真实抢话。模型继承 MiniCPM-o 4.5 的 1 秒块粒度与偶发的过长重复与语言混入，1090 条中有 47 条不收敛、13 条出现语言切换，低秩适配只能减轻不能根除。偏好优化改善时机但内容相似度略降，说明奖励信号仍需改进。

隐私上持续第一视角录制涉及旁观者同意与服务端传输风险，原文建议端侧处理与消音等缓解，但未在本研究中实现与测量。自动指标好不等于延迟与成本好，原文未报告误触发率与实时延迟，不能据此承诺部署体验。

复现第一步要准备什么

复现先按产物分开确认，代码、权重与可运行系统是三件事。原文给出项目页与所用产物清单，下表摘出数据、主干与构造评估的关键产物及许可，链接状态仅说明本次可达，不代表作者已开源。

ArtifactLicenseURL
HoloAssistCDLAv2https://holoassist.github.io
MiniCPM-o 4.5apache-2.0https://huggingface.co/openbmb/MiniCPM-o-4_5
SAM-Audio (large-tv)SAM Licensehttps://huggingface.co/facebook/sam-audio-large-tv

从产物清单看，HoloAssist 按 CDLAv2 允许衍生，LibriSpeech 参考音色来自公有领域有声书，发布语音全为合成且背景经检测无残留人声，训练超参监督学习率 2e-4 批量 32 共 5 轮，偏好学习率 5e-6 批量 16 共 1 轮，硬件涉及 A6000、RTX PRO 6000 与 B200。第一步建议先跑通 170 段基准的文本与语音双通道评测链，包括识别、强制对齐、匈牙利匹配与评委打分，再复现 60 秒窗口的监督训练，仍缺的是完整清洗脚本的逐参数与人工核验标准，需补做才能得到同样时长约束。

何时值得尝试还需补什么验证

当任务有明确分步配方、用户双手被占且沉默时间长、指导必须在下个动作前说完时，值得尝试这种先监督学内容再偏好调时机的路线，因为它在 F1 内容与人偏好上都优于零样本与文字级联，且语音时长接近真人。复现第一步是拿到配方上下文与干净双通道音频，先保证开口决策与语音时长一起学，而不是只学文字决策再外挂合成。还需补的验证是交互式任务成功率、打断与抢话处理、跨领域配方泛化，以及延迟、误触发与计算成本的实测，只有这些补齐，才能把离线基准上的提前说完转化为真实佩戴时的可用帮助。

📎 论文与评分元数据

排名：前50% | 文档类型：模型报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-11 语音/音乐/音频论文速递