英文题目：Still Between Us? Evaluating and Improving Voice Assistant Robustness to Third-Party Interruptions
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.1902
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#基准测试 #数据集 #数据集构建 #鲁棒性 #语音对话系统
评分：7.8/10 | 创新 1.5/2 | 技术严谨 1.0/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：数据集与基准
👥 作者与机构
- Dongwook Lee：机构信息未能从会议 PDF 纯文本可靠映射
- Eunwoo Song：机构信息未能从会议 PDF 纯文本可靠映射
- Che Hyun Lee：机构信息未能从会议 PDF 纯文本可靠映射
- Heeseung Kim：机构信息未能从会议 PDF 纯文本可靠映射
- Sungroh Yoon：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
本文针对语音助手遭遇第三方打断时易将双人流误判为单人自我修正的输入输出问题，输入为含主请求与插入句的重叠连续音频，输出为按预定策略回应或忽略的文本回复。 方法首先基于7类打断分类扩展出26种三元场景并用大语言模型生成打断文本，为后续策略绑定提供语义输入。 接着将打断划分为可行动与可忽略两类并绑定不同参考回复策略，将上步文本映射为策略标签与目标回复。 然后用监督微调在TPI-Train上训练口语语言模型，并将文本合成为双说话人重叠音频，配对构造转录相同但声学不同的单人与双人硬负例以强制依赖音色切换线索。 与仅靠文本语义连贯性判断的基线不同，该机制用说话人感知的硬负例阻断语义捷径，使模型优先利用声学变化做说话人区分与策略选择。 在TPI-Test基准下，TPI-Full的RSF指标为0.83，高于Qwen2.5-Omni-7B的0.24。 该结论适用边界受限于回合制语音到文本问答与作者定义的参考策略，尚未验证全双工打断时机与多样用户偏好下的外推能力，原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 代码相关资源：https://tpi-va.github.io/ — 链接可访问（HTTP 200）
- 第三方资源：https://chat.openai.com — 暂时无法访问 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，先把任务摆清楚
本文输入是一段语音，里面依次出现主用户话语与紧随其后的第三方话语，输出是一段文字回答。目标不是把两段话都听懂就算完成，而是先判断第二段是不是另一个人说的，再按用户预设的偏好决定理会还是忽略。论文要保留的关键信息是数据集规模、构造方式、评测对照与训练条件，本文解读只用原文证据展开，不引入外部数值。
初学者容易以为语音助手只要转写准确就能答对，但 3 人场景多了一层归因。转写只能给出说了什么，不能给出谁说的。当两段文字拼在一起恰好能读通时，模型会默认是一个人在连续说话，把旁人的否定或玩笑当成主用户的改口，这就是后文反复出现的拼接错误。理解这一点，才能理解为什么论文要花大力气做声学对照。
下面这张示例图把失败模式画得很直白，左边是两个人各说一句，右边是两种模型的回答分野，建议对照气泡文字与回答内容看清拼接错在哪里。
看图路径： 1. 先找到左侧第三方与中间主用户的两个气泡，确认文字内容被拼接在一起；2. 再对比右侧基线模型把打断当成游戏名与本模型把打断当成他人建议的差异；3. 最后看箭头方向，理解从错误拼接转向说话人归因的修正路径
论文图 1。原论文 Figure 1：“Example of a TPI query sampled from our TPI-Train.”。
图中主用户问开发商是谁，第三方插话先查是否独占，基线模型把插话内容直接当成游戏名称的一部分，编造出一个不存在的长游戏名并给出开发商，而本模型把插话还原为他人的建议，先点明有人建议查独占，再回到主问题的开发商讨论。这个对比说明任务核心不是知识问答，而是先做说话人切分再做内容取舍，听错谁说的就会答错整个问题。
已有路线做到哪里，为什么还缺三人打断
已有语音对话数据大多围绕双人展开，即一个用户加一个助手，研究重点是理解情绪语调等超语言特征或完成单轮指令。这类工作把输入默认成单一声源，评测也不检查模型在多人同时出现时是否保持主用户意图。另一条路线是多说话人识别与分离，目标是把谁说了什么转写出来，或者按指令只转写目标说话人，处理思路是把竞争声音当噪声去掉。
本文与这两条路线输入相似但目标不同。它不要求完整分离所有说话内容，也不满足于双人问答，而是要求在交互中做决策：何时把第三方信息纳入回答，何时彻底忽略。这种决策带有主观偏好，没有唯一正确答案，因此论文提出可定制的策略框架，而不是固定一条回答模板。教学上可以把例子记为：同样一句补充，有人希望助手追问确认，有人希望助手装作没听见，评测必须先声明采用了哪种偏好。
正因为偏好可变，论文把策略声明、数据构造与评测放在同一流程里。后续章节先讲策略 2 个阶段，再讲数据如何按策略生成答案，这样读者不会把某条具体回答误当成放之四海的标准。
第三方打断到底难在哪里
论文把 1 次打断记为有序对，主用户话语在前，第三方话语在后。模型要根据这两段语音生成文字回答序列，没有打断时退化为只看主用户话语。这种形式化把问题限定为语音输入文字输出，但声明模态无关，未来可扩展到语音对语音。难点在于文字层面存在大量模糊带，论文举了订面条与自我修正的例子，旁人说换成老样子，听起来很像本人改口。
第三方打断 × 自我修正： 第三方打断指主用户对助手说话时另一说话人插入的话语，自我修正指同一说话人自己改口的现象，二者文本拼接后很相似所以模型容易混淆，搭配理由是只有引入声学说话人变化才能区分二者，组合意义是把文本歧义问题转化为声学辨别问题。
从学习依赖看，模型先要检测声学上的说话人切换，再按策略生成回答。如果第一步错了，第二步再流畅也没用。附录中的失败案例显示，开源与闭源模型都会把两段话合成一段理解，轻则答非所问，重则把旁人的话当指令执行，甚至把重叠处损坏的片段强行拼成新查询后产生幻觉。这说明缺陷不在对话管理层，而在感知层缺少对音色的敏感度。
因此论文提出两个能力要求：能分辨是否发生打断，能按预设策略给出区分性回答。前者是声学辨别，后者是偏好对齐，二者缺一不可。
从策略声明到数据再到评测的全流程长什么样
论文不直接规定唯一正确答案，而是给出一套可替换的参考策略，并开放整条流水线让用户按自己原则重做答案。流程分 2 个阶段，先把每次打断分为可执行与可忽略两大类，可执行的标准是是否带来与主用户意图相关的有用信息，其余归为可忽略，再按两类分别执行不同的回答政策。原文把 4 类可执行细则与两类政策细节放在数据集章节与附录，本文只讲主干，不复述全部模板。
全流程的起点是语料构造，终点是评测集构造，中间经过分类与答案生成。下图把左右两半分得很清楚，左侧是训练语料，右侧是评测对照，建议按箭头顺序阅读以建立依赖关系。
看图路径： 1. 先沿左侧从语音助手数据经 26 类场景到打断查询生成的箭头看主路径；2. 再看中间按可执行与可忽略分叉后分别生成答案的两条分支；3. 最后看右侧从双说话人测试经模糊筛选与单音色重合成到单说话人测试的构造闭环
论文图 2。原论文 Figure 2：“Overview of our corpus and TPI-Bench construction pipeline.”。
左侧从语音助手数据出发，结合 26 类场景生成打断查询，再做可执行性分类并按策略生成答案，这是训练数据的来路。右侧从已采样的评测数据出发，先筛选出只看文字时难辨 1 人还是 2 人的模糊样本，再只用主用户音色把同样文字重合成单人连续话语，得到对照测试集。这个设计把文本变量固定住，让声学成为唯一可辨信号，后续评测章节会反复用到这 1 对照思想。
策略、分类与生成式建模各自负责什么
先沿一个样本走完全程。假设主用户说订大份披萨，第三方说加双倍芝士。输入是两段前后相连的语音，表示阶段需要同时保留文字内容与音色变化，组件阶段先判断该打断是否对订餐任务有增益，若有增益则进入可执行分支，目标是生成既融入芝士信息又交由主用户确认的回答，输出是一句带确认的文字建议。若第三方说的是今晚吃什么这种闲话，则进入可忽略分支，目标是当作没听见并直接执行订餐。
可执行打断 × 可忽略打断： 可执行打断指包含对完成主用户任务有帮助的信息，可忽略打断指与任务无关的闲话或旁白，前者分工是触发融合与确认，后者分工是触发屏蔽与直接执行，搭配理由是用户偏好决定何时理会打断，组合意义是用两类策略让回答行为可定制而不是一刀切。
建模上论文把回答生成写成条件分布，给定两段语音逐词预测回答词序列。符号含义是：主用户话语与第三方话语为声学输入，回答为词序列，模型参数决定条件概率。计算目标是在有打断时利用两段输入联合预测，无打断时只用主用户输入预测。原文明确这是语音输入文字输出的设定，但公式本身不绑定模态。
\[Pθ(Y | Up, Utp) = QK k=1 Pθ(yk | y\lt k, Up, Utp),\]可执行回答的写作要求是来源敏感确认，因为第三方信息权威性低于主用户直接指令，不能直接执行。做法是在一句话内完成归因与提议，主动给出完整替代方案并把最终决定权交回主用户。可忽略回答的要求是聚焦执行，彻底不提打断内容，简短完成主用户请求。这两种写法分别对应后文评测中的策略跟随检查。
语义走捷径 × 声学线索： 语义走捷径指模型只看文字内容推测是否打断而忽略音色变化，声学线索指音色与说话人切换带来的波形差异，前者分工是提供易学的文本模式，后者分工是提供真正的说话人边界证据，搭配理由是文本相同时只有声学能裁决，组合意义是用难负样本逼模型优先使用声学。
这里引出关键组合机制。难负样本与声学线索必须搭配使用，难负样本提供文本相同声学不同的训练对，声学线索提供区分依据，二者共同迫使模型放弃只看文字的捷径。若只有双说话人数据而无难负样本，模型仍可用文本模式猜测类别，声学分支得不到梯度压力，这正是消融实验要验证的假设。
数据怎么做出来，模型怎么练出来
训练语料从语音助手单轮数据取主用户话语，每条随机配 26 类场景之一，用语言模型按场景描述与主话语转写生成第三方打断。场景覆盖赞同、协助、澄清、分歧、抢话、岔题与话题转移等七大类下的 26 小类，包括纠错、补充、约束提醒与程序异议等。生成后用推理模型过滤低质量样本，再按可执行与可忽略分类并按对应政策生成答案。语音用多音色合成实现两把声音，并让两段话在时间上轻微重叠，重叠量从高斯分布采样，以模拟真实抢话。说话人组合在训练与评测间不重叠。
难负样本的做法是把同样拼接文字只用主用户音色重合成单人话语，使其听起来像一个人的独白。这类样本迫使模型在语义等价时仍要依据声学做不同处理。训练基座选用现有的语音语言模型，做法是有监督微调加低秩适配，适配器作用于可训练层，秩与缩放因子在原文有明确数值，训练轮数、序列长度、批量大小、优化器、学习率、调度器与预热比例均有报告，目标是标准的下一词预测交叉熵。具体数值见实验条件部分的整理，初学者复现时应先对齐这些超参数再调其他。
需要指出的缺项是原文未报告硬件时长与显存占用，也未说明冻结与更新的逐层细节超出适配器范围的部分，本文不从模型名称推定实现。数据侧的另一要点是真实评测集的筛选极严，先用推理模型按语音助手兼容性与打断性质打分，再由作者人工核验音频，剔除停顿过长与韵律不自然的样本，最终只保留百量级高质量样本，说明自然 3 人打断在公开会议与情景剧数据中非常稀少。
测什么，和谁比，在什么条件下比
评测围绕 4 个问题组织：是否感知打断，是否抗语义捷径，是否保持通用语音交互能力，是否在真实录音上仍能检测音色切换。对照包括闭源音频模型与多个开源语音指令模型，以及以同一基座为起点的 3 组消融：只用本文语料，只加单人双轮数据，再加难负样本的完整版。指标方向是策略跟随越高越好，总体有用性五分越高越好，而共享文本对上的相似度越低越好，因为高相似意味着模型对声学变化无感。
双说话人测试 × 单说话人难负样本： 双说话人测试指主用户加第三方两把声音合成的打断音频，单说话人难负样本指把同样文字只用主用户一把声音重新合成的音频，前者分工是考察正常打断处理，后者分工是制造文本相同但声学不同的对照，搭配理由是控制文本变量后差异只能来自声学，组合意义是检验模型是否真在听声音。
下图用转账例子讲清对照逻辑，初学者应先看说话人标注再看文字，最后看期望行为的分野。
看图路径： 1. 先对比上方面板单人自言自语与下面板两人打断的说话人标注差异；2. 再看文字同为转钱给詹姆斯但声源数量不同这一控制设计；3. 最后观察机器人同样的按按钮动作，理解文本相同声学不同时的期望分野
论文图 3。原论文 Figure 3：“Illustration of the intuition behind TPI-Bench.”。
上面板是一个人自言自语从转给丹尼尔改成先转给詹姆斯，助手按改口执行是合理的。下面板是前半句同样出自用户但后半句出自打断者，若助手同样执行就错了，因为后半句不是主用户意图。两面板文字几乎相同，唯一可靠区别是声学上的说话人切换，这就是双测试对照的教学价值。
策略跟随 × 总体有用性： 策略跟随指回答是否按预设的可执行或可忽略策略行动，总体有用性指回答是否自然连贯有帮助，前者分工是检查规则符合度，后者分工是检查对话质量，搭配理由是跟对策略不等于说得好听，组合意义是同时约束正确性与体验。
通用能力用语音助手综合榜的 8 个子榜覆盖开放问答、选择题、指令跟随、安全对抗与参考问答等，评判模型替换为统一的大模型以保证可扩展，人评用众包在三点量表上检验自然度，并用陷阱题剔除乱答。真实集来自会议语料、情景剧语料与人工重演录音，人工录音覆盖混响房间、走廊与户外噪声以检验环境鲁棒性。
下表先回答数据规模问题，比较维度是总量与说话人构成，公平条件是训练与评测说话人组合不重叠，指标单位是样本数。表前问题是训练与评测各有多少双单样本与难负样本，表后会解释规模对结论的支撑与局限。
| 数据集 | 总量 | 双说话人样本 | 单说话人样本 | 难负样本 |
|---|---|---|---|---|
| 训练集 | 88K 样本 | 40K 样本 | 40K 样本 | 8K 样本 |
| 评测集 | 4K 样本 | 2K 双说话人 | 2K 单说话人 | 不含 |
表后解释需要同时看到收益与代价。训练集近 90000 条保证了场景覆盖，评测集 4000 条并均分双单为对照提供基础，约 8000 条难负样本是声学约束的关键来源。代价是合成语音仍与真实分布有差距，真实集仅百量级且筛选淘汰率极高，说明合成规模不能直接等同于真实覆盖，结论外推到真实多方对话时需谨慎。未胜出项是仅靠增加单人数据无法解决声学不敏感，后文消融会展开。
主结果显示了什么，提示工程为什么救不了
主结果报告现有语音模型普遍把双说话人输入当单人连续话语处理，在打断测试上策略跟随低，在共享文本对上回答相似度高，说明对声学变化不敏感。完整训练模型在打断测试与对照测试上更均衡，策略跟随与有用性同步提高，同时在通用榜上未出现明显退化。真实录音上的提升幅度与合成集可比，支持模型没有过拟合到合成模式，而是学到了可迁移的音色切换辨别。
下面这张降维图把表征变化可视化，阅读时不要把坐标数值当性能分数，它只是分布结构，重点看颜色混叠是否消失。
看图路径： 1. 先确认横轴纵轴为降维坐标而颜色区分难负样本双说话人与单说话人；2. 再从左到右对比基线混叠到完整模型出现三团分离的渐变过程；3. 最后定位中间红色团块，理解其语义近打断而声学近单人的居中含义
论文图 4。原论文 Figure 4：“t-SNE visualization. Training with hard negatives (HN) yields a structured space with distinct clusters, where the cluster sits between interruptions and single-speaker…”。
从左到右四面板依次是基线、只用本文语料、再加单人数据、再加难负样本的完整版。红色为难负样本，蓝色为双说话人，绿色为单说话人。基线三色大面积重叠，说明无声学区分。中间两版绿色单人稍有聚集，但红色与蓝色仍因语义等价而重叠，说明仅平衡说话人数量不够。最右完整版出现三团分离，且红色居中，语义上近蓝色打断而声学上近绿色单人，正好对应难负样本的设计意图，支持难负样本迫使模型同时利用两类信息的判断。
另一组反证是提示工程。给基线加房间多人与忽略或纳入打断的显式指令后，策略跟随略升但有用性微降，原因是模型机械地忽略第二段话，恰好蒙对可忽略类却在可执行类上继续拼接。这说明没有声学归因能力时，文字指令无法修复连续音频中的说话人边界，真正的打断感知需要建模层面的声学支持。
下表回答核心收益问题，比较对象是基线与完整模型在合成与真实条件下的表现，公平条件是同任务同指标，指标方向是策略跟随与有用性越高越好。表前问题是提升在合成与真实上是否一致，表后会讨论幅度含义与未测边界。
| 条件 | 指标 | 基线 | 本方法 | 提升 |
|---|---|---|---|---|
| 合成评测 | 策略跟随 | 0.24 | 0.83 | 加 0.59 |
| 合成评测 | 总体有用性 | 3.22 | 4.16 | 加 0.94 |
| 真实录音 | 策略跟随 | 0.17 | 0.60 | 加 0.43 |
| 真实录音 | 总体有用性 | 3.21 | 4.25 | 加 1.04 |
表后解释要区分直接报告与有限解释。论文直接报告的是上述四格提升与统计显著性，支持完整数据有效的判断。代价是真实集策略跟随绝对值仍低于合成，说明环境噪声与自发韵律仍有挑战。未评测边界包括延迟与误判率，原文未测量这些量，本文不承诺实时性或误触发改善。总体趋势成立不等于每组场景都成立，话题转移等模糊类可能仍弱于明确纠错类，复现时应按场景分开看。
拿掉单人数据与难负样本会发生什么
消融按数据组分三档。只用本文语料时模型出现领域过拟合，通用榜上多项下降，说明只见打断数据会损害单人交互。加回单人双轮数据后通用能力恢复，开放问答与选择题回到基线附近，说明分布平衡对保持基础能力必要。但仅有这两部分时，对照测试仍差，共享文本对相似度仍高，说明模型学会用文本模式猜类别而非听音色，这就是语义走捷径。
加入难负样本后，打断测试保持高位的同时对照测试明显改善，相似度下降，通用榜不退反有小幅提升的任务占多数，其余保持持平。这组对比的方法意义在于分离了数据量与数据约束的作用：单人数据解决遗忘，难负样本解决走捷径，二者分工不同不可互替。初学者复述时应强调不是数据越多越好，而是对照对的设计决定了梯度压力指向何处。
未胜出项也要保留。完整模型在个别通用子榜上未超越基线，提示打断训练并非万能增强。另一负结果是基线加提示在可执行类上仍拼接，说明文本偏置很顽固。若复现中发现加难负样本后对照仍高，应先检查难负样本的音色是否真正与主用户一致、文本是否真正等价，再检查评测是否误把自动相似度当人评。
哪些结论还不能下，缺了哪些验证
论文明确承认参考策略只是多种合理偏好之一，不同人群与社交情境可能偏好不同处理方式，本文解读不把该策略当成唯一标准。交互形态限定为轮流式，即收到完整话语后再回答，没有处理何时开口、是否 deferred 或何时插话的全双工决策，这是向真实多方对话迈进时的必要缺口。
证据层面缺的是成本与风险量化。训练只报告超参数与目标，未报告硬件预算与训练时长，推理开销、输出帧率与实际延迟未测量，误把旁人当主用户或漏掉关键纠错的误判率也未单独统计。因此不能从有用性提升推定延迟改善或安全性提升，金融转账等高风险例子只说明失败后果严重，不构成安全证明。
数据层面缺的是大规模真实覆盖。真实集经严格筛选后数量少，合成集虽大但重叠分布与合成音色仍是简化，混响与户外录音只覆盖部分环境。相关性不等于因果，降维图分离支持声学被利用，但不能单独证明某层某头实现了说话人分离，机制归因仍待更细的探针验证。
要复现先做什么，需要哪些信息条件
先准备基座与数据管线。基座为同系列语音模型，微调采用低秩适配并给出秩、缩放、轮数、序列长度、批量、优化器、学习率、余弦调度与预热比例，复现时应原样对齐这些超参数，再检查难负样本是否按同文字单音色重合成且说话人组合在训练评测间无泄漏。答案生成依赖分类与两类写作模板，评测依赖策略跟随与有用性的判分模板，众包界面包含示例与陷阱题，复现人评时应保留同样的指导语与质检。
资源状态是可用性判断的唯一依据。框架代码当前可用，地址为官方页面，本文不转述权重下载状态。第三方对话接口本次未能确认可达，复现时若需调用闭源基线，应自行确认当下可达性与计费条款，不沿用本文写作时的快照。许可证方面，多说话人语音源自有声书衍生数据，语音助手数据与多个基座模型分别遵循各自开源许可，闭源模型仅用于推理且遵守服务条款，复现与发布时需保留相应声明。
建议的最小可运行验证是先跑共享文本对的相似度对照，若完整模型仍输出高度一致回答，说明声学约束未生效，应回查难负样本构造与训练混合比例，而不是先调大模型规模。
何时值得尝试，一句话收束
当你的语音助手需要在家庭或办公室等多人共处环境中工作，且旁人插话频繁导致指令被带偏时，值得尝试本文思路：先声明可执行与可忽略的边界，再用难负样本逼模型听音色，最后用双单对照验证而非只看单集分数。若场景是严格单人耳机交互，收益可能有限，不必引入这套重型管线。
复述方法时记住 3 步依赖：策略定义先于数据答案，难负对照先于声学结论，双单一致提升先于通用无退化。常见误解是把提示词当成修复手段，本文证据显示无声学建模时提示只能机械忽略，不能恢复说话人边界。收束一句话：把打断处理从文本猜测转回声音辨别，用可定制的策略与对照数据让助手知道该听谁的。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses