📄 只记住最后数字还不够：多说话人决策过程如何被完整追回

英文题目：DecisionTraceBench: Tracking Decision-Critical Information in Multi-Party Spoken Conversations

评分：6.9/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Wenchao Du：AI Lab, Qifu Technology, Beijing, China
  • Fangxin Shang：AI Lab, Qifu Technology, Beijing, China
  • Long Wu：AI Lab, Qifu Technology, Beijing, China
  • Runze Cui：AI Lab, Qifu Technology, Beijing, China
  • Qing Yang：AI Lab, Qifu Technology, Beijing, China
  • Yehui Yang：AI Lab, Qifu Technology, Beijing, China

📌 核心摘要

金融会议记录需要回答提案经历了哪些有效变化、每次变化由谁在何种权限下作出、依据哪段语音证据，单句转写正确或最终金额正确都不能保证中间的暂停与恢复没有丢失，也不能保证把他人建议误记为有权批准。论文提出决策关键信息状态跟踪，输入为未切分的两到四人多轮录音与公开的实体与字段说明，输出为按实体与字段组织的轨迹，每条轨迹包含若干决策周期，每个周期内事件按时间有序记录动作、取值、说话人、权限范围、前驱关系与证据区间。构建时先设计金决策轨迹，再以轨迹为条件生成口语脚本，脚本经多模型交叉核查后交由语音合成或真人演播录制音频并对齐事件证据时间，评测时转写输出进入轨迹恢复模型再用轨迹级F1做联合评分。相对已有语音理解与轮级对话状态跟踪，该工作把最小必需事件链、说话人归属、权限范围与时间证据放在同一匹配规则下考核，遗漏必需事件即判整条轨迹失败。在固定25条真人录音、16个对话家族与293条金轨迹的同一音频评测下，FunASR加Astra的轨迹级F1即DCIST为21.35%，高于直接处理音频的Gemini-4-Argon的18.82%。终端值正确仍可能对应过程错误，最优系统恢复的正确终端值中逾半数轨迹不完整，说明必须直接考核完整事件链。结论适用于中文金融剧本对话的受控评测，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

金融对话里要听出什么才算可追溯

这篇论文研究的是多说话人中文金融对话：2 到 4 个人讨论授信、支用核验、审计调整、保险理赔等事项，金额、费率、期限等关键信息会在对话中被提出、暂停、恢复和拍板。输入是一段未经切分的原始录音，不给人工转写，也不给谁是哪个角色；输出是一组轨迹，每条轨迹对应一个实体字段，例如某台设备的技术认定值，里面包含按时间排序的决策循环和事件。

要算可追溯，系统必须同时回答四件事：发生了哪些有效变化，谁造成的变化，这句话以什么业务效力发生，以及证据在音频的哪个位置。只听对最后金额是不够的，因为相同的末值可能经过完全不同的过程，而请求人说的话和分析人验证的话分量也不同。论文把这种完整恢复称为决策关键信息状态追踪 DCIST，并用轨迹级 F1 来打分。

已有语音和对话状态工作缺了哪一块

已有工作大多只覆盖片段能力。音频理解基准测转写和局部问答，说话人相关工作测跨轮一致性或归因问答，SpokenWOZ 等测轮级槽位维持，语音事件抽取测事件类型和论元。文本侧的 MultiWOZ、ProPara、OpenPI 能表示信念状态或实体变化，MEET 框架也保留增量命题和来源时间，但它们不是以原始多说话人音频为输入、以完整事件链为输出的联合评分。

本文的差别在于把动作、关系、说话人、作用域和时间证据绑在一起评。模型可能转写很准、末态数值也对，却把别人的建议算到有权决策人头上，或者漏掉 1 次暂停和恢复。已有指标对这类错误不敏感，论文因此设计最小必需链：只要求覆盖协议规定的必需事件和关系，允许有证据的细化，但缺必需事件就判整条失败。

论文要回答的三个具体问题

论文把评估组织成 3 个可检验的问题。第一，当前系统能否从音频恢复完整轨迹，作者在固定的 25 条真人录音、293 条金标轨迹上比较 5 路级联和两路直接音频模型。第二，即使给参考文本和说话人标签，困难是否依然存在，作者用 26 个剧本的有标签和无标签两种输入、去掉时间检查后看分数上限。第三，总体转写错误是否反映轨迹质量，作者固定轨迹模型为 Kimi-K3，在关键词噪声 B2 下对比字错率和 DCIST 的变化。

这 3 个问题共用同一套金标和最小链评分规则，避免用不同切分或不同聚合方式解释矛盾。结论的适用条件写得很明确：真人子集只有 26 条剧本中文录音，A/B 变体共享内容，独立样本数小于录音数；统计区间只反映所收集对话族的 variation，不代表重复生成或跨人群的泛化。

从原始音频到事件链的整体流程

系统拿到的只有一段多说话人原始音频和一个全任务通用的公开模式，模式给出 193 个实体字段组合、64 种作用域标签和允许的值结构，但不透露当前样本有哪些字段、多少事件和谁是什么角色。模型要输出若干轨迹，每条轨迹由实体字段唯一标识，内部按决策循环组织，每个事件记录动作、数值、说话人、作用域、前驱和证据区间。

下面这张总览图把输入、恢复和评估 3 段放在一起，适合先建立整体心智模型：左侧是无转写无标签的音频，中间是带证据对齐的事件链，右侧是三项联合检查加最终 DCIST。

看图路径： 1. 先从左到右看原始音频、模型、事件链、联合评估的主路径；2. 注意中间示例链的四个节点数值与说话人标注如何与下方音频证据对齐；3. 对照右侧三项评估内容与底部有效补充不罚、错误插入要罚的规则

原论文 Figure 1：Full-trajectory speech state tracking.

论文图 1。原论文 Figure 1:：“Full-trajectory speech state tracking.”。

这张图确实可见三栏结构：左栏画出多人剪影和波形并注明无人工转写和无预设说话人标签；中栏给出 Start、Pause、Progress、Finalize 4 个示例节点，分别标 3.0M、3.0M、2.9M、2.9M 和 S1、S2、S2、S2，并用虚线连到下方时间轴上的音频证据条，下方还列出内容、说话人、作用域和前驱关系；右栏列出必需事件覆盖、属性关系匹配、时间证据匹配，以及有效补充不罚、错误节点要罚，最终汇到 DCIST。它帮助理解本文不是先转写再单独评数值，而是要求事件、归属、效力和证据同时成立。

事件、循环和作用域如何表示一次有效变化

论文定义 4 种动作，每种动作触发后有明确状态。开始是首次有效候选或明确启动，推进是实质进展或恢复，暂停是遇到明确障碍而实际搁置，终结是有来源支持的分作用域结论。第一个观测到的事件可以是暂停或终结，不虚构没观测到的开始；1 次修订若仍处于搁置则记暂停而非推进；终结关闭当前循环，明确的重开、撤销或替代决定开启新循环。

下表是原文对 4 种动作的完整定义，阅读时注意触发条件和终态的对应关系，这是后文判断漏暂停、错动作的依据。

ActionTriggerState after
startFirst valid candidate or explicit initiationactive
advanceSubstantive progress or resumptionactive
holdActual suspension due to an explicit obstacleheld
settleExplicit, source-supported scoped conclusionsettled

表中开始对应首次有效候选或明确发起、终态为进行中，推进对应实质进展或恢复、终态仍为进行中，暂停对应因明确障碍实际搁置、终态为已搁置，终结对应有来源支持的分作用域结论、终态为已终结。结合作用域一起看更有意义：例如同样说出一个金额，材料递交、实质核验、技术复核和正式批准的效力和可执行性完全不同。说话人按首次出现编号，不做最优置换；数值记录当时可得的信息，候选数不等于批准结果。

决策关键事件 × 轨迹： 决策关键事件指引起有效状态变化的一次记录，如提出候选、暂停、恢复、批准；轨迹是同一实体字段下按时间连接的多个这类事件，本文把完整事件链作为预测目标，而不是只预测最后数值，因此漏掉中间暂停或恢复即使末值正确也算失败。

最小必需链与多余节点如何判定

预测要覆盖每条金标必需链：同一跟踪字段上保序一对一对齐，检查循环边界和顺序、动作、数值、说话人、作用域、终结论果、前驱关系和时间，一个预测节点不能同时满足两个必需节点。末态由最后一个事件导出，不单独打分。自由文本允许语义等价表达，由 Astra 先判、Kimi-K3 复核、分歧交人终审，映射只在当样本有效，不能补事实、合命题或放宽数量、动作、归属、时间约束。

下面这张图用同一设备核验例子说明 4 种情形，重点看末值正确与链正确是两回事。

看图路径： 1. 先看首行四事件最小金标链的动作与数值变化；2. 比较第二行漏掉中间两节点为何即使末值正确仍判失配；3. 区分第三行合法补充可豁免与第四行重复表述不可豁免的差别

原论文 Figure 2：Minimum required chains and additional nodes.

论文图 2。原论文 Figure 2:：“Minimum required chains and additional nodes.”。

图中首行是四事件最小金标链：开始核验 3.0M 由 S1 提出，缺发票暂停仍 3.0M 由 S2 执行，补齐后恢复为 2.9M，最终技术确认 2.9M；第二行只保留首尾两节点，中间两处标 Missing，即使末值正确仍判 Mismatch；第三行在中间加入新的序列号问题并保持暂停，有证据且符合规则则判 Match 且多余节点豁免；第四行加入重复缺发票、无有效变化则判 Mismatch 且不豁免。图注还说明除此之外的属性、证据区间和前驱关系均假设正确，这正是后文时间与结构诊断的固定前提。

作用域 × 说话人归属： 说话人归属回答是谁造成了这次有效变化，作用域回答这次话语以什么权限和业务效力发生，例如材料递交、实质核验、技术复核或正式批准；两者搭配才能区分同一句话是请求、举证还是有权决定，评分时两项都要对。

最小必需链 × 豁免的细化节点： 最小必需链是标注协议规定的必须覆盖的事件和关系集合，不追求穷举一切切分；豁免的细化节点是有证据支持的合法补充事件，在只看得分的视图中被去掉且不加分也不扣分，但它不能弥补漏掉必需事件，无证据的插入则直接判整条轨迹失败。

计分公式如何汇总整录音的得失

对每条录音，设金标轨迹数和预测轨迹数分别为分子分母的一部分，完全新建但合法的轨迹不计入分母也不算命中，豁免节点只在得分视图中去掉并收缩前驱边，不能修复无效边或删掉多余循环。录音级 F1 是匹配数的调和平均，再在全部录音上做宏平均得到 DCIST。额外节点比例单独报告，用来描述输出粒度，不加分。

\[R_{\mathrm{extra}}=|E|/|U|.\]

该式计算额外比例，其中分子是豁免节点集合大小，分母是全部可解析预测节点数，三节点新轨迹计为 3 个节点。它不是奖励，也不按金标数归一化。

A/B 配对鲁棒性用另一公式统计同一实体字段在两个变体中同时完全匹配的比例，每个变体必须满足各自金标，金标不必相同。

\[J_{AB}=\frac{1}{|Q|}\sum_{q\in Q}\mathbf{1}[q_{A}\text{ matches}\land q_{B}\text{ matches}].\]

该式对共享字段集合求示性函数平均，只有 A、B 两侧轨迹都匹配才计 1，用来衡量换说话人或确认关系后过程是否依然可恢复。

没有模型训练时本文实际做了哪些构造

本文不训练新的语音或语言模型，所有被测模型都冻结使用，实际工作是基准构造与评估计算。流程是先设计金标决策轨迹，再按轨迹生成口语化中文剧本，经多模型交叉评审和规则检查，然后合成语音并对齐事件证据，同时采集真人按剧本表演的录音。合成用 CosyVoice2-0.5B，24 kHz 单声道 16 位，转写侧用 FunASR 全长转写和 VibeVoice 原生转写，轨迹恢复侧调用 Astra、Kimi-K3、Qwen3.8-Max、DeepSeek V4 Flash 及 Gemini 直接音频，文本模型温度为 0 并固定输出预算。

需要指出的缺口是原文未报告梯度、参数更新或训练预算，因为本来就没有训练环节；直接音频的编码与预算差异属于配置差异，不是控制计算量的消融。复现时应把构造、推理调用和评分 3 类计算分开，不要把合成或评审模型的存在误认为联合训练。

数据规模与评测队列如何固定

数据集包含合成与真人两部分，A/B 变体计为独立录音但归入同一对话族，全部录音均为固定评测队列，不设训练划分。下表给出播放时长、轨迹与事件总数，阅读时注意时长是播放时长，A/B 计入录音数。

SubsetAudioHoursTracks / events
Synthetic2,246100.395,319 / 18,227
Human268.61308 / 562
Total2,272109.015,627 / 18,789

表中合成 2246 条共 100.39 小时、5319 轨迹 18227 事件，真人 26 条共 8.61 小时、308 轨迹 562 事件，总计 2272 条 109.01 小时。合成单条 95.47 至 272.39 秒，真人单条 8.26 至 54.40 分钟，真人共 22 名参与者。合成含 790 对 A/B 与 666 个独立剧本，真人含 10 对与 6 个独立剧本，跨 58596 个合成与真人剧本对无全文本重复，五元字符最大 Jaccard 为 0.50%。

主比较固定 25 条真人录音、16 个对话族、293 条金标轨迹，每条录音贡献一个 F1，缺失完整预测按零计但分母仍为 25。统计用对话族自助 20000 次的区间和族级符号置换检验，21 个主系统两两比较做 Holm 校正；标签、扰动等另分组校正。

级联系统 × 直接音频模型： 级联系统先用 FunASR 或 VibeVoice 做转写和说话人切分，再用 Astra、Kimi-K3 等文本模型恢复轨迹；直接音频模型如 Gemini-4-Argon 直接听完整录音并输出轨迹，两类路线在本文固定 25 条真人录音队列上对比，用来检验省掉转写中间步骤是否就能恢复完整过程。

真人录音上完整恢复有多难

主结果要回答的是在无转写、无说话人标签、全长音频输入下，完整事件链能恢复多少。下表整理 7 个系统在同一 25 条队列上的 DCIST 与完全匹配数，指标方向是越高越好，分母与时间阈值对所有系统相同。

输入轨迹模型NDCIST完全匹配
FunASR 级联Astra2521.35%82
VibeVoice 级联Qwen3.8-Max255.73%15
直接音频Gemini-4-Argon2518.82%72
直接音频Gemini-3.8-Flash256.59%19

该表基于原文连续句整理，七系统得分区间为 5.73% 至 21.35%，FunASR 加 Astra 数值最高，恢复 82 条，直接音频 Argon 得 18.82% 恢复 72 条。因为 DCIST 是录音宏平均，匹配总数多不直接决定排名，直接听音频并未保证整链恢复。显著性上 FunASR 加 Astra 超过同前端 Kimi-K3 和 Qwen 及 Flash，Argon 超过 FunASR 加 Qwen 和 Flash，Astra 与 Argon 差 2.53 个百分点不显著，这不等于两者等价。按需链长看，131 条单节点、103 条双节点、59 条三节点及以上中，FunASR 加 Astra 召回 42.75%、17.48%、13.56%，每路 Kimi 在最长组仅命中 1 条，说明多事件链是主要瓶颈，但说话人数与时长分层非单调，不能归为单一长度定律。

合成语音与参考文本给出什么上限

合成子集用来检验任务是否可解，短对话上系统应能从自动转写恢复正确链。下表是 2224 条共享录音、5269 条金标上的结果，DCIST 列含时间检查，无时间列只去掉时间检查，其余字段、归属、结构要求保留。

ASRReasonerDCISTNo time
FunASRDeepSeek32.7151.98
FunASRQwen28.3346.47
VibeVoiceDeepSeek22.6174.59
VibeVoiceQwen21.6467.70

表中 FunASR 加 DeepSeek 得 32.71%，无时间时 51.98%；VibeVoice 加 DeepSeek 计时 22.61%，无时间时达 74.59%。这组数说明在短合成对话上，内容、归属与过程的联合恢复是可能的，去掉时间主要考查证据定位而非放宽语义。原文还分解了货币等价、语义映射与多余节点豁免的累计贡献，语义映射贡献最大，但顺序依赖，不代表模型改进。

参考文本实验进一步给出去掉听觉难度后的上限：26 个剧本两种输入、4 模型共 208 个预测，均关闭时间检查但保留严格说话人匹配。Astra 有标签 38.72% 命中 133 条、无标签 28.99% 命中 100 条，Kimi-K3 分别为 22.72% 与 23.58%，DeepSeek 为 14.04% 与 7.31%，Qwen 为 18.89% 与 13.79%。即使给设计好的措辞和归属，最高仍不足 40%，说明事件选择、状态解释与关系恢复本身就难；去标签使 Astra、DeepSeek、Qwen 下降 9.73、6.73、5.10 个百分点，Kimi 上升 0.86 个百分点，其中 Astra 与 DeepSeek 的标签收益通过校正显著性。

末值正确、变体配对与噪声下还剩什么问题

把同一预测投影到末态值后，266 个 eligible 字段上末值召回 32.71% 至 62.41%，而整链召回仅 5.26% 至 30.45%。FunASR 加 Astra 恢复 166 个末值，其中 85 个轨迹不完整或不正确，占 51.20%，其他管线该比例 71.53% 至 85.26%；有标签剧本上 Astra 恢复 193 个末值中的 63 个缺完整链，占 32.64%。这支持末态正确不能推出过程正确的判断，但这些是召回诊断，不是 DCIST F1。

A/B 联合成功要求同一字段两侧变体各自完全匹配，音频 9 个完整族 87 对中 FunASR 加 Astra 联合 24.14%，剧本 10 族 102 对中有标签 40.20%，在金标结构或属性确有差异的子集上仅 3/35 与 14/40，其他音频管线为 1.15% 至 14.94%。由于角色与上下文同时变化，这是配对鲁棒性而非纯声音因果。

B2 扰动固定 Kimi-K3 同路线比较：FunASR 的 WER 升 1.99 个百分点而 DCIST 降 2.04 个百分点，VibeVoice 的 WER 升 1.47 个百分点而 DCIST 降 3.32 个百分点，后者区间不含零且校正显著，前者不显著。历史 A1、A2 扰动证据外区域、不同路线与预算不可与 B2 直接因果对比，自动词边界与冗余证据也限制单字归因。

末态值召回 × DCIST： 末态值召回只看最后事件的字段和数值是否对，不要求中间事件、说话人、作用域和时间都对；DCIST 是录音级 F1 再平均，要求整条最小必需链一对一按序匹配，末态对而过程错在前者算对、在后者算错，本文用这组对比说明局部正确不等于过程正确。

转写错误率 × B2 关键词扰动： 转写错误率指相对朗读稿统计的 CER、WER 等字词差异；B2 关键词扰动是在覆盖全部 562 个金标事件的 3153 个锚点上加约 4 dB 噪声并保持时长不变，用来观察关键短词被污染时整链恢复如何变化，两者搭配才能看出整体字错与决策链损失并不单调对应。

评分本身对语义判断和时间阈值有多敏感

语义敏感性用第二模型复核衡量：2366 个去重候选中采纳全部反驳与待决决定，41 个条件下 DCIST 最大变化 1.81 个百分点，有标签 Astra 从 38.72% 到 40.50%，净增 8 条，说明主要分数在该顺序复核下相对稳定，但这不是盲法一致性。时间诊断固定预测只改机械要求：50%、80%、90% 预测窗重叠下分数几乎不变，双向再要求覆盖一半金标窗则跌到 0.00% 至 3.99%，说明粗窗定位与边界覆盖是不同目标。说话人全局置换仅个别录音改善，诊断的是编号惯例而非 diarization 精度。

下表展示合成上货币、语义、多余节点 3 步累计引入的效果，增量依赖顺序，不代表因果提升，阅读时不要把大语义增量当成模型能力增量。

ASRReasonerTimeLegacy+ Amount+ Semantics+ Extras
FunASRDeepSeekYes15.4215.6231.9032.71
FunASRQwenYes6.476.7528.1028.33
VibeVoiceDeepSeekYes10.9510.9722.1822.61

表中计时条件下表达式映射带来 11.21 至 21.35 个百分点的跃升，金额归一化仅 0.02 至 0.28 个百分点，多余节点豁免 0.05 至 0.81 个百分点；无时间条件同样以语义映射为主。这解释了为何字面匹配会严重低估，以及为何需要冻结映射后用确定性代码汇总。失败普查中 5 路级联 1465 次观测里 192 次匹配，807 次为必需链失配，340 次缺字段候选，112 次整输出格式错，其余为无效插入或结构违规，它们是互斥的匹配关卡而非独立原因。

这些结论在什么边界内才成立

代表性上真人仅 26 条剧本中文录音，覆盖 10 类场景但缺少自发会议与多语言实践，A/B 共享内容使独立样本少于录音数，族聚类区间只反映已收集对话族的变化。表示与评分上最小必需链不枚举所有合法切分，正确恢复必需链后的额外细粒度能力不加分；时间用粗窗重叠判证据位置，50% 到 90% 阈值小变化不代表边界精确，要求覆盖一半金标窗会大幅掉分，细粒度定位需更细标注。

可比性上原生全长、分块推理与辅助对齐的信息与计算条件不同，缺覆盖的比较会受影响；低跨源词重叠不代表语义模板独立，也不能排除预训练污染。把结论搬到事故调查、关键会议等记录敏感场景，需要独立数据与实验重新验证，不能把总体趋势套到每一组结果。

复现第一步要固定什么

先锁定队列与金标版本：用 25 条真人固定队列、16 族、293 轨迹做主比较，26 条做扰动与剧本对照，核对货币等价、样本内映射、80% 预测窗重叠与豁免收缩的实现，并通过 40 项回归与 26 份金标自匹配。转写用 FunASR 标点切分 300 秒批处理不给说话人数，或 VibeVoice 原生解码固定 token 预算；文本恢复温度 0、32768 输出预算并要求关闭思考，Astra 每样本独立会话；直接音频每请求送完整 MP3、无转写与角色表，Flash 对 3 条截断做同音频同查询的重试而非拼接。

作者资源当前是否可用的判断只看归属明确的作者链接，论文仓库为第三方链接，仅证明文中提到该地址，不证明已开源。未公开的完整音频与金标按文中说法在接收后公开，引用时以原文与附录 C 的队列清单、哈希与计时审计为准，不要用转写稿替代实际输入，也不要把粗稿剧本当逐字真值。

什么时候值得试还需要补什么验证

当任务要求从会议录音还原谁在什么权限下把什么数从多少改到多少、中间是否暂停恢复，就值得用 DCIST 这类整链指标直接评估，而不是只看字错率或末值准确率。本文证据支持两点：在真人长录音上最高 21.35% 说明联合恢复仍难，即使给标签文本最高 38.72% 也远未解决；B2 下较小字错增量伴随更大链损失，说明整体转写指标不能代理过程质量。

还需补的验证包括更长自发对话、多语言与跨机构场景的独立复测，细粒度时间边界标注，以及对说话人错误、作用域错误与内容错误的成因分解。常见误解是把末值对等同于过程对、把无时间分数当可部署上限、把搜索选优或已知答案的结果当实际提升，原文已明确区分诊断投影、参考文本与实际音频条件，复现与选型时应保留这些条件差异。

📎 论文与评分元数据

排名：前50% | 文档类型：数据集与基准 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.3-contributor

  • 评分请求协议：openai_responses

← 返回 2026-10-27 语音/音乐/音频论文速递