删掉了还要再查一遍：用音频语言模型核验精神科对话中指定角色是否删干净

📄 删掉了还要再查一遍：用音频语言模型核验精神科对话中指定角色是否删干净

英文题目：Role-guided Speaker Deletion Verification in Clinical Psychiatry Speech Recordings with Audio Language Models

标签：#音频时间定位 | #模型集成 | #语音 | #音频大模型 | #隐私保护

评分：7.0/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 0.7/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Joseph T Colonel：机构信息未在 arXiv HTML 中可靠披露
• Daniel Katzman：机构信息未在 arXiv HTML 中可靠披露
• Kelsey Kirker：机构信息未在 arXiv HTML 中可靠披露
• Adam N Davidson：机构信息未在 arXiv HTML 中可靠披露
• Shalaila S Haas：机构信息未在 arXiv HTML 中可靠披露
• Cheryl Corcoran：机构信息未在 arXiv HTML 中可靠披露
• René S Kahn：机构信息未在 arXiv HTML 中可靠披露
• Guillermo Checci：机构信息未在 arXiv HTML 中可靠披露
• Baihan Lin：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

临床精神科双人对话常需按功能角色删除指定说话人并验证删净，输入为已按目标角色静音后的单通道残留音频与重转写文本，输出为疑似漏删的时间区间与对应文本，难点在于简短应答与重叠语音、情感镜像导致的音色趋同、以及随症状波动的患者嗓音漂移。上游先用 Whisper 转写加 Pyannote 3.1 说话人分离标注加 Llama 3.3-70b-instruct 角色归因生成静音时间线，再对残留重转写形成待审视图，随后音频语言模型与大语言模型按窗口扫描并输出固定类别加逐字标记的结构化漏删标记，最后合并重叠区间并以析取或集成汇总多模型多视图结果。与直接全篇人工审听或单模型单视图相比，该机制差异在于把验证与删除解耦并用互补视图换召回，具有质检漏斗的实际意义。在48个双人录音共33小时25分钟的双向删除混合评测中，转录引导的14配置或集成达到F1为0.478，精度为0.330，召回为0.870，明显高于最强单配置的F1为0.408。该结论仅适用于同类上游失配分布下的精神科双人访谈，未验证跨场景跨语种与微调后的外推。原文所有模型均为纯推理模式，未披露训练与部署成本。

🔗 开源与复现资源

• 代码相关资源：https://anonymous.4open.science/r/alm_prompts-D031 — 链接可访问（HTTP 200）

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务从哪里来：为什么精神科语音要按角色删除后再核验？

这篇论文的起点不是识别疾病，而是处理数据治理。精神科研究越来越多地收集口语，用来找发音与语言层面的生物标志物，用于诊断与疗效监测。这些录音往往是双人对话，医生与患者适用不同的知情同意与研究协议。作者强调声纹属于受保护的生物识别标识，文中提到 voiceprint is a HIPAA-protected biometric identifier，一旦某位参与者撤回同意或治理要求变化，研究者就必须把指定说话人从多人录音中删掉。

在小规模语料上可以人工听完全部录音来确认删干净，但在几十小时量级上逐分钟复听不可行。于是实际做法是先用自动管线删除，再用另一个独立步骤核验删除是否成功。核验与删除是两个问题：删除负责静音目标时间段，核验负责在残留输出中找出漏网的目标语音。论文把核验定义为在删减后的音频与重新转写后的文本中扫描漏删，模型需要给出可疑的时间段与对应文本。

精神科对话让这件事更难。论文列出 3 个具体困难。第一是短促的附和与接话，例如 mmhmm、right，常伴随短重叠，日志系统容易切错边界。第二是情感镜像，患者与医生可能采用相似的语调与节奏，声学区分度下降。第三是患者嗓音随症状严重程度与情绪状态在对话过程中变化，基于固定声纹假设的方法会失效。研究生初读时容易把这理解为通用说话人确认问题，但原文限定为按角色驱动的双人临床对话，角色依据是会话中的交互角色，而不是话题词汇，因为患者也会复述药物与诊断名称，话题重叠不能作为角色证据。

与删除相关的三条路线有何不同：日志、目标说话人提取、语言模型后校正？

要理解核验的位置，需要先分清 3 条相关路线。第一条是说话人日志，白话是把录音按谁在说话切段。原文描述的标准流程包括语音活动检测、分段、说话人嵌入提取与聚类。日志决定删除管线把哪段判给谁，它的错误会直接变成残留泄露，也就是本文要检测的对象。论文还提到有用语言模型对日志输出做后校正、修复分段与轮次边界的工作，这说明日志错误是已知痛点，但本文没有采用这类修复，而是把日志错误视为核验的输入条件。

第二条是目标说话人提取与检测。提取是用注册声纹作条件从混合语音中分离出指定人，检测是在帧级别标注指定人何时说话。初学者容易问为什么不用这类方法直接删人。论文明确排除了这条路线，理由是临床上收集并维护预注册声纹库负担重，而且嗓音随症状变化导致声纹不稳定，还可能受同意协议限制不能保留声纹。因此论文的上游删除管线走的是日志加转写加角色推断，而不是声纹注册路线。

第 3 条是转写与角色推断。上游管线用 Whisper 做转写，用 Pyannote 3.1 做日志，对齐后用 Llama 3.3-70b-instruct 看文本判断谁是医生谁是患者，再把目标角色的时间段静音，最后对残留音频重新转写。核验继承了这条链的全部失败模式，包括转写错、对齐错、日志错与归因错。也就是说，核验模型看到的残留文本本身已经是带错的 2 次转写，残留音频也是被切过静音的非连续信号，这与直接在原始完整录音上做说话人识别是不同的运行阶段，不能把两类数字直接比较。

要解决的具体问题是什么：两种对称删除如何定义对错？

论文用同一批原始录音构造了两个对称任务。医生删除管线是删掉医生音频，扫描残留中是否还有医生语音。患者删除管线是删掉患者音频，扫描残留中是否还有患者语音。两个管线共享同一套上游工具，只在指定删除哪个角色上不同。这样的对称设计让结果可以对比哪种角色的漏删更容易被发现。

输入是删减后的音频文件与删减后的转写文本，输出是模型标记的可疑漏删时间段及其对应文本。评分时先合并模型标记的重叠区间，然后按事件计数：每个被合并标记覆盖到的人工标注漏删事件计为 1 次检出，没有被覆盖的标注计为漏检，没有覆盖任何标注的标记计为误报。精度、召回与 F1 在全部会话上微平均。

初学者要注意，这里的真值不是说话人标签本身，而是经过删除后仍然残留的目标角色事件，且标注时明确要求不标注附和类事件，所有标注事件至少持续 1 秒。举例说明：若某段残留中医生说了一句完整问诊而删除时未静音，标注会记为一段医生漏删；若只是短促的嗯，则按规则不标注，模型即使标记也不应计为命中。例子仅用于理解规则，不代表原文统计值。

论文的判断标准是合并后的 F1，但讨论中更强调召回。这是因为核验的实际用途是先用高召回筛出可疑片段，再做有针对性的人工复核以提高精度。高召回伴随低精度是可以接受的代价，但不能反过来用低精度直接证明系统可用，必须同时报告误报负担。

方法全景：一条样本如何走完删除再到核验？

沿着一段录音走一遍全流程。假设一段约 40 分钟的单通道医患对话进入系统。第一步是转写与日志，得到带时间戳的文本与说话人编号，例如说话人 A 在第 120 秒到 135 秒说话。第二步是角色归因，语言模型读完整转写，判断 A 是医生、B 是患者。第三步按任务执行删除，若任务是医生删除，就把所有归因给医生的时间段静音，保留患者部分，再对保留音频重新转写，得到残留文本与残留音频。患者删除则是镜像操作。

第四步进入本文评估的核验。核验模型拿到残留文本与残留音频的不同视图，任务是找出其中仍属于被删角色的片段，并按固定类别分类加原文照录。第五步是后处理与评分，把重叠标记合并，再与人工标注求交集计数。整个流程中删除与核验使用不同的模型：删除用固定的 Whisper 加 Pyannote 加 Llama 组合，核验用待评估的 Gemma 与 Nemotron 系列模型，全部只做推理，不做训练或微调。

需要保留的关键信息是语料规模与模型范围。语料是 48 段双人单通道临床录音，共 33 小时 25 分钟，平均 41 分钟 46 秒。模型受监管限制，只能在本地合规算力上运行来自 Google、Microsoft、NVIDIA、Meta 的开源权重模型，实际纳入分析的是 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano 与 Nemotron-3-Nano-Omni。Phi-4-Multimodal 与 Audio-Flamingo-Next-Thought 也在允许范围内，但因不能稳定遵守输出格式而被排除。提示词全文放在匿名仓库，资源状态显示当前可用，已公开，地址为匿名 4open 科学仓库链接，研究者可以核对具体措辞。

上游删除由哪些组件构成：转写、日志与角色归因如何衔接？

上游删除管线由 3 个标准开源组件组装。Whisper 负责语音转文字，给出词与时间信息。Pyannote 3.1 负责说话人日志，给出按说话人区分的时间段。Llama 3.3-70b-instruct 负责看对齐后的带说话人转写，推断哪个编号是医生、哪个是患者。衔接方式是先对齐前两者的输出，得到按说话人分组的转写，再让大语言模型做角色标注，最后按角色静音对应时间轴。

这个衔接决定了漏删的形态。如果日志把医生的短句并入患者的长轮次，删除时就会漏掉该短句。如果角色归因把整位说话人标反，删除会删错整个人。论文的核验提示词因此明确要求模型关注声学或词汇层面的角色线索，而不是临床话题重叠，因为患者也会说药名与诊断名。

说话人日志 × 角色归因： 说话人日志负责把单通道录音切成按说话人区分的时间段，谁在何时说话，但不回答谁是医生谁是患者；角色归因负责看转写文本的对话内容，把日志切出的说话人编号映射为 clinician 与 patient。两者搭配的原因是删除操作必须按角色执行，只有先分出发言段再标定角色，才能决定静音哪段时间，组合意义是上游删除管线的漏删直接继承这两步的错误，核验模型要找的正是它们错配后残留的语音。

理解这一点才能理解后文的失败分析：核验模型吃到的音频已经是被上游切过的残留，残留中的目标语音恰恰是上游觉得难而漏掉的困难片段，声学上与保留说话人很接近，文本上也可能混在保留说话人的轮次里。

核验看到什么输入：五种视图与集成如何组织？

核验模型被提供 5 种上下文视图。3 种纯文本视图是完整转写 1 次读入、300 秒长窗以 50% 步长滑动、20 秒长窗以 50% 步长滑动。两种音频相关视图只给具备音频能力的模型：20 秒时间戳转写加对应音频的成对输入，以及 20 秒纯音频无转写输入。模型被要求给出漏删的时间范围与相关文本，预测试发现让模型先按固定类别分类再照录原文效果更好。

评分前合并重叠标记，再按事件计数微平均。在此之上构造析取或集成，把多个模型视图的标记取并集。论文列出多种集成：全部 16 个配置的任意并集、只用文本的无音频并集、用音频的有音频并集、14 个使用时间戳转写的转写引导并集、音频文本对并集、纯音频并集、完整转写并集、两种窗口文本并集，以及至少 8 个模型同时标记才保留的多数投票。或集成的目标是提升召回，多数投票的目标是测试共识能否换回精度。

删除 × 核验： 删除指把目标角色对应的音频时间轴段静音并重新转写，目标是产出可用的残留语料；核验指在残留音频与残留转写中再扫描一遍，标记疑似属于被删角色的漏删片段。两者分工不同且不能互相替代，因为转写、对齐与归因误差会让目标语音穿透删除，搭配理由是删除越自动越需要独立的二次检查，组合意义是本文只做核验，不改进删除本身，用召回优先的标记供人工复核。

初学者容易把窗口切分当成细节，但后文显示窗口长度直接决定 Nemotron 系列是否因输出长度受限而崩溃，因此视图选择是核心实验变量，不是实现琐事。

本研究有没有训练：推理、标注与计算的真实过程是什么？

本研究没有训练阶段，所有待评估模型都以纯推理模式运行，没有在该语料或任何其他语料上训练或微调。training 一节在此的职责是讲清没有更新哪些参数，以及实际发生的计算是什么，避免把无训练误解为确定性求解。

实际计算分为 3 类。第一类是上游删除的 1 次性处理，用冻结的 Whisper、Pyannote 与 Llama 权重做转写、日志、归因与静音，不产生梯度更新。第二类是人工标注，在删除后的残留上标注漏删事件，不标注附和事件，最短 1 秒，得到医生与患者两套标注，论文报告医生共 515 段、患者共 872 段，平均每会话医生 10.73 段、患者 18.17 段，中位数分别为 5.5 与 13.5 段，标注总时长医生 1125.0 秒、患者 1589.0 秒。第 3 类是核验推理，按 5 种视图调用 4 个模型的冻结权重，生成结构化标记，再做区间合并与微平均评分，以及多种或集成与多数投票的集合运算。

未报告的缺项需要明确指出。原文没有给出每个模型的解码温度、采样种子、输出最大长度的具体数值，没有报告推理耗时、显存占用与硬件预算，也没有说明区间合并的具体重叠阈值实现细节。不能从模型名称推定其音频编码器结构或指令微调数据，也不能从参数冻结推定多次运行输出必然一致，因为解码策略未公开。复现时应先固定解码与合并代码，再谈数字可比性。

实验条件是什么：在什么数据、什么模型与什么指标下比较？

比较的问题是明确的：在相同的 48 段残留语料上，哪种模型与上下文视图更能找回人工标注的漏删，且条件是否一致。数据是同一批 48 段录音分别经过两种删除，得到医生删除残留与患者删除残留两套待扫描对象，聚合方式是对 48 会话微平均，分别报告患者删除、医生删除与合并三列精度、召回与 F1。指标方向是 F1 越高越好，但在核验场景下召回的提升被赋予更大权重，精度下降被视为待用人工复核弥补的代价。

模型条件是 4 个开源权重模型，分为音频能力与纯文本两类。Gemma-4-12B 与 Nemotron-3-Nano-Omni 具备音频能力，可跑全部 5 种视图。Gemma-4-31B 与 Nemotron-3-Nano 在本文中只跑文本视图。公平条件是同一视图内比较同一输入长度，例如 20 秒音频文本对只在两个音频模型之间比较，300 秒窗口文本在 4 个模型之间比较。完整转写视图对长文本最不友好，窗口视图通过切分降低单次输入长度。

下表提出的核心比较是视图长度与模态是否改变各模型的精度召回权衡，公平条件是同一批残留与同一微平均口径，指标方向是 F1 越高越好、召回越高漏检越少。该表为原文个体模型性能表，保留患者删除、医生删除与合并 3 组精度召回 F1。

该表的主要信息是窗口文本普遍优于完整转写，且音频文本对接近但未超过同窗长的纯文本。代价是纯音频视图精度极低，F1 只有 0.08 左右，说明只听音频不给转写时模型难以同时完成转写与角色判断。未胜出的例子是 Nemotron-3-Nano 的完整转写视图，合并 F1 仅 0.117，召回仅 0.074，构成后文讨论输出截断的反例。边界是音频文本对只测了 20 秒窗，没有测 300 秒长音频上下文，因此不能断言长音频无用。

还有哪些论文特有的细节：提示、合并与监管范围？

除主流程外，有两类论文特有细节影响复述。第一是提示设计。模型不只被要求照录可疑文本，还被要求按固定类别分类漏删。原文称预测试发现这种分类加照录的方式更好，但没有给出有分类与无分类的对照数字，因此只能报告该设计存在，不能断言分类带来多少增益。提示词全文在匿名仓库中，复现时应逐字使用而不是自行改写，否则格式依从性差异会混入性能差异，这也是两个候选模型被排除的直接原因。

第二是区间合并与时间戳。合并重叠标记是评分前的必要步骤，但纯音频视图因没有转写时间锚点，相邻窗的时间戳可能漂移，导致同一漏删在两窗中被记为两个不重叠标记，进而产生两个误报。这解释了部分纯音频精度极低的原因，也提示复现时应记录合并规则与漂移处理，否则同一模型输出可能因合并实现不同而得分不同。

监管范围是另一项必须保留的条件。只能用四家厂商的开源权重并在合规算力本地运行，这既限制了模型覆盖，也决定了权重下载与系统可运行是两回事。即使提示词仓库当前可用，已公开，研究者仍需自行解决临床音频的合规访问与本地推理环境，不能把代码可达等同于实验可重复。

主结果显示什么：个体最强项与集成的召回收益有多大？

主结果围绕两个数字展开。个体最强配置是 Gemma-4-31B 在 300 秒窗口转写上的合并 F1 0.408，对应精度 0.304、召回 0.620，且在患者删除与医生删除上各自也是该视图下最优。个体最高召回是 Gemma-4-12B 在 20 秒窗口转写上的合并召回 0.705。转写引导的 14 配置或集成达到合并 F1 0.478，对应精度 0.330、召回 0.870，超出个体最优约 0.07，驱动力主要是召回提升。把全部 16 配置取并集时合并召回进一步到 0.913，但合并 F1 回落到 0.334，说明加入纯音频配置能捞回更多漏删，但误报增加更快。

另一个稳定模式是患者删除始终比医生删除更容易核验。每个模型视图组合的患者删除 F1 都高于对应的医生删除，差距约 0.05 到近 0.19。或集成在患者删除上 F1 为 0.534，在医生删除上为 0.401。论文同时指出上游删除本身对医生的删除更干净，但核验时医生漏删更难发现，这种不对称值得注意：删得干净不等于剩下的好查，残留的医生语音可能更短更像背景。

下表聚焦可实际运行的策略与基线的对照，比较问题是单模型最强视图与或集成是否在相同微平均下带来可部署收益，公平条件是同一 48 会话与同一事件计数口径，指标方向是 F1 与召回越高越好、精度越低代价越大。

表后需要解释收益与代价。转写引导或集成的收益是召回从 0.620 提升到 0.870，F1 提升 0.07，支持跨模型与跨视图存在互补检出的判断。代价是精度仍只有 0.330，意味着每 3 个标记中约两个是误报，必须配人工复核才能落地。反例是全部配置或集成虽然召回最高，但 F1 反而低于个体最强，说明无差别并入纯音频噪声会损害综合性能。未胜出项是多数投票，其合并 F1 仅 0.319，表明简单共识不能解决低精度问题。

音频文本对 × 纯文本窗口： 音频文本对指把 20 秒时间戳转写与对应音频一起送入音频能力模型，让模型同时用词义与韵律音色判断角色；纯文本窗口指只给转写文字，按 300 秒或 20 秒切窗扫描。两者搭配的原因是文本能给出长上下文与角色话语线索，音频能补足文本没有的音色与情感特征，组合意义是论文用相同窗长对比发现音频文本对并未稳定超过纯文本，但在或集成中提供了互补检出，从而推高总体召回。

结果的另一面：为什么医生漏删更难查？

重提结果时需要增加机制层面的对照。患者删除的 F1 系统性高于医生删除，但上游对医生的删除反而更干净。这个看似矛盾的现象可以用残留构成来理解：医生残留中的漏删可能更短、更碎，且医生话语在残留中本应完全消失，任何残留医生语音都混在患者主导的上下文中，文本线索更弱。患者残留中的漏删则可能保留更多患者特有的叙述结构，文本模型更容易从词汇与话轮角色中捕捉。

数据支持这一方向。患者标注总段数 872 段、总时长 1589.0 秒，医生 515 段、1125.0 秒，患者漏删更多但也更容易被文本发现。个体模型中 Gemma-4-12B 在 20 秒窗下患者删除召回 0.760、医生删除召回 0.612，差距明显。或集成把两者召回分别推到 0.898 与 0.823，差距缩小但 F1 差距仍在，说明集成主要补足了可被不同视图发现的漏删，而医生漏删的误报代价更高，精度分别为 0.380 与 0.265。

适用条件是明确的。如果实际部署的目标是患者撤回同意后的患者语音核验，文本窗口加或集成是当前证据下最值得尝试的组合。如果目标是医生语音核验，则要预期更低的精度与更高的复核负担，不应直接套用合并 F1 0.478 来承诺效果。两种管线必须分别报告，不能只报合并值。

去掉或换掉什么会变差：窗口长度、音频输入与投票机制的对照？

论文没有做传统意义的删减训练消融，但提供了 3 组可视为失败条件的对照。第一组是完整转写对比窗口转写。所有模型的窗口文本都优于完整转写，Nemotron 系列崩塌最明显。Nemotron-3-Nano 从 300 秒窗合并 F1 0.300、20 秒窗 0.361 跌到完整转写 0.117，召回跌到 0.074。Nemotron-3-Nano-Omni 从窗口的 0.36 左右跌到完整转写 0.219。

作者检查思维链输出后归因于输出长度限制：2 模型常在完整转写条件下达到输出上限，未能发出停止思考标记并完成结构化 JSON，导致评分失败。Gemma 系列对长度更稳健，Gemma-4-31B 完整转写合并 F1 为 0.364，接近其窗口性能。

第二组是音频的作用。20 秒音频文本对的合并 F1 为 Gemma-4-12B 0.373、Nemotron-3-Nano-Omni 0.381，接近各自 20 秒纯文本窗的 0.398 与 0.387，没有实现超越。纯音频视图更差，合并 F1 仅 0.085 与 0.077。作者给出两个有限解释：一是指令微调用的音频数据很少包含精神科特有的韵律与情感，二是残留音频本身就是上游难例，声学上难与保留说话人区分。这属于支持性解释，不是因果证明，待用更匹配的音频指令数据验证。

第 3 组是集成方式。转写引导或集成合并 F1 0.478 为最高，无音频或集成 0.462 次之，含音频的或集成 0.256 明显更低，纯音频或集成仅 0.102。多数投票合并 F1 0.319，召回 0.591，说明提高门槛能去掉部分误报，但也丢掉大量本可找回的漏删。

或集成 × 多数投票： 或集成指只要任一模型视图标记某时间段就保留该标记，分工是最大化检出、不漏掉任何可疑漏删；多数投票指至少 8 个配置同时标记才保留，分工是压制误报、只保留共识高的片段。搭配比较的原因是两者代表召回优先与精度优先的两种使用方式，组合意义是论文报告或集成显著提升召回与 F1，而多数投票精度仍不高且召回回落，说明各配置的检出互补性强但噪声也大。

哪些结论还不能下：模型覆盖、音频窗口与精度的边界？

首先是模型覆盖受限。受监管约束，只能测来自四家厂商的开源权重并本地运行，且有两个同范围模型因格式依从问题被排除。这意味着模型排名只在该范围内成立，不能推广为音频语言模型普遍优于大语言模型，也不能推断换用其他音频编码器或指令配方后音频文本对一定仍无增益。未来放宽来源约束后的重测是明确的待验证项。

其次是音频上下文不公平。文本视图测到了 300 秒窗，音频文本对只测到 20 秒窗。论文在结论中直接提出应把音频文本窗口拓宽到 300 秒再测，因为疑难片段可能需要更长声学上下文才能与保留说话人区分。在没有该对照前，不能说长音频无用，只能说在 20 秒等窗长下未见增益。

第三是精度与部署成本未解决。即使最优集成精度也只有 0.330，误报负担重。论文未测量误判率的人工复核时间、推理延迟与算力成本，也未报告输出帧率。总体趋势是集成提升召回，但不等于每组会话都提升，也不等于每步推理都稳定。原文还提到纯音频存在时间戳漂移，相邻窗的同一漏删可能因时间不对齐而被计为两个误报，这属于评分与后处理层面的误差，不是模型语义错误的全部。相关性不等于因果，窗口变短伴随 F1 提升，不能直接断言短窗本身更好，还需控制输出长度与标注密度的影响。

要复现这项核验先做什么：数据、代码与评分的核对清单？

复现的第一步是确认数据条件不可直接下载。48 段临床录音受隐私与协议限制，不会公开，研究者只能用自己的双人临床对话复刻流程。需要记录的关键超参数与信息条件包括单通道、双人、平均约 40 分钟、删除后重新转写、标注不含附和事件且最短 1 秒、50% 步长的 300 秒与 20 秒窗口、区间合并后按事件微平均。缺少其中任何一项，数字都不可比。

第二步是重建上游删除。按原文用 Whisper 做转写、Pyannote 3.1 做日志、Llama 3.3-70b-instruct 做角色归因，对齐后按角色静音并重新转写，分别产出医生删除残留与患者删除残留。角色归因必须基于会话角色而非话题词汇，提示词应明确要求关注声学或词汇角色线索。

第三步是核验推理与评分。调用 Gemma-4-12B、Gemma-4-31B、Nemotron-3-Nano、Nemotron-3-Nano-Omni 的冻结权重，只做推理，要求输出时间段加固定类别加原文照录。纯文本跑完整、300 秒窗、20 秒窗，音频模型加跑 20 秒音频文本对与 20 秒纯音频。合并重叠区间后按命中标注计检出、未命中计漏检、无标注覆盖计误报，微平均得到精度召回 F1，再按论文的 9 种或集成与一种多数投票做集合运算。代码方面，提示词仓库当前可用，已公开，可用于核对具体措辞，但权重下载与本地合规算力需要自行解决，代码公开不等于系统可一键运行。

下表帮助核对语料与标注口径是否与原文一致，比较问题是复现用数据是否在时长与漏删密度上可比，公平条件是同一双人单通道设定与同一不标附和、最短 1 秒规则，指标方向是先对齐条件再谈性能。

表后补充代价与边界。即使时长对齐，漏删密度也可能不同，原文医生平均每会话 10.73 段、患者 18.17 段，中位数差异更大，说明分布偏斜，直接比较平均 F1 时要小心长尾会话的影响。若复现语料中附和更多或重叠更多，纯音频的时间戳漂移会更严重，误报可能高于原文。还需补做的验证是报告人工复核时间与推理开销，否则无法判断高召回是否值得。

何时值得尝试这种核验：收束判断与下一步验证？

综合全部证据，这项工作的可复述结论是：在 48 段精神科双人对话上，用冻结的开源模型扫描删减后文本与音频，可以高召回地找回漏删，但精度低，必须后接人工复核。实际可运行的最强策略是 14 个转写引导配置的或集成，合并 F1 0.478，精度 0.330，召回 0.870。个体可运行的最强基线是 Gemma-4-31B 的 300 秒窗口文本，合并 F1 0.408。搜索最优与事后最优不能代替可部署收益，论文保留了这些基线，复现时也应同等报告。

何时值得尝试取决于治理场景。当需要对大批量残留语料做第一遍筛查，且有人力复核可疑片段时，高召回的或集成有实用价值。当要求全自动删干净且无人复核时，当前精度不支持直接部署。复现时先做三件事：重建删除与重转写管线，对齐不标附和、最短 1 秒的标注规则，固定窗口步长与合并代码后再跑推理。

还需补的验证包括三项。第一是把音频文本对拓宽到 300 秒，检验长声学上下文是否带来原文假设的增益。第二是用更匹配精神科韵律情感的音频指令数据微调音频配置，再测是否超过等窗长纯文本。第三是报告推理成本、复核时间与按会话分布的效果，避免总体微平均掩盖长尾失败。

患者删除管线 × 医生删除管线： 患者删除管线指删掉患者语音后扫描残留中是否还有患者语音，医生删除管线指删掉医生语音后扫描残留中是否还有医生语音，两者用同一批 48 段原始录音对称执行。分工是分别模拟两种同意撤回或治理要求，搭配理由是同一段对话的两种删除难度不同，组合意义是论文显示患者漏删更容易被文本线索发现而医生漏删更难，从而解释为何所有配置在患者删除上的 F1 都高于医生删除。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.3-contributor

• 评分请求协议：openai_responses

← 返回 2026-10-01 语音/音乐/音频论文速递