英文题目：Generating Synthetic Doctor-Patient Conversations for Long-form Audio Summarization

会议身份：conference:interspeech:2026:conference-paper-id:labrak26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #数据集 #数据集构建 #长音频处理 #口语理解

评分：7.0/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.9/1.5 | 开源 0.5/1.5 | 可复现 0.4/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

  • Yanis Labrak：机构信息未能从会议 PDF 纯文本可靠映射
  • David Grünert：机构信息未能从会议 PDF 纯文本可靠映射
  • Severin Baroudi：机构信息未能从会议 PDF 纯文本可靠映射
  • Jiyun Chun：机构信息未能从会议 PDF 纯文本可靠映射
  • Pawel Cyrta：机构信息未能从会议 PDF 纯文本可靠映射
  • Sergio Burdisso：机构信息未能从会议 PDF 纯文本可靠映射
  • Ahmed Hassoon：机构信息未能从会议 PDF 纯文本可靠映射
  • David Liu：机构信息未能从会议 PDF 纯文本可靠映射
  • Adam Rothschild：机构信息未能从会议 PDF 纯文本可靠映射
  • Reed Van Deusen：机构信息未能从会议 PDF 纯文本可靠映射
  • Petr Motlicek：机构信息未能从会议 PDF 纯文本可靠映射
  • Andrew Perrault：机构信息未能从会议 PDF 纯文本可靠映射
  • Ricard Marxer：机构信息未能从会议 PDF 纯文本可靠映射
  • Thomas Schaaf：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

任务以英语双人初级保健首诊长对话音频为输入，输出结构化SOAP病历，实际难点在于非正式口语到正式病历的跨语域映射与长程多说话人声学干扰下的忠实推理。流水线先从外部人口分布与724种主诉采样结构化人物画像，再以多轮角色扮演逐轮生成口语化对话文本，并将对话历史与画像条件传入下一步。接着经人物条件语音克隆、停顿重叠注入、66类临床声音事件叠加与房间声学及Opus压缩仿真得到长对话音频。最后经事实抽取生成带引文与轮次索引的JSON事实表，并以该表为唯一输入做受限改写生成接地的参考病历。相对仅做文本合成的NoteChat与仅57例演员短对话的PriMock57，该设计显式建模跨语域映射与声学干扰，使合成数据可同时用于训练与可控评测。在开发集对话评测任务下，多轮后条件的得分为2.50，从多轮前条件的得分2.01升至2.50。该结论适用边界受限于合成英语首诊场景，尚未验证向真实录音、多方会诊与多语种的外推。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

🧭 深度解读

输入是什么，目标是什么，为什么长音频总结难？

本文的输入是一段首诊医患对话的长音频，平均约 9 分钟，最长可达 47 分钟，包含医生与患者 2 名说话人、自然停顿与抢话、咳嗽、纸张摩擦、敲门、键盘打字等非语音事件，以及诊室混响和压缩失真。目标是从这段音频生成一份 SOAP 病历，也就是按主诉、现病史、查体、评估与计划等结构化章节记录的临床文档。必须保留的信息是对话中实际说过的症状、时间、否定症状、用药、既往史和处置约定，不能自行脑补更详细的查体或随访计划，也不能把普通感冒升级为病毒性疾病这类无依据的医学细化。

对刚入门的研究生来说，难点不在听清每个词。作者在加了混响、噪声和 Opus 压缩的成品音频上测得 Whisper Large V3 词错误率只有 2 到 3%，说明转写已接近天花板。真正的难点是长程推理：要在 1500 词、约 28 轮的啰嗦口语里判断哪些是行政寒暄、哪些是关键阴性体征、哪些内容应归入现病史而非既往症回顾，还要把口语说法改写为规范临床语言而不增加特异性。开放生成允许多种正确写法，流利的病历可能通篇无重叠词错误却包含原文没有的事实，这就是为什么作者既要造数据，又要换掉只看字面重叠的评测。

本文的输出是一套可复述的方法加一个可用的资源：3 阶段合成流水线、8800 段对话与 1329 小时音频及参考病历，以及在同一音频上对比级联路线与端到端路线的评测协议。学习时请把本文当作数据构造论文来读，而不是新模型论文：它没有训练新的语音大模型，而是调用已有开权重模型做生成、合成与裁判，再用对照实验说明长音频推理的瓶颈位置。

已有路线走到哪里，为什么还缺长上下文诊室音频？

按输入、目标、监督和运行阶段对照，相关工作分成 3 条线。第一条是长音频大模型本身。早期端到端语音总结受限于处理长音频序列的 2 次内存复杂度，近期系统宣称可 ingest 从 40 分钟到 8 小时以上的连续音频。但作者引用 MMAU-Pro 和 BLAB 等评测指出，能吃进长音频不等于能做长序列多跳推理，语音相对文字存在表征漂移和词汇主导问题，端到端架构在复杂开放生成上仍明显落后于级联的语音识别转文字路线。

第二条是临床文档自动化。传统做法是级联的语音识别转文字系统，瓶颈是公开对话数据极缺。专有系统用过数千小时真实临床音频，但受隐私法规限制无法分发；公开的 PriMock57 只有 57 段演员表演的简短远程问诊，缺乏真实 encounter 的复杂性，ACI-Bench 有 187 个文本 encounter 但没有音频。近期 NoteChat 等工作用大模型生成合成医患文本，医学真实感不错，但停留在纯文本，没有多说话人重叠、远场混响和环境噪声。

第 3 条是合成语音数据。已有工作用大模型加语音合成做会话语音识别训练数据，但没有把人物条件化嗓音与声学仿真结合到临床域。本文的定位是把文本合成扩展为完整多说话人音频合成，并配套解决开放生成评测弱相关的老问题，采用大模型裁判框架。本文不宣称合成音频等于真实诊室录音，是否跨过仿真到真实的差距被明确列为待验证。

要解决的具体问题与不解决什么？

具体问题有两个，且互相依赖。第一个是训练与评测资源问题：长于 5 分钟的音频推理缺少公开长音频及其可验证的总结真值，研究者无法做监督微调，也无法做强化学习中的可验证奖励，更没有可控的评测环境。第二个是评测方法问题：总结类任务的自动构造基准容易只覆盖窄切片，表面重叠指标与人工质量判断相关弱，流利输出还可能幻觉。

作者明确不做另一件事：不再贡献一个封闭的基准集，而是贡献一条可重复运行的合成数据生成流水线，它既能产出训练信号，也能作为受控评测环境。本文用首诊医患对话加 SOAP 病历生成来实例化这条流水线。例子：同样是感冒主诉，可以通过更换患者健忘程度、匆忙程度、英语流利度和医生年资等画像属性，生成人际难度不同的多个版本，再配不同的房间脉冲响应和事件插入，从而系统性地考察模型是转写错了还是推理错了。教学例子与真实数据规模无关，仅用于理解可控性。

约束条件从一开始就写死：全流水线只用开权重模型，便于他人复跑；嗓音与人物严格绑定且训练、验证、测试说话人不重叠；测试集要到 2026 年 12 月前保持不公开，避免刷榜污染。

三阶段流水线如何从画像走到成品音频与病历？

沿一个样本走完全程有助于建立全局依赖。起点是抽样得到的 1 对结构化人物画像，医生与患者各一份，包含人口学、语体和临床主诉属性。接着多轮对话生成器轮流扮演医生与患者，逐轮追加历史，产出带舞台提示的文字对话，例如门响、纸张声等隐式声学触发符。然后音频合成把每轮文字转为对应画像的克隆嗓音，插入停顿与重叠，叠加 66 类离散声音事件，按时间线拼合，再经过房间脉冲响应卷积与临床背景噪声，得到湿音频并做 Opus 压缩。最后参考病历生成先从带说话人归属的文字稿抽取带引用与轮次编号的事实表，再只依据事实表写 SOAP 病历。

下图是音频合成部分的总览，阅读时先看主路径再看汇合点，后文两节分别展开文字侧与声学侧的具体动作。

看图路径： 1. 先从左侧纵向的文本转语音条带出发，沿曲线找到下方虚线 Voices 库，确认声音来源分支；2. 再看中间三横块如何分别处理停顿重叠、声音事件与强制对齐，并汇入 Events 库；3. 接着向右追踪时间线生成器如何把语音与事件拼成同一时间轴；4. 最后看右侧房间声学模块如何对整条时间轴施加混响与噪声得到成品音频

原论文 Figure 1：Overview of the audio generation pipeline, integrating Text-To-Speech, sound event generation,…

论文图 1。原论文 Figure 1：“Overview of the audio generation pipeline, integrating Text-To-Speech, sound event generation, temporal scene com- position, and environmental acoustic simulation.”。

该图左侧是纵向的文本转语音条带，向下连接虚线的 Voices 声音库，说明每句话的声学身份来自预先匹配的画像嗓音；中间 3 个横块分别是停顿与重叠生成、声音事件生成和 Qwen 3 强制对齐器，向下连接虚线的 Events 事件库，说明非语音内容与时间偏移量在此分支确定；中间右侧的时间线生成器把语音流与事件流拼成同一场景时间轴；右侧房间声学大块向下连接 Rooms 房间库，说明最终统一施加诊室混响。这种分块设计的教学价值在于区分语义可控性与声学可控性：前者靠画像与对话提示控制说了什么，后者靠事件类、时间偏移与房间脉冲响应控制听起来像在哪里录的。

人物画像与多轮对话如何保证多样性与口语感？

直接让大模型生成首诊对话的多样性很差。作者报告在 2800 段对话中只得到 3 种不同的医患组合，多数共享就诊原因与人际动态。解决办法是先抽样结构化画像再生成。医生与患者共享姓名、年龄、身高、体重、种族、性别、健忘程度、正式程度、匆忙程度和婚姻状况；患者另有英语流利度、职业、保险和就诊原因。

医生另有从业年数。除就诊原因外其余从预定义列表均匀抽样，就诊原因是临床合著者用专家启发法收集的 724 种主诉，覆盖典型与非典型初级保健表现，包括临床与行政性质，例如手肿、腿部不明原因瘀青和医疗证明，且不含个人可识别信息。

生成方式对比了单次直接生成与多轮逐轮生成。多轮指生成模型每次只产出一方的单轮，输入为至今的对话历史加当前说话人画像。作者用 Claude Sonnet 4 做开发期评估，在 2800 段子集上多轮把人际挑战度从 2.01 提升到 2.50，医生画像依从从 3.10 提升到 3.30，患者画像依从从 3.60 提升到 3.90。作者的解释是模型可专注于当前角色。生成全程使用 Gemma 3 27B 指令版，编排用 SDialog 工具包，并经过多轮医生反馈迭代画像与提示。

结果是口语与病历之间的跨语体挑战：提示要求加入口语化表达与隐式声学触发符，使输入是随意、重复、 noisy 的口语，输出是正式结构化文档。作者也报告了副作用：生成医生的语言复杂度高于参考集，雾指数 10.4 对 6.6 到 7.0，轮次更长，部分原因是 Gemma 3 主要在书面文本上训练；直接提示强调面对面口语有中等改善，加入真实模拟 encounter 的少样本反而导致个性与话题泄漏而被弃用。

级联系统 × 端到端大音频语言模型： 级联系统分工是先由自动语音识别把长音频转写成文字，再由大语言模型读文字写 SOAP 病历，搭配理由是把难的声学鲁棒性和难的长文推理拆开；端到端大音频语言模型分工是直接听音频生成病历，搭配理由是保留韵律、重叠和说话人等文字丢失的信息；组合意义在于本文用同一批合成音频同时跑两条路线，才能判断差距来自转写还是来自长程推理。

嗓音克隆与声学仿真如何把文字对话变成诊室录音？

嗓音侧先做人物条件化语音合成。作者准备了 200 名患者与 100 名医生共 300 个画像，用交叉组合成 8800 段不重复对话。每个画像用 LibriTTS 中 30 秒样本做条件化声音克隆，样本先做峰值归一化到负 1 到 1。性别按数据集已知标签匹配对话画像；曾尝试用 Qwen 3 Omni 估计年龄段匹配，但听辨发现老年嗓音估计常不准，因此保留随机年龄分配。关键是嗓音到画像的匹配只做 1 次并固定，且训练、验证、测试说话人严格不相交，这是复现时必须保留的划分条件。

语音合成引擎在 9 种配置中比较后选择 Qwen3-TTS 1.7B，理由是语言准确性、表现力与宽松许可的平衡，XTTS 因许可限制被排除。干声相对源文本的词错误率小于 2%，评分前用 Whisper 文本归一化加自定义 ASCII 归一化处理大小写与卷引号，保证打分一致。

声学侧按 6 阶段丰富：嗓音参考匹配、神经语音合成、重叠与停顿插入、声音事件插入、用 scaper 对话变体做场景时间线拼合、用 PyRoomAcoustics 做声线追踪房间仿真。具体是与代表典型 8 平方米检查室的房间脉冲响应卷积，再加暖通空调等临床背景噪声；66 类离散事件如打字、纸张摩擦和敲门声按预测时间偏移叠加，偏移量来自基于对话舞台提示的 Qwen 3 强制对齐映射到事件类，再由 Gemma 3 计算注入自然重叠与停顿。信号增强包括 16 kbps Opus 压缩约 14 比 1、患者音量相对医生缩小为 1/4 以模拟深度感。

湿音频上 Whisper Large V3 为 2 到 3% 词错误率，Qwen3-ASR 为 10 到 14%，以替换与删除错误为主，Opus 压缩会加重；UTMOS 约 1.27，与面对面模拟录音的 1.28 和 DISPLACE-M 参考的 1.29 接近，作者据此称感知保真度接近真实录音，但这只是合成自然度指标，不能等同于临床难度等同。

人物画像 × 多轮对话生成： 人物画像分工是事先抽样出医生与患者的姓名、年龄、性别、匆忙程度、健忘程度、英语流利度、保险和 724 种主诉等离散属性，提供可控的多样性来源；多轮对话生成分工是每次只让生成模型扮演当前说话人并看到历史与本人画像，搭配理由是单次直接生成会迅速收敛到顺利问诊，新增作用是提高人际挑战度和画像依从性，使口语啰嗦与正式病历之间形成跨语体映射难度。

本研究训练了什么，没有训练什么，真实计算是什么？

本研究没有训练新的语音或语言模型权重，必须明确这一点以免误解为端到端训练论文。所有模型都是调用或评测已有开权重模型：Gemma 3 27B 指令版负责全部合成对话与重叠停顿判断，Qwen3-TTS 1.7B 负责语音合成，Kimi K2 Thinking 负责参考病历生成与裁判，Qwen3-ASR、Qwen3-30B-A3B、Qwen3-Omni 指令版与思考版作为基线被评测。原文未报告任何梯度路径、参数冻结与更新、优化器或早停，缺项即缺项，不能从模型名推定实现，也不能把无训练理解为确定性求解，同一提示多次运行仍可能有采样波动。

真实计算是数据构造与推理开销。语音合成在一块 40 GB A100 上约 2500 GPU 小时；端到端或级联的 SOAP 生成用两块 40 GB A100 经 Ollama 运行 Qwen3-30B-A3B 约 300 GPU 小时；Kimi K2 推理经 AWS Bedrock 与 Google Vertex 访问，不计入上述 GPU 小时。复现时应把这部分当作仿真与标注预算来规划，而非模型训练预算。合成对话的文本侧还包含医生反馈迭代与开发期用 Claude Sonnet 4 评估，但该模型只用于开发评估，不属于最终数据集与系统组件。

数据划分、基线条件与指标方向如何保证可比？

数据侧 Synth-DoPaCo 共 8800 段对话、1329 小时音频，每段平均 28 轮、1500 词、约 37 个非语音事件，平均 9 分钟。划分按人物与对话双重隔离：训练 7200 段、验证 400 段、测试 1200 段，对应医生与患者画像为 60 比 120、20 比 20、20 比 60。音频事件每段约 37 个，病历每份约 327 词。这种划分的公平含义是测试嗓音在训练中从未出现，避免说话人记忆泄漏。

基线侧比较 4 种可运行策略加一种参考。两种级联先用无说话人归属的转写再交给 Qwen3-30B-A3B 写病历，转写器分别为 Qwen3-ASR 与 Whisper Large V3；两种端到端直接听音频写病历，分别为 Qwen3-Omni 指令版与思考版；参考是用带说话人归属的管线转写经事实表生成的病历，代表合成真值的上限。所有系统用同一批合成音频，任务指令一致，这是比较成立的前提。

指标分两 family。参考无关的大模型裁判把病历拆成原子断言再回原文判定支撑，维度包括 1 到 5 分的忠实度、结构、覆盖度、简洁性，分数越高越好，以及过医疗化、欠医疗化、过特异、遗漏关键事实、关键遗漏、跨节重复等计数，越低越好，另有无支撑断言率与矛盾率。参考相关的有 ROUGE-2、ROUGE-3、ROUGE-L 与开放医学概念匹配度，均为越高越好，但作者已警示表层重叠与人工判断相关弱，因此不能只看 ROUGE 下结论。

大模型裁判 × 医学概念匹配： 大模型裁判分工是把病历拆成原子断言再逐条回原文判定支撑、矛盾或无支撑，并给出忠实度、覆盖度、结构和简洁性评分，搭配理由是开放生成存在多种正确写法，表层重叠分与人工判断相关弱；医学概念匹配分工是抽取参考与假设中的医学概念算重合度，搭配理由是补充词汇重叠之外的临床内容维度，组合意义是一条看是否忠实原文，一条看是否覆盖关键医学内容。

下表把数据集规模与难度信号放在同一 5 列框架下核对，阅读时注意单位与聚合对象不同：对话数是计数，小时是累计时长，词数与事件数是均值，词错误率是百分比区间。

划分与规模对话数音频累计小时对话平均词数对话平均非语音事件数
全量合成对话8800 段1329 小时1500 词37 个
平均时长与范围8800 段1329 小时9 分钟均值2 到 47 分钟范围
说话人轮次结构8800 段1329 小时28 轮均值每人约 14 轮

表前已提出比较问题：规模是否足以支撑长音频训练与评测，声学是否既可懂又有挑战。表后解释是：8800 段与 1329 小时在公开临床音频中属大体量，且每段附约 37 个事件，支持长上下文研究；可懂性由 Whisper 湿音频 2 到 3% 保证下限，挑战性由 Qwen3-ASR 的 10 到 14% 与 Opus 压缩损失体现。但未胜出项是声学难度可能仍不及真实诊室，Whisper 过低的错误率本身就是作者承认的局限，不能把合成难度直接推广为真实难度。

主结果显示级联为何仍明显领先，端到端差在哪里？

参考病历本身先被验证可用。参考无关裁判给出参考病历忠实度 5.0 满分，覆盖度 4.2、结构 4.5、简洁性 3.8，说明事实表加只读事实表写作的约束确实压住了幻觉，每断言幻觉率约 1%。这是后文把参考当训练与评测信号的前提，但也要注意裁判与参考生成同用 Kimi K2 Thinking，可能存在同模型偏好，原文未量化该偏差。

在测试的开权重系统上，端到端与级联在覆盖度与结构上接近，但在忠实度与简洁性上拉开差距。子集维度上 Whisper 加 Qwen3 思考版忠实度 3.3、覆盖度 4.3、结构 4.0、简洁性 3.5；Qwen3-Omni 指令版忠实度 2.7、覆盖度 4.3、结构 4.3、简洁性 3.0；Qwen3-Omni 思考版忠实度 2.7、覆盖度 4.2、结构 4.0、简洁性 3.1。更关键的是每断言幻觉率：端到端约 32%，级联为 22 到 24%，参考为 1%。作者据此判断受测系统均不可部署，级联在实践中更可取，因为更高的忠实度与更低的幻觉率直接关系到临床安全。

参考相关指标呈现反例：端到端在 ROUGE 与医学概念上可持平甚至更高，但作者不将其视为胜利，因为这些指标不惩罚无支撑的流利扩展。这正是需要双 family 指标的原因：只看重叠会得出端到端更好的错误结论，回原文核对才会暴露 32% 幻觉。重提结果时新增的适用条件是：当转写已接近天花板，瓶颈不在听清，而在对长 noisy 对话的推理与克制书写。

事实抽取表 × SOAP 病历生成： 事实抽取表分工是把带说话人归属的文字对话压缩为每条事实附原文引用和轮次编号的结构化 JSON，作为唯一真源；SOAP 病历生成分工是只读事实表、用规范临床语言改写但不增加新临床内容，搭配理由是切断模型直接读长对话时自由发挥物理查体和随访计划的路径，组合意义是用流程约束把幻觉控制在可核对范围内。

哪些对照与失败条件支撑方法选择？

围绕文本与声学的关键选择，原文给出了已验证对照而非事后推测。文本侧多轮对单次的对照已在 2800 段子集上量化，人际挑战度与双方画像依从性均提升，这是保留多轮的直接依据。风格控制上直接提示强调面对面口语有中等效果而被保留，少样本模仿真实模拟录音因个性与话题泄漏且未降低复杂度而被排除，这是一个明确的负结果，说明少样本不是万能。

声学侧用不同识别器揭示难度来源。同一湿音频上 Whisper Large V3 为 2 到 3%，Qwen3-ASR 为 10 到 14%，差距主要来自替换与删除，且 Opus 压缩加重后者，支持音频可懂但具挑战的判断。嗓音年龄估计也是失败条件：用 Qwen 3 Omni 估计年龄段后听辨发现老年嗓音常不准，因此退回随机年龄分配，说明模型估计不能替代人工听辨。

病历侧用流程约束对抗两类已观察幻觉：虚构更详细的查体与随访计划，以及把普通感冒写成病毒性疾病这类无支撑的术语升级。事实抽取加只读事实表、现病史与既往症回顾严格分离、评估与计划收紧、排除非临床行政内容，都是来自临床反馈的修复动作。未报告的是若去掉事实表幻觉率会上升多少，原文没有该消融数字，不能补写拿掉后必然怎样，只能说约束的存在与参考 1% 幻觉率相关，而非因果证明。

下表把计算与难度代价放在同一框架下，便于复现前评估预算与风险，数字均来自原文连续叙述而非推算。

环节与条件计算或难度指标基线表现本方法表现比较对象
病历生成硬件约 300 GPU 小时两块 A100 40 GB级联与端到端推理Qwen3-30B-A3B 经 Ollama
湿音频可懂性词错误率区间Whisper 2 到 3%Qwen3-ASR 10 到 14%同一批压缩音频
参考病历幻觉无支撑扩展喜编查体与随访事实表约束后约 1%端到端约 32%

表后解释是主要收益与具体代价：收益是全开权重可复跑且参考忠实度高，代价是 2500 加 300 GPU 小时的合成与推理预算，以及 Kimi 推理走云端不计入预算带来的成本不透明。未评测边界是多方场景、口音条件化嗓音与更自然的轮替模式，原文列为未来工作，当前两说话人、英语、首诊初级保健的结论不能外推到其他语种与专科。

哪些边界会让结论失效，缺了哪项验证？

第一个局限是参考病历由大模型生成而非医生撰写。即使忠实度达满分，仍可能在内容选择与评估信号上引入系统性偏差，且裁判与生成同源可能放大该偏差。缺的验证是医生撰写参考与人工盲评的对照，缺失证据不是技术错误，但在此之前不能宣称参考质量等于医生水平。

第二个局限是覆盖范围窄：仅英语、仅两说话人、仅初级保健首诊。护理者、护士加入的多方场景、口音化嗓音、远程与面对面差异均未覆盖，相关性不能当因果，总体趋势不等于每组都成立。

第 3 个局限是声学仿真可能未复刻真实难度。Whisper 在湿音频上小于 3% 的词错误率反而成为反证，说明仿真到真实的直接对比仍待完成。推理开销、输出帧率与实际延迟也未测量，不能承诺延迟或成本改善。训练资源与推理开销应分开讨论：2500 小时是离线合成 1 次性成本，300 小时是批量推理成本，都不等于在线问诊的实时延迟。

资源状态是另一项必须如实交代的边界。本次收到的官方资源记录显示数据集与 3 个复现模型链接均为本次未能确认可达，状态为暂时不可达。因此不能写当前可用或已公开，只能写论文声明将发布于 Hugging Face，测试集保留至 2026 年 12 月，实际可达性需读者自行再次核对。

要复现这条流水线，先准备什么，按什么顺序跑？

先按信息条件准备 4 类输入：724 主诉列表与画像取值表、Gemma 3 27B 指令版与 SDialog 编排环境、LibriTTS 30 秒嗓音库与性别标签、房间脉冲响应与 66 类事件库及 scaper 对话变体与 PyRoomAcoustics。第一步抽样 300 画像并 1 次性固定嗓音匹配，保证训练、验证、测试说话人不相交；第二步多轮生成文字对话并保留舞台提示；第三步用 Qwen3-TTS 1.7B 合成干声并做峰值归一化与 ASCII 归一化；第四步经强制对齐映射事件偏移，拼时间线后卷积房间脉冲响应、加背景噪声、做患者声压 1/4 衰减与 16 kbps Opus 压缩；第五步用 Kimi K2 先抽事实表再只读事实表写 SOAP，并用同一裁判做原子断言回检。

关键超参数与信息条件要原样保留：干声词错误率小于 2% 作为合成基线门槛，湿音频用 Whisper 与 Qwen3-ASR 双识别器核对难度，病历侧保留现病史与既往症回顾分离、评估与计划收紧、禁写行政琐事。原文报告定量主结果的表格不能用配置表替代，复跑时必须同时跑可部署的级联与端到端基线，不能只报搜索最优或事后最优。

区分 3 种 openness：代码开源、权重下载与系统可运行是不同命题。本文声称全开权重与数据代码将公开，但本次未能确认链接可达，复现前应先验证 Hugging Face 数据集 Play-Your-Part/Synth-DoPaCo 与 Qwen 相关权重的可下载性，再评估 2500 加 300 GPU 小时的预算是否具备。若任一环节缺失，应报告具体缺项而非用相似模型替代后仍称复现原文。

何时值得尝试这套合成思路，还需补哪项验证？

当你的任务同时满足三点时值得尝试：需要长于 5 分钟的连续音频推理、开放生成允许多种正确写法、真实数据因隐私无法分发。此时可借用本文思路，用画像抽样换多样性、用多轮扮演换人际难度、用事件时间线加房间仿真换声学可控性、用事实表隔离换可核对的参考。反之若任务是短指令或单句转写，这套重型仿真的收益有限，不必照搬。

复现后最优先补的验证是仿真到真实的对照：在小规模真实或演员模拟诊室录音上跑同一裁判，检查级联优于端到端的差距是否保持，以及 Whisper 低错误率是否掩盖了真实噪声下的推理失效。其次补医生盲评，解开生成与裁判同源的潜在耦合。最后再扩展多方、口音与专科，论文特有的误解在于把 UTMOS 接近真实误读为难度等同，实际上那只是感知自然度，临床推理难度仍需独立测量。

回到中心判断：合成没有解决临床安全问题，它只是让长音频推理的失败变得可定位、可比较。32% 对 22% 对 1% 的幻觉梯度说明，听清之后如何克制书写才是当前瓶颈，这也是后续训练与强化学习应聚焦的信号。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1
  • 评分模型：muse-spark-1.3-contributor
  • 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总