同音不同形都算对吗：临床多文字变体的评测与训练一致性

英文题目：When Multiple Script Matters: Evaluating ASR in Clinical Settings

会议身份：conference:interspeech:2026:conference-paper-id:seo26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#医疗音频 #基准测试 #基准设计 #多语言 #语音识别

评分：5.9/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：数据集与基准

👥 作者与机构

• Jean Seo：机构信息未能从会议 PDF 纯文本可靠映射
• Minkyu Kim：机构信息未能从会议 PDF 纯文本可靠映射
• Jeonguk Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Jisoo Jung：机构信息未能从会议 PDF 纯文本可靠映射
• Wooseok Han：机构信息未能从会议 PDF 纯文本可靠映射
• Eunho Yang：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

非英语临床自动语音识别（Automatic Speech Recognition, ASR）的输入为韩英混杂的医患对话音频，输出为转写文本，难点在于同一英语医学术语存在英文原形与韩文音译两种合法书写，声学实现相同但单参考词错误率（Word Error Rate, WER）会误判为错误。本文构建临床基准MultiClin的方法链为先从ACIBench、Primock57、MTS-Dialog收集英文医患对话并用生成模型标注三类可变实体，再将其余文本译为韩文并保留实体的英文原形加韩文音译双形式，接着由护理背景人员校对并用参数化语音合成加混响与暖通噪声仿真生成对话音频，最后用动态多参考解析算法在预测窗口内为每个实体选择局部字符错误率（Character Error Rate, CER）更小的合法形式。该机制与传统单参考及通用代码切换评测的关键差异在于承认正字法多对一映射并做实体级局部对齐，因而更贴近临床可接受答案集合。零样本评估显示Gemini 2.5 Pro在全多书写感知设置下CER为4.86%、WER为15.78%，相对严格单参考的24.23%和28.28%大幅下降，Whisper Large v3 Turbo在100%音译统一微调后最优CER为6.16%。结论仅适用于韩国语境下合成语音与医学术语（MEDICAL）、数值（NUMBER）、单位（UNIT）三类受控实体的评估，未验证真实录音、其他语种及病历生成等下游任务的外推效果。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么：临床录音为何不能只看一版文字答案？

这篇论文研究的是非英语临床环境下的自动语音识别，也就是把医生与患者的对话录音转写成文字。输入是连续的临床对话音频，包含医生、患者以及偶尔出现的家属代述，场景有门诊问诊、检查解释和用药交代，背景中可能有混响与空调噪声。目标是输出逐句的逐字转写，供病历书写与流程记录使用。必须保留的信息是医学术语本身不能被改写或概括，因为剂量、器械名、诊断名一旦转写偏差就会影响下游理解。输出是纯文本转写，不带说话人标签，不做摘要。

学习依赖的第一步是理解评测假设。常规词错率假定每句话只有一个标准答案，假设输出与参考逐词比对即可。但在韩语临床对话中，英语来源的医学术语既可以直接写英文原形，也可以写韩文音译，两种写法发音相同、语义相同，都是合法转写。举例来说，论文中的 brace 一词既可保留英文 brace，也可写成韩文音译形式，数字 6 既可写阿拉伯数字 6，也可写韩文육。若参考答案只保留其中一种，识别出另一种合法写法的系统会被计为错误，这就是单参考评测低估真实性能的来源。

多文字变体 × 语码转换： 多文字变体指同一段语音对应两种合法写法，例如 brace 写成英文 brace 或韩文音译브레이스，声学实现相同而正字法不同；语码转换指说话人在两种语言的声学实现之间切换。论文区分二者分工：前者是评测时参考答案的多对一映射问题，后者是建模时声学语言切换问题。搭配理由是临床韩语中大量英语术语以原形或音译出现，若沿用语码转换的单参考思路会把合法变体判错，因此需要把多文字变体单独作为评测对象，与语码转换的建模方法解耦。

因此本研究的目标不是提出新的声学模型，而是先修评测，再看训练。作者构建名为 MultiClin 的韩语临床基准，每个多文字实体同时保存英文原形与韩文渲染，评测时动态选择与假设更接近的一方作为参考。研究生复述时要抓住这条线：任务是临床对话转写，难点是同一声音对应多个合法正字法，方法是多参考评测加标签一致性分析，证据是零样本推理与不同音译比例微调的对照。

已有路线做了什么：语码转换建模与单参考基准为何不够？

与本任务最接近的第一条路线是多语与语码转换识别。已有工作关注建模与数据增强，例如双文字端到端框架、面向端到端连接时序分类模型的语码转换、语言 diarization 辅助双语声学训练，以及零样本语码转换识别与合成链。这些工作默认难点在声学层面出现语言切换，需要模型在解码中处理语言交替。按同输入、同目标、同监督对照，它们与本文输入都是语音、目标都是转写，但在监督假设上不同：它们通常仍用单一参考评估，本文则把监督与评估都扩展为多参考。

第二条路线是评测方法。通用语码转换基准通常只提供单一标准转写， transliteration 方法与 transliterated 词错率已在通用语码转换与方言变体上尝试放宽匹配，但论文指出这些方法主要在通用领域验证，临床多文字场景基本未被探索。归一化方案在临床文档实践不一致、领域标准语料稀缺时难以落地。也就是说，已有评测要么坚持单参考，要么只在通用领域做音译容错，没有覆盖韩语临床术语这种高频、领域敏感的多文字现象。 本文的定位是补评测缺口而非替换声学建模。

作者明确沿用现有识别架构做零样本推理，把创新放在基准构造与动态选参考指标上，并进一步用受控的标签一致性实验说明训练端的影响。复述时不要把本文说成提出了新的预训练模型，它实际调用的是 Whisper、Qwen3 ASR 与 Gemini 等既有模型，贡献是数据组织方式与评估协议。

问题如何形式化：多对一映射怎样让字符串匹配失效？

把问题写具体。设声学输入为 X，理想转写为 Y。在单文字假设下，P(Y|X) 被认为集中在唯一的参考字符串上，词错率通过编辑距离直接度量偏离。但在多文字临床场景，同一个 X 对应集合 Y 中的多个合法字符串，例如英文 brace 与韩文音译并存，数字与单位在阿拉伯数字、符号与本地文字之间并存。此时单参考只取集合中一个元素作为标准，凡输出集合中另一合法元素即被计错。

论文把这种现象与常规语码转换区分开。语码转换是声学交替，评测仍可按实际说出的语言逐段比对；多文字变体是声学实现相同、正字法不同，错误完全来自参考选择而非发音识别错误。因此严格字符串匹配在系统层面造成系统性惩罚： phonetically 与语义正确但正字法不同的输出被判错。教学例子是：医生说 about 6 weeks，数字 6 写成 6 或육都应算对，器械 brace 写成 brace 或브레이스都应算对。

若参考只写其中一种，另一种即便发音全对也会产生替换错误。 该形式化直接导出两项任务。评测任务是为每个实体动态确定合法参考子集，再计算误差；训练任务是研究标签中混排比例如何改变 P(Y|X) 的不确定性。论文用条件熵解释后者，50% 混排时两种写法概率接近，熵最高，模型最难收敛。

方法全景：一条样本如何走完标注到评测？

先沿一个样本走完全流程。原始输入是一段英文医生患者对话，例如患者问需要戴支具多久，医生回答大约 6 周。第一步是标注，用大模型识别其中的文字切换实例并分为 3 类：MEDICAL 表示英语来源医学术语，无论是罗马字母原形还是音译借词；UNIT 表示测量单位的本地文字或标准符号，例如百分号与厘米；NUMBER 表示数字的本地文字或阿拉伯数字写法。

标注后原文如 brace 被包上标签，6 被包上数字标签。 第二步是翻译加转写。非标签部分完整译成韩文，标签跨度保留原形并追加韩文渲染，中间用逗号不加空格分隔，例如 injection 与其韩文音译并列放在同一标签内。论文强调这一步是 transliteration 而非 translation，即标签内只换文字体系不换词，标签外才是完整翻译。第三步是人工校对，由 2 名有护理背景的标注者检查正字法、翻译忠实度与自然度，分歧经协商解决，形成 316 段终版对话。

第四步是语音合成。为遵守健康保险流通与责任法案对真实临床音频发布的限制，作者用语音合成模型生成对话音频，按角色映射不同说话风格，医生用专业语调，患者用倦怠语调，并用提示使多文字跨度符合本地语调，再加入重叠、应答延迟以及混响与暖通噪声的数字信号处理链，所有音频重采样到 16 千赫。第五步是识别与评测，调用既有识别模型生成假设，再用动态多参考算法为每个标签选择原形或韩文渲染之一作为临时参考，最后计算字错率与词错率。

评测组件如何计算：窗口、最长公共子串与游标怎样配合？

评测组件的输入是带标签的参考、识别假设与窗口大小 50 字符，以及每类标签的评估模式。模式分为只用原形的 original 与允许二选一的 both。输出是动态消解后的最终参考，后续误差都基于该参考计算。计算目标是在每个实体处选择与假设局部最接近的合法写法，以消除合法正字法差异带来的惩罚。 具体操作按实体顺序推进并维护一个游标。

游标指向假设中当前已消费到的字符位置，保证后一个实体只在前一个实体之后寻找，避免跨序匹配。对当前实体，算法从游标起截取最多 50 字符的假设窗口，分别计算英文原形与韩文渲染在该窗口内的局部字错率。实现上先用最长公共子串在窗口内定位目标实体的大致起止，再在该子串范围内计算字错率，从而减少周围转写错误的影响。选择局部字错率更小的一方写入最终参考，并把游标前移到该次匹配的结束位置。若假设已消费完，则回退为原形。

动态多参考消解 × 局部字错率： 动态多参考消解负责对每个标注实体在英文原形和韩文渲染之间二选一，生成与当前假设最匹配的临时代理参考；局部字错率负责在 50 字符窗口内用最长公共子串定位后再计算实体级字错率，作为二选一的依据。二者搭配的原因是全局对齐会被周围误识带偏，局部比较能减少时序错位影响。组合意义是先定位再打分，使评测只比较实体本身的正字法是否合法，而不惩罚位置漂移。

需要指出原文未给出的细节。论文没有报告该算法中字错率与词错率是分别选参考还是共用同一选择，也没有给出窗口取 50 的消融，复现时应固定为 50 并记录。若假设中实体缺失或严重错位，最长公共子串可能定位到错误片段，此时局部误差仍会计入，这是该方法的边界，论文未单独量化定位失败率。

没有从零训练时：合成、标注与微调各自更新了什么？

本研究没有从零预训练声学模型，训练含义需分 3 段说明。第一段是数据构造中的模型调用，用大语言模型做标签、翻译与专科推断，用语音合成模型生成音频，这些调用不更新识别模型参数，只是产生基准数据，不存在识别模型的梯度路径。第二段是零样本推理，直接调用 Whisper large-v3 与 v3-turbo、Qwen3 ASR 0.6B 与 1.7B、Gemini 2.5 Flash 与 2.5 Pro，论文对 Gemini 明确设置采样温度为 0.0 并要求 JSON 格式输出转写句数组，对 Qwen3 ASR 设置最大生成长度 65536 词元并限制最大推理批尺寸以避免长音频内存溢出，这些都是推理配置而非训练。

第 3 段才是参数更新的微调实验，仅针对 Whisper 模型使用低秩适配训练 4 轮，批尺寸为 4。监督来源是 MultiClin 按 9 比 1 划分后的训练集，关键是采用 100% 音译比例，即所有 MEDICAL、NUMBER、UNIT 实体统一为本地文字，以最大化标签一致性。论文未报告低秩适配的秩、学习率、优化器与冻结范围等超参数，也未说明是否重置解码器或只更新适配器，因此不能从模型名称推定具体实现。复现时应把缺项记为未报告，先按 100% 统一标签复现数据侧，再补超参数搜索。

音译比例 × 条件熵： 音译比例指训练标签中有多大比例的标注实体被统一转写为韩文，例如 0% 全保留英文与数字原形，100% 全转韩文；条件熵 H(Y|X) 指给定声学特征 X 时标签 Y 的不确定性。论文用条件熵解释音译比例的分工：比例决定监督信号是否确定，熵度量这种不确定程度。搭配理由是 50% 混排时同一声音对应两种写法概率相近，熵最大，解码器难以形成稳定决策边界；100% 统一时映射确定，熵最低，学习信号最稳定。

另一组受控实验是音译比例消融，训练 Whisper large-v3 时分别取 0%、25%、50%、75%、100% 五档，观察 held-out 测试集误差。这组实验的计算过程是同一架构、不同标签分布下的重复训练，用于验证标签不一致是否增加正字法不确定性。

实验条件如何保证可比：数据、划分、基线与指标方向是什么？

数据侧按原文交代。初始收集来自 ACIBench、Primock57 与 MTS-Dialog 的公开医生患者对话，排除虚拟助手，只保留医生与患者互动，初始语料为 1487 段对话。经标签筛选保留至少含一个 MEDICAL、NUMBER 或 UNIT 的 1417 段，再人工去除不自然或幻觉对话，最终 316 段。每段平均 34 轮、68 句，平均每段 MEDICAL 标签 44 个、NUMBER 标签 6 个、UNIT 标签 1 个。说话人构成以单医生单患者为主，共 268 段，另有医生患者家属等组合。

专科分布以骨科 95 段、家庭医学与全科 34 段、神经科 30 段为前三，其余覆盖泌尿、心内、呼吸等多科。音频为合成 16 千赫对话语音，含重叠与环境仿真，与真实临床录音仍有声学差距。 模型与推理条件如前所述，三大家族 6 个具体版本同测同一测试音频，区别仅在评估模式。评估模式是 3 维开关：Medical、Number、Unit 各自取 original 或 both，例如 Medical 取 both 表示医学术语允许二选一，取 original 表示只认原形。指标为字错率与词错率，方向都是越低越好。

微调划分是 9 比 1 独立测试集，微调标签统一为 100% 音译，训练 4 轮。

词错率 × 字错率： 词错率以词为单位计替换、删除、插入，数值越高表示按词面完全匹配越差；字错率以字符为单位计编辑距离，对韩文与英文混排的细粒度拼写差异更敏感。论文同时报告二者分工：词错率反映可读转写的整体代价，字错率反映实体内部音译是否接近。搭配原因是多文字变体常是词级合法替换但字符级部分重合，只看词错率会把合法变体判全错，只看字错率又可能低估词边界错误，因此需要对照阅读。

统计方法与硬件预算在原文中未报告，没有给出多次运行方差、显著性检验与推理耗时，复现时应明确标注缺项。以下两张表分别承担主结果与标签一致性证据，数据表不能替代结果表，比较均保留原文实际可运行策略，不用事后最优代替可部署收益。

数据细节如何复核：316 段从何而来？专科是否偏斜？

该节承担数据协议的可重放性，问题是最终 316 段是否可追溯，以及专科偏斜是否影响结论外推。来源是 3 个公开英文对话集，初始 1487 段，筛选含标签后 1417 段，人工清洗后 316 段。下表用原文连续原句覆盖关键规模数字，不添加无源的划分比例细节。

论文报告显示，过滤分两个阶段，先按标签自动筛，再人工去幻觉；说话人以单医生单患者 268 段为主；专科以骨科 95 段占比 0.301 最高，其次为家庭医学与神经科，另有 8 个小专科合并为其他 14 段。

表后解释是：偏斜意味着骨科器械与处置术语权重更高，多文字收益可能在骨科词汇上更显著；代价是儿科、急诊等低频专科样本少，跨专科泛化未单独报告。复现若重采样应保持专科分层，否则平均误差会被骨科主导。百分点与相对百分比在此不混用，所有比例均按原文小数保留。

主结果测了什么：多参考评测带来多大变化？谁没赢？

主结果要回答的问题是：在相同假设下，仅把评估从严格单标签匹配切换为多文字感知，误差是否系统性下降，以及不同模型与不同标签类型的贡献是否一致。公平条件是同一模型、同一音频、同一假设，只改变参考选择逻辑。指标方向为字错率与词错率越低越好。下表整理论文用连续原句逐字覆盖的关键数字，均为实际可运行模型的零样本表现，不含搜索最优或 oracle。

论文报告显示，从严格单标签匹配转向多文字感知评估，误差在所有模型上大幅下降。例如 Gemini 2.5 Pro 的词错率在医学术语放宽后从 28.28% 降至 15.78%，完整多文字设置下 Qwen3 ASR 1.7B 为 37.01% 词错率，开源中 Whisper v3 Turbo 以 23.00% 词错率表现最稳健，Gemini 2.5 Pro 以 4.86% 字错率最优。表后解释是：主要收益来自 MEDICAL 标签的放宽，数字与单位放宽影响较小。

代价是这种下降并非模型能力提升，而是评测不再惩罚合法变体，因此不能解读为声学识别进步。未胜出项是 Qwen3 0.6B，其误差显著高于同家族 1.7B，说明规模仍起作用；限制是合成语音与韩语单一语种，结论外推到真实噪声与他语种时待验证。

标签一致性消融：混排比例如何改变误差与收敛？

消融要回答的问题是：训练标签中混排比例不同，held-out 测试误差是否非单调变化，以及 100% 统一是否始终最优。比较对象是同一 Whisper large-v3 架构在 0%、25%、50%、75%、100% 五档音译比例下的微调结果，测试集固定，指标仍为字错率与词错率越低越好。下表只收录原文连续原句逐字给出的数字，其余档位见正文描述而不硬填。

论文报告显示，0% 比例因标签全用罗马字母或阿拉伯数字而其余为韩文，误差最高；随韩文比例上升误差非单调，50% 出现次高峰；100% 统一时最优。

表后解释是：混排引入正字法歧义，50% 时条件熵最大，解码器难以形成稳定决策边界；100% 统一消除交替复杂度，微调获得最大绝对下降，标准 Large-v3 在多文字评估下降达 6.33 个百分点，Turbo 达 6.16% 并下降 3.83 个百分点。代价是 100% 统一是训练端的人为规范，推理时真实文档仍可能混写，因此训练收益不等于部署时无需多参考评测。未评测边界是 25% 与 75% 的完整机制解释，论文只给数字而未分析中间态的熵曲线。

脚本统一 × 微调： 脚本统一指把训练集中所有 MEDICAL、NUMBER、UNIT 实体按固定规则写成同一文字体系，本研究取 100% 转韩文；微调用低秩适配在该统一标签上继续训练 Whisper。分工是脚本统一提供确定性监督以消除正字法歧义，微调负责把这种一致性注入声学到文字的映射。搭配理由是若标签本身混排，微调会同时学到两种写法而增加不确定性；只有先统一，微调的梯度方向才一致，评测时再用多参考容忍合法变体。

边界在哪里：合成语音与单语种带来哪些未验证？

直接报告的限制有三项。第一，音频为合成而非真实临床录音，尽管加入了重叠、应答延迟、混响与暖通噪声并做口音提示，论文仍承认合成与真实存在声学差距，真实环境下的重叠、远场与设备噪声未被测量。第二，语种为韩语单点验证，英语术语加韩文音译的模式是否适用于阿拉伯语、日语等其他多文字临床环境，论文未做跨语种实验。第三，统计与成本缺失，没有报告多次随机种子方差、显著性、训练耗时、推理延迟与显存占用，因此不能承诺延迟或成本改善。

有限解释是作者把 50% 误差峰解释为条件熵最大导致对齐 disrupted，但熵值本身未被直接估计，只是用误差非单调作为支持，属于机制假设而非测量，表述上应为可能而非证明。未验证推测是下游任务影响，结论称未来应考察对实体抽取与 SOAP 病历生成的影响，但本文未测量下游指标，不能把转写误差下降等同于病历质量提升。 另一个特有误解是把多参考下降当作模型进步。

论文明确这是评测更公平而非能力提升，若在论文间比较，必须注明评估模式是否同为 both，否则跨表比较无效。不同指标差值也不能混放，例如字错率下降几个百分点不等于词错率同等下降，需分别阅读。

复现先做什么：按什么顺序固定数据、评测与训练？

复现顺序建议按学习依赖倒排，先固定评测，再固定数据，最后做训练。第一步复现动态多参考算法，窗口固定 50 字符，实现最长公共子串定位加局部字错率二选一，并维护游标防止跨序匹配。先用论文示例 brace 与数字 6 的双写法做单元测试，检查 original 与 both 两种模式是否分别回退原形与二选一。记录定位失败率，因为原文未报告该量，复现时需补。 第二步重建数据划分。

按 9 比 1 划分 MultiClin，训练标签统一为 100% 本地文字，保留英文原形与韩文渲染的对照字段以供评测时二选一。推理配置按原文固定：Gemini 温度 0.0 并解析 JSON 句数组，Qwen 最大生成长度 65536 并限制批尺寸，Whisper 经 faster-whisper 调用。保留关键超参数缺项清单，包括低秩适配秩、学习率、优化器与冻结范围，训练轮数 4 与批尺寸 4 按原文固定。 关于可用性必须如实说明。

论文正文写数据集与代码已公开并给出链接，但本次收到的验证资源状态为未发现完成超文本传输安全协议状态验证的绑定资源，因此不能声称代码、模型或数据当前可用或已公开，复现前应把该链接记为本次未能确认可达，需自行按论文描述重建流程或另行确认可达性后再下载。区分代码开源、权重下载与系统可运行三者，本研究的可运行部分至少需要合成音频链与评测脚本同时就绪。

何时值得尝试：谁该用多参考？谁该先统一标签？

何时值得尝试取决于你的数据是否出现同一声音多种合法写法。若你的临床转写中英语术语既有原形又有本地音译，或数字在阿拉伯数字与本地文字间摇摆，且参考只保留一种，那么单参考词错率会系统性高估错误，此时应先引入多文字感知评测，再谈模型改进。若你的文档规范已强制统一为一种写法，则多参考收益会变小，重点应放在声学与领域适配上。 复现优先级是评测先行。

先实现 50 字符窗口的动态选参考，确认 Gemini 级别模型在放宽后是否出现类似从 28% 量级降至 15% 量级的落差，再检查开源模型是否在 23% 与 37% 量级分层。若落差不存在，应先查标签覆盖是否遗漏 MEDICAL 类型，而非直接调大模型。训练侧若标签混排严重，应先做 100% 脚本统一微调，预期在 Whisper 上获得数个百分点的字错率绝对下降，但需保留多参考评测，因为部署时仍会遇到混写。 还需补的验证有三项。一是真实录音复测，以确认合成上的公平性结论在真实噪声下成立。

二是跨语种复测，至少在一个非韩语多文字临床场景重复 original 与 both 对照；三是下游任务测量，把转写改进与实体抽取、病历生成指标联动报告。只有补齐这三项，才能把评测公平性转化为临床可用性判断。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总