📄 喉镜前只听声音能做什么:听觉大模型辅助医生预分类的配对读片研究

英文题目:Clinician Assessment of Laryngeal Disease with Auditory AI before Laryngoscopy: A Paired Reader Study

评分:6.7/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 0.5/1.5 | 开源 0/1.5 | 可复现 0.5/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Siyuan Hou:Department of Electronic Engineering, Tsinghua University, Beijing, 100084, China
  • Shuting Yang:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Zengrui Jin:Department of Electronic Engineering, Tsinghua University, Beijing, 100084, China
  • Liyu Cheng:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Siyin Wang:Department of Electronic Engineering, Tsinghua University, Beijing, 100084, China
  • Yunhan Shi:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Xueyan Li:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Rong Hu:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Yuhong Lin:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Qiyu Chen:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Yanru Li:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Ji Wu:Department of Electronic Engineering, Tsinghua University, Beijing, 100084, China
  • Bowen Zhou:Department of Electronic Engineering, Tsinghua University, Beijing, 100084, China;Shanghai Artificial Intelligence Laboratory, Shanghai, 200030, China
  • Mangsuo Zhao:Yuquan Hospital, School of Clinical Medicine, Tsinghua Medicine, Tsinghua University, Beijing, 100040, China
  • Wen Xu:Department of Otorhinolaryngology Head and Neck Surgery, Beijing Tongren Hospital, Capital Medical University, Beijing, 100730, China
  • Chao Zhang:Department of Electronic Engineering, Tsinghua University, Beijing, 100084, China;Shanghai Artificial Intelligence Laboratory, Shanghai, 200030, China;Department of Human Communication Sciences, University College London, London, WC1E 6BT, United Kingdom

📌 核心摘要

持续性声音嘶哑在喉镜检查前需依据声音形成可能病因的初步判断并识别疑似癌前或恶性病变,声音特征重叠使仅凭听觉的七分类判断难度较大。本文输入是喉镜检查前常规嗓音评估已可获得的持续元音与朗读录音、患者信息和声学测量,输出是患者级评估卡上的暂定分类、嗓音质量评分与文字依据,以及单独计算的恶性风险提示。模型先把同一患者的不同录音及其拼接组合分别判读为分类、嗓音质量评分与文字依据,再把各次判读输出送入投票汇总为患者级暂定分类与均值评分,最后在评估卡上展示各类别得票数与判读间一致比例,恶性提示按另行阈值单独计算而不显示。32名耳鼻喉科临床医生先独立给出七分类,1至2周后对照评估卡复核原结论。在195例留存测试集上产生的800人次配对判读中,复核后分类准确率从49.8%升至56.8%,差值为7.0个百分点。该增益限于单中心普通话队列、七类判读与耳鼻喉科医生读者条件,模型错误时复核准确率更低且43人次由对改错,恶性提示在留存测试中仍漏检5例。顺序复核设计不能排除重测效应,恶性提示仅经独立验证而未与医生联合测试,对外院、非筛选性嘶哑人群与非专科医生的适用性未知,多判读推理仅在服务端图形处理器离线运行而临床延迟与资源需求尚未确定,需随机多中心研究进一步验证。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录,开放状态尚未核实。

可达状态仅表示本次链接检查结果,不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

声音嘶哑后医生在喉镜前要做哪两个判断

持续声音嘶哑可能来自结构性、功能性、神经性或肿瘤性等多种喉疾病,它们的声音表现有重叠,确诊要靠喉镜,指南建议嘶哑超过 4 周或怀疑严重病因时做喉镜。在看到喉部之前,医生其实要做两个要求不同的预判。一是暂定最可能的类别,例如是良性声带病变、功能性发音障碍、单侧声带运动障碍、沟纹声带、癌前或恶性病变、痉挛性发音障碍,还是健康对照,这个判断会影响是否加做频闪等检查。二是判断是否要怀疑癌前或恶性病变,这个判断更不能漏诊,可能促使更早做喉镜或窄带成像。

论文引用既往工作说明这两个预判都不可靠。有研究让 6 名喉科医生只看病史和体检不定声音,结果正确诊断率只有 5%,识别癌症只有 33%。耳鼻喉和嗓音门诊常规会做标准化嗓音评估,包括持续元音/a/和/i/以及一段标准普通话句子的录音,加上抖动、微闪等声学测量,这个环节不依赖喉镜结果,正好是决策支持可以介入的时间点。已有的嗓音人工智能多是报告独立算法准确率,没有回答是否改变医生的决策。

在其他诊断任务中,辅助有时有效,有时即使独立性能很强也无帮助,模型错时还可能把医生带偏。净效应取决于医生和模型的错误是否互补,平均准确率上升本身不能说明改对了多少、改错了多少。

论文要回答的具体问题是什么

论文要回答的是,在喉镜前的标准化嗓音评估之后,一个能听音频的听觉大语言模型生成的患者级评估卡,是否能提高耳鼻喉医生对 7 个类别的预分类准确率,以及医生在什么情况下会跟随模型、什么情况下会被带偏。同时论文还单独评价了一个预先设定为偏向敏感性的恶性预警,它能否在两个队列中 flagged 出多数癌前与恶性病变。

需要强调任务边界。输入严格限定为喉镜前可得的信息,包括录音、患者信息和常规声学测量,不给喉镜图像和最终病理。输出是预分类和风险提示,不是确诊。读片研究只测试了评估卡上的暂定类别,没有给医生看恶性预警。测的是分类是否与参考类别一致这个替代指标,没有测量是否改变了检查或转诊决策,也没有测量患者结局。结论成立的前提是单中心、普通话队列、限定 6 种疾病加无声嘶健康对照、医生读者为耳鼻喉专科人群。

从嗓音评估到评估卡和预警的整体流程

每个患者在喉镜前先完成标准化嗓音评估,包括持续/a/、/i/和朗读标准普通话句子,采样率至少 44.1 千赫 16 位,录音后重采样到 16 千赫用于模型,另有年龄、性别、职业、嗓音使用情况和基频、抖动、微闪、噪声谐波比、最长发声时间等常规信息。模型和医生在评价时都只能看到这些喉镜前输入,缺失字段直接省略而不插补。参考类别由耳鼻喉主治医生结合临床评估和频闪确立,必要时用窄带成像,癌前或恶性经病理确认,不一致由 3 名不知模型输出的高年资医生裁定。参考 GRBAS 评分由嗓音治疗师在评估时给出并经高年资复核。

模型以开源听觉大语言模型为起点微调,推理时被锁定,对每个患者的所有录音及其首尾拼接组合分别做一次判读,每次判读输出类别、GRBAS 分数和文字依据,再汇总成患者级结果。暂定类别是得票最多的类别,GRBAS 取多次读片的均值,一致度是支持暂定类别的读片比例。恶性预警另行计算,当支持癌前或恶性的读片比例达到 2/7 及以上即触发,这个阈值是在验证集上保持敏感性至少 80% 前提下能取到的最高阈值,固定后不再改动。

暂定类别 × 恶性预警: 暂定类别是对七个类别做多数投票选出的最可能一类,用于一般的预分类,恶性预警是对癌前或恶性这一类单独设低阈值的风险标记,即使暂定类别不是恶性也可能触发,前者求整体分对,后者宁可误报也要少漏掉高风险,两者分工不同。

下面这张设计图把临床时间窗、模型训练与锁定推理、评估卡样例和两轮读片放在一起,是理解全文分工的关键,先看输入卡在哪里、模型在何时被锁定、医生在哪一轮看到什么。

看图路径: 1. 先看 A 栏从首次就诊嗓音评估到喉镜确诊的时间线,确认 AI 放在喉镜之前;2. 再看 B 栏左侧训练监督来源与右侧锁定推理时输入与输出的对应关系;3. 看 C 栏评估卡四个格子分别放了什么信息;4. 看 D 栏两轮读片间隔和第二轮多给了什么

原论文 Figure 1:Study Design. Panel A shows the intended pre-laryngoscopic point of use, after a standardized…

论文图 1。原论文 Figure 1::“Study Design. Panel A shows the intended pre-laryngoscopic point of use, after a standardized voice assessment, and distinguishes the single-center development cohort…”。

从图中可以看到,A 栏明确把 AI 支持的预评估放在首次嗓音记录之后、喉镜确诊之前,B 栏左侧训练时用了参考诊断、专家 GRBAS 和客观声学表型来构造监督目标,而右侧评估时嗓音任务音频作为模型输入指向听觉大语言模型,模型再输出患者级评估,C 栏评估卡同时展示预测类别、预测一致度、GRBAS 条形图和关键依据,D 栏读片是同一批病例间隔 1 到 2 周先无辅助后有卡复核,且第二轮明确不给恶性预警。

一次读片是什么,患者级结论如何投票得到

理解多次读片是理解本文代价和稳定性的关键。一个原始话语指一次独立采集的录音,一个音频视角指一个原始话语或同一患者同次评估中多个话语首尾拼接的结果。对有 n 个话语的患者,所有非空子集各构成一个视角,最多 2 的 n 次方减 1 个视角,3 个标准话语就是 3 个单话语、3 个双话语和一个三话语共 7 个视角,拼接时话语顺序用固定种子排列。每个视角对应模型的一次读片,生成类别、GRBAS 和依据。留出队列中每人有效视角中位数是 7 个,范围 1 到 63 个,最长拼接视角 34.5 秒,服务器离线批量推理,没有做部署优化。

听觉大语言模型 × 评估卡: 听觉大语言模型负责直接接收音频并连同文字信息生成类别、嗓音质量评分和文字依据,评估卡则是把这些输出整理成医生可复核的一页纸,包括暂定类别、各类别得票数、平均后的嗓音评分、读片间一致度和一条依据,前者是计算过程,后者是交付给医生的交互界面。

患者级暂定类别是对所有有效视角的类别预测做多数投票,若多个类别票数并列则用种子 42 的随机打破并列,留出队列有 5 人出现并列。GRBAS、嗓音 handicap 指数量表和连续音调取多次有效预测的均值,分类音调状态再投票。展示的依据不是重新生成的,而是在已定暂定类别后,按组成原始话语数量从多到少查找第一个预测与最终类别一致的视角输出,优先用包含信息最广的音频样本且保证依据与结论一致。生成依据在推理时没有逐条做临床忠实度审核。

读片间一致度按下面公式计算,它统计的是支持多数类别的读片占有效读片的比例,衡量同一患者不同音频组合下是否稳定,不是校准概率,论文发现它与医生前后准确率差异没有明显关联。

\[C_{i}=\frac{N_{i,\mathrm{majority}}}{N_{i,\mathrm{valid}}},\]

公式中 Ci 是第 i 个患者的一致度,Ni,majority 是投给最终患者级类别的有效视角数,Ni,valid 是该患者有效类别预测总数。恶性预警用的也是类似比例,只是分子换成投给癌前或恶性的读片数,阈值 2/7 约 28.6%。

多次读片 × 读片间一致度: 多次读片指把同一患者的三段常规录音及其各种拼接组合分别送入模型得到多个类别判断,读片间一致度是其中支持最终暂定类别的读片所占比例,它反映同一患者不同音频组合下输出是否稳定,而不是模型确信概率。

模型如何用听感知和声学表型做联合微调

基座是 Qwen3-Omni-30B-A3B-Thinking,一个每 token 激活 3,000,000,000 参数中 30 亿的稀疏混合专家听觉大语言模型,适配用低秩适配,秩 8、缩放 32、丢弃 0.05,只更新适配器相关线性模块。训练分两个一轮阶段,第一阶段偏重通用听觉评估,第二阶段偏重临床嗓音评估和分类并保留 10% 通用数据防止遗忘,有效全局批量 256 和 512,在英伟达 H200 上用固定种子 42 训练。患者级划分先固定,保证同一人所有视角只进一个集合,少数类别在临床训练分区内过采样,多个来源按样本量 0.4 次方加权防止大来源主导。

训练把喉部七分类、GRBAS 5 个维度、音调状态和嗓音 handicap 指数量表等 10 个辅助任务放在统一模型中,另有英语构音障碍严重度和病因数据作为次要任务检验联合训练是否拖累其他任务。每个喉部训练样本把音频、发音任务信息、喉镜前患者信息和客观嗓音测量作为输入,指令要求先评估总体严重度、粗糙、气息、无力、紧张、音调异常和发声不稳,再结合信息给出类别,目标回答包含类别和把听感知与声学表型联系起来的声学依据。依据目标由参考类别、参考 GRBAS、表型规则和裁定类别构造,经规则检查与参考标签和证据字段一致,模板经嗓音医生审阅。

GRBAS 评分 × 声学测量: GRBAS 评分是临床医生对总体嘶哑度、粗糙、气息、无力、紧张五个维度 0 到 3 分的人工听感知评价,声学测量是仪器算出的基频、抖动、微闪、噪声谐波比和最长发声时间等客观数字,前者在训练时作为目标让模型学会感知评价,后者既是输入也是构造训练依据的材料。

开发阶段还比较了依据写法,全输入加自由文本依据的任务专用模型加权 F1 为 0.68,高于规则约束的 0.65 和无依据的 0.59,去掉客观声学测量或患者背景分别掉 0.02 和 0.03,但这些分析都保留了音频,没有分离出原始音频相对患者背景加常规声学测量的增量贡献。最终统一模型选验证集患者级加权 F1 最高的单一检查点,锁定后用于留出测试和读片卡片生成。

数据如何划分,参考标准和评价指标如何定

建模队列来自北京同仁医院嗓音中心 2004 年 10 月到 2026 年 3 月的常规评估,共 1946 人,按类别和性别分层 8 比 1 比 1 划为训练 1556 人、验证 195 人、留出测试 195 人,每人所有录音只进一个集合。时间验证是 2026 年 4 到 8 月同中心新收集的 195 人,未参与建模。纳入要求以声嘶为主诉且最终为 6 种疾病之一,排除合并多种嗓音疾病、既往声带手术或资料不全,健康对照是无声嘶主诉、喉镜正常、术前良性甲状腺手术患者,用同一设备同房间录音。对照不是因声嘶就诊人群,所以健康与疾病 100% 分开不能解读为筛查性能。

留出测试 × 时间验证: 留出测试指同一建模队列中按患者划分、训练时从未见过的 195 人,时间验证指建模完成后 2026 年 4 到 8 月在同一中心新收集的另外 195 人,前者检验同一时期分布下的泛化,后者检验时间后移后性能是否保持。

评价分三层。独立性能以患者级加权 F1 为主要指标并同时报告准确率,GRBAS 用平均绝对误差和组内相关系数,高风险识别用恶性预警的敏感性、特异性、阳性与阴性预测值和基于读片比例的 ROC 曲线下面积。读片以医生与参考类别完全一致为正确,主要结局是 800 对评估中两轮准确率,次要包括宏平均召回和 F1、由错改对与由对改错的转移、恶性敏感性和特异性。统计用读者和患者随机截距的混合效应逻辑回归报告比值比,差异置信区间用读者和患者双向聚类自助法保持配对,次要和交互均未做多重校正,不能当确证结论。

下表是理解结论适用条件的关键,它说明 4 个集合的类别构成基本相近,但时间验证中沟纹声带较少而健康对照略多,癌前或恶性占比分别为 17.9% 和 19.5%,这直接影响阳性预测值的解读。

Reference category, no. (%)
Healthy control154 (9.9)19 (9.7)20 (10.3)22 (11.3)
Benign vocal fold lesions474 (30.5)59 (30.3)60 (30.8)63 (32.3)
Precancerous or malignant lesions284 (18.3)36 (18.5)35 (17.9)38 (19.5)
Spasmodic dysphonia61 (3.9)8 (4.1)7 (3.6)6 (3.1)

表中可见训练、验证、留出和时间验证四列人数均为 1556、195、195、195,参考类别中良性声带病变约 30%、癌前或恶性约一成八、痉挛性发音障碍最少仅 3% 到 4%,时间验证沟纹声带 12 人占 6.2% 明显低于留出的 22 人占 11.3%。这意味着时间验证对沟纹声带和痉挛性发音障碍这类小样本类别的估计很不稳定,后文独立性能下降主要就发生在这两类,不能推广为模型整体退化。

独立模型在留出和时间队列中表现如何

先看整体七分类。留出 195 人中暂定类别对 140 人,准确率 0.72,95% 区间 0.65 到 0.78,加权 F1 也是 0.72,区间 0.66 到 0.78。6 个疾病中敏感性最低是功能性发音障碍 53%,最高是痉挛性发音障碍 86%,20 名健康对照全部判对。时间验证准确率 0.67,区间 0.61 到 0.74,加权 F1 0.68,区间 0.61 到 0.74,宏平均 F1 从 0.74 掉到 0.60,敏感性最低是沟纹声带 12 人中对 4 人和痉挛性发音障碍 6 人中对 2 人,小样本波动很大。数值上高于任务专用模型 0.68 和语音编码器 0.62、传统声学 0.53 的加权 F1,但比较的是已实现系统而非严格同输入架构,不能说只是音频编码器的差距。

高风险识别是另一条线。恶性预警在留出对 30/35 人敏感性 85.7%,特异性 79.4%,ROC 曲线下面积 0.86,漏 5 人;时间验证对 33/38 人敏感性 86.8%,特异性 87.9%,曲线下面积 0.91,同样漏 5 人。如果只用暂定类别是否为癌前或恶性来标记,敏感性只有 74.3% 和 63.2%,分别漏 9 人和 14 人。阳性预测值 47.6% 和 63.5%、阴性预测值 96.2% 和 96.5% 都依赖上述约一成八的患病率,换到低患病率门诊不能直接套用。GRBAS 患者级 5 个维度平均绝对误差 0.25 分,组内相关系数 0.63 到 0.80,患者级好于话语级。

下表把七分类准确率与恶性预警的敏感性、特异性和预测值放在同一患病率下对照,是判断暂定类别与预警分工的核心数字。

MeasureHeld-out test set (N = 195)Temporal validation (N = 195)
Accuracy0.72 (0.65 to 0.78)0.67 (0.61 to 0.74)
Weighted F10.72 (0.66 to 0.78)0.68 (0.61 to 0.74)
Sensitivity, %85.7 (72.7 to 96.7)86.8 (75.0 to 97.1)
Specificity, %79.4 (73.2 to 85.3)87.9 (82.8 to 92.9)

表中留出准确率 0.72 和时间验证 0.67 的差距主要来自宏平均 F1 的下滑,而恶性预警敏感性在两个队列都维持在约 86%,特异性从 79.4% 升到 87.9%。这支持论文的判断,即预警比暂定类别更适合做高风险候选标记,但两队列各漏 5 例也说明它不能作为排除恶性或推迟喉镜的依据。

下面这张独立性能图把混淆矩阵、ROC 和高风险阈值、GRBAS 一致性放在一起,读图时注意行是参考、列是预测,ROC 横轴是 1 减特异性。

看图路径: 1. 对比 A 栏左右两个矩阵的行列含义,找时间验证中召回较低的类别;2. 看 B 栏两条曲线对应的两个队列及两种标记的读数含义;3. 看 C 栏五个 GRBAS 维度预测与参考一致性的整体情况

原论文 Figure 2:Standalone Performance in the Held-out Test Set and the Temporal-Validation Cohort.

论文图 2。原论文 Figure 2::“Standalone Performance in the Held-out Test Set and the Temporal-Validation Cohort.”。

图中 A 栏左右两个矩阵分别对应留出与时间验证两个队列,行是参考类别、列是预测类别,时间验证中部分少样本类别的召回较低,具体敏感性与特异性数值见本节表格对照。B 栏给出两个队列的高风险识别曲线,曲线下面积留出 0.86、时间验证 0.91,预警与仅用暂定类别标记的敏感性差异见表格,预警敏感性更高而特异性相应变化。C 栏给出 5 个 GRBAS 维度的预测与参考一致性,患者级平均绝对误差 0.25 分,组内相关系数 0.63 到 0.80。

医生看到评估卡后哪些变了哪些没变

32 名耳鼻喉医生从住院医到主任医师,每人随机分 25 例留出病例,可重复分给不同医生,共完成 800 对无缺失评估,实际覆盖 192/195 名留出患者,每患者中位被 4 名医生评估。第一轮只听录音看喉镜前信息选 7 类之一,第二轮间隔 1 到 2 周看同样信息加本人首轮类别和评估卡后保留或更改,病例顺序重随机,医生不知参考类别和他人回答。首轮准确率 49.8%,复核后 56.8%,差 7.0 个百分点,区间 1.7 到 13.5,比值比 1.49,区间 1.18 到 1.87,加入读者患者对随机截距后比值比 1.92。宏平均召回和 F1 分别升 7.5 和 7.6 个百分点。配对转移中两轮都对 355 例占 44.4%,都错 303 例占 37.9%,由错改对 99 例占 12.4%,由对改错 43 例占 5.4%,两者比 2.30,区间 1.22 到 5.31。

关键分层是按模型对错划分。模型对的 137 人 536 次评估中医生从 55.2% 升到 70.0%,差 14.7 个百分点;模型错的 55 人 264 次中从 38.6% 降到 29.9%,差负 8.7 个百分点,交互比值比 3.86。首轮与模型不一致的 429 次中,模型对时医生采纳模型类别 94/240 占 39.2%,模型错时 57/189 占 30.2%,比值比 1.82,校正后不显著;首轮正确而模型错的 102 次中有 24 次占 23.5% 跟随模型改错。经验、职称和地区交互均无明确证据,低年资与高年资差异 8.0 与 6.0 个百分点,研究生 13.3 到主任医师 3.3 个百分点但区间很宽,读片间一致度每升 0.1 交互比值比 0.97。

恶性识别即使卡上不显示预警也有变化。128 次含 34 名患者的评估中,医生对癌前或恶性的敏感性从 53.9% 升到 75.0%,差 21.1 个百分点,特异性从 90.6% 到 88.1%,差负 2.5 个百分点。独立模型在同样加权下敏感性与特异性与医生复核后接近,但这仍是暂定类别的敏感性,不是预警的 86% 水平。

下面这张读片结果图集中展示了总体提升、转移方向、对错依赖、采纳率和恶性敏感性,误差条均为未校正多重性的区间。

看图路径: 1. 先看 A 栏三组读数中未辅助、复核后与独立模型的并列数值;2. 再看 B 栏四个格子中改对与改错格的计数对比;3. 看 C 栏模型对错两组中医生前后变化方向是否相反

原论文 Figure 3:Reader Performance Before and After Review with the Assessment Card.

论文图 3。原论文 Figure 3::“Reader Performance Before and After Review with the Assessment Card.”。

图中 A 栏并列给出未辅助、复核后与独立模型 3 组读数,未辅助准确率 49.8%,复核后 56.8%,独立模型在读片覆盖的 192 人中为 71.4%,右侧另按读片间一致度分组给出准确率趋势。B 栏给出配对转移的四格计数,由错改对 99 例,由对改错 43 例。C 栏按模型对错分组给出医生前后变化,模型对时上升 14.7 个百分点,模型错时下降 8.7 个百分点。D 栏给出首轮不一致时采纳模型类别的比例,模型对时 39.2%,模型错时 30.2%,另有首轮正确而模型错时 23.5% 跟随改错。E 栏给出恶性敏感性从 53.9% 到 75.0% 的变化,特异性从 90.6% 到 88.1%。F 栏按经验、职称和地区分组给出前后差异的点估计与区间,交互分析未提供明确异质性证据。

多视角投票和输入依据是否真的必要

论文用同一 195 人留出集比较了 3 种患者级聚合方式,回答是否需要把拼接视角都用上。只用原始独立话语时准确率 0.6564、加权 F1 0.6543,高风险敏感性 0.6286、特异性 0.8625;只用一个拼接全部话语的合并视角时准确率 0.6718、加权 F1 0.6715、敏感性 0.6000、特异性 0.8562;用全部原始加拼接视角的主方案时准确率 0.7179、加权 F1 0.7208、敏感性 0.7429、特异性 0.8500。5 例并列投票的不同解法下加权 F1 在 0.7055 到 0.7307、高风险敏感性在 71.43% 到 77.14% 之间,最低仍高于上述两种简化聚合,说明多视角多数投票的增益不是靠碰巧打破并列。代价是每人最多处理上百个视角,留出共 1795 个视角,离线服务器可跑但临床延迟和算力未测。

下表是 3 种聚合在同一患者、同一模型下的对照,公平条件是同一 195 人、同一高风险定义为暂定类别是否为癌前或恶性,指标方向都是越高越好,特异性除外需结合敏感性看。

Aggregation schemeViews, nTied, nAccuracyWeighted F1High-risk recognitionHigh-risk recognition
Aggregation schemeViews, nTied, nAccuracyWeighted F1SensitivitySpecificity
Original utterances only586160.65640.65430.62860.8625
Single merged view19500.67180.67150.60000.8562
All views (primary)179550.71790.72080.74290.8500

表中主方案用 1795 个视角换来准确率和 F1 约 5 到 6 个百分点的提升,高风险敏感性提升约 11 到 14 个百分点而特异性仅降约 1 个百分点。这支持多视角稳定投票的价值,但也说明若为省算力只用单视角,高风险漏诊会明显增加。

另一组开发阶段分析用任务专用模型比较输入和依据写法,回答声学测量、患者背景和依据模板各自贡献多少。全输入自由文本依据加权 F1 0.6801,规则约束依据 0.6467,无依据 0.5866;全视角下去掉客观声学测量降到 0.6292,去掉患者背景降到 0.6200;只用原始话语 0.6084、只用单合并视角 0.5976。这些都是任务专用模型的开发期结果,不是最终统一模型,不能直接当部署提升,但方向一致,即自由文本依据优于模板化依据,而声学测量和背景各贡献约 2 到 3 个百分点。所有配置都保留音频,所以不能分离原始音频相对背景加常规声学的增量,也没有评估无音频只用背景加声学的基线。

下表是该组配置的加权精度、召回和 F1 对照,比较问题是同为全视角时输入缺失或依据写法改变会怎样。

Rationale supervisionAudio-view settingHeld-out inputPrecisionRecallF1
Rule-constrained rationaleOriginal utterances onlyFull input0.65840.62560.6084
Rule-constrained rationaleAll viewsFull input0.65100.65640.6467
Empty rationaleAll viewsFull input0.66470.60000.5866
Free-text rationaleAll viewsFull input0.70750.67690.6801

表中自由文本依据行精度 0.7075、召回 0.6769、F1 0.6801 为同系列最高,无依据行 F1 仅 0.5866,去客观测量和去背景行 F1 分别为 0.6292 和 0.6200。这支持保留完整喉镜前信息和较灵活依据的好处,但读者复用时要注意这是开发期任务专用模型的相对排序,最终统一模型还叠加了多任务联合训练的约 4 个百分点增益,且未报告只用音频或只用非音频的对照。

这些结论在什么条件下才成立

固定顺序是最大限制。所有医生都是先无辅助后有卡复核,没有设置只重评不给卡的对照,所以 7.0 个百分点的提升混入了重复看病例、锚定首轮答案和学习效应。论文用两个间接证据辩解,一是与模型一致的首轮正确中只有 5.1% 被改动,背景修订率很低,而首轮正确但模型错时有 23.5% 被带偏,方向相反不像单纯练习效应,二是模型错时医生准确率下降,但这仍是推测,不能替代随机对照。

人群和场景也很窄。建模、留出和时间验证都来自同一嗓音中心、普通话队列、限定六病加健康对照,健康对照无声嘶且录音条件一致,时间验证沟纹声带仅 12 人、痉挛性仅 6 人。读者都是耳鼻喉医生,未纳入基层或非专科医生,未纳入未筛选的声嘶人群,外院和不同设备、方言的泛化未知。基线方面,传统和编码器比较的非音频输入不同,系统级比较公平但不能归因到音频本身,也没有无音频基线。

输出与结局也有缺口。读片只给了不含预警的卡,预警是否改变医生对高风险的排序和转诊未知;卡上依据未做临床忠实度审核,解释可能让医生更愿意接受错误建议;测的是分类一致率而非检查决策或患者结局;多视角离线跑在服务器 GPU 上,真实门诊延迟和资源需求未建立。恶性预警两队列各漏 5 例,约 14%,即使敏感性约 86% 也不能用于排除恶性或推迟喉镜。

要复现需要什么数据和计算

复现第一步是按论文重建喉镜前输入和参考标准。录音需持续/a/、/i/和标准普通话句子, quiet 诊室头戴或桌面电容麦,44.1 千赫 16 位采集后重采样 16 千赫,设备标识不给模型。患者信息包括年龄、性别、职业和嗓音使用时长强度,声学测量包括基频、抖动、微闪、噪声谐波比和最长发声时间,缺失直接省略。参考类别要喉镜加频闪、必要时窄带成像、恶性经病理,不一致由不知模型输出的高年资裁定,GRBAS 由嗓音治疗师评估加复核。划分必须按患者 8 比 1 比 1 且分层类别性别,同一人所有视角只进一个集合,阈值 2/7 只能在验证集上定死后用于留出和时间验证。

模型侧要准备 Qwen3-Omni-30B-A3B-Thinking 基座、低秩适配秩 8 等超参数、2 阶段一轮微调和 8000 步检查点选择逻辑,推理用确定性贪婪解码、最大新 token 4096、上下文 8192,患者级多数投票加种子 42 打破并列。论文声明临床嗓音队列因含可识别健康信息不公开,去标识汇总、读片级表格和裁定标签可依数据使用协议向通讯作者索取并经伦理批准,训练评估代码在发表时公开、模型权重按研究许可发布。由于本次未确认可公开获取的作者资源,不得视为已可下载,复现前应先索取数据协议和代码版本再跑通单视角与全视角两条聚合管线。

什么时候值得尝试,还缺哪项验证

当门诊已有标准化嗓音评估、医生需要在喉镜前给出暂定类别并决定是否加做频闪或提前喉镜时,这张评估卡值得作为复核清单试用,尤其对低年资医生整理听感知与声学线索有帮助。对高风险判断可同时计算恶性预警做第二道候选标记,但只能当风险提示,不能当排除标准,阳性要按原流程尽快喉镜,阴性也不能推迟。试用时应保留医生首轮独立判断,间隔后再看卡,避免直接照抄暂定类别,特别警惕首轮正确却与模型不一致时的跟错。

还缺的关键验证是随机、有无辅助重评对照的多中心试验,同时把含预警的卡与不含预警的卡对比,测量检查选择、转诊时机和患者结局,而不仅是分类一致率。还要补无音频基线以明确音频增量、外院和非普通话人群的泛化、不同录音设备的稳健性,以及在线推理延迟和算力成本。只有这些补齐后,才能判断 7.0 个百分点的复核增益中有多少真正来自评估卡,以及约 86% 敏感性的预警在不同患病率下阳性预测值是否可用。

📎 论文与评分元数据

排名:前50% | 文档类型:应用研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断,不是论文实验结果;八维数值与总分见页首,原始审计记录保留在后端。

  • 评分规则:type-aware-v1

  • 评分模型:muse-spark-1.3-contributor

  • 评分请求协议:openai_responses


← 返回 2026-11-17 语音/音乐/音频论文速递