模型评估

📄 TTA: Transcribe, Translate and Alignment for Cross-Lingual Speech Representation #语音识别 #语音翻译 #多任务学习 #多语言 #对比学习 #模型评估 ✅ 7.5/10 | 前25% | #语音识别 | #多任务学习 | #语音翻译 #多语言 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Wei Liu（腾讯AI Lab, USA） 通讯作者：未说明 作者列表：Wei Liu（腾讯AI Lab, USA）、Jiahong Li（腾讯AI Lab, USA）、Yiwen Shao（未说明）、Dong Yu（未说明） 💡 毒舌点评 亮点： 论文针对Whisper编码器在Speech-LLM应用中的具体痛点（输入长度限制、模型臃肿、中文语义弱）设计了专用的轻量模型TTA，并通过巧妙的ZT-AED混合架构和显式对齐损失，在显著更小的模型规模上实现了性能反超，思路清晰且实用。 短板： 模型容量的“天花板”效应在语音翻译任务上暴露无遗（仍落后于Whisper-Large），且论文声称验证了“跨语言能力”对ASR无益，但所用的跨语言检索评估方式和“能力”定义略显单一，结论的普适性有待更深入探讨。 📌 核心摘要 要解决什么问题： 现有Speech-LLM模型（如Qwen-Audio）普遍采用的Whisper编码器存在输入长度受限（30秒）、模型规模庞大、中文语义性能较弱等局限，影响了集成效率与效果。 方法核心是什么： 提出轻量级模型TTA（Transcribe, Translate and Alignment），采用混合Zipformer-Transducer与注意力编码器-解码器（ZT-AED）架构。模型在358k小时的多语言数据上联合训练自动语音识别（ASR）、语音翻译（ST）和一个基于BERT的对比学习语音-文本对齐任务。 与已有方法相比新在哪里： ①架构上：创新性地将高效的Zipformer编码器与专为ASR/ST设计的双分支（Transducer + AED）解码结构结合，专门优化语义表示。②训练目标上：显式引入对比学习对齐损失，强化跨语言语义空间的构建。③验证深度上：系统研究了跨语言能力、ASR与ST之间的相互关系。 主要实验结果如何： TTA模型（~250M参数）在多个中文和英文基准测试上显著优于Whisper Medium（762M参数），并在部分多语言基准（如CommonVoice）上超越Whisper Large-v3。在跨语言语音检索任务上超越Whisper Large-v2。作为编码器接入ASR-LLM系统时，TTA编码器表现出最优的识别性能和优化效率。关键对比数据见下表（Table 1节选）： 数据集 指标 Whisper Medium Whisper Large-v3 TTA (Ours) aishell 1 CER↓ 6.74 5.33 1.85 librispeech clean WER↓ 2.88 2.01 1.58 commonvoice (avg) WER↓ 11.86 8.30 6.76 covostv2 BLEU↑ 35.12 37.60 35.28 实际意义是什么： 为Speech-LLM提供了一种更高效、语义更强大的语音编码器选择，有望降低系统复杂度并提升下游任务性能。其设计思路和结论对多任务语音表示学习有参考价值。模型承诺开源，将促进后续研究。 主要局限性是什么： ①模型容量限制导致其在语音翻译上仍无法匹敌超大模型（Whisper-Large）。②在零样本评估（Fleurs）上未超越Whisper-Large，泛化能力存疑。③论文观察到强化跨语言对齐可能对ASR带来轻微性能下降，揭示了任务目标间的潜在张力。 🏗️ 模型架构 TTA的整体架构如图1（pdf-image-page2-idx0）所示，是一个多任务、多分支的端到端系统。 ...

📄 Universr: Unified and Versatile Audio Super-Resolution Via Vocoder-Free Flow Matching #音频超分辨率 #流匹配 #语音增强 #音频生成 #模型评估 🔥 8.0/10 | 前25% | #音频超分辨率 | #流匹配 | #语音增强 #音频生成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.8 | 置信度 高 👥 作者与机构 第一作者：Woongjib Choi（延世大学电气与电子工程系） 通讯作者：未说明 作者列表：Woongjib Choi（延世大学电气与电子工程系）、Sangmin Lee（延世大学电气与电子工程系）、Hyungseob Lim（延世大学电气与电子工程系）、Hong-Goo Kang（延世大学电气与电子工程系） 💡 毒舌点评 这篇论文最大的亮点是提供了一个优雅且高效的“去vocoder”解决方案，用一个统一的流匹配模型直击频谱，避免了传统两阶段管线的性能天花板，在主观听感上甚至优于vocoded的GT。然而，其核心架构本质是成熟的ConvNeXt V2 U-Net在频域数据上的应用，创新更多体现在任务定义和流程整合上，而非模型架构本身，这使得它更像一个工程上的巧妙优化而非理论上的重大突破。 📌 核心摘要 要解决什么问题：传统的两阶段音频超分辨率方法需要先预测梅尔频谱，再依赖预训练的神经声码器合成波形，导致最终质量受限于声码器性能，且流程复杂。 方法核心是什么：论文提出 UniverSR，一个无 vocoder 的端到端框架。它将音频超分辨率视为频谱修复问题，使用流匹配生成模型直接估计低频谱条件下的复数谱系数（包含幅度和相位）的条件分布，然后通过逆短时傅里叶变换（iSTFT）直接恢复波形。 与已有方法相比新在哪里：a) 去 vocoder：直接建模复数谱，无需单独的波形合成阶段，简化了流程并突破了性能瓶颈；b) 使用流匹配：相比传统扩散模型，流匹配在较少采样步数（如4步）下即可生成高质量结果，效率更高；c) 统一架构：单一模型可处理语音、音乐、音效等多种音频类型及多种上采样倍率（×2 到 ×6）。 主要实验结果如何： 在统一模型评估中（Table 1），UniverSR 在音乐和音效领域全面超越 AudioSR 和 FlashSR，在语音领域也达到竞争水平，且参数量（57M）远小于基线（>600M）。 在纯语音数据集VCTK上的评估（Table 2）显示，在最具挑战性的8kHz→48kHz任务中，UniverSR 取得了最优的 LSD-HF（1.14）和2f-model（31.41）分数。 主观听感测试（图3）表明，在8kHz上采样任务中，UniverSR 的MOS分数最高，甚至高于“经vocoder处理的真实音频（GT (Vocoded)）”。 定性分析（图4）显示，UniverSR 生成的频谱谐波结构更清晰，高频细节更丰富。 消融研究（Table 3）表明，引导尺度 ω 的选择在感知丰富度和客观保真度之间存在权衡。 实际意义是什么：该方法为高质量、高效的音频带宽扩展提供了一个更简洁、更统一的解决方案，可广泛应用于提升语音清晰度、修复历史录音、增强流媒体音频质量等场景。其“去 vocoder”范式可能启发其他音频生成任务。 主要局限性是什么：论文未明确讨论模型在极度低比特率或极端噪声条件下的鲁棒性；频谱修复方法依赖于STFT/iSTFT，可能引入相位相关的伪影（虽然实验显示听感良好）；模型在最困难的语音任务（8kHz→48kHz）上，部分客观指标（如2f-model）略低于某些基线。 🏗️ 模型架构 整体流程：模型采用端到端设计。输入为低分辨率（LR）波形 s_lr，首先通过 sinc 插值上采样至目标高分辨率（HR）长度，然后进行STFT得到复数谱。从复数谱中提取包含所有可能高频区域的固定大小高频目标 X_h，以及对应于原始LR带宽的低频谱 X_l。训练时，向量场估计器（VFE）在流匹配目标下学习，以低频谱 X_l 为条件，从高斯噪声中逐步生成 X_h。推理时，从噪声开始，通过ODE求解器迭代生成 X_h，最后与 X_l 拼接成完整频谱，并通过iSTFT得到HR波形。 ...

📄 Unseen but Not Unknown: Using Dataset Concealment to Robustly Evaluate Speech Quality Estimation Models #语音质量评估 #模型评估 #鲁棒性 🔥 8.3/10 | 前25% | #语音质量评估 | #模型评估 | #鲁棒性 学术质量 6.0/7 | 选题价值 1.8/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Jaden Pieper (Institute for Telecommunication Sciences, Boulder, Colorado, USA) 通讯作者：Stephen D. Voran (Institute for Telecommunication Sciences, Boulder, Colorado, USA) 作者列表：Jaden Pieper (Institute for Telecommunication Sciences, Boulder, Colorado, USA), Stephen D. Voran (Institute for Telecommunication Sciences, Boulder, Colorado, USA) 💡 毒舌点评 本文最亮眼之处在于其“元研究”价值：它不急于提出一个“更好”的语音质量模型，而是先用一套严谨得多的方法（DSC）剖析现有模型的真实能力，结论（如“小Aligner对大模型有显著提升”）对同行极具参考意义。然而，其创新本质上是“评估方法学”的创新，若期待看到新的网络结构或损失函数，可能会失望；且其“泛化能力”的结论依赖于特定的九个训练数据集，对更广泛场景的适用性有待进一步验证。 ...

📄 Utilizing Information Theoretic Approach to Study Cochlear Neural Degeneration #生物声学 #信息论 #模型评估 #信号处理 ✅ 6.5/10 | 前50% | #生物声学 | #信息论 | #模型评估 #信号处理 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Ahsan Jamal Cheema (Harvard University, Speech and Hearing Bioscience and Technology Program; Eaton-Peabody Laboratories, Massachusetts Eye and Ear) 通讯作者：未说明 作者列表：Ahsan Jamal Cheema (Harvard University, Speech and Hearing Bioscience and Technology Program; Eaton-Peabody Laboratories, Massachusetts Eye and Ear)、Sunil Puria (Harvard University, Speech and Hearing Bioscience and Technology Program; Eaton-Peabody Laboratories, Massachusetts Eye and Ear) 💡 毒舌点评 本文提出了一套新颖的基于信息论的框架来客观评估不同语音刺激对揭示“隐性听力损失”（耳蜗神经退化，CND）的有效性，其核心思想——利用互信息损失量化信息编码退化——在概念上清晰且具有理论价值。然而，该研究完全基于一个现成的听觉外周模型进行模拟，缺乏任何真实的人体行为实验或电生理数据的直接验证，使得结论停留在计算层面，其临床诊断意义的说服力大打折扣；此外，实验所用的语料库（50个CVC词）和听力损失模型都较为单一，限制了结论的普适性。 ...

📄 V2A-DPO: Omni-Preference Optimization for Video-To-Audio Generation #音视频 #直接偏好优化 #流匹配 #模型评估 ✅ 7.5/10 | 前25% | #视频到音频生成 | #直接偏好优化 | #音视频 #流匹配 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Nolan Chan（The Chinese University of Hong Kong, Hong Kong SAR, China） 通讯作者：Dingdong Wang（The Chinese University of Hong Kong, Hong Kong SAR, China）（论文脚注中对应邮箱 yjchen@se.cuhk.edu.hk） 作者列表：Nolan Chan（The Chinese University of Hong Kong, Hong Kong SAR, China），Timmy Gang（National Research Council Canada, Canada），Yongqian Wang（The University of Warwick, UK），Yuzhe Liang（Shanghai Jiao Tong University, China），Dingdong Wang（The Chinese University of Hong Kong, Hong Kong SAR, China） 💡 毒舌点评 这篇论文堪称“模范工程论文”：它没有声称发明了全新的生成范式，而是精准地识别了当前视频音频生成模型在“对齐人类审美与同步偏好”上的短板，并系统性地设计了一套包含自动评估、数据生成、课程训练的完整解决方案，实验结果也验证了其有效性。不过，其核心创新更偏向于应用层面的“术”而非基础理论层面的“道”，AudioScore本身是现有工具的集成而非原理创新，课程学习DPO的引入也较为直接。 ...

📄 Walking Through Uncertainty: An Empirical Study of Uncertainty Estimation for Audio-Aware Large Language Models #音频大模型 #音频问答 #模型评估 #基准测试 #多模态模型 ✅ 7.5/10 | 前25% | #音频问答 | #模型评估 | #音频大模型 #基准测试 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chun-Yi Kuan (台湾大学 电信工程研究所) 通讯作者：Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心 (AI-CoRE)) 作者列表：Chun-Yi Kuan (台湾大学 电信工程研究所), Wei-Ping Huang (台湾大学 电信工程研究所), Hung-yi Lee (台湾大学 电信工程研究所, 台湾大学人工智能卓越研究中心) 💡 毒舌点评 本文作为首篇系统评估音频大模型不确定性估计的研究，实验设计严谨、结论清晰，填补了重要空白；但其核心创新是将文本大模型领域的成熟方法“搬运”到新领域进行比较，方法论上的突破有限，更像是一个扎实的“开山评测”。 ...

📄 WAV2LEV: Predicting Levenshtein Edit Operation Sequences For Fine-Grained Estimation of Automatic Speech Recognition Error #语音识别 #模型评估 #数据增强 #数据集 #语音大模型 ✅ 7.5/10 | 前25% | #语音识别 | #数据增强 | #模型评估 #数据集 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Harvey Donnelly（多伦多大学计算机科学系 & 爱丁堡大学信息学院） 通讯作者：Harvey Donnelly（对应作者标识为†） 作者列表：Harvey Donnelly（多伦多大学计算机科学系 & 爱丁堡大学信息学院）、Ken Shi（多伦多大学计算机科学系）、Gerald Penn（多伦多大学计算机科学系） 💡 毒舌点评 亮点在于其构建Mini-CNoiSY数据集的方法颇具匠心——通过YouTube文件名搜索来获取近乎纯净的自然背景噪声，并人工合成带噪语音以确保标签质量，这为ASR错误评估领域提供了一个可靠且多样化的测试台。短板是其核心模型WAV2LEV本质上是一个基于强大预训练模型（Whisper）的特定任务适配头，创新更多体现在任务范式的转变（从预测标量WER到预测操作序列）而非模型架构本身，导致性能相较于直接预测WER的“WHISP-MLP”基线并无优势。 📌 核心摘要 要解决什么问题：在缺乏真实文本（ground-truth）的情况下，评估自动语音识别（ASR）生成文本的质量。现有方法主要直接预测整个片段的词错误率（WER），但忽略了token级别的错误细节。 方法核心是什么：提出WAV2LEV模型，其核心思想是预测将ASR假设文本转化为真实文本所需的Levenshtein编辑操作序列（匹配、替换、删除、插入），从而能从中计算出WER并获得细粒度的错误定位。 与已有方法相比新在哪里：范式创新：将WER估计任务从“回归一个标量”转变为“序列到序列预测”（预测编辑操作序列）。数据集贡献：构建了Mini-CNoiSY噪声语音语料库，通过可控的人工加噪确保了ground-truth标签的可靠性，并涵盖了多样的噪声类型。 主要实验结果如何：WAV2LEV在Mini-CNoiSY测试集上进行WER估计的RMSE为0.1488，皮尔逊相关系数（PCC）为89.71%，性能与重新实现的直接WER估计器WHISP-MLP（RMSE 0.1376， PCC 91.01%）接近，且显著优于文献中复现的Fe-WER模型（RMSE 0.2333， PCC 82.20%）。对于预测编辑序列本身，其token错误率（TER）为0.2972。分析表明，模型对真实文本长度的预测比对编辑序列长度的预测更准确，暗示其能较好地理解对齐关系。 实际意义是什么：能够为ASR转录提供更细粒度的置信度信息，有助于在语音理解（SLU）等下游任务中抑制错误传播，或用于更精确地筛选高质量ASR结果。 主要局限性是什么：引入更复杂的序列预测目标并未在WER估计准确性上超越相对简单的直接预测方法（WHISP-MLP），其核心优势（细粒度诊断）目前主要通过新提出的TER指标评估，缺乏与既有工作的直接对比。TER指标本身的局限性也被作者指出。 🏗️ 模型架构 WAV2LEV的模型架构是一个基于Whisper大模型的序列到序列系统，其流程如下： ...

📄 When Noise Lowers the Loss: Rethinking Likelihood-Based Evaluation in Music Large Language Models #音乐生成 #模型评估 #自回归模型 #音频大模型 #对抗样本 ✅ 7.0/10 | 前25% | #音乐生成 | #模型评估 | #自回归模型 #音频大模型 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Xiaosha Li (Georgia Institute of Technology) 通讯作者：未说明（根据惯例，最后一位作者Ziyu Wang可能为通讯作者，但论文中未明确标注） 作者列表：Xiaosha Li (Georgia Institute of Technology), Chun Liu (ByteDance Inc.), Ziyu Wang (Courant Institute of Mathematical Sciences, New York University; Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)) 💡 毒舌点评 亮点在于发现了一个反直觉但可重复验证的现象（“噪声降低损失”），并据此提出了一个新颖的、基于损失曲线形状的评估视角，而非简单否定损失指标，这为音乐生成评估提供了具体的诊断工具和改进方向。短板在于，论文的核心论证主要基于“噪声注入”和“顺序打乱”两种人工扰动，其与真实音乐质量（如乐感、结构、情感表达）的关联性仍需更多元、更贴近实际场景的验证，且提出的“基于曲线形状”的评估框架目前更多是定性描述，缺乏可直接应用的定量标准。 ...

📄 When Silence Matters: The Impact of Irrelevant Audio on Text Reasoning in Large Audio-Language Models #模型评估 #鲁棒性 #音频大模型 #跨模态 #基准测试 ✅ 7.0/10 | 前50% | #模型评估 | #鲁棒性 | #音频大模型 #跨模态 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chen-An Li（台湾大学，National Taiwan University, Taipei, Taiwan） 通讯作者：Hung-yi Lee（台湾大学，National Taiwan University, Taipei, Taiwan）[注：根据学术惯例，论文末尾作者排序通常通讯作者靠后，且Hung-yi Lee为知名教授，推断其为通讯作者。] 作者列表：Chen-An Li（台湾大学）、Tzu-Han Lin（台湾大学）、Hung-yi Lee（台湾大学） 💡 毒舌点评 这篇论文像一位严谨的“系统质检员”，它系统性地量化并证实了多模态模型在“心不在焉”（处理无关音频）时确实会“分心”，甚至发现“安静”本身也是一种干扰——这是一个反直觉且重要的发现。然而，它提供的“解决方案”（自我一致性）更像是一个以资源换性能的笨办法，未能指向更优雅、高效的模型架构层面改进，略显乏力。 📌 核心摘要 要解决什么问题：研究大型音频语言模型在执行纯文本推理任务时，其性能是否会受到输入中不相关音频（如静音、噪声、环境声）的干扰，即跨模态干扰的鲁棒性问题。 方法核心是什么：通过系统性的控制变量实验，在三个标准文本推理基准（GSM8K， ARC-Challenge， MMLU）上，评估多个开源LALMs在不同干扰条件下的准确率和预测稳定性（提出“影响率”指标）。 与已有方法相比新在哪里：不同于以往关注音频与文本冲突或对抗攻击的研究，本文聚焦于更普遍但未被充分研究的“无关音频干扰”场景。核心新发现包括：(1) 即使无语义信息的静音也会显著干扰模型输出；(2) 干扰严重程度与音频时长、振幅和解码温度正相关；(3) 模型大小和架构影响抗干扰能力。 主要实验结果如何： 无关音频普遍降低模型准确率（绝对下降幅度温和，但普遍存在）并显著提高“影响率”（预测改变的比例）。 干扰随音频时长增加、噪声振幅增大而加剧。在30秒静音或噪声下，影响率可达0.15-0.25。 解码温度升高会急剧放大干扰效应，模型输出变得不稳定。 提示（Prompting）缓解效果有限且不稳定；自我一致性（Self-Consistency， 生成8次取众数）能有效降低影响率（如从0.10以上降至0.05左右）并提升准确率，但计算成本增加。 更大模型（如24B参数）通常比小模型更鲁棒，但无一模型完全免疫。 干扰程度在不同任务上有差异，MMLU（多领域知识）比GSM8K（数学）受影响更大。 (关键数据见图2， 图3， 图4及表1， 表2) 实际意义是什么：揭示了LALMs在真实部署场景中的一个关键脆弱性：即使音频流中仅包含静音或背景噪声，也可能损害文本推理性能。这对需要处理连续音频输入的实时多模态系统（如语音助手）的鲁棒性设计提出了警示。 主要局限性是什么：(1) 研究仅发现问题，提出的缓解方法（自我一致性）效率不高；(2) 缺乏从模型架构或融合机制层面提出根本性解决方案；(3) 实验限于文本推理任务，未探索无关音频对其他多模态任务（如音频理解）的影响。 🏗️ 模型架构 论文未提出新模型架构，而是评估现有多个模型。被评估的大型音频语言模型（LALMs）通常共享一个通用的多模态架构，如图1所示，主要包括三个组件： ...

📄 When Voice Matters: A Controlled Study of Audio LLM Behavior in Clinical Decision-Making #模型评估 #音频大模型 #语音合成 #基准测试 #鲁棒性 ✅ 7.0/10 | 前25% | #模型评估 | #基准测试 | #音频大模型 #语音合成 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Zhi Rui Tam（台湾大学，计算机科学与信息工程系） 通讯作者：Yun-Nung Chen（台湾大学，计算机科学与信息工程系；IEEE会员） 作者列表：Zhi Rui Tam（台湾大学，计算机科学与信息工程系）、Yun-Nung Chen（台湾大学，计算机科学与信息工程系） 💡 毒舌点评 亮点：研究设计堪称“控制变量”的典范，用合成语音这把精准的手术刀，切开了音频LLM“听音诊病”时隐藏的严重偏见，尤其是那触目惊心的35%模态偏差，为AI医疗的敲响了警钟。短板：论文在情绪识别部分因模型“五感不全”（识别率极低）而草草收场，未能深究情绪偏见，让这个本该最细腻的维度分析流于表面，如同用一把钝刀去解剖，关键发现后继乏力。 📌 核心摘要 要解决的问题：研究音频大语言模型（Audio LLM）在临床决策（如手术推荐）中，是否会受到患者语音特征（如年龄、性别、情绪）的影响，从而产生基于声音而非医学证据的偏见，进而可能加剧医疗不平等。 方法核心：构建了受控实验框架。利用高质量TTS模型，将相同的临床文本病例转换为36种不同声音特征（年龄、性别、情绪）的语音，作为音频LLM的输入。将音频输入下的手术推荐率与纯文本输入基线进行对比，以量化语音特征带来的偏见。同时，测试了直接回答和思维链两种提示策略。 与已有方法相比新在哪里：这是首个系统评估音频LLM在临床决策中存在语音偏见的研究。创新在于：a) 聚焦于音频模态引入的新偏见向量，而非传统的文本偏见；b) 创建了专用的、受控的评估数据集MedVoiceBias；c) 揭示了文本与音频模态间存在巨大决策差异（最高达35%），以及年龄偏见在思维链提示下依然顽固存在。 主要实验结果： 模态偏见严重：66.7%的模型在音频输入下的手术推荐率与文本基线存在统计学显著差异。例如，GPT-4o-mini的推荐率从文本的26.5%暴跌至音频的5.3%；DeSTA2.5则从53.9%跃升至88.8%。 年龄偏见持续：在6个模型中，4个在直接回答模式下表现出显著的年龄差异（如Qwen2.5-3B对青年和老年患者的推荐率差达11.8%）。思维链提示非但未能消除，反而使5/6的模型出现显著年龄差异，表明推理过程可能激活了关于年龄的有害启发式。 性别偏见可缓解：思维链提示完全消除了所有模型的性别差异，与年龄偏见形成鲜明对比。 情绪影响难测：由于大多数模型情绪识别准确率极低（<17%），未能可靠检测情绪对决策的影响。仅在少数识别能力强的模型中观察到微弱差异。 模型 文本基线 音频（直接回答） 变化幅度 gpt-4o-mini 26.5% 5.3% -21.2pp (↓80%) gemini-2.0-flash 0.0% 0.6% +0.6pp gemini-2.5-flash 27.6% 31.8% +4.2pp Qwen2.5-Omni-3B 97.6% 75.3% -22.3pp Qwen2.5-Omni-7B 11.2% 20.6% +9.4pp DeSTA2.5 53.9% 88.8% +34.9pp 模型 青年 老年 差异 Qwen2.5-Omni-3B 85.3% 73.5% -11.8pp gemini-2.5-flash 25.3% 17.9% -7.4pp DeSTA2.5 87.6% 90.1% +2.5pp 实际意义：研究发出了强烈警告：音频LLM在当前状态下，因其对副语言特征的敏感性，尚不具备安全部署于临床决策的能力。这要求开发者必须设计偏见感知的架构，并在部署前进行严格评估，以确保决策基于医学证据而非患者的声音。 主要局限性：a) 情绪偏见分析因模型识别能力不足而不可靠；b) 评估仅限于手术推荐这一种决策类型；c) 使用合成语音可能与真实患者语音存在差距；d) 未提供缓解偏见的具体模型架构或训练方案。 🏗️ 模型架构 本文并非提出新模型，而是对现有音频LLM进行偏见评估。因此，其“架构”指代的是评估框架（如图1所示）。 该框架流程如下： ...