基准测试

📄 MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio #音频问答 #数据集 #多模态模型 #医学音频 #基准测试 ✅ 6.5/10 | 前25% | #音频问答 | #数据集 | #多模态模型 #医学音频 | arxiv 学术质量 5.5/7 | 选题价值 0.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Harshit Rajgarhia（未说明所属机构） 通讯作者：论文中未提及 作者列表：Harshit Rajgarhia（未说明）、Shuubham Ojha（未说明）、Asif Shaik（未说明）、Akhil Pothanapalli（未说明）、Rachuri Lokesh（未说明）、Abhishek Mukherji（未说明）、Prasanna Desikan（未说明） 💡 毒舌点评 亮点：论文正视了医学音频领域数据获取难的痛点，并通过结合合成语音与真实临床对话的方式，构建了一个任务类型丰富、规模可观（46,701 QA对）的基准测试集，填补了该领域的评估空白。短板：摘要仅展示了评测结果（如Gemini 2.5 Pro仅68.1%），但对数据集构建过程中的关键技术（如合成语音如何“精心构造”以模拟伪影）、详细的实验对比分析（与其他音频QA或医学QA基准的对比）着墨甚少，使得其作为“基准”的深度和说服力略显不足。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集：论文中未提及具体的下载链接或开源协议。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 补充信息 [实验结果] 补充：论文中明确指出，对13个音频和多模态推理模型进行了评测，并观察到“性能在不同问题类型上存在显著差异”（substantial performance variation across question types）。尽管分析报告中提到“摘要未提供其他模型的具体性能数字”，这与原文信息一致，但原文中强调的“13个模型”这一具体数量和对“问题类型间差异”的观察是明确存在的事实，可以作为更完整的背景信息。 （注：经仔细比对，提供的“深度分析结果”已全面且准确地覆盖了“论文原文”中所有实质性信息，包括模型架构（未提及）、实验结果核心数据（Gemini-2.5-pro约68.1%）、训练细节（不适用）、消融实验（未提及）、自我声明的局限性（分析中已推断）以及SOTA差距（仅提及单一模型结果）。原文本身为摘要性质，未提供更详细的实验数据、对比表格或消融分析，因此分析报告无法基于现有信息补充更多具体数值或细节。） ...

📄 Neck-Learn: Attention-Based Multiple Instance Learning and Ensemble Framework for Ecological Momentary Assessment #语音生物标志物 #多实例学习 #集成学习 #信号处理 #基准测试 ✅ 7.0/10 | 前25% | #语音生物标志物 | #多实例学习 | #集成学习 #信号处理 | arxiv 学术质量 4.5/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Ahsan Jamal Cheema (哈佛大学) 通讯作者：未说明 作者列表：Ahsan Jamal Cheema（哈佛大学，剑桥；马萨诸塞州眼耳医院，波士顿） 💡 毒舌点评 亮点：论文在声带功能亢进检测中，首次尝试将多实例学习（MIL）引入对变长时间序列（日录音）的处理，有效捕捉了以往被压缩丢弃的日内时序动态，并结合传统梯度提升树模型构建了性能优异的集成框架，在NPVH这一更具挑战的任务上取得了显著提升。短板：深度学习部分（CNN-MIL）的具体细节（如1D卷积的输入通道关系、注意力头的可视化）阐述略显不足，且全文未能充分讨论其与更主流的时序模型（如Transformer）的对比可能性，使得“最优”架构的论证稍显薄弱；此外，该研究强依赖于NeckVibe挑战赛数据集，其泛化性尚需在独立临床场景中进一步验证。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及模型权重链接 数据集：论文中提及数据集为 NeckVibe Challenge，但未提供具体下载链接，仅通过引用 [NeckVibe2026] 说明 Demo：论文中未提及 复现材料：论文在 “2.3 Cross-Validation and Data Splitting” 与 “2.4 Model Architectures” 节中报告了所有超参数与训练细节（如 5 折分组交叉验证、XGBoost/LightGBM 参数、CNN-MIL 结构、集成权重优化方法等），并声明 “All hyperparameters are reported in Section 2.3 to enable full reproducibility.”，但未提供具体配置文件或检查点下载链接 论文中引用的开源项目： XGBoost：https://github.com/dmlc/xgboost LightGBM：https://github.com/microsoft/LightGBM PyTorch：https://github.com/pytorch/pytorch scikit-learn：https://github.com/scikit-learn/scikit-learn SciPy：https://github.com/scipy/scipy NumPy：https://github.com/numpy/numpy pandas：https://github.com/pandas-dev/pandas 补充信息 [细节详述] 补充：论文在特征表示部分明确提到，用于CNN-MIL的窗口级时间序列在输入前使用了稳健缩放器进行归一化，该缩放器是基于30%训练数据的中位数和四分位距（IQR）计算的，目的是减少IBIF（气动力）异常值的影响。这一预处理细节在已有分析的“细节详述”中未提及。 [细节详述] 补充：在损失函数方面，论文明确指出梯度提升树的损失函数同样对正类进行了加权（权重与CNN-MIL使用的类别权重相同：PVH为1.73，NPVH为4.08），而不仅仅是CNN-MIL。此信息在已有分析中仅部分提及。 [实验结果] 补充：论文明确列出了优化后的集成模型中各组件的权重：对于PVH分类任务，权重为CNN-MIL 0.45, XGBoost 0.35, LightGBM 0.20；对于NPVH分类任务，权重为CNN-MIL 0.50, XGBoost 0.15, LightGBM 0.35。权重差异反映了CNN-MIL在NPVH任务上的核心作用。 [模型架构] 补充：论文在方法部分明确指出，除了最终提交的CNN-MIL模型外，还测试并训练了其他模型架构，包括基于RNN的模型和基于对比学习的CNN模型，但论文中只包含了性能最佳的模型。这解释了模型选择过程。 [核心摘要/详细分析] 补充：论文在讨论部分对自身局限性的阐述更系统，除了已提及的CNN-MIL独立处理每日数据、可解释性有限外，还明确指出了另外两个局限：（1）目前仅使用发声段数据，未来可探索利用发声与非发声段之间的过渡信息（如相对基频RFF）；（2）当前模型是非因果的（需要在看到整天/多天数据后才能预测），未来可探索仅使用过去时间戳数据进行实时预测的因果模型。 [评分理由] 补充：在“与SOTA的差距”方面，论文通过测试集结果可量化差距：本集成模型在PVH任务上比NeckVibe挑战赛基线高出 0.059 AUC (0.879 vs. 0.82)，在NPVH任务上高出 0.068 AUC (0.848 vs. 0.78)。这一具体数值对比在分析中未明确给出。 📌 核心摘要 本文旨在解决生态瞬时评估（EMA）中，利用颈表面加速度计数据进行声带功能亢进（VH）及其亚型（PVH， NPVH）的自动检测问题。已有方法通常将多日数据压缩为固定长度的受试者级特征向量，丢失了日内时序动态信息。本文提出一种新型混合集成框架：一方面，利用梯度提升树（XGBoost， LightGBM）处理从日内数据中提取的受试者级分布特征，以捕捉全局模式；另一方面，创新性地构建了一个基于注意力的多实例学习（CNN-MIL）框架，将每日录音视为一个“包”，包内每个窗口为一个“实例”，从而直接学习日内时序依赖关系和关键时段。在NeckVibe挑战赛的测试集上，该集成模型在PVH分类中达到0.879 AUC，在NPVH分类中达到0.848 AUC，显著超越了赛事基线（0.82， 0.78）。该框架的主要贡献在于证明了保留并学习日内时序动态对于VH检测，特别是对于非损伤性亚型NPH至关重要。其主要局限性包括CNN-MIL模型的可解释性有待提高，以及未能利用更长时间（跨日）的趋势信息。 ...

📄 OceanPile: A Large-Scale Multimodal Ocean Corpus for Foundation Models #数据集 #多模态模型 #海洋科学 #知识图谱 #基准测试 ✅ 7.0/10 | 前25% | #数据集 | #知识图谱 | #多模态模型 #海洋科学 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Yida Xue (徐一达) (浙江大学计算机科学与技术学院， 软件技术学院) 通讯作者：Ningyu Zhang (张宁钰) (浙江大学计算机科学与技术学院)， Guozhou Zheng (郑国舟) (舟山海洋研究中心) 作者列表：Yida Xue (浙江大学计算机科学与技术学院， 软件技术学院)、Ningyu Zhang (浙江大学计算机科学与技术学院)、Tingwei Wu (浙江大学计算机科学与技术学院， 软件技术学院)、Zhe Ma (浙江大学计算机科学与技术学院)、Daxiong Ji (软件技术学院)、Zhao Wang (软件技术学院)、Guozhou Zheng (舟山海洋研究中心)、Huajun Chen (浙江大学计算机科学与技术学院， 海洋感知国家重点实验室) 💡 毒舌点评 论文构建了一个非常全面且质量控制严格的海洋领域多模态数据集，从教科书到实地采集数据无所不包，是海洋AI领域一项扎实的基础工程。然而，实验部分仅展示了在开源小模型上微调的性能提升，缺乏更大规模模型预训练或与更多SOTA模型的直接比较，使得“基础模型”这一宏大目标的论证稍显薄弱。 ...

📄 RenCon 2025: Revival of the Expressive Performance Rendering Competition #音乐生成 #模型评估 #音乐信息检索 #基准测试 ✅ 7.5/10 | 前25% | #音乐生成 | #模型评估 | #音乐信息检索 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Huan Zhang（Queen Mary University of London） 通讯作者：未说明 作者列表：Huan Zhang（Queen Mary University of London）、Taegyun Kwon（Korea Advanced Institute of Science and Technology）、Anders Friburg（KTH Royal Institute of Technology）、Junyan Jiang（New York University）、Hayeon Bang（Korea Advanced Institute for Science and Technology (KAIST)）、Hyeyoon Cho（Korea Advanced Institute for Science and Technology (KAIST)）、Gus Xia（Mohamed bin Zayed University of Artificial Intelligence）、Akira Maezawa（Yamaha Corporation）、Simon Dixon（Queen Mary University of London）、Dasaem Jeong（Sogang University） 💡 毒舌点评 亮点：这篇论文作为时隔12年的竞赛复兴报告，其核心价值在于系统性地重新建立了该领域的评测框架，其两阶段赛制设计和对MIDI动态校准问题的讨论，为未来研究提供了清晰的实践路线图和待解决难题清单。 短板：本质上是一篇优秀的“竞赛会议纪要”，其贡献局限于描述已发生的事情和汇总结果，在提出新的、具有启发性的科学假设或算法洞见方面略显不足，更像是一个工作的终点而非新研究的起点。 ...

📄 The 2026 ACII Dyadic Conversations (DaiKon) Workshop & Challenge #语音情感识别 #多模态模型 #数据集 #基准测试 #多语言 ✅ 7.0/10 | 前50% | #语音情感识别 | #多模态模型 | #数据集 #基准测试 | arxiv 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：未说明（论文列出了多位作者，但未明确排序或指明第一作者） 通讯作者：未说明（论文未明确指出通讯作者） 作者列表：Panagiotis Tzirakis（未说明）、Alice Baird（未说明）、Jeffrey Brooks（未说明）、Emilia Parada-Cabaleiro（未说明）、Lukas Stappen（未说明）、Sharath Rao（未说明）、Theo Lebryk（未说明）、Jakub Piotr Cłapa（未说明）、Jens Madsen（未说明） 💡 毒舌点评 亮点在于它提供了一个规模庞大、多语言、多模态的双人对话数据集，并设计了三个有层次的任务（影响、轮流、融洽）来系统评估人际动力学建模，填补了现有基准多偏向单说话人预测的空白。但短板也很明显：作为一篇挑战赛论文，其技术贡献主要停留在基线方法的设计上，而基线本身是极其简单的双层MLP，且实验部分仅展示了单一基线的结果，并未与任何复杂的现有SOTA方法进行对比分析，因此难以判断所提基准的实际挑战高度。 🔗 开源详情 代码：论文中未提及代码链接。论文鼓励参与者上传代码以支持可复现性，但未在论文正文中提供具体代码仓库地址。 模型权重：论文中未提及具体模型权重下载链接。论文提及提供了“baseline systems”（基线系统），但未给出模型权重的直接获取方式。 数据集：数据集名称为Hume-DaiKon。论文指出，参与者需要完成 Hume AI 的最终用户许可协议（end-user license agreement）并遵循官方竞赛主页上提供的数据访问说明来获取数据。论文未给出数据集的直接下载 URL。 Demo：论文中未提及在线演示链接。 复现材料：论文提供了详细的基线实验描述，包括特征提取方法（使用Whisper-small和FaceNet）、模型架构（两层MLP编码器）、训练配置（优化器、学习率、损失函数等）以及评估指标。这些信息已足够用于复现论文中的基线实验。但未提及提供具体的训练配置文件或检查点下载链接。 论文中引用的开源项目： Whisper (Whisper-small encoder)：用于音频特征提取。项目地址：https://github.com/openai/whisper FaceNet：用于视频（人脸）特征提取。论文引用的实现是 FaceNet，通常指 Google 的开源模型或其 PyTorch 实现。相关项目地址可参考：https://github.com/timesler/facenet-pytorch PyTorch：用于实现所有模型。项目地址：https://github.com/pytorch/pytorch Qwen2.5-72B-Instruct：用于生成 Rapport 伪标签的大语言模型。项目地址：https://github.com/QwenLM/Qwen2.5 vLLM：用于部署 Qwen2.5-72B-Instruct 以进行推理的引擎。项目地址：https://github.com/vllm-project/vllm 补充信息 [模型架构] 补充：在轮流发言预测任务中，时间头将预测值裁剪到 [-5, 10] 秒范围，此设计是为了同时适应预测发言间隙（正值）与重叠（负值）的情况。 [核心创新点] 补充：论文强调挑战旨在鼓励“文化意识建模”，其多语言数据集的设计就是为了支持这一点，这是其框架的重要动机之一。 [细节详述] 补充：数据集在发布时明确“旨在保留语料库的多语言特性，而不是将其限制在一两种语言中”，因此训练、验证和测试集都包含了五种语言的数据，并进行了分层划分。 [毒舌点评/核心摘要] 补充（对局限性的强调）：论文自身在结论中明确指出，基准的建立鼓励了“文化意识建模”的研究，但这也恰恰是其挑战所在，即模型需要具备跨文化泛化能力，而简单的基线并未涉及此维度。 📌 核心摘要 这篇论文介绍了2026年ACII情感计算会议下的双人对话（DaiKon）工作坊与挑战赛。它旨在解决现有对话情感基准大多以单个说话人为中心，忽略了对话双方之间动态、耦合的人际过程（如单向影响、轮流发言、融洽关系发展）的问题。方法核心是基于新发布的Hume-DaiKon数据集（包含945段、743.4小时的五语种自然对话），设计三个相互关联的子挑战：预测说话人情感强度、预测下一说话人及发言时间、预测对话过程中的融洽关系轨迹。与已有工作相比，新在提供了一个统一的多语言、多模态基准框架，鼓励模型超越说话人中心预测，去建模人际间的时序依赖和动态交互。实验上，论文公布了基于简单MLP的基线结果：在情感影响预测任务上达到0.40 CCC / 0.50 Pearson；轮流发言任务上为0.66 Macro-F1 / 1.50秒 MAE；融洽预测任务上为0.68 CCC / 0.70 Pearson。主要结论是音频特征在各任务中表现最好，但简单的多模态融合并未带来提升，表明更复杂的时序建模和融合策略是必要的。其实际意义是为情感计算、人机交互、行为分析等社区提供了一个可复现的、聚焦于双人动态交互的研究平台和评估标准。主要局限性在于基线方法过于简单，未能充分展示任务的挑战性上限；同时，融洽关系的标签是通过大语言模型生成的伪标签，其可靠性未得到验证。 ...

📄 TMD-Bench: A Multi-Level Evaluation Paradigm for Music-Dance Co-Generation #音乐生成 #基准测试 #流匹配 #多模态模型 ✅ 7.5/10 | 前25% | #音乐生成 | #流匹配 | #基准测试 #多模态模型 | arxiv 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文作者列表未按惯例排序，未明确标注） 通讯作者：未说明 作者列表：Xiaoda Yang, Majun Zhang, Changhao Pan, Nick Huang, Yang Yuguang, Fan Zhuo, Pengfei Zhou, Jin Zhou, Sizhe Shan, Shan Yang, Miles Yang, Yang You, Zhou Zhao（所有作者所属机构在论文中未明确说明） 💡 毒舌点评 亮点：该工作真正填补了“音乐-舞蹈共同生成”评估领域的空白，提出的多层级评估框架（从物理节拍对齐到MLLM感知判断）非常系统且具有前瞻性。 短板：论文在宣传自身模型“RhyJAM”的竞争力时，其音频美感、视频质量等关键指标与顶级闭源模型（如Veo 3）仍有可见差距，却未深入讨论为何“统一架构”未能在所有维度上全面超越级联或闭源方案。 ...

📄 When Audio-Language Models Fail to Leverage Multimodal Context for Dysarthric Speech Recognition #语音识别 #语音大模型 #病理语音 #基准测试 ✅ 7.5/10 | 前50% | #语音识别 | #语音大模型 | #病理语音 #基准测试 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：未说明（论文摘要未提供） 通讯作者：未说明（论文摘要未提供） 作者列表：Pehuén Moure（未说明）、Niclas Pokel（未说明）、Bilal Bounajma（未说明）、Yingqiang Gao（未说明）、Roman Boehringer（未说明）、Longbiao Cheng（未说明）、Shih-Chii Liu（未说明） 💡 毒舌点评 亮点在于作者敏锐地指出了一个关键问题：当前强大的音频语言模型在面对需要利用外部临床知识的病理语音识别任务时，其“上下文利用能力”似乎存在显著缺陷，并为此建立��一个有价值的诊断性基准。短板在于，论文的核心发现（“模型未能利用上下文”）更像是一个对现有模型能力边界的诊断报告，而非提出一种克服该局限的新方法或架构，因此创新深度有限。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及。 数据集：论文中提及使用了 Speech Accessibility Project (SAP) 数据集 来构建基准测试，但论文中未提供该数据集的获取链接或具体的开源协议信息。 Demo：论文中未提及。 复现材料：论文中未提及。 论文中引用的开源项目：未提及。 📌 核心摘要 解决的问题：自动语音识别（ASR）系统在处理构音障碍等非典型语音时性能脆弱。本文探讨近期音频语言模型是否能够通过在推理时引入临床诊断标签、言语评分或详细描述等额外上下文信息，来改善识别准确率。 方法核心：基于Speech Accessibility Project (SAP)数据集构建了一个基准测试，系统性地评估了9个模型在“零样本提示”和“上下文微调”两种设置下对不同层次临床上下文的利用效果。 新意：与之前主要关注模型本身改进的工作不同，本文的创新点在于诊断性地揭示了现有主流音频语言模型在利用外部结构化/非结构化上下文信息方面的普遍不足，并明确提出了一个用于量化评估该能力的基准。 主要实验结果： 提示工程无效：直接向模型提供诊断标签或详细的临床描述进行推理，对字错率（WER）的改善微乎其微，甚至常常导致性能下降。 微调有效：通过LoRA方法，使用混合临床提示格式对模型进行微调，将WER从冻结基线大幅降低52%，达到0.066。 分组分析：微调方法在唐氏综合征和轻度症状说话人子群体上取得了显著收益。 模型设置 关键指标 (WER) 相对变化 冻结基线 未提供具体数值 - LoRA微调后 0.066 -52% (相对) 实际意义：明确指出了当前音频语言模型在医疗辅助、包容性AI应用中的短板，为社区提供了衡量进步的基准，并验证了特定微调策略在小样本垂直领域的有效性。 主要局限性：论文主要评估和测试了已有的模型，未能提出一种能根本性解决“上下文利用失败”问题的新模型架构或训练范式；微调的成功依赖于特定的数据集和任务设置，泛化能力有待验证。 🏗️ 模型架构 论文中未提出一种新的模型架构。其研究对象是“现有的音频语言模型”（Audio-Language Models, ALMs），但未在摘要中说明具体测试了哪9个模型。分析集中在这些模型作为一个黑盒在不同提示或微调策略下的行为表现，而非其内部组件或数据流。因此，关于模型架构的详细信息，论文中未说明。 ...

📄 A Hidden Semantic Bottleneck in Conditional Embeddings of Diffusion Transformers #扩散模型 #图像生成 #多任务学习 #模型评估 #基准测试 🔥 8.5/10 | 前25% | #图像生成 | #扩散模型 | #多任务学习 #模型评估 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Trung X. Pham（韩国科学技术院，KAIST） 通讯作者：Chang D. Yoo（韩国科学技术院，KAIST） 作者列表：Trung X. Pham（KAIST）、Kang Zhang（KAIST）、Ji Woo Hong（KAIST）、Chang D. Yoo（KAIST） 💡 毒舌点评 本文首次系统性地揭示了扩散Transformer条件嵌入中高达99%的角相似性和超过66%的维度冗余，这是一个反直觉且重要的发现，为模型压缩和条件机制设计指明了新方向。但遗憾的是，论文对“为何如此”的理论解释仍停留在假设阶段（如“训练动态导致稳定信号”），缺乏更深入的数学分析或机制性验证，使得这个精彩观察的理论深度打了折扣。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文分析基于多个公开发布的预训练模型检查点（DiT， MDT， SiT， REPA， LightningDiT， MG， X-MDPT， MDSGen等），并指明使用其官方发布的XL/Large/B-Size模型。 数据集：分析所用数据集为公开的ImageNet-1K， DeepFashion， VGGSound。 Demo：未提及。 复现材料：论文提供了详细的实验设置（如生成5000个样本，使用特定评估代码），关键超参数（剪枝阈值τ），以及大量的附录图表，为复现分析提供了充分信息。 论文中引用的开源项目：引用了被分析模型的官方代码仓库（如Peebles & Xie 2023对应DiT， Yu et al. 2025对应REPA等），以及评估工具（LightningDiT的评估代码）。 📌 核心摘要 这篇论文旨在解决对Transformer基扩散模型中条件嵌入（conditional embedding）结构理解不足的问题。方法核心是对多个SOTA扩散Transformer（如DiT， REPA等）的条件向量进行系统分析，揭示其普遍存在的“语义瓶颈”现象。与已有方法相比，本文是首个聚焦于条件嵌入内部结构（而非模型架构或训练目标）的系统性研究。主要实验结果表明：在ImageNet-1K类条件任务中，不同类别的条件向量余弦相似度超过99%；在连续条件任务（如姿态引导图像生成）中，相似度超过99.9%。同时，语义信息集中在约1-2%的高幅度维度（“头部”），其余维度（“尾部”）贡献极小。即使剪枝掉多达66%的尾部维度，生成质量（FID）和语义一致性（CLIP）也能保持甚至略有提升。实际意义在于揭示了当前条件编码方案存在巨大冗余，为设计更高效、更轻量的条件注入机制（如稀疏条件、更紧凑的嵌入）提供了实证依据和设计启示。主要局限性是论文提出的解释（如“AdaLN放大头部维度”、“抑制尾部噪声”）主要是假设和定性分析，缺乏定量验证或理论证明。 ...

📄 AlignSep: Temporally-Aligned Video-Queried Sound Separation with Flow Matching #音频分离 #流匹配 #音视频 #基准测试 #多模态模型 ✅ 7.5/10 | 前25% | #音频分离 | #流匹配 | #音视频 #基准测试 学术质量 5.8/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：未说明（论文声明Xize Cheng, Chenyuhao Wen, Tianhao Wang为共同第一作者“Equal Contribution”） 通讯作者：未说明 作者列表：Xize Cheng (浙江大学1), Chenyuhao Wen (浙江大学1), Tianhao Wang (独立作者2), Yongqi Wang (浙江大学1), Zehan Wang (浙江大学1), Rongjie Huang (浙江大学1), Tao Jin (浙江大学1), Zhou Zhao (浙江大学1)。（注：1指浙江大学，2指独立作者，具体实验室或部门未在文中提供） 💡 毒舌点评 亮点：这是首个将流匹配范式成功引入视频引导声音分离的工作，并敏锐地指出了其与传统文本生成任务在“多条件生成”上的本质差异，为后续研究者提供了清晰的思路和新的挑战性基准。 短板：模型架构（拼接+FFN Transformer）略显“直给”，缺乏更精巧的跨模态交互设计；虽然实验充分，但“流匹配”相对于“扩散模型”在本任务中的具体优势论证（如表7所示）并不构成压倒性差距，说服力有提升空间。 ...

📄 AudioTrust: Benchmarking The Multifaceted Trustworthiness of Audio Large Language Models #基准测试 #模型评估 #音频大模型 #鲁棒性 ✅ 7.5/10 | 前25% | #基准测试 | #基准测试 | #模型评估 #音频大模型 学术质量 5.5/7 | 选题价值 2.0/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kai Li（论文中标注为共同第一作者，其机构为清华大学计算机系） 通讯作者：Xinfeng Li（论文中标注为†，其机构为南洋理工大学） 作者列表： Kai Li（清华大学计算机系， Institute for AI, BNRist） Can Shen（北京师范大学-香港浸会大学联合国际学院，BNBU） Yile Liu（早稻田大学，Waseda University） Jirui Han（独立研究者） Kelong Zheng（华中科技大学，HUST） Xuechao Zou（北京交通大学，BJTU） Lionel Z. Wang（未说明具体机构，作者列表归属南洋理工大学） Shun Zhang（清华大学） Xingjian Du（罗切斯特大学） Hanjun Luo（浙江大学） Yingbin Jin（香港理工大学） Xinxin Xing（独立研究者） Ziyang Ma（上海交通大学，及12号单位） Yue Liu（新加坡国立大学） Yifan Zhang（中国科学院，CAS） Junfeng Fang（新加坡国立大学） Kun Wang（南洋理工大学） Yibo Yan（香港科技大学（广州）） Gelei Deng（南洋理工大学） Haoyang Li（香港理工大学） Yiming Li（南洋理工大学） Xiaobin Zhuang（字节跳动） Tianlong Chen（北卡罗来纳大学教堂山分校） Qingsong Wen（松鼠AI学习） Tianwei Zhang（南洋理工大学） Yang Liu（南洋理工大学） Haibo Hu（香港理工大学） Zhizheng Wu（香港中文大学（深圳）） Xiaolin Hu（清华大学计算机系， Institute for AI, BNRist） Eng-Siong Chng（南洋理工大学） Wenyuan Xu（浙江大学） XiaoFeng Wang（南洋理工大学） Wei Dong（南洋理工大学） Xinfeng Li（南洋理工大学） 💡 毒舌点评 本文最大的亮点在于其雄心和系统性：它是第一个为ALLM量身定做可信度评估框架的工作，直指音频模态引入的“非语义”攻击面，如情绪操纵、口音偏见和环境声伪造，这比单纯评估文本安全要深刻得多。然而，其短板也相当明显：作为一个“评估”工作，它严重依赖GPT-4o和Qwen3作为评估器，这本质上是用一个黑箱模型去评判另一个黑箱模型的可信度，其评估结果本身的“可信度”值得打个问号；此外，部分实验（如隐私推断）的自动化评估结果与常识或直觉可能存在偏差（如论文所示，所有模型在隐私推断上几乎全部失败），需要更深入的人类评估来验证。 ...