研究条目

Language Model Augmented Semi-Supervised Statistical Inference

📄 Language Model Augmented Semi-Supervised Statistical Inference #语音属性识别 #大语言模型 #少样本 #医疗音频 #理论分析 5.4/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 0.7/1.5 | 清晰 0.8/1 | 影响 0.4/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.5/1.5 📝 5.4/10 | 后50% | #语音属性识别 | #大语言模型 | #少样本 #医疗音频 | arxiv 👥 作者与机构 第一作者:Xinrui Ruan(University of California, Berkeley, Division of Biostatistics) 通讯作者:Jingshen Wang(University of California, Berkeley, Division of Biostatistics) 作者列表:Xinrui Ruan(University of California, Berkeley)、Yingfei Wang(University of Washington, Foster School of Business)、Waverly Wei(University of Southern California, Department of Data Sciences and Operations)、Jingshen Wang(University of California, Berkeley) 💡 毒舌点评 论文在统计理论上花费了大量篇幅证明LLM伪标签的校准权重能提升半监督推断效率,思想严谨但不够惊艳——本质上是对半参数推断中投影技巧的LLM特化。实验局限于语音转录文本这一个应用,且与语音社区熟知的预训练模型(Wav2Vec2、HuBERT)毫无关联,代码、数据提取全闭源,对于语音/音频领域的读者而言,这更像一篇披着语音应用外衣的统计论文,而非真正解决语音问题的研究。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 328 字 阅读 →
研究条目

MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio

📄 MedMosaic: A Challenging Large Scale Benchmark of Diverse Medical Audio #音频理解 #医疗音频 #基准测试 #数据集 #多模态模型 6.4/10 | 创新 0.8/2 | 严谨 0.8/1.5 | 实验 1.2/1.5 | 清晰 0.7/1 | 影响 1/1.5 | 开源 0.8/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.4/10 | 前50% | #音频理解 | #多模态模型 | #医疗音频 #基准测试 | arxiv 👥 作者与机构 第一作者:Harshit Rajgarhia(Centific Global Solutions Inc.) 通讯作者:Harshit Rajgarhia(Centific Global Solutions Inc.) 作者列表:Harshit Rajgarhia(Centific Global Solutions Inc.)、Shuubham Ojha(Centific Global Solutions Inc., University of Maryland, College Park)、Asif Shaik(Centific Global Solutions Inc.)、Akhil Pothanapalli(Centific Global Solutions Inc.)、Rachuri Lokesh(Centific Global Solutions Inc.)、Abhishek Mukherji(Centific Global Solutions Inc.)、Prasanna Desikan(Centific Global Solutions Inc.) 💡 毒舌点评 这篇论文构建了一个规模可观(46k QA对)且设计精巧的医学音频推理基准,通过对13个前沿模型的系统评测,清晰暴露了当前多模态大模型在医学音频上的显著短板,尤其是言语理解与生理声理解的严重偏科。然而,数据完全依赖合成生成和API调用,使整个基准的价值高度绑定于特定商业模型(Gemini和ElevenLabs)的生成能力,缺乏对“真实”临床音频分布差距的严格验证;且没有开源代码、模型或完整的生成流水线,连自身宣称的“scalable”理念都无法让社区复制,工程诚意严重不足。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 306 字 阅读 →
研究条目

NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding

📄 NeuroCLUS: A Foundation Model with Functional Clustering for Intracranial Neural Decoding #语音识别 #自监督学习 #预训练 #图神经网络 #医疗音频 6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.7/1 | 影响 0.5/1.5 | 开源 0.5/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6/10 | 前50% | #语音识别 | #自监督学习 | #预训练 #图神经网络 | arxiv 👥 作者与机构 第一作者:Hui Zheng(Independent Researcher) 通讯作者:Hui Zheng(icml2026.neuroclus@gmail.com) 作者列表:Hui Zheng(Independent Researcher)、Hai-Teng Wang(Independent Researcher) 💡 毒舌点评 这项工作敏锐地捕捉到了现有iEEG基础模型在tokenization粒度上的核心矛盾——要么太细(单通道)要么太粗(全脑聚合),提出的两阶段功能聚类策略直击要害,在Du-IN语音生成任务上甚至大幅超越了专门的SOTA模型(65.92% vs 62.70%),这点值得称赞。然而,完全忽略解码任务中至关重要的时序动态聚类(即功能模块可能随时间漂移这一基本神经科学事实),仅用静态的功能依赖图指导token聚合,导致模型对复杂认知过程的适应性存疑;同时“独立研究者”的身份与高达10k小时的预训练数据和8张A100的算力需求存在一定张力,缺少代码和模型权重也使得“SOTA”声称暂时难以验证。 ...

 · 更新于 2026-09-05 · 约 4 分钟 · 788 字 阅读 →
研究条目

Automatic Detection of Stress from Speech in the Trier Social Stress Test

📄 Automatic Detection of Stress from Speech in the Trier Social Stress Test #语音情感识别 #集成学习 #可解释性 #医疗音频 #模型比较 7.4/10 | 创新 0.9/2 | 严谨 1.3/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1.2/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 7.4/10 | 前50% | #语音情感识别 | #集成学习 | #可解释性 #医疗音频 | arxiv 👥 作者与机构 第一作者:Hanna Drimalla(比勒费尔德大学技术学院人本人工智能组) 通讯作者:Hanna Drimalla(比勒费尔德大学技术学院人本人工智能组) 作者列表:Hanna Drimalla(比勒费尔德大学技术学院人本人工智能组)、Wieland R. Cremer(未说明)、Christine Kraus(未说明)、Oliver T. Wolf(鲁尔大学波鸿分校心理学院认知心理学系) 💡 毒舌点评 这篇论文用一个干净的全组间对照设计,为语音压力检测贡献了一个小而扎实的实证锚点,XGB 分类准确率 82% 清楚地证明讲话声确实藏着一把“压力尺子”。但回归预测整体疲软,仅有部分输出勉强显著,且 50 人的小样本令结果飘忽不定,很难让审稿人信服这套 acoustic-prosodic 特征包可以可靠地作为皮质醇的替代标志物。工程上提供了一个可复现的基线,但科学增量有限,考虑到实验设计、特征工程和模型选择均无本质突破,只能说是一份扎实但不够“亮眼”的工作。 ...

 · 更新于 2026-09-05 · 约 4 分钟 · 695 字 阅读 →
研究条目

语音/音乐/音频论文速递 2026-07-02

语音/音乐/音频论文速递 2026-07-02 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 3篇 ███ #说话人验证 2篇 ██ #语音合成 2篇 ██ #语音识别 1篇 █ #音视频理解 1篇 █ #语音增强 1篇 █ #语音情感识别 1篇 █ #音乐生成 1篇 █ 📊 论文评分排行榜(16 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 NPUsper: Eliminating Redundant Computation for Real-Tim 9.0分 前10% #语音识别 🥈 AV-SyncBench: Decoupled Benchmarking of Temporal and Se 8.5分 前25% #音视频理解 🥉 ORCA: Open-ended Response Correctness Assessment for Au 7.9分 前25% #音频理解 4. AmbiDrop: Ambisonics-Based Array-Agnostic Neural Speech 7.5分 前25% #语音增强 5. From Objectives to Applications: Aligning Architectural 7.5分 前25% #音频理解 6. Positive-Incentive Noise Predictor for Adversarial Puri 7.4分 前50% #说话人验证 7. Automatic Detection of Stress from Speech in the Trier 7.4分 前50% #语音情感识别 8. Enhancing Flow Matching with A Unified Guidance Framewo 7.1分 前50% #语音合成 9. MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal 6.9分 前50% - 10. A Text-Steerable Instrument for Sketching Procedural So 6.8分 前50% #音乐生成 11. A Geometric Perspective on Composable Emotion Steering 6.6分 前50% #语音合成 12. Do Multimodal Large Language Models Need Reasoning to C 6.5分 前50% #语音属性识别 13. Evaluating Pretrained Music Embeddings for Cross-Perfor 5.8分 前50% #音乐检索 14. Disentangling Speaker and Language Effects in Cross-Lin 5.6分 前50% #说话人验证 15. Adaptive Perturbation Selection for Contrastive Audio D 5.3分 后50% #音频理解 16. Speech Playground: An Interactive Tool for Speech Analy 4.1分 后50% - 📋 论文列表 🥇 NPUsper: Eliminating Redundant Computation for Real-Time Whisper on Mobile NPUs 9.0/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1.0/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

 · 更新于 2026-09-05 · 约 13 分钟 · 2691 字 阅读 →
研究条目

Comprehensive Dataset and Signal Processing Framework for Phonocardiogram-Based Heart Rate and Blood Pressure Estimation

📄 Comprehensive Dataset and Signal Processing Framework for Phonocardiogram-Based Heart Rate and Blood Pressure Estimation #医疗音频 #工业应用 🔥 8/10 | 前25% | #医疗音频 | #工业应用 | arxiv 学术质量 5.4/7 | 影响力 1.5/2 | 可复现性 1.1/2 👥 作者与机构 第一作者及通讯作者:Abdul Ahad Mamun,孟加拉国工程技术大学电气与电子工程系。 共同作者:Utsab Saha(同机构及BRAC大学),Md Hasibul Hasan,Shahed Ahmed,MD Jahin Alam(同机构及BRAC大学)。 💡 毒舌点评 这篇论文想用一个麦克风和Arduino板子同时测心率血压,想法很美好,现实很骨感。硬件描述详细得像产品说明书,但核心贡献——那个“半经验模型”——在一个15人的健康男性小样本上跑回归,特征维度比样本数还多,这过拟合的flag立得飞起。作者自己都在supplementary material里承认了,但正文中还是把那组漂亮的相关系数(R=0.891)摆得挺显眼。血压参考值用的是手动测量取平均,这误差引入得也很“朴素”。整篇文章像一份详实的系统验证报告,而不是一篇旨在解决核心科学问题(如何从PCG中可靠推断BP)的方法论文。对语音/音乐领域的读者来说,除了“信号处理”这个宽泛标签,几乎没有直接可借鉴的创新点。 📌 核心摘要 本研究提出了一种名为PhonoTrack的低成本心音图(PCG)监测系统,旨在仅使用单通道PCG信号同时估计心率(HR)和血压(BP)。研究构建了一个包含15名健康成年男性同步PCG、心电图(ECG)及手动血压测量的小型数据集。HR估计采用三种包络检测方法(希尔伯特变换、香农能量、小波能量谱)提取心音峰值,其中香农能量法表现最佳,与ECG参考的HR相关性达0.973,RMSE为1.688 bpm。BP估计基于从PCG包络中提取的时域特征(如心音持续时间、上升/下降时间等),通过一个包含线性、二次项及交互项的半经验多元线性回归模型进行预测,其估计值与手动测量值的收缩压(SBP)和舒张压(DBP)相关性分别为0.891和0.700,误差标准差为2.10和3.20 mmHg。研究通过留一法交叉验证(LOOCV)评估了BP模型的泛化能力,但指出小样本和模型复杂度存在过拟合风险。论文为基于PCG的低成本便携式心血管监测设备提供了概念验证,但强调其结论的推广需要更大、更多样化的数据集和临床验证。 🔗 开源详情 代码: 未提供公开代码仓库或链接。 模型权重: 未提供。论文提出的HR和BP估计算法基于传统信号处理和统计回归模型,无深度学习模型权重。 数据集: 论文提出了一个名为“Comprehensive Dataset for Phonocardiogram-Based Heart Rate and Blood Pressure Estimation”的数据集。获取方式:论文中未提供公开下载链接,在Data Availability部分指出“通讯作者会在合理请求下提供”。开源协议:未提及。 Demo: 未提及。 复现材料: 未提供结构化的复现包。但论文在“Methodology”、“Data Validation”和“Results”部分详细描述了完整的信号处理流程、算法参数(如滤波器截止频率、小波类型与层级、阈值设置)、半经验回归模型的所有系数(Table 1)、以及数据验证指标(NRMSE, SNR)的计算方法(Table 2)。这些文字描述构成了复现研究所必需的关键信息。 论文中引用的开源项目: 未引用特定的开源软件库或项目。论文引用了多个公开数据集(PASCAL HSC, PhysioNet 2016等)进行文献综述和比较,但未提供具体URL。 🏗️ 方法概述和架构 本研究的方法框架是一个端到端的系统,涵盖硬件设计、数据采集、信号处理与建模,旨在验证仅用PCG信号进行HR和BP估计的可行性。其核心架构可分为硬件平台、数据采集流程、信号处理流水线(用于HR估计)和BP估计模型四个主要部分。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 469 字 阅读 →
研究条目

语音/音乐/音频论文速递 2026-05-25

语音/音乐/音频论文速递 2026-05-25 共分析 19 篇论文 ⚡ 今日概览 📥 抓取 19 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音质量评估 3篇 ███ #语音识别 3篇 ███ #信号处理 3篇 ███ #音频分类 1篇 █ #语音编码 1篇 █ #音频深度伪造检测 1篇 █ #统一音频模型 1篇 █ #医疗音频 1篇 █ 📊 论文评分排行榜(19 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Frame-Aligned Fusion of Canary and WavLM for Non-Intrus 10.0分 前10% #语音质量评估 🥈 Evaluating the Temporal Detection Capability of Integra 10.0分 前10% #音频分类 🥉 UniSRM: A Unified Speech Reward Model for Reasoning-Bas 10.0分 前10% #语音质量评估 4. AffectCodec: Emotion-Preserving Neural Speech Codec wit 10.0分 前10% #语音编码 5. MixFake: Benchmarking and Enhancing Audio Deepfake Dete 10.0分 前10% #音频深度伪造检测 6. A study on weakly-supervised training approaches for ph 9.7分 前10% #语音识别 7. Broad learning system with robust adaptive kernel 8.7分 前25% #信号处理 8. Articulatory strategy as a source of variation in acous 8.5分 前25% #语音识别 9. StepAudio 2.5 Technical Report 8.3分 前25% #统一音频模型 10. Comprehensive Dataset and Signal Processing Framework f 8.0分 前25% #医疗音频 11. Word-Level Modeling with Alignment-Aware Acoustic Fusio 7.7分 前25% #语音质量评估 12. Convex Low-resource Accent-Robust Language Detection in 7.5分 前25% #语音识别 13. Diffusion Domain Expansion: Learning to Coordinate Pre- 7.4分 前50% #扩散模型 14. EvalVerse: Pipeline-Aware and Expert-Calibrated Benchma 7.1分 前50% #音视频 15. Copula-Induced Correntropy for Robust Conjugate Gradien 7.0分 前50% #信号处理 16. Cost-Effective Model Evaluation with Meta-Learning 5.4分 后50% #迁移学习 17. Natural Yet Challenging to Detect: Robust In-the-Wild T 5.2分 后50% #语音合成 18. Self-Calibration DOA Estimation for Movable Antenna Sys 4.0分 后50% #声源定位 19. 6G Communication Networks Enabling Embodied Agents: Arc 2.7分 后50% #信号处理 📋 论文列表 🥇 Frame-Aligned Fusion of Canary and WavLM for Non-Intrusive Intelligibility Prediction of Hearing-Aid-Processed Speech 🔥 10.0/10 | 前10% | #语音质量评估 | #模型融合 | #多模态模型 #预训练 | arxiv ...

 · 更新于 2026-09-05 · 约 9 分钟 · 1773 字 阅读 →
研究条目

Speaker-Disentangled Remote Speech Detection of Asthma and COPD Exacerbations

📄 Speaker-Disentangled Remote Speech Detection of Asthma and COPD Exacerbations #医疗音频 #对抗学习 #语音生物标志物 #多任务学习 #隐私保护 ✅ 7.5/10 | 前50% | #医疗音频 | #对抗学习 | #语音生物标志物 #多任务学习 | arxiv 学术质量 6.2/8 | 影响力 0.8/1 | 可复现性 0.5/1 | 置信度 中 👥 作者与机构 第一作者:Yuyang Yan (马斯特里赫特大学数据科学研究所) 通讯作者:Yuyang Yan (马斯特里赫特大学数据科学研究所) 作者列表:Yuyang Yan (马斯特里赫特大学数据科学研究所)、Sami O. Simons (马斯特里赫特大学医学中心呼吸内科 / NUTRIM营养、转化与代谢研究所)、Visara Urovi (马斯特里赫特大学数据科学研究所) 💡 毒舌点评 亮点:论文切中了一个重要但常被忽视的问题——医疗语音诊断模型可能严重依赖说话人身份这一“伪特征”。其提出的对抗解耦框架思路清晰,并将临床可解释性(SHAP)与隐私保护目标相结合,在垂直医疗领域具有实际价值。通过实验证明,去除说话人偏差后模型反而更关注病理特征,这种“隐私促进性能”的发现很有启发性。短板:核心验证存在明显软肋。外部验证集Bridge2AI-Voice仅用了22名患者(每类11人),样本量过小,统计效力严重不足,难以支撑“跨数据集泛化”的强力结论。此外,研究完全基于预提取的声学特征,未与端到端从原始音频学习的方法进行对比,方法的优越性范围受限。 📌 核心摘要 要解决什么问题:基于语音的远程呼吸疾病监测模型,其预测性能可能高度依赖说话人的可识别属性(如年龄、性别、口音),这既损害了模型在未知患者上的泛化能力,也带来了严重的患者隐私泄露风险。同时,病理特征与说话人特征的混杂使得特征可解释性变差。 方法核心是什么:提出一个基于对抗学习的多任务框架。框架包含一个共享的上游编码器(LeFF Transformer + BiLSTM),其下游连接两个分类头:一个用于预测呼吸状态(稳定/加重)或加重类型(哮喘/COPD),另一个用于预测说话人身份。在说话人分类头之前插入梯度反转层(GRL),在反向传播时反转梯度,迫使上游编码器学习对病理分类有用但对说话人识别无用的特征表示。总训练目标为 \(\mathcal{L}_{\text{total}}=\mathcal{L}_{\text{res}}-\lambda\mathcal{L}_{\text{spk}}\)。 与已有方法相比新在哪里:首次将对抗解耦技术系统性地应用于医疗语音分析领域,专门解决说话人偏差问题。与简单的语音转换预处理(如FreeVC)相比,该方法是端到端的、可训练的,并能同时优化临床任务性能和隐私保护目标。此外,框架整合了多任务学习和基于SHAP的特征重要性分析,以提升模型的区分度和可解释性。 主要实验结果如何:在TACTICAS数据集(荷兰语)上,对于“稳定/加重”分类,AUC从基线的0.897提升至0.909;对于“哮喘/COPD加重”分类,AUC从0.647显著提升至0.739。同时,衡量说话人可分离度的J-ratio在两项任务中均下降(任务1:1.541→1.515;任务2:1.034→0.869)。外部验证(Bridge2AI-Voice,英语)也显示了性能提升和J-ratio下降(AUC 0.801→0.822, J-ratio 2.146→1.763)。SHAP分析显示,对抗训练后模型抑制了与说话人强相关的特征(如基频标准差、共振峰频率标准差),增强了与病理相关的特征(如抖动、响度标准差、连续静音时长)。 实际意义是什么:该工作为构建更公平、更隐私、更可靠的语音医疗诊断模型提供了方法论基础。它表明,通过主动消除无关的说话人偏差,不仅可以保护隐私,还能迫使模型关注真正的病理生物标志物,从而可能提升模型的临床泛化能力。 主要局限性是什么:研究使用的两个数据集规模均较小(TACTICAS: 56人;Bridge2AI-Voice验证集: 22人),且验证集语言不同但病理类别有限。模型性能虽有提升,但绝对提升幅度有限(Task 1 AUC提升仅0.012),且缺乏与临床重要终点(如住院率、肺功能)的关联分析。对抗训练的关键超参数λ的选择过程和最终值未明确说明,也未进行敏感性分析。 🔗 开源详情 代码:论文中未提及代码链接 模型权重:论文中未提及 数据集: TACTICAS:该数据集用于本研究,由研究团队通过移动应用收集。论文中未提供公开获取的直接链接。 Bridge2AI-Voice:用于外部验证的公开数据集。论文中提供了其项目主页链接:www.bridge2ai-voice.org。 Demo:论文中未提及 复现材料:论文中未提及 论文中引用的开源项目: openSMILE:一种用于从语音和音频中提取声学特征的工具包。 eGeMAPS:扩展的日内瓦最小化声学描述符集。 FreeVC:用于语音转换的无文本、单次学习系统。其 GitHub 仓库链接为:https://github.com/amaurial/FreeVC。 🏗️ 方法概述和架构 整体流程概述:这是一个端到端的对抗学习框架。输入是手工提取的多域声学特征(频谱、频率、能量、时域),经过一个共享的上游编码器(Locally-enhanced Feed-Forward Network Transformer + BiLSTM)提取高级表征。该表征随后被同时送入两个下游任务头:一个病理分类头(MLP)和一个说话人分类头(MLP)。在说话人分类头之前插入梯度反转层(GRL),构成对抗训练的核心,最终输出两个任务的预测概率。训练目标是联合最小化病理分类损失和最大化说话人分类损失(通过GRL和损失函数设计实现)。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 445 字 阅读 →
研究条目

Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction

📄 Can Large Language Models Imitate Human Speech for Clinical Assessment? LLM-Driven Data Augmentation for Cognitive Score Prediction #语音生物标志物 #数据增强 #大语言模型 #医疗音频 #低资源 ✅ 6/10 | 前50% | #语音生物标志物 | #数据增强 | #大语言模型 #医疗音频 | arxiv 学术质量 5.4/8 | 影响力 0.6/1 | 可复现性 0/1 | 置信度 中 👥 作者与机构 第一作者:Si-Belkacem Yamine Ketir (Télécom SudParis, France) 通讯作者:未说明 作者列表:Si-Belkacem Yamine Ketir (Télécom SudParis, France)、Lenard Paulo Tamayo (Nara Institute of Science and Technology, Japan)、Shohei Hisada (Nara Institute of Science and Technology, Japan)、Shaowen Peng (Nara Institute of Science and Technology, Japan)、Shoko Wakamiya (Nara Institute of Science and Technology, Japan)、Eiji Aramaki (Nara Institute of Science and Technology, Japan) 💡 毒舌点评 本文提出了一个逻辑清晰、临床动机明确的数据增强框架,其核心亮点在于“书面锚定+风格转换”的受控生成范式,并创新性地引入相似性引导策略以提升合成数据的语义保真度。然而,其说服力严重受限于实验规模:在一个仅30人、分布极不平衡且未公开的特定语料库上得出结论,且基线选择过于薄弱(仅对比无增强和高斯噪声),未与领域内更相关的文本增强方法(如EDA、回译)或更强大的预测模型进行对比,使得方法优越性的声称显得证据不足。此外,论文依赖于闭源的GPT-5模型,严重损害了工作的可复现性与普适性。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 330 字 阅读 →
研究条目

Improving Automatic Speech Recognition for Speakers Treated for Oral Cancer using Data Augmentation and LLM Error Correction

📄 Improving Automatic Speech Recognition for Speakers Treated for Oral Cancer using Data Augmentation and LLM Error Correction #语音识别 #数据增强 #大语言模型 #医疗音频 #低资源 #语音转换 #文本转语音 ✅ 6/10 | 前50% | #语音识别 | #数据增强 | #大语言模型 #医疗音频 | arxiv 学术质量 5/8 | 影响力 0.8/1 | 可复现性 0.2/1 | 置信度 高 👥 作者与机构 第一作者:Hidde Folkertsma(论文作者列表首位,通常为第一作者) 通讯作者:未明确说明 作者列表:Hidde Folkertsma, Thomas B. Tienkamp, Sebastiaan A.H.J. de Visscher, Max J.H. Witjes, Rob J.J.H. van Son, Jiapan Guo, Bence Mark Halpern 作者与机构:论文正文及致谢部分未明确列出所有作者所属的完整机构信息。仅在致谢中提及数据收集获得了格罗宁根大学医学中心研究伦理委员会的批准,表明研究可能与该机构有关联。 💡 毒舌点评 本文系统性地将多种数据增强技术(从传统信号处理到生成式模型)和LLM纠错应用于一个数据极度稀缺、具有重要临床意义的垂直领域——口腔癌术后患者的语音识别。实验设计全面,对比了不同的ASR模型、微调策略和LLM,并进行了消融分析,实证部分扎实。然而,论文的核心方法创新性有限,本质是现有技术的组合与应用验证。更关键的是,受限于仅11名患者的小数据集,所有结论的统计显著性和泛化能力存疑,部分分析(如将TTS的成功归因于语言多样性)缺乏严格验证。此外,依赖闭源LLM API带来的隐私与部署矛盾,是其从“有效”走向“实用”难以绕过的障碍。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 426 字 阅读 →
研究条目

语音/音乐/音频论文速递 2026-05-18

语音/音乐/音频论文速递 2026-05-18 共分析 13 篇论文 ⚡ 今日概览 📥 抓取 13 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音乐生成 2篇 ██ #音频分类 2篇 ██ #音频修复 1篇 █ #语音识别 #说话人分离 1篇 █ #语音翻译 1篇 █ #语音识别 1篇 █ #生理信号预测 1篇 █ #语音生物标志物 1篇 █ 📊 论文评分排行榜(13 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Modeling Music as a Time-Frequency Image: A 2D Tokenize 8.1分 前25% #音乐生成 🥈 Scalable neuromorphic computing from autonomous spiking 7.8分 前25% #音频分类 🥉 Real-time Speech Restoration using Data Prediction Mean 7.5分 前25% #音频修复 4. Mind the Gap: Impact of Synthetic Conversational Data o 7.2分 前25% #语音识别 #说话人分离 5. From Flat Language Labels to Typological Priors: Struct 6.9分 前50% #语音翻译 6. Beyond Content: A Comprehensive Speech Toxicity Dataset 6.5分 前25% #音频分类 7. ARIA: A Diagnostic Framework for Music Training Data At 6.1分 前25% #音乐生成 8. Improving Automatic Speech Recognition for Speakers Tre 6.0分 前50% #语音识别 9. Toward World Modeling of Physiological Signals with Cha 6.0分 前50% #生理信号预测 10. Can Large Language Models Imitate Human Speech for Clin 6.0分 前50% #语音生物标志物 11. Can We Trust AI-Inferred User States. A Psychometric Fr 6.0分 前50% #模型评估 12. Sound Sparks Motion: Audio and Text Tuning for Video Ed 5.5分 前25% #视频编辑 13. Perforated Neural Networks for Keyword Spotting 5.0分 前60% #关键词检测 📋 论文列表 🥇 Modeling Music as a Time-Frequency Image: A 2D Tokenizer for Music Generation 🔥 8.1/10 | 前25% | #音乐生成 | #自回归模型 | arxiv ...

 · 更新于 2026-09-05 · 约 11 分钟 · 2305 字 阅读 →
研究条目

A Benchmark for Early-stage Parkinson's Disease Detection from Speech

📄 A Benchmark for Early-stage Parkinson’s Disease Detection from Speech #语音生物标志物 #基准测试 #医疗音频 #模型评估 ✅ 7.2/10 | 前30% | #语音生物标志物 | #基准测试 | #医疗音频 #模型评估 | arxiv 学术质量 5.6/8 | 影响力 0.7/1 | 可复现性 0.9/1 | 置信度 高 👥 作者与机构 第一作者:Terry Yi Zhong (Centre for Language Studies, Radboud University, Nijmegen, the Netherlands) 通讯作者:论文中未明确指定通讯作者。作者列表及邮箱显示,通讯联系可能为第一作者或资深作者 Bastiaan R. Bloem。 作者列表:Terry Yi Zhong, Cristian Tejedor-Garcia, Khiet P. Truong (Centre for Language Studies, Radboud University, the Netherlands), Janna Maas, Bastiaan R. Bloem (Center of Expertise for Parkinson and Movement Disorders, Radboud University Medical Center, the Netherlands), Louis ten Bosch (Centre for Language Studies, Radboud University, the Netherlands) 💡 毒舌点评 在语音PD检测领域众说纷纭的“巴别塔”困境中,本文试图建立一座通用的“基准高塔”。其系统性整合和临床考量令人钦佩,但作为高塔地基的公开语料库(仅两个数据集)却略显单薄,可能使其宣称的普适性在面对更复杂的现实世界“地基”时产生动摇。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 531 字 阅读 →
研究条目

Physics-Based iOCT Sonification for Real-time Interaction Awareness in Subretinal Injection

📄 Physics-Based iOCT Sonification for Real-time Interaction Awareness in Subretinal Injection #医疗音频 #信号处理 #实时处理 #音频事件检测 #跨模态 ✅ 6.5/10 | 前40% | #医疗音频 | #信号处理 | #实时处理 #音频事件检测 | arxiv 学术质量 5.4/8 | 影响力 0.6/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者:Luis D. Reyes Vargas (Technical University of Munich, Computer Aided Medical Procedures) 通讯作者:Luis D. Reyes Vargas (邮箱 luis.reyes@tum.de 明确标识为通讯作者) 作者列表:Luis D. Reyes Vargas (Technical University of Munich, Computer Aided Medical Procedures),Veronica Ruozzi (未说明机构),Andrea K. M. Ross (Rotterdam Eye Hospital),Shervin Dehghani (Technical University of Munich, TUM Klinikum Rechts der Isar),Michael Sommersperger (Technical University of Munich, Computer Aided Medical Procedures),Koorosh Faridpooya (未说明机构),Mohammad Ali Nasseri (Technical University of Dresden, Centre for Tactile Internet with Human-in-the-Loop),Merle Fairhurst (Technical University of Dresden, Chair for Social Affective Touch),Nassir Navab (Technical University of Munich, Computer Aided Medical Procedures; Munich Center for Machine Learning),Sasan Matinfar (Technical University of Munich, Computer Aided Medical Procedures) 💡 毒舌点评 这篇论文精准地抓住了视网膜下注射手术中一个真实且关键的痛点:iOCT数据的视觉认知过载。其提出的解决方案——将实时分割的解剖结构映射到一个物理声音模型——在工程逻辑上清晰且具有临床洞察力。用户研究的结果也确实表明,这种听觉反馈在传递“水泡形成”这类动态事件上显著优于简单参数映射。然而,这篇论文的创新性上限被其“系统集成”的本质所限制:核心的声音生成模型(质量-弹簧-阻尼器)和驱动它所需的分割技术均非新创。论文更像是一次精心设计的、面向特定场景的“管道集成”和应用验证,其贡献在于证明了这种集成方式在临床任务上的有效性,而非在音频合成、物理建模或分割算法本身上提出新原理。实验完全基于模拟环境和有限的专家反馈,与真实的、高风险的手术室应用之间,仍隔着一道名为“临床验证”的深水区。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 407 字 阅读 →
研究条目

PROCESS-2: A Benchmark Speech Corpus for Early Cognitive Impairment Detection

📄 PROCESS-2: A Benchmark Speech Corpus for Early Cognitive Impairment Detection #语音生物标志物 #数据集 #基准测试 #医疗音频 📝 5.4/10 | 前50% | #语音生物标志物 | #基准测试 | #数据集 #医疗音频 | arxiv 学术质量 4.2/8 | 影响力 0.7/1 | 可复现性 0.5/1 | 置信度 高 👥 作者与机构 第一作者:Madhurananda Pahar(谢菲尔德大学计算机系) 通讯作者:未明确说明(论文未明确标注通讯作者。根据作者贡献描述,Heidi Christensen负责监督研究、贡献研究设计、解释结果并提供整体项目指导)。 作者列表:Madhurananda Pahar(谢菲尔德大学计算机系),Caitlin H. Illingworth(谢菲尔德大学计算机系),Bahman Mirheidari(谢菲尔德大学计算机系),Hend Elghazaly(谢菲尔德大学计算机系),Fritz Peters(谢菲尔德大学计算机系),Sophie Young(谢菲尔德大学计算机系),Wing-Zin Leung(谢菲尔德大学计算机系),Labhpreet Kaur(谢菲尔德大学计算机系),Daniel Blackburn(谢菲尔德大学SITraN研究所),Heidi Christensen(谢菲尔德大学计算机系) 💡 毒舌点评 亮点:该数据集在真实世界远程评估场景下进行了全面、严谨的技术验证(包括统计分析、嵌入空间分析和基准建模),其设计(如多任务、保留环境噪声)旨在解决当前数据集生态效度不足的核心痛点,为领域提供了宝贵的标准化评估资源。短板:其创新性更多体现在“工程集成”和“数据规模提升”上,而非方法论或核心认知科学上的突破;此外,作为一个“基准”数据集,其提供的基线模型(LR, MLP, DistilBERT等)相对简单且已过时,未能展示更先进或针对该任务定制化的建模策略,削弱了其作为“挑战”推动技术进步的潜力。 📌 核心摘要 要解决什么问题:现有用于通过语音自动检测早期认知障碍(如轻度认知障碍MCI、痴呆症)的临床验证数据集存在规模小、多在控制环境下采集、任务单一、数据共享受限等问题,阻碍了可复现的机器学习研究和临床转化。 方法核心是什么:论文提出并发布了PROCESS-2数据集,这是一个通过远程数字评估平台(CognoMemory)在真实世界环境中采集的大规模语音语料库,包含200名健康对照(HC)、150名MCI和50名痴呆症患者,共约21小时语音。数据涵盖三种认知任务:语义流畅性任务(SFT)、语音流畅性任务(PFT)和Cookie Theft图片描述任务(CTD),并附带人工转录本和临床元数据(如MMSE)。 与已有方法相比新在哪里:与早期数据集(如DementiaBank)相比,PROCESS-2在生态效度(远程、真实环境)、任务多样性(三种任务)、参与者规模(400人)上显著提升。与近期工作相比,它旨在提供一个更平衡、更标准化且数据丰富的基准,同时包含详尽的技术验证(统计、嵌入空间几何、基线建模)以证明其作为基准的质量和可用性。 主要实验结果如何:技术验证表明,数据集在人口统计学(年龄、性别)和记录质量(时长、信噪比)上各组间可比,临床标签(MMSE)在组间有显著区分。嵌入空间分析显示语言特征能较好地区分疾病组。基准实验(表7)表明,基于语言模型的分类器(如DistilBERT)在2分类任务上F1最高达0.85,3分类最高达0.59,回归RMSE最低达3.87,优于经典模型,且使用自动转录本性能下降可控。 实际意义是什么:PROCESS-2提供了一个标准化、可复现的基准,可加速语音生物标志物、多模态融合、跨环境鲁棒性等方向的研究。其真实世界数据特性有助于开发更具临床部署潜力的模型。 主要局限性是什么:数据集中痴呆症组样本量相对较小(50人);仅使用英国英语,跨语言适用性未验证;部分参与者缺少MMSE评分;所提供的基线模型较为基础,未探索更先进的建模方法;ASR转录本错误率较高(40%-60%)。 🔗 开源详情 代码:https://github.com/CognoSpeak/PROCESS-2。所有复现统计分析、嵌入生成和基线建模实验所需的代码及环境均在此仓库发布,并存档于 Zenodo: https://doi.org/10.5281/zenodo.19900225。 模型权重:论文中未提及模型权重的具体链接或获取方式。论文中评估的模型(如DistilBERT, RoBERTa, Wav2Vec 2.0)为公开可用的预训练模型,但本文未提供特定微调后的权重。 数据集:PROCESS-2。托管于 Hugging Face: https://huggingface.co/datasets/CognoSpeak/PROCESS-2。访问为受控模式,需提交申请并签署数据使用协议(Data Use Agreement),申请链接即为上述 Hugging Face 仓库页面。 Demo:论文中未提及在线演示或交互式 Demo 链接。 复现材料:论文中未提及具体的训练配置文件、超参数设置或模型检查点下载链接。复现基线实验所需的代码、依赖环境及数据集划分已在代码仓库中提供。 论文中引用的开源项目: FFmpeg:用于音频格式转换,论文中未提供具体链接。 Silero VAD:用于语音活动检测和信噪比计算,论文中未提供具体链接。 Wav2Vec 2.0:用于语音转文本,论文中未提供具体链接。 Whisper:用于语音转文本,论文中未提供具体链接。 DistilBERT 和 RoBERTa:用作语言模型的Transformer架构,论文中未提供具体链接。 🏗️ 方法概述和架构 该论文的核心贡献并非一个新提出的模型架构,而是一个旨在解决关键数据瓶颈的数据集创建、验证与基准化框架。其方法论核心是构建一个大规模、多任务、真实世界的语音数据采集、处理与标准化评估流水线。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 439 字 阅读 →
研究条目

语音/音乐/音频论文速递 2026-05-15

语音/音乐/音频论文速递 2026-05-15 共分析 20 篇论文 ⚡ 今日概览 📥 抓取 20 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #音频分类 2篇 ██ #语音生物标志物 2篇 ██ #说话人验证 2篇 ██ #基准测试 1篇 █ #语音翻译 1篇 █ #音频生成 1篇 █ #基础模型 1篇 █ 📊 论文评分排行榜(20 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 FutureSim: Replaying World Events to Evaluate Adaptive 7.6分 前25% #基准测试 🥈 Refining Pseudo-Audio Prompts with Speech-Text Alignmen 7.5分 前50% #语音识别 🥉 AudioMosaic: Contrastive Masked Audio Representation Le 7.3分 前50% #音频分类 4. A Benchmark for Early-stage Parkinson’s Disease Detecti 7.2分 前30% #语音生物标志物 5. SpeakerLLM: A Speaker-Specialized Audio-LLM for Speaker 7.0分 前25% #说话人验证 6. Streaming Speech-to-Text Translation with a SpeechLLM 6.8分 前25% #语音翻译 7. Break-the-Beat! Controllable MIDI-to-Drum Audio Synthes 6.8分 前50% #音频生成 8. Mini-JEPA Foundation Model Fleet Enables Agentic Hydrol 6.8分 前50% #基础模型 9. Persian MusicGen: A Large-Scale Dataset and Culturally- 6.7分 前50% #音乐生成 10. Physics-Based iOCT Sonification for Real-time Interacti 6.5分 前40% #医疗音频 11. From Text to Voice: A Reproducible and Verifiable Frame 6.3分 前50% #模型评估 12. IsoNet: Spatially-aware audio-visual target speech extr 6.0分 前50% #语音提取 13. FSD50K-Solo: Automated Curation of Single-Source Sound 5.5分 前50% #数据清洗 14. UMo: Unified Sparse Motion Modeling for Real-Time Co-Sp 5.5分 前25% #语音合成 15. Masked Autoencoders with Limited Data: Does It Work? A 5.5分 前50% #音频分类 16. Text-Dependent Speaker Verification (TdSV) Challenge 20 5.5分 前40% #说话人验证 17. PROCESS-2: A Benchmark Speech Corpus for Early Cognitiv 5.4分 前50% #语音生物标志物 18. Transmit Beamforming for High-Rate Underwater Acoustic 5.3分 前50% #水声通信 19. A Calculus-Based Framework for Determining Vocabulary S 3.9分 后50% #语音识别 20. MediaClaw: Multimodal Intelligent-Agent Platform Techni 3.3分 后50% #多模态模型 📋 论文列表 🥇 FutureSim: Replaying World Events to Evaluate Adaptive Agents ✅ 7.6/10 | 前25% | #基准测试 | #大语言模型 | #自适应代理 #测试时适应 | arxiv ...

 · 更新于 2026-09-05 · 约 15 分钟 · 3187 字 阅读 →
研究条目

Leveraging Multimodal Self-Consistency Reasoning in Coding Motivational Interviewing for Alcohol Use Reduction

📄 Leveraging Multimodal Self-Consistency Reasoning in Coding Motivational Interviewing for Alcohol Use Reduction #多模态模型 #医疗音频 #自洽学习 #提示工程 #动机访谈编码 ✅ 6.0/10 | 前50% | #动机访谈编码 | #自洽学习 | #多模态模型 #医疗音频 | arxiv 学术质量 5.3/8 | 影响力 0.6/2 | 可复现性 0.4/1 | 置信度 中 👥 作者与机构 第一作者:Guangzeng Han (University of Memphis, Department of Computer Science) 通讯作者:Xiaolei Huang (Department of Psychology, Washington State University Vancouver; 论文发表时隶属于University of Memphis) 作者列表:Guangzeng Han (University of Memphis), James G. Murphy (Veterans Affairs Health Care System; University of California San Francisco), Benjamin O. Ladd (University of Memphis), Xiaolei Huang (Washington State University Vancouver), Brian Borsari (Washington State University Vancouver) 💡 毒舌点评 本文将自洽推理从纯文本扩展至多模态临床编码,并设计了四种具有临床动机(内容、韵律、证据评分、对比)的提示策略,展现了在垂直领域应用大模型的工程巧思;然而,在一个仅含5个会话、898个话语的小规模数据集上,仅与两个简单的提示基线(Direct, COT)对比,且绝对性能(宏F1 < 51%)较低,严重削弱了方法“优越性”的证明力度和普适性结论,更像是一次概念验证(proof-of-concept)。 ...

 · 更新于 2026-09-05 · 约 2 分钟 · 381 字 阅读 →
研究条目

语音/音乐/音频论文速递 2026-05-14

语音/音乐/音频论文速递 2026-05-14 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 2篇 ██ #音频分类 2篇 ██ #语音对话系统 1篇 █ #模型评估 1篇 █ #多智能体协同 1篇 █ #音频事件检测 1篇 █ #乐谱生成 1篇 █ #音频生成 1篇 █ 📊 论文评分排行榜(16 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 EVA-Bench: A New End-to-end Framework for Evaluating Vo 8.0分 前25% #语音对话系统 🥈 Senses Wide Shut: A Representation-Action Gap in Omnimo 8.0分 前50% #模型评估 🥉 EVOCHAMBER: Test-Time Co-evolution of Multi-Agent Syste 8.0分 前25% #多智能体协同 4. NAACA: Training-Free NeuroAuditory Attentive Cognitive 7.0分 前25% #音频事件检测 5. Text2Score: Generating Sheet Music From Textual Prompts 7.0分 前25% #乐谱生成 6. Seconds-Aligned PCA-DAC Latent Diffusion for Symbolic-t 7.0分 前50% #音频生成 7. Bypassing Direct Reconstruction: Speech Detection from 7.0分 前25% #语音活动检测 8. Decoupled Azimuth Elevation AoA Estimation Exploiting K 7.0分 前25% #声源定位 9. WARDEN: Endangered Indigenous Language Transcription an 7.0分 前25% #语音识别 10. Vividh-ASR: A Complexity-Tiered Benchmark and Optimizat 7.0分 前50% #语音识别 11. Scaling few-shot spoken word classification with genera 7.0分 前50% #音频分类 12. GeoBuildBench: A Benchmark for Interactive and Executab 7.0分 前25% #几何推理 13. Keep What Audio Cannot Say: Context-Preserving Token Pr 7.0分 前25% #音视频 14. PresentAgent-2: Towards Generalist Multimodal Presentat 6.5分 前25% #生成模型 15. Does language matter for spoken word classification? A 6.0分 前50% #音频分类 16. Leveraging Multimodal Self-Consistency Reasoning in Cod 6.0分 前50% #动机访谈编码 📋 论文列表 🥇 EVA-Bench: A New End-to-end Framework for Evaluating Voice Agents 🔥 8.0/10 | 前25% | #语音对话系统 | #基准测试 | #语音质量评估 #端到端 | arxiv ...

 · 更新于 2026-09-05 · 约 11 分钟 · 2240 字 阅读 →
研究条目

Low-Cost Detection of Degraded Voice Clones via Source-Output Acoustic Consistency

📄 Low-Cost Detection of Degraded Voice Clones via Source-Output Acoustic Consistency #语音伪造检测 #语音质量评估 #信号处理 #医疗音频 📝 5.3/10 | 前50% | #语音伪造检测 | #信号处理 | #语音质量评估 #医疗音频 | arxiv 学术质量 5.3/8 | 影响力 0.4/2 | 可复现性 0.3/1 | 置信度 高 👥 作者与机构 第一作者:Jana Shokr 通讯作者:论文中未明确说明通讯作者 作者列表:Jana Shokr, Minos Papadopoulos, Jeremy Cooperstock, Pavo Orepic(论文中未提及任何作者机构信息) 💡 毒舌点评 这篇论文精准地瞄准了临床AVATAR疗法中一个真实且关键的痛点:需要快速剔除明显劣质的合成语音以保护治疗沉浸感,并提出了一个逻辑自洽、物理可解释的检测框架。然而,其核心短板在于实验的“小作坊”规模(总共仅94个样本)和与时代脱节的评估方式——在学习型方法层出不穷的今天,仅用两个简单特征和阈值与“人类标签”对比,缺乏与任何现有语音质量评估或伪造检测模型的基准较量,说服力大打折扣。 📌 核心摘要 本文针对临床语音治疗(如AVATAR疗法)中需要快速、自动检测明显劣质的声音克隆输出这一实际问题,提出了一种低成本的检测方法。核心方法是基于语音生成的源-滤波器模型,检验合成输出与输入声源在几个低维、可解释的声学特征上的一致性,具体使用了基频(f0)、谐波噪声比(HNR)和声道长度(VTL)。研究者在人类标注的、由两种不同声码器(WaveRNN和HiFi-GAN)生成的合成语音样本上,采用了一种非对称阈值分类方法进行评估。实验结果显示,在WaveRNN上,f0和HNR均达到85.2%的准确率;在HiFi-GAN上,HNR达到80.0%的准确率,f0为77.5%。分析表明,f0和HNR能捕获部分不同的失效模式,具有互补性。该研究的实际意义在于为高风险应用场景提供了一种快速、可解释的第一道过滤器,以提升系统的可靠性。主要局限性包括数据集规模较小、特征集有限,且未与更复杂的自动化质量预测模型进行直接对比。 特征 声码器 负阈值 正阈值 准确率(%) 敏感性(%) 特异性(%) TP TN FP FN f0 WaveRNN -11.2 32.6 85.2 82.0 89.0 22 24 3 5 HNR WaveRNN -1.7 1.2 85.2 82.0 89.0 22 24 3 5 VTL WaveRNN -1.4 10.7 64.8 60.0 70.0 16 19 8 11 f0 HiFi-GAN -19.3 50.1 77.5 60.0 95.0 12 19 1 8 HNR HiFi-GAN -0.9 3.4 80.0 90.0 70.0 18 14 6 2 VTL HiFi-GAN -1.0 8.7 67.5 65.0 70.0 13 14 6 7 图1展示了f0, HNR, VTL三个特征在输入-输出空间中的分布。图中清晰显示,标记为“Good”的样本(蓝色)紧密围绕在恒等线(y=x)周围,而“Bad”样本(橙色)则更多地分布在优化后的阈值带之外,直观地证明了所选特征区分好坏样本的能力。 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 444 字 阅读 →
研究条目

Speech-based Psychological Crisis Assessment using LLMs

📄 Speech-based Psychological Crisis Assessment using LLMs #语音情感识别 #大语言模型 #数据增强 #多任务学习 #医疗音频 📝 5.8/10 | 前25% | #语音情感识别 | #大语言模型 | #数据增强 #多任务学习 | arxiv 学术质量 5.8/8 | 影响力 1.2/2 | 可复现性 0.7/1 | 置信度 高 👥 作者与机构 第一作者:Terumi Chiba(清华大学) 通讯作者:Ziyun Cui(北京大学回龙观临床医学院),Chao Zhang(清华大学,世界卫生组织自杀预防研究与培训合作中心) 作者列表:Terumi Chiba(清华大学)、Yang Luo(清华大学)、Ziyun Cui(北京大学回龙观临床医学院)、Yongsheng Tong(清华大学)、Chao Zhang(清华大学,世界卫生组织自杀预防研究与培训合作中心) 💡 毒舌点评 论文提出的“副语言注入”方法,试图将语音中的情感线索显式文本化以供LLM处理,思路清晰,且针对临床场景(心理热线)的定位明确。然而,核心方法(语音到文本的描述转换)并非完全新颖,且其实验的最大软肋在于数据集规模极小(154例),这使得所有“显著”的结论都蒙上了一层“小样本巧合”的阴影。在如此有限的数据上,模型的高分有多少是源自方法本身的优越性,又有多少是源于对特定样本的过拟合,论文未能给出足够令人信服的论证。此外,对推理链生成这一辅助任务所依赖的外部教师模型(gpt-oss-120b)的潜在偏差,缺乏深入的风险讨论。 📌 核心摘要 问题:心理支持热线的危机级别评估依赖于人工操作员,存在主观性强、资源有限等问题。现有基于语音的研究多集中于二分类的自杀风险评估,对更细分的三类别心理危机水平评估探索不足,且常忽略语音中的副语言信息(如哭泣、颤抖)。 方法核心:提出一个基于LLM的框架,核心是“副语言注入”和“推理增强训练”。副语言注入利用SpeechLLM(Step-Audio-R1)从语音中提取情感化非语言线索(如“哭泣声”),并遵循临床创伤评估表(TAF)的情感领域标准,将这些线索以结构化文本形式注入ASR转录文本。推理增强训练则让模型在分类的同时,生成符合TAF框架的诊断推理链作为辅助任务,以提升分类性能和可解释性。 创新点:与已有方法相比,新在:(1) 明确地将临床评估框架(TAF)深度融入副语言特征提取(指导SpeechLLM)和推理链构建,使模型行为更贴合临床实践;(2) 提出将副语言信息显式转化为文本描述(“注入”)而非在音频层面端到端建模的策略,并验证其优于直接使用SpeechLLM;(3) 结合数据增强(将长通话切分为连续片段)以缓解小样本问题。 实验结果:在154例真实中文心理热线通话数据集上进行5折交叉验证,进行三项分类(无危机、低危机、中高度危机)。最终系统达到宏F1分数0.802,准确率0.805,显著优于所有基线。关键消融实验显示,移除数据增强、副语言注入、辅助损失分别导致宏F1下降10.0%、4.1%和1.7%。关键对比如下表所示: 方法 准确率 (Mean ± Std) 宏F1分数 (Mean ± Std) Zero-shot LLM 0.455 0.371 OpenSMILE (SVM) 0.486 ± 0.053 0.471 ± 0.062 SpeechLLM (Qwen2.5-Omni-7B) 0.564 ± 0.075 0.551 ± 0.079 本文方法 (Ours) 0.805 ± 0.061 0.802 ± 0.062 实际意义:为利用LLM处理心理热线语音数据提供了一种可解释、可整合临床知识的技术路径,有望辅助操作员进行更一致、客观的危机分级,优化热线资源配置。 主要局限性:数据集规模极小(154例),可能限制了模型泛化性的验证;方法依赖于外部的SpeechLLM(Step-Audio-R1)和用于生成推理链的教师模型(gpt-oss-120b);缺乏在跨机构、跨语言数据上的外部验证;代码和数据集均未开源。 🔗 开源详情 代码:论文中未提及代码链接。 模型权重:论文中提供了以下模型的 HuggingFace 链接: ASR模型: Paraformer-zh: https://huggingface.co/funasr/paraformer-zh 语音模型 (用于副语言特征提取): Step-Audio-R1.1: https://huggingface.co/stepfun-ai/Step-Audio-R1.1 基础大语言模型 (微调目标): Qwen2.5-7B-Instruct: https://huggingface.co/Qwen/Qwen2.5-7B-Instruct 基线大语言模型: gpt-oss-120b: https://huggingface.co/openai/gpt-oss-120b 基线语音大语言模型: Qwen2.5-Omni-7B: https://huggingface.co/Qwen/Qwen2.5-Omni-7B 数据集:论文中提及使用了包含 154 个通话录音(总时长约 100 小时)的中国心理支持热线数据集,但论文中未提及该数据集的公开获取链接或开源协议。 Demo:论文中未提及。 复现材料:论文中提供了详细的实验配置信息,可用于复现。具体包括:5折交叉验证设置、使用 LoRA (rank=8, α=64) 对 Qwen2.5-7B-Instruct 进行微调、训练细节(AdamW优化器,学习率 3×10⁻⁵,余弦退火调度,有效批量大小16)、数据增强方法(将通话音频分割为固定时长片段)。但未提供预训练检查点或打包的复现材料。 论文中引用的开源项目: OpenSMILE:用于提取声学特征 (eGeMAPSv02)。 项目链接:https://github.com/audeering/opensmile-python emotion2vec:用于情感嵌入提取。 模型链接:https://huggingface.co/emotion2vec/emotion2vec_plus_large gpt-oss-120b:用于生成诊断推理链的监督信号。 模型链接:https://huggingface.co/openai/gpt-oss-120b Qwen2.5-Omni-7B:作为SpeechLLM基线。 模型链接:https://huggingface.co/Qwen/Qwen2.5-Omni-7B 🏗️ 方法概述和架构 ...

 · 更新于 2026-09-05 · 约 3 分钟 · 451 字 阅读 →
研究条目

语音/音乐/音频论文速递 2026-05-12

语音/音乐/音频论文速递 2026-05-12 共分析 39 篇论文 ⚡ 今日概览 📥 抓取 39 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #音乐生成 2篇 ██ #语音合成 2篇 ██ #语音增强 2篇 ██ #音频深度伪造检测 2篇 ██ #基准测试 2篇 ██ #语音质量评估 1篇 █ #音频编码 1篇 █ 📊 论文评分排行榜(39 篇,按分数降序) 排名 论文 评分 分档 主任务 🥇 Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Mus 7.5分 前30% #音乐生成 🥈 PoDAR: Power-Disentangled Audio Representation for Gene 7.3分 前25% #语音合成 🥉 Evaluating the Expressive Appropriateness of Speech in 7.2分 前25% #语音质量评估 4. Reducing Linguistic Hallucination in LM-Based Speech En 7.2分 前25% #语音增强 5. Encoding and Decoding Temporal Signals with Spiking Ban 7.0分 前25% #音频编码 6. Mitigating Multimodal Inconsistency via Cognitive Dual- 7.0分 前50% #意图识别 7. SF-Flow: Sound field magnitude estimation via flow matc 6.8分 前25% #空间音频 8. Probing Cross-modal Information Hubs in Audio-Visual LL 6.5分 前25% #模型分析 9. Towards Trustworthy Audio Deepfake Detection: A Systema 6.5分 前25% #音频深度伪造检测 10. Unison: Harmonizing Motion, Speech, and Sound for Human 6.5分 前30% #音视频生成 11. CORTEG: Foundation Models Enable Cross-Modality Represe 6.5分 前25% #脑机接口 12. Omni-Persona: Systematic Benchmarking and Improving Omn 6.5分 前25% #基准测试 13. DiffVQE: Hybrid Diffusion Voice Quality Enhancement Und 6.2分 前30% #语音增强 14. A Cold Diffusion Approach for Percussive Dereverberatio 6.2分 前35% #音频修复 15. APEX: Audio Prototype EXplanations for Classification T 6.2分 前25% #音频分类 16. How Should LLMs Listen While Speaking? A Study of User- 6.0分 前25% #语音对话系统 17. RADAR Challenge 2026: Robust Audio Deepfake Recognition 6.0分 前50% #音频深度伪造检测 18. ShipEcho – An Interactive Tool for Global Mapping of U 6.0分 前25% #水下声学 19. Rethinking Entropy Minimization in Test-Time Adaptation 6.0分 前40% #语音识别 20. Separate First, Fuse Later: Mitigating Cross-Modal Inte 6.0分 前50% #音视频问答 21. ChladniSonify: A Visual-Acoustic Mapping Method for Chl 6.0分 前50% #音频生成 22. Omni-DeepSearch: A Benchmark for Audio-Driven Omni-Moda 6.0分 前25% #基准测试 23. Online Segmented Beamforming via Dynamic Programming 6.0分 前25% #声源定位 24. FLARE: Full-Modality Long-Video Audiovisual Retrieval B 6.0分 前25% #音频检索 25. Speech-based Psychological Crisis Assessment using LLMs 5.8分 前25% #语音情感识别 26. EAR: Enhancing Uni-Modal Representations for Weakly Sup 5.8分 前25% #音频事件检测 27. Kinetic-Optimal Scheduling with Moment Correction for M 5.5分 前50% #语音合成 28. Dolphin-CN-Dialect: Where Chinese Dialects Matter 5.5分 前50% #语音识别 29. Latent Secret Spin: Keyed Orthogonal Rotations for Blin 5.5分 前50% #音频水印 30. Bangla-WhisperDiar: Fine-Tuning Whisper and PyAnnote fo 5.5分 前50% #语音识别 #说话人日志 31. Remix the Timbre: Diffusion-Based Style Transfer Across 5.5分 前30% #音色迁移 32. Low-Cost Detection of Degraded Voice Clones via Source- 5.3分 前50% #语音伪造检测 33. Single-Microphone Audio Point Source Discriminative Loc 5.0分 前50% #说话人分离 34. Responsible Benchmarking of Fairness for Automatic Spee 5.0分 前50% #语音识别 35. Sub-JEPA: Subspace Gaussian Regularization for Stable E 5.0分 前50% #世界模型 36. AllocMV: Optimal Resource Allocation for Music Video Ge 4.8分 前50% #音乐视频生成 37. Multi-layer attentive probing improves transfer of audi 4.0分 中等偏上 #生物声学 #音频分类 38. Drum Synthesis from Expressive Drum Grids via Neural Au 4.0分 前50% #音乐生成 39. Voice Biomarkers for Depression and Anxiety 1.0分 后50% #语音生物标志物 📋 论文列表 🥇 Polyphonia: Zero-Shot Timbre Transfer in Polyphonic Music with Acoustic-Informed Attention Calibration ✅ 7.5/10 | 前30% | #音乐生成 | #扩散模型 | #注意力机制 #零样本 | arxiv ...

 · 更新于 2026-09-05 · 约 28 分钟 · 5761 字 阅读 →