语音/音乐/音频论文速递 2026-07-02

语音/音乐/音频论文速递 2026-07-02 共分析 16 篇论文 ⚡ 今日概览 📥 抓取 16 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 3篇 ███ #说话人验证 2篇 ██ #语音合成 2篇 ██ #语音识别 1篇 █ #音视频理解 1篇 █ #语音增强 1篇 █ #语音情感识别 1篇 █ #音乐生成 1篇 █ 📊 论文评分排行榜(16 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 NPUsper: Eliminating Redundant Computation for Real-Tim 9.0分 前10% #语音识别 🥈 AV-SyncBench: Decoupled Benchmarking of Temporal and Se 8.5分 前25% #音视频理解 🥉 ORCA: Open-ended Response Correctness Assessment for Au 7.9分 前25% #音频理解 4. AmbiDrop: Ambisonics-Based Array-Agnostic Neural Speech 7.5分 前25% #语音增强 5. From Objectives to Applications: Aligning Architectural 7.5分 前25% #音频理解 6. Positive-Incentive Noise Predictor for Adversarial Puri 7.4分 前50% #说话人验证 7. Automatic Detection of Stress from Speech in the Trier 7.4分 前50% #语音情感识别 8. Enhancing Flow Matching with A Unified Guidance Framewo 7.1分 前50% #语音合成 9. MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal 6.9分 前50% - 10. A Text-Steerable Instrument for Sketching Procedural So 6.8分 前50% #音乐生成 11. A Geometric Perspective on Composable Emotion Steering 6.6分 前50% #语音合成 12. Do Multimodal Large Language Models Need Reasoning to C 6.5分 前50% #语音属性识别 13. Evaluating Pretrained Music Embeddings for Cross-Perfor 5.8分 前50% #音乐检索 14. Disentangling Speaker and Language Effects in Cross-Lin 5.6分 前50% #说话人验证 15. Adaptive Perturbation Selection for Contrastive Audio D 5.3分 后50% #音频理解 16. Speech Playground: An Interactive Tool for Speech Analy 4.1分 后50% - 📋 论文列表 🥇 NPUsper: Eliminating Redundant Computation for Real-Time Whisper on Mobile NPUs 9.0/10 | 创新 1.4/2 | 严谨 1.4/1.5 | 实验 1.0/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

2026-07-02 · 更新于 2026-08-17 · 13 min · 2691 words

Dilemmadata: On the Interoperability of Heterogeneous Roman Numeral Datasets

📄 Dilemmadata: On the Interoperability of Heterogeneous Roman Numeral Datasets #数据集 #数据增强 #基准测试 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前50% | #数据集 | #数据增强 | #基准测试 | arxiv 👥 作者与机构 Johannes Hentschel,Emmanouil Karystinaios,Gerhard Widmer,Markus Neuwirth。其中Hentschel和Neuwirth来自林茨计算音乐分析研究组(LCMA),安东·布鲁克纳大学;Karystinaios和Widmer来自约翰·开普勒大学林茨分校计算感知研究所(CP)。 💡 毒舌点评 这是一篇典型的“数据集/工具”论文,核心贡献是解决了两个流行但格式不同的和声数据集(AND和DLC)的合并问题,发布了更大的Dilemmadata。它就像一篇详细的“数据清洗”报告,诚实、有用,但缺乏让人眼前一亮的新方法或深入的理论分析。论文清晰地展示了合并过程中的“坑”和解决方案,对社区有实际价值。但审稿人必须问:这真的够得上一篇顶会论文吗?它没有提出新的预测模型,没有进行任何下游任务的评估,甚至没有验证合并后的数据与原始数据的一致性。其最大的价值(发布的数据集)需要其他研究者用起来才能体现。作者提出的关于“概率目标标签”的观点很有前瞻性,但仅是展望,未在本文实现。因此,它是一篇扎实的、对社区有帮助的资源论文,但学术贡献的“天花板”相对有限。 📌 核心摘要 本文介绍了Dilemmadata,一个通过整合和协调两个具有不同编码范式(RomanText和DCML)的主要罗马数字和声标注数据集(AND和DLC)而构建的大型同质化数据集。该数据集包含1621首乐曲,超过280万个音符级别的注释,提供了统一的CSV表示和丰富的元数据。论文详细阐述了从数据解析、特征协调(如和弦类型词汇表统一、将cadential 6/4统一为Cad)到处理重叠作品的完整流程,旨在解决音乐信息检索(MIR)领域在利用现有标注数据时面临的互操作性挑战。最终发布了一个标准化的资源,并呼吁社区开发通用数据模型和基于概率的目标标签。 🔗 开源详情 代码:https://github.com/napulen/AugmentedNet (包含AND原始处理脚本),https://github.com/DCMLab/distant_listening_corpus (包含DLC原始数据)。论文中核心的整合流水线代码未明确提供独立仓库。 模型权重:未提及。 数据集:Dilemmadata(最终整合数据集):https://zenodo.org/records/19661224;AugmentedNet Dataset (AND):https://github.com/napulen/AugmentedNet;Distant Listening Corpus (DLC):https://github.com/DCMLab/distant_listening_corpus。 Demo:论文中未提及。 复现材料:论文提及最终数据集的所有TSV文件、元数据描述符和预计算的测试划分均可从Zenodo下载。 论文中引用的开源项目:music21, ms3, dimcat, Frictionless Data标准, 以及多个作为数据源的语料库(TAVERN, Yale-Classical Archives等)。 🏗️ 方法概述和架构 论文的核心方法是一个精心设计的多阶段数据对齐与整合流水线,旨在将采用不同编码标准(RomanText与DCML)和存储格式(TSV切片与嵌入MSCX的注解)的两个原始数据集(AND与DLC)统一为一个协调的、逐音符的CSV格式。该流水线的具体架构和实现如下: ...

2026-07-01 · 更新于 2026-08-17 · 1 min · 154 words

LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish

📄 LuxEmo: Expressive Text-to-Speech Corpus for Luxembourgish #语音合成 #语音识别 #自监督学习 #低资源 #基准测试 7.5/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 ✅ 7.5/10 | 前25% | #语音合成 | #自监督学习 | #语音识别 #低资源 | arxiv 👥 作者与机构 Nina Hosseini-Kivanani Sandipana Dowerah 💡 毒舌点评 这篇论文好在选题切中要害——低资源语言+表达性语音+真实场景数据,确实是块缺肉的骨头。LuxEmo语料库的构建和公开(附带采样链接)是实打实的贡献,工作流描述也算清楚。但“严苛审稿人”视角下,槽点不少:语料库就4位主播,还来自同一个青年节目,说能代表“卢森堡语”有点勉强,作者自己也承认了,但评审意见应更尖锐地指出这直接限制了论文声称的“系统性评估”的普适性上限。情绪分布那“0.5%的愤怒”简直是个事故级数据倾斜,论文仅在结论提一句,审稿人应该追问这如何影响了模型训练与评估的有效性,以及基准测试结论在多大程度上是“可泛化的”。评估方面,20人主观听测且无显著性检验,置信区间大幅重叠,这个“基准”的排名可靠性打个大问号。论文反复强调代码混合是挑战,但分析部分却没拿出任何细粒度的分析(比如混合段vs纯语种段的WER对比),这属于典型的“提了但没分析”,深度不足。另外,像情绪检测分类器的训练数据、置信度阈值选取这些影响复现的关键细节一笔带过,不够“严谨”。总的来说,是一篇合格的资源发布和基准测试论文,但离顶会要求的深度分析和严谨论证还有距离,其影响力主要局限在资源本身,而非方法论或深刻洞察。 📌 核心摘要 本文介绍了LuxEmo,一个用于卢森堡语的表达性语音语料库和TTS基准测试集。该语料库包含从RTL青年广播档案中通过半自动工作流提取的21小时自发语音,标注了语言、说话人身份和四种情绪(中性、快乐、悲伤、愤怒)。作者在LuxEmo上评估了五种TTS系统,涵盖跨语言迁移、多语言支持和卢森堡语适配等方案。主要发现包括:没有单一TTS系统在所有评估维度(音频质量、可懂度、韵律、说话人相似度、情感自然度)上最优;目标语言适配在部分指标上有效但非全面;基于ASR的客观可懂度与人类主观感知的自然度、情感表现存在差异。论文同时指出了语料库在说话人覆盖、情绪分布均衡性以及评估统计显著性方面的局限性。 🔗 开源详情 代码:论文中未提供代码链接。 模型权重:论文中未提供模型权重链接。 数据集:LuxEmo语料库。论文中未提供公开获取链接,但提供了语料库采样链接:https://anonymous.4open.science/r/LuxEmo_Sample-445F/。 Demo:论文中未提及。 复现材料:论文中未提供完整的训练配置、检查点或附录,但提及了数据划分使用的固定随机种子为42。 论文中引用的开源项目:论文中提及了以下项目,但未提供具体链接。 DeepFilterNet [32] NISQA v2.0 [24] DNSMOS [30] LuxASR [9, 26, 35] Wav2Vec2-based mms-lid-4017 model [27] Whisper [28] SpeechBrain ECAPA-TDNN [29] pYIN [21] Sequitur G2P (用于LuxEmo): https://github.com/PeterGilles/sequitur-g2p German gruut (用于EmoDB比较): https://github.com/sequitur-g2p/sequitur-g2p 🏗️ 方法概述和架构 本文的方法可分为两大核心部分:LuxEmo语料库构建和TTS基准测试评估。 ...

2026-07-01 · 更新于 2026-08-17 · 2 min · 376 words

What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR

📄 What Counts as an Error? Dual-Reference Benchmarking for Atypical ASR #语音识别 #自监督学习 #基准测试 #数据集 7.3/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 ✅ 7.3/10 | 前50% | #语音识别 | #自监督学习 | #基准测试 #数据集 | arxiv 👥 作者与机构 作者:Hawau Olamide Toyin1, Srinivasan Umesh2, Hanan Aldarmaki1 机构:1MBZUAI, UAE; 2SPRING Lab, IIT Madras, India 电子邮件:{hawau.toyin,hanan.aldarmaki}@mbzuai.ac.ae 💡 毒舌点评 这篇文章好比是给ASR领域做了一次“体检”,但它查出的不是病,而是一个长期被忽视的“诊断标准混乱”问题。作者没有发明什么新模型,而是像一个严谨的审计员,把11个现有模型放在两套不同的账本(意图转录 vs. 逐字转录)下重新算了一遍。结果很有意思:在“意图”账本下排名靠前的“优等生”,到了“逐字”账本下可能就泯然众人。这记耳光打得响亮,直接指向了当前评估实践的盲区——我们总在问“哪个模型最好?”,却忘了先问“‘好’的标准是什么?”。当然,审计报告也有局限:只审计了英语病房(FluencyBank)的病例,没去多语言社区医院(更多数据集)交叉验证;也没深入剖析“优等生”和“差生”的大脑构造(模型机制)到底有何不同。但作为一份“行业标准自查报告”,它的警示价值远大于技术花活。 ...

2026-07-01 · 更新于 2026-08-17 · 4 min · 682 words

语音/音乐/音频论文速递 2026-07-01

语音/音乐/音频论文速递 2026-07-01 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 8篇 ████████ #语音合成 7篇 ███████ #自监督学习 2篇 ██ #音频分类 2篇 ██ #生成模型 2篇 ██ #语音情感识别 2篇 ██ #数据集 1篇 █ #知识蒸馏 1篇 █ 📊 论文评分排行榜(35 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 Dilemmadata: On the Interoperability of Heterogeneous R 10.0分 前50% #数据集 🥈 SwiftAudio: Data-Efficient Caption-Only Distillation fo 10.0分 前50% #知识蒸馏 🥉 Attacking UTMOS: Probing the Robustness of a Speech Qua 8.6分 前25% #语音质量评估 4. Enhancing BEST-RQ Pseudo-Label Quality through Online R 8.6分 前50% #语音识别 5. Linguistic Bias Mitigation for Spoofing Detection via G 8.6分 前25% #自监督学习 6. Building an ASR Solution for Training and Assessing Chi 8.5分 前50% #语音识别 7. Beyond Cross-Reconstruction: Probing-Based Disentanglem 8.1分 前50% #语音编码 8. MuseBench: Benchmarking Intent-Level Audiovisual Arts U 7.9分 前50% #语音合成 9. Detecting Audio Deepfakes on the Edge:Lightweight SSL-B 7.7分 前25% - 10. Beyond Binary Instrument QA: Probing Instrument Groundi 7.6分 前25% #音频分类 11. SyncCache: Exploiting Asymmetric Dynamics for Fast Audi 7.5分 前25% #语音合成 12. Probing-Guided Layer Selection from Self-Supervised Spe 7.5分 前25% #集成学习 13. A First Exploration of Neuromorphic OT-CFM for Multi-Sp 7.5分 前25% #生成模型 14. LuxEmo: Expressive Text-to-Speech Corpus for Luxembourg 7.5分 前25% #语音合成 15. A Fair and Transparent Framework for Speech-Based Depre 7.4分 前50% #语音情感识别 16. ALM2Vec: Learning Audio Embeddings for Universal Audio 7.4分 前50% #音频检索 17. ASR-Agnostic Multimodal Spectrotemporal Modeling for Ea 7.4分 前50% #多模态模型 18. UniSAE: Unified Speech Attribute Editing on Speaker, Em 7.3分 前50% #语音合成 19. Tone-Conditioned Curriculum Learning for Low-Resource B 7.3分 前50% #语音识别 20. What Counts as an Error? Dual-Reference Benchmarking fo 7.3分 前50% #语音识别 21. Is Natural Always Appropriate? Investigating Naturalnes 7.2分 前25% #语音合成 22. FlexiSLM: A Dynamic and Controllable Frame Rate Spoken 7.2分 前25% #语音合成 23. ZEBRA: Zero-Shot Entropy-Regularized Prompt Learning fo 7.1分 前50% #音频分类 24. Preserving Speech-to-Text LLM Capabilities in Speech-to 7.0分 前50% #语音识别 25. Listening Between the Lines: Joint Learning of ASR Embe 7.0分 前50% #数据增强 26. BEST-RQ-2: Contextualize-Then-Predict, a Two-Step Appro 6.9分 前50% #语音识别 27. Improving multichannel speech enhancement through accur 6.8分 前50% #语音增强 28. Amplifying Membership Signal Through Chained Regenerati 6.6分 前50% #生成模型 29. AVTok: 1D Unified Tokenization for Holistic Audio-Video 6.5分 前25% #语音合成 30. LOPA: Enhancing Spoken Language Assessment via Latent O 6.2分 前50% #低资源 31. Adapting Foundation ASR Models to Dysarthric Speech: A 6.2分 前50% #语音识别 32. How Bilingual Are SSL Speech Models? Cross-Lingual Prob 5.8分 前50% #自监督学习 33. Gated Multi-Graph Fusion via Graph Attention Networks f 5.2分 后50% #语音情感识别 34. Building a Multimodal Dataset of Academic Paper for Key 5.2分 后50% #语音识别 35. Reference-Based Prosody and Rhythm Evaluation for Spoke 4.7分 后50% #语音对话系统 📋 论文列表 🥇 Dilemmadata: On the Interoperability of Heterogeneous Roman Numeral Datasets 10.0/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

2026-07-01 · 更新于 2026-08-17 · 20 min · 4207 words

Agent-Computer Observation Interfaces Enable Dynamic Computer Use

📄 Agent-Computer Observation Interfaces Enable Dynamic Computer Use #语音识别 #基准测试 8.4/10 | 创新 1.8/2 | 严谨 1.4/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.6/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 0.8/1.5 🔥 8.4/10 | 前10% | #语音识别 | #基准测试 | arxiv 👥 作者与机构 论文作者:Bojie Li, Noah Shi。机构:Pine AI, University of Washington(华盛顿大学)。 💡 毒舌点评 这篇论文清晰地识别并切入了计算机使用代理(CU Agent)一个被长期忽视但至关重要的设计维度:观察接口。与SWE-agent在行动接口上的开创性工作相呼应,论文提出的AOI(代理-计算机观察接口)作为一个模型无关的“中间件”层,巧妙且系统地解决了现有CU代理在动态视觉和音频感知上的“盲聋”问题。其核心价值不在于训练新模型,而在于为现有模型赋能,这是一个工程上更务实、推广门槛更低的思路。 然而,审稿人必须指出,论文的评估环境存在明显的“温室效应”。所有实验均在高度可控的Chromium浏览器和合成音频中进行,这与真实世界中充斥着原生应用、复杂音频环境(背景噪音、多人对话)、系统级弹窗和多显示器交互的桌面使用场景相去甚远。虽然作者承认了外部有效性的局限,但这一局限极大地削弱了其声称的“通用性”和“实用性”。此外,每个配置仅进行一次100任务试验,统计功效有限,尤其对于那些差异不大的组件间比较(如不同关键帧选择策略),结论的稳健性需要更多重复实验来支撑。 最后,论文最深刻的洞察之一——“视觉叙述是价值核心,而关键帧图像本身重要性有限,甚至可能有害(如Gemini 3)”——虽然极具启发性,但也暴露了当前多模态模型在处理视觉信息时的脆弱性和低效性。AOI本质上是在“修补”模型感知层的缺陷,而非从根本上提升模型对动态世界的理解能力。这篇论文为社区贡献了一个优秀的工程解决方案和一个高质量的动态感知基准,但通往真正“动态计算机使用”的道路,仍然需要模型侧和接口侧的共同革新。 📌 核心摘要 本文指出,当前的计算机使用代理(CU Agent)在观察接口上存在系统性缺陷:它们将观察与行动绑定(每3-5秒一张截图,无音频),导致在截图之间对动态视觉内容(视频、动画、通知)和音频(语音、提示音)完全“盲聋”。为此,作者提出了代理-计算机观察接口(AOI),一个模型无关的感知层。AOI通过三个门控组件解耦了连续、自适应的观察与离散的行动:1)自适应关键帧捕获(像素变化门控),2)音量门控音频转录(Whisper),3)CU模型生成的、作为持久文本记忆的视觉叙述。在静态无声内容上,AOI几乎无额外开销,保持了标准循环。 作者同时提出了DynaCU-Bench,一个包含100个动态浏览器任务和50个静态对照任务的基准测试。在涵盖7B到前沿规模的多个闭源和开源CU模型上的实验表明,AOI在不进行任何模型重训的情况下,将所有模型在动态任务上的成功率提升了17至48个百分点。消融实验揭示了关键洞察:关键帧的选择策略不重要;视觉信息的主要价值来自将其转化为持久文本叙述的过程;AOI组件并非固定组合,其最优配置因模型而异(例如,在Gemini 3 Flash上,关键帧图像流会因图像令牌稀释而降低性能)。 🔗 开源详情 代码:是,已开源。仓库地址:https://github.com/19PINE-AI/aoi (论文中明确给出)。 模型权重:否。AOI是一个模型无关的感知层,用于包装和增强现有模型。论文评估的模型(Claude, GPT, Gemini, Grok, EvoCUA, Fara, Qwen3-VL)均来自其各自的官方或第三方渠道,非本文作者发布。 数据集:是,已开源。论文引入了 DynaCU-Bench(100个动态浏览器任务 + 50个静态对照任务)作为评估基准。根据论文“我们发布AOI以及DynaCU-Bench”的表述,该数据集应随代码仓库一同开源。 Demo:是,提供了在线演示。地址:https://01.me/research/aoi (论文中明确给出)。 复现材料:论文在附录I中提供了详细的实现细节,包括软件环境、硬件配置、超参数设置等。具体材料应包含在上述代码仓库中。 论文中引用的开源项目: SWE-agent:https://github.com/princeton-nlp/SWE-agent (论文参考文献中引用)。 CLIP:OpenAI CLIP ViT-B/16 用于关键帧提取。 Whisper:OpenAI Whisper large-v3 用于语音转录。 EvoCUA:https://github.com/meituan/EvoCUA (论文中提及,Meituan发布)。 Agent S3:https://github.com/simular-ai/Agent-S (论文中提及,Simular AI发布)。 OpenCUA:https://github.com/xingyaoww/opencua (论文中提及,Wang et al.发布)。 NLWeb:https://github.com/microsoft/NLWeb (论文中提及,Microsoft发布)。 🏗️ 方法概述和架构 AOI是一个轻量级的Python层(约2600行代码),作为中间件插入在环境与任何现有的、基于图像的CU模型之间。其核心设计原则是解耦连续、自适应、多模态的观察与离散的行动。标准CU代理的观察空间S被限制为单一RGB帧(S = {一张截图}),且每个行动间隔(3-5秒)仅采样一次。AOI扩展了S,使其能够覆盖间隔期间发生的动态视觉变化和音频输入。 ...

2026-06-30 · 更新于 2026-08-17 · 2 min · 302 words

语音/音乐/音频论文速递 2026-06-30

语音/音乐/音频论文速递 2026-06-30 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 10篇 ██████████ #语音合成 4篇 ████ #自监督学习 2篇 ██ #语音编码 2篇 ██ #音乐生成 1篇 █ #音频事件检测 1篇 █ #语音分离 1篇 █ #数据集 1篇 █ 📊 论文评分排行榜(35 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 Preference-ASR: A Preference-Aware Test Set for Benchma 9.5分 前10% #语音识别 🥈 LeVo 2: Stable and Melodious Song Generation via Hierar 9.4分 前10% #音乐生成 🥉 VIB-AVSR: Variational Information Bottleneck for Noise- 9.0分 前10% #语音识别 4. Two kinds of robustness are not the same: disentangling 8.9分 前25% #音频事件检测 5. DialogPII: A multilingual dataset of synthetic dialog t 8.9分 前25% #语音识别 6. GigaSpeechBench: A Real-World Multilingual Speech-to-Te 8.7分 前50% #语音识别 7. SICAGE: Speaker-Independent Culture-Aware Gesture Gener 8.7分 前25% #语音合成 8. How to Leverage Synthetic Speech for LLM-Based ASR Syst 8.7分 前50% #语音识别 9. Position-Aware Target Speaker Extraction for Long-Form 8.5分 前25% #语音识别 10. wav2VOT: Automatic estimation of voice onset time, clos 8.5分 前25% #自监督学习 11. Improving Large-Scale Weakly Supervised ASR by Filterin 8.4分 前25% - 12. Agent-Computer Observation Interfaces Enable Dynamic Co 8.4分 前10% #语音识别 13. DTM-Codec: Dynamic Token Masking for VFR Speech Coding 8.1分 前25% #语音编码 14. TF-MoE: Time-Frequency Mixture-of-Experts for Efficient 8.1分 前25% #语音分离 15. Underwater Source Detection and Classification for Sign 7.8分 前25% #数据集 16. AMR: Adaptive Modality Routing for Multimodal Polyglot 7.8分 前25% #说话人识别 17. FacePlex: Full-Duplex Joint Speech-Facial Motion Genera 7.8分 前25% #语音合成 18. VeRe-Flow: Guiding Flow Matching toward Clean Speech vi 7.7分 前25% #语音增强 19. CTC-Seeded Token Edit Refinement for Non-Autoregressive 7.7分 前25% #语音识别 20. Evaluation of Head-Related Transfer Functions Across Fi 7.6分 前25% #空间音频 21. Semi-Supervised Sound Event Detection with Conditional 7.6分 前25% #对比学习 22. OLIVE: View-Augmented Latent Prediction with Waveform R 7.5分 前50% #语音识别 23. EchoHawk: A Reproducible Acoustic Pipeline for Drone De 7.5分 前25% - 24. LoRA-Tuned Large Language Models for Dementia Detection 7.5分 前50% #参数高效微调 25. MeloDISinger: Melody-Aware & Duration-Preserving Si 7.4分 前50% #语音合成 26. Child-Centric Voice Anonymization in Single and Multi-S 7.2分 前50% #语音匿名化 27. SIGMA: Saliency-Guided Sparse Mask Attacks for Speech E 7.1分 前50% #语音情感识别 28. Effective Depth in Joint Source-Channel Coding: An Impl 7.0分 前50% #语音编码 29. SIMAX: A Scalable and Interpretable Framework for Multi 6.6分 后50% #语音合成 30. Clustering Unsupervised Representations as Defense agai 6.5分 前50% #自监督学习 31. Comparing Human and Automatic Recognition of Dutch Dysa 6.5分 前50% #语音识别 32. Predicting Timbre Traits for Interpretable Assessment o 6.1分 前50% #音频生成 33. TRACE: Temporal Relationship-Aware Conversational Entra 5.9分 前50% - 34. Proteus: Automated Adversarial Robustness Testing for A 5.3分 后50% #数据增强 35. Rehearsed Multi-Agent Live Product Demonstrations with 5.3分 后50% #多模态模型 📋 论文列表 🥇 Preference-ASR: A Preference-Aware Test Set for Benchmarking ASR in the Era of Speech LLMs 9.5/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.4/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 ...

2026-06-30 · 更新于 2026-08-17 · 22 min · 4475 words

RedVox: Safety and Fairness Gaps in Speech Models Across Languages

📄 RedVox: Safety and Fairness Gaps in Speech Models Across Languages #基准测试 #模型评估 6.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.1/1.5 | 清晰 1/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #基准测试 | #模型评估 | arxiv 👥 作者与机构 Beatrice Savoldi, Sara Papi, Wafa Aissa, Matteo Negri, Luisa Bentivogli。单位:Fondazione Bruno Kessler, Italy。 💡 毒舌点评 这篇论文像是一个“社区驱动的体检报告”,为语音模型的安全与公平性提供了急需的跨国体检数据。它最大的优点是“真实”——真实的人声、真实的研究者作为数据贡献者,以及真实暴露出的、令人不安的漏洞。特别是那个参与者问卷,简直是给所有想搞语音红队的人上了一堂生动的“伦理课”,告诉你收集这些数据有多折磨人。但问题也很明显:五种语言虽然覆盖广,但全是欧洲亲戚(印欧语系高资源语言),模型们对远房亲戚(如亚洲语言)的表现还是个谜。评估框架依赖LLM判官,这个判官自己有没有跨文化偏见,论文没深究。单轮对话的设置也过于“温和”了,现实中的恶意用户可不会只问一回合。总的来说,它把“问题有多严重”说得很清楚,但“如何系统性地解决”或者“如何更全面地诊断”,留下的思考空间比给出的答案更多。它是一份扎实的、揭露问题的报告,但还远非一份解决问题的蓝图。 📌 核心摘要 本文指出,当前语音模型的安全与公平性评估在多语言和自然语音条件下存在严重空白。为应对此问题,作者构建了RedVox,一个基于真实人声、覆盖英法意西德五种语言的多模态安全与公平基准。通过对八款最先进语音模型的评估,研究发现:1)安全漏洞在非英语语言中显著恶化(不安全率翻倍);2)语音输入(相比文本)会加剧模型的不安全响应倾向;3)刻板印象类请求最易引发争议性响应。此外,通过参与者问卷,论文首次记录了语音数据收集过程中独特的隐私与心理负担问题。研究证实了语音安全问题的紧迫性,并强调了跨语言、跨模态评估的重要性。 🔗 开源详情 代码:https://github.com/hlt-mt/redvox 模型权重:论文中未提供。RedVox本身是一个评估基准。论文评估的开源模型权重来自第三方(如HuggingFace上的Qwen2-Audio, Phi4-Multimodal, Voxtral等),并非本文贡献。 数据集:RedVox数据集,获取链接:https://huggingface.co/datasets/FBK-MT/RedVox(需通过审核访问)。 Demo:未提及。 复现材料:论文提及代码仓库可能包含指南(附录B),但未单独提供复现材料链接。评估脚本和输出承诺在论文接收后开源。 论文中引用的开源项目: Whisper (语音转录):https://hf.co/openai/whisper-large-v3-turbo Qwen3Guard (安全护栏):https://huggingface.co/Qwen/Qwen3Guard-Gen-8B MUSAN corpus (背景噪声):论文未提供具体链接。 Silero VAD (语音活动检测):论文未提供具体链接。 SHADES (刻板印象数据集):论文未提供具体链接。 M-ALERT (安全基准数据集):论文未提供具体链接。 🏗️ 方法概述和架构 本文的方法主要分为两个核心部分:RedVox基准构建与基于该基准的模型评估。 ...

2026-06-26 · 更新于 2026-08-17 · 2 min · 240 words

语音/音乐/音频论文速递 2026-06-26

语音/音乐/音频论文速递 2026-06-26 共分析 22 篇论文 ⚡ 今日概览 📥 抓取 22 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 3篇 ███ #语音质量评估 2篇 ██ #语音合成 2篇 ██ #扩散模型 1篇 █ 歌唱评估 1篇 █ 音频编解码 1篇 █ 音频事件检测 1篇 █ 音频分离 1篇 █ 📊 论文评分排行榜(21 篇,按分数降序) 排名 论文 总分 分档 主任务 🥇 DNSMOS-C: Improving End-to-end Speech Quality Models vi 9.3分 前50% #语音质量评估 🥈 UnityShots: Memory-Driven Multi-Shot Audio-Video Genera 8.9分 前25% #扩散模型 🥉 Listening Like a Judge: A Music-Aware Framework for Aut 8.8分 前25% 歌唱评估 4. Elastic Time: Dynamic Frame Rate Bottlenecks for Neural 8.3分 前50% 音频编解码 5. Soroll-IA: A Weakly Labeled Audio Dataset for Real-Worl 8.3分 前25% 音频事件检测 6. A Large-Scale Database and Predictive Model of Listener 8.1分 前25% #语音质量评估 7. SamaVaani: Auditing and Debiasing Multilingual Clinical 7.8分 前25% #语音识别 8. CodecSep: Prompt-Driven Universal Sound Separation on N 7.7分 前25% 音频分离 9. VoiceTTA: Enhancing Zero-Shot Text-to-Speech via Reinfo 7.6分 前50% #语音合成 10. What We are Missing in Multimodal LLM Evaluation? 7.0分 前50% - 11. RedVox: Safety and Fairness Gaps in Speech Models Acros 6.8分 前50% #基准测试 12. WQ-Fusion: Dynamic Gated Attention for Cross-Domain Aud 6.7分 前50% #音频分类 13. Thinking While Speaking: Inference-Time Knowledge Trans 6.7分 后50% #知识蒸馏 14. When Does Quality-Aware Multimodal Fusion Matter? A Lea 6.6分 前50% #语音情感识别 15. voxmap-studio: An open-source speaker diarization annot 6.5分 前50% #说话人日志 16. FBK's Long-form SpeechLLMs for IWSLT 2026 Instructi 6.5分 前50% #语音识别 17. wav2tok 2.0: Scalable Audio Tokenization Maintaining Ex 6.4分 前50% #语音检索 18. Generative AI and Copyright Infringement: A Legal-Techn 6.0分 前50% #音乐生成 19. Closing the Quality Gap in Low-Resource Text-to-Speech: 6.0分 后50% #语音合成 20. Neural Speaker Diarization via Multilingual Training: E 5.5分 前50% #语音分离 21. Low Resource Multimodal Translation of Nepali Spoken Wo 5.3分 后50% #语音识别 22 Phonetic and semantic analyses of spoken corpora of Bei N/A - - 📋 论文列表 🥇 DNSMOS-C: Improving End-to-end Speech Quality Models via Contrastive Learning 9.3/10 | 创新 1.3/2 | 严谨 1.2/1.5 | 实验 1.4/1.5 | 清晰 1/1 | 影响 1.3/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 ...

2026-06-26 · 更新于 2026-08-17 · 12 min · 2421 words

BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions

📄 BCoughBench: Benchmarking Respiratory Acoustic Foundation Models Under Body-Coupled Wearable Sensor Conditions #基准测试 #模型评估 6.7/10 | 创新 1/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.3/1.5 | 复现 0.5/0.5 | 工程 0.7/1.5 ✅ 6.7/10 | 前50% | #基准测试 | #模型评估 | arxiv 👥 作者与机构 Mayur Sanap, Centific Global Solutions Inc., USA Prasanna Desikan, Centific Global Solutions Inc., USA Edgar Lobaton, North Carolina State University, USA ...

2026-06-25 · 更新于 2026-08-17 · 2 min · 377 words