基准测试

📄 From Reactive to Proactive: Assessing the Proactivity of Voice Agents via ProVoice-Bench #语音对话系统 #基准测试 #多模态 #数据集 🔥 评分：8.2/10 | arxiv 👥 作者与机构 第一作者：Ke Xu (推断) 通讯作者：Yu Wang (推断) 其他作者：Yuhao Wang (推断) （注：论文摘要中未明确列出作者所属机构。根据常见的学术论文作者署名惯例，以上推断基于作者姓名顺序和通讯作者的通常角色。如需准确信息，需查阅论文全文的作者 affiliations 部分。） 💡 毒舌点评 亮点：在“AI会抢话”这个未来人机交互的核心痛点上，率先搭了个擂台（ProVoice-Bench），把“主动性”这个模糊概念拆解成可量化的四个任务，研究方向很有前瞻性。 槽点：实验部分像请了三位武林高手（几个多模态LLM）来打擂，结果发现大家都有点“反应过度”和“想太多”，但论文没深入剖析为啥会这样，也没开源“擂台”本身，让后续挑战者有点无从下手。 🔗 开源详情 论文中未提及开源计划。目前无法得知ProVoice-Bench数据集、评估代码或相关模型权重是否会公开。 📌 核心摘要 本文旨在解决当前语音代理评估中过度关注被动响应，而忽视其主动交互能力的问题。为此，作者提出了首个专门评估主动语音代理的基准测试框架 ProVoice-Bench。该框架包含四个新颖的任务，用以衡量代理在不同场景下的主动介入和监控能力。通过设计一个多阶段数据合成管道，研究团队构建了一个包含1,182个高质量样本的评测数据集。对多个前沿多模态大语言模型的评估结果显示，当前模型在主动语音交互方面存在显著性能差距，主要体现在过度触发（在不必要时主动发言）和推理能力不足两个方面。这项工作不仅揭示了现有模型的局限，也为开发更自然、具备上下文感知能力的主动语音代理指明了具体改进方向。 🏗️ 模型架构 本论文的核心贡献是提出了一个评估框架（Benchmark），而非一个新的模型架构。因此，其“模型架构”指的是被评估的现有先进多模态大语言模型以及评估框架本身的设计。 被评估模型架构（以通用多模态LLM为例）： 输入：通常为音频流（语音）和可能的文本上下文。音频通过音频编码器（如Whisper、Qwen-Audio的编码器）转换为音频特征向量。 核心处理：特征向量被输入到一个统一的大语言模型（如Qwen2.5、LLaMA等架构）中。该LLM经过多模态对齐训练，能够同时理解文本、音频（有时包括视觉）信息。 输出：模型根据输入和内部推理，生成文本响应或决定保持沉默。在主动代理任务中，模型需要自主判断是否以及何时需要主动发起对话或干预。 连接方式：音频特征与文本token在LLM的嵌入空间或通过交叉注意力机制进行融合。模型的“主动性”体现在其自回归生成过程中，基于对上下文的理解，预测出应该输出响应还是特殊的“静默”或“等待”标记。 评估框架（ProVoice-Bench）架构： 整体流程：框架输入是设计好的多模态场景（包含语音对话、环境音频事件等），输出是被评估模型在该场景下的行为序列（如：何时说话、说了什么），最后通过预设的评估指标进行打分。 四个核心任务： 情境感知对话发起（Context-Aware Conversation Initiation, CACI）：判断在特定环境声音（如敲门声、微波炉“叮”声）后，代理是否应主动发起相关询问。 任务导向型主动干预（Task-Oriented Proactive Intervention, TOPI）：在用户执行任务（如做饭）遇到困难（如步骤错误、遗漏）时，代理是否应主动提供帮助。 情感状态主动关怀（Emotional State Proactive Care, ESPC）：检测用户语音中的情感变化（如沮丧、困惑），并判断是否应主动表达关怀或提供支持。 持续监控与适时提醒（Continuous Monitoring and Timely Reminder, CMTR）：在长时间交互中，监控用户状态（如长时间未操作、偏离目标），并在恰当时机进行提醒。 数据合成管道：这是一个关键组件，用于生成评测数据。它可能包含：a) 场景设计：人工或规则定义交互剧本；b) 语音合成：使用TTS生成对话语音；c) 音频事件合成：添加环境音效；d) 标注：由人工标注“正确”的主动行为时间点和内容。这个管道确保了数据的可控性和评估的客观性。 💡 核心创新点 首次定义并系统评估语音代理的“主动性”：之前的研究和基准（如Spoken-CQA、SD-Eval）主要评估模型对用户查询的被动响应能力。本文明确提出了“主动语音代理”的概念，并将其操作化为四个可衡量的具体任务，填补了该领域的评估空白。 构建了首个主动语音代理评测基准 ProVoice-Bench：这不是一个简单的数据集，而是一个包含多任务、多场景、高质量合成数据的完整评估框架。其创新在于任务设计的全面性（覆盖了发起、干预、关怀、提醒等主动行为的关键维度）。 设计了多阶段数据合成管道以生成高质量评测数据：主动行为的“正确答案”在真实世界中难以大规模、一致地获取。本文创新性地采用合成方法，通过可控的流程生成了1,182个带有明确评估标准（何时该主动、说什么）的样本，解决了主动交互评估数据稀缺的难题。 揭示了当前SOTA多模态LLM在主动交互上的具体缺陷：通过在ProVoice-Bench上的实验，论文不仅证明了性能差距，更具体地指出了“过度触发”（False Triggering）和“推理能力不足”是两大核心问题。这为未来的研究提供了明确的优化目标，而不仅仅是笼统的“性能提升”。 🔬 细节详述 训练数据：论文主要工作是构建评测数据集，而非训练新模型。评测数据集 ProVoice-Bench 包含 1,182 个样本，通过多阶段数据合成管道生成。该管道可能整合了剧本设计、文本转语音（TTS）、音频事件混合和人工校验等步骤，以确保数据质量和评估标准的一致性。 损失函数：不适用。本文为评估论文，未涉及模型训练。 训练策略：不适用。 关键超参数：论文未提及训练超参数。在评估中，可能涉及模型推理时的参数，如采样温度（temperature）、top-k/top-p等，但摘要中未说明。 训练硬件：不适用。 推理细节：论文未详细说明评估时模型的推理策略（如是否使用beam search）。通常，对于对话生成任务，可能使用核采样（nucleus sampling）以生成自然响应。 数据增强/正则化：不适用。 📊 实验结果 主要指标对比：根据提供的柱状图（图1），论文评估了多个模型在 CFC（可能指Context-aware Conversation Initiation相关任务）和 PIC（可能指Proactive Intervention and Care相关任务）两大类任务上的表现。每个任务下有Recall (Rec)、Accuracy (Acc) 和 $R_{acc}$（可能是Recall和Accuracy的调和平均或加权平均）三个指标。 CFC任务： Recall (Rec): Qwen3-Omni (w/ DC) 约为0.43，Qwen3-Omni (T) (w/ DC) 和 Step-Audio-R1 (T) (w/ DC) 均约为0.74。 Accuracy (Acc): Qwen3-Omni (w/ DC) 约为0.54，Qwen3-Omni (T) (w/ DC) 约为0.84，Step-Audio-R1 (T) (w/ DC) 约为0.83。 $R_{acc}$: Qwen3-Omni (w/ DC) 约为0.46，Qwen3-Omni (T) (w/ DC) 约为0.83，Step-Audio-R1 (T) (w/ DC) 约为0.80。 PIC任务： Recall (Rec): Qwen3-Omni (w/ DC) 约为0.76，Qwen3-Omni (T) (w/ DC) 约为0.58，Step-Audio-R1 (T) (w/ DC) 约为0.91。 Accuracy (Acc): Qwen3-Omni (w/ DC) 约为0.78，Qwen3-Omni (T) (w/ DC) 约为0.78，Step-Audio-R1 (T) (w/ DC) 约为0.82。 $R_{acc}$: Qwen3-Omni (w/ DC) 约为0.69，Qwen3-Omni (T) (w/ DC) 约为0.74，Step-Audio-R1 (T) (w/ DC) 约为0.72。 关键发现：1) 模型性能在不同类型任务上差异显著（如Step-Audio-R1在PIC的Rec上极高，但在CFC的Rec上极低）。2) “w/ DC”（可能指使用了某种对话上下文或解码策略）与“w/o DC”的对比显示，上下文信息对主动行为的准确性有复杂影响。3) 所有模型的Recall和Accuracy都远未达到完美（1.0），尤其在CFC任务上Recall普遍偏低，印证了“推理能力不足”和“过度触发”（可能对应高Recall但低Accuracy的情况）的问题。 消融实验：图中“w/ DC”与“w/o DC”的对比可视为一种消融，表明特定组件（如对话上下文）对模型主动性能有显著影响。 与SOTA方法的对比：论文评估的本身就是当前的多模态LLM SOTA（如Qwen3-Omni, Step-Audio-R1）。结果显示，即使在这些最强模型上，主动交互能力仍是短板。 用户研究/主观评价：摘要和图中未提及。 ⚖️ 评分理由 创新性：8.5/10 - 开创性地定义了“主动语音代理”的评估范式，并构建了首个专用基准。从“被动应答”到“主动交互”的视角转换具有重要学术价值，为领域发展设立了新的路标。 实验充分性：7.5/10 - 实验设计合理，对比了多个有代表性的SOTA模型，并使用了多维度指标。但评测模型数量可以更多（如包含更多开源和商业模型），且缺乏对模型失败案例的深入分析（如为什么会在某些场景过度触发）。 实用价值：9.0/10 - 直接指向未来语音助手发展的核心需求——更自然、更主动的交互。研究成果（Benchmark和发现的缺陷）能有效指导工业界优化产品，避免“人工智障”式的打扰，实用导向非常明确。 灌水程度：2.0/10 - 论文内容扎实，问题定义清晰，方法新颖，实验结论明确。没有明显的冗余内容或夸大表述，是一篇高质量的AI评估研究论文。 🖼️ 图片与表格 图1: 不同模型在CFC和PIC任务上各指标的表现 | 保留: 是 - 理由：这是论文的核心实验结果图，直观展示了不同模型在主动语音交互关键任务上的性能差异和存在的问题（如Recall和Accuracy的不平衡），是支撑论文结论的关键证据。 关键数据表格（根据图1文字化）： 模型 任务 Recall (Rec) Accuracy (Acc) $R_{acc}$ Qwen3-Omni (w/ DC) CFC ~0.43 ~0.54 ~0.46 PIC ~0.76 ~0.78 ~0.69 Qwen3-Omni (T) (w/ DC) CFC ~0.74 ~0.84 ~0.83 PIC ~0.58 ~0.78 ~0.74 Step-Audio-R1 (T) (w/ DC) CFC ~0.74 ~0.83 ~0.80 PIC ~0.91 ~0.82 ~0.72 注：数据为根据柱状图高度估算的近似值。 📸 论文图片 ...

📄 Geo2Sound: A Scalable Geo-Aligned Framework for Soundscape Generation from Satellite Imagery #音频生成 #多模态模型 #基准测试 #数据集 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Kunlin Wu（香港科技大学（广州）） 通讯作者：根据论文署名和致谢信息，推测通讯作者可能为 Xiaofeng Liu（香港科技大学（广州）），论文中未明确标注。 其他作者： Yanning Wang（香港科技大学（广州）） Haofeng Tan（南卡罗来纳大学，美国） Boyi Chen（香港科技大学（广州）） Teng Fei（坎特伯雷大学，新西兰） Xianping Ma（西南交通大学，中国） Yang Yue（香港科技大学（广州）） Zan Zhou（北京邮电大学，中国） Xiaofeng Liu（香港科技大学（广州）） 💡 毒舌点评 亮点：这篇论文想象力爆棚，硬是把“看卫星图猜声音”这个看似不着边际的想法，做成了一个有模有样的系统任务，还搭了个大规模数据集，属实是“跨模态整活”的典范。槽点：方法上有点“拼积木”的意思，依赖现成的视觉模型、语言模型和音频生成模型，自己核心的“对齐”模块虽然巧妙但略显单薄，像是在给一堆大佬打补丁，创新性更多体现在任务定义和工程整合上。 🔗 开源详情 代码：论文中明确提到项目主页和源代码地址为：https://github.com/Blanketzzz/Geo2Sound。代码已开源。 模型权重：论文中未明确说明是否公开预训练模型权重（如对齐模块的MLP权重）。 数据集：论文中构建的 SatSound-Bench 数据集是核心贡献之一，但文中未明确说明该数据集是否公开提供下载。从描述看，它整合了实地录制数据和多个公共数据集，其分发可能涉及版权和许可问题。 预训练权重：方法依赖多个外部预训练模型，包括：DINOv3（视觉）、GPT-5.2（文本生成）、Make-An-Audio 2（音频生成）、CLAP（音频编码）。论文中未提供这些模型的权重。 在线 Demo：论文中未提及是否有在线演示。 依赖的开源项目：论文中明确引用的开源项目/模型包括：DINOv3， GPT-5.2（推测）， Make-An-Audio 2， CLAP， AudioLDM/LDM2， Auffusion， Tango2， EzAudio， AudioX， MeanAudio， Freesound， iNaturalist Sounds， SoundingEarth。 📌 核心摘要 这篇论文提出了一个名为 Geo2Sound 的新任务和框架，旨在从卫星图像生成地理上一致且逼真的声音景观。要解决的问题是现有图像到音频模型在处理自上而下的卫星视图时面临三大挑战：缺乏结构化地理语义、一对多的声学歧义以及缺乏更广泛的地理空间上下文。方法上，它设计了一个三阶段流水线：首先通过轻量级分类器将卫星图像聚类并总结为紧凑的地理属性（如植被覆盖率、建筑密度）；然后利用大语言模型为同一场景生成多个声学上合理的文本描述（语义假设扩展），并用文本到音频模型生成对应的候选音频；最后训练一个地理-声学对齐模块，将地理属性投影到音频嵌入空间，从候选集中选择与地理环境最匹配的音频。主要发现是，该框架在自建的 SatSound-Bench 基准（包含超过2万对数据）上取得了SOTA性能，FAD指标达到1.765，比最强基线提升50%，并在人类评估的真实性、语义对齐和沉浸感方面均获得显著提升。实际意义在于为城市规划、数字孪生和虚拟现实等应用提供了一种可扩展的、从视觉数据生成环境声音的新方法。局限性在于方法依赖外部预训练模型（VLM， T2A），且数据收集和对齐的有效性高度依赖于地理属性与声音关联的假设。 ...

📄 SpotSound: Enhancing Large Audio-Language Models with Fine-Grained Temporal Grounding #音频理解 #音频事件检测 #音频大模型 #基准测试 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Luoyi Sun（浙江大学，上海人工智能实验室） 通讯作者：Weidi Xie（上海交通大学，上海人工智能实验室） 其他作者： Xiao Zhou（上海人工智能实验室，上海交通大学） Zeqian Li（上海人工智能实验室，上海交通大学） Ya Zhang（上海人工智能实验室，上海交通大学） Yanfeng Wang（上海人工智能实验室，上海交通大学） 💡 毒舌点评 亮点：这篇论文的“时间戳交错序列”设计堪称“暴力美学”，直接把时间戳文本硬塞进音频Token序列里，让大语言模型像读句子一样“读”出时间，思路简单粗暴但异常有效。槽点：合成数据管道虽然巧妙，但用VGGSound配“Walking Tours”背景音，总感觉像是在录音棚里模拟“菜市场”，离真正的复杂声学场景还有点距离；另外，模型对“狗叫”这种瞬态声音的定位精度（见失败案例），似乎还不如它对“男人说话”这种持续性声音的把握来得稳。 🔗 开源详情 代码：已开源。GitHub地址：https://loiesun.github.io/spotsound/ (指向项目主页，代码应托管于此)。 模型权重：已公开。在HuggingFace上发布，包括基于Qwen2-Audio和Audio Flamingo 3的两个变体（SpotSound-Q和SpotSound-A）。 数据集： SpotSound-Bench：已公开，包含300个音频-query-timestamp三元组，可通过项目主页获取。 训练数据：论文中提到的合成数据管道和混合数据集的具体发布情况未明确说明，但强调“Code, models and benchmark are released”。 在线Demo：论文中未提及在线Demo地址。 引用的开源项目：依赖于Qwen2-Audio、Audio Flamingo 3、Whisper、DeepSeek-v3、Qwen2等开源模型。 📌 核心摘要 本文旨在解决大型音频语言模型在细粒度音频事件时间定位上的不足。现有模型因训练数据缺乏精确时间戳、基准测试过于简单，导致在长音频中定位短暂事件（“大海捞针”）时表现不可靠。为此，作者提出了SpotSound框架，其核心创新在于：1）设计了时间戳交错序列，将绝对时间戳文本与音频特征交错输入LLM，提供显式的时间对齐信号；2）引入了抗幻觉训练目标，通过构建包含正负样本的判别式四元组，强制模型先判断事件是否存在，再进行定位，有效抑制了对不存在事件的幻觉定位。同时，论文构建了SpotSound-Bench基准，其中目标事件仅占音频总长的8.4%，模拟了真实的“稀疏事件定位”挑战。实验表明，SpotSound在多个时间定位基准上达到了最先进水平，并在标准的音频事件检测任务上保持了强泛化能力。 🏗️ 模型架构 SpotSound的整体架构是一个增强型的大音频语言模型，其核心流程分为数据预处理/序列构建和两阶段推理。 1. 输入与特征提取： 原始输入：一段音频 𝒜 和一个自然语言查询 ℚ。 音频编码：音频被重采样至16kHz，转换为128通道的梅尔频谱图。随后通过一个预训练的音频编码器（如Whisper-large-v3），该编码器包含一个步长为2的池化层，将时间分辨率压缩，每个输出时间步约对应原始音频40ms。输出为音频Token序列 𝐀𝑖。 2. 核心创新：时间戳交错序列构建 (Timestamp-Interleaved Sequence) ...

📄 VoxEffects: A Speech-Oriented Audio Effects Dataset and Benchmark #音频理解 #音频编辑 #基准测试 #数据集 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Zhe Zhang（日本国立信息学研究所，语音与音频研究组） 通讯作者：Junichi Yamagishi（日本国立信息学研究所，语音与音频研究组） 其他作者：Yigitcan Özer（日本国立信息学研究所，语音与音频研究组） 机构：National Institute of Informatics (NII), Tokyo, Japan 💡 毒舌点评 亮点：在语音领域“硬核”填补了一个关键空白——为“音频效果识别”这个被忽视但无处不在的任务，提供了首个标准化的合成数据集和评估基准，还煞有介事地考虑了真实世界的信号损伤（加噪、压缩），这很务实。槽点：数据完全靠“配方”合成，像在无菌实验室里研究野外生存，缺乏真实后期处理的复杂性和“脏数据”；评估子集只有120条音频（60 ID + 60 OOD），规模过小，结论的说服力打了个折扣。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/nii-yamagishilab/VoxEffects （论文中提及）。使用框架未明确说明，但渲染依赖于Pedalboard库。 模型权重：论文中未明确提及是否公开预训练的AudioMAE-Fx权重。 数据集：VoxEffects数据集已发布。包含基于DAPS, EARS, TSP合成的音频及其多粒度标注。规模为2520种预设组合应用于多个源语料库的音频。获取方式需参考GitHub仓库。 预训练权重：基线模型AudioMAE-Fx基于在AudioSet上预训练的AudioMAE，该AudioMAE权重应为公开资源。 在线Demo：论文中未提及。 引用的开源项目：Pedalboard（音频效果库），AudioMAE（预训练模型）。 📌 核心摘要 本文旨在解决语音处理中一个基础但被忽视的问题：如何系统化地识别语音音频所经过的后期处理效果及其参数。现实中，语音几乎都经过了降噪、压缩等效果处理，但现有数据集缺乏此类精确标注，阻碍了相关研究。为此，作者提出了VoxEffects，一个从干净语音出发、基于固定效果链和预设库合成的多粒度标注数据集与基准。它支持效果存在性检测、预设分类、效果数量统计和强度回归等多任务评估，并创新性地设计了包含采集端和平台端失真的鲁棒性评估协议。作者提供了一个基于AudioMAE的多任务基线模型（AudioMAE-Fx），实验表明，虽然该任务具有挑战性（尤其是细粒度预设分类），但通过包含失真数据进行鲁棒性训练能显著提升模型在跨语料库和失真条件下的性能。该工作为音频取证、语音理解等应用提供了新的研究方向和评估工具。 🏗️ 模型架构 模型名称：AudioMAE-Fx 整体流程： 输入：原始音频波形（16kHz采样）。 特征提取：将波形转换为对数梅尔滤波器组（log-mel filterbank）特征。 骨干网络：将特征输入预训练的AudioMAE模型。AudioMAE是一个基于Transformer的掩码自编码器，已在大规模音频数据集AudioSet上预训练，用于学习通用的音频表示。 多任务预测头：从AudioMAE输出的共享表示中，并行引出五个轻量级预测头，每个头对应一个子任务： 存在性检测头：一个线性分类器，输出6个效果的二元存在概率（多标签分类）。 预设分类头：一个线性分类器，输出2520个预设组合的分类概率（单标签分类）。 效果数量头：一个线性分类器，预测激活效果的数量（0到6的分类）。 标量强度头：一个线性回归器，预测一个0到1之间的标量强度值。 向量强度头：一个线性回归器，预测一个6维向量，每个维度对应一个效果的强度（0到1）。 输出：五个任务的预测结果。 关键设计理由： 采用预训练AudioMAE：利用在大规模无标注数据上学到的丰富音频特征，缓解了专用数据集（VoxEffects）规模有限的问题，提供了强大的特征提取基础。 多任务学习：所有任务共享同一个AudioMAE骨干，仅使用不同的轻量级头部。这鼓励模型学习对多种效果属性都通用的表示，提高参数效率，并可能通过任务间的正则化效应提升泛化能力。 固定效果链顺序：模型输入是经过固定顺序（DN→DRC→EQ→DS→RVB→LIM）处理后的音频，这简化了问题，符合常见语音后期处理流程。 💡 核心创新点 首个面向语音的音频效果数据集与渲染管线： ...

📄 VoxSafeBench: Not Just What Is Said, but Who, How, and Where #基准测试 #语音大模型 #音频理解 #音频安全 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：无法从摘要中明确判断 通讯作者：无法从摘要中明确判断 其他作者：Yuxiang Wang, Hongyu Liu, Yijiang Xu, Qinke Ni, Li Wang, Wan Lin, Kunyu Feng, Dekun Chen, Xu Tan, Lei Wang, Jie Shi, Zhizheng Wu 注：所提供的论文摘要中未包含任何作者所属机构信息。根据要求，无法从联系邮箱、致谢等处进行推断，故仅列出作者姓名。 💡 毒舌点评 这篇论文的亮点在于它敏锐地抓住了语音大模型（SLM）从“玩具”走向“工具”时必须面对的残酷现实：话不能只听内容，还得看谁说、怎么说、在哪儿说。它设计的“双层评估框架”像一把精准的手术刀，剖开了当前模型在语音情境理解上的虚胖——感知能力在线，但“社会智商”掉线。槽点嘛，就是它主要是个“体检报告”而非“药方”，指出了病灶（语音接地鸿沟）但没开药，而且依赖于现有模型的感知能力作为评估前提，如果感知本身就不准，结论就得打个问号。 🔗 开源详情 代码：是。论文摘要明确指出“Code and data are publicly available”，并提供了项目主页链接：https://amphionteam.github.io/VoxSafeBench_demopage/。通常此类项目会托管在GitHub。 模型权重：摘要未提及。VoxSafeBench是评估基准，本身不包含模型权重。它用于评估其他SLM。 数据集：是。摘要明确指出数据公开，应包含在项目主页提供的链接中。 预训练权重：不适用。基准不涉及预训练。 在线Demo：项目主页链接（...demopage/）很可能包含在线演示或交互式示例。 引用的开源项目：摘要未提及具体依赖的开源工具或模型。 📌 核心摘要 这篇论文旨在解决一个关键问题：当语音大模型（SLM）进入多用户共享环境时，仅基于文本内容的安全对齐策略是不足的，说话人身份、副语言特征和声学场景等音频上下文信息会根本性地改变请求的性质。为此，作者提出了VoxSafeBench，这是一个首个联合评估SLM在安全、公平和隐私三个社会维度对齐能力的基准测试。其核心方法是采用“双层设计”：Tier1使用文本和音频匹配的输入评估内容中心风险；Tier2则聚焦于音频条件风险，即文本转录无害但正确响应依赖于声学线索的场景。通过设计中间感知探针，作者验证了前沿SLM能够检测相关声学线索，但仍然无法据此做出恰当的社会性响应。主要发现是，在22个双语任务上，模型在纯文本中表现出的鲁棒安全护栏，在语音场景下显著退化：对于说话人和场景条件的风险安全意识下降，当人口差异通过声音传达时公平性受损，当上下文线索通过声音传递时隐私保护失效。这揭示了普遍存在的“语音接地鸿沟”。该工作的实际意义在于为评估和改进SLM在实际复杂声学环境中的社会智能提供了关键的诊断工具和衡量标准。 🏗️ 模型架构 注意：VoxSafeBench本身是一个评估基准（Benchmark），而非一个具体的模型。因此，它没有传统意义上的“模型架构”。它的“架构”指的是其评估框架的设计。 ...

📄 Who is Speaking or Who is Depressed? A Controlled Study of Speaker Leakage in Speech-Based Depression Detection #语音生物标志物 #说话人识别 #领域适应 #基准测试 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Hsiang-Chen Yeh（约翰霍普金斯大学，临床心理健康咨询系） 通讯作者：Berrak Sisman（约翰霍普金斯大学，语言与语音处理中心） - 推断，基于其资深作者位置及联系邮箱 sisman@jhu.edu 其他作者： Luqi Sun（约翰霍普金斯大学，语言与语音处理中心） Aurosweta Mahapatra（约翰霍普金斯大学，语言与语音处理中心） Shreeram Suresh Chandra（约翰霍普金斯大学，语言与语音处理中心） Emily Mower Provost（密歇根大学安娜堡分校） 💡 毒舌点评 亮点是狠狠戳破了语音抑郁检测领域“90%+准确率”的皇帝新衣，用一个极其简单却控制严密的实验设计，揭示了所谓“抑郁声学标志物”很大程度上只是“说话人身份特征”的华丽伪装。槽点在于，论文提出的“解药”——领域对抗训练（DANN）——疗效甚微，更像是一个诊断工具而非解决方案，最后只能无奈呼吁“请进行严格的说话人独立评估”，这多少有点把问题抛回给社区的感觉。 🔗 开源详情 代码：论文标题下方有“GitHub”链接标识，但提供的HTML节选内容中未显示具体URL。论文正文中也未明确提及代码开源计划或具体仓库地址。 模型权重：论文中未提及是否公开预训练或微调后的模型权重。 数据集：使用公开的DAIC-WOZ数据集。 预训练权重：使用了公开的预训练模型Wav2Vec 2.0和XLS-R。 在线Demo：论文中未提及。 引用的开源项目：OpenSMILE工具包（用于提取eGeMAPS特征）。 📌 核心摘要 这篇论文的核心贡献在于系统性地揭示并量化了语音抑郁症检测模型中普遍存在的“说话人身份泄露”问题。作者指出，当前许多报告高准确率的模型，其性能可能严重依赖于对说话人身份（声纹）的记忆，而非对抑郁相关声学生物标志物的泛化学习。为证明这一点，他们提出了一种新颖的、控制训练集大小不变的“说话人重叠控制数据划分法”，并在DAIC-WOZ数据集上，对从简单到复杂的三种模型架构（Wav2Vec线性探测、XLSR-eGeMAPS拼接、Wav2Vec-SLS）进行了严格评估。实验结果一致表明：当训练集与测试集存在说话人重叠时，模型准确率虚高（例如，微调Wav2Vec模型达97.65%）；而在严格的说话人独立设置下，性能急剧下降（同一模型降至58.74%）。即使引入领域对抗神经网络（DANN）试图剥离身份信息，性能差距依然巨大。该研究强烈建议，未来的语音抑郁检测研究必须采用严格的说话人独立评估范式，以真实反映模型的临床应用潜力。 🏗️ 模型架构 论文评估了三个模型家族，每个都有“原始”和“DANN增强”两种变体，整体流程如下：原始音频 -> 特征提取/编码器 -> 池化层 -> 分类器（抑郁分类，DANN变体还包含对抗性的说话人分类）。 Wav2Vec-Linear Probing 模型： ...

语音/音乐/音频论文速递 2026-04-19 共分析 42 篇论文 ⚡ 今日概览 📥 抓取 42 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #音频理解 12篇 ████████████ #基准测试 10篇 ██████████ #音频大模型 9篇 █████████ #多模态模型 7篇 ███████ #信号处理 6篇 ██████ #强化学习 6篇 ██████ #自监督学习 6篇 ██████ #大语言模型 5篇 █████ 📊 论文评分排行榜（42 篇，按分数降序） 排名 论文 评分 🥇 ControlFoley: Unified and Controllable Video-to-Audio G 9.2分 🥈 ClariCodec: Optimising Neural Speech Codes for 200bps C 9.0分 🥉 X-VC: Zero-shot Streaming Voice Conversion in Codec Spa 9.0分 4 Why Your Tokenizer Fails in Information Fusion: A Timin 9.0分 5 Hijacking Large Audio-Language Models via Context-Agnos 8.8分 6 UniPASE: A Generative Model for Universal Speech Enhanc 8.5分 7 VoxSafeBench: Not Just What Is Said, but Who, How, and 8.5分 8 Who is Speaking or Who is Depressed? A Controlled Study 8.5分 9 ProSDD: Learning Prosodic Representations for Speech De 8.5分 10 MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 8.5分 11 Four Decades of Digital Waveguides 8.5分 12 Audio-Cogito: Towards Deep Audio Reasoning in Large Aud 8.5分 13 An Ultra-Low Latency, End-to-End Streaming Speech Synth 8.5分 14 Listen, Pause, and Reason: Toward Perception-Grounded H 8.5分 15 Geo2Sound: A Scalable Geo-Aligned Framework for Soundsc 8.5分 16 SpotSound: Enhancing Large Audio-Language Models with F 8.5分 17 Beyond Transcription: Unified Audio Schema for Percepti 8.5分 18 CoSyncDiT: Cognitive Synchronous Diffusion Transformer 8.5分 19 Diffusion Language Models for Speech Recognition 8.5分 20 WavAlign: Enhancing Intelligence and Expressiveness in 8.5分 21 AVID: A Benchmark for Omni-Modal Audio-Visual Inconsist 8.5分 22 SpeakerRPL v2: Robust Open-set Speaker Identification t 8.3分 23 Towards Fine-grained Temporal Perception: Post-Training 8.3分 24 Room compensation for loudspeaker reproduction using a 8.2分 25 StreamMark: A Deep Learning-Based Semi-Fragile Audio Wa 8.2分 26 From Reactive to Proactive: Assessing the Proactivity o 8.2分 27 Elastic Net Regularization and Gabor Dictionary for Cla 8.2分 28 Sky-Ear: An Unmanned Aerial Vehicle-Enabled Victim Soun 8.0分 29 Contextual Biasing for ASR in Speech LLM with Common Wo 8.0分 30 A Manual Bar-by-Bar Tempo Measurement Protocol for Poly 7.8分 31 Classical Machine Learning Baselines for Deepfake Audio 7.8分 32 Adaptive Test-Time Scaling for Zero-Shot Respiratory Au 7.8分 33 Dual-Axis Generative Reward Model Toward Semantic and T 7.8分 34 Tora3: Trajectory-Guided Audio-Video Generation with Ph 7.8分 35 Few-Shot and Pseudo-Label Guided Speech Quality Evaluat 7.5分 36 VoxEffects: A Speech-Oriented Audio Effects Dataset and 7.5分 37 TokenSE: a Mamba-based discrete token speech enhancemen 7.5分 38 Audio Source Separation in Reverberant Environments usi 7.5分 39 On the Distillation Loss Functions of Speech VAE for Un 7.5分 40 Listening Deepfake Detection: A New Perspective Beyond 7.5分 41 Comparison of window shapes and lengths in short-time f 6.5分 42 Transformer Based Machine Fault Detection From Audio In 6.5分 📋 论文列表 🥇 ControlFoley: Unified and Controllable Video-to-Audio Generation with Cross-Modal Conflict Handling 🔥 9.2分 | #音频生成 #多模态模型 #扩散模型 #基准测试 | arxiv ...

语音/音乐/音频论文速递 2026-04-18 共分析 39 篇论文 ⚡ 今日概览 📥 抓取 39 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #基准测试 11篇 ███████████ #音频理解 10篇 ██████████ #数据集 7篇 ███████ #音频大模型 7篇 ███████ #大语言模型 6篇 ██████ #信号处理 6篇 ██████ #音频生成 5篇 █████ #音频分类 5篇 █████ 🏆 高分论文 TOP 10 排名 论文 评分 🥇 StreamMark: A Deep Learning-Based Semi-Fragile Audio Wa 9.2分 🥈 A Manual Bar-by-Bar Tempo Measurement Protocol for Poly 8.5分 🥉 ClariCodec: Optimising Neural Speech Codes for 200bps C 8.5分 4 UniPASE: A Generative Model for Universal Speech Enhanc 8.5分 5 Who is Speaking or Who is Depressed? A Controlled Study 8.5分 6 SpeakerRPL v2: Robust Open-set Speaker Identification t 8.5分 7 ProSDD: Learning Prosodic Representations for Speech De 8.5分 8 MoshiRAG: Asynchronous Knowledge Retrieval for Full-Dup 8.5分 9 X-VC: Zero-shot Streaming Voice Conversion in Codec Spa 8.5分 10 An Ultra-Low Latency, End-to-End Streaming Speech Synth 8.5分 📄 StreamMark: A Deep Learning-Based Semi-Fragile Audio Watermarking for Proactive Deepfake Detection #音频安全 #音频深度伪造检测 #语音伪造检测 #基准测试 ...