Posts

📄 X-VC: Zero-shot Streaming Voice Conversion in Codec Space #语音转换 #流匹配 #零样本 #流式处理 ✅ 6.5/10 | 前25% | #语音转换 | #流匹配 | #零样本 #流式处理 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qixi Zheng（上海交通大学） 通讯作者：Xie Chen（上海交通大学，上海创新研究院） 作者列表： Qixi Zheng（上海交通大学） Yuxiang Zhao（上海交通大学） Tianrui Wang（天津大学） Wenxi Chen（上海交通大学，上海创新研究院） Kele Xu（复杂与关键软件环境国家重点实验室） Yikang Li（上海创新研究院） Qinyuan Chen（复旦大学，上海创新研究院） Xipeng Qiu（复旦大学，上海创新研究院） Kai Yu（上海交通大学） Xie Chen（上海交通大学，上海创新研究院） 💡 毒舌点评 亮点：论文的工程实现非常扎实，将预训练编解码器、双条件Transformer和分块推理整合成一个高效的流式系统，在延迟（240ms）和离线效率（RTF 0.014）上达到了实用水平，且开源了代码和模型。 短板：核心创新略显“缝合”，双条件建模和流匹配都是已有技术，论文的主要贡献在于针对特定任务的适配和系统集成，缺乏更根本性的原理突破；同时，与之对比的基线（如MeanVC）可能并非最新或最强，削弱了结论的说服力。 🔗 开源详情 代码：论文明确提供了GitHub仓库链接：https://github.com/Jerrister/X-VC。 模型权重：论文提到已发布检查点（checkpoints），但未提供具体下载链接，需前往GitHub仓库查看。 数据集：论文使用了Emilia和LibriTTS数据集，但未提及是否公开了处理后的训练数据集或生成的配对数据。评估使用公开的Seed-TTS-Eval基准。 Demo：论文中未提及在线演示。 复现材料：论文详细说明了模型配置、训练数据处理流程、训练策略（优化器、学习率、batch size等）、超参数设置，并提供了架构图，复现信息充分。 引用的开源项目：论文依赖并提及了预训练的SAC编解码器、ERes2Net说话人编码器、Whisper和Paraformer用于评估，以及Seed-VC用于生成训练数据。 📌 核心摘要 问题：零样本语音转换需要同时实现高质量的说话人特征迁移和低延迟的流式推理，这是一个尚未很好解决的挑战。 方法核心：提出X-VC系统，在预训练的SAC语音编解码器的潜在空间中进行一步转换。核心是一个双条件声学转换器，它联合处理源语音的编解码器潜在表示和目标参考语音的帧级梅尔频谱条件，并通过自适应归一化注入全局说话人嵌入。 创新点：与已有方法相比，新在：(1) 在编解码器潜在空间而非波形或频谱图空间进行转换；(2) 设计了双分支Transformer架构来异构地建模帧级和句级条件；(3) 提出了基于生成对数据和角色分配策略的训练方法；(4) 设计了与编解码器分段训练范式对齐的分块流式推理方案。 实验结果：在Seed-TTS-Eval基准上，流式设置下，X-VC在英语和中文测试集上取得了最佳的WER（英语3.14%，中文2.65%）和领先的说话人相似度（SIM）。离线设置下，其实时因子（RTF）仅为0.014，远低于基线模型（如Seed-VC tiny为0.069）。跨语言评估也表现良好。 实际意义：提供了一种实用的高质量低延迟零样本语音转换方案，适用于需要实时交互的配音、对话等场景。 主要局限性：模型总参数量较大（539M）；转换质量高度依赖预训练编解码器（SAC）的性能；论文未提供完整的训练数据集信息。 🏗️ 模型架构 X-VC是一个端到端的语音转换系统，整体流程如图1所示： ...

语音/音乐/音频论文速递 2026-04-23 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 语音识别 5篇 █████ 基准测试 2篇 ██ 音频深度伪造检测 2篇 ██ 语音对话系统 2篇 ██ 音频分类 2篇 ██ 音乐信息检索 1篇 █ 语音合成 1篇 █ 麦克风阵列 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Indic-CodecFake meets SATYAM: Towards Detecting Neural 8.5分 前25% #音频深度伪造检测 🥈 Qwen3.5-Omni Technical Report 8.5分 前25% #语音对话系统 🥉 Towards Streaming Target Speaker Extraction via Chunk-w 8.5分 前25% #语音分离 4 Aligning Stuttered-Speech Research with End-User Needs: 8.5分 前25% #语音识别 5 ONOTE: Benchmarking Omnimodal Notation Processing for E 8.0分 前25% #基准测试 6 FastTurn: Unifying Acoustic and Streaming Semantic Cues 8.0分 前25% #语音对话系统 7 Environmental Sound Deepfake Detection Using Deep-Learn 8.0分 前25% #音频深度伪造检测 8 Embedding-Based Intrusive Evaluation Metrics for Musica 7.5分 前25% #音乐信息检索 9 Self-Noise Reduction for Capacitive Sensors via Photoel 7.5分 前25% #麦克风阵列 10 Utterance-Level Methods for Identifying Reliable ASR-Ou 7.5分 前25% #语音识别 11 Enhancing ASR Performance in the Medical Domain for Dra 7.5分 前25% #语音识别 12 Deep Hierarchical Knowledge Loss for Fault Intensity Di 7.5分 前25% #音频分类 13 SpeechParaling-Bench: A Comprehensive Benchmark for Par 7.5分 前25% #基准测试 14 ATIR: Towards Audio-Text Interleaved Contextual Retriev 7.5分 前25% #音频检索 15 Before the Mic: Physical-Layer Voiceprint Anonymization 7.5分 前25% #语音匿名化 16 MOMO: A framework for seamless physical, verbal, and gr 7.5分 前25% #机器人控制 17 CoInteract: Physically-Consistent Human-Object Interact 7.5分 前25% #视频生成 18 MoVE: Translating Laughter and Tears via Mixture of Voc 7.5分 前25% #语音翻译 19 Reducing the Offline-Streaming Gap for Unified ASR Tran 7.5分 前25% #语音识别 20 Tadabur: A Large-Scale Quran Audio Dataset 7.5分 前25% #语音识别 21 FLiP: Towards understanding and interpreting multimodal 7.5分 前50% #模型评估 22 Text-To-Speech with Chain-of-Details: modeling temporal 7.0分 前25% #语音合成 23 SAND: The Challenge on Speech Analysis for Neurodegener 7.0分 前50% #语音生物标志物 24 Explicit Dropout: Deterministic Regularization for Tran 7.0分 前25% #音频分类 25 X-VC: Zero-shot Streaming Voice Conversion in Codec Spa 6.5分 前25% #语音转换 26 Enhancing Speaker Verification with Whispered Speech vi 6.5分 前50% #说话人验证 27 Centering Ecological Goals in Automated Identification 6.5分 前25% #生物声学 📋 论文列表 🥇 Indic-CodecFake meets SATYAM: Towards Detecting Neural Audio Codec Synthesized Speech Deepfakes in Indic Languages 🔥 8.5/10 | 前25% | #音频深度伪造检测 | #预训练 | #多语言 #语音大模型 | arxiv ...

📄 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track #视频对象分割 #多模态模型 #语音识别 #音视频 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Deshui Miao (鹏城实验室) 通讯作者：Xin Li (鹏城实验室) - 论文中作者列表“Xin Li”后标有星号(*)，通常表示通讯作者。 其他作者： Yameng Gu (鹏城实验室) Chao Yang (鹏城实验室) Haijun Zhang (哈尔滨工业大学) Ming-Hsuan Yang (加州大学美熹德分校) 💡 毒舌点评 这篇论文的亮点是“把大象装冰箱”的工程思维：把一个看似复杂的音视频分割问题，拆解成“听语音、找东西、画轮廓、精修边”四步走，流程清晰得像一份高级菜谱，让模型各司其职，有效避免了端到端模型在噪声面前的“胡言乱语”。槽点也很明显：作为一篇学术论文，它更像是一份“竞赛冠军秘籍”或“系统集成报告”，创新主要体现在对现有顶尖模型（VibeVoice, Sa2VA, SAM3）的巧妙编排和调度上，而非提出全新的核心算法，学术深度略有欠缺。 🔗 开源详情 代码：论文中提到“Submit in GitHub”，暗示代码可能在GitHub上提交或开源，但未提供具体的仓库地址。因此，无法确认是否已开源。 模型权重：APRVOS本身不包含新训练的模型权重。它依赖于以下开源或已发表的预训练模型： VibeVoice-ASR：论文引用为[18]，技术报告为arXiv:2601.18184。 Qwen3-VL：论文引用为[1]，技术报告为arXiv:2502.13923。 Sa2VA：论文引用为[25]，技术报告为arXiv:2501.04001。 SAM3：论文引用为[4]，技术报告为arXiv:2511.16719。 数据集：方法在MEVIS_Audio数据集上进行评估和竞赛。 在线 Demo：未提及。 论文中引用的开源项目：如上所列，VibeVoice-ASR, Qwen3-VL, Sa2VA, SAM3。 📌 核心摘要 这篇论文报告了APRVOS系统，一个专为MEVIS_Audio（音频条件下的指代视频对象分割）任务设计的冠军方案。要解决的问题是传统文本指代分割模型无法直接处理包含噪声、不完整且可能描述视频中不存在物体的语音输入。采用的方法是一个四阶段流水线：首先使用VibeVoice-ASR将语音转为文本；然后用一个基于Qwen3-VL的视觉判断模块（Omni Judger）验证转写文本描述的目标是否在视频中存在，若不存在则直接输出空掩码；若存在，则将文本转化为提示词，输入Sa2VA模型生成粗略的分割轨迹；最后，引入一个“代理验证”层来评估粗分割结果的可靠性，并调用SAM3模型对可信锚点帧进行边界精修和时序传播。取得的效果在第五届PVUW MeViS-Audio赛道上排名第一，J&F分数达到0.6700，消融实验证明每个阶段（尤其是存在性判断和代理精修）都带来了显著的性能提升。局限性在于该报告侧重于系统描述，对各组件内部（如ASR、视觉判断模块）的训练细节和超参数披露有限，且整体性能高度依赖于几个大型预训练模型的组合。 🏗️ 模型架构 模型整体是一个串联式多阶段处理流水线，其完整输入输出流程如下： ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #零样本 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Aoduo Li (广东工业大学，邮件地址：3123009124@mail2.gdut.edu.cn) 通讯作者：Hongjian Xu (广东工业大学，邮件地址：123457890wasd@gmail.com) 其他作者： Haoran Lv (广东工业大学) Shengmin Li (华南理工大学) Sihao Qin (华南理工大学) 💡 毒舌点评 亮点：巧妙地将14B参数LLM的“角色思考过程”（Chain-of-Thought）蒸馏成一个仅11.8M参数的轻量级“韵律翻译器”，实现了从语义理解到声学控制的跨模态桥接，这个想法非常优雅且实用。槽点：实验严重依赖一个特定的动漫角色数据集，虽然证明了方法在该领域的有效性，但其在通用语音、其他语言或更严肃风格上的泛化能力有待商榷，有点像“在二次元世界里当王者”。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/（论文中提供了链接占位符，实际应指向具体仓库）。 模型权重：已公开。在HuggingFace或其他平台发布了P2P Adapter、参考音频库等组件的预训练模型。 数据集：已公开发布了AnimeTTS-Bench（包含初始3角色版和扩展50角色版），包含音频、标注和角色配置。 在线Demo：论文中提供了在线体验地址的链接占位符。 依赖的开源项目：论文中明确依赖或基于以下开源项目：GPT-SoVITS v4（TTS骨干）、Qwen 2.5 14B（教师LLM）、Sentence-BERT、ECAPA-TDNN、emotion2vec、HiFi-GAN等。 📌 核心摘要 本文针对现有语音合成系统在生成角色驱动、情感丰富的语音时难以同时保持角色身份一致性和情感表达准确性的问题，提出了ATRIE框架。其核心是Persona-Prosody Dual-Track (P2-DT) 架构，将语音生成解耦为静态的音色轨道（通过标量量化保持身份锚点）和动态的韵律轨道（通过分层流匹配生成情感韵律）。关键创新在于一个离线知识蒸馏过程，利用一个大型语言模型（Qwen 2.5 14B）作为教师，通过思维链推理生成包含情感理由和数值化韵律目标（VAD分数等）的监督信号，来训练一个轻量级的P2P适配器。该适配器在推理时无需LLM参与，可高效地将文本和角色描述映射为韵律控制参数，引导GPT-SoVITS v4骨干网络合成语音。实验在自建的AnimeTTS-Bench（50个角色）上进行，ATRIE在角色一致性分数（CCS: 0.86）、情感表达准确率（EEA: 0.84）和跨模态检索平均精度（mAP: 0.75）上均达到SOTA，同时保持了实时推理能力（RTF: 0.18）。局限性包括对参考音频库的依赖、长句情感强度维持的挑战，以及当前评估集中于动漫风格。 🏗️ 模型架构 ATRIE系统是一个两阶段框架（离线蒸馏，在线推理），其核心是P2-DT架构，整体流程如下： 输入：文本T，角色配置P（包含性格描述、说话模式等）。 语义理解与韵律目标生成（离线/教师阶段）： 教师Persona-LLM (Qwen 2.5 14B)：接收T和P，输出两部分：(a) 思维链理由R：一段解释为何角色会以某种情感说话的文本；(b) 数值化韵律目标p_tgt：一个包含{V, A, D, F0_rel, E_rel}（效价、唤醒度、时长、相对基频、相对能量）的JSON。 CoT到目标的映射：理由R通过冻结的Sentence-BERT编码为768维语义嵌入h_R。 轻量级适配器训练（学生阶段）： 学生P2P Adapter (11.8M参数)：一个4层Transformer，通过交叉注意力对齐文本语义标记和音素级声学帧。包含4个并行预测头，分别预测韵律标量（F0, E, D, P）。 训练损失：结合了MSE损失（对齐预测韵律p_hat与教师目标p_tgt）和语义对齐损失（对齐适配器中间表示h_adapter与h_R）。此外，引入了对比损失，确保生成的韵律嵌入z_i与目标角色锚点z_p接近，而与其他角色z_j远离，从而学习一个角色判别的韵律空间。 在线推理阶段： 输入：文本T，角色配置P，参考音频库ℛ。 步骤1：P2P Adapter根据T和P预测韵律控制参数C和角色语义嵌入。 步骤2：参考音频选择：根据预测的VAD目标，从库中检索最匹配的参考音频r*。 步骤3：TTS骨干 (GPT-SoVITS v4)：以T、r*和韵律参数C为条件，生成语义令牌，再通过声学解码器和HiFi-GAN声码器输出最终波形y。 双轨融合： 音色轨道：从参考音频r*中提取全局音色嵌入z_timbre，并通过标量量化（SQ）稳定化，作为身份锚点。 韵律轨道：P2P Adapter预测的动态韵律流，通过8步流匹配生成。 融合：静态音色和动态韵律在GPT-SoVITS的方差适配器层融合，共同指导声学生成。 关键设计理由： ...

📄 Audio Spoof Detection with GaborNet #音频伪造检测 #信号处理 #数据增强 #时频分析 ✅ 评分：6.5/10 | arxiv 👥 作者与机构 第一作者：Waldemar Maciejko (根据论文标题及内容，未明确标注所属机构，推断为某大学或研究机构研究人员) 通讯作者：未明确标注 其他作者：无 机构信息：论文全文未提供作者所属机构信息。根据arXiv页面及论文内容推断，作者可能来自波兰某大学（如姓名暗示）或研究机构，但无法确认具体实验室/课题组。 💡 毒舌点评 亮点：论文系统性地评估了Gabor滤波器和LEAF前端在音频伪造检测任务中的应用，并提供了详尽的消融实验和数据增强对比，工作扎实。 槽点：创新性更像是“技术报告”而非“科研突破”，把Gabor滤波器塞进现成架构就完事了；结论有时过于绝对（如“LEAF在RawGAT-ST上效率低下”），缺乏更深层的机理分析；数据增强部分，SpecAugment无效就不展示了，选择性报告结果有点“报喜不报忧”。 🔗 开源详情 代码：已开源。论文页面提供了指向GitHub仓库的链接（标题下方的“GitHub Issue”以及页面中的“GitHub”按钮）。 模型权重：论文中未明确提及是否公开发布训练好的模型权重。 数据集：实验使用公开的ASVspoof 2019 LA数据集，以及用于增强的RIR和MUSAN数据集，这些均可公开获取。 预训练权重：未提及。 在线Demo：未提及。 引用的开源项目：论文依赖PyTorch、Torchaudio等框架，并提及使用了Torchaudio Sox和Ffmpeg后端进行编解码增强。 📌 核心摘要 本论文旨在解决传统SincNet前端在音频伪造检测中因有限长度sinc函数截断导致的频率泄漏问题。作者提出使用可学习的Gabor滤波器组（GaborNet）替代SincNet，并将其集成到两种先进的端到端检测架构RawNet2和RawGAT-ST中。同时，论文探索了将LEAF（Learnable Frontend for Audio Classification）的完整组件（包括高斯低通池化和可学习PCEN归一化）作为前端。实验在ASVspoof 2019逻辑访问数据集上进行，系统评估了不同前端、架构及数据增强方法（包括编解码转换、房间脉冲响应和噪声添加）的效果。主要发现包括：GaborNet前端对RawNet2架构有轻微提升（EER从4.131%降至4.025%），但对更复杂的RawGAT-ST架构反而有害；完整的LEAF前端在RawNet2上效果最佳（EER 3.807%），但在RawGAT-ST上性能下降；在数据增强方法中，仅编解码转换被证明有效。论文的贡献在于为音频伪造检测提供了新的可学习前端选择，并通过详实的实验揭示了不同组件组合的有效性，但其方法的创新性和普适性有待进一步验证。 🏗️ 模型架构 论文主要研究和修改了两种端到端音频伪造检测架构：RawNet2 和 RawGAT-ST。核心改动在于将它们的输入前端从SincNet替换为基于Gabor滤波器的GaborNet或更完整的LEAF前端。 1. Gabor RawNet2 架构流程： 输入：原始音频波形，固定长度为64,600个样本（约4秒@16kHz）。 前端 (GaborNet/LEAF)： Gabor卷积层：使用N个可学习的复数值Gabor滤波器（中心频率η_n，带宽σ_n）对输入波形进行一维卷积。论文中RawNet2使用1024个滤波器，长度20；RawGAT-ST使用128个滤波器，长度70。 取模平方：将复数卷积结果取模平方，转化为实数序列，得到子带希尔伯特包络。 高斯低通池化：进行步长为3的下采样，使用参数化的高斯脉冲响应作为低通滤波器。 可学习PCEN归一化：应用可学习的感知归一化（Per-Channel Energy Normalization），参数包括平滑系数s、压缩指数r等，所有参数联合学习。 最大池化：进一步下采样。 批归一化+SeLU激活。 特征提取主体 (RawNet2)： 残差块组1：包含3个残差块，每个块内有两层一维卷积（核大小3，通道数128）、批归一化、LeakyReLU激活，以及最大池化。每个残差块输出后应用特征图缩放（FMS） 机制，通过一个小型子网络生成缩放因子r_f，对特征图c_f进行c'_f = (c_f * r_f) + r_f的变换，以强调重要特征。 残差块组2：包含3个类似的残差块，但卷积通道数增加到128。 聚合与分类： 自适应平均池化：将时序特征聚合为固定长度。 全连接层1：将特征映射到1024维。 门控循环单元（GRU）：128维隐藏层，用于聚合帧级特征为话语级嵌入。 全连接层2：映射到2维输出。 LogSoftmax：输出“真实”或“伪造”的对数概率。 2. Gabor RawGAT-ST 架构流程： ...

📄 BEAT: Tokenizing and Generating Symbolic Music by Uniform Temporal Steps #音乐生成 #自回归模型 #实时处理 #数据集 #音频生成 🔥 评分：8.5/10 | arxiv 👥 作者与机构 根据论文标题页信息，作者为： 第一作者：Lekai Qian 通讯作者：Ziyu Wang (根据常规学术论文作者排序惯例推断，论文未明确标注) 其他作者：Haoyu Gu, Jingwei Zhao 论文未明确标注作者所属机构。根据arXiv论文的常见情况及作者姓名推测，作者可能来自中国的高校或研究机构（如清华大学、北京大学、中国科学院等），但论文正文中未提供明确信息。 💡 毒舌点评 亮点：把钢琴卷帘（Piano-roll）这种“笨重”的2D表示，巧妙地“压扁”成按拍（beat）分组的稀疏token序列，既保留了时间网格的规整性，又获得了堪比事件序列的紧凑性，这个“鱼与熊掌兼得”的思路非常优雅。 槽点：模型规模（150M）相对保守，在当今大模型时代略显“迷你”，限制了其性能上限和作为通用音乐表示的潜力；此外，实验主要集中在西方音乐传统（MIDI， 4/4拍），对其他音乐文化的普适性有待验证。 🔗 开源详情 代码：论文明确提供了GitHub仓库链接 (https://anonymous.4open.science/w/BEAT-349F/)，表明代码将开源。 模型权重：论文提及了在线Demo页面，暗示预训练模型权重可能随代码一同发布。 数据集：使用了公开的Lakh MIDI Dataset和MuseScore Collection，但经过了特定的过滤和处理。论文未提及发布新的数据集。 在线 Demo：提供了匿名Demo页面 (https://anonymous.4open.science/w/BEAT-349F/) 供体验。 依赖的开源项目：论文中提及了MusPy（用于评估）、LLaMA（作为模型架构参考）等开源工具。 📌 核心摘要 本文针对符号音乐生成中主流的事件序列（event-based）tokenization方法隐含处理时间规律、导致模型需额外学习时间网格的问题，提出了一种名为BEAT的新型网格化tokenization框架。其核心思想是将音乐在时间上均匀离散化为“拍”（beat）作为基本单位，将每拍内每个音高的活动状态（起音、持续、静音）编码为一个“模式”（pattern）令牌，并与音高、力度信息组合，形成按拍组织的稀疏令牌序列。这种方法显式地融入了音乐时间均匀性的归纳偏置。实验表明，在音乐续写和实时伴奏生成任务上，BEAT在节奏一致性（JS GC）、分布相似性（FMD）等客观指标和主观听感评价上均优于REMI、Compound Word等基线方法。进一步分析显示，BEAT表示更紧凑、具有更好的可压缩性，能更有效地捕捉长程结构，并天然支持实时流式生成。该工作为符号音乐表示学习提供了一个兼具理论优雅性和实践有效性的新方向。 🏗️ 模型架构 BEAT的核心并非一个全新的模型架构，而是一种新的音乐表示（tokenization）方案，该方案可无缝接入标准的自回归Transformer语言模型。 完整输入输出流程： 输入：多轨符号音乐（如MIDI），被表示为三维张量 (轨道数 P， 时间步数 T) 的钢琴卷帘矩阵，每个元素取值 {0(静音), 1(起音), 2(持续)}，并附带力度信息。 编码阶段（BEAT Encoding）： 步骤1（拍内编码）：以固定时间步长 τ（默认为4个十六分音符，即一拍）将钢琴卷帘分割为 N 个“拍段” B(i)。对于每个拍段内的每个音高 p，将其 τ 个时间步的状态向量通过三进制转整数编码为一个“模式令牌” PAT_x。同时，计算该音高在此拍内的平均力度，编码为“力度令牌” VEL_x。 步骤2（拍级组装）：识别当前拍段内的活跃音高集合，按音高降序排列。第一个音高使用绝对音高索引作为“音高令牌” PIT_d，后续音高使用与前一音高的相对音程差作为音高令牌。这样，一个拍的内容被表示为一组 (PIT_d, PAT_s, VEL_v) 三元组的序列。若该拍全休止，则用一个特殊的 REST 令牌表示。 步骤3（序列构建）：在每个拍的序列前插入 BEAT 令牌作为分隔符。在每小节开始处插入 BAR 令牌。对于多轨音乐，在每个拍的轨道内容前插入乐器令牌 INS_x。最终，所有拍的序列按时间顺序拼接，形成完整的令牌序列。 建模阶段：将上述令牌序列输入标准的16层Transformer解码器（150M参数，遵循LLaMA架构），使用自回归方式建模令牌的联合概率分布，训练时最小化交叉熵损失。 输出与解码：模型自回归生成令牌序列。解码器通过识别绝对/相对音高令牌来重建拍段和钢琴卷帘，最终还原为可播放的符号音乐。 关键设计选择理由： ...

📄 Benign Fine-Tuning Breaks Safety Alignment in Audio LLMs #音频安全 #数据增强 #音频大模型 #多模态模型 #对抗样本 🔥 评分：9.5/10 | arxiv 👥 作者与机构 第一作者：Jaechul Roh（推断，因名字在前） 通讯作者：Amir Houmansadr（推断，因名字在后且通常为资深作者） 全部作者：Jaechul Roh, Amir Houmansadr 所属机构：University of Massachusetts Amherst, Department of Computer Science 💡 毒舌点评 亮点：论文像一把精准的手术刀，首次剖开了音频大模型“良性微调”外表下的安全脆弱性，揭示了其与文本/视觉模态截然不同的、由编码器架构决定的“阿喀琉斯之踵”，研究问题抓得准，分析框架设计得妙。槽点：提出的防御方法（远距离过滤和系统提示）虽然有效但略显“直球”，缺乏对模型内部拒绝机制更深入的干预探索，算是给后续研究者留了口饭吃。 🔗 开源详情 代码：论文明确提及在GitHub上发布了代码（“Report GitHub Issue”），用于复现邻近度过滤和实验。 数据集：论文提及发布了用于实验的良性音频数据集和有害音频提示集（经过TTS转换）。 模型权重：论文研究的是三个已公开的SOTA模型（AF3, Kimi-Audio, Qwen2.5-Omni），未发布其微调后的权重，以防止滥用。 在线Demo：未提及。 依赖的开源工具：使用了多个开源模型和工具，包括：Whisper系列编码器、Sentence-BERT、WavLM、LoRA微调框架、Edge-TTS、Google TTS (gTTS)等。 📌 核心摘要 这篇论文首次系统研究了良性（无害）音频数据微调对音频大模型安全对齐的破坏作用。要解决的问题是：用户出于提升模型性能目的进行的常规微调，是否会无意中破坏模型的安全防护？方法上，作者提出了一个基于嵌入空间邻近度的过滤框架，从语义、声学及混合维度，选择性地用与有害内容在表示空间上相近的良性音频进行微调。主要发现是，即使微调数据完全良性，也能使越狱成功率（JSR）从个位数飙升至87.12%，且主导的脆弱性维度（语义或声学）取决于模型编码器的架构。实际意义在于揭示了Audio LLMs一个非对抗性、易被忽视的重大安全风险，并提出了两种无需修改架构的实用防御策略（训练时远距离过滤和推理时安全系统提示）。局限性在于研究限于英语单轮对话，未探索非语音音频任务或多语言场景。 🏗️ 模型架构 论文本身并非提出新模型，而是分析三个现有的SOTA音频大模型在微调下的安全行为。因此，模型架构部分描述的是被分析的三个目标模型： Audio Flamingo 3 (AF3)：架构为 Whisper音频编码器 -> 2层MLP投影器 -> Qwen2.5-7B LLM骨干（28层）。其关键特点是MLP投影器会压缩音频特征，形成一个与文本对齐空间不同的表示区域。 Kimi-Audio 7B：采用双编码器设计，包含WhisperVQ编码器（通过矢量量化瓶颈，会丢弃部分声学细节）和Whisper-Large-V3编码器。音频信息通过这两个编码器处理后输入LLM。 Qwen2.5-Omni 7B：架构为Whisper-Large-V3编码器 -> 直通（pass-through）-> Qwen2.5-7B Thinker模块。其编码器输出几乎不加修改地传递给LLM，保留了更多的音频-文本对齐信息。 数据流动与关键设计：在所有三个模型中，音频编码器在微调期间是冻结的，只有LLM骨干网络通过LoRA进行参数更新。这是与文本LLM微调的关键区别：在音频LLM中，安全对齐所依赖的表示（来自编码器）并未被微调直接修改，但下游LLM的决策边界却发生了偏移。 ...

📄 Comparison of sEMG Encoding Accuracy Across Speech Modes Using Articulatory and Phoneme Features #语音生物标志物 #模型评��� #多通道 #跨模态 ✅ 评分：6.0/10 | arxiv 👥 作者与机构 共同第一作者：Chenqian Le (未明确机构，推断为纽约大学) 共同第一作者：Ruisi Li (未明确机构，推断为纽约大学) 其他作者：Beatrice Fumagalli (未明确机构，推断为纽约大学)， Xupeng Chen (未明确机构，推断为纽约大学)， Amirhossein Khalilian-Gourtani (未明确机构，推断为纽约大学)， Tianyu He (未明确机构，推断为纽约大学)， Adeen Flinker (未明确机构，推断为纽约大学)， Yao Wang (未明确机构，推断为纽约大学) 通讯作者/机构：论文未明确标注。根据研究内容和作者列表，Adeen Flinker 和 Yao Wang 可能是项目负责人或通讯作者。所有作者均来自纽约大学（New York University），具体实验室/系所未在提供的文本中明确说明。 💡 毒舌点评 亮点：论文把神经科学领域的mTRF和方差分解工具“拿来主义”用在肌肉信号上，思路清晰，实验设计严谨（24个受试者，句子级交叉验证），把“为什么发音特征比音素特征更好”这件事说得明明白白，还画出了漂亮的解剖对应图。 槽点：说到底是在验证一个相当直觉化的猜想（发音动作当然比音素标签更贴近肌肉活动），创新性更多体现在“首次系统验证”而非“提出新方法”。而且，只做了“编码”分析，没做“解码”验证，就像精心证明了菜谱（特征）更好，但没真的做道菜（解码系统）给大家尝尝。 🔗 开源详情 代码：论文中未提及作者是否开源本研究使用的代码（如数据处理、mTRF模型训练、方差分解脚本）。 模型权重：论文中使用了开源的SPARC模型（来自Cho et al., 2024），但作者自身工作的模型（训练好的mTRF权重）未提及公开。 数据集：研究使用了自采的sEMG数据集（24人），论文中未提及该数据集是否公开。TIMIT语料库是公开数据集。 预训练权重：不适用。 在线Demo：无。 引用的开源项目：明确提到了ADMM_mTRF（Python实现）和Montreal Forced Aligner (MFA)。 📌 核心摘要 这篇论文旨在为无声言语接口（SSI）选择更优的中间表示目标。研究系统比较了发音特征（SPARC）和传统的音素独热编码，在预测表面肌电（sEMG）信号包络上的表现。核心发现是：1）在出声、默语和次发声三种模式下，SPARC特征的编码准确性均显著优于音素特征；2）出声和默语模式的编码性能相当，次发声模式虽弱但仍显著高于随机水平，证实了无声发音仍可诱发可检测的肌肉活动；3）方差分解显示，SPARC对sEMG方差有显著的独特贡献，而音素特征的独特贡献极小；4）编码权重图揭示了电极位置与特定发音器官（唇、颌、舌）运动之间稳定、可解释的解剖学关联。该研究为构建基于生理对齐表示的、更鲁棒的sEMG-SSI系统提供了重要的实证依据和设计指导。 ...

📄 Deep Supervised Contrastive Learning of Pitch Contours for Robust Pitch Accent Classification in Seoul Korean #语音情感识别 #对比学习 #数据集 #端到端 #语音领域 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Hyunjung Joo（罗格斯大学语言学系，汉阳大学语言语音与认知科学研究所 (HIPCS)） 通讯作者：GyeongTaek Lee（嘉泉大学智能工厂系） 其他作者：无 💡 毒舌点评 亮点：论文最大的贡献是“造轮子”和“用好轮子”——亲手标注了一个超万个样本的首尔韩语音高数据集，并聪明地用全局对比学习替换了容易“只见树木不见森林”的局部预测模型，让AI学会看音高的“整体轮廓”而非“逐点猜谜”。 槽点：虽然准确率刷到了新高，但F1分数才刚过50%，暴露了数据集中某些音调模式样本极少导致的严重类别不平衡问题；另外，模型只盯着F0（音高）看，完全忽略了时长、强度等对韵律同样重要的线索，像个只用单眼看世界的学者。 🔗 开源详情 代码：已开源。GitHub地址：https://github.com/hyunjungjoo/Accentual-Phrases-in-Seoul-Korean。 模型权重：论文中未明确提及是否公开预训练权重。 数据集：已开源。即上述GitHub仓库中提供的首尔韩语音调短语数据集，包含10,093个样本及其标注。 预训练权重：未提及。 在线Demo：未提及。 依赖的开源工具/模型：论文中提到了使用pYIN算法提取F0，以及PyTorch、scikit-learn、LightGBM等框架和库。 📌 核心摘要 这篇论文旨在解决将连续变化的基频（F0）曲线映射到首尔韩语中离散、不变的音高重音类别（如LHLH, HHLH）这一难题。传统方法易受F0测量噪声和说话人差异的影响。为此，作者提出了Dual-Glob，一个深度监督对比学习框架。其核心是通过一个双分支（干净视图和增强视图）编码器，在共享的潜在空间中强制要求同一音高类别样本的全局F0轮廓形状相似，而不同类别则相异，从而学习到对扰动鲁棒的、具有判别性的音高轮廓表征。作者还构建了首个大规模手动标注的基准数据集，包含10,093个音调短语（AP），涵盖16种音调模式。实验表明，Dual-Glob在准确率（77.75%）和F1分数（51.54%）上显著超越了BiLSTM、InceptionTime等强基线。研究支持了音系学理论中的离散音调范畴，并证明深度对比学习能有效捕捉连续F0轮廓的整体结构特征。局限性包括F0追踪误差、数据类别不平衡以及未整合时长等其他韵律线索。 🏗️ 模型架构 模型整体是一个双分支编码器+投影头的对比学习框架，后接一个冻结的编码器和独立的分类器用于下游任务。 完整输入输出流程： 输入：经过预处理和归一化（说话人级别Min-Max归一化到[0,1]）的F0轮廓序列，固定长度为200帧。 数据增强：对原始输入（干净视图 x_c）应用随机组合的数据增强（如抖动、缩放、掩码等），生成增强视图 x_a。 编码与投影：x_c 和 x_a 分别通过共享权重的编码器 E(·) 和投影头 P(·)，得到潜在空间中的投影向量 z_c 和 z_a。 对比损失计算：基于 z_c 和 z_a 计算联合损失 ℒ_Total = λ1 * ℒ_Clean + λ2 * ℒ_Aug。 ℒ_Clean：确保同一类别干净样本的投影在潜在空间中彼此靠近。 ℒ_Aug：确保增强样本的投影靠近其对应类别的干净样本投影，实现去噪和鲁棒性学习。 下游分类：训练完成后，冻结编码器 E(·)，移除投影头。使用编码器从原始干净输入中提取的特征（而非投影），输入到独立的分类器（如逻辑回归LR、随机森林RF、LightGBM）中进行16分类。 主要组件： ...

📄 Detecting Hallucinations in SpeechLLMs at Inference Time Using Attention Maps #语音识别 #语音翻译 #大语言模型 #模型评估 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Jonas Waldendorf (University of Edinburgh) *论文标注“Work completed during an internship at Amazon AGI” 通讯作者：Evgenii Tsymbalov (Amazon AGI) *根据邮箱 etsymba@amazon.de 推断 其他作者：Bashar Awwad Shiekh Hasan (Amazon AGI) 💡 毒舌点评 亮点：论文巧妙地将文本LLM幻觉检测的注意力分析思路“翻译”到了语音领域，设计了四个抓住语音模态特性的指标，像给模型装了个“注意力心电图”来诊断“幻觉心律不齐”，在干净数据上效果拔群。 槽点：但这个“诊断仪”有点“偏科”，在ASR和S2TT两个任务间几乎无法通用，得重新训练，而且严重依赖一个高精度但低召回的自动标注器来打标签，相当于用一套有漏检的评分标准来训练医生，让人对其泛化能力打个问号。 🔗 开源详情 代码：论文提到代码在GitHub上开源（“GitHub Issue”），但未提供具体URL。推断为部分开源。 模型权重：未提及开源训练好的逻辑回归检测器权重。 数据集：使用公开数据集（VoxPopuli, CALLHOME, Fleurs），但自动标注的幻觉标签数据集未提及单独发布。 在线Demo：未提及。 依赖的开源工具：使用了scikit-learn训练逻辑回归，XCOMET-XL和多种多语言模型（xlm-roberta-base, paraphrase-multilingual-MiniLM, mDeBERTa-v3-xnli）进行评估和标签生成。 📌 核心摘要 本文旨在解决语音大模型（SpeechLLMs）在推理时产生的“幻觉”问题，即生成与输入音频不符的流畅文本。现有方法依赖昂贵的黄金标准输出，而文本LLM的方法无法捕捉音频特有信号。为此，作者提出了四个基于注意力图的轻量级指标（AudioRatio, AudioConsistency, AudioEntropy, TextEntropy），用于捕捉与幻觉相关的病态注意力模式（如注意力回退到音频开头、对角线结构退化）。在Qwen-2-Audio和Voxtral-3B模型上，使用这些指标训练逻辑回归分类器。实验表明，在域内ASR数据（VoxPopuli）上，该方法显著优于不确定性估计和先前注意力基线（PR-AUC提升高达+0.23）。研究发现，仅需约100个注意力头即可获得强性能，且能改善跨域泛化。然而，方法效果依赖于模型和任务，在嘈杂数据（CALLHOME）上泛化能力下降，且在ASR上训练的模型无法直接用于语音翻译（S2TT），突显了幻觉模式的任务特异性。 🏗️ 模型架构 本文并未提出一个新的端到端SpeechLLM架构，而是设计了一个基于注意力特征的轻量级幻觉检测器，该检测器作为插件，在现有的SpeechLLM（如Qwen-2-Audio, Voxtral-3B）推理时并行工作。 ...