论文速递

📄 SpeechParaling-Bench: A Comprehensive Benchmark for Paralinguistic-Aware Speech Generation #基准测试 #语音大模型 #语音合成 #多语言 #模型评估 ✅ 7.5/10 | 前25% | #基准测试 | #模型评估 | #语音大模型 #语音合成 | arxiv 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Ruohan Liu (南京大学) 通讯作者：Chaoyou Fu (南京大学) 作者列表： Ruohan Liu (南京大学) Shukang Yin (南京大学) Tao Wang (南京大学) Dong Zhang (小米) Weiji Zhuang (小米) Shuhuai Ren (小米) Ran He (南京大学) Caifeng Shan (南京大学) Chaoyou Fu (南京大学) 💡 毒舌点评 亮点：这篇论文把“副语言生成评估”这个模糊地带彻底标准化了，从不到50个特征扩展到100多个，还设计了从静态控制到动态变化再到情境适应的递进式任务，评估流水线也用上了“成对比较”来对抗主观性，工程上相当完备。短板：数据全靠合成，用TTS生成的“用户查询”和真实人类说话的副语言信息可能差了十万八千里，这导致整个基准测试的生态位有点尴尬——它测的是模型对“合成指令”的服从度，而非对“真实人类语音”的理解力。 ...

📄 Tadabur: A Large-Scale Quran Audio Dataset #语音识别 #数据集 #领域适应 #多语言 ✅ 7.5/10 | 前25% | #语音识别 | #数据集 | #领域适应 #多语言 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Faisal Alherran（未说明具体机构，仅标注地点为Riyadh, Saudi Arabia） 通讯作者：Faisal Alherran（alherranfaisal@gmail.com） 作者列表： Faisal Alherran（未说明具体机构） 💡 毒舌点评 亮点：数据集规模（1400+小时，600+诵读者）和多样性堪称古兰经语音领域的“ImageNet”，其自动化处理流水线（融合LLM、ASR、语义对齐）设计得相当完整且有效，为构建垂直领域大规模数据集提供了可借鉴的范本。 短板：本质上是数据集工程论文，技术深度有限，核心流水线是现有技术的巧妙组合而非原创算法；对“古兰经”这一特殊领域的语音特性（如诵读规则tajwīd）如何影响模型性能的分析可以更深入。 📌 核心摘要 问题：现有的古兰经语音数据集在规模、诵读者多样性、音频质量和标注深度上存在严重不足，限制了古兰经ASR、诵读者识别等任务的研究进展。 方法核心：提出Tadabur数据集及其构建流水线。流水线核心是“古兰经经文对齐模块”（AAM），它结合WhisperX进行初步转录，再利用SILMA嵌入模型进行语义相似度匹配，将音频精确对齐到古兰经原文，并辅以LLM元数据提取、ASR内容过滤和音频去重。 新意：首次构建了超过1400小时、涵盖600多位不同诵读者的古兰经语音数据集，规模和多样性远超前人。同时，提出了一套完整的、可扩展的自动化数据处理与质量控制流水线。 主要结果：在AAM的评估中，使用SILMA嵌入和微调过的Whisper模型（Tadabur fine-tuned）达到了96.63%的平均对齐覆盖率。在下游ASR评估中，针对古兰经微调的Whisper-Quran模型（74M参数）取得了最佳的WER（8.7%）和CER（6.5%），显著优于更大的通用模型（如Cohere Transcribe的11.2% WER）。 实际意义：为古兰经语音研究提供了前所未有的高质量、大规模基准数据集，有助于推动该领域ASR模型的性能提升，并支持诵读风格、韵律等更深入的分析。 主要局限性：部分诵读者的音频覆盖不完整；自动生成的词级时间戳精度有待提高，因为对齐模型并非专为古兰经诵读设计。 🏗️ 模型架构 本文的核心贡献是数据集构建流水线，而非一个单一的端到端模型。该流水线是一个多阶段的自动化系统，主要包含以下组件： 数据收集与预处理：从公开平台收集长篇古兰经诵读音频，统一格式和采样率。 元数据提取：使用Gemini 2.5 Flash大语言模型，从音频文件的标题、描述等非结构化文本中提取标准化的元数据（如章节名、诵读者身份）。 古兰经经文对齐模块（AAM）：流水线的核心。其流程为： 输入：长篇音频。 ASR转录与对齐：使用Whisper Large v3 + WhisperX进行语音识别，获得带时间戳的转录文本。 语义匹配与分割：将WhisperX输出的转录片段与从Quran API获取的古兰经原文经文进行匹配。具体做法是：将原文经文和转录片段分别通过SILMA AI嵌入模型转换为向量，计算余弦相似度，超过阈值则视为匹配成功，并提取对应的时间戳进行初步分割。 诵读边界修正：为确保分割后的音频片段恰好结束于诵读者自然停顿处，使用一个专门的**诵读边界检测模型（recitation-segmenter-v2）**对初步片段进行处理，修正结束点。 数据清洗与策展：包括基于LLM的元数据验证、基于ASR对齐的内容过滤（无法对齐的即为非古兰经内容），以及使用**高效音频Transformer（EAT）**提取音频嵌入进行相似度计算，从而去除重复或近似重复的录音。 输出：最终生成以经文为单位的WAV音频文件及其对应的JSON格式元数据（包含词级时间对齐）。 💡 核心创新点 前所未有的数据集规模与多样性：构建了首个超过1400小时、涵盖600多位诵读者的古兰经语音数据集，在规模和诵读者覆盖面上实现了数量级的提升，为训练鲁棒的领域模型奠定了基础。 端到端的自动化数据处理流水线：设计并实现了一个从原始音频到高质量、带标注数据集的完整自动化流水线，融合了LLM、ASR、语义嵌入和音频分析等多种技术，为构建类似垂直领域数据集提供了范式。 基于语义嵌入的鲁棒对齐方法：在经文对齐环节，创新性地采用语义嵌入（SILMA）代替传统的模糊文本匹配，有效解决了古兰经诵读中音素延长、风格化发音导致的文本匹配失败问题，将对齐覆盖率从86.03%大幅提升至96.63%。 多维度数据质量控制：提出了结合元数据验证、ASR内容过滤和音频嵌入去重的三重策展机制，确保了数据集的纯净度和一致性。 🔬 细节详述 训练数据： 数据集构建数据：来源为公开的古兰经音频发布平台，具体平台名称未在论文中说明。规模为1400+小时，涵盖113个章节（除开端章外），600+诵读者。 下游ASR评估数据：使用Tadabur数据集本身进行评估。 损失函数：未说明。本文不涉及新模型的训练，主要使用现有模型（如Whisper）进行转录和对齐。 训练策略：未说明。论文未详细描述其微调Whisper模型（Tadabur fine-tuned model）的具体训练策略（如学习率、优化器等）。 关键超参数： 对齐阶段：语义相似度阈值未明确给出数值（仅提及“predefined threshold”）。 去重阶段：音频嵌入相似度阈值为0.9。 音频处理：统一为WAV格式和固定采样率（具体数值未说明）。 训练硬件：未说明。 推理细节：未说明。评估时使用标准的WER/CER计算，模型推理设置未提及。 正则化或稳定训练技巧：不适用。 📊 实验结果 流水线对齐质量评估（表1）： 最佳配置：SILMA Embedding + Tadabur (Ours) ASR模型，在5位诵读者上平均对齐覆盖率为 96.63%。 对比： 相比模糊文本匹配（Fuzzy Match），平均覆盖率从86.03%提升至96.63%，提升超过10个百分点。 相比未适配领域的Whisper Small模型，在SILMA Embedding下，平均覆盖率从82.57%提升至96.63%。 与另一个领域适配模型Whisper-Quran相比，两者在SILMA Embedding下表现接近（96.63% vs 95.50%）。 下游ASR模型评估（表3）： 最佳模型：Whisper-Quran（74M参数），WER为 8.7%，CER为 6.5%。 对比： 显著优于更大的通用多语言模型，如Cohere Transcribe（2B参数，WER 11.2%）、Voxtral Mini（4B参数，WER 15.1%）。 远优于未经领域适配的模型，如MMS 1B（WER 51.1%）和Wav2Vec2 XLSR-53 Arabic（WER 57.4%）。 结论：在古兰经ASR任务上，领域适配（fine-tuning）比模型规模更重要。 数据集规模对比（表2）： Tadabur：365,000+片段，600+诵读者，有转录和词级对齐。 SLR132：226,129片段，30诵读者，有转录无词级对齐。 Buraaq：187,080片段，30诵读者，有转录无词级对齐。 ⚖️ 评分理由 学术质量（5.5/7）：论文在数据集构建的工程实践上扎实可靠，流水线设计逻辑清晰，实验验证了关键模块的有效性。主要扣分点在于，其核心贡献是数据集和流水线，而非提出新的学术算法，创新性更多体现在应用集成和规模上。 选题价值（1.5/2）：古兰经语音处理是一个有明确需求且研究相对不足的领域。Tadabur数据集的发布有望成为该领域的标准基准，推动相关技术发展，价值明确。 开源与复现加成（0.5/1）：最大的亮点是开源了大规模数据集。论文也提及了所依赖的开源工具，但未提供构建流水线的完整代码，因此复现加成适中。 🔗 开源详情 代码：论文中提到了GitHub和Hugging Face链接（Github | Huggingface | Tadabur Page），但未在提供的文本中给出具体URL。因此，推测有相关代码或数据页面，但详情未知。 模型权重：论文中未提及公开其微调的Whisper模型（Tadabur fine-tuned model）权重。只提及了评估时使用的开源模型权重（如Whisper-Quran）。 数据集：是，论文明确表示Tadabur数据集是开源的，并提供了获取途径（推测通过Hugging Face）。 Demo：未提及。 复现材料：论文提供了流水线各阶段的详细描述和评估结果，但未提供具体的训练超参数、配置文件或检查点，复现其微调ASR模型存在困难。 论文中引用的开源项目： WhisperX (用于对齐) SILMA AI Embedding Model (用于语义匹配) Efficient Audio Transformer (EAT) (用于去重) Whisper-Quran (用于评估和对比) 其他多个ASR模型（Whisper, MMS, Qwen3-ASR等）用于评估。 论文中未提及开源计划：论文未明确说明其数据处理流水线代码是否会开源。 📸 论文图片 ...

📄 Text-To-Speech with Chain-of-Details: modeling temporal dynamics in speech generation #语音合成 #掩码生成建模 #自回归模型 ✅ 7.0/10 | 前25% | #语音合成 | #掩码生成建模 | #自回归模型 | arxiv 学术质量 6.5/7 | 选题价值 1.8/2 | 复现加成 0.8 | 置信度 中 👥 作者与机构 第一作者：Jianbo Ma（论文工作完成于Dolby Laboratories；现任职于Canva Research） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表： Jianbo Ma（论文工作完成于Dolby Laboratories；现任职于Canva Research） Richard Cartwright（论文工作完成于Dolby Laboratories；现任职于Canva Research） 💡 毒舌点评 亮点：论文巧妙地将“粗到细”的生成思想从传统的语义-声学token维度，拓展到了时间分辨率维度，提出了一个逻辑自洽且实验有效的CoD框架，为TTS建模提供了新视角。短板：实验评估过于依赖WER这一客观指标，完全缺失了MOS等主观听感评价，而语音合成的终极标准是“好不好听”，这使得其“更自然”的结论说服力大打折扣。 📌 核心摘要 问题：现有基于离散token的TTS模型，其“粗到细”的生成范式主要体现在从语义token到声学token的转换，而对语音固有的时间动态（temporal dynamics）缺乏显式建模。 方法核心：提出Chain-of-Details (CoD)框架，将语音生成分解为多个渐进的时间层级。每个层级对应不同的时间分辨率（token率），从最粗糙（低时间分辨率、捕获宏观结构）到最精细（高时间分辨率、添加细节）。所有层级共享一个统一的码本和一个双向Transformer解码器。 创新点：与已有方法相比，CoD首次将时间维度的粗到细建模显式引入TTS生成过程。它不依赖独立的音素时长预测器，而是让最低时间层级自然完成音素规划。同时，采用共享解码器的设计提升了参数效率。 实验结果：在LibriSpeech test-clean上，CoD-Base（263M参数）WER为3.09%，优于同等数据量下的KD-NARSIS（5.9%）和StyleTTS 2（4.0%）。在SeedTTS测试集上，CoD-Base（263M参数）WER为2.89%，与参数量近4倍的MaskGCT（1B，2.62%）性能相当。消融研究证实，增加时间层级数能显著降低WER。 实际意义：CoD框架以更少的参数实现了具有竞争力的合成质量，证明了显式时间动态建模的有效性，为构建更高效、更自然的TTS系统提供了新思路。 主要局限性：评估体系不完整，缺乏MOS等主观评价指标，无法全面评估语音自然度和韵律质量；未报告推理速度等效率指标；对更长时间层级（如4级）的效果未深入探索。 🏗️ 模型架构 CoD框架遵循一个两阶段流程：1）音频离散化，2）基于掩码的生成建模。核心创新在于第二阶段采用了级联的多时间层级结构。 音频离散化：使用预训练的音频编解码器（如DAC）将波形转换为离散token序列。论文探索了两种策略来获取不同时间层级的token： 降采样策略：直接对RVQ第一层的token序列进行降采样（例如，因子2和4），得到不同token率（如86Hz -> 43Hz -> 21.5Hz）的序列。 显式层级量化策略：在RVQ中增加额外的量化器，每个量化器处理上一层级表示经过降采样后的残差，从而显式建模时间层级。 Chain-of-Details 生成模型： ...

📄 Towards Streaming Target Speaker Extraction via Chunk-wise Interleaved Splicing of Autoregressive Language Model #语音分离 #自回归模型 #流式处理 #实时处理 #语音大模型 🔥 8.5/10 | 前25% | #语音分离 | #自回归模型 | #流式处理 #实时处理 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Shuhai Peng (1) 通讯作者：Zhiyong Wu (1,†) 作者列表： Shuhai Peng (1) Hui Lu (2) Jinjiang Liu (1) Liyang Chen (1) Guiping Zhong (3) Jiakui Li (3) Huimeng Wang (2) Haiyun Li (1) Liang Cao (1) Shiyin Kang (3) Zhiyong Wu (1,†) 机构信息：论文中未明确给出机构1、2、3的具体名称。根据作者上标标注，作者分属三个不同机构。 💡 毒舌点评 这篇论文的亮点在于首次将自回归生成模型成功适配到流式目标说话人提取任务中，并通过“分块交错拼接”这一工程上优雅的设计解决了训练与推理的不匹配问题，实现了100%的推理稳定性，且性能在低延迟下超越了传统判别式模型。然而，其短板也十分明显：所有实验均在单一的Libri2Mix数据集上进行，对于更复杂、噪声更多样的真实场景（如远场、强混响）的泛化能力未得到验证，这使得其“超越离线基线”的结论显得有些封闭和乐观。 ...

📄 Utterance-Level Methods for Identifying Reliable ASR-Output for Child Speech #语音识别 #模型评估 #儿童语音 #多语言 ✅ 7.5/10 | 前25% | #语音识别 | #模型评估 | #儿童语音 #多语言 | arxiv 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Gus Lathouwers (guslathouwers@gmail.com) 通讯作者：未说明（论文中未明确指定通讯作者，但提供了所有作者邮箱） 作者列表： Gus Lathouwers (Centre for Language Studies, Radboud University, Netherlands) Lingyun Gao (Centre for Language Studies, Radboud University, Netherlands) Catia Cucchiarini (Centre for Language Studies, Radboud University, Netherlands) Helmer Strik (Department of Language and Communication, Radboud University, Netherlands) 💡 毒舌点评 亮点在于方法设计非常务实，针对朗读和对话场景分别提出“与原文匹配”和“LLM分类”两种可解释性强的启发式规则，且“模型一致性过滤”策略能以较低的召回率换取极高的精确率（>97.4%），为自动筛选可靠转录提供了可靠工具。短板是开源精神不足，论文中提到的GitHub链接为无效占位符，且关键的对话文本分割流程（英文CSLU数据）依赖外部标点工具，细节未充分公开，严重影响了结果的可复现性。 ...

📄 X-VC: Zero-shot Streaming Voice Conversion in Codec Space #语音转换 #流匹配 #零样本 #流式处理 ✅ 6.5/10 | 前25% | #语音转换 | #流匹配 | #零样本 #流式处理 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qixi Zheng（上海交通大学） 通讯作者：Xie Chen（上海交通大学，上海创新研究院） 作者列表： Qixi Zheng（上海交通大学） Yuxiang Zhao（上海交通大学） Tianrui Wang（天津大学） Wenxi Chen（上海交通大学，上海创新研究院） Kele Xu（复杂与关键软件环境国家重点实验室） Yikang Li（上海创新研究院） Qinyuan Chen（复旦大学，上海创新研究院） Xipeng Qiu（复旦大学，上海创新研究院） Kai Yu（上海交通大学） Xie Chen（上海交通大学，上海创新研究院） 💡 毒舌点评 亮点：论文的工程实现非常扎实，将预训练编解码器、双条件Transformer和分块推理整合成一个高效的流式系统，在延迟（240ms）和离线效率（RTF 0.014）上达到了实用水平，且开源了代码和模型。 短板：核心创新略显“缝合”，双条件建模和流匹配都是已有技术，论文的主要贡献在于针对特定任务的适配和系统集成，缺乏更根本性的原理突破；同时，与之对比的基线（如MeanVC）可能并非最新或最强，削弱了结论的说服力。 📌 核心摘要 问题：零样本语音转换需要同时实现高质量的说话人特征迁移和低延迟的流式推理，这是一个尚未很好解决的挑战。 方法核心：提出X-VC系统，在预训练的SAC语音编解码器的潜在空间中进行一步转换。核心是一个双条件声学转换器，它联合处理源语音的编解码器潜在表示和目标参考语音的帧级梅尔频谱条件，并通过自适应归一化注入全局说话人嵌入。 创新点：与已有方法相比，新在：(1) 在编解码器潜在空间而非波形或频谱图空间进行转换；(2) 设计了双分支Transformer架构来异构地建模帧级和句级条件；(3) 提出了基于生成对数据和角色分配策略的训练方法；(4) 设计了与编解码器分段训练范式对齐的分块流式推理方案。 实验结果：在Seed-TTS-Eval基准上，流式设置下，X-VC在英语和中文测试集上取得了最佳的WER（英语3.14%，中文2.65%）和领先的说话人相似度（SIM）。离线设置下，其实时因子（RTF）仅为0.014，远低于基线模型（如Seed-VC tiny为0.069）。跨语言评估也表现良好。 实际意义：提供了一种实用的高质量低延迟零样本语音转换方案，适用于需要实时交互的配音、对话等场景。 主要局限性：模型总参数量较大（539M）；转换质量高度依赖预训练编解码器（SAC）的性能；论文未提供完整的训练数据集信息。 🏗️ 模型架构 X-VC是一个端到端的语音转换系统，整体流程如图1所示： ...

语音/音频论文速递 2026-04-23 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 语音识别 5篇 █████ 基准测试 2篇 ██ 音频深度伪造检测 2篇 ██ 语音对话系统 2篇 ██ 音频分类 2篇 ██ 音乐信息检索 1篇 █ 语音合成 1篇 █ 麦克风阵列 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Indic-CodecFake meets SATYAM: Towards Detecting Neural 8.5分 前25% #音频深度伪造检测 🥈 Qwen3.5-Omni Technical Report 8.5分 前25% #语音对话系统 🥉 Towards Streaming Target Speaker Extraction via Chunk-w 8.5分 前25% #语音分离 4 Aligning Stuttered-Speech Research with End-User Needs: 8.5分 前25% #语音识别 5 ONOTE: Benchmarking Omnimodal Notation Processing for E 8.0分 前25% #基准测试 6 FastTurn: Unifying Acoustic and Streaming Semantic Cues 8.0分 前25% #语音对话系统 7 Environmental Sound Deepfake Detection Using Deep-Learn 8.0分 前25% #音频深度伪造检测 8 Embedding-Based Intrusive Evaluation Metrics for Musica 7.5分 前25% #音乐信息检索 9 Self-Noise Reduction for Capacitive Sensors via Photoel 7.5分 前25% #麦克风阵列 10 Utterance-Level Methods for Identifying Reliable ASR-Ou 7.5分 前25% #语音识别 11 Enhancing ASR Performance in the Medical Domain for Dra 7.5分 前25% #语音识别 12 Deep Hierarchical Knowledge Loss for Fault Intensity Di 7.5分 前25% #音频分类 13 SpeechParaling-Bench: A Comprehensive Benchmark for Par 7.5分 前25% #基准测试 14 ATIR: Towards Audio-Text Interleaved Contextual Retriev 7.5分 前25% #音频检索 15 Before the Mic: Physical-Layer Voiceprint Anonymization 7.5分 前25% #语音匿名化 16 MOMO: A framework for seamless physical, verbal, and gr 7.5分 前25% #机器人控制 17 CoInteract: Physically-Consistent Human-Object Interact 7.5分 前25% #视频生成 18 MoVE: Translating Laughter and Tears via Mixture of Voc 7.5分 前25% #语音翻译 19 Reducing the Offline-Streaming Gap for Unified ASR Tran 7.5分 前25% #语音识别 20 Tadabur: A Large-Scale Quran Audio Dataset 7.5分 前25% #语音识别 21 FLiP: Towards understanding and interpreting multimodal 7.5分 前50% #模型评估 22 Text-To-Speech with Chain-of-Details: modeling temporal 7.0分 前25% #语音合成 23 SAND: The Challenge on Speech Analysis for Neurodegener 7.0分 前50% #语音生物标志物 24 Explicit Dropout: Deterministic Regularization for Tran 7.0分 前25% #音频分类 25 X-VC: Zero-shot Streaming Voice Conversion in Codec Spa 6.5分 前25% #语音转换 26 Enhancing Speaker Verification with Whispered Speech vi 6.5分 前50% #说话人验证 27 Centering Ecological Goals in Automated Identification 6.5分 前25% #生物声学 📋 论文列表 🥇 Indic-CodecFake meets SATYAM: Towards Detecting Neural Audio Codec Synthesized Speech Deepfakes in Indic Languages 🔥 8.5/10 | 前25% | #音频深度伪造检测 | #预训练 | #多语言 #语音大模型 | arxiv ...

📄 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track #视频对象分割 #多模态模型 #语音识别 #音视频 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Deshui Miao (鹏城实验室) 通讯作者：Xin Li (鹏城实验室) - 论文中作者列表“Xin Li”后标有星号(*)，通常表示通讯作者。 其他作者： Yameng Gu (鹏城实验室) Chao Yang (鹏城实验室) Haijun Zhang (哈尔滨工业大学) Ming-Hsuan Yang (加州大学美熹德分校) 💡 毒舌点评 这篇论文的亮点是“把大象装冰箱”的工程思维：把一个看似复杂的音视频分割问题，拆解成“听语音、找东西、画轮廓、精修边”四步走，流程清晰得像一份高级菜谱，让模型各司其职，有效避免了端到端模型在噪声面前的“胡言乱语”。槽点也很明显：作为一篇学术论文，它更像是一份“竞赛冠军秘籍”或“系统集成报告”，创新主要体现在对现有顶尖模型（VibeVoice, Sa2VA, SAM3）的巧妙编排和调度上，而非提出全新的核心算法，学术深度略有欠缺。 📌 核心摘要 这篇论文报告了APRVOS系统，一个专为MEVIS_Audio（音频条件下的指代视频对象分割）任务设计的冠军方案。要解决的问题是传统文本指代分割模型无法直接处理包含噪声、不完整且可能描述视频中不存在物体的语音输入。采用的方法是一个四阶段流水线：首先使用VibeVoice-ASR将语音转为文本；然后用一个基于Qwen3-VL的视觉判断模块（Omni Judger）验证转写文本描述的目标是否在视频中存在，若不存在则直接输出空掩码；若存在，则将文本转化为提示词，输入Sa2VA模型生成粗略的分割轨迹；最后，引入一个“代理验证”层来评估粗分割结果的可靠性，并调用SAM3模型对可信锚点帧进行边界精修和时序传播。取得的效果在第五届PVUW MeViS-Audio赛道上排名第一，J&F分数达到0.6700，消融实验证明每个阶段（尤其是存在性判断和代理精修）都带来了显著的性能提升。局限性在于该报告侧重于系统描述，对各组件内部（如ASR、视觉判断模块）的训练细节和超参数披露有限，且整体性能高度依赖于几个大型预训练模型的组合。 🏗️ 模型架构 模型整体是一个串联式多阶段处理流水线，其完整输入输出流程如下： 输入：视频 V = {I_t} 和音频指代表达 A。 Stage -1: 语音转文本 (VibeVoice-ASR)：输入音频 A，输出转写文本 q_asr。此阶段专注于长语音识别，提取语义内容。 Stage 2: 视觉存在性判断 (Omni Judger)：输入视频采样帧和转写文本 q_asr，输出二元判断 e ∈ {0,1}。若 e=0，流程终止，输出全零掩码序列；若 e=1，流程继续。 Stage 3: 提示构建：将 q_asr 填入固定模板（如“\nPlease segment {exp}.”），生成适用于Sa2VA的分割提示。 Stage 4: 粗语义分割 (Sa2VA)：输入视频 V 和构建好的提示，通过Sa2VA的 predict_forward 方法，输出粗掩码轨迹 ℳ~ = {m~_t}。 Stage 5: 代理验证 (Agentic Verification)：这是一个推理决策层，而非传统神经网络。它分析粗掩码轨迹 ℳ~ 的可靠性，包括：检查非空掩码帧、掩码面积时序平滑度、语义与描述的一致性、是否存在干扰物等。其核心功能是识别出最可信的“锚点帧”。 Stage 6: 锚点精修 (Refinement from Trusted Anchors)：对于代理层选定的锚点帧 a，从其粗掩码 m~_a 中提取几何提示（边界框 b_a、中心点 p_a）。以这些提示为输入，调用SAM3模型，在时序上向前和向后传播，生成最终的高精度、时序一致的分割掩码序列 ℳ。 输出：最终的二值掩码序列 ℳ。 关键设计选择理由： ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #零样本 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Aoduo Li (广东工业大学，邮件地址：3123009124@mail2.gdut.edu.cn) 通讯作者：Hongjian Xu (广东工业大学，邮件地址：123457890wasd@gmail.com) 其他作者： Haoran Lv (广东工业大学) Shengmin Li (华南理工大学) Sihao Qin (华南理工大学) 💡 毒舌点评 亮点：巧妙地将14B参数LLM的“角色思考过程”（Chain-of-Thought）蒸馏成一个仅11.8M参数的轻量级“韵律翻译器”，实现了从语义理解到声学控制的跨模态桥接，这个想法非常优雅且实用。槽点：实验严重依赖一个特定的动漫角色数据集，虽然证明了方法在该领域的有效性，但其在通用语音、其他语言或更严肃风格上的泛化能力有待商榷，有点像“在二次元世界里当王者”。 📌 核心摘要 本文针对现有语音合成系统在生成角色驱动、情感丰富的语音时难以同时保持角色身份一致性和情感表达准确性的问题，提出了ATRIE框架。其核心是Persona-Prosody Dual-Track (P2-DT) 架构，将语音生成解耦为静态的音色轨道（通过标量量化保持身份锚点）和动态的韵律轨道（通过分层流匹配生成情感韵律）。关键创新在于一个离线知识蒸馏过程，利用一个大型语言模型（Qwen 2.5 14B）作为教师，通过思维链推理生成包含情感理由和数值化韵律目标（VAD分数等）的监督信号，来训练一个轻量级的P2P适配器。该适配器在推理时无需LLM参与，可高效地将文本和角色描述映射为韵律控制参数，引导GPT-SoVITS v4骨干网络合成语音。实验在自建的AnimeTTS-Bench（50个角色）上进行，ATRIE在角色一致性分数（CCS: 0.86）、情感表达准确率（EEA: 0.84）和跨模态检索平均精度（mAP: 0.75）上均达到SOTA，同时保持了实时推理能力（RTF: 0.18）。局限性包括对参考音频库的依赖、长句情感强度维持的挑战，以及当前评估集中于动漫风格。 🏗️ 模型架构 ATRIE系统是一个两阶段框架（离线蒸馏，在线推理），其核心是P2-DT架构，整体流程如下： 输入：文本T，角色配置P（包含性格描述、说话模式等）。 语义理解与韵律目标生成（离线/教师阶段）： 教师Persona-LLM (Qwen 2.5 14B)：接收T和P，输出两部分：(a) 思维链理由R：一段解释为何角色会以某种情感说话的文本；(b) 数值化韵律目标p_tgt：一个包含{V, A, D, F0_rel, E_rel}（效价、唤醒度、时长、相对基频、相对能量）的JSON。 CoT到目标的映射：理由R通过冻结的Sentence-BERT编码为768维语义嵌入h_R。 轻量级适配器训练（学生阶段）： 学生P2P Adapter (11.8M参数)：一个4层Transformer，通过交叉注意力对齐文本语义标记和音素级声学帧。包含4个并行预测头，分别预测韵律标量（F0, E, D, P）。 训练损失：结合了MSE损失（对齐预测韵律p_hat与教师目标p_tgt）和语义对齐损失（对齐适配器中间表示h_adapter与h_R）。此外，引入了对比损失，确保生成的韵律嵌入z_i与目标角色锚点z_p接近，而与其他角色z_j远离，从而学习一个角色判别的韵律空间。 在线推理阶段： 输入：文本T，角色配置P，参考音频库ℛ。 步骤1：P2P Adapter根据T和P预测韵律控制参数C和角色语义嵌入。 步骤2：参考音频选择：根据预测的VAD目标，从库中检索最匹配的参考音频r*。 步骤3：TTS骨干 (GPT-SoVITS v4)：以T、r*和韵律参数C为条件，生成语义令牌，再通过声学解码器和HiFi-GAN声码器输出最终波形y。 双轨融合： 音色轨道：从参考音频r*中提取全局音色嵌入z_timbre，并通过标量量化（SQ）稳定化，作为身份锚点。 韵律轨道：P2P Adapter预测的动态韵律流，通过8步流匹配生成。 融合：静态音色和动态韵律在GPT-SoVITS的方差适配器层融合，共同指导声学生成。 关键设计理由： ...

📄 Audio Spoof Detection with GaborNet #音频伪造检测 #信号处理 #数据增强 #时频分析 ✅ 评分：6.5/10 | arxiv 👥 作者与机构 第一作者：Waldemar Maciejko (根据论文标题及内容，未明确标注所属机构，推断为某大学或研究机构研究人员) 通讯作者：未明确标注 其他作者：无 机构信息：论文全文未提供作者所属机构信息。根据arXiv页面及论文内容推断，作者可能来自波兰某大学（如姓名暗示）或研究机构，但无法确认具体实验室/课题组。 💡 毒舌点评 亮点：论文系统性地评估了Gabor滤波器和LEAF前端在音频伪造检测任务中的应用，并提供了详尽的消融实验和数据增强对比，工作扎实。 槽点：创新性更像是“技术报告”而非“科研突破”，把Gabor滤波器塞进现成架构就完事了；结论有时过于绝对（如“LEAF在RawGAT-ST上效率低下”），缺乏更深层的机理分析；数据增强部分，SpecAugment无效就不展示了，选择性报告结果有点“报喜不报忧”。 📌 核心摘要 本论文旨在解决传统SincNet前端在音频伪造检测中因有限长度sinc函数截断导致的频率泄漏问题。作者提出使用可学习的Gabor滤波器组（GaborNet）替代SincNet，并将其集成到两种先进的端到端检测架构RawNet2和RawGAT-ST中。同时，论文探索了将LEAF（Learnable Frontend for Audio Classification）的完整组件（包括高斯低通池化和可学习PCEN归一化）作为前端。实验在ASVspoof 2019逻辑访问数据集上进行，系统评估了不同前端、架构及数据增强方法（包括编解码转换、房间脉冲响应和噪声添加）的效果。主要发现包括：GaborNet前端对RawNet2架构有轻微提升（EER从4.131%降至4.025%），但对更复杂的RawGAT-ST架构反而有害；完整的LEAF前端在RawNet2上效果最佳（EER 3.807%），但在RawGAT-ST上性能下降；在数据增强方法中，仅编解码转换被证明有效。论文的贡献在于为音频伪造检测提供了新的可学习前端选择，并通过详实的实验揭示了不同组件组合的有效性，但其方法的创新性和普适性有待进一步验证。 🏗️ 模型架构 论文主要研究和修改了两种端到端音频伪造检测架构：RawNet2 和 RawGAT-ST。核心改动在于将它们的输入前端从SincNet替换为基于Gabor滤波器的GaborNet或更完整的LEAF前端。 1. Gabor RawNet2 架构流程： 输入：原始音频波形，固定长度为64,600个样本（约4秒@16kHz）。 前端 (GaborNet/LEAF)： Gabor卷积层：使用N个可学习的复数值Gabor滤波器（中心频率η_n，带宽σ_n）对输入波形进行一维卷积。论文中RawNet2使用1024个滤波器，长度20；RawGAT-ST使用128个滤波器，长度70。 取模平方：将复数卷积结果取模平方，转化为实数序列，得到子带希尔伯特包络。 高斯低通池化：进行步长为3的下采样，使用参数化的高斯脉冲响应作为低通滤波器。 可学习PCEN归一化：应用可学习的感知归一化（Per-Channel Energy Normalization），参数包括平滑系数s、压缩指数r等，所有参数联合学习。 最大池化：进一步下采样。 批归一化+SeLU激活。 特征提取主体 (RawNet2)： 残差块组1：包含3个残差块，每个块内有两层一维卷积（核大小3，通道数128）、批归一化、LeakyReLU激活，以及最大池化。每个残差块输出后应用特征图缩放（FMS） 机制，通过一个小型子网络生成缩放因子r_f，对特征图c_f进行c'_f = (c_f * r_f) + r_f的变换，以强调重要特征。 残差块组2：包含3个类似的残差块，但卷积通道数增加到128。 聚合与分类： 自适应平均池化：将时序特征聚合为固定长度。 全连接层1：将特征映射到1024维。 门控循环单元（GRU）：128维隐藏层，用于聚合帧级特征为话语级嵌入。 全连接层2：映射到2维输出。 LogSoftmax：输出“真实”或“伪造”的对数概率。 2. Gabor RawGAT-ST 架构流程： ...