论文速递

📄 Qwen3.5-Omni Technical Report #语音合成 #语音识别 #音频大模型 #预训练 #强化学习 🔥 评分：9.5/10 | arxiv 👥 作者与机构 论文作者：Qwen Team (通义千问团队) 核心贡献者：Bing Han, Baosong Yang, Bin Zhang, Bo Zheng, Dayiheng Liu, Fan Zhou, Hongkun Hao, Hangrui Hu, Jin Xu, Jianxin Yang, Jingren Zhou, Keqin Chen, Le Yu, Mingkun Yang, Peng Wang, Pei Zhang, Qize Yang, Rui Men, Ruiyang Xu, Shuai Bai, Sibo Song, Ting He, Xize Cheng, Xuejing Liu, Xingzhang Ren, Xian Shi, Xiong Wang, Xinyu Zhang, Xinfa Zhu, Yunfei Chu, Yuanjun Lv, Yuchong Sun, Yongqi Wang, Yuxuan Wang, Yang Zhang, Zhifang Guo, Zishan Guo, Ziyang Ma 等（按字母顺序排列，*表示通讯作者） 所属机构：根据作者姓名和项目背景推断，主要来自阿里巴巴达摩院（DAMO Academy） 和阿里云。论文未明确标注机构，但“Qwen Team”和“Alibaba Cloud”是明确的线索。 💡 毒舌点评 亮点：这是一份堪称“全模态大模型工程教科书”的技术报告，从架构设计（混合MoE、ARIA）、训练策略（三阶段预训练、四阶段后训练）到评测体系（215个任务）都展现了无与伦比的系统性和工程实力，性能直接对标并超越了Gemini Pro，证明了中国团队在顶级多模态竞赛中的硬实力。 槽点：论文读起来像一份极其详尽的“产品说明书”和“实验报告”，技术细节虽多，但对于“为什么这样设计”的深层科学原理探讨略显不足，更像是在展示“我们做到了”，而非完全解释“我们为何能以及如何想到的”。此外，不开源核心代码和模型，让学术社区只能“望API兴叹”。 ...

📄 Reducing the Offline-Streaming Gap for Unified ASR Transducer with Consistency Regularization #语音识别，#流式处理，#一致性正则化，#统一音频模型，#开源工具 🔥 评分：8.0/10 | arxiv 👥 作者与机构 第一作者：Andrei Andrusenko (NVIDIA, Armenia) 通讯作者：Vitaly Lavrukhin (NVIDIA, USA) - 基于联系邮箱推断 其他作者： Vladimir Bataev (NVIDIA, Armenia) Lilit Grigoryan (NVIDIA, Armenia) Nune Tadevosyan (NVIDIA, Armenia) Boris Ginsburg (NVIDIA, USA) 💡 毒舌点评 亮点在于为统一ASR的“模式冲突”这个老大难问题，开了一剂叫MCR-RNNT的“正则化药方”，并且贴心地用Triton写好了“高效服用说明书”（GPU实现），让训练不至于慢到天荒地老。槽点是，这药方在延迟压到0.16秒这种“极限操作”时，药效似乎有点跟不上，而且双模式训练毕竟还是让显存和计算量翻了倍，钱包有点疼。 🔗 开源详情 代码：已开源。论文中提供了GitHub链接（https://github.com/NVIDIA/NeMo 相关），框架基于NeMo。 模型权重：已开源。在HuggingFace上发布了英文模型检查点：https://huggingface.co/nvidia/parakeet-unified-en-0.6b，参数量约600M（XL-size）。 数据集：使用了公开的Granary数据集，但数据集本身是否由作者团队开源未在文中明确说明，仅提及是“public Granary dataset”。 预训练权重：基于FastConformer编码器，但论文未明确说明是否使用了预训练权重进行初始化。 在线 Demo：论文中未提及。 引用的开源项目：依赖NeMo框架、PyTorch、Triton。 📌 核心摘要 本文旨在解决训练单一自动语音识别（ASR）模型同时高效支持高精度离线转写和低延迟流式识别这一挑战。现有统一模型在低延迟流式模式下性能下降明显。作者提出了一个统一的RNN-Transducer (RNNT) 框架，其核心是结合了带右上下文的chunk限制注意力和动态chunk卷积（DCConv） 来适配流式解码。为更进一步缩小离线与流式模式间的性能差距，本文创新性地引入了模式一致性正则化损失（MCR-RNNT），并通过高效的Triton内核实现，直接在RNNT的完整对齐格（lattice）上计算离线与流式输出分布的KL散度，鼓励两种模式下模型预测的一致性。实验表明，该方法在120K小时数据上训练的L-size模型，在多数流式延迟设定下（低至0.24秒）取得了最佳的权衡。将方法扩展到280K小时数据训练的600M参数XL模型，在Open ASR Leaderboard上达到5.76%的平均词错率（WER），在离线和流式场景均超越了强开源基线。该工作开源了代码和模型，为工业界部署统一ASR模型提供了高效解决方案。 🏗️ 模型架构 论文提出的是一个统一的RNN-Transducer (RNNT) 模型，其核心思想是使用同一套模型参数，通过不同的输入处理方式（掩码和卷积操作）来同时支持离线和流式两种解码模式。 ...

📄 Tadabur: A Large-Scale Quran Audio Dataset #语音识别 #领域适应 #数据集 #多语言 ✅ 评分：7.0/10 | arxiv 👥 作者与机构 第一作者：Faisal Alherran (利雅得，沙特阿拉伯 - alherranfaisal@gmail.com) 通讯作者：Faisal Alherran (同上) 其他作者：无。论文仅列出一位作者。 💡 毒舌点评 亮点：这论文最实在的地方就是“大力出奇迹”，用一套组合拳（LLM+Whisper+Embedding）硬生生把散落在网络各处的古兰经朗诵音频，整合成了一个规模空前、标注精细的“数据航母”，直接把该领域的数据门槛拉高了好几个档次。槽点：方法上更像是“系统集成创新”，用的都是现成的明星模型（Whisper, Gemini），自己炼的“新丹”（Tadabur fine-tuned ASR）效果提升也有限。说白了，这是一篇出色的“数据工程”报告，而非“算法突破”论文。 🔗 开源详情 代码：开源。论文提供了GitHub链接。 模型权重：论文中提到的“Tadabur fine-tuned model”（基于Whisper Small微调）是否开源未在正文明确说明，但数据集本身在HuggingFace上开源。 数据集：完全开源。包含超过1400小时的音频和词级对齐标注。在HuggingFace和项目主页上提供。 预训练权重：未提供。流水线中使用的模型（如Whisper, SILMA, EAT）均为已有公开模型。 在线Demo：论文中未提及。 引用的开源项目：WhisperX, SILMA Embedding模型, EAT模型, Quran API等。 📌 核心摘要 本文旨在解决古兰经语音研究领域缺乏大规模、多样化、细粒度标注数据集的问题。为此，作者提出了Tadabur数据集及其自动化构建流水线。该流水线首先从公共平台收集音频，并利用大语言模型（Gemini）从非结构化文本中提取标准化元数据（如章节、朗诵者）。核心步骤是Ayah Alignment Module (AAM)，它利用Whisper/WhisperX进行语音识别和词级对齐，再通过SILMA嵌入模型的语义相似度匹配，将转录文本与《古兰经》标准文本进行对齐，从而实现从长录音中精准分割出经文（Ayah）级别的音频片段。最后，通过基于ASR的内容验证和基于音频嵌入的去重进行数据清洗。最终构建的Tadabur数据集包含超过1400小时音频，来自600多位不同朗诵者，提供了词级时间戳和结构化元数据。实验评估表明，所选的语义对齐方法和领域适配ASR模型能达到96.63%的对齐覆盖率。该数据集为古兰经语音识别、朗诵风格分析等研究提供了重要基础资源。 🏗️ 模型架构 本文的核心“架构”并非一个端到端的神经网络模型，而是一个多阶段、模块化的数据处理流水线。其整体流程如下： 输入：从网络收集的、包含长篇朗诵（整章或整卷）的原始音频文件及其伴随的非结构化文本描述（标题、标签等）。 元数据提取与过滤： 组件：大语言模型（Gemini 2.5 Flash）。 功能：接收文本描述，判断是否为有效的古兰经朗诵，并提取结构化元数据（章节名、朗诵者身份）。 输出：过滤后的有效音频文件及其标准化元数据。 语音识别与词级对齐： 组件：Whisper Large v3 + WhisperX。 功能：对音频进行语音识别，生成带词级时间戳的转录文本。 输出：包含词及起止时间戳的转录结果。 经文级对齐与分割 (核心 - Ayah Alignment Module, AAM)： 子模块1：语义匹配： 输入：WhisperX转录文本片段、来自Quran API的标准经文文本。 处理：分别使用SILMA嵌入模型生成文本片段和标准经文的向量，计算余弦相似度。超过阈值则视为匹配成功。 输出：匹配的经文及其在音频中的粗略起止时间。 子模块2：朗诵边界精修： 输入：粗略分割的音频片段。 处理：使用一个专门的“recitation-segmenter-v2”模型检测朗诵自然停顿点。为防止截断，在粗略结束点后附加5秒缓冲区，再进行边界检测，最后将检测到的自然结束点与WhisperX时间戳调和。 输出：精确的、以自然停顿为终点的单条经文音频片段。 数据清洗与去重： 组件：EAT（高效音频Transformer）模型、并查集（Union-Find）数据结构。 功能：对同一朗诵者同一经文的多个录音，提取音频嵌入并计算相似度，超过阈值（0.9）视为重复，通过图算法聚类后每组仅保留一个代表。 输出：去重后的最终数据集。 输出：成对的（音频文件， JSON元数据文件）。JSON中包含经文文本、朗诵者、章节以及词级时间戳等结构化信息。 💡 核心创新点 面向古兰经的大规模自动化数据构建流水线：这是最主要的贡献。论文提出并实现了一个端到端的、从数据收集、清洗、标注到最终发布的完整自动化框架，解决了该领域数据稀缺且构建困难的核心问题。 基于语义嵌入的经文对齐方法：相比传统的模糊文本匹配（Fuzzy Matching），采用SILMA嵌入模型进行语义相似度计算，能更好地应对古兰经朗诵中因音律、延长音导致的转录文本与标准文本在表面形式上的差异，将对齐覆盖率从86%提升至96.6%。 朗诵边界感知的精细分割：在初步对齐后，引入专门的朗诵边界检测模型进行后处理，确保分割出的音频片段以朗诵者的自然停顿结束，而非机械地截断于识别词的结束点，提高了片段质量。 基于音频嵌入的高效去重策略：利用预训练的音频模型（EAT）提取嵌入，并结合并查集数据结构进行可扩展的去重，有效处理了大规模数据中普遍存在的重复录音问题。 🔬 细节详述 训练数据：本文主要贡献是构建数据集，而非训练一个新模型。所提及的“Tadabur fine-tuned model”是基于Whisper Small在自有数据上微调的ASR模型，但论文未提供微调的具体数据规模、超参数等细节。 损失函数/训练策略/关键超参数：这些信息主要针对文中提到的已有模型（如Whisper, EAT），但论文未详述其训练过程。文中明确给出的关键超参数包括： 去重相似度阈值：0.9 边界精修缓冲区时长：5秒（经验值） 对齐方法：SILMA Embedding + 余弦相似度，阈值未明确给出。 推理细节：流水线推理涉及多个模型调用。对于对齐模块，核心是生成嵌入并计算相似度。对于边界精修，使用了“recitation-segmenter-v2”模型进行推理。 数据增强/正则化：未提及。本文工作重点是数据构建而非模型训练。 📊 实验结果 表1：不同对齐方法和ASR模型在5位朗诵者上的对齐覆盖率（%） ...

📄 Text-To-Speech with Chain-of-Details: modeling temporal dynamics in speech generation #语音合成 #生成模型 #端到端 #基准测试 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Jianbo Ma (Canva research， 工作在Dolby完成) 通讯作者：Jianbo Ma (Canva research), Richard Cartwright (Canva research) 其他作者：Richard Cartwright (Canva research， 工作在Dolby完成) 💡 毒舌点评 亮点是把图像生成VAR模型“先画轮廓再填细节”的聪明思路，成功搬到了语音合成上，让模型学会了“先搭时间骨架再填声学血肉”，思路优雅且有效。槽点是实验部分虽然扎实，但总感觉规模（数据、模型变体）还可以再大一些，让这个“由粗到细”的故事讲得更震撼；另外，创新深度上更像是对现有技术（掩码生成、多阶段）的精巧组合与适配，而非开辟全新范式。 🔗 开源详情 代码：已开源。论文中提供了GitHub链接（https://github.com/），但未在文本中给出具体仓库地址。 模型权重：论文中未明确提及是否公开预训练模型权重。 数据集：使用了公开数据集LibriTTS和MLS English，但经过了自定义筛选。 在线Demo：论文中未提及。 依赖的开源工具/模型： 音频编解码器：DAC (Descript Audio Codec) G2P：SoundChoice G2P (来自SpeechBrain) 说话人编码器：Wespeaker 基础架构：Llama-style Transformer， 受DiT启发的自适应LayerNorm 方法灵感：MaskGIT (用于迭代去掩码调度) 📌 核心摘要 本文针对文本转语音（TTS）任务，提出了一种名为“细节链”（Chain-of-Details, CoD）的新框架。要解决的问题是现有TTS方法在建模语音生成的时域动态（从粗略时序到精细声学细节的渐进过程）方面存在不足。使用的方法是将语音生成分解为多个时间分辨率递增的阶段，在每个阶段使用掩码生成建模，并通过一个共享的Transformer解码器来预测该分辨率下的语音令牌。取得的效果是在LibriSpeech和SeedTTS测试集上，CoD模型（特别是Base版本）以显著更少的参数（263M）实现了优于或可比多个强基线（如KD-NARSIS, StyleTTS 2, VALL-E）的词错率（WER），证明了其参数效率和生成质量。消融实验进一步验证了多时间层级建模的有效性。局限性在于实验主要集中在英文单 speaker 场景，且创新本质是现有范式的有效扩展而非根本性变革。 ...

📄 Towards Streaming Target Speaker Extraction via Chunk-wise Interleaved Splicing of Autoregressive Language Model #语音分离 #自回归模型 #流式处理 #大语言模型 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Shuhai Peng（推断为小米或合作机构） 通讯作者：Zhiyong Wu（推断为小米或合作机构） 其他作者：Hui Lu, Jinjiang Liu, Liyang Chen, Guiping Zhong, Jiakui Li, Huimeng Wang, Haiyun Li, Liang Cao, Shiyin Kang 机构信息：论文未明确标注所有作者的所属机构。根据作者列表和常见合作模式，作者可能来自小米公司（Xiaomi）、香港中文大学（The Chinese University of Hong Kong） 或其他合作研究机构。具体实验室/课题组信息未在提供的文本中说明。 💡 毒舌点评 亮点：精准地抓住了生成式TSE模型流式化时“一跑就崩”的痛点，用“交织拼接”这招巧妙地给模型戴上了“因果紧箍咒”，硬是把一个“离线学霸”改造成了“实时能手”，稳定性拉满。槽点：方法创新更像是针对现有大模型（LauraGPT）的“工程适配”和“流程优化”，理论深度稍显不足；而且说好的开源代码“将在GitHub上”，目前还是一张空头支票。 🔗 开源详情 代码：论文在结论部分声明“我们的代码将在GitHub上开源”，但当前arXiv版本未提供具体URL。状态为承诺开源，暂未发布。 模型权重：未提及是否公开预训练模型权重。 数据集：实验基于公开的LibriSpeech和Libri2Mix数据集生成。 预训练权重：使用了预训练的funcodec作为声学编解码器，以及LauraGPT作为生成主干。 在线Demo：未提及。 依赖的开源项目：明确提到了LauraGPT、funcodec、WavLM、WeSpeaker、Whisper（用于计算WER）等。 📌 核心摘要 这篇论文旨在解决生成式目标说话人提取（TSE）模型在流式实时应用中因依赖全局上下文而导致性能严重下降的核心问题。作者首次提出了一个基于自回归语言模型（LauraGPT）的流式TSE框架。其核心创新是“分块交织拼接范式”，通过将混合音频块与对应的目标语音离散编码块交错排列作为模型输入，严格保证了推理的因果性，防止了未来信息泄露。同时，设计了“历史上下文优化机制”，在声码器解码阶段引入前一音频块的隐藏状态，以缓解块间的相位不连续问题。实验表明，该方法在低延迟（如560ms）下实现了100%的推理成功率，语音质量和可懂度优于基线生成模型，并能匹配甚至超越离线判别式模型的性能，且在消费级GPU上达到了0.248的实时率（RTF）。该工作证明了自回归生成模型适用于低延迟流式应用的可行性。 🏗️ 模型架构 模型整体采用基于LauraGPT的粗到细（coarse-to-fine）分层架构，处理流程如下： 输入：一段包含目标说话人和干扰的混合语音（被切分为连续的音频块 C_mix），以及一段目标说话人的参考语音 E_ref。 共享特征提取：混合语音块和参考语音分别通过两个权重共享、严格因果的Conformer编码器，提取帧级别的连续嵌入表示 E_mix 和 E_ref。这确保了特征提取只依赖当前和历史信息。 语义提取语言模型（SELM）： 输入构造：将静态的参考语音嵌入 E_ref 与一个特殊分隔符 v_sep 作为前缀，后面交织拼接历史所有的混合语音块和它们对应的目标语音离散语义令牌（C_mix(1), v_task, u(1), ..., C_mix(t), v_task, u(t)）。 功能：这是一个自回归Transformer模型，负责预测当前音频块对应的粗粒度语义离散令牌序列 u(t)。其自注意力机制被限制在交织的序列上，保证了因果性。 声学细化语言模型（ARLM）： 输入构造：同样以参考语音为静态前缀，后面交织拼接历史所有的混合语音块和它们对应的、由SELM预测出的语义令牌序列（C_mix(1), U_SELM(1), ..., C_mix(t), U_SELM(t)）。 功能：另一个自回归Transformer模型，负责在SELM输出的粗粒度语义令牌基础上，生成细粒度的声学隐藏状态 h(t)，以恢复高频细节和提升音质。 声码器解码与历史上下文优化： 输入构造：解码器的输入不仅是当前块的声学隐藏状态 h(t)，还拼接了上一时刻优化后的隐藏状态 h(t-1)，即 Concat(h(t-1), h(t))。 功能：一个预训练的神经声码器（funcodec的解码器部分），将细粒度的声学隐藏状态重建为最终的语音波形。引入 h(t-1) 的目的是平滑块间过渡，保持相位和语义连贯性。 输出：当前时间块的目标语音波形。 关键设计理由： ...

📄 UAF: A Unified Audio Front-end LLM for Full-Duplex Speech Interaction #语音对话系统 #统一音频模型 #流式处理 #音视频 🔥 评分：9.0/10 | arxiv 👥 作者与机构 第一作者：Yadong Li (adonlee.lyd@alibaba-inc.com) 通讯作者：Biye Li (libiye.lby@alibaba-inc.com) 其他作者：Guoxin Wu (guoxin.wgx@taobao.com), Haiping Hou (houhaiping.hhp@taobao.com) 所属机构：阿里巴巴集团 (Alibaba Inc.) 💡 毒舌点评 亮点：这篇论文最“性感”的地方在于它极具野心的“大一统”思想——把语音交互前端那些乱七八糟的独立模块（VAD、ASR、说话人识别…）全部塞进一个LLM里，还用个参考音频当“声纹钥匙”，想法非常超前且直击级联系统的痛点。 槽点：工程“黑盒”感有点强，比如那个600ms的音频块具体怎么切分、参考音频的注册和注意力机制如何在流式推理中高效运作，细节不够透明，让人担心实际部署时的复杂度和计算开销。 🔗 开源详情 论文中未提及任何开源计划。全文未提供代码、模型权重、数据集或在线Demo的获取方式。虽然引用了GitHub Issue模板，但明确说明“Submit without GitHub”，表明论文发表本身不伴随开源动作。 📌 核心摘要 核心贡献：本文提出了首个专为全双工语音交互设计的统一音频前端大模型（UAF）。它打破了传统级联式前端处理的范式，将语音活动检测（VAD）、说话人识别（SR）、自动语音识别（ASR）、轮次检测（TD）和问答（QA）等多个任务，统一建模为一个自回归序列预测问题。 关键方法：模型采用“音频编码器-投影器-LLM”架构。输入为流式的固定时长（600ms）音频块和一个用于锁定目标说话人的参考音频提示。输出为两类离散令牌：状态令牌（如<TALK>, <SIL>, <Complete>, <Interrupt>）用于交互控制；语义令牌（ASR文本和模型回复）。通过多阶段对齐训练策略，模型学会了在噪声和混叠语音环境中，基于参考音频隐式地抑制干扰、聚焦目标说话人，并联合预测语义内容和交互状态。 主要发现：实验表明，UAF在多项独立前端任务上达到SOTA水平。其最大优势体现在说话人感知ASR上：在极低信噪比（2dB）条件下，WER相比强大的基线模型（Qwen3-Omni）降低了7倍以上（5.34 vs 38.6）。在轮次检测任务上，对<Interrupt>和<Backchannel>等关键交互状态的识别准确率显著优于专用模型，证明了统一建模对理解对话动态的有效性。 实际意义与局限性：UAF为构建低延迟、高鲁棒性、交互自然的全双工语音系统提供了全新的、一体化的解决方案，有望简化系统架构并提升用户体验。其局限性包括：模型参数量较大（30B-A3B），对计算资源要求高；训练严重依赖大规模的合成数据管道，其真实世界泛化能力需进一步验证；论文未开源，限制了社区的复现与跟进。 🏗️ 模型架构 UAF的整体架构是一个适配了音频能力的“编码器-投影器-大语言模型”框架，核心是将音频流与文本生成统一在自回归解码过程中。 完整输入输出流程： 输入： 参考音频 (A_ref)：一段3-5秒的目标说话人纯净语音，用于注册说话人身份。 系统提示 (System Prompt)：定义任务和输出格式的文本指令。 流式音频块 (A_stream)：连续的、固定时长为600毫秒的音频片段序列 {a_1, a_2, ..., a_t}。这些音频块可能包含目标说话人语音、噪声、混响、其他说话人语音以及系统回声。 编码与投影： 参考音频和每一个流式音频块都通过同一个音频编码器（文中未指定具体结构，但应为预训练模型）转换为高维声学特征向量。 这些声学特征向量随后通过一个音频投影器（一个可训练的神经网络层）映射到LLM的语义嵌入空间，得到对齐后的音频令牌 a_ref 和 a_t。 自回归解码： LLM骨干网络（基于Qwen3-Omni-30B-A3B-Instruct）接收一个拼接的序列作为输入：[System Prompt, a_ref, a_1, [x_1; s_1], a_2, [x_2; s_2], ..., a_t]。其中 [x_i; s_i] 表示第i个时间步生成的语义令牌和状态令牌。 LLM根据历史上下文（所有之前的音频令牌和生成的令牌）进行解码，在当前时间步t，它需要预测两部分： 状态令牌 (s_t)：由两个独立的轻量级任务头从LLM的隐藏状态h_t中预测。 VAD头：输出 <SIL> 或 <TALK>，表示当前音频块是否包含目标说话人的有效语音活动。 轮次头 (Turn Head)：输出 <Complete>, <InComplete>, <Interrupt>, <Backchannel> 中的一个，表示对话轮次状态。 语义令牌 (x_t)：由LLM主干的语言模型头 (LM Head) 预测。仅当轮次状态为<Complete>或<Interrupt>时，模型才会生成包含<AsrStart>…<AsrEnd>的ASR结果，以及可能的<AnswerStart>…<AnswerEnd>的回复。 输出：在每个时间步t，模型输出一个包含状态令牌和（可能的）语义令牌的序列，用于驱动下游的对话管理系统和语音合成系统。 关键组件与设计理由： ...

📄 Voice of India: A Large-Scale Benchmark for Real-World Speech Recognition in India #语音识别 #模型评估 #多语言 #低资源 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Kaushal Bhogale (印度马德拉斯理工学院，计算机科学与工程系，cs22d006@cse.iitm.ac.in) 通讯作者：Mitesh M. Khapra (印度马德拉斯理工学院，计算机科学与工程系)（推断：作为资深作者和项目主导者） 其他作者： Manas Dhir, Amritansh Walecha, Manmeet Kaur, Vanshika Chhabra, Aaditya Pareek, Hanuman Sidh, Sagar Jain, Bhaskar Singh, Utkarsh Singh, Tahir Javed, Shobhit Banga (印度马德拉斯理工学院，计算机科学与工程系) (部分作者可能同时隶属 Josh Talks, India，但论文中未明确个人与机构的对应关系，此处统一列出) 💡 毒舌点评 亮点：这论文像给印度ASR领域做了一次彻底的“体检”，把现有模型在真实世界（电话、方言、乡村）的“体面”扒得干干净净，用数据和地图说话，指出了“高WER重灾区”和“公平性幻觉”，堪称一份犀利的行业诊断报告。 槽点：最核心的“体检报告”（数据）自己藏着不给看，只给看化验单（结果），让同行想复现、想基于此深入研究都无从下手，这“闭源”操作在学术圈属实有点“不讲武德”。 🔗 开源详情 代码：论文中未提及开源评估代码或工具。 模型权重：论文评估的模型包括商业API和开源模型，但基准本身不涉及新模型训练。 数据集：明确声明为闭源基准（closed source benchmark）。数据不公开，仅提供详细的构建方法和评估结果。 预训练权重：不适用。 在线Demo：未提及。 引用的开源项目：论文提到了依赖的模型和工具，如Whisper, Indic Conformer, OmniASR, Meta MMS, SpeechBrain VoxLingua107, DNSMOS, WebRTC VAD等。 📌 核心摘要 这篇论文旨在解决现有印度语言语音识别（Indic ASR）基准不反映真实场景、评估方法不公平的核心问题。为此，作者构建了“Voice of India”大规模基准，其数据源自3.6万名说话者的非脚本化电话对话，覆盖15种主要印度语言和139个地区集群，总计536小时。关键创新在于采用了考虑拼写变体的“正字法知情词错率”（OIWER）评估指标，并构建了“方言格”（Lattice）来容纳合理的转录变体。通过在14个先进ASR系统（包括商业API和开源模型）上的评估，论文揭示了几个关键发现：1）即使最佳模型在多种语言上也未达到20%的实用WER阈值；2）性能存在显著的地理偏差，印度北部“印地语带”和都市区表现远优于南部和语言多样地区；3）现有公开基准（如FLEURS）会高估模型性能；4）模型在女性语音上略有优势，但对年轻说话者和特定方言（如Bhojpuri）表现不佳。该基准为开发更鲁棒、公平的印度语音识别系统提供了关键的评估工具和明确的改进方向。 ...

语音/音频论文速递 2026-04-22 共分析 21 篇论文 ⚡ 今日概览 📥 抓取 21 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 语音识别 5篇 █████ 语音合成 4篇 ████ 基准测试 4篇 ████ 模型评估 4篇 ████ 多语言 3篇 ███ 音频大模型 3篇 ███ 数据增强 3篇 ███ 大语言模型 3篇 ███ 📊 论文评分排行榜（20 篇，按分数降序） 排名 论文 评分 🥇 Qwen3.5-Omni Technical Report 9.5分 🥈 Benign Fine-Tuning Breaks Safety Alignment in Audio LLM 9.5分 🥉 UAF: A Unified Audio Front-end LLM for Full-Duplex Spee 9.0分 4 HalluAudio: A Comprehensive Benchmark for Hallucination 9.0分 5 Voice of India: A Large-Scale Benchmark for Real-World 8.5分 6 BEAT: Tokenizing and Generating Symbolic Music by Unifo 8.5分 7 ATRIE: Adaptive Tuning for Robust Inference and Emotion 8.5分 8 Reducing the Offline-Streaming Gap for Unified ASR Tran 8.0分 9 Deep Supervised Contrastive Learning of Pitch Contours 8.0分 10 Disentangling Damage from Operational Variability: A La 8.0分 11 Text-To-Speech with Chain-of-Details: modeling temporal 7.5分 12 Towards Streaming Target Speaker Extraction via Chunk-w 7.5分 13 APRVOS: 1st Place Winner of 5th PVUW MeViS-Audio Track 7.5分 14 NVBench: A Benchmark for Speech Synthesis with Non-Verb 7.5分 15 Detecting Hallucinations in SpeechLLMs at Inference Tim 7.5分 16 MTR-DuplexBench: Towards a Comprehensive Evaluation of 7.5分 17 Tadabur: A Large-Scale Quran Audio Dataset 7.0分 18 Environmental Sound Deepfake Detection Using Deep-Learn 6.5分 19 Audio Spoof Detection with GaborNet 6.5分 20 Comparison of sEMG Encoding Accuracy Across Speech Mode 6.0分 21 MoVE: Translating Laughter and Tears via Mixture of Voc N/A 📋 论文列表 🥇 Qwen3.5-Omni Technical Report 🔥 9.5分 | #语音合成 #语音识别 #音频大模型 #预训练 | arxiv ...

📄 A novel LSTM music generator based on the fractional time-frequency feature extraction #音乐生成 #LSTM #时频分析 #数据集 ✅ 评分：6.5/10 | arxiv 👥 作者与机构 第一作者：Li Ya（海南师范大学音乐学院） 通讯作者：根据邮箱推断，Li Ya (liya@hainnu.edu.cn) 和 Chen Wei (chenwei@hainanu.edu.cn) 可能为共同通讯作者。 其他作者： Chen Wei（海南师范大学外国语学院） Li Xiulai（海南海瑞众创科技有限公司，研发部） Yu Lei（海南师范大学音乐学院） Deng Xinyi（海南师范大学音乐学院） Chen Chaofan（海南海瑞众创科技有限公司，研发部） 💡 毒舌点评 这篇论文的亮点在于把信号处理领域的“古老神器”分数阶傅里叶变换（FrFT）拽进了AI音乐生成的派对，试图在时频平面上找个更刁钻的角度来“撬开”音乐的特征，想法值得点赞。但槽点在于，实验部分寒酸得像用MIDI键盘弹了个单音旋律就宣称自己复刻了交响乐团——缺乏与SOTA方法的正面PK，没有听众盲测，仅靠几条损失曲线和波形对比图就得出“生成质量媲美人类”的结论，这自信程度堪比认为学会了音阶就能写《月光奏鸣曲》。 🔗 开源详情 代码：论文在“Experimental support”部分提到“please view the build logs for errors”并提供了GitHub Issue报告链接（格式为“Report GitHub Issue ×”），暗示代码可能托管在GitHub上，但未提供完整的仓库URL。因此，无法确认代码是否完全开源及具体状态。 模型权重：未提及是否公开。 数据集：使用了公开的GiantMIDI-Piano数据集，但论文未提供基于此数据集处理后的具体数据或索引。 预训练权重：未提及。 在线Demo：未提及。 引用的开源项目：未明确列出。 📌 核心摘要 本文提出了一种基于分数阶傅里叶变换（FrFT）和长短期记忆网络（LSTM）的新型AI音乐生成系统。核心目标是利用FrFT在分数阶域（时频平面的旋转表示）中提取比传统时域或频域更丰富的音乐信号特征，以解决传统LSTM在捕捉音乐复杂时频结构上的不足。关键方法是将输入音乐信号进行FrFT变换，分离其实部和虚部并归一化后，分别输入到一个多层LSTM网络中进行训练和预测，最后将网络输出的实部和虚部合并并通过逆FrFT重构为音频信号。主要发现是，在GiantMIDI-Piano钢琴数据集上，该方法在训练集的损失值（0.0155）低于不使用FrFT的基线方法（0.0351），并且生成的波形与原始音乐在视觉上相似。实际意义在于探索了将经典信号处理工具与深度学习结合用于音乐生成的新路径。主要局限性在于实验验证极不充分，缺乏与SOTA方法的对比、客观音乐质量评估和主观听感测试，方法细节（如FrFT公式的准确性、为何选择α=0.05）阐述模糊，结论的可靠性存疑。 🏗️ 模型架构 该模型是一个端到端的音乐音频生成系统，流程如下： ...

📄 A state-space representation of the boundary integral equation for room acoustic modelling #空间音频 #信号处理 #模型评估 🔥 评分：8.0/10 | arxiv 👥 作者与机构 （根据论文摘要信息及常见研究机构推断） 第一作者：Randall Ali（推断：比利时鲁汶大学（KU Leuven）ESAT-PSI实验室） 通讯作者：Toon van Waterschoot（推断：比利时鲁汶大学（KU Leuven）ESAT-PSI实验室 / 代尔夫特理工大学（TU Delft）） 其他作者： Thomas Dietzen（推断：比利时鲁汶大学（KU Leuven）ESAT-PSI实验室） Matteo Scerbo（推断：意大利米兰理工大学（Politecnico di Milano）） Enzo De Sena（推断：伦敦大学金史密斯学院（Goldsmiths, University of London）） 💡 毒舌点评 这篇论文的亮点在于它用一套极其优美和统一的数学语言（状态空间算子理论），把房间声学里几个“老死不相往来”的模型（边界元、延迟网络、几何声学）给“串”起来了，理论贡献堪称“数学魔术”。槽点也同样突出：全文都在“纸上谈兵”，没有一行代码、一个仿真结果来证明这个漂亮的框架到底好不好用、快不快，让人不禁想问：“所以，然后呢？代码在哪？” 🔗 开源详情 论文中未提及任何关于代码、模型或数据集的开源计划。所有内容均为理论推导和讨论。 📌 核心摘要 本文旨在解决传统房间声学建模中多种方法（如边界元法、延迟网络、几何声学）彼此独立、缺乏统一理论基础的问题。作者提出了一种名为边界积分算子状态空间（BIOSS） 的新框架。该框架的核心是将描述声场的边界积分方程重新表述为一个状态空间模型，其中状态是房间边界上的声压分布函数，系统动态由一组积分算子（而非传统的矩阵）描述。通过数学推导，作者展示了BIOSS模型可以等价地转换为具有反馈或前馈结构的传递函数形式。这一框架的主要贡献在于其强大的统一能力：作者证明了BIOSS与边界元模型、延迟网络以及部分几何声学模型之间存在数学等价性，为理解这些模型的内在联系提供了理论基础。此外，论文提出，未来可将状态空间理论中的可控性、可观测性等概念应用于房间声学，以开发新的声场推断和控制方法。主要的局限性在于，本文仅提出了纯理论框架，缺乏任何实验验证或计算实现，其实际效果和效率有待后续研究证实。 🏗️ 模型架构 BIOSS模型并非一个用于具体任务的“神经网络”架构，而是一个描述房间声场动态的数学物理模型。其核心思想是将连续空间、连续时间的物理系统（房间声场）用状态空间理论重新参数化。 整体输入输出流程： 输入：位于房间内部的声源产生的声压（或速度势）。 内部状态：定义在房间边界（表面）上的声压分布函数 p(x, t)，其中 x 是边界上的空间坐标。这是一个无限维的函数，是模型的核心。 系统动态：由一组积分算子 A, B, C, D 描述。这些算子作用于状态函数 p(x, t)，决定其如何随时间演化，并如何产生输出。 输出：房间内任意接收点处的声压，或边界上的声压本身。 主要组件与连接： ...