多模态模型

📄 MOSS-Audio Technical Report #语音识别 #音乐理解 #多模态模型 #预训练 9.2/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.5/0.5 | 工程 1.4/1.5 🔥 9.2/10 | 前25% | #语音识别 | #预训练 | #音乐理解 #多模态模型 | arxiv 👥 作者与机构 核心贡献者：Chen Yang, Chufan Yu, Hanfu Chen, Jie Zhu, Jingqi Chen, Ke Chen, Wenxuan Wang, Yang Wang, Yaozhou Jiang, Yi Jiang, Zhengyuan Lin, Ziqi Chen, Zhaoye Fei 贡献者：Chenghao Liu, Jun Zhan, Kang Yu, Kexin Huang, Mingshu Chen, Qinyuan Cheng, Ruixiao Li, Shimin Li, Songlin Wang, Yang Gao, Yiyang Zhang 顾问：Xipeng Qiu§ 单位：上海创新研究院 (Shanghai Innovation Institute)、MOSI Intelligence、复旦大学 (Fudan University) ...

📄 Multimodal Music Recommendation System using LLMs #音乐推荐 #多模态模型 #大语言模型 10/10 | 创新 2/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 🔥 10/10 | 前50% | #音乐推荐 | #多模态模型 | #大语言模型 | arxiv 👥 作者与机构 Srikar Prabhas Kandagatla (University of Massachusetts Amherst)，Sreehitha R. Narayana (University of Massachusetts Amherst)，Chandana Magapu (University of Massachusetts Amherst)，Swetha Mohan (University of Massachusetts Amherst)，Shamanth Kuthpadi (University of Massachusetts Amherst)，Hongjie Chen (Dolby Laboratories)，Ryan A. Rossi (Adobe Research)，Franck Dernoncourt (Adobe Research)，Nesreen Ahmed (Cisco Research) ...

📄 SALSA: Speech Aware LLM Adaptation via Learned Steering Activation Vectors #参数高效微调 #低资源 #多语言 #多模态模型 7.2/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 1/1 | 影响 0.7/1.5 | 开源 0.2/1.5 | 复现 0.5/0.5 | 工程 0.6/1.5 ✅ 7.2/10 | 前25% | #语音识别 | #参数高效微调 | #低资源 #多语言 | arxiv 👥 作者与机构 作者: Yekaterina Yegorova, Argyrios Gerogiannis, Haolong Zheng, Julia Hockenmaier, Chang D. Yoo, Mark A. Hasegawa-Johnson 机构: 1University of Illinois Urbana-Champaign, 2Korea Advanced Institute of Science and Technology （注：原文作者列表为“Argyrios Gerogiannis”，已有分析中为“Gerogiannis”，已修正。） ...

语音/音乐/音频论文速递 2026-06-02 共分析 35 篇论文 ⚡ 今日概览 📥 抓取 35 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音识别 9篇 █████████ #语音合成 5篇 █████ #自监督学习 2篇 ██ #多模态模型 2篇 ██ #音频分类 2篇 ██ #计算机视觉 1篇 █ #音乐推荐 1篇 █ #语音编辑 1篇 █ 📊 论文评分排行榜（35 篇，按分数降序） 排名 论文 总分 分档 主任务 🥇 Project SPARROW and the Future of Conservation Technolo 10.0分 前50% #计算机视觉 🥈 Multimodal Music Recommendation System using LLMs 10.0分 前50% #音乐推荐 🥉 Sympatheia: Emotionally Adaptive Voice Assistant with C 9.6分 前25% #语音合成 4. MOSS-Audio Technical Report 9.2分 前25% #语音识别 5. UniVocal: Unified Speech-Singing Code-Switching Synthes 8.9分 前25% #语音合成 6. PolySpeech-100: A Large-Scale Benchmark for Speech Unde 8.8分 前50% #语音识别 7. SpeechEditBench: A Bilingual Multi-Attribute Benchmark 8.7分 前25% #语音编辑 8. Context-aware child-directed speech detection from long 8.5分 前25% #自监督学习 9. RRP-Voice: A Longitudinal Dataset and Benchmark for Rec 8.3分 前50% #数据集 10. MURMUR: An Efficient Inference System for Long-Form ASR 8.3分 前50% #语音识别 11. Local Diagnostics of Continuous Normalizing Flow for Ou 8.1分 前50% #语音合成 12. WAXAL-NET: Finetuned Edge ASR Across 19 African Languag 8.0分 前25% #语音识别 13. Dynamic Interaction-Aware and Causality-Disentangled Fr 7.8分 前25% #多模态模型 14. Temporally-Aligned Evaluation for Audio-Driven Talking 7.6分 前25% #语音合成 15. HAIM: Human-AI Music Datasets for AI Music Production T 7.5分 前50% - 16. Spiking and Event-driven Neuromorphic Mamba Models for 7.5分 前50% #语音识别 17. JenBridge: Adaptive Long-Form Video Soundtracking acros 7.3分 前25% #音乐生成 18. MelT: GEMM-Native NDFT for Efficient Single-Stage Audio 7.3分 前50% #信号处理基础 19. Description and Discussion on DCASE 2026 Challenge Task 7.2分 前50% #无监督学习 20. SALSA: Speech Aware LLM Adaptation via Learned Steering 7.2分 前25% #语音识别 21. Advancing Electrolaryngeal Speech Enhancement Through S 7.1分 前50% #语音增强 22. DUET: Unified Dual-Space Emotion Control for Diffusion 7.1分 前25% #语音合成 23. When Tabular Foundation Models Transfer Across Modaliti 7.1分 前50% #音频分类 24. Echo: A Joint-Embedding Predictive Architecture for Spe 7.0分 前50% #语音识别 25. AnyMo: Scaling Any-Modality Conditional Motion Generati 7.0分 前50% #多模态模型 26. Kinship Verification Using Voice 6.9分 前50% #声纹识别 27. Quality Audio Prototyping: a prototype system for unifi 6.9分 前50% #音频检索 28. A Lightweight Slot-Attention Framework for Multi-Instru 6.7分 前50% #音乐信息检索 29. A 1000-hour EEG-EMG-audio dataset of Japanese speech pr 6.5分 前50% - 30. DAStatFormer: A Hybrid Multibranch Transformer with Sta 6.4分 前50% #音频事件检测 31. Parameter-efficient Dual-encoder Architecture with Diff 6.4分 前25% #音频分类 32. Beyond the Mouth: Upper-Face Affective Cues in Audiovis 5.5分 前50% #语音识别 33. SN-WER: Script-Normalized WER for Multi-Script Indic AS 5.3分 前50% #语音识别 34. Privacy-preserving Prosody Representation Learning 4.9分 前50% #自监督学习 35. AI Slop or AI-enhancement? Student perceptions of AI-ge 3.7分 后50% - 📋 论文列表 🥇 Project SPARROW and the Future of Conservation Technology 10.0/10 | 创新 2.0/2 | 严谨 1.5/1.5 | 实验 1.5/1.5 | 清晰 1.0/1 | 影响 1.5/1.5 | 开源 1.5/1.5 | 复现 0.5/0.5 | 工程 1.5/1.5 ...

📄 DOA: Training-Free Decoder-Only Attention Policy for Long-Form Simultaneous Translation with SpeechLLMs #语音翻译 #流式处理 #多模态模型 ✅ 7.8/10 | 前25% | #语音翻译 | #流式处理 | #多模态模型 | arxiv 学术质量 5.7/7 | 影响力 1.6/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 论文作者是Sara Papi和Luisa Bentivogli，隶属于意大利的Fondazione Bruno Kessler (FBK)。 💡 毒舌点评 这篇论文提出了一个简单而有效的思路：既然decoder-only的SpeechLLMs没有显式的交叉注意力，那能不能从自注意力中“借用”对齐信号来做流式决策？答案是“可以”，而且效果还不错。核心思想（从自注意力矩阵中截取前S列作为代理交叉注意力）直观且易于实现，实验也证明了其在长时序翻译上的有效性，甚至优于一些AED基线。然而，方法的“新颖性”更多体现在“首次将”这个概念应用于该架构，而非方法论上的重大突破。实验虽然充分，但局限性（如单一源语言、缺乏计算延迟分析）限制了结论的普适性。总体是一篇扎实的、解决实际问题的系统论文，但离改变范式还有距离。 📌 核心摘要 本文针对decoder-only架构的语音大语言模型（SpeechLLMs）在长时序同步语音翻译（SimulST）中的应用，提出了一种名为解码器注意力策略（DOA）的无训练方法。该方法的核心思想是，从decoder的自注意力权重中提取一个代理交叉注意力矩阵，用以推断生成文本与源音频的对齐关系，并基于此对齐信号动态决策读取和生成时机。研究旨在回答一个关键问题：decoder-only模型的自注意力是否能像encoder-decoder模型的交叉注意力一样，提供足够稳定的对齐信号以指导流式推理？在Phi4-Multimodal和Qwen3-Omni两个开源SpeechLLMs上的实验表明，DOA策略能够有效地支持低延迟的长时序SimulST，生成质量接近离线解码，且无需对模型进行任务特定的重训练。此外，研究发现基于标点符号的文本历史选择策略在decoder-only架构上优于传统的固定词数策略。 🔗 开源详情 代码：https://github.com/hlt-mt/simulstream (Apache 2.0 License) 模型权重： Phi4-Multimodal: https://huggingface.co/microsoft/Phi-4-multimodal-instruct Qwen3-Omni: https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct SeamlessM4T (基线): https://huggingface.co/facebook/hf-seamless-m4t-medium 数据集： MCIF (测试集)：作为IWSLT评测数据集公开，论文中未提供直接链接。 ACL 60/60 (开发集)：作为IWSLT评测数据集公开，论文中未提供直接链接。 复现材料：论文在附录A中提供了详尽的实验设置��包括所有模型的具体版本、权重、推理提示模板、超参数（\(f\)值范围、音频块大小、最大音频长度、最大生成令牌数、最大文本历史长度）以及硬件环境信息。 论文中引用的开源项目： SimulStream toolkit: https://github.com/hlt-mt/simulstream (推理框架) OmniST-Eval: https://github.com/CTTAT/OmniST-Eval (用于计算LongYAAL, LongLAAL) StreamAtt: (基线方法，原始代码库未在本文中提供直接链接) HuggingFace Transformers: https://github.com/huggingface/transformers (实验所用版本见表1) 🏗️ 方法概述和架构 DOA（Decoder-Only Attention）是一个无训练的流式推理策略，旨在将现成的decoder-only SpeechLLMs应用于长时序同步语音翻译（SimulST）。其核心是将解码器的自注意力（self-attention）机制重新解释为源-目标对齐的信号，并基于此对齐信号构建一个读写决策策略。该方法包含两个主要部分：流式策略设计和长时序适应。 ...

📄 ImmersiveTTS: Environment-Aware Text-to-Speech with Multimodal Diffusion Transformer and Domain-Specific Representation Alignment #语音合成 #多模态模型 #扩散模型 #自监督学习 #数据增强 🔥 9.3/10 | 前25% | #语音合成 | #自监督学习 | #多模态模型 #扩散模型 | arxiv 学术质量 6.8/7 | 影响力 1.5/2 | 可复现性 1/2 | 置信度 高 👥 作者与机构 Jun-Hak Yun, Seung-Bin Kim, Seong-Whan Lee。Korea University, Seoul, Korea. 💡 毒舌点评 论文提出了一个解决环境感知TTS任务的完整框架，技术路线清晰，实验设计也较为扎实。MM-DiT架构在音频领域的适配和领域特定REPA的引入是其核心亮点。然而，这篇工作给人的感觉像是为一个相对小众、定义明确的任务（从文本生成带环境声的语音）“量身定制”了一套复杂的系统，其普适性和根本性贡献可能存疑。训练数据完全依赖合成混合是一个硬伤，虽然作者在局限性中承认，但其对模型实际泛化能力的影响可能比想象中更严重。此外，与精心设计的流水线（CosyVoice2 + TangoFlux）在部分指标上的差距表明，统一模型在当前阶段并未显示出全面的优越性，其“统一建模”带来的核心价值（交互一致性）缺乏更有力的量化证明。工作完成度高，但创新性的天花板似乎受限于任务本身。 📌 核心摘要 针对现有环境感知TTS方法在建模语音与环境音频跨模态交互方面的不足，本文提出了ImmersiveTTS。该框架基于多模态扩散Transformer（MM-DiT），采用双流设计：一条流处理文本条件化的环境上下文（由Flan-T5和CLAP提供细粒度与全局特征），另一条流处理与转录对齐的语音特征。两流通过联合注意力机制显式交互。为稳定训练并增强语义一致性，提出了领域特定表示对齐（REPA）目标，使用WavLM（语音专家）和ATST-Frame（音频专家）作为双教师模型，引导中间特征学习。实验证明，ImmersiveTTS在主观和客观指标上优于VoiceLDM和VoiceDiT等基线，且仅需25步采样，实现了效率与质量的平衡。消融研究验证了双流设计和REPA策略的有效性。 🔗 开源详情 代码：论文未提供明确的代码仓库链接（如GitHub）。摘要中提供了项目主页链接：https://jjunak-yun.github.io/ImmersiveTTS。 模型权重：未提及模型权重的下载链接（如HuggingFace或ModelScope）。 数据集：使用了LibriTTS（train-clean-360子集）和WavCaps数据集，但未提供具体的下载链接或开源协议。 Demo：项目主页链接 https://jjunak-yun.github.io/ImmersiveTTS 可能包含在线演示或音频样本，论文未单独列出其他Demo地址。 复现材料：论文提供了详细的实现细节（架构参数、损失函数、训练超参数），但未提供具体的配置文件、检查点或复现脚本的下载链接。 论文中引用的开源项目： Flux 架构：https://github.com/black-forest-labs/flux WavLM (WavLM-base-sv)：https://huggingface.co/microsoft/wavlm-base-sv Flan-T5-Large：https://huggingface.co/google/flan-t5-large CLAP (clap-htsat-unfused)：https://huggingface.co/laion/clap-htsat-unfused AudioLDM2 VAE：https://huggingface.co/cvssp/audioldm2 HiFi-GAN：未提供链接。 WavLM-Large：https://huggingface.co/microsoft/wavlm-large ATST-Frame-Base：https://github.com/Audio-WestlakeU/audiossl USAD-Base：https://huggingface.co/MIT-SLS/USAD-Base 🏗️ 方法概述和架构 ImmersiveTTS的架构核心是一个为环境感知TTS任务定制的多模态扩散Transformer（MM-DiT），其基础是Flow Matching生成模型。整体流程如图1所示。 ...

📄 Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation #音乐生成 #多模态模型 #数据增强 #自监督学习 📝 5.6/10 | 前50% | #音乐生成 | #数据增强 | #多模态模型 #自监督学习 | arxiv 学术质量 3.3/7 | 影响力 1/2 | 可复现性 1.3/2 👥 作者与机构 Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng, Hanqing Guo 其中 Yizhu Wen 和 Shuhao Zhang 贡献相同（贡献者排序已标明）。 💡 毒舌点评 这篇论文提出了一个重要但略显初步的攻击向量。其核心思想——利用高级语义锚点和低级声学载荷的“分层注入”来同时实现检索隐蔽性和生成引导——思路清晰且具有启发性。然而，作为一篇旨在投递顶级会议的工作，其“新颖性”的成色不足。将PoisonedRAG等文本/图像领域的攻击范式迁移到音乐RAG，本身并非重大技术突破。更关键的是，论文的“技术深度”明显欠缺：公式(2)提出的优化目标，其核心函数 \(\mathcal{R}(\cdot)\) 和 \(\mathcal{S}(\cdot)\) 如何定义、如何优化，在文中仅被笼统地描述为依赖LLM生成，这使得整个“方法”部分更像是一个工程化的prompt设计流程，而非一个严谨的算法框架。实验部分，仅在一个高度特定的“CLAP + MusicGen”组合上进行验证，结论的普适性大打折扣。评估仅依赖CLAP相似度这一单一自动指标，缺乏人类感知评估（如用户研究）来验证攻击是否真的能造成“心理伤害（Mental Damage）”或“功能偏离”，这使得其影响力和危害性声明显得空泛。总体而言，这是一篇合格的探索性工作，提出的问题值得研究，但若想跻身顶会，需要在方法严谨性、实验广度与深度、以及对“危害”的实证评估上进行大幅加强。 📌 核心摘要 本文研究了检索增强文本到音乐生成（RAG-TTM）系统面临的一种新型完整性攻击：标题污染攻击。攻击者通过向知识库注入少量精心构造的音乐标题，可在不修改用户提示、检索器或生成器的情况下，操纵系统检索到恶意标题，并偏置提示增强过程，最终使生成的音乐偏离用户原始意图，转向攻击者选定的目标类别。论文提出的“双层标题污染攻击”策略包含三个组件：1）锚点保留，以维持检索可行性；2）高级功能对立目标生成，以控制语义冲突；3）低级语义载荷注入，以增强生成引导强度。在基于MusicCaps、CLAP检索器和MusicGen的实验管道中，攻击使生成音乐与目标类别的CLAP相似度提升近一倍（从约0.21-0.28升至0.41-0.48），同时与用户查询的相似度保持稳定（约0.30），证实了攻击的有效性和隐蔽性。该工作揭示了RAG系统在创意AI领域面临的实际安全风险。 🔗 开源详情 代码：论文中未提供攻击生成流程本身的代码仓库链接。但论文明确使用了Meta的开源库AudioCraft来运行MusicGen模型，并给出了其GitHub仓库链接：https://github.com/facebookresearch/audiocraft。 模型权重：论文中未提及该研究独有的模型权重链接。论文使用的MusicGen (musicgen-small) 模型权重可通过上述AudioCraft项目获取。 数据集：使用了 MusicCaps 数据集。论文中未提供该数据集的直接下载链接，但因其是公开数据集，通常可通过官方渠道（如Google Research项目页或HuggingFace Datasets）获取。 Demo：提供了在线演示链接：https://yizhu-wen.github.io/Mental-Damage/。 复现材料：论文附录（Appendix A）提供了详细的攻击示例（图3）和用于生成攻击载荷数据的数据生成提示模板（图4），这些材料对于复现攻击流程至关重要。 论文中引用的开源项目： MusicGen (通过AudioCraft)：Meta的文本到音乐生成模型。链接：https://github.com/facebookresearch/audiocraft。 CLAP：一个连接文本和音频的对比学习模型，用作检索器。论文未提供其具体仓库链接。 Sonnet 4.6：论文中提到用于生成目标类别和推理的LLM（具体模型版本），未提供链接。 🏗️ 方法概述和架构 本文的攻击针对一个典型的检索增强文本到音乐生成管道。该管道由三个核心部分组成：1）知识库，存储音乐标题-音频对；2）检索器，使用CLAP等模型将用户查询和知识库标题嵌入到共享表示空间，通过余弦相似度检索最相关的标题；3）生成器，如MusicGen，基于检索到的标题（可能经过LLM重写或直接拼接）生成音乐。 ...

📄 Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer #自回归模型 #扩散模型 #多模态模型 #对比学习 ✅ 6.5/10 | 前50% | #自回归模型 | #对比学习 | #扩散模型 #多模态模型 | arxiv 学术质量 6.5/7 | 影响力 7.0/2 | 可复现性 0.2/2 | 置信度 高 👥 作者与机构 作者：Ke Lei, Yu Zhang, Changhao Pan, Xueyi Pu, Wenxiang Guo, Ruiqi Li, Zhou Zhao。论文中未明确提及作者所属机构。（审校注：根据其arXiv提交历史及相关信息，通常隶属于阿里巴巴集团，但本文原文未明确声明） 💡 毒舌点评 概念包装大于实质新颖：将“分块生成”（Patch-wise generation）包装为“流式自回归扩散Transformer”，听起来高大上，但其核心思想——用一个较小的局部扩散模型（LocDiT）在自回归生成的语义条件下进行块内去噪——在语音和音频生成领域已有先例。创新更多体现在具体架构的组合，而非范式突破。 “流式”宣传需打折：论文反复强调0.21s的首块延迟，但报告了总推理时间为9.13s（生成10秒音频）。这意味着在生成完第一个chunk（约0.5秒音频）后，用户需等待约8.9秒才能获得完整音频。这种“流式”对实时交互的支持非常有限，更像是一种延迟优化的序列生成，而非真正的低延迟流式传输。 实验对比存在“田忌赛马”：将SwanSphere（1.09B参数）与多个级联管线（如MMAudio+AS）和一个参数更小的专用模型（ViSAGe, 0.36B）对比，并声称全面超越，说服力有限。更公平的对比应与最新、参数量相当的端到端空间音频模型进行。 ODPO的必要性存疑：消融实验显示ODPO将FD从133.91降至120.28。虽然有效，但奖励函数设计（空间误差、语义相似度、保真度）高度依赖外部预训练模型（ImageBind, Audiobox Aesthetics），这引入了额外的复杂性和偏差。论文并未探讨这些奖励模型本身的局限性如何影响最终生成质量。 数据集构建与评估的“自产自销”：SwanSphere数据集由论文作者自己构建，测试集也从中划分。虽然附录提供了细节，但使用自己构建、自己评估的数据集来证明方法优越性，存在固有的乐观偏差。跨数据集泛化能力（如YT360-Test）虽然有所展示，但仍是同一评估体系下的结果。 “通用”方法的狭窄适用性：尽管声称适用于VR/AR等沉浸式场景，但模型输入严格限定于全景视频+文本，输出为FOA。这与当前市场上更通用的双耳渲染或基于对象的音频格式存在差距。技术路线过于专精，可能限制其实际应用广度。 📌 核心摘要 本文提出SwanSphere，一个统一的流式框架，用于从全景视频和文本提示生成高保真第一阶环绕声（FOA）空间音频。该框架旨在解决现有技术在生成质量与推理延迟之间的权衡，以及从多模态输入中捕捉精确空间信息的困难。其核心贡献包括：1) 提出因果自回归扩散Transformer架构，通过将语义规划（自回归语言模型）与局部声学渲染（局部扩散Transformer）解耦，实现流式高质量生成；2) 设计空间视频-音频对比学习（SVAC）策略，通过四类物理感知的正负样本对齐视频与音频编码器的空间语义表征；3) 引入多目标在线直接偏好优化（ODPO），从空间、语义和保真度三个维度对齐生成结果与人类偏好；4) 开发基于多模态大语言模型（MLLM）的自动化空间字幕标注管道，以缓解空间音频数据稀缺问题。实验表明，SwanSphere在视频到空间音频和文本到空间音频任务上，在语义保真度、空间精度和主观评估方面均优于现有基线模型，同时实现了更低的首块生成延迟。 ...

📄 UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception #语音合成 #语音识别 #多模态模型 #低资源 🔥 10/10 | 前25% | #语音合成 | #语音识别 | #多模态模型 #低资源 | arxiv 学术质量 6.5/7 | 影响力 1.8/2 | 可复现性 1.7/2 | 置信度 高 👥 作者与机构 作者：Yuhan Song¹, Linhao Zhang², Aiwei Liu², Chuhan Wu², Sijun Zhang², Wei Jia², Yuan Liu², Houfeng Wang¹, Xiao Zhou² (通讯作者) 机构：¹北京大学计算机科学学院，多媒体信息处理国家重点实验室；²腾讯微信事业群基础模型技术中心 💡 毒舌点评 这篇论文切中了当前Audio-LLM领域一个真实且重要的痛点：语义语音分词器为了对齐文本，把音频里丰富的声学细节给“弄瞎”了，导致处理音乐、环境音时抓瞎。提出的SAP监督和SAE门控机制在思路上确实巧妙且直觉上合理，实验数据也显示出全面的性能提升。然而，其“通用”的宣称可能有些过于乐观——训练和评估仍重度依赖英语和中文资源，非语音音频的重建质量也承认远不如专用编解码器。此外，其数据创建流程完全依赖Qwen3系列大模型，这本身就引入了新的偏差和可复现性门槛。总的来说，这是一篇扎实的、解决了具体问题的增量工作，但距离真正的“通用音频接口”还有明显距离，尤其在多语言覆盖和高保真非语音重建方面。 📌 核心摘要 本文针对现有语义语音分词器在通用音频感知上的“声学失明”（acoustic blindness）问题，提出了UniAudio-Token框架。该框架旨在不牺牲语音生成能力的前提下，为语义分词器赋予通用音频感知能力。其核心创新包括两点：（1）语义-声学原语（Semantic-Acoustic Primitives, SAP）：一种结构化监督协议，将音频分解为语言内容、声音属性和听觉场景原语进行监督，以解耦内容与风格。（2）语义-声学平衡（Semantic-Acoustic Equilibrium, SAE）：一种内容感知的门控机制，能够自适应地从浅层注入细粒度声学细节到深层语义流中，以缓解声学失明，同时不破坏语义表征。大量实验证明，UniAudio-Token学到了全面的通用表征，同时保持了高保真度的语音生成。当集成到下游LLM中，其在理解和生成任务上均超越了所有单码本基线分词器。 🔗 开源详情 代码：https://github.com/Tencent/Universal_Audio_Tokenizer （包含训练和推理脚本） 模型权重：论文明确在摘要和引言中声明，将随代码仓库发布模型检查点（checkpoints），但未提供独立的HuggingFace或ModelScope链接。 数据集：训练使用了多个公开数据集，论文附录C.1（表7）提供了完整列表和时长。具体数据集获取方式通常如下： LibriSpeech: https://www.openslr.org/12 Multilingual LibriSpeech: https://github.com/facebookresearch/libri-light GigaSpeech: https://github.com/SpeechColab/GigaSpeech Yodas: https://github.com/facebookresearch/yodas Hi-Fi TTS: 论文引用Bakhturina et al.， 链接可能为 https://github.com/keithito/tacotron-2-data 或相关发布。 VCTK: https://datashare.ed.ac.uk/handle/10283/2651 LibriTTS: https://www.openslr.org/60 AISHELL-1: https://www.openslr.org/33 WenetSpeech: https://github.com/wenet-e2e/WenetSpeech Common Voice: https://commonvoice.mozilla.org/ Emilia: https://github.com/EMI-PMC/emilia-dataset AudioSet: https://research.google.com/audioset/ Demo：论文中未提及在线演示链接。 复现材料：提供了完整的训练细节，包括数据集组成（附录C.1， 表7）、超参数配置（附录C.2， 表8）。SAP数据标注样例见附录A（图5-7）。 论文中引用的其他开源项目： WavTokenizer: https://github.com/jishengpeng/WavTokenizer CosyVoice: https://github.com/FunAudioLLM/CosyVoice GLM-4-Voice: https://github.com/THUDM/GLM-4-Voice StableToken: 论文中未提供明确链接。 Whisper: https://github.com/openai/whisper (使用whisper-large-v3) Qwen3系列模型：论文用于生成SAP数据和评估，但未提供具体下载链接。 Qwen2.5: 用于下游Audio-LLM实验，未提供链接。 MOSNet: https://github.com/dongchao-py/MOSNet CAM++: https://github.com/alibaba/damo-academy ERes2Net: 论文中提及但未提供链接。 🏗️ 方法概述和架构 UniAudio-Token 的核心目标是解决语义语音分词器的“声学失明”问题，即它们为了对齐语言内容而主动抑制声学细节，导致其在非语音任务上表现不佳。该方法通过两个核心组件协同工作：SAP（解决监督冲突）和SAE（解决架构瓶颈），最终输出一个能统一表征语音和通用音频的离散码本。 ...

语音/音乐/音频论文速递 2026-06-01 共分析 23 篇论文 ⚡ 今日概览 📥 抓取 23 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 6篇 ██████ #音乐生成 3篇 ███ #语音翻译 2篇 ██ #语音识别 2篇 ██ #自监督学习 1篇 █ #口音识别 1篇 █ #生成对抗网络 1篇 █ #音频事件检测 1篇 █ 📊 论文评分排行榜（23 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Chatterbox-Flash: Prior-Calibrated Block Diffusion for 10.0分 前25% #语音合成 🥈 UniAudio-Token: Empowering Semantic Speech Tokenizers w 10.0分 前25% #语音合成 🥉 Escaping the Linearity Trap: Manifold Detours for Black 9.7分 前25% #自监督学习 4. ImmersiveTTS: Environment-Aware Text-to-Speech with Mul 9.3分 前25% #语音合成 5. SwanVoice: Expressive Long-Form Zero-Shot Speech Synthe 8.9分 前50% #语音合成 6. AnchorSteer: Self-Discovered Concept Injection for Stru 8.6分 前50% #音乐生成 7. MindVoice: Reconstructing Intelligible Speech from Non- 8.5分 前25% #语音合成 8. Extracting accent features in spoken Brazilian Portugue 8.3分 前50% #口音识别 9. UNISON: A Unified Sound Generation and Editing Framewor 8.2分 前25% #语音合成 10. FiPA-SR – FiLM-Conditioned Perceptually Informed Audio 8.1分 前25% #生成对抗网络 11. DOA: Training-Free Decoder-Only Attention Policy for Lo 7.8分 前25% #语音翻译 12. GaMi: Geometry-Agnostic Material Identification via Cro 7.8分 前50% - 13. Improving acoustic drone detection generalization throu 7.7分 前50% #音频事件检测 14. Audio Pirates: Black-box Audio Watermark Removal via Di 7.4分 前25% #扩散模型 15. Latent Space Disentanglement via Activation Steering fo 7.3分 后50% #音乐生成 16. Scaling Conversational Hungarian ASR: The BEA-Dialogue+ 7.2分 前50% #语音识别 17. On the Use of Dereverberation for Acoustic Feedback Can 6.7分 前50% #语音增强 18. Towards Streaming Synchronized Spatial Audio Generation 6.5分 前50% #自回归模型 19. 3DAE: Binaural Quality Assessment for Audio Novel View 6.5分 前50% #音频质量评估 20. OpenSTBench: Beyond Semantic Evaluation for Speech Tran 6.0分 前50% #语音翻译 21. Sound effects in media:A comparative analysis of record 5.7分 前50% #音频生成 22. Mental Damage: Caption Poisoning Attacks on Retrieval-A 5.6分 前50% #音乐生成 23. A Unified and Reproducible Experimentation Framework fo 5.5分 前50% #语音识别 📋 论文列表 🥇 Chatterbox-Flash: Prior-Calibrated Block Diffusion for Streaming Zero-Shot TTS 🔥 10.0/10 | 前25% | #零样本语音合成 | #Transformer | #块扩散解码 #流式处理 | arxiv ...