论文速递

📄 Mental Damage: Caption Poisoning Attacks on Retrieval-Augmented Text-to-Music Generation #音乐生成 #多模态模型 #数据增强 #自监督学习 📝 5.6/10 | 前50% | #音乐生成 | #数据增强 | #多模态模型 #自监督学习 | arxiv 学术质量 3.3/7 | 影响力 1/2 | 可复现性 1.3/2 👥 作者与机构 Yizhu Wen, Shuhao Zhang, Nan Zhang, Long Cheng, Hanqing Guo 其中 Yizhu Wen 和 Shuhao Zhang 贡献相同（贡献者排序已标明）。 💡 毒舌点评 这篇论文提出了一个重要但略显初步的攻击向量。其核心思想——利用高级语义锚点和低级声学载荷的“分层注入”来同时实现检索隐蔽性和生成引导——思路清晰且具有启发性。然而，作为一篇旨在投递顶级会议的工作，其“新颖性”的成色不足。将PoisonedRAG等文本/图像领域的攻击范式迁移到音乐RAG，本身并非重大技术突破。更关键的是，论文的“技术深度”明显欠缺：公式(2)提出的优化目标，其核心函数 \(\mathcal{R}(\cdot)\) 和 \(\mathcal{S}(\cdot)\) 如何定义、如何优化，在文中仅被笼统地描述为依赖LLM生成，这使得整个“方法”部分更像是一个工程化的prompt设计流程，而非一个严谨的算法框架。实验部分，仅在一个高度特定的“CLAP + MusicGen”组合上进行验证，结论的普适性大打折扣。评估仅依赖CLAP相似度这一单一自动指标，缺乏人类感知评估（如用户研究）来验证攻击是否真的能造成“心理伤害（Mental Damage）”或“功能偏离”，这使得其影响力和危害性声明显得空泛。总体而言，这是一篇合格的探索性工作，提出的问题值得研究，但若想跻身顶会，需要在方法严谨性、实验广度与深度、以及对“危害”的实证评估上进行大幅加强。 📌 核心摘要 本文研究了检索增强文本到音乐生成（RAG-TTM）系统面临的一种新型完整性攻击：标题污染攻击。攻击者通过向知识库注入少量精心构造的音乐标题，可在不修改用户提示、检索器或生成器的情况下，操纵系统检索到恶意标题，并偏置提示增强过程，最终使生成的音乐偏离用户原始意图，转向攻击者选定的目标类别。论文提出的“双层标题污染攻击”策略包含三个组件：1）锚点保留，以维持检索可行性；2）高级功能对立目标生成，以控制语义冲突；3）低级语义载荷注入，以增强生成引导强度。在基于MusicCaps、CLAP检索器和MusicGen的实验管道中，攻击使生成音乐与目标类别的CLAP相似度提升近一倍（从约0.21-0.28升至0.41-0.48），同时与用户查询的相似度保持稳定（约0.30），证实了攻击的有效性和隐蔽性。该工作揭示了RAG系统在创意AI领域面临的实际安全风险。 🔗 开源详情 代码：论文中未提供攻击生成流程本身的代码仓库链接。但论文明确使用了Meta的开源库AudioCraft来运行MusicGen模型，并给出了其GitHub仓库链接：https://github.com/facebookresearch/audiocraft。 模型权重：论文中未提及该研究独有的模型权重链接。论文使用的MusicGen (musicgen-small) 模型权重可通过上述AudioCraft项目获取。 数据集：使用了 MusicCaps 数据集。论文中未提供该数据集的直接下载链接，但因其是公开数据集，通常可通过官方渠道（如Google Research项目页或HuggingFace Datasets）获取。 Demo：提供了在线演示链接：https://yizhu-wen.github.io/Mental-Damage/。 复现材料：论文附录（Appendix A）提供了详细的攻击示例（图3）和用于生成攻击载荷数据的数据生成提示模板（图4），这些材料对于复现攻击流程至关重要。 论文中引用的开源项目： MusicGen (通过AudioCraft)：Meta的文本到音乐生成模型。链接：https://github.com/facebookresearch/audiocraft。 CLAP：一个连接文本和音频的对比学习模型，用作检索器。论文未提供其具体仓库链接。 Sonnet 4.6：论文中提到用于生成目标类别和推理的LLM（具体模型版本），未提供链接。 🏗️ 方法概述和架构 本文的攻击针对一个典型的检索增强文本到音乐生成管道。该管道由三个核心部分组成：1）知识库，存储音乐标题-音频对；2）检索器，使用CLAP等模型将用户查询和知识库标题嵌入到共享表示空间，通过余弦相似度检索最相关的标题；3）生成器，如MusicGen，基于检索到的标题（可能经过LLM重写或直接拼接）生成音乐。 ...

📄 MindVoice: Reconstructing Intelligible Speech from Non-invasive Neural Signals with Pretrained Priors #语音合成 #语音识别 #自监督学习 #多任务学习 #数据集 🔥 8.5/10 | 前25% | #语音合成 | #多任务学习 | #语音识别 #自监督学习 | arxiv 学术质量 5.7/7 | 影响力 1.6/2 | 可复现性 1.2/2 | 置信度 高 👥 作者与机构 作者：Guangyin Bao, Taiping Zeng, Jianfeng Feng, Xiangyang Xue 机构：复旦大学、中国科学技术大学等（原文未明确列出所有机构） 💡 毒舌点评 这篇论文在非侵入式神经语音重建这个“硬骨头”问题上迈出了扎实的一步，将重建目标从模糊的声学相似提升到“可理解”的语义层面，思路巧妙。然而，其核心优势（生成先验）同时也是阿喀琉斯之踵——“生成幻觉”如同悬顶之剑，论文虽承认但量化不足，让人怀疑在真实、未知语音下的可靠性。频谱相似度不及基线，暴露了其“重语义、轻细节”的本质，这或许是条正确的路，但文章对此的辩护稍显无力。消融实验中声学流的“微弱”贡献令人尴尬，作者试图解释，但证据链不够强。整体而言，这是一篇“想法好于实现精度”的工作，为领域提供了有价值的范式转移方向，但距离鲁棒、可靠的应用还有明显差距。 📌 核心摘要 针对从非侵入式神经信号（EEG/MEG）重建连续可理解语音这一挑战性任务，本文提出了MindVoice框架。核心思想是承认单一神经信号不足以精确重建复杂语音，转而利用多种预训练生成模型（ASR、语音编解码器、TTS）的先验知识来弥补信息缺口。MindVoice采用双流架构：语义流将神经信号与预训练语音VQ-VAE的离散语义码本对齐，并利用冻结ASR模型的语言建模能力补全文本；声学流对齐预训练语音编解码器的声学嵌入以捕获音色等细节。最终，将重建的文本与预测的声学嵌入作为提示，输入预训练TTS模型生成最终语音。在Brennan EEG和Gwilliams MEG两个公开数据集上的实验表明，MindVoice在语义准确性（ASR-BERTScore-F1）、音色相似度（WavLM）和整体感知质量（MOS）上显著优于现有基线（Vanilla, FESDE），但在频谱相似度（mel-MSE）上不占优，揭示了低级频谱误差与感知质量间的不匹配。论文还提供了丰富的可视化分析和消融实验，展示了模型的可解释性与重建偏好。 🔗 开源详情 代码：论文中未提及代码链接 模型权重：论文中未提及模型权重链接 数据集： Brennan EEG Dataset：自然语言理解EEG数据集 (Brennan and Hale, 2019)。链接：https://dataverse.harvard.edu/dataset.xhtml?persistentId=doi:10.7910/DVN/7YPUMT Gwilliams MEG-MASC Dataset：大规模自然语言理解MEG数据集 (Gwilliams et al., 2023)。链接：https://github.com/lprouat/MASC Demo：论文中未提及Demo链接 复现材料：附录A.4提供了详细的模型架构参数和训练超参数。 论文中引用的开源项目： Whisper：ASR模型 (Radford et al., 2023)。链接：https://github.com/openai/whisper FishSpeech-s1-mini：文本到语音（TTS）模型 (Liao et al., 2024)。链接：https://github.com/fishaudio/fish-speech Qwen3-ASR：自动语音识别模型 (Shi et al., 2026)。链接：https://github.com/QwenLM/Qwen-Audio BigVGAN-v2：声码器 (Lee et al., 2023a)。链接：https://github.com/kan-bayashi/BigVGAN FESDE：语音重建基线方法 (Lee et al., 2024)。链接：https://github.com/leesuhungsam/fesde WhisperX：语音对齐工具。链接：https://github.com/m-bain/whisperX MNE：神经信号数据分析库。链接：https://github.com/mne-tools/mne-python spaCy：自然语言处理库。链接：https://github.com/explosion/spaCy BERTScore：文本相似度评估工具。链接：https://github.com/Tiiiger/bert_score SpeechMOS / UTMOS：自动语音质量评估模型。链接：https://github.com/sarulab-speech/UTMOS22 🏗️ 方法概述和架构 MindVoice的总体框架（图2）是一个模块化的三阶段管线，旨在将非侵入式神经信号（EEG/MEG）解码为可理解的语音波形。其核心设计理念是“解耦重建与先验注入”：首先将复杂的端到端重建任务分解为互补的语义内容恢复与声学属性估计两个子任务，然后分别利用对应的预训练生成模型作为强大先验来弥补神经信号的信息缺失。 ...

📄 On the Use of Dereverberation for Acoustic Feedback Cancellation #语音增强 #信号处理基础 ✅ 6.7/10 | 前50% | #语音增强 | #信号处理基础 | arxiv 学术质量 4.8/7 | 影响力 1/2 | 可复现性 0.9/2 | 置信度 高 👥 作者与机构 本文作者为 Basil Liekens、Arnout Roebben、Toon van Waterschoot 和 Marc Moonen。他们均隶属于比利时鲁汶大学（KU Leuven）的 ESAT 实验室。其中 Basil Liekens 和 Arnout Roebben 被标注为同等贡献。研究得到了鲁汶大学研究委员会项目 C14-21-0075 以及比利时佛兰德斯研究基金会（FWO）的博士后奖学金 11PDH24N 的资助。 📌 核心摘要 本文提出了一种将声学反馈消除（AFC）问题重新诠释为去混响（DR）问题的理论框架。核心论点是，在“闭环延迟足够长”和“闭环传递函数可合理近似为FIR滤波器”这两个温和条件下，麦克风信号中的反馈分量可以被视为源信号晚期混响的一部分。因此，现有的去混响算法（如WPE）可以直接用于联合执行去混响与反馈消除任务。论文通过理论推导和仿真实验证明了该视角的可行性，并展示了所提方案在干扰抑制、信号质量和语音可懂度指标上优于传统的连续自适应滤波器（CAF）基线。 🔗 开源详情 代码：论文指出代码已在引用文献 [11] 中提供（“with code made available in [11]”），表明作者公开了实现。但论文本身未直接给出代码仓库链接。 模型权重：论文中未提及模型权重。 数据集：论文中提及使用了以下数据集，但未提供具体获取链接或开源协议信息： ...

📄 OpenSTBench: Beyond Semantic Evaluation for Speech Translation #语音翻译 #语音合成 #多语言 ✅ 6.0/10 | 前50% | #语音翻译 | #语音合成 | #多语言 | arxiv 学术质量 0.6/7 | 影响力 0.6/2 | 可复现性 0.1/2 | 置信度 高 👥 作者与机构 论文标题：OpenSTBench: Beyond Semantic Evaluation for Speech Translation arXiv ID: 2605.30792 作者：Yanjie An (贡献相等), Yuxiang Zhao (贡献相等, 通讯作者), Yichi Zhang, Qixi Zheng, Yujie Tu, Keqi Deng, Kai Yu, Xie Chen (通讯作者) 机构： 上海交通大学，MoE智能计算与语言处理重点实验室，江苏省语言计算重点实验室，X-LANCE实验室，计算机科学学院，中国上海。 上海创新研究院，中国上海。 微软，美国。 中国科学院大学，中国北京。 💡 毒舌点评 这篇论文像是给一堆散装的语音翻译评估工具做了一次“大扫除”和“标准化收纳”。它指出了当前评估体系“各管一摊”的痛点，并提供了一个能同时测量翻译质量、语音质量、时间质量的“多功能仪表盘”。想法很实际，对社区也有用，避免了大家用不同尺子量同一把椅子。但问题在于，这个“仪表盘”本身并没有发明新的测量技术（比如新的语音质量评估指标），更像是现有工具的集成和协议规范化。其实验部分虽然跑了不少系统，但结论“不同维度排名不同”略显老生常谈，缺乏更深层的洞察。更关键的是，其核心价值高度依赖社区采纳度，如果大家还是习惯用BLEU打天下，这框架可能就沦为又一个备选项。此外，对语音侧自动指标可靠性的验证不足，让这个“统一”框架的基石有点摇晃。总的来说，是一篇扎实但缺乏惊喜的系统性工作，适合作为工具论文发表，但离顶会追求的“突破”尚有距离。 ...

📄 Scaling Conversational Hungarian ASR: The BEA-Dialogue+ Corpus #语音识别 #低资源 ✅ 7.2/10 | 前50% | #语音识别 | #低资源 | arxiv 学术质量 5.2/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 通讯/一作：Máté Gedeon, Piroska Zsófia Barta (Budapest University of Technology and Economics；Speechtex Ltd.) 作者：Péter Mihajlik, Katalin Mády (Budapest University of Technology and Economics；ELTE Research Centre for Linguistics) 机构：布达佩斯技术与经济大学 (BME) 电信与人工智能系；Speechtex Ltd.；ELTE语言学研究中心。 💡 毒舌点评 这篇论文做了一件扎实但缺乏惊喜的“苦力活”：把一个现有数据集从85小时扩到200小时，并为对话ASR建立了一个新基准。核心贡献在于“扩大”和“基准化”，而非提出新方法。其价值在于为匈牙利语这一低资源语言社区提供了急需的资源，但方法论上的创新性（放松说话人隔离约束）本身是双刃剑，作者自己也承认了数据泄露风险。论文写作清晰，实验完整，但结论部分对“数据泄露带来性能提升”的推测略显模糊，且未给出确凿的定量分析。对于追求SOTA或新颖架构的读者来说，这篇文章的吸引力有限；但对于关注数据集构建、低资源语音处理和对话系统评估的研究者，它提供了有价值的案例和资源。总体而言，是一篇合格、有实用价值但不会引爆顶会的工作。 📌 核心摘要 本文针对匈牙利语对话自动语音识别（ASR）数据不足的问题，扩展了原有的BEA-Dialogue数据集，构建了BEA-Dialogue+。新数据集通过放宽对实验者和对话伙伴在训练/验证/测试集间的隔离要求（仅严格隔离主说话人），将可用数据从85小时增加至200小时，同时保留了对话结构的复杂性。作者在BEA-Dialogue和BEA-Dialogue+两个版本上，对Whisper和FastConformer模型进行了系统性的基准测试，包括使用序列输出训练（SOT）进行微调。实验表明，更大的数据集（BEA-Dialogue+）由于包含更多说话人转换的片段，对未经微调的模型更具挑战性（性能下降约10%）；而使用SOT进行微调则能带来一致的性能提升。BEA-Dialogue+为匈牙利语对话转录提供了一个规模更大、更具挑战性的基准，可用于训练和评估相关系统。 🔗 开源详情 代码：论文中未提及开源训练或评估代码。 模型权重：论文中未提及模型权重的具体下载链接。 数据集：BEA-Dialogue+ 及其前身 BEA-Dialogue。论文指出将可供研究人员下载，并给出了项目主页链接：https://phon.nytud.hu/bea/。但具体下载方式、许可证和注册要求未说明。 Demo：论文中未提及在线演示链接。 复现材料：论文中未提及提供具体的训练配置文件、检查点或附录等复现材料。 论文中引用的开源项目： NVIDIA NeMo toolkit：用于训练的工具包。链接：https://github.com/NVIDIA/NeMo。 Whisper：作为基线模型进行评估。链接：https://github.com/openai/whisper。 FastConformer：作为基线模型进行评估，其描述和代码通常可在NeMo框架（见上）中找到。论文中匈牙利语预训练的FastConformer模型的具体配方参考了Dobsinszki等人的工作[2]。 🏗️ 方法概述和架构 本文的核心工作并非提出一种全新的模型架构，而是构建新数据集并建立统一的评估基准，因此“方法”主要体现在数据集构建策略和统一的模型训练与评估协议上。 ...

📄 Sound effects in media:A comparative analysis of recorded and synthetic samples in live-action and animation #音频生成 #音频质量评估 #信号处理基础 📝 5.7/10 | 前50% | #音频生成 | #音频质量评估 | #信号处理基础 | arxiv 学术质量 4/7 | 影响力 1.2/2 | 可复现性 0.5/2 | 置信度 中 👥 作者与机构 作者：Nelly Garcia， Joshua Reiss 机构：Centre for Digital Music (C4DM)， Queen Mary University of London 💡 毒舌点评 这篇论文像是一个音频专业的本科毕业设计，野心不小但手上功夫差了点。想用机器学习和用户研究来评判“程序化音频”这把双刃剑到底锋不锋利，想法是好的。但问题在于，你的尺子（MUSHRA评估）根本量不准你想量的东西（合成声音本身的质量）。你让一群专家评价“整体音效设计”，里面混着混音、同步、创意，最后得出“合成声音在动画日常场景里不行”的结论，这不是隔靴搔痒吗？方法部分写的像实验笔记，特征选择理由一笔带过，统计结果报告得乱七八糟，自由度都没有。最搞笑的是，你号称发现了“至少三个需要优化的声音效应”，结果通篇没说清楚是哪三个。这就像医生告诉你病了三个地方，但不说具体是哪。结论呢？又把“上下文很重要”这种老生常谈当宝贝。说白了，这篇论文最大的贡献可能是为后续研究者提供了一个“如何设计不严谨音频评估实验”的反面案例。 📌 核心摘要 本研究旨在评估程序化合成音效在不同类型（动画与真人实拍）视频场景中，相较于传统录音库样本的“可信度”。研究者构建了一个包含8个场景（4个动画，4个真人实拍）的数据集，每个场景制作了三种音效设计版本（全真实样本、混合合成样本、随机错误样本）。客观分析上，使用Essentia库提取了78个低层音频特征，利用XGBoost和Random Forest进行二分类（合成 vs. 真实），并通过SHAP和PCA分析关键特征。主观评估上，邀请了20名音频领域专业人士（最终有效样本18人），通过WebMUSHRA工具对视频的“整体音效设计质量”进行0-100分评分，并使用Google表单收集对不真实合成声音的定性反馈。研究发现：1) 真实音效设计在所有场景中评分均高于混合合成设计；2) 在模拟日常生活的动画场景（如“Drama (C)”）和科幻动画场景中，真实与混合设计的评分差异在统计上最为显著；3) 通过分类结果和用户反馈，识别出如“液体”、“身体击打”等模型需要优化，并关联到“增强低频”、“强调首次冲击”等改进方向及对应的音频特征域（如频率域、时频域）。 🔗 开源详情 代码：论文中未提及作者公开任何分析代码（如特征提取脚本、机器学习训练/评估代码）。 模型权重：论文中未提及公开任何训练好的分类模型。 数据集： 描述：自建了一个包含1616个音频样本的数据集，分为32个类别（16个合成类别，16个库样本类别）。样本格式为单声道、16位、44.1kHz、5秒长度。 来源：合成样本来自Nemisindo在线程序音频引擎；库样本来自BBC Sound Effects Library, Hybrid Sound Library, 50-ESC dataset [16], Soundsnap。 公开状态：论文中未提供该自建数据集的公开下载链接或开源协议。 Demo： 用于主观评估的视频可在作者YouTube频道观看：https://www.youtube.com/@nellyngz/videos （此为内容展示，非可下载数据集）。 用于主观评估的WebMUSHRA在线测试工具链接：论文未提供作者自己的测试实例链接，仅提到了工具名称。 用于收集定性反馈的Google表单链接：https://docs.google.com/forms/d/e/1FAIpQLSd4_IwgM0plWo2ug5Odu89mgm3yYfWCrwwrR1e75-iryGI3aw/viewform 复现材料：论文未提供训练配置、特征提取后的数据文件、模型检查点、或用于复现主观实验的视频包等具体复现材料。复现主要依赖于文本描述的方法和提供的外部工具/数据源链接。 论文中引用的开源项目： Essentia: https://essentia.upf.edu Nemisindo: https://nemisindo.com BBC Sound Effects Library: https://sound-effects.bbcrewind.co.uk Soundsnap: https://www.soundsnap.com WebMUSHRA: 论文未提供其项目主页链接。 XGBoost, Random Forest, SHAP, PCA: 论文仅引用，未提供项目链接。 🏗️ 方法概述和架构 本文研究方法可分为三个相互关联的阶段：数据集构建、客观特征分析和主观用户评估。 ...

📄 SwanVoice: Expressive Long-Form Zero-Shot Speech Synthesis for Both Monologue and Dialogue #语音合成 #语音转换 #数据增强 #变分自编码器 #扩散模型 #强化学习 #课程学习 🔥 8.9/10 | 前50% | #语音合成 | #变分自编码器 | #语音转换 #数据增强 | arxiv 学术质量 6.3/7 | 影响力 1.5/2 | 可复现性 1.1/2 | 置信度 高 👥 作者与机构 作者：Ruiqi Li (1), Yu Zhang (1), Changhao Pan (1,2), Ke Lei (1,2), Xiang Yin (1), Cheng Yang (1) 单位：1 ByteDance, 2 Zhejiang University 通讯作者及贡献：1为共同贡献，2为通讯作者（根据原文格式推断）。 💡 毒舌点评 这篇论文工整地完成了一个大型工业级语音合成系统应做的所有事：堆砌了看似合理的数据处理流程、模型架构和训练策略，最后在自建的Benchmark上宣称自己最好。其核心工作（SwanVoice模型本身）在架构上（VAE+Flow-matching DiT）并非独创，更多是工程上的整合与优化。最大的“贡献”似乎是那个数据处理管道（SwanData-Speech），但这更像是一个内部产品开发文档，而非可复用、可验证的学术方法。论文通篇都在强调“表现力”得分最高，但关键的“内容准确性”却是短板，这在一个语音合成系统中是相当尴尬的权衡。更值得玩味的是，评估所用的核心模型（如SpeechJudge）未开源，这使得其“表现力”领先的结论大打折扣。整篇论文更像是一份技术报告，而非一篇能推动领域进步的学术论文。 ...

📄 Towards Streaming Synchronized Spatial Audio Generation via Autoregressive Diffusion Transformer #自回归模型 #扩散模型 #多模态模型 #对比学习 ✅ 6.5/10 | 前50% | #自回归模型 | #对比学习 | #扩散模型 #多模态模型 | arxiv 学术质量 6.5/7 | 影响力 7.0/2 | 可复现性 0.2/2 | 置信度 高 👥 作者与机构 作者：Ke Lei, Yu Zhang, Changhao Pan, Xueyi Pu, Wenxiang Guo, Ruiqi Li, Zhou Zhao。论文中未明确提及作者所属机构。（审校注：根据其arXiv提交历史及相关信息，通常隶属于阿里巴巴集团，但本文原文未明确声明） 💡 毒舌点评 概念包装大于实质新颖：将“分块生成”（Patch-wise generation）包装为“流式自回归扩散Transformer”，听起来高大上，但其核心思想——用一个较小的局部扩散模型（LocDiT）在自回归生成的语义条件下进行块内去噪——在语音和音频生成领域已有先例。创新更多体现在具体架构的组合，而非范式突破。 “流式”宣传需打折：论文反复强调0.21s的首块延迟，但报告了总推理时间为9.13s（生成10秒音频）。这意味着在生成完第一个chunk（约0.5秒音频）后，用户需等待约8.9秒才能获得完整音频。这种“流式”对实时交互的支持非常有限，更像是一种延迟优化的序列生成，而非真正的低延迟流式传输。 实验对比存在“田忌赛马”：将SwanSphere（1.09B参数）与多个级联管线（如MMAudio+AS）和一个参数更小的专用模型（ViSAGe, 0.36B）对比，并声称全面超越，说服力有限。更公平的对比应与最新、参数量相当的端到端空间音频模型进行。 ODPO的必要性存疑：消融实验显示ODPO将FD从133.91降至120.28。虽然有效，但奖励函数设计（空间误差、语义相似度、保真度）高度依赖外部预训练模型（ImageBind, Audiobox Aesthetics），这引入了额外的复杂性和偏差。论文并未探讨这些奖励模型本身的局限性如何影响最终生成质量。 数据集构建与评估的“自产自销”：SwanSphere数据集由论文作者自己构建，测试集也从中划分。虽然附录提供了细节，但使用自己构建、自己评估的数据集来证明方法优越性，存在固有的乐观偏差。跨数据集泛化能力（如YT360-Test）虽然有所展示，但仍是同一评估体系下的结果。 “通用”方法的狭窄适用性：尽管声称适用于VR/AR等沉浸式场景，但模型输入严格限定于全景视频+文本，输出为FOA。这与当前市场上更通用的双耳渲染或基于对象的音频格式存在差距。技术路线过于专精，可能限制其实际应用广度。 📌 核心摘要 本文提出SwanSphere，一个统一的流式框架，用于从全景视频和文本提示生成高保真第一阶环绕声（FOA）空间音频。该框架旨在解决现有技术在生成质量与推理延迟之间的权衡，以及从多模态输入中捕捉精确空间信息的困难。其核心贡献包括：1) 提出因果自回归扩散Transformer架构，通过将语义规划（自回归语言模型）与局部声学渲染（局部扩散Transformer）解耦，实现流式高质量生成；2) 设计空间视频-音频对比学习（SVAC）策略，通过四类物理感知的正负样本对齐视频与音频编码器的空间语义表征；3) 引入多目标在线直接偏好优化（ODPO），从空间、语义和保真度三个维度对齐生成结果与人类偏好；4) 开发基于多模态大语言模型（MLLM）的自动化空间字幕标注管道，以缓解空间音频数据稀缺问题。实验表明，SwanSphere在视频到空间音频和文本到空间音频任务上，在语义保真度、空间精度和主观评估方面均优于现有基线模型，同时实现了更低的首块生成延迟。 ...

📄 UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception #语音合成 #语音识别 #多模态模型 #低资源 🔥 10/10 | 前25% | #语音合成 | #语音识别 | #多模态模型 #低资源 | arxiv 学术质量 6.5/7 | 影响力 1.8/2 | 可复现性 1.7/2 | 置信度 高 👥 作者与机构 作者：Yuhan Song¹, Linhao Zhang², Aiwei Liu², Chuhan Wu², Sijun Zhang², Wei Jia², Yuan Liu², Houfeng Wang¹, Xiao Zhou² (通讯作者) 机构：¹北京大学计算机科学学院，多媒体信息处理国家重点实验室；²腾讯微信事业群基础模型技术中心 💡 毒舌点评 这篇论文切中了当前Audio-LLM领域一个真实且重要的痛点：语义语音分词器为了对齐文本，把音频里丰富的声学细节给“弄瞎”了，导致处理音乐、环境音时抓瞎。提出的SAP监督和SAE门控机制在思路上确实巧妙且直觉上合理，实验数据也显示出全面的性能提升。然而，其“通用”的宣称可能有些过于乐观——训练和评估仍重度依赖英语和中文资源，非语音音频的重建质量也承认远不如专用编解码器。此外，其数据创建流程完全依赖Qwen3系列大模型，这本身就引入了新的偏差和可复现性门槛。总的来说，这是一篇扎实的、解决了具体问题的增量工作，但距离真正的“通用音频接口”还有明显距离，尤其在多语言覆盖和高保真非语音重建方面。 📌 核心摘要 本文针对现有语义语音分词器在通用音频感知上的“声学失明”（acoustic blindness）问题，提出了UniAudio-Token框架。该框架旨在不牺牲语音生成能力的前提下，为语义分词器赋予通用音频感知能力。其核心创新包括两点：（1）语义-声学原语（Semantic-Acoustic Primitives, SAP）：一种结构化监督协议，将音频分解为语言内容、声音属性和听觉场景原语进行监督，以解耦内容与风格。（2）语义-声学平衡（Semantic-Acoustic Equilibrium, SAE）：一种内容感知的门控机制，能够自适应地从浅层注入细粒度声学细节到深层语义流中，以缓解声学失明，同时不破坏语义表征。大量实验证明，UniAudio-Token学到了全面的通用表征，同时保持了高保真度的语音生成。当集成到下游LLM中，其在理解和生成任务上均超越了所有单码本基线分词器。 🔗 开源详情 代码：https://github.com/Tencent/Universal_Audio_Tokenizer （包含训练和推理脚本） 模型权重：论文明确在摘要和引言中声明，将随代码仓库发布模型检查点（checkpoints），但未提供独立的HuggingFace或ModelScope链接。 数据集：训练使用了多个公开数据集，论文附录C.1（表7）提供了完整列表和时长。具体数据集获取方式通常如下： LibriSpeech: https://www.openslr.org/12 Multilingual LibriSpeech: https://github.com/facebookresearch/libri-light GigaSpeech: https://github.com/SpeechColab/GigaSpeech Yodas: https://github.com/facebookresearch/yodas Hi-Fi TTS: 论文引用Bakhturina et al.， 链接可能为 https://github.com/keithito/tacotron-2-data 或相关发布。 VCTK: https://datashare.ed.ac.uk/handle/10283/2651 LibriTTS: https://www.openslr.org/60 AISHELL-1: https://www.openslr.org/33 WenetSpeech: https://github.com/wenet-e2e/WenetSpeech Common Voice: https://commonvoice.mozilla.org/ Emilia: https://github.com/EMI-PMC/emilia-dataset AudioSet: https://research.google.com/audioset/ Demo：论文中未提及在线演示链接。 复现材料：提供了完整的训练细节，包括数据集组成（附录C.1， 表7）、超参数配置（附录C.2， 表8）。SAP数据标注样例见附录A（图5-7）。 论文中引用的其他开源项目： WavTokenizer: https://github.com/jishengpeng/WavTokenizer CosyVoice: https://github.com/FunAudioLLM/CosyVoice GLM-4-Voice: https://github.com/THUDM/GLM-4-Voice StableToken: 论文中未提供明确链接。 Whisper: https://github.com/openai/whisper (使用whisper-large-v3) Qwen3系列模型：论文用于生成SAP数据和评估，但未提供具体下载链接。 Qwen2.5: 用于下游Audio-LLM实验，未提供链接。 MOSNet: https://github.com/dongchao-py/MOSNet CAM++: https://github.com/alibaba/damo-academy ERes2Net: 论文中提及但未提供链接。 🏗️ 方法概述和架构 UniAudio-Token 的核心目标是解决语义语音分词器的“声学失明”问题，即它们为了对齐语言内容而主动抑制声学细节，导致其在非语音任务上表现不佳。该方法通过两个核心组件协同工作：SAP（解决监督冲突）和SAE（解决架构瓶颈），最终输出一个能统一表征语音和通用音频的离散码本。 ...

📄 UNISON: A Unified Sound Generation and Editing Framework via Deep LLM Fusion #语音合成 #语音转换 #音频生成 🔥 8.2/10 | 前25% | #语音合成 | #语音转换 | #音频生成 | arxiv 学术质量 5.9/7 | 影响力 1.7/2 | 可复现性 0.6/2 | 置信度 高 👥 作者与机构 Zhaoqing Li, Haoning Xu (香港中文大学); Jingran Su (香港理工大学); Yaofang Liu (香港城市大学); Zhefan Rao, Haoxuan Che (香港科技大学); Huimeng Wang, Jiajun Deng, Tianzi Wang, Xunying Liu (香港中文大学); Zengrui Jin (清华大学); Rui Liu (华为香港研究中心)。论文同时列出了六所机构作为合作单位。 ...