数据增强

📄 Archon: A Unified Multimodal Model for Holistic Digital Human Generation #多模态模型 #扩散模型 #无监督学习 #生成对抗网络 #数据增强 #语音识别 ✅ 7.5/10 | 前50% | #语音合成 | #生成对抗网络 | #多模态模型 #扩散模型 | arxiv 学术质量 5.5/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 中 👥 作者与机构 论文作者: Chong Bao, Shichen Liu, Lijun Yu, David Futschik, Stylianos Moschoglou, Shefali Srivastava, Ziqian Bai, Feitong Tan, Guofeng Zhang, Zhaopeng Cui, Sean Fanello, Yinda Zhang 发表场合/期刊: arXiv: 2605.30311 研究领域: 计算机视觉、多模态学习、数字人生成 💡 毒舌点评 这篇论文的野心足以撑爆一个顶会，试图用一个模型吞下数字人的所有模态——文本、语音、动画、视频。架构图和“模态思维”的概念确实画了一张好饼，让人眼前一亮。然而，现实很骨感。最硬的伤在可复现性：核心组件依赖闭源的PaLM2和未公开的海量私有数据集，这对于绝大多数研究者而言意味着“看得到，摸不着”。其次，实验评估严重偏科，号称支持72个任务，但主要定量评估只集中在语音驱动视频生成这一两个任务上，其他几十个任务的能力更像是“口头支票”。那个听起来高大上的“模态思维”策略，本质上是一种推理时的链式分解，却缺乏理论解释其为何有效，更像是一种工程上的trick。总体而言，这是一篇方向正确、架构有想法的系统论文，但其科学贡献被工程壁垒和不充分的验证所削弱，难以被认定为一个扎实的里程碑工作。 ...

📄 Audio Jailbreaks in Large Audio-Language Models: Taxonomy, Attack-Defense Analysis, and Cost-Aware Evaluation #多模态模型 #数据增强 🔥 8.9/10 | 前25% | #多模态模型 | #数据增强 | arxiv 学术质量 5.7/7 | 影响力 1.7/2 | 可复现性 1.5/2 | 置信度 高 👥 作者与机构 Bo-Han Feng, Yu-Hsuan Li Liang, Chien-Feng Liu, You-Hsuan Chang, Yun-Nung Chen. 台湾大学（National Taiwan University）。注：论文中明确标注了共同第一作者（*）。 💡 毒舌点评 这篇论文的出发点是好的，试图为混乱的LALM越狱攻击研究建立秩序，像给一群瞎摸大象的盲人递上了一份详细的解剖图谱。分类学部分做得扎实，将语义、声学、信号、嵌入层攻击，以及护盾、训练无关、训练相关防御梳理得井井有条，这是其主要贡献。然而，作为一篇声称提供“统一评估”的论文，其实验部分却显得颇为“保守”甚至“取巧”。评估仅覆盖10个开源模型、仅使用黑盒API访问、仅测试两种防御（一个输入护盾和一个提示），这距离真正全面的“实证研究”还有不小差距。更关键的是，所谓的“成本感知评估”虽然提出了延迟指标，但其分析深度有限，例如对TTS成本、多次查询的累积财务开销、以及防御部署的实际算力成本都未做量化，使得“成本”这一核心论点显得有些浮于表面。论文更像是一个精心设计的、有限范围内的“示范性评估”，而非一个普适的基准。结论中“未来方向”部分写得比实验本身更能激发兴趣，这暗示了当前工作的探索性多于结论性。 📌 核心摘要 本文旨在解决大型音频语言模型（LALMs）越狱攻击研究领域缺乏统一评估框架和标准的问题，特别是忽略了攻击的实际可行性与成本。作者提出了一套涵盖攻击（语义、声学、信号、嵌入层）、防御（基于护盾模型、免训练、基于训练）和基准（跨模态、音频原生、交互式）的统一分类体系（Taxonomy）。通过在十个开源LALMs上进行受控实验，系统评估了代表性攻击（如语义改写、最佳-N搜索）和防御（护盾模型、防御提示）的有效性、良性拒绝率（BRR）和延迟开销。实验结果表明，声学最佳-N（Acoustic BoN）攻击揭示了最强的音频空间漏洞，但需要极高的延迟；叙事框架（Narrative Framing）是有效的低延迟语义威胁。防御方法普遍存在稳健性与可用性（良性拒绝率）之间的权衡：护盾模型精确但对声学搜索脆弱，防御提示更稳健但导致更高的良性拒绝率。论文强调LALM安全评估应是一个多目标问题，需要综合考量攻击成功率（ASR）、良性拒绝率、延迟、成本和隐蔽性。 🔗 开源详情 代码：论文中未提供具体的代码仓库链接。但附录C.5承诺将在论文发表后发布评估代码、攻击配置文件、声学/信号特征向量生成脚本、延迟测量脚本、评判员提示和聚合结果文件。 模型权重：论文评估了10个开源大型音频语言模型，具体权重链接如下： Audio Flamingo 3: https://huggingface.co/GoelVaibhav/audio-flamingo-3-hf DeSTA2.5-Audio: https://github.com/desta-team/DeSTA2.5-audio Fun-Audio-Chat-8B: https://huggingface.co/InclusionAI/Fun-Audio-Chat-8B midashenglm-7b-1021-bf16: https://huggingface.co/MiMo-midashenglm/midashenglm-7b-1021-bf16 MOSS-Audio-4B-Instruct: https://huggingface.co/OpenMOSS/MOSS-Audio-4B-Instruct MOSS-Audio-8B-Instruct: https://huggingface.co/OpenMOSS/MOSS-Audio-8B-Instruct Phi-4-multimodal-instruct: https://huggingface.co/microsoft/Phi-4-multimodal-instruct Qwen3-Omni-30B-A3B-Instruct: https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct Voxtral-Mini-3B-2507: https://huggingface.co/mistralai/Voxtral-Mini-3B-2507 Voxtral-Small-24B-2507: https://huggingface.co/mistralai/Voxtral-Small-24B-2507 数据集： JailbreakBench (JBB-Behaviors)： https://huggingface.co/datasets/JailbreakBench/JBB-Behaviors (MIT 许可证) Demo：论文中未提及。 复现材料：论文中承诺发布支持复现的评估代码和配置文件（附录C.5），但未说明具体时间。 论文中引用的开源项目： Qwen3-TTS： https://huggingface.co/Qwen/Qwen3-TTS-12Hz-1.7B-VoiceDesign (用于语音合成) VoiceShield (voiceSHIELD-small)： https://huggingface.co/Emvo-ai/voiceSHIELD-small (用作输入防御) gpt-oss-safeguard-20b： https://huggingface.co/openai/gpt-oss-safeguard-20b (用作 LLM 评判员) whisper-large-v3： https://huggingface.co/openai/whisper-large-v3 (用于可懂度测试) JailbreakBench： https://huggingface.co/datasets/JailbreakBench/JBB-Behaviors (基准数据集) AdvBench：论文中提及，为被转换为语音的基础文本安全基准。 Llama-Guard：论文中提及，为文本/视觉领域外部防御模型。 ShieldVLM：论文中提及，为文本/视觉领域外部防御模型。 🏗️ 方法概述和架构 本文的方法核心是构建一个统一的分类框架（Taxonomy）并在此框架下进行受控的实证评估。 ...

📄 Dial HEALTHDIAL for Advice: A Multilingual and Multi-Parallel Spoken Dialogue Dataset for Knowledge-Grounded Information Seeking #数据集 #数据增强 #多语言 #低资源 #语音合成 #语音识别 🔥 8.6/10 | 前25% | #语音合成 | #数据增强 | #数据集 #多语言 | arxiv 学术质量 5.3/7 | 影响力 1.3/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 Songbo Hu1, Yinhong Liu1, Ej Zhou1*, Evgeniia Razumovskaia1, Xiaobin Wang2, Alexander Fraser3, Ivan Vulić1†, Anna Korhonen1† 1语言技术实验室，剑桥大学，英国 2独立研究者 3计算、信息与技术学院，慕尼黑工业大学，德国 *共同第一作者，†共同通讯作者 💡 毒舌点评 这篇论文做了一件“正确但保守”的事：为多语言对话系统构建了一个大规模、高质量的基准数据集。其方法论清晰，开源彻底，是社区需要的基础设施。然而，主要问题在于其“合成”本质和“管道式”评估框架。用LLM生成对话再由人录音，虽然解决了隐私和成本问题，但得到的终究是“假设性”的健康咨询，与真实世界复杂、混乱的患者交互相去甚远。更关键的是，所有基准测试都基于传统的ASR->检索->LLM->TTS管道，这固然是当前的技术现实，但使得数据集的核心价值——支持原生语音对话模型研究——大打折扣。论文在揭示跨语言性能差异上做得不错，但这更多是现有模型（如Whisper, GPT）多语言能力不均衡的反映，而非数据集本身的独特发现。总体而言，这是一篇扎实的资源论文，但未能在方法论或系统评估上带来突破性视角，更像是一份详尽的“使用说明书”。 ...

📄 Mitigating Stethoscope-Induced Shortcuts in Respiratory Sound Classification under Federated Domain Generalization with Causality-Inspired Interventions #联邦学习 #数据增强 #多模态模型 #音频分类 🔥 8.5/10 | 前25% | #音频分类 | #联邦学习 | #数据增强 #多模态模型 | arxiv 学术质量 5.5/7 | 影响力 1.5/2 | 可复现性 1.5/2 | 置信度 中 👥 作者与机构 未提及论文作者和机构信息。 💡 毒舌点评 这篇论文试图解决一个实际且重要的问题——呼吸声分类模型在跨听诊器设备时的性能下降，并提出了一个包含因果干预、反事实文本增强和梯度对齐的联邦学习框架（BTS-CAFE）。其核心动机（打破设备风格与病理内容的虚假关联）是合理的。然而，评审感觉论文在几个关键方面存在不足：1) “首次提出”的声明过于绝对，对相关工作的综述和定位不够严谨；2) 实验设置虽模拟了联邦场景，但“单客户端”的评估与实际大规模联邦应用存在差距；3) 作者声称的“最佳”性能有时仅比次优方法高零点几，统计显著性存疑；4) 讨论部分对局限性的挖掘流于表面，未深入探讨方法在更复杂异质场景下的潜在失效模式。总体而言，这是一份扎实的工作，但在深度和说服力上仍有提升空间。 📌 核心摘要 本文针对呼吸声分类（RSC）模型因听诊器设备异质性导致的分布偏移问题，提出了一个联邦域泛化（FedDG）框架BTS-CAFE。其核心观察是，听诊器特有的设备风格（S）与疾病相关内容（C）在表征中高度纠缠，传统的确定性风格移除方法会损害病理信息。为此，BTS-CAFE集成了三个关键组件：1）因果启发式的生成式设备风格干预网络（GIN），通过可控的增益、随机分组卷积和频率掩码进行内容保持的风格扰动，近似于因果干预 do(S)；2）反事实文本增强，中和文本元数据中可能携带的设备捷径；3）基于单样本全模型梯度的对齐正则化，鼓励跨客户端的设备不变决策边界。基于CLAP多模态预训练模型，该方法在ICBHI和SPRSound数据集的“留一设备外”（LODO）联邦验证设置下，相比传统数据增强和联邦学习基线，在域外（OOD）性能上取得了一致的提升。 🔗 开源详情 代码：论文中未提及具体代码仓库链接。文中明确声明“Code will be released upon publication”。 模型权重：未提及。 数据集： ICBHI：论文引用了原始数据集 [24]，但未提供获取链接。通常可通过PhysioNet获取。 SPRSound：论文引用了数据集 [30]，未提供获取链接。 Demo：未提及。 复现材料：提供了关键训练配置（学习率、轮次、硬件）、评估协议（LODO, Score指标）和超参数。但未提供模型权重或完整代码包。 论文中引用的开源项目： CLAP：提供了HuggingFace链接 https://huggingface.co/laion/clap。 AST, BTS, FedAvg, FedSR, FedIIR, PromptFL, FedCAug, CutMix, Mixup, RepAugment, SpecAugment：仅提供了文献引用，未提供代码仓库链接。 🏗️ 方法概述和架构 BTS-CAFE框架构建在BTS多模态音频-语言预训练模型之上，旨在解决联邦学习（FL）场景下，由客户端（每个客户端使用单一听诊器设备）异质性引起的域偏移问题。其核心思想是，通过因果启发式的干预和正则化，使全局模型学习与设备风格S无关、只依赖疾病内容C的表征，从而泛化至未见设备d⋆。整个框架包含以下三个核心组件，它们在本地训练循环中协同作用： ...

📄 Dasheng AudioGen: A Unified Model for Generating Coherent Audio Scenes from Text #音频生成 #语音合成 #音乐生成 #多模态模型 #扩散模型 #流匹配 #模型评估 #数据增强 🔥 8.6/10 | 前25% | #音频生成 | #数据增强 | #语音合成 #音乐生成 | arxiv 学术质量 6.6/7 | 影响力 1.6/2 | 可复现性 0.4/2 👥 作者与机构 作者: Jiahao Mei (1, 2), Heinrich Dinkel (2), Yadong Niu (2), Xingwei Sun (2), Gang Li (2), Yifan Liao (2), Jiahao Zhou (2), Junbo Zhang (2), Jian Luan (2), Mengyue Wu (1) 机构: 1: X-LANCE Lab, Shanghai Jiao Tong University, Shanghai, China 2: MiLM Plus, Xiaomi Inc., Beijing, China ...

📄 Diffusion Large Language Models for Visual Speech Recognition #参数高效微调 #数据增强 ✅ 7.0/10 | 前25% | #语音识别 | #参数高效微调 | #数据增强 | arxiv 学术质量 7.0/7 | 影响力 7.0/2 | 可复现性 1.0/2 | 置信度 高 👥 作者与机构 作者：Jeong Hun Yeo, Chae Won Kim, Hyeongseop Rha, Yong Man Ro†（†通讯作者） 机构：韩国科学技术院（KAIST）集成视觉语言实验室（Integrated Vision Language Lab） 💡 毒舌点评 本文是一篇“站在巨人肩膀上”的应用型工作。其核心想法——将扩散大语言模型（DLLM）引入视觉语音识别（VSR）以解决自回归解码的局限——是直接且合理的。实验结果（19.5% WER）也确实刷新了LRS3-only设置下的SOTA，证明了该范式在此任务上的有效性。然而，审稿人必须指出：1) 创新性深度有限，主要贡献是将现有DLLM解码策略（置信度解掩码）和训练技巧（两阶段训练）应用到VSR领域，而非提出全新的模型架构或理论；2) 实验的严谨性和全面性存在明显短板，消融实验严重不足，跨数据集验证薄弱；3) 部分关键实现细节（如阈值、训练超参数）缺失，影响了可复现性。总体而言，这是一篇扎实的系统工程工作，但在作为一篇NeurIPS/ICML/ICLR级别的论文时，其理论创新和实验的完备性还有提升空间。 📌 核心摘要 本文针对视觉语音识别（VSR）中自回归解码器因固定从左到右生成顺序而无法有效处理视觉模糊性的局限，提出了首个基于扩散大语言模型（DLLM）的VSR框架（DLLM-VSR）。该方法将转录过程建模为在固定长度画布上的迭代掩码去噪，允许灵活顺序解码。核心设计包括：1) 基于置信度的解掩码策略，优先解码并固定高置信度token，将其作为双向上下文来指导模糊位置的预测；2) 为适配VSR而设计的两阶段掩码去噪训练策略，第一阶段专注于文本内容对齐，第二阶段学习长度建模（填充padding token）；3) 一种长度引导的候选解码方法，利用视频时长预测多个可能的转录长度假设，并行解码后通过联合重排序选择最佳结果。在LRS3数据集上，DLLM-VSR仅使用其标注数据训练便达到了19.5%的词错误率（WER），建立了新的最优性能。 🔗 开源详情 代码：https://bit.ly/DLLM-VSR （已提供，可访问） 模型权重：论文中未提及是否开源预训练的DLLM-VSR模型权重。 数据集：论文中提及使用LRS3和LRS2数据集，但未提供下载地址或开源协议链接（LRS3/LRS2通常需要申请）。 Demo：论文中未提及。 复现材料：论文提供了代码，但未明确说明是否包含完整的训练配置、脚本、环境说明以及两阶段训练的具体参数设置。 论文中引用的开源项目： Dream (基于Qwen2.5): https://github.com/ArtificialAnalysis/Dream LLaDA: https://github.com/ArtificialAnalysis/LLaDA LaViDa: https://github.com/ArtificialAnalysis/LaViDa Dimple: https://github.com/ArtificialAnalysis/Dimple DreamOn: https://github.com/ArtificialAnalysis/DreamOn DAEDAL: https://github.com/ArtificialAnalysis/DAEDAL Block Diffusion: https://github.com/ArtificialAnalysis/Block-Diffusion wav2vec 2.0: https://github.com/facebookresearch/wav2vec Whisper: https://github.com/openai/whisper Qwen2.5: https://github.com/QwenLM/Qwen2.5 🏗️ 方法概述和架构 本文提出的DLLM-VSR框架（如图2所示）旨在将扩散大语言模型的灵活解码能力应用于视觉语音识别任务。其整体架构包含一个冻结的视觉编码器、一个长度适配器、两个投影层以及一个基于LoRA适配的DLLM解码器。核心创新在于解码方式和训练策略的重新设计。 ...

📄 Unified Synthesis of Compositional Speech and Sound from Free-Form Text Prompts #语音合成 #多任务学习 #自回归模型 #生成模型 #对比学习 #多模态模型 #数据增强 🔥 8/10 | 前25% | #语音合成 | #多任务学习 | #自回归模型 #生成模型 | arxiv 学术质量 6/7 | 影响力 1.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 第一作者：Yuyue Wang（中国人民大学） 通讯作者：Xihua Wang（中国人民大学） 机构：中国人民大学 💡 毒舌点评 一篇动机明确、架构清晰的工作，定义了‘自由文本到统一音频生成’这一有潜力的任务，并提出了一个不错的解决方案。然而，如同许多初次尝试定义新任务的工作，其‘统一’的光环在实验部分略显褪色。基线选择过于保守，仅与较早的VoiceLDM和流水线方法对比，对近期涌现的AudioBox、Fugatto等强力竞争对手视而不见，这让其‘优越性’的宣称打了折扣。实验部分更像是精心设计的‘能力展示’而非公平‘竞技场’，尤其是主观评估样本量仅50个，说服力有限。论文的‘未来工作’比‘当前工作’更有吸引力。整体是一篇扎实但不够大胆的论文，创新有余，验证不足。 📌 核心摘要 本文针对“自由文本提示生成统一音频”这一新任务，提出了PlanAudio框架。该任务旨在直接从自然语言提示合成包含语音、音效及其复合交互的统一音频流。PlanAudio是一个基于自回归LLM的统一模型，其核心创新是引入“语义潜在思维链”机制，在连续语义空间进行隐式规划，以桥接高语义理解与低层声学生成。模型采用单一Transformer骨干，直接处理文本，无需外部文本编码器或重写模块。作者还构建了专用的复合音频评估基准PlanAudio-Bench。实验表明，PlanAudio在复合场景下优于基线方法，并在单独音效和语音任务上保持竞争力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及模型权重的公开链接。 数据集：论文中提及基于以下公开数据集构建训练数据，并合成了新的基准数据集。具体获取方式如下： AudioSet: 论文用于合成复合音频数据，未提供数据集本身的直接链接。 AudioCaps: 论文用于声音生成评估，未提供链接。 WavCaps: 论文用于声音生成，未提供链接。 LibriTTS: 论文用于语音生成评估，未提供链接。 PlanAudio-Bench：论文中提出的新基准测试集，论文中未提及公开获取链接。 Demo：论文中未提及。 复现材料：论文中未提及训练配置、检查点等复现材料的公开链接。 论文中引用的开源项目： Qwen2.5-1.5B: 作为模型初始化的基础LLM。 链接: https://huggingface.co/Qwen/Qwen2.5-1.5B AudioCraft tokenizer: 用于将音频离散化为分层标记。 链接: https://github.com/facebookresearch/audiocraft AF3Encoder (Audio Flamingo 3 Encoder): 用于提取语义表示。 论文中未提供具体链接。 Whisper: 用于生成转录。 论文中未提供具体链接。 Gemini-2.5 Pro: 用于数据标注和文本改写。 论文中未将其列为开源项目。 🏗️ 方法概述和架构 PlanAudio是一个端到端的自回归LLM框架，旨在直接从自由形式文本提示生成包含语音和音效的统一音频波形。其核心架构（如图2所示）基于单一Transformer骨干（初始化自Qwen2.5-1.5B），将文本、潜在规划特征和离散音频token组织成一个统一序列进行处理。 ...

📄 When Helpful Context Leaks: Privacy Risks in Domain-Adapted ASR #语音识别 #数据增强 #参数高效微调 #大语言模型 🔥 10/10 | 前50% | #语音识别 | #参数高效微调 | #数据增强 #大语言模型 | arxiv 学术质量 6.9/7 | 影响力 1.8/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 作者：Maike Züfle， Jan Niehues 机构：卡尔斯鲁厄理工学院（Karlsruhe Institute of Technology, Germany） 💡 毒舌点评 这篇论文指出了一个实际且有趣的“盲点”：当你为了让ASR模型听懂行话而给它提供上下文或微调时，它可能会因为“听岔了”而泄露这些行话本身。这就像你告诉助理“Nexus是我们秘密项目的代号”，结果他在听到有人说了声“Texas”时，却大喊“Nexus！”一样。作者很聪明地将这个现象定义为一种非对抗性的、源于正常使用机制的隐私风险，并用一个设计精巧的控制实验进行了量化。不过，论文的“解决方案”部分——在提示中同时加入正确词和错误词——在实践中显得有些天真，更像是一个诊断工具而非真正的防御。整体上，这是一篇发现问题的警醒之作，技术深度适中，但实验设计的完备性和开源贡献值得肯定。 📌 核心摘要 本文研究了语音大语言模型（SpeechLLMs）在领域自适应过程中引入的一个未被充分认识的隐私风险：上下文诱导的转录泄露。当用户通过提示词注入上下文或对模型进行领域微调以提升专业术语识别能力时，如果说话者发出一个与上下文或训练数据中某个私有术语语音相似的词，模型可能会错误地转录为该私有术语，从而无意中泄露信息。作者构建了一个包含679个语音相似词对的控制评估数据集，并在两个前沿SpeechLLM（Qwen2.5-Omni-7B， Phi-4-multimodal-instruct）上评估了提示注入和微调两种自适应机制的影响。实验表明，两种机制都会导致可测量的泄露率，且结合使用时泄露效应会加剧。论文还探讨了一种在提示中同时提供正确词与泄露词的缓解策略，并分析了准确性-泄露率权衡，最终发现仅进行微调而不注入提示上下文能在保持高准确率的同时实现近乎零泄露，但在实际应用中难以实现。 🔗 开源详情 代码：https://github.com/maikezuefle/asr-context-induced-leakage 模型权重： Qwen2.5-Omni-7B：https://huggingface.co/Qwen/Qwen2.5-Omni-7B Phi-4-multimodal-instruct：https://huggingface.co/microsoft/Phi-4-multimodal-instruct 数据集：论文中构建的评估数据集（包含679个音素相似词对、生成的上下文句子、合成音频）通过上述代码仓库发布，链接为：https://github.com/maikezuefle/asr-context-induced-leakage Demo：论文中未提及 复现材料：论文在附录A和B中提供了详细的数据准备过程（如使用spaCy和CMU词典的音素相似词对提取、使用Gemma-3-12B生成上下文和填充句子的提示）、Kokoro-82M TTS合成配置（使用美国英语声音列表）、以及两个模型的微调超参数配置（LoRA设置、优化器参数等），这些信息结合代码足以支持复现主要实验。 论文中引用的开源项目： spaCy (用于命名实体识别): en_core_web_trf 模型。论文未提供独立链接，但spaCy是一个广泛使用的开源项目，主页为 https://spacy.io/。 CMU Pronouncing Dictionary (用于查找音素相似词): 论文提供了访问地址：http://www.speech.cs.cmu.edu/cgi-bin/cmudict Kokoro-82M TTS (用于语音合成): https://huggingface.co/hexgrad/Kokoro-82M LlamaFactory (用于微调Qwen模型): 论文引用了该框架，其开源项目主页为 https://github.com/hiyouga/LLaMA-Factory HF Transformers + Accelerate (用于微调Phi-4模型): 论文提及使用了Hugging Face的Transformers库和Accelerate库，其官方项目为 https://github.com/huggingface/transformers 和 https://github.com/huggingface/accelerate。 🏗️ 方法概述和架构 本文方法的核心是构建一个可控的评估框架，以量化“上下文诱导的转录泄露”现象。整个方法流程可分为三个主要阶段：评估数据集构建、模型自适应设置和泄露度量与缓解评估。 ...

📄 Why We Need Speech to Evaluate Speech Translation #语音翻译 #多模态模型 #参数高效微调 #数据增强 🔥 8.3/10 | 前50% | #语音翻译 | #参数高效微调 | #多模态模型 #数据增强 | arxiv 学术质量 5.2/7 | 影响力 1.5/2 | 可复现性 1.6/2 | 置信度 高 👥 作者与机构 Maike Züfle (1), Danni Liu (1), Vilém Zouhar (2), Jan Niehues (1) 1 Karlsruhe Institute of Technology (KIT), 2 ETH Zurich 💡 毒舌点评 这篇论文像一位严谨的诊断医生，成功地揭示了一个重要但被忽视的病症：当前的语音翻译评估指标（无论是文本还是语音输入）对性别一致性和韵律等语音特有现象几乎完全失明。其诊断过程（系统性的元评估、新模型训练、深入的探测实验）无可挑剔，结论有理有据。然而，它最大的缺点在于“只诊断，不治病”。论文明确指出了三个病根（编码器信息丢失、模型忽略语音源、训练数据不足），却未能提出任何有效的解决方案或有潜力的治疗方向。这使得文章的贡献止步于“揭示问题”，而非“解决问题”。对于期望看到方法创新或突破性结果的审稿人来说，这无疑会拉低评价。不过，这种扎实的“问题定位”工作为后续研究铺平了道路，价值不容否认。 📌 核心摘要 本文针对语音翻译（ST）评估中存在的盲点展开研究。核心发现是：现有的文本和语音质量估计（QE）指标，包括直接使用语音输入的BLASER和SpeechQE，均无法评估语音翻译中至关重要的性别一致性和韵律现象，其表现接近随机猜测。为探究原因，作者训练了SpeechCOMET模型家族（基于SONAR和Whisper编码器）并评估了SpeechLLM作为评估器。两者在标准QE任务（IWSLT数据集上的相关性评分）上表现良好，甚至超越了文本基线COMETKiwi，但在语音特有现象评估上同样失败。通过探测实验，论文揭示了三个根本原因：1）SONAR等编码器抑制了声学特征；Whisper和SpeechLLM的编码器保留声学特征但模型未使用；2）QE模型在训练中倾向于忽略语音源信号；3）标准QE训练数据中缺乏相关示例。论文开源了所有模型和代码，并呼吁开发专门的语音特定数据集和真正依赖语音的模型。 🔗 开源详情 代码：https://github.com/MaikeZuefle/speechCOMET 模型权重：论文中未提及模型权重的直接下载链接，需根据代码和超参数自行训练。 数据集：使用了 IWSLT 2026 Metrics Shared Train Dev， MuST-SHE， ContraProST， WMT Human All 数据集，均为第三方公开数据集，论文未提供直接获取链接。 Demo：论文中未提及在线演示链接。 复现材料：论文在附录中提供了详尽的训练超参数（表4，表5）、模型架构细节（第3.1、3.2节）、数据处理方法（附录A.3）和消融实验结果（附录B），这些信息均包含在论文正文及附录中，可复现性高。 论文中引用的开源项目： COMET/COMETKiwi: 用于质量估计的基线模型。链接：https://github.com/unilm/comet SONAR: 用于语音编码的多语言模型。链接：https://github.com/facebookresearch/SONAR Whisper: 用于语音编码和语音识别的模型。链接：https://github.com/openai/whisper Qwen2.5 Omni: 论文中作为SpeechLLM进行评估的多模态大模型。链接：https://github.com/QwenLM/Qwen2.5-Omni (根据论文作者和名称推断) LlamaFactory: 用于微调大语言模型的框架（用于SpeechLLM的微调）。链接：https://github.com/hiyouga/LLaMA-Factory spaCy: 用于语言特征探测的NLP工具。链接：https://github.com/explosion/spaCy Kokoro TTS & MMS TTS: 用于合成训练数据的文本转语音系统。链接：https://github.com/hexgrad/kokoro (Kokoro)， https://github.com/facebookresearch/fairseq/tree/main/examples/mms (MMS TTS) 🏗️ 方法概述和架构 本文方法主要分为三部分：1）对现有指标的元评估，2）训练新的语音感知QE模型SpeechCOMET，3）评估SpeechLLM作为QE模型。 ...

📄 CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS #语音编辑 #强化学习 #多模态模型 #自回归模型 #语音识别 #数据增强 ✅ 7.2/10 | 前25% | #语音编辑 | #强化学习 | #多模态模型 #自回归模型 | arxiv 学术质量 7.2/7 | 影响力 7.5/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 Junyang Chen (陈俊阳), Yuhang Jia (贾宇航), Hui Wang (王辉), Jiaming Zhou (周佳明), Yongchang Gan (甘永昌), Yong Qin (覃勇)。 机构：南开大学计算机科学学院（1），南开大学人工智能学院（2）。通讯作者：chenjunyang@mail.nankai.edu.cn, qinyong@nankai.edu.cn。第一作者与通讯作者标注。 💡 毒舌点评 摘要写得像广告文案，充满了“substantially”、“deeper”、“unlocks”这类形容词。方法部分看似复杂，但核心就是给GRPO换了一套更适合编辑任务的奖励函数。实验结果在多个benchmark上看起来都不错，但仔细一想，和SOTA的差距有时只有零点几个百分点，而且很多baseline其实并不强。最有趣的是，这篇论文发现一个编辑模型居然能提升其基础TTS模型的性能，这到底是编辑任务的特殊性，还是仅仅因为用更多数据（虽然是构造的）和RL微调了一遍LLM？此外，声称“首个编辑导向的奖励组合”需要打上问号，因为相关工作ECPA已经用了GRPO，奖励设计思路有重叠。代码、模型权重均未开源，复现门槛极高。 📌 核心摘要 本文提出了CosyEdit2，一个基于两阶段后训练框架的语音编辑模型。第一阶段使用监督微调（SFT）在配对编辑数据上初始化模型能力。第二阶段引入编辑导向的组相对策略优化（GRPO），核心创新在于使用无需目标语音的构造数据（将任意TTS语料转换为编辑提示）和针对编辑任务设计的多奖励信号（内容正确性、声学保持、说话人一致性）对语言模型进行强化学习。实验表明，该模型在语音编辑任务上达到了与强基线可比或更优的性能，尤其在声学一致性方面表现突出，并且其获得的强化学习优化能力能够意外地提升基础模型的零样本TTS性能，揭示了两个任务间的相互促进关系。 🔗 开源详情 代码：论文未提供CosyEdit2的代码仓库链接。演示页面 https://cjy1018.github.io/CosyEdit2 主要用于展示音频样本，未提及包含代码。 模型权重： CosyEdit2模型：论文中未提供CosyEdit2（包括各阶段微调后的LLM、Flow、BigVGAN）的权重下载链接。 CosyVoice2模型：作为基础模型，其链接为 https://huggingface.co/FunAudioLLM/CosyVoice2-0.5B。 数据集： GigaEdit-S：阶段一训练数据，源自GigaSpeech-S，未提供独立下载链接。 LibriTTS / LibriTTS-R / YODAS2：用于训练BigVGAN的混合数据集。论文引用了LibriTTS，但提供的Hugging Face链接 https://huggingface.co/datasets/keithito/lj_speech 实际是LJ Speech，并非LibriTTS，此处表述有误。YODAS2和Ming-Freeform-Audio-Edit等评估集均未提供链接。 VoiceBank-DEMAND-16k：用于声码器重建实验，链接为 https://huggingface.co/datasets/JacobLinCool/VoiceBank-DEMAND-16k。 SEED-TTS-EVAL：评估基准，链接为 https://github.com/bytedance/Seed-TTS-Eval。 Demo：提供了音频样本演示页面 https://cjy1018.github.io/CosyEdit2。 复现材料： 训练细节与模型配置：附录B-D详细描述了架构、超参数和训练流程，是复现的关键信息。 评估脚本与指标：提及使用了评估脚本和指标（WER, SS, DNSMOS, MCD），但未提供具体评估代码。 论文中引用的开源项目：包括CosyVoice2、Qwen2.5、WhisperX、BigVGAN（提供链接 https://huggingface.co/nvidia/bigvgan_v2_22khz_80band_256x）、nlpaug、RoBERTa、pymcd等。 🏗️ 方法概述和架构 CosyEdit2构建于CosyVoice2的语音-语言建模骨干之上，将其零样本提示式接口重构为语音编辑任务。其架构包含五个核心模块：文本分词器、语音分词器、自回归文本-语音语言模型（LLM）、条件流匹配模型（Flow）和BigVGAN声码器。 ...

📄 MERIT: Learning Disentangled Music Representations for Audio Similarity #音频检索 #对比学习 #数据增强 #自监督学习 🔥 9/10 | 前25% | #音频检索 | #对比学习 | #数据增强 #自监督学习 | arxiv 学术质量 5.7/7 | 影响力 1.5/2 | 可复现性 1.8/2 | 置信度 高 👥 作者与机构 Abhinaba Roy, Junyi Liang, Dorien Herremans. 新加坡科技设计大学 (Singapore University of Technology and Design)， 香港中文大学（深圳） (The Chinese University of Hong Kong, Shenzhen)。 💡 毒舌点评 这篇论文提出了一个解决音乐表示学习中因子纠缠问题的清晰框架。其核心思想（利用生成模型构建因子控制数据）新颖且技术上是可行的，实验结果也令人信服，特别是零样本探测部分。然而，它并非没有明显的弱点。论文对自身核心创新点（生成数据管道）的质量控制和潜在偏差分析不足，这本应是审稿人最关注的一点。对“音色”这一关键概念的定义过于粗糙，用乐器类别标签来近似，这严重限制了其声称的“解耦”在更细粒度上的意义。此外，相关工作部分未能充分定位其与更广泛解耦表示学习领域的联系，使其贡献显得有些孤立。整体而言，这是一篇扎实但有明确短板的工作，距离顶会完美论文尚有差距。 📌 核心摘要 MERIT 是一个用于学习音乐表示的解耦框架，旨在将旋律、节奏和音色这三个核心维度分离为独立的、可查询的相似性空间。它在冻结的预训练 MERT 模型之上，训练三个独立的轻量级投影头。关键挑战在于获取单因子变化的训练数据，论文通过一种新颖的数据构造策略解决了这一问题：利用 JASCO 条件生成模型构造旋律和节奏的正样本，利用源分离数据构造音色的正样本。在内部因子控制测试集上，每个投影头在其目标因子上达到接近 100% 的三元组准确率，并对其他因子表现出低敏感性。在三个独立的真实世界数据集（MUSDB18-HQ， Ballroom， Covers80）的零样本探测中，相应的专用投影头表现最佳或接近最佳，证明了因子特异性在合成分布之外也能有效泛化。 ...

📄 PilotTTS: A Disciplined Modular Recipe for Competitive Speech Synthesis #语音合成 #语音生成 #自回归模型 #生成对抗网络 #数据增强 #低资源 #多任务学习 #语音克隆 🔥 9.2/10 | 前25% | #语音合成 | #生成对抗网络 | #语音生成 #自回归模型 | arxiv 学术质量 5.7/7 | 影响力 1.8/2 | 可复现性 1.7/2 | 置信度 高 👥 作者与机构 作者：Bowen Li, Shaotong Guo, Zhen Wang, Yang Xiang, Mingli Jin, Yihang Lin, Jiahui Zhao, Weibo Xiong, Dongrui Li, Keming Chen, Yunze Gao, Yuze Zhou, Zeyang Lin, Yue Liu 机构：高德（Amap, Alibaba Group）；香港中文大学（深圳） ...

📄 Rethinking Continual Learning for Speech and Audio: A Representation-Centric Taxonomy and Open Problems #持续学习 #自监督学习 #语音识别 #语音增强 #音频事件检测 #声纹识别 #多模态模型 #参数高效微调 #正则化微调 #数据增强 ✅ 7.5/10 | 前50% | #语音识别 | #自监督学习 | #持续学习 #语音增强 | arxiv 学术质量 4.8/7 | 影响力 1.5/2 | 可复现性 1.2/2 | 置信度 中 👥 作者与机构 论文作者为：Yang Xiao, Siyi Wang, Eun-Jung Holden, Ting Dang。 未在论文中明确提及作者所属的具体机构。 💡 毒舌点评 这篇文章就像一篇精心整理的“会议纪要”，而不是一篇能发在顶会的“研究提案”。它准确地指出了“房间里的大象”——现代语音基础模型下CL问题的表征纠缠本质，并为此绘制了一张详尽的“地图”（分类法）。然而，地图画得再好，也只是静态的。审稿人最想看到的是你如何沿着地图勘探、挖掘宝藏（验证你的分类和观点），但作者只是把工具（现有方法）摆出来，说“这些工具在这些地方用起来会遇到困难”。全文充满了“应该”和“未来方向”，却缺少了“我做了什么”和“我证明了什么”。将LALM的训练流程强行塞入CL框架进行解读，立意巧妙，但更像是一个有趣的观察而非深刻的贡献，且论述缺乏形式化的支撑。总而言之，这是一篇合格的、有用的“问题导向型”综述，但其理论贡献的深度（分类法的形式化定义与验证）和实验上的空洞，使其离顶会标准尚有距离。 📌 核心摘要 本文针对语音基础模型时代持续学习（CL）面临的挑战，提出了一种以表征演化为中心的新视角和分类法。作者指出，现代语音基础模型学习的是高度纠缠的连续共享表征，因此CL的核心挑战在于保持和演化这种表征的几何结构，而非传统的任务知识保留。文章据此将语音CL场景划分为几何保持、几何扩展、几何对齐和几何特化四类，并进一步分析了现有缓解策略（回放、正则化、架构隔离）在应对纠缠表征时的局限性。同时，文章将大型语言音频模型（LALMs）的多阶段后训练流程解读为一种隐式的多模态持续学习管线，并映射到上述分类中。最后，文章提出了隐私敏感的持续预训练和缺失模态适应等开放问题。本文为语音CL研究提供了新的问题框架和方向，但作为一篇综述和理论探讨文章，缺乏实验验证，其提出的分类法的深度和实用性有待进一步检验。 🔗 开源详情 代码：论文中明确提到一个GitHub列表用于获取所有参考文献（https://github.com/yangxiao1202/RethinkingCL-speech）。该列表很可能包含了文中引用的相关项目（如wav2vec 2.0, HuBERT, Whisper等）的代码链接。 模型权重：论文未提及作者开发的新模型权重。引用的第三方基础模型的官方权重链接，推测包含在上述GitHub列表中。 数据集：论文未提及本研究使用或提供的具体数据集。文中提及“大规模、异构的音频语料库”和“静态数据集”作为训练基础，但未指明具体名称。 Demo：未提及。 复现材料：作为一篇理论综述文章，未提供具体的训练配置、模型检查点或详细的附录材料。 论文中引用的开源项目： wav2vec 2.0：官方链接通常为 https://github.com/facebookresearch/wav2vec2。 HuBERT：官方链接通常为 https://github.com/facebookresearch/hubert。 Whisper：官方链接通常为 https://github.com/openai/whisper。 LALMs：这是一个泛指类别，非单一项目。 LoRA：论文引用自 https://arxiv.org/abs/2106.09685，通常伴随代码实现。 EWC 和 LwF：为经典方法，有多种开源实现，论文中未指定特定版本。 总结说明：本篇论文的核心开源信息集中于作者维护的GitHub列表。论文本身未提供用于复现新方法的代码、模型或数据。 🏗️ 方法概述和架构 本文的核心方法是提出一个理论分析框架和新的分类体系，而非具体的算法或模型。其方法论架构可分为两个相互关联的部分： ...

📄 CosyEdit2: Speech-Editing-Oriented Reinforcement Learning Unlocks Better Zero-Shot TTS #语音合成 #强化学习 #语音编辑 #零样本 #自回归模型 #数据增强 🔥 8/10 | 前50% | #语音合成 | #强化学习 | #语音编辑 #零样本 | arxiv 学术质量 5.6/7 | 影响力 1.6/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 论文作者为Junyang Chen, Yuhang Jia, Hui Wang, Jiaming Zhou, Yongchang Gan, Yong Qin。机构为南开大学计算机科学学院和人工智能学院。 💡 毒舌点评 这篇论文的工作量扎实，实验全面，还“意外”挖到了一个金矿——编辑训练竟能反哺TTS，这发现本身就有价值。但问题在于：1. 架构上基本是前作的“拼装车”（CosyEdit/CosyVoice2），核心创新集中在训练策略上，作为顶会工作，架构层面的新意略显不足。2. 对于“为什么编辑能提升TTS”这个最有趣的问题，解释停留在“现象观察+合理推测”层面，缺乏如注意力分析或探针实验等机制层面的深入挖掘，让人不够过瘾。3. GRPO仅用3000条数据训练，奖励函数里一堆超参数（k_w, α, k_m, δ, γ, λ等）的设定依据是“人耳听辨”，这既让人怀疑是否过拟合了这个小数据集，也降低了方法的可复现性和理论美感。总的来说，是一篇扎实的工程性工作，但理论深度和解释力上差点意思。 📌 核心摘要 针对监督微调（SFT）在语音编辑中存在的配对数据缺陷和优化目标粗粒度问题，本文提出CosyEdit2模型。该模型采用两阶段后训练框架：第一阶段通过SFT进行能力初始化；第二阶段提出编辑导向的组相对策略优化（GRPO），在无需人工构建目标语音的“无目标语音”数据上进行训练，奖励函数综合考虑了内容正确性、声学保留和说话人一致性。大量实验表明，CosyEdit2不仅在多项语音编辑基准上取得领先性能，还意外地显著提升了骨干模型的零样本语音合成能力，并且这种提升能跨语言迁移，揭示了语音编辑与合成任务在底层能力上的深刻联系。 🔗 开源详情 代码：论文中未提及代码仓库或开源计划。 模型权重：论文中未提及预训练模型或微调检查点的公开下载链接。 数据集： 训练数据： GigaEdit-S：论文中使用的250小时编辑数据集，未提供独立公开链接。 LibriTTS / LibriTTS-R：公开数据集。获取链接：https://www.openslr.org/60 , https://www.openslr.org/108 。 YODAS2：用于引入野外声学条件的YouTube语音数据集，未提供独立链接。 GigaSpeech-XL：用于构造GRPO提示的TTS语料。获取链接：https://github.com/speechcolab/gigaspeech 。 评估数据集： Ming-Freeform-Audio-Edit：语音编辑评估基准，未提供独立链接。 RealEdit：来自VoiceCraft的评估基准，未提供独立链接。 CV3-EVAL：来自CosyVoice3的评估套件，未提供独立链接。 SEED-TTS-EVAL：公开TTS评估基准。获取链接：https://github.com/bytedance/seed-tts-eval 。 VoiceBank-DEMAND：用于声码器重建实验。获取链接：https://datashare.ed.ac.uk/handle/10283/2791 。 Demo：音频样本主页：https://cjy1018.github.io/CosyEdit2 。 复现材料：论文附录详细提供了两阶段训练的超参数、优化设置、硬件信息（两块H800 GPU）和奖励函数设计细节，但未提供完整的训练脚本、配置文件或预训练检查点。 🏗️ 方法概述和架构 CosyEdit2的整体架构与训练流程如图1所示。 ...

📄 Music Transcription with (Almost) No Supervision #音乐转录 #数据增强 🔥 10/10 | 前50% | #音乐转录 | #数据增强 | arxiv 学术质量 6.8/7 | 影响力 1.7/2 | 可复现性 2/2 | 置信度 高 👥 作者与机构 论文作者为 Saebyeol Shin, Chao Wan, Zhenzhen Liu, Justin Lovelace, Daniel C. Lin, Kilian Q. Weinberger, John Thickstun。 所属机构为 Cornell University，位于美国纽约州伊萨卡市。 通讯邮箱为 ss4333@cornell.edu。 💡 毒舌点评 这篇论文的“故事”讲得非常吸引人：音乐转录数据稀缺，但未配对的音频和乐谱数据唾手可得。作者提出的框架直指核心痛点，实验设计系统且有说服力，尤其是“锚点”的概念和对数据模态贡献的消融分析，让结论落到了实处。方法本身并非革命性创新，但巧妙地将 CycleGAN 的思想应用于跨模态的连续潜空间，并在音乐转录这一具体且重要的任务上取得了扎实的、有数据支撑的增益。代码和复现细节的详尽程度堪称典范。主要不足在于，论文对框架在更复杂、更多变的真实音乐场景（如动态范围、风格混杂、录音质量差）下的表现讨论不足，且对“为什么音频比乐谱贡献更大”的深层原因（声学多样性 vs. 结构信息）停留在假设层面。总体而言，这是一篇扎实、清晰、有实用价值的工作，适合作为解决数据稀缺问题的一个重要 baseline。 📌 核心摘要 本文研究如何利用海量未配对的音频和乐谱数据来训练音乐转录模型。论文采用了一个基于循环一致性的半监督框架，在连续潜空间（由预训练的乐谱VAE提供）中建立从CQT频谱图到乐谱表示的双向映射。研究发现：(1) 极少量的配对数据（低至1.6小时）作为“锚点”可以解决学习中的全局音高偏移等歧义，使大量未配对数据得以有效利用；(2) 在相同数据量预算下，未配对的音频比未配对的乐谱提供更强的学习信号；(3) 在训练中加入目标乐器（如吉他）的无标签音频，无需任何配对标签即可显著提升该乐器的转录性能（+10 Frame F1），并超越完全监督的跨域基线。实验在MAESTRO（钢琴）、GuitarSet（吉他）和MusicNet-EM（多乐器）数据集上验证了这些发现，表明利用未配对数据是缓解音乐转录中配对数据稀缺问题的实用途径。 🔗 开源详情 代码：提供，链接为 https://github.com/SaebyeolShin/almost_unsupervised_amt 模型权重：论文中未提及提供预训练模型权重。 数据集： MAESTRO v2.0.0：获取链接 https://github.com/craffel/maestro-dataset GuitarSet：获取链接 https://github.com/jayg996/BCH-Convert-Tool-for-NSynth-and-GuitarSet MusicNet-EM：作为YourMT3项目的一部分提供，获取链接 https://github.com/danmou/MT3/tree/main/yourmt3 Gardner Museum 音频：来自 Isabella Stewart Gardner Museum 的公开录音。论文中未提供直接下载链接，但详细说明了其筛选和去重处理方法（附录A）。 Demo：论文中未提及。 复现材料： 论文在附录B中详细说明了Score VAE、生成器、判别器的具体架构。 论文在附录C和表7中提供了完整的训练超参数和细节（优化器、学习率调度、批次大小、损失权重、硬件配置等）。 明确指出了训练硬件（单张 NVIDIA A6000 GPU）和训练时长（单乐器约4天，多乐器约6天）。 论文在附录A中详细说明了所有数据集的预处理、分块和划分方式。 论文中引用的开源项目： CycleGAN：核心框架灵感来源。引用链接 https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix LSGAN：使用的对抗损失函数，引用为文献[23]。 MAESTRO：如上。 GuitarSet：如上。 MusicNet：作为MusicNet-EM的基础数据集被引用。获取链接 https://thomaskail.github.io/ YourMT3：提供了MusicNet-EM数据集版本。获取链接 https://github.com/danmou/MT3/tree/main/yourmt3 MT3：作为相关工作引用的多乐器转录模型。获取链接 https://github.com/danmou/MT3 Onsets and Frames：论文中引用的早期钢琴转录模型。论文中未提供其代码链接。 🏗️ 方法概述和架构 本文提出一个名为“Cycle Consistent Transcription”的半监督跨模态翻译框架，其核心目标是学习从连续音频表示（CQT频谱图）到离散符号乐谱表示（通过VAE映射到连续潜空间）的映射，并利用循环一致性约束从大量未配对数据中学习。框架主要包含以下组件和流程： ...

📄 Toward Natural Emotional Text-To-Speech System with Fine-Grained Non-Verbal Expression Control #语音合成 #数据增强 #低资源 📝 5.0/10 | 前50% | #语音合成 | #数据增强 | #低资源 | arxiv 学术质量 5.5/7 | 影响力 6.0/2 | 可复现性 0.5/2 | 置信度 高 👥 作者与机构 论文作者为 Wangzixi Zhou, Bagus Tris Atmaja, Sakriani Sakti。论文正文中未明确标注作者单位。论文末尾的致谢部分提及了来自 JSPS KAKENHI 和 JST NEXUS 的资助，表明研究可能与日本的学术机构或项目有关，但论文本身未明确说明具体隶属机构。 💡 毒舌点评 这篇论文就像一个精心包装的“数据标注方案说明书”。它为情感TTS中一个被忽视但重要的问题——非言语表达的控制——提出了一个不错的创意。然而，除了这个数据标注“新瓶装旧酒”的点子外，技术贡献乏善可陈。模型是现成的Grad-TTS，加了个情感编码器；实验规模小得可怜（15人的主观评估），还缺乏统计检验，说服力大打折扣。最让人皱眉的是，用一个数据质量存疑、只包含两种情绪的NVTTS作为“粗粒度”基线来衬托自己的“细粒度”，这种对比公平吗？论文在宣称“显著提升表现力”的同时，却轻描淡写自然度的下降和愤怒情绪上的无力，这种选择性报告结果的做法，让“顶会”水准大打折扣。代码和数据集都没开源，复现？自己看着办吧。 📌 核心摘要 当前情感TTS系统主要控制语言韵律，却忽略了对传达情感至关重要的非言语声音（如笑声、哭声）。本文针对现有非言语数据集缺乏细粒度标注的问题，提出了一种新的细粒度非言语表达合成方法。作者从EARS语料库中筛选并处理了女性的非言语片段，设计了一套使用特殊标签（如 <(crying) wuuuuu whep>）来编码非言语类型、频率和持续时间的标注方案。基于Grad-TTS模型，作者添加了情感编码器，并设计了专用的文本处理管线来解析这些细粒度标签，构建了一个情感TTS基准系统。实验表明，该方法在提升情感表现力（eMOS 4.20）和情感识别准确率（平均78.8%）方面优于仅语言基线和粗粒度非言语基线，但代价是轻微的感知自然度下降。细粒度控制在悲伤（98.3%）、快乐（82.5%）和恐惧（82.7%）情绪上效果显著，但在愤怒情绪（64.3%）上提升有限。偏好测试显示，对于快乐情绪，欢呼声比笑声更受青睐；对于悲伤情绪，复杂的多部分哭泣声更受欢迎。 🔗 开源详情 代码：未提供代码仓库链接。 模型权重：未提供。 数据集：未提供处理后的“Fine-Grained Non-Verbal Expression Data”数据集下载链接。原始音频来源于公开的EARS语料库，但作者处理后的版本未公开。用于对比的NVTTS语料库也未提供链接。 Demo：提供了演示页面 https://37integer.github.io/FINE-GRAINED-NON-VERBAL-TTS/ 复现材料：论文提及了训练设置（400k迭代、A6000 GPU）、声学特征（80维梅尔频谱图）和声码器（Hifi-GAN），但未提供完整的模型配置、检查点或详细的复现指南。 论文中引用的开源项目：Whisper, pydub, Hifi-GAN, Grad-TTS (引用论文), CosyVoice2 (引用论文，未提供链接)。 🏗️ 方法概述和架构 本文方法的核心在于为情感TTS构建并利用一套新的细粒度非言语表达数据，而非在模型架构上进行根本性创新。整体框架基于一个现成的情感TTS模型，并为其定制了一条专门的非言语文本处理管线。 ...

语音/音乐/音频论文速递 2026-05-26 共分析 27 篇论文 ⚡ 今日概览 📥 抓取 27 篇 → 🔬 深度分析完成 🏷️ 热门方向 方向 数量 分布 #语音合成 5篇 █████ #语音识别 3篇 ███ #音乐转录 2篇 ██ #语音情感识别 2篇 ██ #多模态模型 1篇 █ #语音编码 1篇 █ #交叉验证 1篇 █ #语音编辑 1篇 █ 📊 论文评分排行榜（27 篇，按分数降序） 排名 论文 评分 分档 主任务 🥇 Music Transcription with (Almost) No Supervision 10.0分 前50% #音乐转录 🥈 Toward Native Multimodal Modeling: A Roadmap 10.0分 前25% #多模态模型 🥉 Ultra-Low-Bitrate Mel-Spectrogram-based Neural Speech C 9.9分 前25% #语音编码 4. Proactive for Uncertainty: Cause-Aware Error Diagnosis 9.6分 前25% #语音识别 5. WaveNeXt 2: ConvNeXt-Based Fast Neural Vocoders With Re 9.4分 前25% #语音合成 6. Decoding Stimulus Reconstruction-Based Auditory Attenti 8.9分 前50% #交叉验证 7. Exploration of Perceptual Speech Features for Clinical 8.9分 前50% #语音情感识别 8. Continual Speaker Identity Unlearning with Minimal Inte 8.6分 前25% #语音合成 9. SpongeBob: Sync-Aware Harmonious Audio-Visual Generativ 8.6分 前25% #语音编辑 10. FC-TTS: Style and Timbre Control in Zero-Shot Text-to-S 8.4分 前50% #语音合成 11. CosyEdit2: Speech-Editing-Oriented Reinforcement Learni 8.0分 前50% #语音合成 12. cSTMM: A Unified Complex Spherical Student’s \(t\) Mixtur 7.9分 前50% #语音分离 13. Time Segmented Beamforming via Dynamic Programming: The 7.7分 前25% #实时处理 14. Multilingual Phonological Feature Recognition with Self 7.7分 前25% #语音识别 15. Rubato: Transcribing Piano Music with Timestamps 7.5分 前25% #音乐转录 16. A Multimodal Framework for Dementia Detection via Lingu 7.0分 前50% #语音情感识别 17. AVBench: Human-Aligned and Automated Evaluation Benchma 7.0分 前50% #音频生成 18. Test-Time Self-Adaptive Conditioning for Stable Audio-D 7.0分 前50% - 19. The Symmetric Location Problem: a Song of Efficiency an 6.5分 前25% - 20. Hidden in Plain Tokens: Simply Robust, Gradient-Free Wa 6.2分 前25% #音频水印 21. Rethinking Continual Learning for Speech and Audio: A R 6.0分 前50% #语音识别 22. Thaka at KSAA-2026 Task 2: Regularized Fine-Tuning for 5.5分 前50% #语音增强 23. Subspace Track-before-Detect for Passive Multi-Target T 5.5分 后50% #声源定位 24. Toward Natural Emotional Text-To-Speech System with Fin 5.0分 前50% #语音合成 25. Zero-Shot Parkinson’s Disease Detection from Speech: Co 5.0分 前50% #大语言模型 26. Score-Agnostic Structure Analysis in Large-Scale Perfor 4.1分 前50% #音乐信息检索 27. StrTransformer: Source-Wise Structured Transformers for 3.3分 后50% - 📋 论文列表 🥇 Music Transcription with (Almost) No Supervision 🔥 10.0/10 | 前50% | #音乐转录 | #循环一致性 | #半监督学习 #领域自适应 | arxiv ...

📄 CoarseSoundNet: Building a reliable model for ecological soundscape analysis #音频分类 #生物声学 #迁移学习 #数据增强 #领域适应 🔥 8.5/10 | 前25% | #音频分类 | #迁移学习 | #生物声学 #数据增强 | arxiv 学术质量 5.3/7 | 影响力 1.2/2 | 可复现性 2.0/2 | 置信度 高 👥 作者与机构 第一作者：Alexander Gebhard（慕尼黑工业大学医院，健康信息学系） 通讯作者：未明确说明（论文未指定通讯作者） 作者列表：Alexander Gebhard（慕尼黑工业大学医院，健康信息学系）、Andreas Triantafyllopoulos（慕尼黑工业大学医院，健康信息学系；慕尼黑机器学习中心）、Dominik Arend（弗莱堡大学，生物学院，地植物学系）、Sandra Müller（弗莱堡大学，生物学院，地植物学系）、Svenja Schmidt（弗莱堡大学，生物学院，地植物学系）、Michael Scherer-Lorenzen（弗莱堡大学，生物学院，地植物学系）、Björn W. Schuller（帝国理工学院，GLAM小组；慕尼黑工业大学医院，健康信息学系） 💡 毒舌点评 亮点：论文的核心价值在于其系统性和工程化方法论。它并非提出一种新颖的声学模型架构，而是为生态声景分析这一实际任务，提供了一套经过充分消融实验验证的“模型构建指南”。从架构选择、沉默类训练、跨域数据组合到基于声学特性的后处理策略，其研究路径清晰，实验设计严谨，为生态学家提供了一个可靠的预处理工具（CoarseSoundNet）。 短板：作为一篇应用导向的方法论文，算法创新性确实有限。最终性能提升（宏观F1从0.683到0.797）的绝对值在跨域场景下虽有价值，但模型在最具挑战性的“人类声”类别上F1仍不足0.7，表明其远未解决该领域的核心难题。此外，生态案例研究中所关联的声学指数与生物多样性的相关性本身就很弱（ρ<0.4），模型过滤后的效果与人工过滤趋势相似但并未显著提升相关性，这使得其实际应用价值的论证略显薄弱。 📌 核心摘要 问题：生态声景分析（区分生物声、地球声、人类声）缺乏可靠的自动化工具。现有模型在嘈杂的真实被动声学监测（PAM）录音上泛化能力差。 方法核心：本文系统性地构建并评估了一个名为CoarseSoundNet的多标签深度学习模型。研究涵盖模型架构选择、引入“沉默”类训练的影响、多种补充数据集的组合效果，以及基于类别特定阈值和持续时间约束的评估策略优化。 创新点：主要创新在于提供了一套系统性的、可复现的模型构建方法论，并深入分析了影响模型跨域性能的关键因素（如数据域相似性、沉默类作用）。论文明确了CoarseSoundNet作为预处理工具的价值。 主要结果：在目标域BEsound测试集上，通过优化策略（PDA+CST），模型的宏观F1分数从基线0.683提升至0.797。生态案例研究表明，使用CoorseSoundNet过滤数据后计算声学指数，其与鸟类α多样性的相关性与使用人工标注过滤后的结果趋势一致，但相关性本身较弱。 实际意义：CoarseSoundNet为生态学家提供了一个公开可用的预处理工具，可用于过滤PAM录音中的非生物声和人类声，以提高后续分析的可靠性。 主要局限性：模型在识别低强度、远距离的人类声以及区分昆虫声与某些地球声/沉默方面存在挑战；性能对训练数据的域相似性高度依赖；合成数据引入未带来提升。 🔗 开源详情 代码：https://github.com/CHI-TUM/CoarseSoundNet 模型权重：https://huggingface.co/HearTheSpecies/CoarseSoundNet 数据集： Edansa-2019：公开可用，但论文中未提供直接链接。 BEsound, BE-Ambient, HTS-Forest, BrPAM：可通过 BExIS 平台请求获取，链接为 https://www.bexis.uni-jena.de。 PublicMix：为本研究公开混合的定制数据集，其混合脚本在代码仓库中提供。 Demo：论文中未提及。 复现材料： 论文提供了训练配置文件和所有实验的详细超参数设置，这些信息在附录 A.1.1 和 A.1.2 的表格（Table 11, Table 12）中。 训练使用了 autrainer 库。 论文中引用的开源项目： autrainer: https://github.com/danikhan632/autrainer BirdNET: https://birdnet-team.github.io/BirdNET-Analyzer/ AudioSet: https://research.google.com/audioset/ FSD50K: https://zenodo.org/record/4060432 xeno-canto: https://xeno-canto.org/ IDMT-Traffic: 论文中未提及链接。 MAVD: https://zenodo.org/record/3380140 AeroSonicDB: https://github.com/DCASE-RC/aerosonicdb WindNoiseDataset: https://github.com/yangy597/WindNoiseDataset WindNet-data: https://github.com/MitchellOrenstein/WindNet-data CNN10/CNN14: https://github.com/qiuqiangkong/audioclassification_cnn14 ResNet-50, EfficientNet-B7: 通用架构，无特定链接。 AST: https://github.com/YuanGongND/ast SSAST: https://github.com/YuanGongND/ssast PaSST: https://github.com/kkoutini/passt_de_finetuned_dcase22 AVES: https://github.com/YifeiZhuang/aves W2V2: https://github.com/facebookresearch/wav2vec2 Whisper: https://github.com/openai/whisper CLAP-HTSAST: https://github.com/LAION-AI/CLAP Qwen2-Audio: https://github.com/QwenLM/Qwen2-Audio Biodiversity Exploratories (BE): https://www.biodiversity-exploratories.de/ 🏗️ 方法概述和架构 整体流程概述：本文是一个多阶段、以方法论探索为导向的模型构建与评估工作流。核心流程是：首先基于公开数据集（Edansa-2019）训练并选择一个基础模型架构；然后通过引入额外训练类别（沉默）、融合多源补充数据、以及设计针对目标域（BEsound）的优化评估策略，逐步迭代提升模型在目标域的性能；最后，将最终模型（CoarseSoundNet）应用于生态声学案例研究，验证其作为预处理工具的有效性。 ...

📄 Mega-ASR: Towards In-the-wild^2 Speech Recognition via Scaling up Real-world Acoustic Simulation #语音识别 #语音大模型 #强化学习 #数据增强 #鲁棒性 🔥 9.3/10 | 前25% | #语音识别 | #强化学习 | #语音大模型 #数据增强 | arxiv 学术质量 5.8/7 | 影响力 1.7/2 | 可复现性 1.8/2 | 置信度 高 👥 作者与机构 第一作者：论文明确标注为共同第一作者（*），包括Zhifei Xie (NTU), Kaiyu Pang (Shanghai AI Lab), Haobin Zhang (NUS)。 通讯作者：论文明确标注为共同通讯作者（†），包括Deheng Ye (NTU), Xiaobin Hu (NUS), Shuicheng Yan (NUS), Chunyan Miao (NTU)。 作者列表：Zhifei Xie¹, Kaiyu Pang³, Haobin Zhang*², Deheng Ye†¹, Xiaobin Hu†², Shuicheng Yan†², Chunyan Miao†¹。¹NTU (Nanyang Technological University), ²NUS (National University of Singapore), ³Shanghai AI Lab (上海人工智能实验室)。*表示共同第一作者，†表示共同通讯作者。 💡 毒舌点评 这篇论文的核心亮点在于构建了一个从数据合成、模型训练到奖励设计的完整且自洽的“重拳”系统，有效攻克了复杂声学环境下ASR的语义崩溃问题。但致命短板在于其“重拳”完全建立在“合成数据”这一假设之上，论文虽努力论证其合成管道与真实世界相关，但未提供充分证据（如分布匹配度分析、合成与真实数据在下游任务上的gap量化），这使得整个“面向真实世界”的宣称略显虚浮，其方法在面对真正未见过的真实分布外噪声时的泛化能力存疑。 ...

📄 Speech Quality Embeddings for Improved Detection and Classification of Degradations in Speech Signals #语音质量评估 #对比学习 #数据增强 #预训练 📝 5.8/10 | 前50% | #语音质量评估 | #对比学习 | #数据增强 #预训练 | arxiv 学术质量 4.3/7 | 影响力 0.8/2 | 可复现性 0.8/2 | 置信度 高 👥 作者与机构 第一作者：Michael Kuhlmann（Paderborn University） 通讯作者：Reinhold Haeb-Umbach（Paderborn University，基于提供的联系邮箱推断） 作者列表：Michael Kuhlmann（Paderborn University）、Tobias Cord-Landwehr（Paderborn University）、Reinhold Haeb-Umbach（Paderborn University） 💡 毒舌点评 该论文在语音质量评估（SSQA）领域提出了一个清晰的思路，旨在解决从弱监督（句子级MOS）学习帧级退化识别的难题。其核心贡献在于将“部分混合”数据增强策略与“监督对比学习”相结合，训练一个双头模型。这一组合在合成数据集上确实取得了显著的检测和分类性能提升，从“全局打分”迈向“细粒度诊断”的方向值得肯定。然而，其方法创新本质上是已有技术（部分混合、对比学习）在特定任务上的直接应用与组合，缺乏底层方法论的原创性突破。更关键的是，所有实验评估均在精心合成的数据集上进行，对于真实世界中复杂、未知且连续的退化场景，该方法的有效性和鲁棒性未经证实，这大大削弱了其实际应用价值的说服力。 📌 核心摘要 要解决什么问题：传统的语音质量评估（SSQA）模型通常只输出一个句子级的平均意见分（MOS），无法定位和识别语音信号中局部发生的、类型多样的退化（如噪声、混响、编解码失真）。这限制了评估的细粒度、可解释性和在故障诊断等场景的实用性。 方法核心是什么：本文提出了一种端到端的多任务学习框架。其核心是：（1）利用一个部分混合（Partial Mix-up） 数据增强策略，基于干净和退化语音的平行语料库，生成带有帧级伪标签的训练样本；（2）设计一个双解码器头架构，一个用于预测帧级MOS分数，另一个用于生成专门的退化类型嵌入；（3）引入监督对比学习损失，优化退化类型嵌入空间，使同类退化帧的嵌入聚集、异类分离。 与已有方法相比新在哪里：不同于以往仅通过帧级MOS分数回归或设置阈值进行退化检测的方法，本文首次提出：（1）系统性地将部分混合增强生成的伪标签用于训练帧级SSQA模型；（2）专门训练一个独立的解码器分支来学习用于退化类型区分的嵌入表示，并通过对比损失显式优化其结构；（3）提出基于嵌入相似度（而非MOS阈值）的退化检测范式，显著提升了检测性能。 主要实验结果如何：在两个合成的评估数据集（域内：NISQA_TEST_SIM-partial-mixup；域外：LibriAugmented-partial-mixup）上，所提方法（CON1/CON2）相较于基线（仅使用MOS损失）和仅添加帧级监督的模型（SUP），在退化检测（嵌入式I-AUC高达0.91-0.92）和退化类型验证/检索（单一退化验证EER低至0.93%，检索准确率提升至26%-78%）上均取得了巨大提升。然而，性能在多重退化或域外场景下有所下降。 实际意义是什么：该工作为语音质量评估从“全局打分”走向“细粒度诊断”提供了一种可行的技术路径。生成的退化类型嵌入有望用于自动化的音频质量监控、故障根因分析、特定退化检索等下游任务，增强了SSQA模型的可解释性和实用性潜力。 主要局限性是什么：（1）方法的泛化能力受限：性能严重依赖训练时见过的退化类型及其组合，对于未见过的多重退化或全新退化类型，嵌入的聚类纯度显著下降。（2）评估数据的合成性：所有实验均在基于已知退化类型合成的数据集上进行，其在真实、复杂、未知退化场景下的有效性存在疑问。（3）方法创新有限：核心是已有多项技术（SSL预训练、部分混合、对比学习）的组合应用，未提出根本性的新算法或架构。 🔗 开源详情 代码：论文中未提供具体代码链接。论文在脚注6和脚注8中提及数据准备步骤和自建的LibriAugmented数据集已开源，但均标注为“Hidden during review”，意味着具体仓库链接在提交给会议的版本中被隐藏，当前公开版本无法获取。 模型权重：论文中未提及。 数据集：论文使用了NISQA、BVCC、LibriAugmented（自建版本）、CHiME-3等数据集。除NISQA和BVCC为公开数据集外，LibriAugmented的修改版本和CHiME-3未在文中提供直接下载链接（脚注8同样标注“Reproducible from hidden during review”）。 Demo：论文中未提及。 复现材料：论文提供了详细的模型配置与训练信息，理论上可用于复现核心方法。具体包括： 模型架构：编码器为预训练的wav2vec2-large（1024维嵌入，50Hz帧率）。解码器包含两个分支：MOS解码器（Dec^MOS）和对比学习解码器（Dec~^scl），均为3层CNN，最终分别映射到1维（分数）和128维（嵌入）。 训练数据：在NISQA和BVCC上训练。 训练策略：采用部分混合（partial mix-up）数据增强生成伪标签。使用了两个损失函数：LSSQA^sup（公式5）和L_total（公式8，包含对比损失L^scl）。 超参数：训练100个epoch，批次大小64，初始学习率1e-4线性衰减至1e-6。对比损失温度参数τ=0.1，自对比排除参数λ=10。 评估数据集：构建了NISQA_TEST_SIM-partial-mixup（域内）和LibriAugmented-partial-mixup（域外）两个合成测试集，具体生成方法有描述，但原始数据未提供公开链接。 论文中引用的开源项目： rVAD：用于语音区域检测。论文中引用了其GitHub页面：https://github.com/wisemanpy/rvadfast Audiomentations：用于数据增强。论文中引用了其GitHub页面：https://github.com/iver56/audiomentations/ CHiME-3：提供了背景噪声数据集。论文未给出链接，但该项目有公开主页：http://sphears.org/chime-3 🏗️ 方法概述和架构 整体流程概述：这是一个端到端的多任务学习框架，旨在从仅有的句子级MOS标注中，学习出能同时进行退化检测和退化类型识别的帧级语音质量嵌入。模型采用共享编码器-双解码器头结构，并利用部分混合数据增强来生成帧级伪标签进行监督训练。 ...