语音合成

📄 AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching #语音合成 #音频生成 #可解释性 7.6/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #知识蒸馏 | #音频生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Pengfei Zhang（香港科技大学（广州）信息枢纽人工智能学域） 通讯作者：Li Liu（香港科技大学（广州）信息枢纽人工智能学域） 作者列表：Pengfei Zhang、Tianxin Xie、Minghao Yang、Li Liu（均来自香港科技大学（广州）信息枢纽人工智能学域） 💡 毒舌点评 这篇论文最大的亮点是发现并实证了“存储-贡献分离”（SCD）现象，然后巧妙地用一个因果归因工具（FoG-A）来指导层选择，把REPA从“凭经验瞎猜”升级成了“看谁真干活”。动机清晰，intuition很有说服力。但话说回来，实验规模偏小（总步数仅500k，两个数据集），跨架构验证虽然做了但深度不够——只给了几个FAD/WER/MOS数字，缺少更系统的分析（如动态、消融等），无法确定增益是否只是某种隐式正则化的结果。虽然FoG-A排名看起来稳定，但在更长/更大规模训练下的行为完全是未知数。此外，从Jacobian链式传播直接跳到一个强烈的“蝴蝶效应”论断有些牵强，没有严谨讨论梯度衰减或中间层Jacobian性质对结论的影响。方法整体仍停留在原型验证阶段。 📌 核心摘要 问题定义：在token-conditioned音频流匹配（Flow Matching）模型中，现有的表示对齐（REPA）策略通常凭经验固定中间层（如第8层）进行监督，忽略了“存储语义最丰富的层”与“对生成速度场v_θ贡献最大的层”可能不一致，导致训练效率低下。 方法核心：提出归因引导的REPA（AG-REPA）。首先，利用前向门控消融（FoG-A）作为因果探针，量化DiT每一层对最终预测速度场的因果贡献；然后，自动选出贡献最大的Top-K层，并按贡献大小进行加权对齐，从而将对齐目标从“语义储层”转向“因果驱动层”。 与已有工作的不同：不同于固定层REPA或基于梯度范数的选择，AG-REPA首次将因果干预度量引入音频流匹配的表示对齐，明确区分“表示存储”与“函数贡献”，并据此设计了一种全新的层选择与损失加权策略。 主要实验结果（Config B, 500k步）：在LibriSpeech和AudioSet的统一音频生成任务上，AG-REPA相比于固定中层REPA（Layer 4, 8, 12），语音FAD从1.45降至1.29，音效FAD从2.88降至2.56，语音MOS从3.92升至4.12。跨架构（Voicebox, CosyVoice, F5-TTS）实验也取得一致改进，例如在F5-TTS上FAD从1.45降至1.15。关键消融显示，对齐FoG-A选出的“因果驱动层”相比对齐LASP选出的“表示丰富层”，FAD改善幅度提升约3.4倍，且收敛加速约3.3倍。 实际意义与普适性：为扩散/流匹配模型的训练加速提供了一种轻量、可移植的归因引导范式。其诊断工具集（BiT-C, LASP, FoG-A）不仅服务于AG-REPA，也为理解其他生成架构的内部行为提供了可操作的工具。 主要局限性：实验在有限训练规模（500k步）下进行；FoG-A排名虽短程稳定，但在更长训练或模型显著漂移后是否依然有效未知；方法依赖双教师蒸馏，增加了部署依赖；未在更泛化的音频/视觉任务上进行验证。 🔗 开源详情 代码：https://github.com/zpforlove/AG-REPA 模型权重：未提供。 数据集：LibriSpeech 与 AudioSet，论文未直接提供下载链接，但LibriSpeech可通过https://www.openslr.org/12 获取，AudioSet通过https://research.google.com/audioset/ 获取。 Demo：未提供。 复现材料：论文附录提供了部分架构和诊断协议细节，但未提供完整的训练配置文件、预训练检查点或独立复现脚本。 论文中引用的相关开源项目： Whisper (large‑v3): https://github.com/openai/whisper BEATs: https://github.com/microsoft/unilm/tree/master/beats RepCodec: 引用自 Huang et al. (2024) Vocos: https://github.com/gemelo‑ai/vocos Qwen3‑0.6B‑Base: https://huggingface.co/Qwen/Qwen3‑0.6B CosyVoice: https://github.com/FunAudioLLM/CosyVoice F5‑TTS: https://github.com/swivid/F5‑TTS Matcha‑TTS: https://github.com/shivammehta25/Matcha‑TTS DINOv2: https://github.com/facebookresearch/dinov2 🏗️ 方法概述和架构 整个工作围绕一个两阶段的统一音频生成流水线展开：第一阶段是自回归大语言模型（LLM）预测离散声学token；第二阶段是基于DiT的流匹配模型将这些token生成为连续mel谱，再经由神经声码器合成波形。本文的核心贡献并不在该流水线设计，而在于第二阶段DiT训练过程中的表示对齐策略。作者引入了一套“先诊断、后干预”的机制，包含三个互补的探测工具和一个归因引导的训练算法。 ...

📄 AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech #语音合成 #语音情感识别 #语音属性识别 #语音克隆 #多模态模型 7.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.5/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #多模态模型 | #语音情感识别 #语音属性识别 | arxiv 👥 作者与机构 第一作者：Bin Kang（University of Chinese Academy of Sciences, Shenzhen Loop Area Institute, Tencent Turinglab） 通讯作者：Zhuotao Tian（Shenzhen Loop Area Institute） 作者列表：Bin Kang（University of Chinese Academy of Sciences, Shenzhen Loop Area Institute, Tencent Turinglab）、Shaoguo Wen（Tencent Turinglab）、Yang Fan（Shenzhen Loop Area Institute）、Shunlong Wu（Tsinghua University）、Junjie Wang（Shenzhen Loop Area Institute）、Yulin Li（Shenzhen Loop Area Institute）、Junzhi Zhao（Southwest Jiaotong University）、Junle Wang（Tencent Turinglab）、Zhuotao Tian（Shenzhen Loop Area Institute） 💡 毒舌点评 这篇论文清晰地定义并攻击了TTS领域中一个真实且棘手的“复合情感指令”控制问题，提出的多智能体闭环框架从“解耦-锚定-反馈”逻辑链条完整，实验设计扎实，提升显著。但各子模块虽协同良好，本质上仍是对已有技术的精巧系统集成，缺乏单一方法论上的根本性突破。对MLLM评估器的强依赖构成了其实时性和鲁棒性的阿喀琉斯之踵，而论文对此关键限制的讨论，尤其是在MLLM提示设计、输出格式、评估偏见及错误影响机制方面，几乎是完全的黑盒，这削弱了方法的可复现性和严谨性。 ...

📄 AudioChat: Unified Audio Storytelling, Editing, and Understanding with Transfusion Forcing #多模态模型 #音频生成 #音频理解 #语音合成 #说话人日志 5.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.7/1.5 | 清晰 0.6/1 | 影响 0.9/1.5 | 开源 0.1/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 📝 5.8/10 | 前50% | #音频生成 | #扩散模型 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：William Chen（Adobe Research, Carnegie Mellon University） 通讯作者：William Chen williamchen@cmu.edu, Prem Seetharaman pseeth@adobe.com 作者列表：William Chen（Adobe Research, Carnegie Mellon University）、Prem Seetharaman（Adobe Research）、Rithesh Kumar（Adobe Research, OpenAI）、Oriol Nieto（Adobe Research）、Shinji Watanabe（Carnegie Mellon University）、Justin Salamon（Adobe Research）、Zeyu Jin（Adobe Research） 💡 毒舌点评 这是一篇工程味很重的工作，为统一处理复杂多源音频场景提供了一个端到端的解决方案，pipeline设计完整。但核心创新很有限，本质是将视觉领域的Transfusion和Diffusion Forcing技术结合后迁移到音频，并强依赖于一个用专有模型合成的数据集。评测高度内循环，在域外真实音频上的泛化性存疑，且模型不公开，更像是Adobe内部技术实力的展示而非推动社区开放研究的产物。 ...

📄 Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models #语音合成 #后训练 #自监督学习 #低资源 #多语言 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 🔥 8/10 | 前25% | #语音合成 | #后训练 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Yizhong Geng（北京邮电大学） 通讯作者：Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 作者列表：Yizhong Geng（北京邮电大学）、Yanliang Li（Beijing Logic Intelligence Technology）、Jinghan Yang（北京邮电大学）、Tianhan Jiang（University of California, USA）、Boxun An（Northwestern University, USA）、Ya Li（北京邮电大学）、Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 💡 毒舌点评 本文敏锐地抓住低资源SLM中合成数据泛滥引发的“越稳定越单调”的分布塌缩现象，并将Flow-Matching架构的内在解耦设计巧妙地转化为无需人工标注的自对齐信号，思路相当漂亮。然而，TDSC对目标语言ASR模块的硬依赖限制了其在最极端的语言上的用武之地，且整个pipeline的计算开销在资源受限场景下的性价比分析仍然缺席。 ...

📄 Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability #语音合成 #强化学习 #数据集 #语音大模型 6.6/10 | 创新 0.8/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.6/10 | 前50% | #语音合成 | #强化学习 | #数据集 #语音大模型 | arxiv 👥 作者与机构 第一作者：Yong Ren（中国科学院自动化研究所 / 中国科学院大学人工智能学院）、Jingbei Li（StepFun） 通讯作者：Jingbei Li（StepFun, lijb19@tsinghua.org.cn）、Cheng Yi（StepFun, yicheng@stepfun.com）、Xuerui Yang（StepFun, yangxuerui@stepfun.com） 完整作者列表：Yong Ren、Jingbei Li（共同一作）、Haiyang Sun（StepFun）、Yujie Chen（北京航空航天大学）、Cheng Yi（StepFun）、Yechang Huang（StepFun）、Hao Gu（中国科学院自动化研究所 / 中国科学院大学人工智能学院）、Ye Bai（中国科学院自动化研究所）、Xuerui Yang（StepFun） 💡 毒舌点评 本文用 MCLP 将风格一致性量化为 LALM 续写概率，想法精巧，逻辑也基本自洽。但实验的“SOTA”声明水分太大：跟 GPT-Audio、通用 InstructTTS 比当然全面碾压，可真正的对手——那些同样用了 RL 做风格对齐的 TTS 系统——一个都没出现在基线里。主表上 MOS 4.461 vs. 3.576 的巨大鸿沟假装看不见，3.576 就能叫 SOTA？文末的局限分析写得像免责声明，对 MCLP 受限于 Step-Audio-2 这一特定 Tokenizer 和生态的根本脆弱性避而不谈。贡献嘛，做好了一个中文标杆数据集 + 一个有意思的指标，但要说方法论上有普适性突破，还差得远。 ...

📄 FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors #语音伪造检测 #大语言模型 #语音合成 #提示学习 #模型评估 6.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #语音伪造检测 | #大语言模型 | #语音合成 #提示学习 | arxiv 👥 作者与机构 第一作者：Sepehr Dehdashtian（Michigan State University） 通讯作者：Sepehr Dehdashtian（Michigan State University） 作者列表：Sepehr Dehdashtian（Michigan State University）、Jacob H. Seidman（Reality Defender）、Vishnu Naresh Boddeti（Michigan State University）、Gaurav Bharaj（Reality Defender） 💡 毒舌点评 本文首次将LLM的上下文学习用于音频深度伪造检测器的黑盒自动化红队，多样性反馈机制设计巧妙，显著提升了攻击多样性与成功率。然而，方法对超参数敏感且未在真实商业检测器上验证，开源代码缺失严重削弱了其实用说服力与可复现性。 ...

📄 Multimodal Latent Language Modeling with Next-Token Diffusion #语音合成 #多模态模型 6.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.1/10 | 前50% | #语音合成 | #自回归模型 | #多模态模型 | arxiv 👥 作者与机构 第一作者: Yutao Sun (Tsinghua University) 通讯作者: Furu Wei (Microsoft Research), Jianyong Wang (Tsinghua University) 作者列表: Yutao Sun (Tsinghua University), Hangbo Bao (Microsoft Research), Wenhui Wang (Microsoft Research), Zhiliang Peng (Microsoft Research), Li Dong (Microsoft Research), Shaohan Huang (Microsoft Research), Yaoyao Chang (未说明), Jianyong Wang (Tsinghua University), Furu Wei (Microsoft Research) 💡 毒舌点评 本文在“一切皆为token”的统一多模态框架上迈出了扎实的一步，用next-token diffusion巧妙绕开了VQ-VAE的信息瓶颈，σ-VAE的方差约束设计也切中自回归生成的exposure bias要害。但ImageNet上的图像生成实验，LatentLM-L（479M, FID 2.24）实际上并未超越同体量的MAR（479M, FID 1.78），论文将其归入非因果类进行对比虽分类合理，但未能提供等计算量对比来证明因果框架自身能弥补这一差距；此外，仅在200B tokens上训练的1.3B多模态LLM远未达到收敛，声称的scaling优势仍需更大规模验证；TTS人类评估仅24人，略显单薄。 ...

📄 Optimality of FSQ Tokens for Continuous Diffusion for Categorical Data with Application to Text-to-Speech #语音合成 #扩散模型 8/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1.1/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.3/1.5 🔥 8/10 | 前25% | #语音合成 | #扩散模型 | arxiv 👥 作者与机构 第一作者：Vadim Popov（Huawei Noah’s Ark Lab, National Research University Higher School of Economics） 通讯作者：Vadim Popov（popov.vadim1@huawei.com） 作者列表：Vadim Popov（Huawei Noah’s Ark Lab, National Research University Higher School of Economics）、Wenju Gu（Huawei Noah’s Ark Lab）、Tasnima Sadekova（Huawei Noah’s Ark Lab, National Research University Higher School of Economics）、Georgii Aparin（Huawei Noah’s Ark Lab, National University of Science and Technology MISIS）、Assel Yermekova（Huawei Noah’s Ark Lab） 💡 毒舌点评 这篇论文巧妙地将 FSQ 的几何结构注入了连续扩散混合生成的理论框架, 从路径测度 KL 散度给出了一个漂亮的解释, 并用一套完整的 TTS 系统秀了肌肉。但理论的华美长袍下藏着“等先验”的致命伤疤, 一旦面对真实世界中不平衡的 token 分布, 所谓“最优性”可能瞬间沦为纸上谈兵, 而作者在实验中对此几乎是讳莫如深。 ...

📄 ReGen: Hierarchical Multi-Prompt Representation Generation for Efficient Waveform Diffusion Models #语音编码 #语音合成 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.4/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8/10 | 前25% | #语音编码 | #流匹配 | #语音合成 | arxiv 👥 作者与机构 第一作者：Sang-Hoon Lee（Ajou University, Department of Artificial Intelligence） 通讯作者：Sang-Hoon Lee（Ajou University, Department of Artificial Intelligence） 第二作者：Ha-Yeong Choi（KT Corp., Seoul, Korea） 💡 毒舌点评 本文将火爆的表示对齐（REPA）升级为层次化多提示表示生成，配合自己捣鼓的“广义流匹配（GFM）”，在12.5Hz极低维度下重建出可懂语音，胆识过人不假。但GFM只是GED的简单速度场移植，理论深度存疑；排斥项的超参搜索如同开盲盒，且对比基线全倾向GAN编解码器，与同宗同源的纯扩散基线（如FlowDec）连个照面都没打。代码和权重还锁在保险柜里，评审能给的信任额度实在有限。 ...

📄 Scaling Transformers for End-to-End Discrete Audio Tokenization #音频编码 #语音合成 #语音识别 #Transformer #自回归模型 #多任务学习 #流式处理 7.1/10 | 创新 1.4/2 | 严谨 1.3/1.5 | 实验 1.3/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0/1.5 | 复现 0.2/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | #音频编码 | #Transformer | #语音合成 #语音识别 | arxiv 👥 作者与机构 第一作者：Yitian Gong（复旦大学、上海创新研究院、MOSI Intelligence） 通讯作者：Xipeng Qiu（复旦大学、上海创新研究院、MOSI Intelligence） 作者列表：Yitian Gong、Kuangwei Chen、Zhaoye Fei、Xiaogui Yang、Ke Chen、Yang Wang、Kexin Huang、Mingshu Chen、Ruixiao Li、Qinyuan Cheng、Shimin Li、Xipeng Qiu 💡 毒舌点评 TAC 把 ConvNet、预训练编码器、语义蒸馏这些被社区用了好几年的“拐杖”全扔掉，用一套纯因果 Transformer 从零开始联合优化所有模块，重建质量和下游任务效果确实能打。但“统一可扩展接口”的口号，在代码、模型、数据全部闭源面前，听起来更像是为自家闭源生态写的一份白皮书。另外，靠着碾压同行的内部数据量去比公开数据训出来的模型，然后说架构更好——这种“降维打击”，审稿人心里是不会给足创新分和公平性分的。 ...