语音合成

📄 ProPS: Prompted Profile Synthesis for Natural Language-Conditioned Speaker Embedding Distributions #语音合成 #说话人验证 #生成模型 #提示学习 7.6/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.8/1.5 | 复现 0.4/0.5 | 工程 0.8/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #生成模型 | #说话人验证 #提示学习 | arxiv 👥 作者与机构 第一作者：Thomas Thebaud（Johns Hopkins University） 通讯作者：未说明 作者列表：Thomas Thebaud、Junhyeok Lee、Laureano Moro-Velazquez、Jesus Villalba Lopez、Najim Dehak，均隶属于 Johns Hopkins University 💡 毒舌点评 亮点是用自然语言直接描述说话人特征并生成完整的x-vector分布，而非单一向量，为可控语音合成提供了更灵活的接口。短板同样明显：最关键的对比方法PromptSpeaker被优雅地留在Related Work中谈论区别，却从未出现在任何一张实验表格里，这种避实就虚的做法几乎让整个比较性论述沦为纸上谈兵；韵律属性的控制名存实亡——pitch和pace的生成准确率断崖式下跌，而tone的准确率仅靠“比真实数据还高”这点可怜的优势撑门面，这几乎让“全面描述一个说话人”的愿景成为一个残酷的玩笑。整体上，这是一个架构设计有趣、但实验验证远未闭环的中间件原型。 ...

📄 Towards Digital Preservation of Efik: TTS for a Low-Resource African Language #语音合成 #低资源 #多语言 #模型比较 4/10 | 创新 0.2/2 | 严谨 0.4/1.5 | 实验 0.5/1.5 | 清晰 0.7/1 | 影响 0.7/1.5 | 开源 0.2/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 📝 4/10 | 后50% | #语音合成 | #低资源 | #多语言 #模型比较 | arxiv 👥 作者与机构 第一作者：Offiong Bassey Edet（University of Cross River State, Nigeria / ML Collective） 通讯作者：未说明 作者列表：Offiong Bassey Edet（University of Cross River State, Nigeria / ML Collective）、Emmanuel Oyo-Ita（University of Cross River State, Nigeria）、Archibong Okon Archibong（University of Calabar, Nigeria）、David Effanga Bassey（University of Calabar, Nigeria）、Mbuotidem Sunday Awak（ML Collective） 💡 毒舌点评 本文为濒危语言Efik贡献了首个TTS基线数据集，由尼日利亚本土团队主导，在语言多样性保护方面值得肯定。然而，作为一篇意图冲击顶会的论文，其技术贡献约等于零：仅仅是在一种新语言上对四个开源模型跑了通标准的微调流程，然后让5个人打了个MOS分。论文没有提出任何针对声调语言的架构设计或训练范式创新，评测体系极其单薄且缺乏客观指标，对于声调语言的建模根本性问题（如无音调标注的G2P如何定义）采取了近乎回避的态度。整体而言，这项工作是一份合格的语种应用报告，但离顶会所要求的方法学深度相去甚远。 ...

📄 Unified Audio Intelligence Without Regressing on Text Intelligence #音频理解 #语音识别 #语音翻译 #语音合成 #音频生成 #多模态模型 #强化学习 6.8/10 | 创新 1/2 | 严谨 0.8/1.5 | 实验 0.5/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 1/1.5 | 复现 0.2/0.5 | 工程 1.3/1.5 ✅ 6.8/10 | 前50% | #音频交互 | #多模态模型 | #音频理解 #语音识别 | arxiv 👥 作者与机构 论文摘要中未提供作者列表，无法确定具体作者与所属机构。 💡 毒舌点评 亮点在于将统一音频智能锚定在 30B MoE 文本 LLM 上，并明确提出“不退化文本智能”这一核心目标。但摘要几乎全篇堆砌任务名称与数据规模，却未给出任何可验证的定量对比数字，这使得 SOTA 宣称显得空洞。这种“全功能宣传册”式的摘要削弱了技术报告的严谨感。 📌 核心摘要 本文提出 Audex，一个基于 30B MoE 文本 LLM（Nemotron-Cascade-2-30B-A3B）的统一音频-文本大语言模型。采用单一 Transformer 解码器统一处理音频与文本：音频输入经编码器提取特征，通过投影映射到文本嵌入空间；量化的离散音频输出 token 与文本 token 混合，一同送入自回归解码生成。训练包括三阶段：（1）在 curated 的音频-文本数据集（157.4B 音频 token + 320.5B 文本 token）上进行多阶段监督训练；（2）纯文本 Cascade RL，用于强化文本对齐与推理能力，防止文本退化；（3）多域 on-policy 蒸馏，稳定多模态表现。论文宣称模型在音频理解、语音识别/翻译、TTS、音频生成与语音到语音生成等任务上达到 SOTA，同时文本推理、对齐、知识、长上下文与智能体能力仅有微弱甚至零退化。模型权重已释放。 ...

📄 AG-REPA: Causal Layer Selection for Representation Alignment in Audio Flow Matching #语音合成 #音频生成 #可解释性 7.6/10 | 创新 1.5/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.9/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.6/10 | 前25% | #语音合成 | #知识蒸馏 | #音频生成 #可解释性 | arxiv 👥 作者与机构 第一作者：Pengfei Zhang（香港科技大学（广州）信息枢纽人工智能学域） 通讯作者：Li Liu（香港科技大学（广州）信息枢纽人工智能学域） 作者列表：Pengfei Zhang、Tianxin Xie、Minghao Yang、Li Liu（均来自香港科技大学（广州）信息枢纽人工智能学域） 💡 毒舌点评 这篇论文最大的亮点是发现并实证了“存储-贡献分离”（SCD）现象，然后巧妙地用一个因果归因工具（FoG-A）来指导层选择，把REPA从“凭经验瞎猜”升级成了“看谁真干活”。动机清晰，intuition很有说服力。但话说回来，实验规模偏小（总步数仅500k，两个数据集），跨架构验证虽然做了但深度不够——只给了几个FAD/WER/MOS数字，缺少更系统的分析（如动态、消融等），无法确定增益是否只是某种隐式正则化的结果。虽然FoG-A排名看起来稳定，但在更长/更大规模训练下的行为完全是未知数。此外，从Jacobian链式传播直接跳到一个强烈的“蝴蝶效应”论断有些牵强，没有严谨讨论梯度衰减或中间层Jacobian性质对结论的影响。方法整体仍停留在原型验证阶段。 📌 核心摘要 问题定义：在token-conditioned音频流匹配（Flow Matching）模型中，现有的表示对齐（REPA）策略通常凭经验固定中间层（如第8层）进行监督，忽略了“存储语义最丰富的层”与“对生成速度场v_θ贡献最大的层”可能不一致，导致训练效率低下。 方法核心：提出归因引导的REPA（AG-REPA）。首先，利用前向门控消融（FoG-A）作为因果探针，量化DiT每一层对最终预测速度场的因果贡献；然后，自动选出贡献最大的Top-K层，并按贡献大小进行加权对齐，从而将对齐目标从“语义储层”转向“因果驱动层”。 与已有工作的不同：不同于固定层REPA或基于梯度范数的选择，AG-REPA首次将因果干预度量引入音频流匹配的表示对齐，明确区分“表示存储”与“函数贡献”，并据此设计了一种全新的层选择与损失加权策略。 主要实验结果（Config B, 500k步）：在LibriSpeech和AudioSet的统一音频生成任务上，AG-REPA相比于固定中层REPA（Layer 4, 8, 12），语音FAD从1.45降至1.29，音效FAD从2.88降至2.56，语音MOS从3.92升至4.12。跨架构（Voicebox, CosyVoice, F5-TTS）实验也取得一致改进，例如在F5-TTS上FAD从1.45降至1.15。关键消融显示，对齐FoG-A选出的“因果驱动层”相比对齐LASP选出的“表示丰富层”，FAD改善幅度提升约3.4倍，且收敛加速约3.3倍。 实际意义与普适性：为扩散/流匹配模型的训练加速提供了一种轻量、可移植的归因引导范式。其诊断工具集（BiT-C, LASP, FoG-A）不仅服务于AG-REPA，也为理解其他生成架构的内部行为提供了可操作的工具。 主要局限性：实验在有限训练规模（500k步）下进行；FoG-A排名虽短程稳定，但在更长训练或模型显著漂移后是否依然有效未知；方法依赖双教师蒸馏，增加了部署依赖；未在更泛化的音频/视觉任务上进行验证。 🔗 开源详情 代码：https://github.com/zpforlove/AG-REPA 模型权重：未提供。 数据集：LibriSpeech 与 AudioSet，论文未直接提供下载链接，但LibriSpeech可通过https://www.openslr.org/12 获取，AudioSet通过https://research.google.com/audioset/ 获取。 Demo：未提供。 复现材料：论文附录提供了部分架构和诊断协议细节，但未提供完整的训练配置文件、预训练检查点或独立复现脚本。 论文中引用的相关开源项目： Whisper (large‑v3): https://github.com/openai/whisper BEATs: https://github.com/microsoft/unilm/tree/master/beats RepCodec: 引用自 Huang et al. (2024) Vocos: https://github.com/gemelo‑ai/vocos Qwen3‑0.6B‑Base: https://huggingface.co/Qwen/Qwen3‑0.6B CosyVoice: https://github.com/FunAudioLLM/CosyVoice F5‑TTS: https://github.com/swivid/F5‑TTS Matcha‑TTS: https://github.com/shivammehta25/Matcha‑TTS DINOv2: https://github.com/facebookresearch/dinov2 🏗️ 方法概述和架构 整个工作围绕一个两阶段的统一音频生成流水线展开：第一阶段是自回归大语言模型（LLM）预测离散声学token；第二阶段是基于DiT的流匹配模型将这些token生成为连续mel谱，再经由神经声码器合成波形。本文的核心贡献并不在该流水线设计，而在于第二阶段DiT训练过程中的表示对齐策略。作者引入了一套“先诊断、后干预”的机制，包含三个互补的探测工具和一个归因引导的训练算法。 ...

📄 AgentSteerTTS: A Multi-Agent Closed-Loop Framework for Composite-Instruction Text-to-Speech #语音合成 #语音情感识别 #语音属性识别 #语音克隆 #多模态模型 7.9/10 | 创新 1.4/2 | 严谨 1/1.5 | 实验 1.3/1.5 | 清晰 0.5/1 | 影响 1.1/1.5 | 开源 1.2/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.9/10 | 前25% | #语音合成 | #多模态模型 | #语音情感识别 #语音属性识别 | arxiv 👥 作者与机构 第一作者：Bin Kang（University of Chinese Academy of Sciences, Shenzhen Loop Area Institute, Tencent Turinglab） 通讯作者：Zhuotao Tian（Shenzhen Loop Area Institute） 作者列表：Bin Kang（University of Chinese Academy of Sciences, Shenzhen Loop Area Institute, Tencent Turinglab）、Shaoguo Wen（Tencent Turinglab）、Yang Fan（Shenzhen Loop Area Institute）、Shunlong Wu（Tsinghua University）、Junjie Wang（Shenzhen Loop Area Institute）、Yulin Li（Shenzhen Loop Area Institute）、Junzhi Zhao（Southwest Jiaotong University）、Junle Wang（Tencent Turinglab）、Zhuotao Tian（Shenzhen Loop Area Institute） 💡 毒舌点评 这篇论文清晰地定义并攻击了TTS领域中一个真实且棘手的“复合情感指令”控制问题，提出的多智能体闭环框架从“解耦-锚定-反馈”逻辑链条完整，实验设计扎实，提升显著。但各子模块虽协同良好，本质上仍是对已有技术的精巧系统集成，缺乏单一方法论上的根本性突破。对MLLM评估器的强依赖构成了其实时性和鲁棒性的阿喀琉斯之踵，而论文对此关键限制的讨论，尤其是在MLLM提示设计、输出格式、评估偏见及错误影响机制方面，几乎是完全的黑盒，这削弱了方法的可复现性和严谨性。 ...

📄 AudioChat: Unified Audio Storytelling, Editing, and Understanding with Transfusion Forcing #多模态模型 #音频生成 #音频理解 #语音合成 #说话人日志 5.8/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.7/1.5 | 清晰 0.6/1 | 影响 0.9/1.5 | 开源 0.1/1.5 | 复现 0.2/0.5 | 工程 1.1/1.5 📝 5.8/10 | 前50% | #音频生成 | #扩散模型 | #多模态模型 #音频理解 | arxiv 👥 作者与机构 第一作者：William Chen（Adobe Research, Carnegie Mellon University） 通讯作者：William Chen williamchen@cmu.edu, Prem Seetharaman pseeth@adobe.com 作者列表：William Chen（Adobe Research, Carnegie Mellon University）、Prem Seetharaman（Adobe Research）、Rithesh Kumar（Adobe Research, OpenAI）、Oriol Nieto（Adobe Research）、Shinji Watanabe（Carnegie Mellon University）、Justin Salamon（Adobe Research）、Zeyu Jin（Adobe Research） 💡 毒舌点评 这是一篇工程味很重的工作，为统一处理复杂多源音频场景提供了一个端到端的解决方案，pipeline设计完整。但核心创新很有限，本质是将视觉领域的Transfusion和Diffusion Forcing技术结合后迁移到音频，并强依赖于一个用专有模型合成的数据集。评测高度内循环，在域外真实音频上的泛化性存疑，且模型不公开，更像是Adobe内部技术实力的展示而非推动社区开放研究的产物。 ...

📄 Bridging the Stability-Expressivity Gap: Synthetic Data Scaling and Preference Alignment for Low-Resource Spoken Language Models #语音合成 #后训练 #自监督学习 #低资源 #多语言 8/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 1.3/1.5 | 清晰 0.9/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.4/0.5 | 工程 1.1/1.5 🔥 8/10 | 前25% | #语音合成 | #后训练 | #自监督学习 #低资源 | arxiv 👥 作者与机构 第一作者：Yizhong Geng（北京邮电大学） 通讯作者：Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 作者列表：Yizhong Geng（北京邮电大学）、Yanliang Li（Beijing Logic Intelligence Technology）、Jinghan Yang（北京邮电大学）、Tianhan Jiang（University of California, USA）、Boxun An（Northwestern University, USA）、Ya Li（北京邮电大学）、Xiaoyu Shen（Eastern Institute of Technology, Ningbo） 💡 毒舌点评 本文敏锐地抓住低资源SLM中合成数据泛滥引发的“越稳定越单调”的分布塌缩现象，并将Flow-Matching架构的内在解耦设计巧妙地转化为无需人工标注的自对齐信号，思路相当漂亮。然而，TDSC对目标语言ASR模块的硬依赖限制了其在最极端的语言上的用武之地，且整个pipeline的计算开销在资源受限场景下的性价比分析仍然缺席。 ...

📄 Evaluating and Rewarding LALMs for Expressive Role-Play TTS via Mean Continuation Log-Probability #语音合成 #强化学习 #数据集 #语音大模型 6.6/10 | 创新 0.8/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 ✅ 6.6/10 | 前50% | #语音合成 | #强化学习 | #数据集 #语音大模型 | arxiv 👥 作者与机构 第一作者：Yong Ren（中国科学院自动化研究所 / 中国科学院大学人工智能学院）、Jingbei Li（StepFun） 通讯作者：Jingbei Li（StepFun, lijb19@tsinghua.org.cn）、Cheng Yi（StepFun, yicheng@stepfun.com）、Xuerui Yang（StepFun, yangxuerui@stepfun.com） 完整作者列表：Yong Ren、Jingbei Li（共同一作）、Haiyang Sun（StepFun）、Yujie Chen（北京航空航天大学）、Cheng Yi（StepFun）、Yechang Huang（StepFun）、Hao Gu（中国科学院自动化研究所 / 中国科学院大学人工智能学院）、Ye Bai（中国科学院自动化研究所）、Xuerui Yang（StepFun） 💡 毒舌点评 本文用 MCLP 将风格一致性量化为 LALM 续写概率，想法精巧，逻辑也基本自洽。但实验的“SOTA”声明水分太大：跟 GPT-Audio、通用 InstructTTS 比当然全面碾压，可真正的对手——那些同样用了 RL 做风格对齐的 TTS 系统——一个都没出现在基线里。主表上 MOS 4.461 vs. 3.576 的巨大鸿沟假装看不见，3.576 就能叫 SOTA？文末的局限分析写得像免责声明，对 MCLP 受限于 Step-Audio-2 这一特定 Tokenizer 和生态的根本脆弱性避而不谈。贡献嘛，做好了一个中文标杆数据集 + 一个有意思的指标，但要说方法论上有普适性突破，还差得远。 ...

📄 FoeGlass: Simple In-Context Learning Is Enough for Red Teaming Audio Deepfake Detectors #语音伪造检测 #大语言模型 #语音合成 #提示学习 #模型评估 6.8/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.4/0.5 | 工程 1/1.5 ✅ 6.8/10 | 前50% | #语音伪造检测 | #大语言模型 | #语音合成 #提示学习 | arxiv 👥 作者与机构 第一作者：Sepehr Dehdashtian（Michigan State University） 通讯作者：Sepehr Dehdashtian（Michigan State University） 作者列表：Sepehr Dehdashtian（Michigan State University）、Jacob H. Seidman（Reality Defender）、Vishnu Naresh Boddeti（Michigan State University）、Gaurav Bharaj（Reality Defender） 💡 毒舌点评 本文首次将LLM的上下文学习用于音频深度伪造检测器的黑盒自动化红队，多样性反馈机制设计巧妙，显著提升了攻击多样性与成功率。然而，方法对超参数敏感且未在真实商业检测器上验证，开源代码缺失严重削弱了其实用说服力与可复现性。 ...

📄 Multimodal Latent Language Modeling with Next-Token Diffusion #语音合成 #多模态模型 6.1/10 | 创新 1.4/2 | 严谨 1.2/1.5 | 实验 0/1.5 | 清晰 0.8/1 | 影响 1.2/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.1/10 | 前50% | #语音合成 | #自回归模型 | #多模态模型 | arxiv 👥 作者与机构 第一作者: Yutao Sun (Tsinghua University) 通讯作者: Furu Wei (Microsoft Research), Jianyong Wang (Tsinghua University) 作者列表: Yutao Sun (Tsinghua University), Hangbo Bao (Microsoft Research), Wenhui Wang (Microsoft Research), Zhiliang Peng (Microsoft Research), Li Dong (Microsoft Research), Shaohan Huang (Microsoft Research), Yaoyao Chang (未说明), Jianyong Wang (Tsinghua University), Furu Wei (Microsoft Research) 💡 毒舌点评 本文在“一切皆为token”的统一多模态框架上迈出了扎实的一步，用next-token diffusion巧妙绕开了VQ-VAE的信息瓶颈，σ-VAE的方差约束设计也切中自回归生成的exposure bias要害。但ImageNet上的图像生成实验，LatentLM-L（479M, FID 2.24）实际上并未超越同体量的MAR（479M, FID 1.78），论文将其归入非因果类进行对比虽分类合理，但未能提供等计算量对比来证明因果框架自身能弥补这一差距；此外，仅在200B tokens上训练的1.3B多模态LLM远未达到收敛，声称的scaling优势仍需更大规模验证；TTS人类评估仅24人，略显单薄。 ...