零样本

📄 Confucius4-TTS: Transcript-Free Cross-Lingual Zero-Shot TTS with a Learnable Speaker Encoder 标签：#语音合成 #自回归模型 #语音克隆 #多语言 #零样本 7.7/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1.2/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：系统技术报告 | 评分置信度：高 | #语音合成 | #自回归模型 | #语音克隆 #多语言 | arxiv 👥 作者与机构 第一作者：Huaxuan Wang（NetEase Youdao, Beijing, China） 通讯作者：未说明 作者列表：Huaxuan Wang（NetEase Youdao, Beijing, China）、Huimin Wang（NetEase Youdao, Beijing, China）、Ruiyu Zhang（NetEase Youdao, Beijing, China）、Yingjie Li（NetEase Youdao, Beijing, China）、Yitao Duan（NetEase Youdao, Beijing, China） 💡 毒舌点评 这是一份工业级多语言 zero-shot TTS 系统报告，联合训练的 SSL speaker encoder 让参考音频不再依赖转录，跨语言 WER 和主观排名确实能打；但创新更偏工程集成而非方法突破，且全文没有单组件消融、延迟/吞吐和显著性检验，审稿人难以判断各项设计到底贡献了多少。 ...

📄 DonorRank: Donor Language Selection for Low-Resource Cross-Lingual Speech Recognition 标签：#语音识别 #迁移学习 #多语言 #低资源 #零样本 6.6/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.6/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音识别 | #迁移学习 | #多语言 #低资源 | arxiv 👥 作者与机构 第一作者：Akriti Dhasmana（University of Notre Dame, Computer Science and Engineering, Notre Dame, IN, USA） 通讯作者：未说明 作者列表：Akriti Dhasmana、Aarohi Srivastava、David Chiang（均来自 University of Notre Dame, Computer Science and Engineering） 💡 毒舌点评 工作把文本领域 LangRank 思路搬进低资源口语 ASR 的捐赠语言选择，并在 VAANI-D 上取得高 NDCG、识别出非显然转移 hub。短板同样明显：没有和语音领域已有的数据驱动捐赠者选择方法比较；WAXAL 上 top-1 整体不如遗传近邻，却未报告均值或统计检验；无代码、无模型、无数据发布，第三方难以严格验证或复用其结论。 ...

📄 Phoenix TTS: High-Fidelity Synthesis and Voice Conversion via Flow-Matching-Driven Speech Tokenization 标签：#语音合成 #流匹配 #语音转换 #自回归模型 #零样本 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #语音合成 | #流匹配 | #语音转换 #自回归模型 | arxiv 👥 作者与机构 团队：L-Lab Phoenix-Audio Team 机构：Didichuxing Co. Ltd 核心贡献者：Peijie Chen、Zhuanling Zha、Zhipeng Nie、Weijie Wu、Yiming Liu、Daiyu Huang、Junbo Li、Jun Fang、Naiqiang Tan、Hua Chai（均 Didichuxing Co. Ltd） 顾问：Qingyang Hong（厦门大学） 通讯作者：未说明 💡 毒舌点评 本文用 flow matching 梯度反传把语义 tokenizer 和声学解码器焊在一起，确实把 WER 压到 GT 以下、SIM 在多基准上登顶，联合训练的证据链清楚。但全篇没有任何开源迹象，mask 策略与损失权重等关键实现细节一笔带过，且“超过 GT”这类表述应更谨慎解读。推理延迟、吞吐、训练成本对比等系统级指标全缺，工业部署价值难以独立判断。 ...

📄 CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis 标签：#语音合成 #扩散模型 #语音克隆 #自回归模型 #零样本 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音合成 | #扩散模型 | #语音克隆 #自回归模型 | arxiv 👥 作者与机构 第一作者：Zhisheng Zheng（德克萨斯大学奥斯汀分校，由邮箱 zszheng@utexas.edu 确认） 通讯作者：未说明（论文正文未标注通讯作者；David Harwath 提供邮箱 harwath@utexas.edu，但未被明确指定为通讯作者） 作者列表：Zhisheng Zheng、Xiaohang Sun、Zhu Liu、Caren Chen、Rohith Kumar、Manoj Aggarwal、Gerard Medioni、David Harwath 机构信息：论文页脚标注两个单位——1. The University of Texas at Austin，2. Amazon；各作者与机构的对应关系未逐人标出。除上述两位由邮箱确认外，其余作者的机构归属无法确认。 💡 毒舌点评 把 DiTAR 的连续潜空间、CAM++ 声纹和逐音素韵律控制信号整合成一套可用的可控 TTS，工程上确实完整，0.6B 在零样本克隆上也略优于复现的 DiTAR。但“可控性”全程只拿对 GT 的 RMSE/MAE 说话，既没有验证对任意给定非 GT 目标韵律的跟随能力，也没有对 pitch/loudness 逐项消融，更没有控制效果的主观听感测试；0.1B 模型在零样本合成中 WER 明显退化也完全未解释。以顶会标准看，这只能证明“显式控制信号能降低与 GT 的声学误差”，还不足以支撑“用户可控表达性语音合成”的强声明。 ...

📄 CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents 标签：#语音合成 #自回归模型 #流匹配 #知识蒸馏 #零样本 7.0/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音合成 | #自回归模型 | #流匹配 #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Yuqian Zhang（上海创新研究院、复旦大学；论文脚注标注“实习期间在 OPPO 完成”） 通讯作者：Shuang Chen（上海创新研究院、复旦大学） 作者列表： Yuqian Zhang（上海创新研究院、复旦大学；OPPO 实习） Yao Shi（OPPO AI Center） Kexin Huang（复旦大学） Botian Jiang（上海创新研究院、复旦大学） Zhe Xu（上海创新研究院、复旦大学） Yiwei Zhao（上海创新研究院、复旦大学） Min Liang（OPPO AI Center） Shuang Chen（上海创新研究院、复旦大学） Xipeng Qiu（上海创新研究院、复旦大学） 机构说明：论文仅给出三个机构编号（1=上海创新研究院、2=OPPO AI Center、3=复旦大学），未提供更细的实验室/部门层级，未说明的内容不额外猜测。 💡 毒舌点评 CuteTTS 的工程完成度确实亮眼——0.2B 参数在 49ms 首包延迟下交出 WER 2.16%/SIM 78.9 的 LibriSpeech 成绩，guidance–step 蒸馏把双分支 CFG 与 10 NFE 压成单分支 4 NFE 的思路也值得后续工作借鉴。但审稿人最想追问的是：SIM 评测器与被蒸馏的说话人编码器同属 WavLM 家族，表 1 中 78.9 对 VoxCPM2 的明显领先有多少来自表征空间亲缘性而非真实音色还原？全文没有 demo 链接、没有显著性检验、主观评测仅 7 名标注者×400 比较项，却要支撑“high-quality synthesis”这个核心卖点，证据链偏细。 ...

📄 Dramarrator: Object-Based Audio Editing for Audio Drama Production from Books 标签：#音频生成 #大语言模型 #音频交互 #零样本 #游戏音频 7.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #音频生成 | #大语言模型 | #音频交互 #零样本 | arxiv 👥 作者与机构 第一作者：Karim Benharrak（University of California, Berkeley） 通讯作者：未说明 作者列表：Karim Benharrak（University of California, Berkeley）、Oriol Nieto（Adobe Research, San Francisco）、Bryan Wang（Adobe Research, Seattle）、Zeyu Jin（Adobe Research, San Francisco）、Amy Pavel（University of California, Berkeley） 💡 毒舌点评 把面向对象编程搬到音频剧剪辑台上是一次聪明的抽象跃迁，9.7×编辑放大和约4倍时间缩减足以让DAW厂商坐不住；但整套系统建立在ElevenLabs、Gemini 3 Pro以及其他闭源生成模型之上，对象级传播完全交给LLM却不给出任何可靠性度量，N=8固定顺序的受试设计又让"显著降低任务负荷"的因果故事无法完全闭合。审稿人在点头之余，始终悬着一个无法验证的问号。 ...

📄 SCoPE: Training-Free Audio-Visual Event Perception via Sparse Cross-Modal Prior Exchange 标签：#音视频理解 #测试时自适应 #零样本 #高效推理 7.1/10 | 创新 1.6/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.5/0.5 | 工程 0.9/1.5 ✅ 7.1/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音视频理解 | #测试时自适应 | #零样本 #高效推理 | arxiv 👥 作者与机构 第一作者：Jaemo Jeong（KAIST） Junho Yoon（KAIST） Hyunju Kim（KAIST） Dongman Lee（KAIST，通讯作者疑似） 论文提交日期：arXiv 2608.07923v1；全部作者均来自 KAIST 💡 毒舌点评 SCoPE 把“稀疏竞争 + 跨模态代价再分配”做成了一套完全训练-free 的推理框架，在三个基准上普遍带来增益且推理仅 3.16 ms/视频，这是实打实的贡献。但它的核心对比没有做到真正公平：LLP 上对标的是 AV2A 论文里报告的旧数字，测试视频数还差 15 条（1,109 vs 1,124），不是逐视频配对；OV-AVEBench 上自己复现的 AV2A 只有 33.14 Avg，比 OV-AVEL 低近 10 个点，论文却对 AV2A 为何在换基准后崩塌没有给出解释。更值得警惕的是，ASYM（单侧证据）事件提升只有 3.6 个点，Event@evt 甚至比 AV2A 低 0.16 个点（31.04 vs 31.2），说明跨模态先验主要利好双边、长时事件，对真正难的“只闻其声/只现其影”场景帮助有限。此外代码、权重、数据一个链接都没有，关键结果无法独立验证。 ...

📄 Steering dense music retrieval with open-vocabulary concept discovery 标签：#音乐检索 #无监督学习 #多模态模型 #零样本 #可解释性 7.7/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.7/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #音乐检索 | #无监督学习 | #多模态模型 #零样本 | arxiv 👥 作者与机构 作者列表与机构信息在原文中未以常规作者块形式提供，仅有致谢提及 EPSRC UKRI Centre for Doctoral Training in Artificial Intelligence and Music (EP/S022694/1) 与 Universal Music Group 资助。作者身份与完整机构列表未披露。 ...

📄 Multi Codec Discrete Diffusion Model for Text Guided Speech Inpainting and Editing 标签：#语音编辑 #扩散模型 #音频修复 #Transformer #零样本 7.3/10 | 创新 1.2/2 | 严谨 1.1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 1/1.5 | 复现 0.3/0.5 | 工程 0.9/1.5 ✅ 7.3/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音编辑 | #扩散模型 | #音频修复 #Transformer | arxiv 👥 作者与机构 第一作者：Iftach Shoham（Ben-Gurion University of the Negev）与 Tali Dror（Ben-Gurion University of the Negev），论文标注为共同一作 作者列表：Iftach Shoham、Tali Dror、Oren Gal（University of Haifa）、Haim Permuter（Ben-Gurion University of the Negev）、Gilad Katz（Ben-Gurion University of the Negev）、Eliya Nachmani（Ben-Gurion University of the Negev） 通讯作者：未说明 💡 毒舌点评 把 RVQ 码本的粗到细层级显式编码进离散扩散的条件因子化，是比直接 flatten 所有码本更贴合语音 codec 结构的建模选择；代码仓库也给了。但语音编辑任务上相对 VoiceCraft 的 WER 只从 0.124 降到 0.121，差距几乎落在标准差范围内；实验只用了 RealEdit 一个基准，没有对比任何扩散/流匹配类非自回归方法，也没有人工听感评测。修复任务在短 gap 上的 MCD 优势很突出，但整体说服力仍配不上方法设计的优雅度。 ...

📄 SemBridge: Semantic Token Anchoring for Continuous-Latent Autoregressive Speech Generation 标签：#语音合成 #自回归模型 #歌唱生成 #流匹配 #零样本 7.0/10 | 创新 1.3/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1/1.5 | 开源 0.2/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 7.0/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音合成 | #自回归模型 | #歌唱生成 #流匹配 | arxiv 👥 作者与机构 第一作者：Hanke Xie（机构编号 1/2，机构名称未说明；论文脚注标注实习期间于 Soul AI Lab 完成部分工作） 共同第一作者：Haopeng Lin（机构编号 2，机构名称未说明） 通讯作者：Lei Xie（机构编号 1）、Xinsheng Wang（机构编号 2） 作者列表： Hanke Xie Haopeng Lin Jiale Qian Dake Guo Yuepeng Jiang Zhichao Wang Wenxiao Cao Jingbin Hu Guobin Ma Wenhao Li Huakang Chen Chengyou Wang Ming Tao Zhonghua Fu Lei Xie Xinsheng Wang 机构名称未在论文中说明；仅能从编号区分两组机构。 💡 毒舌点评 把离散语义 token 当作“训练期状态锚点”而不是“推理期生成目标”，这个定位确实比连续特征对齐更干净：它不要求隐藏状态复刻 teacher 表示的完整几何，只要求状态能够线性分类出语义类别。但论文的最强系统对比并不与受控消融完全同条件：系统级模型改用 120K 小时联合 TTS-SVS 训练且使用 Anchor@24，而受控消融默认 Anchor@32。VoxCPM2 在 Seed-TTS-Eval 中文硬子集上仍以 8.13 CER / 0.753 SIM 同时压过 SemBridge 的 9.79 CER / 0.717 SIM，说明 SemBridge 的价值更多在于“用更小模型获得有竞争力的内容-音色平衡”，而不是全面 SOTA。 ...