Posts

📄 CtrlSpeech: Coarse-to-Fine Control for Expressive Speech Synthesis 标签：#语音合成 #扩散模型 #语音克隆 #自回归模型 #零样本 6.4/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 0.9/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音合成 | #扩散模型 | #语音克隆 #自回归模型 | arxiv 👥 作者与机构 第一作者：Zhisheng Zheng（德克萨斯大学奥斯汀分校，由邮箱 zszheng@utexas.edu 确认） 通讯作者：未说明（论文正文未标注通讯作者；David Harwath 提供邮箱 harwath@utexas.edu，但未被明确指定为通讯作者） 作者列表：Zhisheng Zheng、Xiaohang Sun、Zhu Liu、Caren Chen、Rohith Kumar、Manoj Aggarwal、Gerard Medioni、David Harwath 机构信息：论文页脚标注两个单位——1. The University of Texas at Austin，2. Amazon；各作者与机构的对应关系未逐人标出。除上述两位由邮箱确认外，其余作者的机构归属无法确认。 💡 毒舌点评 把 DiTAR 的连续潜空间、CAM++ 声纹和逐音素韵律控制信号整合成一套可用的可控 TTS，工程上确实完整，0.6B 在零样本克隆上也略优于复现的 DiTAR。但“可控性”全程只拿对 GT 的 RMSE/MAE 说话，既没有验证对任意给定非 GT 目标韵律的跟随能力，也没有对 pitch/loudness 逐项消融，更没有控制效果的主观听感测试；0.1B 模型在零样本合成中 WER 明显退化也完全未解释。以顶会标准看，这只能证明“显式控制信号能降低与 GT 的声学误差”，还不足以支撑“用户可控表达性语音合成”的强声明。 ...

📄 CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents 标签：#语音合成 #自回归模型 #流匹配 #知识蒸馏 #零样本 7.0/10 | 创新 1.4/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #语音合成 | #自回归模型 | #流匹配 #知识蒸馏 | arxiv 👥 作者与机构 第一作者：Yuqian Zhang（上海创新研究院、复旦大学；论文脚注标注“实习期间在 OPPO 完成”） 通讯作者：Shuang Chen（上海创新研究院、复旦大学） 作者列表： Yuqian Zhang（上海创新研究院、复旦大学；OPPO 实习） Yao Shi（OPPO AI Center） Kexin Huang（复旦大学） Botian Jiang（上海创新研究院、复旦大学） Zhe Xu（上海创新研究院、复旦大学） Yiwei Zhao（上海创新研究院、复旦大学） Min Liang（OPPO AI Center） Shuang Chen（上海创新研究院、复旦大学） Xipeng Qiu（上海创新研究院、复旦大学） 机构说明：论文仅给出三个机构编号（1=上海创新研究院、2=OPPO AI Center、3=复旦大学），未提供更细的实验室/部门层级，未说明的内容不额外猜测。 💡 毒舌点评 CuteTTS 的工程完成度确实亮眼——0.2B 参数在 49ms 首包延迟下交出 WER 2.16%/SIM 78.9 的 LibriSpeech 成绩，guidance–step 蒸馏把双分支 CFG 与 10 NFE 压成单分支 4 NFE 的思路也值得后续工作借鉴。但审稿人最想追问的是：SIM 评测器与被蒸馏的说话人编码器同属 WavLM 家族，表 1 中 78.9 对 VoxCPM2 的明显领先有多少来自表征空间亲缘性而非真实音色还原？全文没有 demo 链接、没有显著性检验、主观评测仅 7 名标注者×400 比较项，却要支撑“high-quality synthesis”这个核心卖点，证据链偏细。 ...

📄 DAVE: A Decoupled Audio-Visual Enhancement Framework for Real-World Speech Separation 标签：#音视频语音分离 #多任务学习 #语音增强 #鲁棒性 6.5/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.2/1.5 ✅ 6.5/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频语音分离 | #多任务学习 | #语音增强 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Wei Zhou（Yijiahe AI） 通讯作者：Wanyi Ning（Yijiahe AI / 天津大学） 作者列表：Wei Zhou（Yijiahe AI）、Wanyi Ning（Yijiahe AI / 天津大学）、Yinshang Guo（南京大学）、Qianxiao Fang（Yijiahe AI）、Haitao Qian（Yijiahe AI）、Yingpeng Li（Yijiahe AI） 💡 毒舌点评 DAVE 的设计直觉很清醒：视觉不是用来重建波形的，而是用来做身份归属的低带宽决策，这比把不可靠视觉特征硬塞进分离网络更符合真实场景。可惜“certified”这个说法撑不住：场景分类器只有 98.13% 准确率，误路由会让“结构性不降级”不成立；官方排行榜上 DAVE 主要靠 UTMOS 和 DNSMOS-OVRL 两项无参考感知指标领先，SI-SDR、CER、说话人相似度都不是最优，平均排名只在 4.00/4.14，明显落后于 AITD 和 audioman。再加上没有开源代码、权重或 DAVE-Corpus 下载入口，这套系统更像一个工程报告而不能称为可复现的方法贡献。 ...

📄 Deferred Audio Pruning with Local Audio-Visual Dynamics for Omni-LLMs 标签：#模型剪枝 #多模态模型 #高效推理 #模型压缩 8.4/10 | 创新 1.5/2 | 严谨 1.3/1.5 | 实验 1.2/1.5 | 清晰 1/1 | 影响 1.2/1.5 | 开源 0.5/1.5 | 复现 0.5/0.5 | 工程 1.2/1.5 🔥 8.4/10 | 前25% | 文档类型：方法研究 | 评分置信度：中 | #模型剪枝 | #多模态模型 | #高效推理 #模型压缩 | arxiv 👥 作者与机构 第一作者：Kyeongyoon Lee（标注机构1，论文未提供机构名称） 通讯作者：未说明 作者列表：Kyeongyoon Lee（机构1）、Hongyeob Kim（机构1）、Youngeun Kim（机构2）、Sungeun Hong（机构1） 说明：所有机构仅以编号形式出现，论文原文未给出机构名称。 💡 毒舌点评 把“何时压缩”和“压缩哪个模态”拆开处理是本文最值得肯定的洞察：音频保留到查询条件化之后再用 query attention 剪枝，确实比所有 pre-LLM 统一压缩更合理。短板也很明显：所有对比都限定在 training-free 方法，缺少与可学习压缩/蒸馏方案的对照；“code will be released upon acceptance”意味着当前无法直接核验实现细节。此外，全部实验只在 Qwen2.5-Omni 单一骨干上进行，跨架构泛化尚未验证。 ...

📄 Dramarrator: Object-Based Audio Editing for Audio Drama Production from Books 标签：#音频生成 #大语言模型 #音频交互 #零样本 #游戏音频 7.0/10 | 创新 1.5/2 | 严谨 1.2/1.5 | 实验 1/1.5 | 清晰 1/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 7.0/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：中 | #音频生成 | #大语言模型 | #音频交互 #零样本 | arxiv 👥 作者与机构 第一作者：Karim Benharrak（University of California, Berkeley） 通讯作者：未说明 作者列表：Karim Benharrak（University of California, Berkeley）、Oriol Nieto（Adobe Research, San Francisco）、Bryan Wang（Adobe Research, Seattle）、Zeyu Jin（Adobe Research, San Francisco）、Amy Pavel（University of California, Berkeley） 💡 毒舌点评 把面向对象编程搬到音频剧剪辑台上是一次聪明的抽象跃迁，9.7×编辑放大和约4倍时间缩减足以让DAW厂商坐不住；但整套系统建立在ElevenLabs、Gemini 3 Pro以及其他闭源生成模型之上，对象级传播完全交给LLM却不给出任何可靠性度量，N=8固定顺序的受试设计又让"显著降低任务负荷"的因果故事无法完全闭合。审稿人在点头之余，始终悬着一个无法验证的问号。 ...

📄 Dynamic Clustering for Cross-Segment Permutation Alignment in Long Speech Separation 标签：#语音分离 #无监督学习 #模型评估 6.2/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.8/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.2/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #语音分离 | #无监督学习 | #模型评估 | arxiv 👥 作者与机构 第一作者：Yuzhu Wang（机构未说明） 通讯作者：未说明 作者列表：Yuzhu Wang（机构未说明）、Archontis Politis（机构未说明）、Konstantinos Drossos（机构未说明）、Tuomas Virtanen（机构未说明） 💡 毒舌点评 方法的核心卖点是把动态说话人缓存从说话人日志迁移到分离后处理，质量加权加 TopN 保留这一组合在稀疏长语音上确实打得过 VAD 聚类类基线，且无需训练的即插即用设计很务实。但整篇评测都建立在 LibriSpeech 加模拟噪声混响的合成数据上，只用了一个 FTRNN 分离器，代码、模型、数据集一个都不放，作者似乎默认读者愿意相信他们的拼接细节没有问题。 ...

📄 EmoS: A Theory-Grounded Framework for Evaluating and Aligning Emotional Intelligence in Spoken Language Models 标签：#语音情感识别 #强化学习 #语音交互 6.2/10 | 创新 1.2/2 | 严谨 0.9/1.5 | 实验 1/1.5 | 清晰 0.8/1 | 影响 1/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1/1.5 ✅ 6.2/10 | 前50% | 文档类型：数据集与基准 | 评分置信度：高 | #语音情感识别 | #强化学习 | #语音交互 | arxiv 👥 作者与机构 第一作者：Junyu Wang（天津大学，天津大学认知计算与应用天津市重点实验室） 通讯作者：未说明（论文只有 \correspondingauthor 标记，未明确标注对应作者姓名） 作者列表： Junyu Wang（天津大学，天津大学认知计算与应用天津市重点实验室） Siyuan Zhang（天津大学，天津大学认知计算与应用天津市重点实验室） Peiyuan Jiang（天津大学，天津大学认知计算与应用天津市重点实验室） Jian Zong（天津大学，天津大学认知计算与应用天津市重点实验室） Jingyu Zhang（天津大学） Tianrui Wang（天津大学） Yuqin Lin（福州大学） Zhenghui Chen（福州大学） Shuqing Xie（福州大学） Ziyang Ma（上海交通大学） Meng Ge（天津大学） Xiaobao Wang（天津大学） Longbiao Wang（天津大学，天津大学认知计算与应用天津市重点实验室） Jianwu Dang（中国科学院深圳先进技术研究院） 💡 毒舌点评 用 Mayer-Salovey 四分支模型把 SLM 情绪智力从“听出情绪”扩展成可评测的十任务体系，EmoBench 和 EmoDialogue 的规模确实称得上该方向目前最完整的尝试。但核心数据集、模型和代码全部没有公开，评测样本又来自同一套合成 pipeline，83.8% 的“接近人类”更像是在自建题库里的闭卷成绩；缺少标注一致性、泄漏分析和基线提示词说明，审稿人很难判断这个数字的真实迁移价值。真实场景 62.9% 的掉点也说明分布外泛化仍是明显短板。 ...

📄 From Inaudible Inputs to Model Failures: Low-Frequency Safety Risks in LALMs 标签：#音频理解 #对抗训练 #音频大模型 #鲁棒性 #模型评估 7.4/10 | 创新 1.5/2 | 严谨 1.1/1.5 | 实验 1.2/1.5 | 清晰 0.9/1 | 影响 1.3/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 1.1/1.5 ✅ 7.4/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #音频理解 | #对抗训练 | #音频大模型 #鲁棒性 | arxiv 👥 作者与机构 第一作者：Yuanhe Zhang、Weiliu Wang（共同第一作者；机构信息未完整披露） 作者列表：Yuanhe Zhang、Weiliu Wang、Jie Ren、Liang Lin、Zhenhong Zhou、Haoran Gao、Kun Wang、Chen Li、Li Sun、Sen Su 通讯作者：Sen Su（论文署名信息未给出完整机构映射） 💡 毒舌点评 ILL 把“人耳听不见但模型能感知”的低频输入明确为 LALM 的安全风险，并用黑盒通用波形在六个模型上验证了可迁移的破坏效果；DRG 的条件重录防御也有工程直觉。但攻击只在数字混音中评估，没有 over-the-air 实测，DRG 仅建模两类分布且要求用户重复录音，频移、调制变化和实时交互下的鲁棒性仍未证明。 ...

📄 From Speech to Interaction: Analyzing Multimodal Systems in Cocktail-Party Scenarios 标签：#音视频语音识别 #多模态模型 #大语言模型 #模型比较 #会议转录 6.6/10 | 创新 1.2/2 | 严谨 1/1.5 | 实验 1/1.5 | 清晰 0.6/1 | 影响 1/1.5 | 开源 0.5/1.5 | 复现 0.1/0.5 | 工程 1.2/1.5 ✅ 6.6/10 | 前50% | 文档类型：系统技术报告 | 评分置信度：高 | #音视频语音识别 | #多模态模型 | #大语言模型 #模型比较 | arxiv 👥 作者与机构 第一作者：Thai-Binh Nguyen（Karlsruhe Institute of Technology） 通讯作者：未说明 作者列表：Thai-Binh Nguyen（Karlsruhe Institute of Technology）、Zhaolin Li（Karlsruhe Institute of Technology）、Jan Niehues（Karlsruhe Institute of Technology）、Alexander Waibel（Carnegie Mellon University；论文中 Waibel 的邮箱显示为 zhaolin.li@kit.edu，与第二作者重复，疑似论文排版错误） 💡 毒舌点评 这篇 CHiME-9 MCoRec 系统分析把"鸡尾酒会"问题拆成目标说话人转录与对话聚类两条设计轴，给出"重叠率不能单独解释性能差异"这一反直觉结论，并指出 LLM 语义聚类在高 WER 下仍保持高 F1，对后续系统设计有实际参考价值。 但所有参赛系统都以匿名编号出现且 system paper 尚未发布；各系统在 ASD、AVTSE、AVSR、聚类多个维度上同时变化，文中对"什么策略最有效"的归因停留在相关性层面，无受控消融、无统计显著性检验，session 案例分析样本量也很小。作为挑战赛技术分析报告，定位合格，但难以支撑强因果结论。 ...

📄 Investigating Multimodal Informativity under Different Partner Visibility Conditions in Video-Mediated Dialogue 标签：#多模态模型 #端到端 #模型评估 5.9/10 | 创新 1.2/2 | 严谨 1.2/1.5 | 实验 1.1/1.5 | 清晰 0.8/1 | 影响 0.5/1.5 | 开源 0/1.5 | 复现 0.3/0.5 | 工程 0.8/1.5 📝 5.9/10 | 前50% | 文档类型：方法研究 | 评分置信度：中 | #多模态模型 | #端到端 | #模型评估 | arxiv 👥 作者与机构 共同第一作者：Esam Ghaleb（Max Planck Institute for Psycholinguistics）、Hugh Mee Wong（Utrecht University）。论文脚注标注"Equal contribution"，因此按共同第一作者处理。 通讯作者：Esam Ghaleb（Max Planck Institute for Psycholinguistics，邮箱 esam.ghaleb@mpi.nl）。 作者列表：Esam Ghaleb（Max Planck Institute for Psycholinguistics）、Hugh Mee Wong（Utrecht University）、Kristina Kobrock（Osnabrück University）。 💡 毒舌点评 “这篇工作把’手势是否真的在对话中指称信息’从口号变成可计算的模型问题，并且用’语音不确定时手势增益最大’这一发现给出了有洞察的答案。但整个结论被封闭的Fribble指称游戏、标注的手势区间以及完全缺失的代码/模型发布所限制，开放性和可复现性明显拖了后腿。” ...