音频生成

📄 SyncTrack: Rhythmic Stability and Synchronization in Multi-Track Music Generation #音乐生成 #音频生成 #扩散模型 #模型评估 ✅ 7.5/10 | 前25% | #音乐生成 | #扩散模型 | #音频生成 #模型评估 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hongrui Wang (香港科技大学数学系) 通讯作者：Can Yang (香港科技大学数学系/神经系统疾病国家重点实验室)， Yang Wang (香港大学) 作者列表： Hongrui Wang (香港科技大学数学系，*共同第一作者) Fan Zhang (香港科技大学数学系，*共同第一作者，†共同通讯) Zhiyuan Yu (浙江大学CAD&CG国家重点实验室) Ziya Zhou (香港科技大学交叉学科学院) Xi Chen (香港科技大学交叉学科学院) Can Yang (香港科技大学数学系/神经系统疾病国家重点实验室，†共同通讯) Yang Wang (香港大学，†共同通讯) 💡 毒舌点评 亮点：论文精准击中了多轨音乐生成中“节奏打架”这一要害，并给出了“分而治之”的优雅解法（共享模块管节奏，特定模块管音色），提出的三个节奏评估指标（IRS, CBS, CBD）直击FAD指标的软肋，非常实用。 短板：模型架构虽然有效，但创新性主要体现在针对性设计上，基础框架（U-Net, LDM）仍属借用，未在生成模型理论上实现根本性突破。此外，实验主要在Slakh2100这个相对干净的数据集上进行，对于更复杂、更自由的音乐风格，模型的表现有待进一步验证。 ...

📄 TangoFlux: Super Fast and Faithful Text to Audio Generation with Flow Matching and Clap-Ranked Preference Optimization #音频生成 #流匹配 #扩散模型 #模型评估 #开源工具 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #模型评估 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chia-Yu Hung（南洋理工大学） 通讯作者：未说明（论文未明确指定通讯作者） 作者列表：Chia-Yu Hung（南洋理工大学）, Navonil Majumder（南洋理工大学）, Zhifeng Kong（NVIDIA）, Ambuj Mehrish（威尼斯卡福斯卡里大学）, Amir Ali Bagherzadeh（Lambda Labs）, Chuan Li（Lambda Labs）, Rafael Valle（NVIDIA）, Bryan Catanzaro（NVIDIA）, Soujanya Poria（南洋理工大学） 💡 毒舌点评 亮点：在音频生成这个“缺乏裁判”（无标准答案和可靠奖励模型）的赛道上，CRPO方法巧妙地利用CLAP打分实现了“自我训练、自我提升”的闭环，效果显著且思路优雅。短板：其声称的“超快”优势，很大程度上依赖于50步推理和44.1kHz采样率的设定，与一些专为极低延迟设计的模型（如ConsistencyTTA）的定位不同，其“最快”的宣称存在语境限定。 ...

📄 Token-Based Audio Inpainting via Discrete Diffusion #音频生成 #扩散模型 #音乐生成 #离散表示 #音频修复 ✅ 7.5/10 | 前25% | #音频生成 | #扩散模型 | #音乐生成 #离散表示 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Tali Dror, Iftach Shoham (论文中为共同第一作者) 通讯作者：未说明 作者列表：Tali Dror (Ben-Gurion University of the Negev, School of Electrical and Computer Engineering), Iftach Shoham (Ben-Gurion University of the Negev, Faculty of Computer and Information Science, Data Science Research Center), Moshe Buchris (Ben-Gurion University of the Negev, School of Electrical and Computer Engineering), Oren Gal (University of Haifa), Haim H. Permuter (Ben-Gurion University of the Negev, School of Electrical and Computer Engineering), Gilad Katz (Ben-Gurion University of the Negev, Faculty of Computer and Information Science, Data Science Research Center), Eliya Nachmani (Ben-Gurion University of the Negev, School of Electrical and Computer Engineering) 💡 毒舌点评 本文开创性地将离散扩散模型应用于音频修复，将问题转化为token序列补全，并通过精心设计的span masking和导数损失来模拟音频的连续性，实验结果在长空缺修复上显著超越传统方法，这无疑是其最大的亮点。然而，其性能天花板几乎被WavTokenizer这个“黑盒”tokenizer完全锁死，且训练时的“先tokenize再mask”与推理时的“先mask再tokenize”的不匹配可能引入难以量化的误差，这是两个明显的理论与实践短板。 ...

📄 Toward Complex-Valued Neural Networks for Waveform Generation #语音合成 #生成模型 #对抗学习 #音频生成 #信号处理 ✅ 7.5/10 | 前25% | #语音合成 | #生成模型 | #对抗学习 #音频生成 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Hyung-Seok Oh（高丽大学人工智能系） 通讯作者：Seong-Whan Lee（高丽大学人工智能系） 作者列表：Hyung-Seok Oh（高丽大学人工智能系）、Deok-Hyeon Cho（高丽大学人工智能系）、Seung-Bin Kim（高丽大学人工智能系）、Seong-Whan Lee（高丽大学人工智能系） 💡 毒舌点评 这篇论文首次将复值神经网络完整地引入iSTFT基声码器的生成器和判别器，构建了一个优雅的复数域对抗框架，理论动机清晰，并通过详实的实验（尤其是消融研究）证明了复值建模相比简单参数扩增的优越性。然而，其主要短板在于工程实用性：复值网络内存占用翻倍，且论文坦承多GPU训练优化不足，导致其训练效率提升有限，实际部署时的内存与计算成本仍是显著瓶颈。 🔗 开源详情 代码：提供了代码仓库链接：https://hs-oh-prml.github.io/ComVo/。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用了公开的LibriTTS和MUSDB18-HQ数据集，论文中说明了获取和使用方式。 Demo：论文中未提及提供在线演示。 复现材料：提供了非常详细的训练配置、超参数表（表20）、架构细节、损失函数公式（附录C）、数值验证结果（附录F）和计算图可视化（附录G），复现材料充分。 论文中引用的开源项目：引用了iSTFTNet、HiFi-GAN、BigVGAN、Vocos、APNet、APNet2、FreeV等基线的开源实现；评估工具引用了UTMOS、auraloss（MR-STFT）、PESQ、cargan（Periodicity/V-UV）；辅助工具引用了complextorch库用于实现高斯技巧。 📌 核心摘要 问题：现有iSTFT基声码器使用实值神经网络处理复数频谱图的实部和虚部，这种分离处理的方式限制了模型对频谱复数内在结构（实-虚部耦合关系）的建模能力。 方法核心：提出ComVo，一个端到端复值神经网络声码器。其生成器和判别器（复值多分辨率判别器cMRD）均采用原生复数运算。创新点包括：引入相位量化层作为非线性正则化；提出分块矩阵计算方案以减少冗余运算，提升训练效率。 新在何处：据作者所知，这是首个同时在生成器和判别器中使用复值神经网络进行iSTFT波形生成的声码器，建立了真正的复数域对抗训练框架。 主要实验结果：在LibriTTS数据集上，ComVo在多项客观指标（UTMOS 3.6901, PESQ 3.8239）和主观评价（MOS 4.07）上优于Vocos、BigVGAN等强基线。在MUSDB18-HQ音乐数据集上也表现最佳。消融实验表明，复值生成器+复值判别器（GCDC）组合效果最佳，且复值建模优于将参数量翻倍的实值模型。分块矩阵方案将训练时间减少25%。 实际意义：为语音合成中的频谱建模提供了新范式，有望通过更好地建模相位信息来生成更自然的语音波形。 主要局限性：模型内存占用约为实值模型的2倍；多GPU训练存在未优化的问题；相位量化等模块采用了“分离式”设计，尚未探索更深入的复数域非线性。 🏗️ 模型架构 ComVo是一个基于生成对抗网络（GAN）的iSTFT基声码器，整体架构如图2所示。 ...

📄 UALM: Unified Audio Language Model for Understanding, Generation and Reasoning #音频大模型 #统一音频模型 #音频生成 #多模态模型 🔥 8.5/10 | 前25% | #音频生成 | #统一音频模型 | #音频大模型 #多模态模型 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Jinchuan Tian (卡内基梅隆大学，CMU) 通讯作者：未明确指定，但根据作者排序和邮箱，Sang-gil Lee, Zhifeng Kong, Wei Ping (NVIDIA) 为关键联系人。 作者列表：Jinchuan Tian (CMU)，Sang-gil Lee (NVIDIA)，Zhifeng Kong (NVIDIA)，Sreyan Ghosh (NVIDIA, 马里兰大学)，Arushi Goel (NVIDIA)，Chao-Han Huck Yang (NVIDIA)，Wenliang Dai (NVIDIA)，Zihan Liu (NVIDIA)，Hanrong Ye (NVIDIA)，Shinji Watanabe (CMU)，Mohammad Shoeybi (NVIDIA)，Bryan Catanzaro (NVIDIA)，Rafael Valle (NVIDIA)，Wei Ping (NVIDIA)。 💡 毒舌点评 亮点：这篇论文成功证明了一个基于LLM的单一模型，在经过精心设计的数据混合和训练后，不仅能在音频生成上媲美甚至超越扩散模型，还能同时保持强大的音频理解与文本推理能力，这是音频领域迈向“大一统”模型的重要一步。 短板：虽然提出了极具前景的“多模态推理”范式（如自我反思），但对其效果的评估几乎完全依赖主观听感测试，缺乏客观、可复现的自动指标来衡量推理链的质量和生成结果的可控性，使得这部分贡献的科学严谨性打了折扣。 ...

📄 UniSonate: A Unified Model for Speech, Music, and Sound Effect Generation with Text Instructions #音频生成 #流匹配 #扩散模型 #统一音频模型 #语音合成 🔥 8.5/10 | 前25% | #音频生成 | #流匹配 | #扩散模型 #统一音频模型 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Chunyu Qiang（天津大学， 快手科技） 通讯作者：Longbiao Wang（天津大学）， Jianwu Dang（天津大学） 作者列表：Chunyu Qiang（天津大学， 快手科技）、Xiaopeng Wang（快手科技）、Kang Yin（快手科技）、Yuzhe Liang（快手科技）、Yuxin Guo（快手科技， 中国科学院自动化研究所）、Teng Ma（快手科技）、Ziyu Zhang（快手科技）、Tianrui Wang（天津大学）、Cheng Gong（天津大学）、Yushen Chen（快手科技）、Ruibo Fu（中国科学院自动化研究所）、Chen Zhang（快手科技）、Longbiao Wang（天津大学）、Jianwu Dang（天津大学） 💡 毒舌点评 亮点：论文真正实现了语音、音乐、音效的“三合一”生成，且通过精巧的“动态token注入”和“课程学习”让这个庞然大物不仅能跑，还在语音和音乐的主流评测中刷出了新SOTA，证明了“团结就是力量”。 短板：在音效生成这个“混沌领域”，这个统一模型还是打不过那些专精于此的专门模型（如GenAU-L），并且论文未开源代码和模型，让其优秀的实验结论暂时停留在了“可看不可摸”的阶段。 ...

📄 A Speech-Driven Paradigm for Physics-Informed Modeling of Coupled Micro-Speakers #信号处理 #音频生成 #端到端 #声源定位 ✅ 7.0/10 | 前50% | #音频生成 | #信号处理 | #端到端 #声源定位 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 高 👥 作者与机构 第一作者：Chen Huang†（重庆邮电大学通信与信息工程学院） 通讯作者：Liming Shi†,⋆（重庆邮电大学通信与信息工程学院） 作者列表：Chen Huang†（重庆邮电大学通信与信息工程学院）、Chen Gong†（重庆邮电大学通信与信息工程学院）、Lei Zhou†（重庆邮电大学通信与信息工程学院）、Guoliang Wu†（重庆邮电大学通信与信息工程学院）、Hongqing Liu†（重庆邮电大学通信与信息工程学院）、Lu Gan‡（Brunel University College of Engineering, Design and Physical Science）、Liming Shi†（重庆邮电大学通信与信息工程学院） 💡 毒舌点评 论文的亮点在于其“范式转变”的提出——用真实语音而非工程信号进行系统辨识，并为此设计了一个物理启发式的紧凑神经网络（HPNN），在参数量和计算量远小于WaveNet的情况下达到了接近的性能，展现了“小而美”的工程优化价值。然而，短板也显而易见：作为一篇强调“生态效度”和“复现”的工作，论文完全未提供任何代码、模型权重或数据集，其实验结论对于第三方复现而言犹如空中楼阁，大大削弱了其作为“新范式”证明的说服力。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：论文中未提及公开模型权重。 数据集：论文中未提及公开数据集。实验数据为自己采集。 Demo：论文中未提供在线演示。 复现材料：论文提供了部分模型配置和训练策略（学习率、优化器、损失函数），但缺少硬件环境、完整超参数搜索过程、数据预处理细节等关键复现信息，不足以独立复现。 论文中引用的开源项目：未在提供的论文文本中明确列出依赖的开源工具/模型。 📌 核心摘要 问题：智能手机中的共腔多微扬声器系统存在复杂的非线性失真和声学耦合，传统的线性系统辨识方法（如正弦扫频）无法准确建模，影响了声音场控制等下游应用的性能。 方法核心：提出一种以真实语音为激励源、基于物理信息的系统辨识新范式。核心是设计了一个“混合多项式神经网络”（HPNN），其架构直接映射自扬声器阵列的物理拓扑：对线性响应的扬声器使用单层卷积，对非线性强的扬声器引入并行多项式卷积与激活，并通过一个全连接混合层联合建模多个扬声器的响应与耦合。 与已有方法相比新在哪里：摒弃了传统的扫频激励信号，改用更符合实际使用场景、频谱更丰富的语音信号进行激励和训练，以期更全面地激发系统非线性。模型架构上，HPNN是专为该多扬声器耦合问题定制的“灰盒”模型，兼具可解释性（物理结构指导）和数据拟合能力，在效率和参数规模上显著优于通用黑盒模型（如WaveNet）。 主要实验结果：在消声室原型阵列上，HPNN的时间域归一化均方误差（NMSE）达到-11.35 dB，与WaveNet（-11.28 dB）性能相当，但参数量仅为117.62K（WaveNet为1.02M），内存占用和计算量（MACs）也大幅降低。在频率域（200-4000Hz），HPNN在多个频段的表现优于线性FIR模型和Volterra神经网络（VNN），接近WaveNet。具体数据见下表。 模型 LSK1 (dB) LSK2 (dB) LSK3 (dB) LSK4 (dB) All (dB) HPNN -13.92 -16.25 -17.54 -8.13 -11.35 WaveNet -13.91 -17.03 -18.25 -8.15 -11.28 VNN -11.39 -12.25 -12.40 -7.32 -9.37 FIR -11.45 -11.47 -12.51 -5.83 -6.27 实际意义：为复杂非线性音频系统（如多扬声器设备）提供了一种更高效、更贴近实际工况的建模范式与模型设计思路，有望加速移动设备等资源受限环境下的音频系统开发与调试。 主要局限性：研究仅在特定原型阵列和消声室环境下验证，其泛化能力未知；未公开代码、数据与模型，可复现性差；作为“新范式”的证明，缺乏与更多传统或先进方法的广泛对比。 🏗️ 模型架构 论文提出的混合多项式神经网络（HPNN）架构如图1所示，其设计紧密贴合所研究的四扬声器（LSK1-LSK4）智能手机物理系统。 ...

📄 Arbitrarily Settable Frame Rate Neural Speech Codec with Content Adaptive Variable Length Segmentation #音频生成 #神经语音编解码 #可变帧率 #语音表示学习 ✅ 7.0/10 | 前25% | #音频生成 | #神经语音编解码 | #可变帧率 #语音表示学习 学术质量 6.0/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Yukun Qian (哈尔滨工业大学深圳) 通讯作者：Mingjiang Wang (哈尔滨工业大学深圳，mjwang@hit.edu.cn) 作者列表：Yukun Qian (哈尔滨工业大学深圳)、Wenjie Zhang (哈尔滨工业大学深圳)、Xuyi Zhuang (哈尔滨工业大学深圳)、Shiyun Xu (哈尔滨工业大学深圳)、Lianyu Zhou (哈尔滨工业大学深圳)、Mingjiang Wang (哈尔滨工业大学深圳，通讯作者) 💡 毒舌点评 亮点在于它巧妙地用Viterbi算法将“帧率”这个连续可调参数转化为了一个全局优化问题，这在工程上非常优雅，且实验表明在低帧率场景下确实比固定帧率的SOTA更抗造。短板则是这篇论文的“任意帧率”听起来很酷，但Viterbi算法的动态规划在超长音频或实时流式场景下的计算开销和时延问题被轻描淡写了，这可能限制其在某些实际部署中的应用。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：使用公开的LibriSpeech和LibriLight数据集。 Demo：未提及在线演示。 复现材料：提供了详细的训练配置（数据集、裁剪长度、帧率采样范围、优化器、学习率、硬件），但未提供检查点或更详细的超参数（如RVQ码本数量、Transformer具体配置）。 论文中引用的开源项目：明确基于并比较了DAC [8] 和VRVQ [22] 的架构。 📌 核心摘要 要解决什么问题：当前主流的基于残差向量量化（RVQ）的神经语音编解码器采用固定帧率，导致在处理静音或简单音频段时效率低下，造成序列冗余，无法根据内容重要性动态分配码率。 方法核心是什么：提出了内容自适应变长分段（CAVLS）框架。该框架首先用帧评分编码器为每个潜在表示帧打分，然后根据目标帧率，利用Viterbi动态规划算法将相似的相邻帧合并为可变长度的段，实现可变帧率（VFR）。段表示经过RVQ量化后，由带有FiLM调制的上下文段解码器利用局部上下文信息重建原始帧序列。 与已有方法相比新在哪里：与固定帧率（CFR）的DAC、VRVQ等模型相比，CAVLS首次在基于RVQ的语音编解码器中实现了真正意义上由内容驱动的可变帧率，允许用户指定任意目标帧率，而非仅改变码本数量（VRVQ）或多尺度网络（TFC）。 主要实验结果如何：在匹配比特率（图2a）和匹配帧率（图2b）的对比中，CAVLS在高帧率/高码率时与基线（DAC, VRVQ）持平，但在低帧率/低码率时显著优于基线。例如，在1 kbps码率下，CAVLS的UTMOS分数仅比高码率时下降0.2，而VRVQ已跌破3分。消融实验（表1）显示移除段编码器对性能影响最大。 实际意义是什么：为神经语音编解码提供了更高的灵活性和效率，尤其适用于带宽受限的场景（如12.5 Hz的超低帧率传输）。其变帧率表示也可能为下游的语音语言模型提供更紧凑、信息密度更高的离散单元。 主要局限性是什么：论文中未讨论Viterbi算法在极长音频序列上的计算复杂度和实时流式应用的可行性；STE在训练中的稳定性影响未深入分析；生成的可变帧率表示是否完全兼容现有依赖固定帧率的下游任务（如某些语音合成模型）也未探讨。 🏗️ 模型架构 CAVLS建立在标准的RVQ-GAN编解码框架之上，核心创新在于编码和解码阶段引入了动态分段机制。 ...

📄 Assessing The Perceptual Impact of Low-Altitude Aircraft Noise in Cities: An Auralization Framework Using Gaussian Beam Tracing #音频生成 #信号处理 #空间音频 #声源定位 🔥 8.0/10 | 前25% | #音频生成 | #信号处理 | #空间音频 #声源定位 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0 | 置信度 高 👥 作者与机构 第一作者：Qichen Tan（苏州大学未来科学与工程学院， 香港科技大学） 通讯作者：Kexin Sun（四川大学） 作者列表：Qichen Tan（苏州大学未来科学与工程学院， 香港科技大学）、Kexin Sun（四川大学）、Xun Jiang（电子科技大学）、Peng Hou（苏州大学未来科学与工程学院）、Jiayu Fan（苏州大学未来科学与工程学院） 💡 毒舌点评 这篇论文的亮点在于其扎实的工程系统集成和基于真实物理模型的验证，将高精度声源测量与高效的波束追踪仿真结合，形成一个完整的、可用于实际场景评估的听觉化工具链，实验结果与实测数据吻合度极高。但短板在于创新性更多体现在系统整合而非算法本身的突破，高斯波束追踪等核心方法已有先例，且论文缺乏与现有先进仿真工具或传统航空听觉化方法的直接量化对比，使其“先进性”论述略显单薄。 🔗 开源详情 代码：论文中提到项目主页（https://gbtflyovernoise.github.io），但未明确说明是否提供代码仓库链接。 模型权重：未提及。 数据集：论文中描述了其实验测量过程，但未提及是否公开声源方向性测量数据集或城市场景仿真数据。 Demo：未提及。 复现材料：未提供训练细节、配置、检查点、附录说明等详细复现信息。 论文中引用的开源项目：未提及。 总结：论文提到了一个项目页面，但未提供关于代码、模型或数据开源的具体信息，因此整体开源情况不明确。 📌 核心摘要 本文针对低空经济快速发展带来的城市飞行器噪音污染评估难题，提出了一种基于高斯波束追踪（GBT）的听觉化计算框架。该框架通过户外实验获取真实无人机的声源方向性数据，并将其与GPU加速的GBT远场声传播模型相结合，能够高保真地合成考虑城市复杂反射、衍射和大气吸收效应的飞越噪音。与传统假设声源为全向、环境为自由场的航空听觉化模型不同，本方法首次将频谱方向性建模与基于波动的声传播仿真相结合。主要实验结果包括：1）在模拟的香港密集社区场景中，接收器声压级随高度变化符合物理规律，频谱特征与无人机旋翼特征频率一致；2）在真实海边场景的交叉验证中，合成信号与实测信号在整体声压级（OASPL）上高度吻合，平均误差小于0.03 dBA，最大OASPL误差小于0.2 dBA（详见下表）。该框架为航空管理部门提供了用于城市规划、航线设计和噪音管理的实用数据指导工具，有助于平衡低空经济发展与噪音控制。其主要局限性可能在于，目前验证场景（两个案例）相对有限，且框架的计算效率与GPU依赖性可能影响其在超大规模或资源受限场景下的应用。 ...

📄 Audience-Aware Co-speech Gesture Generation in Public Speaking via Anticipation Tokens #跨模态 #扩散模型 #多模态模型 #音频生成 🔥 8.0/10 | 前50% | #音频生成 | #扩散模型 | #跨模态 #多模态模型 学术质量 6.3/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Huan-Yu Chen (台湾新竹清华大学电机系) 通讯作者：Chi-Chun Lee (台湾新竹清华大学电机系) 作者列表：Huan-Yu Chen (台湾新竹清华大学电机系), Woan-Shiuan Chien (台湾新竹交通大学电机与计算机工程研究所), Chi-Chun Lee (台湾新竹清华大学电机系) 💡 毒舌点评 这篇论文的亮点在于其问题重构的视角——将公共演讲手势生成从“单向语音到手势”的映射，转变为包含观众预期的“互动式”生成，这为该领域注入了新的思考维度。然而，其短板也较为明显：一是性能提升主要体现在FGD和BC上，但牺牲了手势多样性（Diversity指标下降），且面部表情生成效果改善有限；二是作为一篇顶会论文，完全没有提供任何代码或模型资源，这在强调可复现性的今天，无疑削弱了其学术贡献的落地价值和社区影响力。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及公开权重。 数据集：论文描述了如何从公开来源（TED Talks, The Daily Show）构建数据集，但未提及是否会发布处理后的、带有笑声锚点标注和特征提取的专用数据集。 Demo：未提供在线演示。 复现材料：论文提供了较为详细的训练细节，包括：数据集规模、视频帧率（15fps）、片段长度（5秒：1秒前缀+4秒预测）、笑声检测阈值（0.5）、优化步数（400k）、batch size（64）、学习率（1e-4）、硬件（单卡A100 80GB，训练2天）。这些信息对复现有较大帮助。 论文中引用的开源项目：主要依赖预训练模型WavLM（未指明具体版本或链接）、身体/面部姿态估计工具PyMAF-X和SmoothNet、以及笑声检测器（引用[9]但未具体说明）。 开源计划：论文中未提及任何开源计划。 📌 核心摘要 问题：现有的协同语音手势生成方法大多将公共演讲视为单说话人任务，忽略了观众的存在及其与演讲者之间的动态交互。这种简化视图无法捕捉公共演讲中演讲者主动预期并引发观众反应的关键特征。 方法核心：提出一个观众感知的协同语音手势生成框架。核心是引入“观众响应预期令牌”，该令牌编码了即将发生的观众反应（如笑声）的符号化信息。该令牌与语音特征在预训练的语音编码器中进行早期融合，融合后的条件嵌入通过跨注意力机制指导一个基于扩散的生成器合成手势。 新意：与已有方法相比，新在三个方面：(1) 理论上，将单说话人手势生成重新定义为演讲者与观众预期的联合建模问题；(2) 方法上，通过符号化的预期令牌和早期融合策略，显式地建模了演讲者的“预期”心理状态；(3) 实验上，构建了一个包含正负样本（反应前/非反应）的对比数据集用于训练预期令牌。 实验结果：在TED Talks和The Daily Show两个数据集上的实验表明，该方法在手势真实度（FGD）和语音-手势同步性（BC）指标上优于多数基线方法。消融实验表明，将预期令牌在语音表征阶段进行早期融合或作为控制信号的中期融合，效果优于在扩散生成阶段进行后期融合。具体数值见下表： 模型 数据集 FGD ↓ BC ↑ Diversity ↑ MSE ↓ LVD ↓ DiP (最强基线) TED Talks 0.646 0.613 62.35 11.58 10.77 本文方法 TED Talks 0.633 0.617 61.29 11.85 10.55 DiffSHEG (最强基线) The Daily Show 0.726 0.633 60.24 10.25 9.256 本文方法 The Daily Show 0.721 0.662 60.12 10.56 9.741 实际意义：为公共演讲、在线教育、虚拟主播等场景下的手势生成提供了更符合社交互动本质的建模思路，有望提升虚拟人或机器人的表现力和自然度。 主要局限：模型在提升真实度和同步性的同时，可能限制了生成手势的多样性；对更细微的面部表情生成效果提升有限；实验仅基于观众笑声这一种预期信号，且依赖预先检测，未在闭环或更动态的交互中验证。 🏗️ 模型架构 模型整体架构（如图1所示）是一个基于扩散的、条件生成的框架，主要包含三个部分：语音与预期编码器、条件融合模块、扩散手势生成器。 ...