Icassp-2026

📄 From Human Speech to Ocean Signals: Transferring Speech Large Models for Underwater Acoustic Target Recognition #水下声学目标识别 #迁移学习 #语音大模型 #跨域泛化 #基准测试 ✅ 7.0/10 | 前25% | #水下声学目标识别 | #迁移学习 | #语音大模型 #跨域泛化 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Mengcheng Huang（哈尔滨工程大学计算机科学与技术学院） 通讯作者：Chen Xu*（哈尔滨工程大学计算机科学与技术学院，邮箱：chen.xu@hrbeu.edu.cn） 作者列表：Mengcheng Huang（哈尔滨工程大学计算机科学与技术学院）、Xue Zhou（哈尔滨工程大学计算机科学与技术学院）、Chen Xu*（哈尔滨工程大学计算机科学与技术学院）、Dapeng Man（哈尔滨工程大学计算机科学与技术学院） 💡 毒舌点评 亮点：这篇论文做了一件很聪明的事——把在大规模人类语音上训练好的“耳朵”（SenseVoice）直接拿去听海洋，结果发现这个“耳朵”不仅能听懂人话，还能精准识别不同船只，甚至在陌生海域也能工作得很好（跨域96.67%），证明了SOTA语音模型作为通用声学编码器的巨大潜力。短板：然而，整个框架就是“预训练模型+平均池化+线性层”的简单拼接，缺乏针对水声特性（如多径传播、海洋噪声）的深入适配和机制解释；更关键的是，论文声称进行了消融实验来验证设计选择，却“因篇幅限制”只字未提，这让其最优性能的结论打了折扣，也影响了工作的透明度和严谨性。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及是否公开SenseVoice微调后的权重。 数据集：使用了公开数据集DeepShip和ShipsEar，但论文中未提供获取链接。 Demo：未提及。 复现材料：给出了部分训练超参数（优化器、学习率、批大小），但未提供完整的训练配置、脚本、预训练模型下载方式或详细说明。 论文中引用的开源项目：主要引用了SenseVoice模型[17]，但未明确说明其获取途径。 📌 核心摘要 这篇论文针对水下声学目标识别（UATR）中数据稀缺和环境复杂的两大挑战，探索能否将大规模语音模型（SLM）的知识迁移过来。方法核心是提出UATR-SLM框架：复用语音特征提取流程，将训练好的语音大模型（具体使用SenseVoiceSmall）作为通用声学编码器，并替换其解码器为轻量级分类头（平均池化+线性层）进行微调。与传统方法从头训练或仅使用有限数据增强不同，该工作的创新在于首次系统性地利用SOTA语音基础模型来“跨界”解决水声问题。在DeepShip和ShipsEar两个基准测试中，UATR-SLM的F1分数分别达到99.32%和99.09%，超越了所有对比的ResNet等基线方法；在变长信号测试中表现出强鲁棒性（1秒音频准确率95.87%）；在零样本跨域评估中，从DeepShip迁移到ShipsEar，准确率高达96.67%，而ResNet基线仅53%-70%。这证明了SLM编码的声学表征具有强大的域不变性和可迁移性。其实际意义在于为资源受限的水声应用开辟了新范式，可能大幅降低对大量标注水声数据的依赖。主要局限在于框架设计简单直接，未深入探讨迁移成功的内部机理，且关键实验细节（如消融研究）缺失。 🏗️ 模型架构 UATR-SLM框架整体架构如图1所示，流程清晰，分为三个核心组件： ...

📄 Frontend Token Enhancement for Token-Based Speech Recognition #语音识别 #自监督学习 #语音增强 #鲁棒性 🔥 8.0/10 | 前25% | #语音识别 | #自监督学习 | #语音增强 #鲁棒性 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：未说明（论文标题页作者列表为并列） 通讯作者：未说明（论文中未明确标注） 作者列表：Takanori Ashihara（NTT, Inc., Japan）、Shota Horiguchi（NTT, Inc., Japan）、Kohei Matsuura（NTT, Inc., Japan）、Tsubasa Ochiai（NTT, Inc., Japan）、Marc Delcroix（NTT, Inc., Japan） 💡 毒舌点评 这篇论文的最大亮点是系统性思维和干净有效的实验设计，像做了一个清晰的“前端增强方法菜单”，让读者一目了然各类方法的优劣，而Wave-to-Token方案以简洁取胜，效果甚至优于更复杂的流程。不足之处在于其验证舞台仅限于CHiME-4这一个“标准考场”，对于更广泛噪声类型（如非平稳噪声、混响）和更大规模数据集的表现未可知，且“开源复现”的承诺缺席，对于想直接拿来用的工程师来说不够友好。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：未提及。 数据集：使用公开的CHiME-4数据集，未提及自己创建或发布新数据集。 Demo：未提供在线演示。 复现材料：论文描述了详细的模型架构、训练设置（如遵循ESPnet配置、具体超参数）和实验细节，为复现提供了较好的文本指导，但未提供检查点或完整脚本。 论文中引用的开源项目：依赖 ESPnet 进行实验设置，使用预训练的 WavLM Large 模型作为SSL骨干。 总结：论文中未提及明确的开源计划（如代码仓库发布）。 📌 核心摘要 要解决的问题：基于自监督学习（SSL）离散语音单元（Token）的语音识别系统（Token ASR）在噪声环境下性能会严重下降，其噪声鲁棒性尚未得到充分研究。具体来说，从噪声语音中提取的语义Token会偏离干净Token，导致识别错误。 方法核心：本文提出并系统比较了四种模块化的前端增强方法，旨在从噪声语音中恢复或直接估计干净的Token。这四种方法根据输入/输出域划分：波形到波形（W2W-E，传统语音增强）、Token到Token（T2T-E）、SSL连续特征到Token（V2T-E）、以及波形到Token（W2T-E）。所有前端模型独立于ASR后端训练。 与已有方法相比新在哪里：此前工作主要关注连续ASR（基于FBANK或SSL特征）的前端增强，或仅针对Token生成本身提出抗扰动方法。本文是首次系统评估并设计适用于Token ASR的前端增强框架，特别是引入了新颖的V2T-E和W2T-E方法。 主要实验结果：在CHiME-4数据集上的实验表明： W2T-E方法表现最佳，在大多数噪声场景下取得了最低的词错误率（WER），例如在et simu上WER为8.2%，优于基线WavLM连续ASR（11.0%）和最佳W2W-E（TF-GridNet）增强的Token ASR（15.1%）。 W2T-E方法也显著降低了Token级别的单元编辑距离（UED），在et simu上为29.2，优于所有其他前端。 UED与WER并不总是一致相关，说明Token序列的准确性不完全等同于最终ASR性能。 W2T-E前端具有良好的模块化特性，即使更换为CTC-only的ASR后端，性能提升依然显著。 与CHiME-4上已知的SOTA系统IRIS（使用联合优化）相比，本文的Token ASR + W2T-E取得了可比的结果（et real WER 4.0% vs. 3.9%），但Token ASR在序列长度上更具效率（BPE压缩后长度减少约68%）。 实际意义：证明了通过一个简单、高效的前端增强模块（W2T-E），可以大幅提升Token ASR在噪声环境下的实用性，同时保持其计算效率优势。这为构建更鲁棒、高效的端到端语音处理系统提供了新思路。 主要局限性：实验仅在CHiME-4（单一类型的背景噪声）上进行，泛化能力有待验证；未开源代码和模型权重，复现性受限；论文中未讨论前端增强对模型延迟、计算开销的详细影响分析。 🏗️ 模型架构 论文核心是探讨四种前端增强模型如何与固定的Token ASR后端配合工作。整体流程如图1所示（请见下文描述，原文URL在提供的材料中未包含，因此无法插入图片链接，��下为基于图注的文字描述）。 ...

📄 Full Band Denoising of Room Impulse Response in the Wavelet Domain with Dictionary Learning #房间脉冲响应去噪 #小波变换 #字典学习 #信号处理 ✅ 7.5/10 | 前25% | #房间脉冲响应去噪 | #小波变换 #字典学习 | #小波变换 #字典学习 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Théophile Dupré（Trinnov Audio, Neuilly-Plaisance, France） 通讯作者：未说明 作者列表：Théophile Dupré（Trinnov Audio）、Romain Couderc（Trinnov Audio）、Miguel Moleron（Trinnov Audio）、Axel Coulon（Trinnov Audio）、Rémy Bruno（Trinnov Audio）、Arnaud Laborie（Trinnov Audio） 💡 毒舌点评 亮点在于精准切中了传统小波去噪在低频RIR上失效的工程痛点，并巧妙地用带自适应误差容忍的稀疏字典学习来“修复”这部分信号，思路务实且效果显著。短板则是该方法本质上仍是基于信号模型的后处理，面对非平稳或有色低频噪声时可能依然力不从心，且论文未讨论字典学习带来的额外计算开销，对实时应用是个潜在顾虑。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及。 数据集：实测数据未公开，仿真数据生成方法已描述，但未提供具体生成脚本或样本。 Demo：未提及。 复现材料：论文给出了方法流程图、关键公式和部分参数（如L=8, K=8），但未提供完整的训练/优化配置、算法伪代码或复现指南。 论文中引用的开源项目：未提及依赖的特定开源工具或库。 总结：论文中未提及开源计划。 📌 核心摘要 问题：传统的基于小波阈值的房间脉冲响应（RIR）去噪方法主要处理高频细节系数，无法有效去除低频噪声，导致低频声学参数（如衰减时间DT60）估计不准。 核心方法：提出一种两阶段后处理算法。首先，对RIR进行离散小波变换（DWT）。然后，高频细节系数使用传统阈值法去噪；低频近似系数则采用一种基于误差约束的稀疏字典学习方法进行去噪，其中重构误差容忍度根据估计的RIR指数衰减包络模型进行时变调整。 创新性：将稀疏字典学习引入RIR低频去噪；设计了一种基于信噪比估计的时变误差容忍度机制，实现了在信号强处（高SNR）精确重建、在信号弱处（低SNR）允许更大灵活性的自适应去噪。 实验结果： 在仿真数据上，所提方法在SNR低至15dB时仍能保持较低的DT60估计误差，显著优于基线方法（在SNR低于25dB时误差急剧上升）。 在实测数据上（大型扬声器和低音炮），所提方法在低SNR下能生成更接近无噪真实曲线的Schroeder积分曲线，且动态范围改善（去噪前后噪底差）始终优于基线方法。具体数值见图表。 实际意义：能够提升存在低频环境噪声（如通风系统、结构振动）时的RIR测量精度，从而获得更可靠的房间声学参数，对声学测量、虚拟现实声场重建等应用有益。 局限性：计算复杂度高于基线方法；性能依赖于对RIR衰减包络和噪声水平的准确估计；论文未与基于深度学习的去噪方法进行对比。 🏗️ 模型架构 该方法并非传统意义上的神经网络模型，而是一个信号处理流程。其整体架构如下图所示（对应论文Fig. 1）： Fig. 1. Diagram of the proposed approach. 流程详解： ...

📄 FUN-SSL: Full-Band Layer Followed by U-Net With Narrow-Band Layers for Multiple Moving Sound Source Localization #声源定位 #U-Net #深度学习 #麦克风阵列 🔥 8.0/10 | 前25% | #声源定位 | #U-Net | #深度学习 #麦克风阵列 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：未说明（论文中未明确标注第一作者，作者列表按姓氏排序） 通讯作者：未说明（论文中未明确标注通讯作者） 作者列表：Yuseon Choi（光州科学技术院， Deeply Inc.）、Hyeonseung Kim（光州科学技术院）、Jewoo Jun（光州科学技术院）、Jong Won Shin（光州科学技术院） 💡 毒舌点评 亮点：论文的“性价比”极高，通过引入成熟的U-Net架构和深度可分离卷积，在模型参数量几乎不变的情况下，将计算复杂度（FLOPs）降低了近一半，同时定位精度还有小幅提升，这在面向实时部署的边缘计算场景下具有很强的吸引力。 短板：模型在更贴近真实、更具挑战性的LOCATA数据集上，性能相比基线IPDnet并未取得明显优势，这暗示其在极端复杂声学环境下的泛化能力或改进效果可能存在天花板，创新性稍显不足。 🔗 开源详情 代码：论文中未提及FUN-SSL的代码仓库链接。但提供了基线模型IPDnet的官方代码链接：https://github.com/Audio-WestlakeU/FN-SSL。 模型权重：未提及公开预训练模型权重。 数据集：论文使用了公开的模拟数据集生成方法和LOCATA挑战数据集，但未提供生成的模拟数据集本身。 Demo：未提及在线演示。 复现材料：论文给出了充分的训练细节、网络参数配置（如通道数C1, C2）、以及关键的消融实验设计，为研究者复现工作提供了明确的指引。 论文中引用的开源项目：引用了IPDnet的官方代码仓库、gpuRIR（房间脉冲响应生成库）、LibriSpeech（语音语料库）、NOISEX-92（噪声数据库）。 📌 核心摘要 这篇论文针对多移动声源定位任务中现有高性能模型（如IPDnet）计算复杂度过高的问题，提出了一种名为FUN-SSL的新颖神经网络架构。其方法核心是将原有的全窄带处理块（FN-block）替换为“全带层+U-Net窄带层”（FUN-block），在保持全带处理以捕捉频间相关性的同时，利用U-Net结构在多个分辨率上高效地建模时序依赖。主要创新在于模块化设计和引入了模块间的跳跃连接以丰富信息流。实验结果表明，在模拟数据集上，FUN-SSL（0.8M参数）在粗粒度准确率（94.2%）、细粒度误差（1.9°）和误警率（5.8%）上均优于重新训练的IPDnet（0.7M参数，对应指标为93.0%、2.0°、7.1%），同时计算量（FLOPs）从19.4G/s降至10.8G/s。该工作的实际意义在于为资源受限设备（如麦克风阵列）上的实时多声源跟踪提供了更高效的解决方案。主要局限性在于其在真实世界LOCATA数据集上的性能与基线模型相当，未展现出显著优势。 ...

📄 FUSEMOS: Perceptual Evaluation of Text-to-Music Generation with Dual-Encoder Fusion and Ranking-Aware Composite Loss #音乐生成 #模型评估 #预训练 #对比学习 #多任务学习 ✅ 7.5/10 | 前25% | #音乐生成 | #多任务学习 | #模型评估 #预训练 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Jing Yang（武汉大学电子信息学院， MiLM Plus (小米)） 通讯作者：Ningning Pan（西南财经大学计算机与人工智能学院）， Gongping Huang（武汉大学电子信息学院） 作者列表：Jing Yang（武汉大学电子信息学院， MiLM Plus (小米)）， Haoyu Wang（西南财经大学计算机与人工智能学院， MiLM Plus (小米)）， Ningning Pan（西南财经大学计算机与人工智能学院， 通讯作者）， Zhao Wang（MiLM Plus (小米)）， Jianxuan Yang（MiLM Plus (小米)）， Gongping Huang（武汉大学电子信息学院， 通讯作者） 💡 毒舌点评 亮点：非常务实地解决了T2M评估中的一个痛点——单一CLAP编码器“懂语义不懂音乐”，通过双编码器融合显著提升了评估精度，消融实验做得扎实有力。短板：虽然方法有效，但核心创新（融合两个预训练模型+设计一个损失）在深度学习领域属于常见套路，且论文缺乏对模型推理速度或轻量化可能性的讨论，这在实际部署评估系统时是个关键问题。 ...

📄 Fusion of Multimodal Estimations by Extended State Hidden Markov Model: Application to Fetal Heart Rate Monitoring #生物声学 #信号处理 #多任务学习 #医疗 ✅ 7.0/10 | 前50% | #生物声学 | #信号处理 | #多任务学习 #医疗 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Baptiste Rault（Université Grenoble Alpes, CNRS, UMR 5525, VetAgro Sup, Grenoble INP, TIMC） 通讯作者：Bertrand Rivet（未明确说明，但提供了邮箱；机构为Université Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab） 作者列表：Baptiste Rault（Université Grenoble Alpes, CNRS, UMR 5525, VetAgro Sup, Grenoble INP, TIMC）、Julie Fontecave-Jallon（Université Grenoble Alpes, CNRS, UMR 5525, VetAgro Sup, Grenoble INP, TIMC）、Bertrand Rivet（Université Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab） 💡 毒舌点评 亮点：扩展HMM状态变量以显式建模“观测是目标信号、混淆信号还是噪声”的思路巧妙且可解释，有效提升了融合算法在真实临床数据上的抗混淆能力（FuSEmHR的RMC中位数降至1.5%）。短板：算法复杂度急剧增加（融合1分钟数据从35ms升至8秒），且最终版本严重依赖可靠的参考信号（mHR），限制了其在未知或不稳定干扰下的应用；更遗憾的是，论文未开源任何代码或数据，让“可复现性”成了一纸空文。 ...

📄 FxSearcher: Gradient-Free Text-Driven Audio Transformation #音频生成 #贝叶斯优化 #CLAP #音频效果处理 #无梯度优化 ✅ 7.0/10 | 前50% | #音频生成 | #贝叶斯优化 | #CLAP #音频效果处理 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Hojoon Ki (Korea Advanced Institute of Science and Technology, KAIST) 通讯作者：未说明 作者列表：Hojoon Ki (Korea Advanced Institute of Science and Technology, KAIST), Jongsuk Kim (Korea Advanced Institute of Science and Technology, KAIST), Minchan Kwon (Korea Advanced Institute of Science and Technology, KAIST), Junmo Kim (Korea Advanced Institute of Science and Technology, KAIST) 💡 毒舌点评 这篇论文巧妙地将贝叶斯优化与CLAP结合，绕过了音频效果链必须可微的“紧箍咒”，为文本驱动音频变换打开了一扇新门，其工程思路可圈可点。然而，其核心理论贡献（如“引导提示”策略）更像是一种经验性的启发式技巧，缺乏更深入的理论分析或广泛的适用性证明，使其更像是一个精心调优的“系统工程”而非一个具有深远影响力的理论突破。 ...

📄 Game-Time: Evaluating Temporal Dynamics in Spoken Language Models #基准测试 #模型评估 #语音大模型 #全双工通信 ✅ 7.5/10 | 前25% | #语音对话系统 | #基准测试 | #模型评估 #语音大模型 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Kai-Wei Chang1（麻省理工学院），En-Pei Hu2（台湾大学） （*表示共同第一作者） 通讯作者：未说明 （论文中未明确标注通讯作者） 作者列表：Kai-Wei Chang (麻省理工学院), En-Pei Hu (台湾大学), Chun-Yi Kuan (台湾大学), Wenze Ren (台湾大学), Wei-Chih Chen (台湾大学), Guan-Ting Lin (台湾大学), Yu Tsao (中央研究院), Shao-Hua Sun (台湾大学), Hung-yi Lee (台湾大学), James Glass (麻省理工学院) 💡 毒舌点评 亮点：选题精准地击中了当前语音对话模型“懂内容，不懂时间”的痛点，并创新性地将儿童语言学习中的“游戏化”概念引入评测框架设计，思路新颖且系统。短板：实验规模（模型数量与评测样本）相对有限，且高度依赖外部工具（如Whisper转录、Gemini作为Judge）进行评估，使得评测流程的自主性与结果的绝对可靠性存在一定折扣。 ...

📄 Gdiffuse: Diffusion-Based Speech Enhancement with Noise Model Guidance #语音增强 #扩散模型 #领域适应 #鲁棒性 ✅ 7.0/10 | 前25% | #语音增强 | #扩散模型 | #领域适应 #鲁棒性 学术质量 7.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Efrayim Yanir（特拉维夫大学） 通讯作者：未说明 作者列表：Efrayim Yanir（特拉维夫大学）、David Burshtein（特拉维夫大学）、Sharon Gannot（巴伊兰大学） 💡 毒舌点评 论文巧妙地将一个庞大的语音生成扩散模型“冻结”起来，仅用一个172参数的噪声模型通过测试时训练进行“遥控”，实现了对新噪声的灵活适应，这个“四两拨千斤”的思路确实新颖。然而，论文声称“噪声统计在训练和推理间保持稳定”是核心假设，但仅用20秒噪声片段训练就断言其统计特性稳定可靠，这个前提在复杂多变的现实声学环境中显得有些理想化，可能成为其实用性的阿喀琉斯之踵。 🔗 开源详情 代码：论文中未提及代码仓库链接。 模型权重：论文中未提及公开的预训练权重链接。文中提到使用UnDiff项目预训练的DiffWave，但未给出其具体获取方式。 数据集：训练和测试使用了LibriSpeech（公开）和BBC Sound Effects Archive（公开）。但论文未提供其处理后的具体数据划分或下载脚本。 Demo：论文提供了一个示例网站链接：https://ephiephi.github.io/GDiffuSE-examples.github.io，可能包含音频示例。 复现材料：论文描述了噪声模型的具体架构（WaveNet风格CNN，参数细节）、指导调度公式（11）及超参数（γ, λ_max），以及训练轮数的大致范围，提供了一定的复现基础。但优化器学习率、噪声样本的具体处理方式等细节未充分说明。 引用的开源项目：提到了UnDiff [15]（用于获取预训练DiffWave）和WaveNet [20]（噪声模型架构的灵感来源）。 开源计划：论文中未提及明确的后续开源计划。 📌 核心摘要 问题：传统判别式语音增强模型在匹配条件下表现好，但面对未见过的噪声类型时泛化能力差，易产生伪影。现有的生成式（特别是基于扩散的）语音增强方法虽然性能优越，但往往需要为每种预期噪声专门训练庞大的模型，适应性差且成本高。 方法核心：提出GDiffuSE，一个基于去噪扩散概率模型（DDPM）的语音增强框架。其核心是利用一个极轻量（172参数）的噪声模型，在测试时通过少量目标噪声样本进行快速训练。在扩散模型的反向生成过程中，利用该噪声模型的似然函数梯度作为“指导信号”，引导一个预训练的、冻结的语音生成扩散模型（DiffWave）生成干净语音。 新意：与现有方法（如直接条件扩散或需重训大模型）不同，GDiffuSE首次将DDPM引导机制与测试时训练相结合，并专门针对语音增强设计了噪声模型指导策略。它解耦了通用语音先验学习和特定噪声适应，使系统能快速适应新噪声。 实验：在LibriSpeech干净语音与BBC音效库噪声混合的数据上进行评估。结果表明，在失配噪声条件下（特别是高频噪声），GDiffuSE在PESQ和SI-SDR指标上持续优于基线方法SGMSE（在WSJ0和TIMIT上训练）和CDiffuSE。例如，在5dB SNR下针对高频噪声，GDiffuSE的SI-SDR为11.25±3.21，而sgmseWSJ0为9.43±2.64，CDiffuSE为3.66±3.23。频谱图也显示其抑制噪声更有效。 实际意义：提供了一种快速、低成本地将强大语音生成模型适应到新噪声环境的可能方案，降低了先进语音增强技术的部署门槛。 主要局限性：核心假设——训练噪声样本与推理时噪声统计一致——在现实中可能不总是成立；实验对比基线相对有限；未充分探讨当噪声统计发生显著变化时模型的失效模式；训练噪声片段（20秒）的充分性有待更全面验证。 🏗️ 模型架构 GDiffuSE系统包含两个主要组件，在训练和推理阶段协同工作，如图1所示。 ...

📄 Gelina: Unified Speech and Gesture Synthesis Via Interleaved Token Prediction #语音合成 #手势生成 #自回归模型 #流匹配 #多模态模型 ✅ 7.0/10 | 前50% | #语音合成 | #自回归模型 | #手势生成 #流匹配 学术质量 6.5/7 | 选题价值 2.0/2 | 复现加成 -0.5 | 置信度 中 👥 作者与机构 第一作者：Téo Guichoux（ISIR, Sorbonne Université；STMS Lab – IRCAM, Sorbonne Université） 通讯作者：未说明 作者列表：Téo Guichoux（ISIR, Sorbonne Université；STMS Lab – IRCAM, Sorbonne Université）， Théodor Lemerle（STMS Lab – IRCAM, Sorbonne Université）， Shivam Mehta（KTH皇家理工学院）， Jonas Beskow（KTH皇家理工学院）， Gustav Eje Henter（KTH皇家理工学院）， Laure Soulier（ISIR, Sorbonne Université）， Catherine Pelachaud（ISIR, Sorbonne Université；CNRS）， Nicolas Obin（STMS Lab – IRCAM, Sorbonne Université） 💡 毒舌点评 这篇论文的亮点在于其“交错token预测”的架构设计直觉上非常优雅，为多模态序列建模提供了一个统一且时序对齐的方案，并在同步性上取得了可观的实验结果。然而，其最大的短板在于“统一”的代价——它在语音生成质量上显著落后于最新的纯语音SOTA（如CosyVoice-2），在手势丰富度（如手指）上也进行了简化，这使其宣称的“统一”和“竞争”显得有些取舍过重，更像是一次有潜力的概念验证而非成熟的系统性方案。 ...