零样本

📄 X-VC: Zero-shot Streaming Voice Conversion in Codec Space #语音转换 #流匹配 #零样本 #流式处理 ✅ 6.5/10 | 前25% | #语音转换 | #流匹配 | #零样本 #流式处理 | arxiv 学术质量 6.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Qixi Zheng（上海交通大学） 通讯作者：Xie Chen（上海交通大学，上海创新研究院） 作者列表： Qixi Zheng（上海交通大学） Yuxiang Zhao（上海交通大学） Tianrui Wang（天津大学） Wenxi Chen（上海交通大学，上海创新研究院） Kele Xu（复杂与关键软件环境国家重点实验室） Yikang Li（上海创新研究院） Qinyuan Chen（复旦大学，上海创新研究院） Xipeng Qiu（复旦大学，上海创新研究院） Kai Yu（上海交通大学） Xie Chen（上海交通大学，上海创新研究院） 💡 毒舌点评 亮点：论文的工程实现非常扎实，将预训练编解码器、双条件Transformer和分块推理整合成一个高效的流式系统，在延迟（240ms）和离线效率（RTF 0.014）上达到了实用水平，且开源了代码和模型。 短板：核心创新略显“缝合”，双条件建模和流匹配都是已有技术，论文的主要贡献在于针对特定任务的适配和系统集成，缺乏更根本性的原理突破；同时，与之对比的基线（如MeanVC）可能并非最新或最强，削弱了结论的说服力。 📌 核心摘要 问题：零样本语音转换需要同时实现高质量的说话人特征迁移和低延迟的流式推理，这是一个尚未很好解决的挑战。 方法核心：提出X-VC系统，在预训练的SAC语音编解码器的潜在空间中进行一步转换。核心是一个双条件声学转换器，它联合处理源语音的编解码器潜在表示和目标参考语音的帧级梅尔频谱条件，并通过自适应归一化注入全局说话人嵌入。 创新点：与已有方法相比，新在：(1) 在编解码器潜在空间而非波形或频谱图空间进行转换；(2) 设计了双分支Transformer架构来异构地建模帧级和句级条件；(3) 提出了基于生成对数据和角色分配策略的训练方法；(4) 设计了与编解码器分段训练范式对齐的分块流式推理方案。 实验结果：在Seed-TTS-Eval基准上，流式设置下，X-VC在英语和中文测试集上取得了最佳的WER（英语3.14%，中文2.65%）和领先的说话人相似度（SIM）。离线设置下，其实时因子（RTF）仅为0.014，远低于基线模型（如Seed-VC tiny为0.069）。跨语言评估也表现良好。 实际意义：提供了一种实用的高质量低延迟零样本语音转换方案，适用于需要实时交互的配音、对话等场景。 主要局限性：模型总参数量较大（539M）；转换质量高度依赖预训练编解码器（SAC）的性能；论文未提供完整的训练数据集信息。 🏗️ 模型架构 X-VC是一个端到端的语音转换系统，整体流程如图1所示： ...

📄 ATRIE: Adaptive Tuning for Robust Inference and Emotion in Persona-Driven Speech Synthesis #语音合成 #知识蒸馏 #流匹配 #零样本 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Aoduo Li (广东工业大学，邮件地址：3123009124@mail2.gdut.edu.cn) 通讯作者：Hongjian Xu (广东工业大学，邮件地址：123457890wasd@gmail.com) 其他作者： Haoran Lv (广东工业大学) Shengmin Li (华南理工大学) Sihao Qin (华南理工大学) 💡 毒舌点评 亮点：巧妙地将14B参数LLM的“角色思考过程”（Chain-of-Thought）蒸馏成一个仅11.8M参数的轻量级“韵律翻译器”，实现了从语义理解到声学控制的跨模态桥接，这个想法非常优雅且实用。槽点：实验严重依赖一个特定的动漫角色数据集，虽然证明了方法在该领域的有效性，但其在通用语音、其他语言或更严肃风格上的泛化能力有待商榷，有点像“在二次元世界里当王者”。 📌 核心摘要 本文针对现有语音合成系统在生成角色驱动、情感丰富的语音时难以同时保持角色身份一致性和情感表达准确性的问题，提出了ATRIE框架。其核心是Persona-Prosody Dual-Track (P2-DT) 架构，将语音生成解耦为静态的音色轨道（通过标量量化保持身份锚点）和动态的韵律轨道（通过分层流匹配生成情感韵律）。关键创新在于一个离线知识蒸馏过程，利用一个大型语言模型（Qwen 2.5 14B）作为教师，通过思维链推理生成包含情感理由和数值化韵律目标（VAD分数等）的监督信号，来训练一个轻量级的P2P适配器。该适配器在推理时无需LLM参与，可高效地将文本和角色描述映射为韵律控制参数，引导GPT-SoVITS v4骨干网络合成语音。实验在自建的AnimeTTS-Bench（50个角色）上进行，ATRIE在角色一致性分数（CCS: 0.86）、情感表达准确率（EEA: 0.84）和跨模态检索平均精度（mAP: 0.75）上均达到SOTA，同时保持了实时推理能力（RTF: 0.18）。局限性包括对参考音频库的依赖、长句情感强度维持的挑战，以及当前评估集中于动漫风格。 🏗️ 模型架构 ATRIE系统是一个两阶段框架（离线蒸馏，在线推理），其核心是P2-DT架构，整体流程如下： 输入：文本T，角色配置P（包含性格描述、说话模式等）。 语义理解与韵律目标生成（离线/教师阶段）： 教师Persona-LLM (Qwen 2.5 14B)：接收T和P，输出两部分：(a) 思维链理由R：一段解释为何角色会以某种情感说话的文本；(b) 数值化韵律目标p_tgt：一个包含{V, A, D, F0_rel, E_rel}（效价、唤醒度、时长、相对基频、相对能量）的JSON。 CoT到目标的映射：理由R通过冻结的Sentence-BERT编码为768维语义嵌入h_R。 轻量级适配器训练（学生阶段）： 学生P2P Adapter (11.8M参数)：一个4层Transformer，通过交叉注意力对齐文本语义标记和音素级声学帧。包含4个并行预测头，分别预测韵律标量（F0, E, D, P）。 训练损失：结合了MSE损失（对齐预测韵律p_hat与教师目标p_tgt）和语义对齐损失（对齐适配器中间表示h_adapter与h_R）。此外，引入了对比损失，确保生成的韵律嵌入z_i与目标角色锚点z_p接近，而与其他角色z_j远离，从而学习一个角色判别的韵律空间。 在线推理阶段： 输入：文本T，角色配置P，参考音频库ℛ。 步骤1：P2P Adapter根据T和P预测韵律控制参数C和角色语义嵌入。 步骤2：参考音频选择：根据预测的VAD目标，从库中检索最匹配的参考音频r*。 步骤3：TTS骨干 (GPT-SoVITS v4)：以T、r*和韵律参数C为条件，生成语义令牌，再通过声学解码器和HiFi-GAN声码器输出最终波形y。 双轨融合： 音色轨道：从参考音频r*中提取全局音色嵌入z_timbre，并通过标量量化（SQ）稳定化，作为身份锚点。 韵律轨道：P2P Adapter预测的动态韵律流，通过8步流匹配生成。 融合：静态音色和动态韵律在GPT-SoVITS的方差适配器层融合，共同指导声学生成。 关键设计理由： ...

📄 AST: Adaptive, Seamless, and Training-Free Precise Speech Editing #语音合成 #流匹配 #零样本 #数据集 ✅ 评分：7.5/10 | arxiv 👥 作者与机构 第一作者：Sihan Lv（浙江大学，推断） 通讯作者：Meng Xi（浙江大学，推断） 其他作者：Yechen Jin（浙江大学，推断），Zhen Li（浙江大学，推断），Jintao Chen（浙江大学，推断），Jinshan Zhang（浙江大学，推断），Ying Li（浙江大学，推断），Jianwei Yin（浙江大学，推断），Meng Xi（浙江大学，推断） 机构说明：所有作者邮箱均为 @zju.edu.cn，论文未明确标注具体学院或实验室名称，根据致谢中的“Zhejiang Key Laboratory Project”可推断为浙江大学相关实验室。 💡 毒舌点评 把图像编辑里玩烂的潜空间反演（Latent Inversion）搬到语音流匹配模型上，再缝个动态“弱事实引导”当创可贴，居然就把一群专门训练过的语音编辑模型按在地上摩擦——这恰恰说明语音领域在TTS模型免训练适配上的思路有多贫瘠。不过槽点也很明显：WER相比基座IndexTTS-2不降反升（2.43% vs 2.91%），说明为了保住未编辑区域的“原汁原味”，编辑区域的文本准确性还是被献祭了一点；而且LibriSpeech-Edit数据集靠Qwen3-8B生成目标文本，编辑质量全看大模型脸色，可靠性存疑。 📌 核心摘要 本文针对现有语音编辑方法依赖任务特定训练、未编辑区域时间一致性差的问题，提出了AST（Adaptive, Seamless, and Training-free），一种基于预训练AM-FM（自回归-流匹配）范式TTS模型的精确语音编辑框架。AST首先通过逆Euler ODE求解器将原始语音反演至潜空间，然后利用最长公共子序列（LCS）进行词级对齐，将未编辑区域的反演潜流与编辑区域的高斯噪声进行潜变量重组（Latent Recomposition）。为防止拼接边界出现伪影，论文提出了自适应弱事实引导（AWFG），根据当前潜流与原始反演流的偏差动态加权mel空间引导信号。此外，AST天然支持局部风格编辑（如情感、方言）。为填补公开基准空白，论文还发布了LibriSpeech-Edit数据集（2000条，3.6小时）和词级动态时间规整指标（WDTW）。实验表明，AST在说话人相似度（0.986）和时间一致性（WDTW 0.2025）上达到SOTA，WER比专门训练的基线降低近70%，且无需任何额外训练。 🏗️ 模型架构 AST的整体架构是一个免训练的推理框架，依附于一个预训练的AM-FM（Autoregressive Model-Flow Matching）TTS模型（论文使用IndexTTS-2）。其核心不是重新设计网络层，而是在已有模型的潜空间中进行“手术刀式”干预。完整输入输出流程如下： 输入：原始mel-谱图 $m_{\mathrm{ori}}$、原始转录 $y_{\mathrm{ori}}$、目标转录 $y_{\mathrm{tgt}}$、声学提示 $m_{\mathrm{ref}}$。 阶段一：潜空间反演（Latent Inversion） 利用AM-FM解码器的ODE可逆性，将原始语音“倒推”回噪声空间。流匹配的前向过程由ODE定义： $$\frac{dx(t)}{dt}=v_{\phi}\left(x(t);\mu,m_{\mathrm{ref}}\right), \quad t\in[0,1]$$ 其中 $v_\phi$ 是DiT（Diffusion Transformer）参数化的速度场，$\mu$ 是自回归模型生成的语义条件。反演时，采用逆Euler ODE求解器，在假设小步长内速度场近似恒定的前提下，将 $x_{\mathrm{ori}}(1)=m_{\mathrm{ori}}$ 逐步逆推至 $x_{\mathrm{ori}}(0)$： $$x(t-\Delta t)=x(t)-\Delta t\cdot v_{\phi}\left(x(t);\mu_{\mathrm{ori}},m_{\mathrm{ref}}\right)$$ 与此同时，目标文本 $y_{\mathrm{tgt}}$ 通过自回归模型生成语义条件 $\mu_{\mathrm{tgt}}$，并以标准高斯噪声 $x_{\mathrm{tgt}}(0)\sim\mathcal{N}(0,I)$ 为起点，通过前向Euler步进，生成完整的目标mel谱 $m_{\mathrm{tgt}}$。 ...

📄 Generalizable Audio-Visual Navigation via Binaural Difference Attention and Action Transition Prediction #音视频 #声源定位 #强化学习 #多任务学习 #零样本 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Jia Li（新疆大学，计算机科学与技术学院，联合研究实验室 for Embodied Intelligence） 通讯作者：Yinfeng Yu（新疆大学，计算机科学与技术学院，联合研究实验室 for Embodied Intelligence；邮箱：yuyinfeng@xju.edu.cn） 其他作者：根据署名顺序，论文仅列出了两位作者，Jia Li和Yinfeng Yu。他们共同隶属于以下机构： 新疆大学，联合研究实验室 for Embodied Intelligence 新疆大学，丝绸之路多语种认知计算联合国际研究实验室 新疆大学，计算机科学与技术学院，乌鲁木齐 830017，中国 💡 毒舌点评 亮点：这论文把“听声辨位”这件事整明白了！BDA模块不搞虚的，直接让左右耳特征“打架”（算差值），逼着模型关注声音从哪边来，而不是这是什么声音，这对没见过的声音特别管用。ATP任务像给导航策略上了个“行为矫正器”，让动作更连贯，减少在陌生环境里原地转圈的傻行为。 槽点：方法组合拳虽然有效，但每个拳法（BDA， ATP）本身都不算开宗立派，更像是给现有强力基线（AV-WaN）打了个高效的“补丁”。另外，论文里那些“ Hear Sharper, Act Smarter”的口号，比技术细节更让人印象深刻。 📌 核心摘要 本文旨在解决音频-视觉导航（AVN）智能体在未见环境和未闻声音类别下泛化能力差的核心问题。作者指出，现有方法性能下降主要源于两个因素：一是音频表征混淆了语义与空间信息，导致对未闻声��定位不准；二是强化学习策略过拟合于训练环境的动态和布局。为此，本文提出了一个名为BDATP的即插即用框架。在感知层面，设计了双耳差分注意力模块，通过显式建模和利用左右声道特征的差异，强化模型对空间方位线索的提取，降低对声音语义的依赖。在策略层面，引入了动作转移预测辅助任务，通过预测轨迹中下一步的动作来增加策略学习的时序一致性约束，鼓励模型学习跨环境的通用导航规律。在Replica和Matterport3D数据集上的大量实验表明，将BDATP集成到AV-NaV和AV-WaN等主流基线中，能带来一致且显著的性能提升，尤其在最具挑战性的未闻声音设置下，成功率最高可提升超过21个百分点，证明了其优越的泛化能力和鲁棒性。 🏗️ 模型架构 BDATP框架整体是一个端到端的强化学习系统，以深度图像和双耳声谱图为输入，输出导航动作。其核心流程和组件如下： 输入与编码： 视觉输入：智能体的第一人称深度图像，通过一个独立的CNN编码器（三个卷积层+线性层+ReLU）编码为512维的视觉特征 f_v。 音频输入：双耳声谱图（左右声道）。首先沿声道维度分离为左、右两个单声道声谱图。然后，通过一个权重共享的CNN编码器（结构与视觉编码器相同）分别编码，得到中间特征图 f_al 和 f_ar。 双耳差分注意力模块： 差分计算：对共享CNN输出的左右声道特征图，计算逐元素绝对差值 diff = |f_ar - f_al|，作为显式的空间差异信号。 特征拼接与权重生成：将 f_al 和 f_ar 在通道维度拼接，通过一个1x1卷积降维回原始通道数C，再经过Sigmoid激活，得到通道注意力权重 w ∈ (0,1)。 差异加权融合：利用 w 和 diff 生成左右通道的加权系数：w_r = w ⊙ diff, w_l = (1-w) ⊙ diff。最终融合的音频特征为 f_a = f_al ⊙ w_l + f_ar ⊙ w_r。此设计强制注意力机制聚焦于存在显著差异（即包含方向信息）的特征区域。 策略学习： ...

📄 Hierarchical Codec Diffusion for Video-to-Speech Generation #语音合成 #扩散模型 #多模态模型 #零样本 #跨模态 🔥 评分：8.5/10 | arxiv 👥 作者与机构 第一作者：Jiaxin Ye（Fudan University） 通讯作者：Hongming Shan（Fudan University，hmshan@fudan.edu.cn） 其他作者： Gaoxiang Cong（Institute of Computing Technology, Chinese Academy of Sciences；University of Chinese Academy of Sciences） Chenhui Wang（Fudan University） Xin-Cheng Wen（Harbin Institute of Technology (Shenzhen)） Zhaoyang Li（Fudan University） Boyuan Cao（Fudan University） 💡 毒舌点评 亮点：这篇论文像个严谨的“交通协管员”，终于把 RVQ 不同层级当成了不同的车道——让嘴唇和身份去底层飙内容，让表情去高层管情绪，治好了 VTS 领域长期存在的“视觉条件瞎注入”的拥堵病。 槽点：虽然口口声声“首个”层次化离散扩散，但骨子里是 SEDD + MaskGCT Codec + DiT AdaLN 的“学术拼好饭”；更妙的是训练时偷偷用真实音频的 GE2E 特征来 stabilize 模型，推理时却只能看脸硬撑，这算不算一种“开卷考试练出的学霸”？ ...

📄 Adaptive Test-Time Scaling for Zero-Shot Respiratory Audio Classification #零样本 #音频分类 #大语言模型 #自适应推理 ✅ 评分：7.8/10 | arxiv 👥 作者与机构 第一作者：Tsai-Ning Wang（埃因霍温理工大学，Eindhoven Artificial Intelligence Systems Institute） 通讯作者：Aaqib Saeed（埃因霍温理工大学，Eindhoven Artificial Intelligence Systems Institute） 其他作者： Herman Teun den Dekker（伊拉斯姆斯医学中心） Lin-Lin Chen（埃因霍温理工大学） Neil Zeghidour（Kyutai，法国） 💡 毒舌点评 亮点在于将“测试时计算缩放”这个前沿理念巧妙地引入医疗音频零样本分类，设计了一个优雅的三层“升级打怪”推理流程，让模型能“偷懒”也能“拼命”，在效率和效果间取得了很好的平衡。槽点则是核心框架严重依赖外部预训练模型（AcuLa编码器和Gemini LLM），自身创新集中在推理策略上，有点“站在巨人肩膀上做调度”的感觉，且临床属性系统和规则表的构建需要领域专家参与，通用性存疑。 📌 核心摘要 本文旨在解决零样本呼吸音频分类中“一刀切”的推理计算浪费问题。为此，提出了TRIAGE框架，这是一个三层自适应推理管道：第一层（Tier-L）进行快速的标签-文本相似度匹配；若置信度不足则升级至第二层（Tier-M），通过匹配预定义的临床描述符（如声音特征、位置）并基于规则投票决策；若仍不确定则进入第三层（Tier-H），检索相似病例报告并利用大语言模型进行推理。该框架通过置信度门控动态分配计算资源，使简单样本提前退出，复杂样本获得更多计算。在九个公开数据集上的零样本实验表明，TRIAGE平均AUROC达到0.744，显著优于先前的零样本方法，并在多个任务上匹配甚至超越了监督学习基线。分析显示，性能提升主要集中在难以判断的样本上（相对提升最高达19%），证明了自适应计算在医学音频分析中的有效性。 🏗️ 模型架构 TRIAGE是一个三层级联、基于置信度门控的自适应推理框架，其核心是冻结一个预训练的音频-文本嵌入模型（如AcuLa），仅通过改变测试时的推理策略来提升性能。 整体流程（输入到输出）： 输入：一段原始的呼吸音频（如咳嗽、肺音）。 特征提取：音频通过冻结的音频编码器 f_audio 被映射为一个归一化的嵌入向量 a。 三层推理与路由： Tier-L（快速标签匹配）： 功能：计算音频嵌入 a 与当前任务所有类别名称文本嵌入的余弦相似度。 输出：预测类别 y^(L) 和置信度 c_L（Top-1与Top-2相似度的差值）。 路由：若 c_L >= τ_L（阈值），则输出最终预测，流程结束；否则，样本升级至Tier-M。 Tier-M（临床属性匹配）： 功能：使用音频嵌入 a 去匹配一组临床医生定义的、结构化的描述符模板（如“呼吸音特征”、“哮鸣音存在性”等组，每组包含多个选项文本）。为每个描述符组选择相似度最高的选项，形成一个属性剖面 z(x)。 规则映射：通过一个任务特定的、无参数的规则表 Φ_j，将属性剖面 z(x) 映射为各类别的得分 r_y。 输出：预测类别 y^(M) 和置信度 c_M（规则得分Top-1与Top-2的差值）。 路由：若 c_M >= τ_M，则输出最终预测；否则，样本升级至Tier-H。 Tier-H（检索增强推理）： 功能： 检索：在外部音频-报告对语料库 R 中，检索与当前音频嵌入 a 最相似的 k 个邻居样本的报告文本。 推理：构建一个提示词，包含检索到的报告上下文、Tier-M的属性剖面 z(x) 和Tier-L的相似度分数，提交给一个大语言模型（如Gemini 3 Pro）。 输出：LLM解析后输出最终预测 y^(H)。 最终输出：预测类别，以及可解释的“证据链”（如相似度分数、属性剖面、检索到的报告片段）。 关键设计选择理由： ...

📄 X-VC: Zero-shot Streaming Voice Conversion in Codec Space #语音转换 #零样本 #流式处理 #自监督学习 🔥 评分：9.0/10 | arxiv 👥 作者与机构 第一作者：Qixi Zheng (上海交通大学) 通讯作者：Xie Chen (上海交通大学，上海创新研究院) 其他作者： Yuxiang Zhao (上海交通大学) Tianrui Wang (天津大学) Wenxi Chen (上海交通大学，上海创新研究院) Kele Xu (复杂与关键软件环境国家重点实验室) Yikang Li (上海创新研究院) Qinyuan Chen (复旦大学，上海创新研究院) Xipeng Qiu (复旦大学，上海创新研究院) Kai Yu (上海交通大学) 💡 毒舌点评 亮点：这篇论文最大的亮点是“化繁为简”，把复杂的零样本语音转换问题巧妙地“塞”进了一个预训练好的神经编解码器（SAC）的潜在空间里，用一步转换就搞定了，既避免了传统分析-合成管线的繁琐，又天然支持流式处理，RTF低得惊人。槽点：模型严重依赖一个高质量的、特定的编解码器（SAC），这相当于把“转换”这个核心难题的部分压力转移给了“重建”，有点“站在巨人肩膀上摘苹果”的意思；此外，539M的参数量对部署场景的硬件要求可不低。 📌 核心摘要 这篇论文旨在解决零样本语音转换中高保真说话人迁移与低延迟流式推理难以兼得的核心挑战。作者提出了X-VC系统，其核心创新在于在预训练神经编解码器（SAC）的潜在空间中进行一步式语音转换，而非直接在波形或梅尔频谱图上操作。该方法通过一个双条件声学转换器，联合建模来自源语音的编解码器潜在表征（内容）和来自目标参考语音的帧级声学条件（梅尔谱）及句级说话人嵌入（身份），实现了对目标说话人细粒度和全局特征的有效利用。为减少训练与推理的不匹配，论文设计了基于生成配对数据和角色分配策略（标准、重建、反转模式）的训练范式。实验表明，X-VC在Seed-TTS-Eval基准测试中，在英语和中文的流式词错率（WER） 上取得最佳，同时在同语种和跨语种场景下保持了强大的说话人相似度（SIM），其离线实时因子（RTF） 远低于基线模型（0.014），证明了编解码器空间一步转换方案在构建高质量低延迟零样本语音转换系统中的实用性。 🏗️ 模型架构 X-VC的整体流程是一个端到端的编解码器空间转换框架，其核心思想是将波形转换问���转化为在预训练编解码器潜在空间中的表征变换问题。 完整流程： 输入：源语音波形 x_src，目标参考语音波形 x_tgt。 编码：使用冻结的SAC编解码器前端（包括语义编码器、声学编码器、对应的VQ层和适配器）将源语音片段 x_seg_src 编码为统一的编解码器潜在表征序列 z（维度1024）。这个 z 已经融合了语义和声学信息。 条件提取： 帧级声学条件 c：从目标参考语音中移除与源片段对应的部分后，提取128维的梅尔频谱图。 句级说话人条件 g：使用预训练的ERes2Net说话人编码器，从同样的目标参考语音中提取192维的全局说话人嵌入。 核心转换：双条件声学转换器接收 z、c、g 作为输入，输出转换后的潜在表征 z_hat。 解码：使用冻结的SAC编解码器解码器将 z_hat 重建为目标说话人的语音波形 x_hat。 核心组件：双条件声学转换器 ...