语音转换

📄 Expressive Voice Conversion with Controllable Emotional Intensity #语音转换 #数据增强 #注意力机制 #语音情感识别 #自监督学习 ✅ 7.5/10 | 前25% | #语音转换 | #数据增强 | #注意力机制 #语音情感识别 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Nannan Teng（丝绸之路多语种认知计算联合国际研究实验室，新疆大学计算机科学与技术学院） 通讯作者：Ying Hu（丝绸之路多语种认知计算联合国际研究实验室，新疆大学计算机科学与技术学院） 作者列表：Nannan Teng（丝绸之路多语种认知计算联合国际研究实验室，新疆大学计算机科学与技术学院）、Ying Hu（丝绸之路多语种认知计算联合国际研究实验室，新疆大学计算机科学与技术学院）、Zhijian Ou（清华大学电机工程与应用电子技术系）、Sheng Li（东京科学大学工程学院） 💡 毒舌点评 这篇论文最亮眼的地方在于它清晰的“问题-方案”对应逻辑：用“特定属性增强”制造更鲁棒的特征，用“联合注意力”优雅地融合并控制说话人与情感风格，最后用“扰动归一化”来提升合成的表现力，模块设计环环相扣且动机明确。短板则在于情感控制的粒度仍显粗糙，一个标量α控制所有情绪类别的强度，缺乏对不同情绪（如“喜悦”与“愤怒”）可能具有不同强度响应曲线的建模，这在一定程度上限制了其实用性和精细度。 🔗 开源详情 代码：提供了代码仓库链接：https://tengnn.github.io/ExpressiveVC/。 模型权重：论文中未提及是否公开预训练模型权重。 数据集：使用ESD英文数据集和RAVDESS数据集进行测试，这两个均为公开数据集，但论文未提供具体的获取或预处理脚本。 Demo：提供了在线演示链接：https://tengnn.github.io/ExpressiveVC/。 复现材料：论文提供了方法的基本描述和公式，但缺乏具体的训练细节（如优化器、学习率、批大小、训练时长）和模型配置信息。 引用的开源项目：论文未明确列出所有依赖项，但可以推断其使用了Wav2vec 2.0（用于特征提取）、以及可能的HiFi-GAN（作为声码器）等开源模型。 📌 核心摘要 解决的问题：现有的表现力语音转换（VC）方法要么专注于说话人身份和情感风格的迁移，要么专注于情感强度的可控调节，未能很好地将两者结合。本文旨在提出一个能同时实现高质量说话人转换、情感迁移，并允许用户精细控制目标情感强度的VC模型。 方法核心：提出了CEI-VC模型，包含三个关键组件：a) 特定属性增强（SAA）：通过共振峰偏移和音高单调化等数据扰动策略，增强模型对说话人和情感特征的鲁棒性。b) 情感解耦与强度控制（EDIC）模块：利用解耦损失和基于联合注意力的风格融合机制，将说话人与情感特征分离，并引入可调参数α在推理时控制情感强度。c) 扰动自适应实例归一化（PbAdaIN）：在归一化层中对风格特征施加扰动，提升合成语音的自然度和表现力。 与已有方法相比新在哪里：主要新意在于系统性地结合了数据增强、特征解耦与可控生成三个环节。具体创新包括：1）提出了针对性的SAA策略来同时扰动说话人和情感属性；2）设计了UDIA模块，通过联合注意力机制和可调参数实现情感强度的连续控制；3）提出了PbAdaIN，通过在特征归一化时引入可控噪声来增强表达力。 主要实验结果：在ESD英语数据集上的实验表明，CEI-VC在多项指标上优于5个对比模型。在Unseen-to-Unseen场景下，其自然度MOS（nMOS）为4.02，情感相似度MOS（eMOS）为3.30，情感嵌入余弦相似度（EECS）为0.6663，均为最佳或次佳。消融实验证明SAA、PbAdaIN和UDIA模块均对性能有显著贡献。通过调节参数α（0.2， 0.5， 0.9），转换语音的平均音高和情感分类准确率随强度增加而变化，验证了情感强度控制的有效性。 实际意义：该模型可应用于需要情感表现力和身份控制的语音合成场景，如个性化有声读物生成、影视配音、以及更自然的人机交互对话系统。 主要局限性：论文未讨论模型在极短语音或噪声环境下的鲁棒性；情感强度控制机制（标量α）可能对所有情绪类型过于简化；未公开模型权重和详细训练配置，限制了完全复现。 🏗️ 模型架构 本文提出的CEI-VC模型整体架构如图1所示。其核心是基于变分自编码器（VAE）和归一化流（Normalizing Flow）的框架，旨在学习并转换语音的说话人、情感和内容特征。 ...

📄 FAC-FACodec: Controllable Zero-Shot Foreign Accent Conversion with Factorized Speech Codec #语音转换 #扩散模型 #零样本 #语音编解码器 🔥 8.0/10 | 前25% | #语音转换 | #扩散模型 | #零样本 #语音编解码器 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 中 👥 作者与机构 第一作者：Yurii Halychanskyi（University of Illinois Urbana-Champaign, The Grainger College of Engineering, Siebel School of Computing and Data Science） 通讯作者：未说明 作者列表：Yurii Halychanskyi（UIUC）、Cameron Churchwell（UIUC）、Yutong Wen（UIUC）、Volodymyr Kindratenko（UIUC） 💡 毒舌点评 亮点在于巧妙地将扩散模型的噪声控制机制转化为口音强度的“旋钮”，首次实现了在口音转换中对“转多少”的显式、平滑控制，这对实际应用非常友好。短板是训练数据“作弊”——只用了美式英语单说话人（LJSpeech），这好比只学会了标准答案却没练习过如何修改各地“方言”作业，其面对真正多样化非母语口音时的泛化能力和适应性存疑，而论文对此缺乏深入验证。 🔗 开源详情 代码：提供代码仓库链接：https://claussss.github.io/accent_control_demo/ 模型权重：论文中未提及是否公开预训练模型权重。 数据集：训练集LJSpeech和评测集L2-Arctic均为公开数据集，论文中给出了使用方式。 Demo：论文提供的网站链接即为Demo页面（同上）。 复现材料：提供了完整的训练细节（优化器、学习率、批大小、epoch数、硬件）、模型架构细节、预处理流程（文本归一化、音素转换、对齐工具），以及关键超参数（网络尺寸、噪声调度、推理步数）。 引用的开源项目：Nvidia NeMo文本归一化、Phonemizer、Wav2Vec2 XLSR（对齐）、FACodec、Whisper（评测）、SpeechBrain/WavLM（说话人相似度评测）。 📌 核心摘要 问题：现有的口音转换方法缺乏对转换强度的显式控制，难以在“更地道”和“更像本人”之间灵活权衡。 方法核心：提出FAC-FACodec框架，利用FACodec将语音解耦，仅对内容（发音）潜变量zc1进行建模。在训练时，模型学习从加噪的zc1中恢复出美式英语的先验分布。在推理时，通过选择初始加噪的时间步t_start来控制转换强度：t_start越大，表示从越“混乱”的状态开始去噪，结果越偏向先验（美式发音），但可能丢失更多原始特征。 创新点：这是首个提供用户可控参数来调节口音转换强度的框架；仅需目标口音（美式英语）的语音和转录文本进行训练，实现零样本转换；专注于发音层面的修改，严格保留说话人的韵律和音色。 主要实验结果：在L2-Arctic数据集（6种非母语口音）上测试，随着t_start从25增至100，美式口音分类器得分（Acc）从72.22平均提升至89.86，而说话人相似度（SS）从0.97降至0.88，词错误率（WER）从0.07升至0.15，证明了转换强度与身份保留之间的可控权衡。与基线系统相比，在 t_start=100时，本方法在说话人相似度和WER上持平或更优，但在口音得分上通常低于同时重构韵律的系统。 关键数据表（节选）： ...

ICASSP 2026 - 语音转换 共 9 篇论文 ← 返回 ICASSP 2026 总览 排名 论文 评分 分档 🥇 FAC-FACodec: Controllable Zero-Shot Foreign Accent Conversio 8.0分 前25% 🥈 Conditional Diffusion Models for Mental Health-Preserving Vo 8.0分 前25% 🥉 CosyAccent: Duration-Controllable Accent Normalization using 7.8分 前25% 4. QE-XVC: Zero-Shot Cross-Lingual Voice Conversion via Query-E 7.5分 前25% 5. MeanVC: Lightweight and Streaming Zero-Shot Voice Conversion 7.5分 前25% 6. Expressive Voice Conversion with Controllable Emotional Inte 7.5分 前25% 7. Lightweight and Perceptually-Guided Voice Conversion for Ele 7.5分 前25% 8. MeanVoiceFlow: One-Step Nonparallel Voice Conversion with Me 7.0分 前25% 9. MaskVCT: Masked Voice Codec Transformer for Zero-Shot Voice 6.5分 前50% 📋 论文详情 🥇 FAC-FACodec: Controllable Zero-Shot Foreign Accent Conversion with Factorized Speech Codec 🔥 8.0/10 | 前25% | #语音转换 | #扩散模型 | #零样本 #语音编解码器 ...

📄 Leveraging Text-to-Speech and Voice Conversion as Data Augmentation for Alzheimer’s Disease Detection from Spontaneous Speech #语音生物标志物 #数据增强 #语音合成 #语音转换 #语音识别 ✅ 7.0/10 | 前50% | #语音生物标志物 | #数据增强 | #语音合成 #语音转换 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Sina Rashidi（哥伦比亚大学欧文医学中心） 通讯作者：未说明 作者列表：Sina Rashidi（哥伦比亚大学欧文医学中心），Yasaman Haghbin（哥伦比亚大学欧文医学中心），Hossein Azadmaleki（哥伦比亚大学欧文医学中心），Ali Zolnour（哥伦比亚大学欧文医学中心），Maryam Zolnoori（哥伦比亚大学欧文医学中心） 💡 毒舌点评 论文的亮点在于直击临床语音数据稀缺的痛点，巧妙地将大语言模型生成诊断特定文本与语音合成/转换相结合，构成了一套针对ADRD检测的端到端增强框架，并在实验中展示了显著的性能提升。然而，其短板在于作为一篇方法论论文，对生成数据可能引入的分布偏移、领域外泛化性，以及临床部署中至关重要的伦理与隐私风险讨论不足，且关键的复现细节（如完整训练脚本、生成样本的定性评估）缺失，使其更多像一个成功的系统集成案例，而非深入的方法学探索。 🔗 开源详情 代码：论文中未提及代码链接。 模型权重：未提及公开权重。 数据集：使用的是公开���DementiaBank Pitt Corpus和ADReSSo 2021测试集。 Demo：未提供在线演示。 复现材料：论文描述了方法框架和部分参数（如SpecAugment设置、特征选择），但缺乏完整的训练脚本、配置文件和超参数搜索细节。 论文中引用的开源项目：提到了以下开源工具/模型：WhisperX, LLaMA-3.1-405B (用于说话人分离), mGTE, mHuBERT, Whisper, LLaMA-3.1-8B-Instruct, medGemma-27B-it, SparkTTS-0.5B, OpenVoice。 📌 核心摘要 问题：基于语音的阿尔茨海默病及相关痴呆（ADRD）检测受限于高质量患者语音数据的稀缺，这限制了深度学习模型（尤其是Transformer）的性能。 方法核心：提出两种生成式语音数据增强管道：(1) TTS管道：先微调LLM（如LLaMA-3.1-8B、medGemma-27B）生成诊断特定的合成文本，再通过零样本TTS（SparkTTS）生成语音；(2) 语音转换（VC）管道：通过基于声学特征的图论配对，使用OpenVoice在说话人之间转换语音，以增加声学多样性同时保留语言内容。 新在哪里：相比传统的SpecAugment等信号域扰动方法，生成式方法能提供更丰富的、具有临床相关性的语言与声学变异性。TTS管道创新性地引入了LLM生成诊断特定文本来驱动语音合成。 主要实验结果：在DementiaBank Pitt Corpus训练，ADReSSo 2021测试集上评估。TTS管道在纯声学模型（SpeechCARE-Whisper）上取得最佳性能，Micro-F1从80.2%提升至90.1%，F1-ADRD从82.9%提升至90.4%。多模态模型（SpeechCARE-AGF）在TTS+VC组合下取得最佳性能（Micro-F1 84.5%）。关键对比如下表： 模型 方法 Micro-F1 (%) F1-ADRD (%) SpeechCARE-AGF 基线 77.4 75.0 TTS管道 78.8 76.1 VC管道 78.8 76.9 TTS+VC 84.5 84.5 SpeechCARE-Whisper 基线 80.2 82.9 频率掩蔽 85.9 87.1 时间掩蔽 87.3 88.3 时间偏移 85.9 87.1 TTS管道 90.1 90.4 VC管道 90.1 90.1 TTS+VC 90.1 90.1 实际意义：为构建可扩展、非侵入性的ADRD语音筛查工具提供了数据层面的解决方案，有助于缓解临床数据收集的困难。 主要局限性：生成语音的质量和保真度未进行详细评估；方法高度依赖于生成模型（LLM， TTS）的质量和可用性；未探讨模型在不同口音、语言及更多样化人群上的泛化能力；伦理考量（如使用合成医疗数据）讨论有限。 🏗️ 模型架构 论文主要描述了两个用于ADRD检测的下游分类模型架构，以及用于数据增强的生成管道。 ...

📄 Lightweight and Perceptually-Guided Voice Conversion for Electro-Laryngeal Speech #语音转换 #语音增强 #自监督学习 #低资源 #领域适应 ✅ 7.5/10 | 前25% | #语音转换 | #自监督学习 | #语音增强 #低资源 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.5 | 置信度 高 👥 作者与机构 第一作者：Benedikt Mayrhofer（格拉茨理工大学 信号处理与语音通信实验室；维也纳医科大学 综合人工智能医学中心） 通讯作者：未说明（论文提供了多位作者的邮箱，未明确指定通讯作者） 作者列表：Benedikt Mayrhofer（格拉茨理工大学 信号处理与语音通信实验室；维也纳医科大学 综合人工智能医学中心）、Franz Pernkopf（格拉茨理工大学 信号处理与语音通信实验室）、Philipp Aichinger（维也纳医科大学 耳鼻喉科，语音学与语言治疗科；维也纳医科大学 综合人工智能医学中心）、Martin Hagmüller（格拉茨理工大学 信号处理与语音通信实验室；维也纳医科大学 综合人工智能医学中心） 💡 毒舌点评 这篇论文的亮点在于精准的“临床需求驱动工程适配”，它没有空谈大模型，而是针对电子喉语音的具体缺陷（无F0、机械噪声），对现有流式架构StreamVC进行了务实而有效的“减法”改造（移除音高/能量模块）和“加法”增强（感知引导损失），实验设计严谨且消融分析充分。短板在于创新更多是“组合”与“调优”，缺乏一个能引发范式思考的核心算法突破，且模型在韵律生成和极端噪声下的可懂度方面仍有明显差距。 🔗 开源详情 代码：论文中提供了项目主页链接 https://spsc-tugraz.github.io/lw-elvc-icassp26/，其中可能包含代码。论文正文提到模型代码基于一个非官方StreamVC实现2（https://github.com/yuval-reshef/StreamVC），但未明确说明本文所有组件的代码是否完全开源。 模型权重：未提及是否公开预训练或微调后的模型权重。 数据集：使用了公开的德语语料（Common Voice, HUI, MLS）和公开的EL-HE平行数据库[20]。论文未提及自建新数据集。 Demo：未提及在线演示。 复现材料：论文给出了详细的超参数设置（学习率、批大小、训练步数、优化器参数、模型大小等）、数据预处理流程（对齐、增强）和损失函数组合，复现信息较为充分。 论文中引用的开源项目：StreamVC非官方实现、mHuBERT-147、Whisper、FCPE音高估计器、FastSpeech2（未直接使用，但在相关工作提及）。 📌 核心摘要 这篇论文针对喉切除患者使用的电子喉（EL）语音存在音高单调、韵律缺失和机械噪声的问题，提出了一种轻量级且感知引导的语音转换（VC）方法。其核心方法是在现有的流式Voice Conversion架构StreamVC基础上进行针对性适配：1）移除了不适用于EL语音的音高（F0）和能量估计模块以简化模型；2）设计了一种利用Whisper编码器特征和DTW对EL-HE（健康语音）平行数据进行时间对齐的预处理流程；3）在训练中引入了包括WavLM感知损失、人类反馈（HF）损失、可懂度损失等多种感知引导损失函数。与已有方法相比，本文的新意在于为EL语音转换这一特殊场景提供了端到端的轻量级流式解决方案，并系统评估了不同感知损失组合的影响。实验结果表明，最佳模型配置（+WavLM+HF）将EL语音的字符错误率（CER）从88.2%大幅降低至41.9%，将自然度评分（nMOS）从1.1提升至3.3，显著缩小了与健康语音的差距。其实际意义在于为语音康复提供了一种低延迟、轻量化的潜在工具。主要局限性是韵律生成和极端条件下的可懂度仍是瓶颈。 ...

📄 MaskVCT: Masked Voice Codec Transformer for Zero-Shot Voice Conversion with Increased Controllability via Multiple Guidances #语音转换 #掩码建模 #无分类器引导 #零样本 ✅ 6.5/10 | 前50% | #语音转换 | #掩码建模 | #无分类器引导 #零样本 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 中 👥 作者与机构 第一作者：Junhyeok Lee（Johns Hopkins University, Center for Language and Speech Processing） 通讯作者：Najim Dehak（Johns Hopkins University, Center for Language and Speech Processing） 作者列表： Junhyeok Lee（Johns Hopkins University, Center for Language and Speech Processing） Helin Wang（Johns Hopkins University, Center for Language and Speech Processing） Yaohan Guan（Johns Hopkins University, Center for Language and Speech Processing） Thomas Thebaud（Johns Hopkins University, Center for Language and Speech Processing） Laureano Moro-Velazquez（Johns Hopkins University, Center for Language and Speech Processing） Jesús Villalba（Johns Hopkins University, Center for Language and Speech Processing） Najim Dehak（Johns Hopkins University, Center for Language and Speech Processing） 💡 毒舌点评 这篇论文的亮点在于其前所未有的控制灵活性，通过巧妙设计让用户能在推理时“拧旋钮”来平衡音色、音高和音素，而非被固定在一种模式里。然而，其短板也很明显：MaskVCT-Spk模式为了极致音色模仿，可懂度（WER）比最强基线差了近一倍，且论文对如何系统化地选择那些“旋钮”权重（CFG系数）的讨论略显薄弱，更像是试错后的结果。 ...

📄 MeanVC: Lightweight and Streaming Zero-Shot Voice Conversion via Mean Flows #语音转换 #零样本 #流匹配 #自回归模型 #流式处理 ✅ 7.5/10 | 前25% | #语音转换 | #流匹配 | #零样本 #自回归模型 学术质量 5.0/7 | 选题价值 1.5/2 | 复现加成 1.0 | 置信度 高 👥 作者与机构 第一作者：Guobin Ma（西北工业大学计算机学院， Audio, Speech and Language Processing Group (ASLP@NPU)） 通讯作者：Lei Xie（西北工业大学计算机学院， ASLP@NPU）、Pengcheng Zhu（吉利汽车研究院(宁波)有限公司） 作者列表： Guobin Ma（西北工业大学计算机学院， ASLP@NPU） Jixun Yao（西北工业大学计算机学院， ASLP@NPU） Ziqian Ning（西北工业大学计算机学院， ASLP@NPU） Yuepeng Jiang（西北工业大学计算机学院， ASLP@NPU） Lingxin Xiong（吉利汽车研究院(宁波)有限公司） Lei Xie（西北工业大学计算机学院， ASLP@NPU） Pengcheng Zhu（吉利汽车研究院(宁波)有限公司） 💡 毒舌点评 亮点：用仅14M参数的轻量模型，在流式推理中实现了远超100M级模型的零样本转换质量与效率（RTF低至0.136），是“小模型办大事”的典范。 短板：系统依赖固定的预训练ASR和说话人编码器模块，这些模块的性能上限决定了最终效果，核心创新更像是对现有组件的巧妙“集成”与“调参”。 ...

📄 MeanVoiceFlow: One-Step Nonparallel Voice Conversion with Mean Flows #语音转换 #流匹配 #非并行训练 #零样本 ✅ 7.0/10 | 前25% | #语音转换 | #流匹配 | #非并行训练 #零样本 学术质量 5.5/7 | 选题价值 1.5/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Takuhiro Kaneko（NTT, Inc., Japan） 通讯作者：未说明 作者列表：Takuhiro Kaneko（NTT, Inc., Japan）、Hirokazu Kameoka（NTT, Inc., Japan）、Kou Tanaka（NTT, Inc., Japan）、Yuto Kondo（NTT, Inc., Japan） 💡 毒舌点评 该工作巧妙地将“均值流”这一前沿生成建模思想移植到语音转换任务，并针对性地设计了零输入约束和条件扩散输入训练来解决训练稳定性与一致性问题，思路清晰且实验扎实。但美中不足的是，其提出的“一步”模型在最终性能上并未对先前通过复杂蒸馏训练的“一步”模型形成代差优势，且完全未开源代码，让“可复现”的承诺大打折扣。 🔗 开源详情 代码：论文中未提及代码仓库链接。仅提供了音频样本链接：https://www.kecl.ntt.co.jp/people/kaneko.takuhiro/projects/meanvoiceflow/。 模型权重：未提及公开任何预训练模型权重。 数据集：使用了公开数据集VCTK和LibriTTS，但未提供处理后的数据或特定子集划分。 Demo：未提供在线交互式演示，仅有音频样本文件。 复现材料：论文提供了相当详细的实验设置、网络架构、超参数和训练策略，具备较高的可复现性潜力，但缺少官方代码实现。 依赖的开源项目：论文中引用并可能依赖了以下开源工具/模型：HiFi-GAN（声码器）、说话人编码器（基于Jia et al. 2018）、瓶颈特征提取器（基于Liu et al. 2021）、UTMOS/DNSMOS/DNSMOS Pro（评测指标）、WavLM（提取说话人嵌入）、Whisper（计算CER）。 📌 核心摘要 要解决的问题：基于扩散和流匹配的语音转换模型虽然质量高，但由于需要迭代推理，转换速度慢，限制了其实时应用。 方法核心：提出MeanVoiceFlow，一个基于“均值流”的一步非并行语音转换模型。其核心是用“平均速度”替代传统流匹配中的“瞬时速度”，使得路径积分可以在单步内直接计算，无需数值近似。 主要创新：1）提出零输入约束，通过基于SSIM的结构性损失和对高质量样本设置margin的策略，稳定平均速度的训练，避免输出模糊。2）提出条件扩散输入训练，在训练时也使用混合了噪声的源语音作为输入，消除了训练和推理时的输入分布不匹配问题。 主要实验结果：在VCTK数据集的零样本语音转换任务上，MeanVoiceFlow（一步推理）的客观指标（如pMOSs=3.90, SECS=0.883）和主观评测（nMOS=3.87, sMOS=2.92）均显著优于其他一步基线模型（如VoiceGrad-FM-1），并与多步模型（如VoiceGrad-FM-30）和通过蒸馏训练的FastVoiceGrad+性能相当。关键实验数据见下表。 模型 NFE↓ nMOS↑ sMOS↑ pMOSs↑ pMOSn↑ pMOSv↑ CER↓ SECS↑ VoiceGrad-FM-1 1 3.14±0.11 2.60±0.13 3.81 3.69 4.01 1.1 0.885 FastVoiceGrad† 1 3.73±0.09* 2.93±0.11 3.96 3.77 4.04 1.3 0.888 FastVoiceGrad+† 1 3.81±0.10 2.99±0.13 3.99 3.79 4.03 1.2 0.888 MeanVoiceFlow 1 3.87±0.09 2.92±0.13 3.98 3.78 4.10 1.2 0.886 VoiceGrad-FM-30 30 3.79±0.10 2.92±0.12 3.88 3.79 4.05 1.1 0.885 († 表示需要预训练教师和判别器) 实际意义：证明了无需知识蒸馏或对抗训练等复杂流程，也能从头训练出高质量的一步语音转换模型，降低了训练门槛，简化了部署流程。 主要局限性：一步推理模型的语音自然度和说话人相似度与多步模型相比仍存在微小差距；论文未讨论模型对基频等精细声学特征的转换能力；未提供开源代码和模型，限制了社区的验证与应用。 🏗️ 模型架构 MeanVoiceFlow的架构核心是一个条件生成模型，其骨干网络（uθ）沿用了基线工作FastVoiceGrad中的U-Net结构（12层卷积，512隐藏通道，2次下采样，使用GLU和权重归一化）。 ...

📄 QE-XVC: Zero-Shot Cross-Lingual Voice Conversion via Query-Enhancement and Conditional Flow Matching #语音转换 #跨语言 #零样本 #流匹配 #自监督学习 ✅ 7.5/10 | 前25% | #语音转换 | #流匹配 | #跨语言 #零样本 学术质量 6.0/7 | 选题价值 1.5/2 | 复现加成 0.3 | 置信度 高 👥 作者与机构 第一作者：Han-Jie Guo (中国科学技术大学，语音及语言信息处理国家工程研究中心) 通讯作者：Zhen-Hua Ling (中国科学技术大学，语音及语言信息处理国家工程研究中心) 作者列表：Han-Jie Guo (中国科学技术大学，语音及语言信息处理国家工程研究中心)、Hui-Peng Du (中国科学技术大学，语音及语言信息处理国家工程研究中心)、Shi-Ming Wang (中国科学技术大学，语音及语言信息处理国家工程研究中心)、Xiao-Hang Jiang (中国科学技术大学，语音及语言信息处理国家工程研究中心)、Ying-Ying Gao (中国移动九天人工智能研究院)、Shi-Lei Zhang (中国移动九天人工智能研究院)、Zhen-Hua Ling (中国科学技术大学，语音及语言信息处理国家工程研究中心) 💡 毒舌点评 亮点：论文针对跨语言对齐难这一核心痛点，设计了“全局说话人嵌入”和“扰动内容表示”两阶段查询来增强和对齐帧级说话人表征，思路清晰且有效。短板：实验部分虽然全面，但对说话人相似度（SMOS/SECS）未达最优的原因分析过于表面，且缺乏对生成语音在不同语速、情感等更复杂条件下的鲁棒性讨论，研究深度稍显不足。 🔗 开源详情 代码：论文中未提及完整的模型代码仓库链接。但提到了声码器（HiFi-GAN）使用了官方开源代码。 模型���重：未提及公开模型权重。 数据集：实验使用了公开的LibriTTS和MLS数据集，但论文未提供处理后的数据或下载脚本。 Demo：提供了一个在线语音样本展示页面：https://hjguo01.github.io/QE-XVC/。 复现材料：给出了部分关键实现细节（如优化器、学习率、推理步数），但未提供完整的训练配置文件、环境依赖列表或预训练模型链接。 引用的开源项目：XLSR-53（预训练SSL模型）、CAM++（说话人验证模型）、HiFi-GAN（声码器）、Whisper（用于计算CER）。 📌 核心摘要 问题：现有的零样本跨语言语音转换（XVC）方法面临发音错误、说话人建模不足以及跨语言对齐困难等挑战。 方法核心：提出QE-XVC框架，包含三大组件：利用预训练SSL模型（XLSR-53）提取共享多语言表征；设计查询增强模块，通过两阶段注意力机制（先用说话人嵌入作查询，再用扰动内容作查询）结合小波卷积来精炼帧级说话人表征；采用条件流匹配（CFM） 模型，以内容表征和说话人表征为条件，非自回归地生成转换后的梅尔频谱图。 创新：与已有方法相比，新在：a) 提出两阶段查询增强机制，在跨语言场景下稳定对齐；b) 构建统一的多语言连续表征空间，避免量化损失；c) 采用高效的CFM模型进行生成，速度优于扩散模型。 主要实验结果：在英语到西班牙语的跨语言任务上，QE-XVC相比最佳基线（vec2wav 2.0）在CER上显著降低（2.18% vs 4.86%），在F0-PCC上提升（0.753 vs 0.692），表明发音准确性和韵律保持更好。主观评估（NMOS和SMOS）也表现优异。推理效率（RTF=0.051）远高于扩散基线。 实际意义：该方法为构建低资源语言语音数据集、影视配音等应用提供了更高质量、更高效的零样本跨语言语音转换解决方案。 主要局限性：说话人相似度（SECS和SMOS）略低于使用离散token的vec2wav 2.0，论文对此分析不足；未探讨在更复杂声学环境或非平稳语音下的性能。 🏗️ 模型架构 QE-XVC的整体架构如图1所示，主要分为三个模块： ...

📄 Quantifying Speaker Embedding Phonological Rule Interactions in Accented Speech Synthesis #语音合成 #数据增强 #语音转换 #低资源 ✅ 7.0/10 | 前25% | #语音合成 | #数据增强 | #语音转换 #低资源 学术质量 5.5/7 | 选题价值 1.0/2 | 复现加成 0.0 | 置信度 高 👥 作者与机构 第一作者：Thanathai Lertpetchpun (Signal Analysis and Interpretation Lab, University of Southern California) 通讯作者：未说明 作者列表：Thanathai Lertpetchpun（USC SAIL实验室），Yoonjeong Lee（USC SAIL实验室），Thanapat Trachu（USC计算机科学系），Jihwan Lee（USC SAIL实验室），Tiantian Feng（USC SAIL实验室），Dani Byrd（USC语言学系），Shrikanth Narayanan（USC SAIL实验室、USC计算机科学系、USC语言学系） 💡 毒舌点评 亮点在于将语言学理论中“口音”的模糊概念，拆解为可量化、可操作的音韵规则，并提出了PSR这一新颖的交互度量工具。短板在于创新主要体现在评估方法论和实验分析上，对语音生成模型本身的改进有限，且评估结果严重依赖外部的音素识别模型，可能存在噪声。 🔗 开源详情 代码：提供了GitHub仓库链接（https://github.com/linguistylee/KAtDial），用于实现论文中定义的音韵规则。 模型权重：论文中未提供作者自己训练的模型权重。实验使用的是公开的预训练模型“Kokoro-82M”。 数据集：实验使用的文本来自公开数据集“LibriTTS-R”。说话人嵌入来自“Kokoro-82M”模型。 Demo：提供了在线语音样本演示页面（https://sav-eng.github.io/icassp_samples.html）。 复现材料：提供了代码实现规则。训练细节、模型配置等未提供，因为论文主要使用预训练模型进行合成与分析。 论文中引用的开源项目：Misaki G2P， Kokoro TTS， Vox-Profile， Wav2Vec2Phoneme， UTMOS。 📌 核心摘要 问题：当前TTS系统通过说话人嵌入控制口音，但该嵌入混合了音色、情感等无关信息，导致口音控制不透明且难以精细调整。 方法核心：以美式和英式英语为例，引入基于语言学的音韵规则（闪音、卷舌性、元音对应）作为显式探针。提出“音素移位率（PSR）”指标，用于量化说话人嵌入在多大程度上保留或覆盖这些规则驱动的音素转换。 创新点：1）提出PSR指标，直接衡量规则与嵌入的交互强度；2）系统性地分析了显式语言规则与数据驱动嵌入在口音合成中的相互作用。 实验结果： 主要实验结果见下表1，显示结合规则能提升口音强度且不损害自然度，PSR值降低表明规则被更好保留。 表2展示了不同条件下需二次应用规则的次数（N2），证明规则应用能减少“口音回退”。 表3显示了不同说话人嵌入与规则结合的效果，PSR普遍下降15%左右。 图2的核密度估计图显示，应用规则后，每个语句中被规则改变的音素数量分布向更小值偏移。 条件 UTMOS (↑) 声音概率 NA (↓) 声音概率 B (↑) 声音相似度 NA (↓) 声音相似度 B (↑) PSR (↓) 美式嵌入，无规则 4.43 86.5 3.79 0.85 -0.05 0.856 美式嵌入，全规则 4.42 58.8 17.3 0.74 0.21 0.827 英式嵌入，无规则 3.74 17.6 67.8 0.33 0.67 0.775 英式嵌入，全规则 3.72 5.3 78.4 0.03 0.85 0.628 表1：不同规则配置下的实验结果（引自论文Table 1） ...