冻结语音流能否直接改情感:SEmoEdit 的速度搬运诊断
论文先用 80 例平行对诊断冻结 TTS 速度场是否存在可用、无代价分段的情感编辑信号,再提出动态速度搬运的 SEmoEdit,在 600 例基准上以替换 TEP 0.691 与擦除 NP 0.704 超越训练式与转向式基线,代价是说话人相似度下降与跨域控制依赖骨干。
论文先用 80 例平行对诊断冻结 TTS 速度场是否存在可用、无代价分段的情感编辑信号,再提出动态速度搬运的 SEmoEdit,在 600 例基准上以替换 TEP 0.691 与擦除 NP 0.704 超越训练式与转向式基线,代价是说话人相似度下降与跨域控制依赖骨干。
针对掩码预测偏向语言内容而重建目标理解偏弱的矛盾,SPEAR-Gen 用任务对齐融合构造离散目标并联合对数梅尔重建与残差流匹配,在保持 SUPERB 语言性能的同时把重合成质量从 PESQ 1.20 提升到 2.94,代价是需要外部标注做目标构造与双解码器联合训练。
DEFINE 用说话人提示定身份、用口音示例定口音并以权重 w 连续调节强度,在见过口音上口音探针准确率从 6.5% 提升到 19.6%,以单遍合成达到级联方案的口音转移并保留更高的说话人相似度,但 held-out 口音仍弱于级联且瓶颈在示例编码器。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对连续自回归流匹配语音模型中非言语标签跟随难的问题,NVAlign 用冻结的非言语识别模型概率作可微奖励并经两步梯度代理回传联合更新主干与流头,在三套系统的人评听音集上提升标签准确率,但自然度与可懂度等代价需要用保真惩罚和参考速度正则来约束。
TinyAudio 针对十亿参数文本到音频系统难部署的问题,用 35M 单流 TA-DiT 加 32M 音频对齐文本编码器与 20M 解码器做流匹配生成,在 AudioCaps 上以 2.65 的 FAD 和 0.48 GB 峰值显存实现可比质量,一步版 TinyAudio-MF 则以质量下降为代价换取四核 CPU 实时生成。
论文把流匹配与扩散语音合成中初始高斯噪声与生成梅尔频谱图的空间相关变成水印信号,用固定特殊噪声生成加余弦相似度验算或外挂检测器判别,在强裁剪与变速下比 AudioSeal 更稳,但回声与极端滤波仍是代价与边界。
针对只有单声道而缺空间线索的问题,AURA 先用混合 U-Net 做粗双耳估计再用条件流匹配做细化,在同一数据集上 Wave-L2 做到 0.123 并以 11.26 M 参数运行,但计算量与相位指标仍有代价。
针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。
针对零样本语音克隆要在质量与延迟之间权衡的问题,DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本,在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05,但说话人相似度仍弱于大规模基线。
该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建,再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化,在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线,代价是依赖冻结分词器声码器与多步采样训练成本。
针对自然语言指令难以稳定控制细粒度情感类别与强度的问题,EmoInstruct-TTS 用 48 状态的 Emotion2embed 加 ICE-Flow 映射实现语义与声学双路控制,在 21 组强度与 27 类细粒度零样本任务上提升情感相似度与自然度,而去掉任一路都会下降且推理额外开销仅约 1 到 2%。
针对流匹配语音生成的音色泄漏与推理慢问题,论文用异构数据扰动切断语义 token 的声学捷径、用蒸馏加在线拉直消除分类器无关引导开销,在 3 步推理下实现约 3.25 倍加速并提升说话人相似度,代价是极端拉直带来轻微可懂度波动。
针对仅用参考语音或仅用文字描述难以精确改一项声学属性的问题,FineCombo-TTS 用统一声学表示加条件流匹配的方差预测器学习源到目标的相对变化,在 FineEdit 配对数据上把韵律、情感和音色控制精度提高,但可懂度和音色相似度仍需在较强引导下权衡。
针对冻结流匹配语音合成持续读错多语专有名词的问题,FlowEdit 冻结 DiT 只优化文本嵌入扰动并存入 Modern Hopfield 记忆,在 312 词基准上把目标词音素错误率降到 3.1% 且通用语音保持 4.1%,单次纠错约 15 秒但声调语言残留误差更高。
针对流匹配语音合成缺少在线强化学习的问题,该工作把 ODE 采样改写为 SDE 以获得随机性,再用组内相对优势同时优化说话人相似度、可懂度和感知质量,在 CosyVoice 3.0 上把中文 SS2 从 0.830 提升到 0.859,代价是只微调 FM 的 LoRA 参数且依赖现成奖励模型。
FreeSonic 针对文本引导音频编辑中时间一致性与背景保留难以兼得的问题,在冻结的 TangoFlux 上用反演加去噪、文本音频注意力取掩码与分阶段解耦做局部修改,主实验报告在增加、删除、替换上取得更优的保真与语义对齐,但删除类任务仍依赖噪声注入强度等任务相关超参数。
针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题,GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模,在 AIST++ 与 TikTok 上取得最高的节拍与质量指标,代价是依赖姿态与预训练编解码器且演示链接当前不可用。
针对改大或压住 creak 时音高与性别感知易被连带拖走的问题,论文用两段条件连续归一化流分别处理高层说话人属性与低层嗓音品质并在中间层做对抗去相关,在 LibriTTS-R 与 YourTTS 主干上以更小的音高偏移和更稳的性别与说话人验证指标完成 creak 编辑,代价是强操作仍会损失部分说话人相似度且抑制方向的主观 creak 变化不显著。
针对单通道双人语音分离中生成模型易跟错说话人的问题,该文用冻结的端到端 diarization 吸引子作为唯一说话人条件,只训练潜在空间流匹配 U-Net,并用免训练的对抗说话人引导推开干扰说话人,在 LibriMix 上以可运行的分离策略报告了质量、可懂度和说话人混淆对照。