长语音里既换声音又换说法:AegisVox 如何分开处理身份与病情
AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。
AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。
AnyEdit 把带噪编辑拆成干净语义编辑与上下文声学渲染两步,用噪声鲁棒韵律与流匹配渲染保持背景,在真实与模拟带噪集上内容与背景连续性更好,但长音频与瞬态声仍受限。
Drama 3 用混合线性注意力骨干加逐码本预测解码器把配音、修订、拼场和补录写成同一种对话,用单一人类偏好奖励做强化学习,在多语克隆和按需修改上测得可复述的提升,代价是更大的总参数和更复杂的推理工程。
论文要解决无成对电影声画编辑数据时如何执行组合指令,方法是把合成音频编辑与自监督声画掩码重建加入微调,在 CrossEditBench 上 AV-FES 达到 0.30 但仍远低于理想上限,且保留了原有单模态编辑能力。
该文把无参考修音做成逐音符序列编辑,用冻结 MusicBERT 加歌唱适配器理解上下文、两个修正头分开判断修不修和修多少、再用输入自身估计的调性先验重排候选,在真实业余对专业配对上把音高准确率从 73.25% 提到 83.43%,代价是 3.19% 的原本正确音符被误改。
该文把可控多说话人对话语音合成从一次生成改为计划—合成—评论—修改的闭环,用统一做指令合成与情感语速响度编辑的 ControlEdit-TTS 做局部修改,在中英基准上把语句指令遵从 Yes 率做到 95.5% 并在对话偏好上占优,代价是最多 10 轮的评论与重改开销和风格与音色难以同时满足的回弹。
论文先用 80 例平行对诊断冻结 TTS 速度场是否存在可用、无代价分段的情感编辑信号,再提出动态速度搬运的 SEmoEdit,在 600 例基准上以替换 TEP 0.691 与擦除 NP 0.704 超越训练式与转向式基线,代价是说话人相似度下降与跨域控制依赖骨干。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用 20 名言语治疗学生在岗前讲解中对比自然锚音与可控合成样例,报告合成组在感知敏感度与专家一致性上提升更大而自然组无显著变化,但粗糙维度是唯一明显获益项且样本与讲解时长限制了推广。
该文把文本语音编辑拆为语义空间的内容填充与流匹配声学重建,再用冻结文本转语音模型作一致性评价并辅以可懂度和时长门控做群组相对策略优化,在插入删除替换三类任务上以更低词错率和更高主客观自然度超过自回归与非自回归基线,代价是依赖冻结分词器声码器与多步采样训练成本。
针对改大或压住 creak 时音高与性别感知易被连带拖走的问题,论文用两段条件连续归一化流分别处理高层说话人属性与低层嗓音品质并在中间层做对抗去相关,在 LibriTTS-R 与 YourTTS 主干上以更小的音高偏移和更稳的性别与说话人验证指标完成 creak 编辑,代价是强操作仍会损失部分说话人相似度且抑制方向的主观 creak 变化不显著。
针对改歌词必须保留原旋律、节奏与总时长的问题,论文用旋律感知的时长占比预测加音频补全式流匹配解码做歌声编辑,并在六种编辑场景下以可核对的客观与主观评测显示总时长严格保留,但复杂混合编辑的可懂度仍明显下降。
针对嗓音质量语用功能难于快速假设与验证的问题,论文用微调的 VoiceQualityVC 加 Streamlit 交互界面实现词级嘶哑、气息、鼻音调节,以约 17 小时 20 分高表现力语料和 45k 步微调为代价换来可直接对比的刺激生成能力。
该文把说话人匿名与内容匿名放在同一个声学令牌空间里做,用逐帧混合比例 β 融合编码器令牌与音素派生令牌并以命名实体识别触发敏感片段强制替换,在 VoicePrivacy 2024 上以 β=0.7 取得 EER 42.54% 与 WER 3.73%,代价是情感保持 UAR 40.11% 低于同类混合基线。
为解决离散音素表示难以做平滑语音编辑的问题,论文提出给每个音素类学习一个高斯先验并用监督对比损失拉紧推开隐空间,在 LibriSpeech 训练并在 LJSpeech 与 CMU ARCTIC 上验证插值可听辨且编辑语音质量接近原始录音,代价是依赖强制对齐与仅限英语验证。
ARIS 用神经网络只做从波形到声码器系数的分析、用无参数 DSP 做合成,在每人不足 1 小时的五个单人语料上达到与 WORLD 可比的拷贝合成质量,并以约一半于 KlattGrid 的 F2/F3 误差实现单线索编辑,但高频自然度预测分仍略低于微调后的 HiFi-Glot。
EditVoice 针对非自回归零样本合成须先定长才能并行生成的问题,用编辑流在采样中联合做插入、删除、替换以同时改内容和长度,并以语音填充训练统一合成与编辑,再用互补提示采样与生成后修正提稳内容一致性,代价是每步需评估两种提示摆放且启发式一致性规则依赖阈值。
GRATS 针对普通话声调对时长扰动敏感而人工变速参考失真的问题,用 25 人×60 句×5 速共 7500 句自然平行录音做基准,报告了极端速率下时长与基频一致性下降而可懂度与感知质量出现分化的证据,代价是仅覆盖台湾朗读语料且暂缺主观听感验证。
针对年龄与性别编辑在大规模语音数据中受噪声标签干扰而出现映射漂移和身份丢失的问题,RIVET 在潜表示上增加幂等正则并与生成损失联合训练,在 GLOBE 与受控噪声 EARS 上提升了身份保持与性别编辑成功率,而自然度与可懂度基本持平、年龄分类仍有未胜出项。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读