换词不换声：直接剪贴与编解码器重建哪条路更自然

英文题目：Vers l’édition linguistique de la parole : étude sur le remplacement de mots dans un signal de parole

会议身份：conference:jep:2026:conference-paper-id:rodriguesdealmeida26_jep

✅ 来源为官方会议 PDF；表格与 Figure 按原文证据绑定。PDF 公式以原页区域图片展示，未冒称作者原始 TeX。

会议来源：官方记录 · 官方 PDF

标签：#向量量化 #隐私保护 #语音编辑 #语音合成 #语音克隆

评分：5.4/10 | 创新 1.0/2 | 技术严谨 1.2/1.5 | 实验充分 0.9/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.6/1.5

排名：后50% | 文档类型：应用研究

👥 作者与机构

• Lílian Rodrigues de Almeida：机构信息未能从会议 PDF 纯文本可靠映射
• Vincent Colotte：机构信息未能从会议 PDF 纯文本可靠映射
• Yannick Estève：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

该任务输入为含敏感词的原始语音、待替换词位置与替换词文本，输出为替换后保持说话人与环境连贯的语音，难点在于拼接边界不连续、合成词韵律失配与匿名化可感知性之间的权衡。方法链先用多说话人合成生成替换词，正交控制是否克隆目标语音与是否置于载体句中，其输出作为待插入单元进入下一步。接着对比直接波形剪贴、边界淡入淡出与神经编解码器路径，将替换词切入原始语句并统一离散单元与波形重构以弥合音色与通道差异。最后在替换词加左右各400ms上下文窗口内以滑动窗口评分，用自然度、可懂度与信号质量等多维客观指标检验插入效果。在插入技术对比评测下，实验II的DF指标为55,08，高于实验I的DF指标51,68。相对直接修改信号的关键差异在于经编解码器重构全句，实际意义是以整体重合成掩盖拼接痕迹，其中WavTokenizer偏向可懂度与信号质量而TiCodec偏向自然度。结论适用边界受限于短词替换、手动定位与所用客观指标体系，尚未验证长片段改写、自动敏感词检测误差及主观自然度是否一致。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，读完要能复述什么？

本文解读的输入是法语论文正文证据与两张官方原图像素，目标是让刚进入语音音乐音频领域的研究生能核对实验条件并复述方法。论文研究的不是常规说话人匿名化，也就是不是把嗓音变成另一个人，而是语言学层面的编辑：把语音记录中的敏感词换成别的词，同时尽量保留原句的自然听感。

举例来说，假如原句中出现一个人名或地址，研究者希望把该词对应音频段替换为另一个同类词的音频，使整句听起来仍然连贯。这里的例子只是教学比方，不是论文事实主张。读者学完应能复述三件事：替换词从哪里来，替换动作发生在波形层面还是编解码器离散单元层面，以及在什么语音片段上用什么指标评估。

必须保留的信息包括语料来源与语言、插入条件的具体定义、合成嗓音与合成语境的定义、评估窗口取法以及统计检验组织方式。凡是教学用比方都会明确标为例子，不作为论文事实。输出按学习依赖展开，先讲任务与相关路线，再讲全景与组件，最后讲条件结果与复现。

语音修复与语音合成路线各解决哪一段难题？

要定位本文，需要区分两条相关路线。第一条是缺失或受损音频的重建，也就是语音修复或语音补画。原文回顾了结合自监督表示与神经声码器、语谱图修复、文本条件补画等工作，其共同点是利用上下文声学特征恢复小段缺失，并保持说话人特征与韵律连贯。

但原文明确指出，这类方法高质量恢复的通常是小于一个词的很短片段，更长缺失需要借助文本等另一模态生成内容。第二条是多说话人语音合成与音色自适应。原文梳理了从需要大量目标说话人数据的早期神经合成，到用说话人嵌入条件化的多说话人模型，再到有监督微调与无监督零样本自适应的发展。

零样本的白话含义是只给参考音频而不给其文字转写，模型仍能模仿其音色。韵律方面则有全局风格标记、变分自编码器与流模型等思路。本文与两条路线都有关，但任务不同：它不是恢复被遮挡的原词，而是主动把敏感词换成另一个词，因此需要先用文本到语音系统生成替换词，再把它插回原句。离散语音单元是近期连接点，原文提到基于自监督编码器的单元以及神经编解码器产生的单元，其中有的把语言内容与韵律一起编码，有的分开编码，这直接影响插入后能否保留原说话人与环境特征。

要替换一个词，系统必须做出哪两类选择？

把问题拆成可操作步骤更有助于复述。假设有一句原始语音及其文字转写，研究者已用人工方式标出待替换目标词位置，自动检测敏感词本身不在本文范围内。第一步是得到替换词波形。论文前半部分为隔离插入技术影响，先使用自然录制孤立词作为替换词，后半部分则研究合成替换词，变量是嗓音与合成语境。

第二步是把替换词波形放回原句。直接做法是在波形上剪贴，用替换词段覆盖原目标词段，更精细做法是经过神经编解码器，先编码再解码，或在离散单元序列层面替换再解码。评估时不是对整句取平均，而是截取包含替换词及其左右各一段上下文的片段计算指标，左右上下文按原文取为 400 毫秒，若句边界不足则取更小。

指标分为 3 类：自然度类、可懂度类与信号质量类。自然度关注是否像真人语音以及是否有合成或伪造痕迹，可懂度关注语言内容是否仍然清晰，信号质量关注失真噪声与混响等物理层面。这种切分评估的设计意图是让插入点附近质量主导评分，而不是被整句中未改动的大段语音稀释。

从原句到改后句，完整链路经过哪些模块？

沿一个样本走一遍有助于建立整体图像。输入是一句原始语音、它的转写以及人工标出的目标词起止位置，还有一个替换词文本，例如同为人名地名或年龄的另一个词。替换词生成模块调用多说话人合成系统，根据实验条件选择克隆嗓音或通用嗓音，并选择孤立词或带句上下文两种合成方式。

若是带句上下文，合成器先合成包含目标词的整句，再从中切出目标词对应音频段。插入模块接收原句波形与替换词波形，按条件执行直接波形粘贴、带边界平滑粘贴、对粘贴结果整体编解码、以及在离散单元层面替换后解码，不同编解码器分别对应不同条件。输出是一句目标词已被替换的新语音。

评估模块在替换词左右各取一段上下文组成评分片段，用滑动窗口方式计算多个自动指标，再按条件做统计比较。需要强调的是，论文没有提出新的合成器或新的编解码器结构，而是把现有工具组织成可比较的插入流水线，比较重点是插入层面与替换词生成层面的方法选择。理解这条链路后，后续组件细节才有依附位置。

插入嗓音与语境三个组件各自负责什么？

插入组件负责解决边界连续性与通道一致性。直接粘贴的分工是波形替换，优点是简单且不经过有损编解码，但左右边界的基频能量与相位可能跳变。边界平滑的分工是在拼接处做淡入淡出，原文实现为线性淡入淡出，长度取为采样率的三分之 1 对应的样点数，教学例子可想象为把接缝处音量斜坡过渡，但它不能修正音色与韵律不匹配。

编解码器路径的分工是把语音映射到紧凑表示再重建，两种编解码器对内容韵律与说话人环境特征的处理方式不同，其中一种可在解码时使用原句说话人与环境嵌入。嗓音组件负责音色匹配，白话来说语音克隆就是让合成器模仿原句说话人音色，通用嗓音就是用工具自带陌生男女声。语境组件负责韵律匹配，孤立词合成只给目标词，带句合成则让目标词在句子韵律中生成。

3 个组件搭配的理由是：音色不对会让人一耳听出换了人，韵律不对会让人听出换了句读，边界不连续会让人听出剪辑痕迹。

神经编解码器 × 离散单元： 神经编解码器分工是把波形压缩为紧凑表示再解码回波形，离散单元分工是提供可替换的中间符号序列，搭配理由是波形剪贴会在边界留下不连续，而在离散单元层面替换对应段再统一解码可让解码器重建连续声学轨迹，组合新增作用是把插入从波形拼接变为符号替换加整体重建。

语音克隆 × 通用嗓音： 语音克隆分工是以待改原句为参考合成同音色替换词，通用嗓音分工是用合成工具自带陌生说话人声音合成替换词，搭配理由是前者音色接近上下文但可能带入克隆痕迹，后者音质稳定但音色可能跳变，组合意义是分离音色一致性与合成器自身质量对插入效果的影响。

孤立词合成 × 带句上下文合成： 孤立词合成分工是只给目标词文本生成干净片段，带句上下文合成分工是把目标词放在短句或原句中生成后再切出目标段，搭配理由是韵律依赖左右语境而切分干净度依赖边界可控性，组合意义是检验韵律连贯与切分干净之间的取舍。

自然度 × 信号质量： 自然度分工是评价听感上是否像真人完整句子，信号质量分工是评价失真噪声混响等物理层面是否干净，搭配理由是失真小的拼接仍可能因韵律跳变而不自然，而自然的句子也可能带有可测失真，组合意义是要求同时报告自然度可懂度与信号质量而不只看一类指标。

本研究训练了什么，没有训练什么？

这是一个需要如实交代的部分，以免初学者误以为所有模型都是作者训练的。本研究没有训练新的语音合成模型，也没有训练新的神经编解码器。实际调用的是已有模型与工具：编解码器方面使用在英语朗读语料上训练过的已有小模型与多语言实现的已有编解码器，合成方面使用支持多语言零样本克隆的现成合成模型。

所谓零样本在这里指推理时只提供参考音频即可模仿音色，不需要提供该参考音频的文字转写。研究中真正执行的新计算是插入与评估流程：按条件生成替换词、执行波形或单元层面替换、用编解码器重建、截取评分片段并计算自动指标，再做统计检验。因此复现时不应寻找本文的训练代码，而应准备相同的推理流水线与评估窗口。

原文未报告合成器与编解码器的梯度路径、参数冻结或微调细节，也未报告训练超参数，因为这些模型是作为固定工具调用的。对于其中一种编解码器，原文明确说明每次使用都以原句说话人与环境嵌入作为解码条件，这是复现时必须保留的信息条件，不能换成随机嵌入或通用嵌入，否则自然度结论可能不再成立。

两组实验的语料条件与统计方法如何对齐？

实验按研究问题分成两大块，每块内部条件保持一致以便比较。第一大块研究插入技术，使用英语朗读与表演语料中的中性情感句子作为原句，替换词使用自然录制的英语孤立词，这样可以排除合成痕迹对插入比较的干扰。第二大块研究替换词嗓音与合成语境，使用法语自发风格的新闻与访谈句子作为原句，替换词用合成系统生成，词表限定为与目标同类的人名地址地点或年龄词。

评估片段统一为替换词加左右上下文，指标统一为自然度可懂度与信号质量 3 类，计算时使用同一评估工具包的滑动窗口。第一大块用非参数重复测量检验加事后比较，因为同一批句子在多个插入条件下重复测量，第二大块用带被试随机效应的有序逻辑混合回归，并用似然比检验判断嗓音与语境主效应与交互，再做多重比较校正。

下表提出一个可核对的比较问题：在语言与风格不同的两组实验中，原句数量性别构成与评分片段是否一致，编解码器配置是否明确，只有这些对齐才能把后续差异归因于插入方法而非语料差异，表中信号窗口与模型配置方向为越明确越好复现。

表后需要解释主要收益与具体代价。把自然词与合成词分开两批实验的好处是前者能干净比较插入技术，后者能专门比较合成策略，代价是两批实验语言风格与说话人都不相同，因此不能把第一批中编解码器优劣数值直接搬到第二批合成结论上。另一个代价是人工标注目标词位置，自动检测敏感词误差尚未纳入评估，所以当前结论只适用于位置已知时的插入质量。未胜出的边界是直接波形粘贴，它在后续结果中自然度与信号质量均不占优，但它仍是理解其他条件改进幅度的必要基线。

插入技术比较测了什么，谁在什么指标上占优？

第一大块包含多个子实验，分别比较含一种编解码器的多种处理、含另一种编解码器的多种处理，以及两种编解码器之间的直接比较。条件缩写需要先固定：直接粘贴、带平滑粘贴、粘贴后经编解码器整体解码、以及在离散单元层面替换后解码。测的是同一批句子在不同插入条件下的自然度可懂度与信号质量，指标方向是自然度越高越自然，伪造感越低越好，可懂度与信号质量越高越好。

报告显示，直接在信号上修改的条件的伪造感更明显，而经过神经编解码器的条件在信号质量上更高。在两种编解码器内部，一侧的可懂度更高，另一侧的自然度更高。两种编解码器直接比较时，带原句嵌入的一侧自然度占优，另一侧在可懂度与部分信号质量指标上占优。原文把前者自然度优势解释为它可以在解码时利用原句说话人与环境特征，而后者没有这一机制，但这属于有限解释而非因果证明。

以下导读帮助建立图一的阅读顺序，该图覆盖直接粘贴带平滑粘贴以及两种编解码器各自的整体解码与单元替换条件，纵轴为归一化后的指标值，颜色区分伪造感信号质量与可懂度，观察重点是分布位置与离散程度而非单个精确数值。

看图路径： 1. 先按横轴确认从直接粘贴到两种编解码器重建的六个条件排列；2. 再按图例区分伪造感与信号质量可懂度三组箱体颜色；3. 对比直接粘贴条件下伪造感箱体与另两组箱体的相对高低；4. 观察经编解码器重建后箱体是否更集中及离群点位置

论文图 1。原论文 Figure 1：“Distribution des scores des mesures DF, PESQ et STOI par condition de remplacement de mots dans un signal de parole.”。

图后解释可见内容。直接粘贴条件的伪造感箱体位置明显偏高且分布较宽，说明剪贴痕迹较重且句间差异大。经过编解码器重建后，伪造感箱体整体下移，信号质量与可懂度箱体上移且更集中，说明重建带来了更一致的听感。两种编解码器的单元替换条件在可懂度上都保持在较高位置，但在伪造感上仍有少量离群点，提示个别句子即使经过重建仍可能被判为不自然。像素不能精确读出具体数值，因此不硬写箱线数值，统计显著性以正文报告为准。

下表回答插入技术是否值得经过编解码器，公平条件是同一批英语原句与同一批自然替换词，只改变插入路径，指标方向为伪造感越低越好其余越高越好，表中显著性标记数值含义保留原文阈值写法。

表后补充代价与反例。编解码器路径的代价是引入有损重建，个别句子可能出现可懂度波动，且需要额外编码解码计算。未胜出项是带平滑的直接粘贴，它虽比不平滑粘贴有所改善，但仍不及编解码器路径。另一个限制是本块使用自然替换词，因此结论不能直接推广到合成替换词场景，合成痕迹与插入痕迹的交互需要第二大块回答。

换嗓音与换合成语境，哪些组合真正改变结果？

第二大块包含 3 个子实验，变量是嗓音与合成语境。嗓音有两个水平：克隆原句音色与通用陌生嗓音，后者按原句性别选择对应性别。语境有 3 个水平：孤立词、放在自编短句中合成、放在与原句相同的上下文中合成。前两个子实验分别比较孤立词与一种带句语境，第 3 个子实验比较两种带句语境之间是否有差异。所有修改统一用同一种编解码器完成，且解码时使用原句说话人与环境特征。

报告显示，通用嗓音在多个信号质量指标上更高，而克隆嗓音在伪造感指标上有优势，原文推测是因为克隆嗓音与插入上下文更接近。语境影响较小但并非没有：孤立词合成的替换词在部分信号质量指标上高于带句合成，而带句合成在伪造感上更明显。两种带句语境之间总体差异不显著，只在个别信号质量指标上原句上下文占优。

以下导读帮助建立图二的阅读顺序，该图横轴为 3 种合成语境，颜色区分克隆与通用嗓音，纵轴为归一化指标值并按指标分面，观察重点是同语境下两色箱体相对高低以及跨语境中位数移动。

看图路径： 1. 先按顶部三个分面确认伪造感信号质量与可懂度指标；2. 再在每种语境下对比克隆嗓音与通用嗓音两组箱体高低；3. 注意从孤立词到两种带句语境中位数移动方向；4. 观察离群点数量判断哪种组合更不稳定

论文图 2。原论文 Figure 2：“Distribution des scores des mesures DF, PESQ et STOI par condition de voix et contexte de synthèse.”。

图后解释可见内容。伪造感分面箱体整体偏低，说明在编解码器重建下插入痕迹已较小，但自编短句与原句语境下克隆嗓音分布更宽且离群点更多，提示带句合成的切分与韵律变化引入了额外不稳定性。信号质量分面中通用嗓音箱体中位数多高于克隆嗓音，且孤立词语境箱体相对更高，与正文报告的通用嗓音与孤立词在信号质量上占优一致。可懂度分面整体偏高且集中，说明替换词基本可听辨，只有孤立词克隆条件出现少数低值离群点。

下表回答合成替换词时应优先保自然度还是保信号质量，公平条件是同一批法语原句与同一编解码器重建流程，只改变嗓音与合成语境，指标方向与前表一致，表中工具与解码条件保留原文信息。

表后强调适用条件与代价。若匿名化场景更在意听者不感到别扭，应按报告选择克隆嗓音与原句语境，若下游更在意波形干净度，则选择通用嗓音与孤立词。未评测边界包括不同性别与年龄组合下的稳定性，以及长句与嘈杂环境下的表现，这些在当前自动指标中均未单独报告。

自动指标与人工标注带来哪些未验证环节？

首先是评估方式的局限。全部结论依赖自动的自然度可懂度与信号质量指标，原文在结尾明确指出需要后续主观听音实验来权衡，因为自动指标的已知局限可能使排序与人耳感受不一致。伪造感指标低不等于人听起来自然，信号质量高也不等于韵律合适，因此不能把自动指标当作人评。

其次是任务链条的不完整。目标词位置是人工标出的，敏感词自动识别的误差误检与漏检均未纳入，匿名化程度本身也未被量化评估，所以当前结果只说明位置已知时插得好不好，没有说明端到端匿名化是否成功。再次是语料与工具的边界。前半用英语朗读表演句加自然词，后半用法语自发新闻句加合成词，语言风格与替换词来源同时变化，跨块比较需谨慎。

编解码器与合成器均为固定调用，其版本采样率与嵌入提取细节若改变，结论可能移动。最后是伦理边界。原文强调最终呈现应让人感知到做过匿名化处理，但不应产生以假乱真的伪造效果，这一要求在自动指标中没有直接对应，需要主观实验与明确的呈现设计来落实。

要复现比较，先准备什么，再按什么顺序跑？

复现的第一步是准备数据与标注。按原文收集对应语料的子集并记录性别构成与语言风格，对每句人工标出目标词起止，并准备同类替换词文本。替换词文本应与目标同属人名地点或年龄等类别，以避免语义突兀干扰自然度判断。原句数量与性别构成应与原文一致，前半为英语句，后半为法语句。

第二步是固定合成与编解码条件。合成统一用同一多语言克隆模型，克隆条件用原句音频，通用条件按性别选择固定陌生声，合成语境分别做孤立词、自编短句与原句上下文 3 个版本，带句版本需记录切词边界。编解码统一用同一小模型与同一多语言实现，解码必须传入原句说话人与环境嵌入。平滑长度取采样率的 1/3，评分窗口取替换词加左右 400 毫秒。

第三步是执行插入。先跑直接粘贴与带平滑粘贴作为基线，再跑整体编解码与单元替换 2 条编解码路径，确保同一原句与同一替换词在各条件下配对出现。第四步是评估。对评分片段用同一工具包滑动窗口计算 3 类指标，再按原文统计流程做配对检验与混合回归。资源状态方面，本次收到的证据中没有完成网络可达验证的开源资源，因此不能声称代码模型或数据当前已公开，复现者需自行确认工具版本与下载地址。

何时值得尝试这套做法，还缺哪项验证？

当任务是保留原说话人音色但替换敏感词内容，且目标词位置已知或可用可靠标注得到时，这套做法值得尝试。优先顺序是先用编解码器路径代替直接粘贴，因为报告显示它在信号质量与伪造感上更优，再在编解码器中按目标取舍，若更在意自然度则倾向带原句嵌入的编解码器与克隆嗓音加原句语境，若更在意信号质量则倾向通用嗓音与孤立词。

需要补的验证至少有三项：带自动检测误差的端到端评估、主观自然度与可察觉处理痕迹的听音实验、以及匿名化程度是否达标的独立度量。只有在这些补齐后，才能判断该方法是否真正满足语音内容匿名化的实际要求，而不只是让替换点在自动指标上更好看。初学者复述时应区分论文直接报告、有限解释与未验证推测，报告用词为显示与优于，机制解释用可能与待验证，避免把相关性说成因果。

📐 原文公式与排版

以下展示论文原页中的数学表达区域，保留原始上下标、分式和符号排版。区域序号仅用于本文导航，不是论文公式编号。

另有 12 个候选区域因边界不明确或图片数量、尺寸限制未展开；请查看完整论文中的原始排版。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 jep-2026 论文汇总