听不清电话时在听者端重建语音：Coco-VC 的鲁棒流式转换

英文题目：Coco-VC: Degradation-Robust Streaming Voice Conversion System on the Listener Side

会议身份：conference:interspeech:2026:conference-paper-id:kato26_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#知识蒸馏 #鲁棒性 #流式处理 #语音转换

评分：6.2/10 | 创新 1.2/2 | 技术严谨 1.2/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.2/1.5

排名：前50% | 文档类型：系统技术报告

👥 作者与机构

• Ryo Kato：机构信息未能从会议 PDF 纯文本可靠映射
• Ryutaro Matsunaga：机构信息未能从会议 PDF 纯文本可靠映射
• Toshio Imamura：机构信息未能从会议 PDF 纯文本可靠映射
• Akinori Maeda：机构信息未能从会议 PDF 纯文本可靠映射
• Shuhei Takahara：机构信息未能从会议 PDF 纯文本可靠映射
• Shinnosuke Takamichi：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

听者侧流式语音转换需将8 kHz重度退化电话语音实时转为清晰目标音色语音，难点在于编解码伪影、信号失真、混响与加性噪声相互叠加，且说话人音色与退化条件均不可预知。第一步由冻结的ContentVec与Whisper双教师在16 kHz干净语音上提取并融合说话人无关韵律特征与鲁棒语言特征，形成理想目标表示。第二步因果ConvNeXt学生编码器以20 ms帧为单位处理经电话退化流水线动态损坏的8 kHz输入，直接预测上述融合特征，使其输出在进入下一步之前已同时完成语音增强与内容解耦。第三步轻量Vocos解码器将学生特征合成为目标说话人波形，相较沿用单自监督教师的StreamVC编码器，双教师蒸馏与非对称干净教师加退化学生的训练赋予了更强的可懂度保持能力与低延迟可部署性。在模拟噪声电话FLEURS-8k评测设置下，Coco-VC的WER为0.338，低于StreamVC的WER 0.451。在干净VCTK语音条件下其主观质量优势更为明显，而可懂度略有回落，体现了严重噪声下优先保可懂度的权衡。该结论适用边界限于公开仿真与作者自建投诉电话仿真，尚未验证真实通话、多语言与丢包条件下的泛化能力。部署方面该原型在消费级笔记本上实现约80 ms端到端延迟，算法延迟恒定为40 ms，满足实时通话的硬件与延迟要求。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，本文要解决哪种听不清？

本文的输入是电话另一端到达听者时的语音。论文把这种输入拆成 3 类退化同时发生。第一类是说话人自身因素，例如音色本身不易懂，说话人却无法知道对方听到的清晰度。第二类是声学环境因素，例如噪声和混响。第 3 类是通信因素，例如带限和语音编解码器伪影。

目标是在听者一侧实时把这路退化语音转换成清晰自然的目标说话人语音，而不是要求说话人换设备或换说话方式。 必须保留的关键信息是部署位置、实时性和鲁棒性三者绑定。部署位置是听者端，意味着输入不可控且不能让说话人配合。实时性是流式处理，意味着不能等待整句结束再转换。鲁棒性是电话退化不变，意味着同一套内容编码要在干净和严重退化下都保住语言内容。

输出是本文自研的 Coco-VC 系统加一个可在普通笔记本上运行的交互演示，评价同时看可懂度和预测主观质量。

听者端语音转换 × 说话人端语音转换： 说话人端语音转换分工是说话人主动优化录音环境和说话方式再变换自己的声音，搭配理由是输入质量可控；听者端语音转换分工是听者按自己的偏好和需求被动接收并变换对方声音，搭配理由是说话人无法感知到达听者时的清晰度；组合意义在于本文把传统可控输入的假设去掉，明确要求系统在不可控退化输入下仍能流式输出目标音色。

对于刚入门的读者，可以把任务想象成一个具体动作。假设你戴着耳机接听投诉电话，对方在街边用手机说话，背景有车声，线路又有压缩失真。你不能喊对方重录，只能在自己这台电脑上实时把声音变清楚并换成一个更易懂的音色，同时延迟要足够低以维持对话。这就是本文定义的听者端流式语音转换。教学例子仅用于理解任务形态，不代表论文给出该街景的具体数值效果。

论文明确声明没有公开可验证的代码、模型或数据资源。本次收到的资源状态中没有任何完成超文本传输安全协议状态验证的资源，因此解读中不得声称代码、模型或数据已公开或当前可用。所有事实只回到论文正文证据核对，复现部分只能讲论文写明的条件和操作，不能补充下载链接。

同输入同目标下，已有流式转换缺少哪一块？

论文把对照对象定为已有的流式语音转换系统，代表是 StreamVC。比较的公平条件在正文中写得很具体，两者使用完全相同的 StreamVC 解码器，只比较编码器部分。这样做的目的是把合成后端的差异排除掉，单独检验谁的内容表示更能抵抗电话退化。这是一种同运行阶段、同目标、同解码条件下的对照，不是把非流式大模型直接拿来比延迟。 传统说话人端转换属于另一条路线。

它的输入假设是说话人可以优化录音环境和说话风格，系统重点是变换音色本身。Coco-VC 与它的输入假设不同，目标也不同，前者要求在听者端处理不可控退化，后者假设输入相对干净可控。因此不能把两类系统的质量分数直接当成同条件胜负，只能说本文补的是听者端强退化这一块。 评价工具方面，论文使用词错误率衡量可懂度，数值越低越好，使用 UT-MOS 作为自动预测的主观质量，数值越高越好。UT-MOS 是东京大学相关团队面向语音质量挑战的系统，不是人工听音测试。

这一点很重要，后文看到 UT-MOS 高低时只能当作自动指标的变化，不能直接说成人耳偏好得到同等改善。

为什么听者端电话转换必须同时满足流式与抗退化？

电话对话的困难在于信息不对称。说话人不知道自己的声音到达听者时已经变模糊，听者却必须实时理解并回应。如果系统只做非流式的整句增强或离线转换，对话就会被打断。如果系统只做流式但不抗退化，编码器会把噪声和失真当成内容传给解码器，输出仍然含糊。论文因此把问题写成在听者侧控制的流式转换，要求一边抵抗电话特有退化，一边无缝输出期望目标音色。 下面这张场景图把输入到输出的主路径画了出来，阅读时先看退化从哪里加入，再看转换模块放在哪一侧。

看图路径： 1. 先从左侧说话人找到噪声混响与不可懂音色两个输入退化标注；2. 再沿中间电话网络的带限与编码标注看到传输退化位置；3. 最后看右侧听者端流式转换模块如何输出可懂语音

论文图 2。原论文 Figure 1：“Scenario of streaming VC we consider.”。

从像素可见，左侧是拿着电话的说话人，红色标注指向噪声与混响以及不易懂的音色，中间是电话网络建筑图标，红色标注指向带限与语音编解码，右侧是听者端的流式转换方块，蓝色标注指向可懂语音并输出给使用笔记本的听者。下方还写明听者端控制。这个布局直接对应论文的部署主张，转换不放在说话人手机上，而是放在听者电脑上，输入是已经过 2 次污染的语音，输出是重建后的可懂语音。图本身不给出任何数值，只是任务定义的视觉版本，后续方法都要回答如何让中间方块在流式约束下做到这一点。

Coco-VC 让一个样本走完输入到输出经历了什么？

先沿一个样本走完全程。假设一段干净 16 kHz 语音先被电话退化管线损坏成 8 kHz 退化语音，内容是同一句话，但叠加了编解码伪影、失真、混响和噪声。学生侧的内容编码器读入这段退化语音，输出一个轻量内容表示。同时基频估计器提取韵律，目标说话人编号经过说话人编码器得到音色表示。三者进入轻量声码器解码器，合成干净的目标说话人波形。

训练时另有一条教师路径，冻结的教师模型读入未损坏的干净 16 kHz 语音，输出理想融合特征，学生用双头投影去预测这些目标。推理时教师路径不再运行，只有学生编码加解码在笔记本上流式执行。 下面这张结构图是理解上述两条路径的关键，阅读时注意冻结标记、退化箭头和蒸馏箭头的方向。

看图路径： 1. 先对比上支干净语音进冻结教师与下支退化语音进学生编码器的两条路径；2. 再看中间双头投影输出的两路预测与教师目标之间的蒸馏箭头；3. 最后跟踪下支内容编码器加基频与说话人编码器进入解码器的合成路径

论文图 3。原论文 Figure 3：“3”。

从像素可见，顶部是高质量语音同时进入 ContentVec 和 Whisper 编码器，两处都有冻结雪花标记，输出分别是内容特征与语言特征并汇成融合目标。中间蓝色箭头标明电话退化，把高质量语音变成退化语音。底部退化语音进入内容编码器与基频估计器，目标说话人编号进入说话人编码器，内容表示经过双头投影得到两路预测，向上与教师目标做多教师蒸馏，同时向下与韵律和音色一起进入解码器输出转换语音。

图中解码器只有一个方块，说明合成后端保持轻量，鲁棒性的学习压力主要放在编码器。原文未给出蒸馏损失的具体公式与权重，因此解读不猜损失形式，只讲监督来源与数据流向。 计算约束方面，学生内容编码器由因果 ConvNeXt 块构成，采用零前视填充，处理 20 毫秒帧，基础算法延迟为 20 毫秒，再加上交叠相加处理，总算法延迟为 40 毫秒。这是算法层面的固有延迟，不等于端到端通话延迟，端到端还包含操作系统音频缓冲等开销，后文部署部分会区分这两层。

编码器、教师与解码器各自负责什么计算？

学生内容编码器是核心可训练部件。它的输入是重度退化的 8 kHz 语音，输出是供解码器使用的内容表示。论文强调轻量与因果，意思是每 1 帧只能用当前及过去信息，不能偷看未来，这样才能做流式。零前视填充是实现因果的具体操作，交叠相加是为减少帧边界伪影而付出的额外延迟来源。初学者可以把编码器理解成在噪声中听写关键词的人，它不需要记住说话人是谁，只需要保住说了什么和大致韵律。

内容编码器 × 声码器解码器： 内容编码器分工是从退化语音中提取与说话人无关的内容与韵律表示，声码器解码器分工是把该表示与目标说话人信息合成波形，搭配理由是把退化不变性集中在编码器解决、把音色重建集中在解码器解决，组合意义是编码器可用蒸馏和增强独立优化而不必改动已验证的流式合成路径。

教师侧由两个互补模型组成。ContentVec 擅长提取与说话人无关的韵律信息，Whisper 编码器提供在大规模数据上训练出的鲁棒语言特征。论文明确指出依赖单一自监督模型会因教师偏置限制转换质量，因此用双教师融合。学生通过双头投影分别预测两路教师特征，这就是多教师蒸馏在本文的落地形态。需要注意，论文只说明教师参数冻结、学生预测干净融合特征，没有报告投影层维度、融合拼接方式或损失权重，这些缺项在复现时必须标为未知，不能从模型名字推定。

ContentVec × Whisper 编码器： ContentVec 分工是提供说话人无关的韵律与内容信息，Whisper 编码器分工是提供在大规模数据上训练出的鲁棒语言特征，搭配理由是单一自监督教师有固有偏置而两者互补，组合意义是轻量学生同时拟合两路干净目标从而获得接近大规模非流式模型的内容保真度。

解码器是基于 Vocos 的轻量结构，在大规模域内数据上训练，负责把内容、基频与目标说话人信息合成波形。论文在公开集对照中固定解码器为 StreamVC 解码器，说明主结果的差异来自编码器。基频估计器与说话人编码器在图中出现，其中基频估计器标为冻结，目标说话人编号作为外部输入。原文未说明说话人编码器是否更新、基频在强噪声下如何保持稳定，也未给出梯度路径细节，因此只能讲清数据流向，不能断言哪部分参数参与了反向传播。

不对称输入如何同时训练增强与特征提取？

训练的安排理由是缩小理想训练数据与真实远场电话语音之间的差距。具体动作是不对称输入。冻结的教师模型始终处理干净 16 kHz 语音，提取理想目标特征。学生模型始终处理重度退化的 8 kHz 语音，输入在训练中动态损坏，管线模拟编解码器伪影、信号失真、混响和噪声。学生要从损坏输入预测干净融合特征，因此 1 次前向同时完成增强与特征提取。论文把这种学到的表示称为对严重声学环境不变的鲁棒表示。

电话退化增强 × 多教师蒸馏： 电话退化增强分工是动态构造编解码器伪影、信号失真、混响和噪声的 8 kHz 损坏输入，多教师蒸馏分工是提供由干净 16 kHz 语音提取的理想融合目标，搭配理由是用不对称输入迫使学生从损坏预测干净，组合意义是学生同时承担语音增强与特征提取，学到对严重声学环境不变的表示。

从学习依赖看，学生先看到损坏，教师先看到干净，监督信号来自教师的干净表示，而不是人工标注的文本。这种做法的好处是不需要逐帧的干净波形重建目标，也不需要转录文本，适合大规模电话数据。但代价是学生上限受教师质量约束，如果教师在某些口音或极低信噪比下本身出错，学生会继承这些错误。

论文没有报告教师在电话数据上的单独错误率，也没有给出增强管线中各类退化的采样概率与强度范围，复现时只能按类别实现管线，不能复刻原文未公开的具体参数。 数据规模方面，论文对比了仅用 960 小时公开数据训练的变体与用 61840 小时域内私有数据训练的模型。训练硬件、优化器、学习率、批量大小与训练步数在本次证据中均未报告，因此训练成本无法核算。

只能确定的是域内数据量相差约两个数量级，这是后文私有集上词错误率大幅下降的重要背景，但不能把全部增益归因于蒸馏结构，因为数据域与数据量同时变化。

在什么数据、什么条件下测可懂度和质量？

论文采用两步验证。第一步是在公开集上做结构基准，第二步是在私有集上验证真实鲁棒性。公开集包括 FLEURS-8k 与 VCTK，前者用于模拟含噪电话，后者用于干净语音。私有集是模拟投诉电话的真实电话环境数据，用于检验域内训练的效果。这种先公开后私有的顺序对初学者很关键，公开集保证可比性，私有集保证实用性，但私有集无法被外部复现，只能看论文报告的条件是否一致。

指标方向必须先固定。词错误率越低表示可懂度越好，UT-MOS 越高表示自动预测质量越好。基线是 StreamVC，且在公开集上两者共用相同的 StreamVC 解码器，因此编码器是唯一变量。论文没有报告统计显著性、多次运行方差或人工听音，也没有报告误判率与实时因子之外的计算开销，阅读结果时要把结论限定在已报告的自动指标上。 部署条件单独报告。

演示在消费级笔记本上本地运行，例如苹果 M2 笔记本仅用中央处理器时端到端延迟约为 80 毫秒，在集成图形处理器的视窗笔记本上为 160 毫秒，差异主要来自操作系统音频栈缓冲，而核心算法延迟保持 40 毫秒不变。目标说话人可在流中途无中断切换，演示流程包括先听原始退化语音建立基线，再实时打开转换做直接对比，最后由参观者自己对麦克风说话并叠加人工电话退化。这些是可操作的复现条件，但具体音频驱动缓冲大小与测试语料未公开。

公开集上可懂度提升了多少，听感付出了什么？

比较问题是，在解码器相同的公平条件下，新的编码器是否在模拟电话上保住更多内容，以及在干净语音上是否保持自然度。指标方向是词错误率越低越好，UT-MOS 越高越好。下表把论文正文连续句子中实际出现的数字整理成可核对的形式，条件分为模拟含噪电话与干净语音两类。

词错误率 × UT-MOS： 词错误率分工是衡量转换后语音的可懂度，数值越低越好，UT-MOS 分工是自动预测的主观质量分，数值越高越好，搭配理由是可懂与自然度在强噪声下可能背离，组合意义是本文同时报告两者以区分保内容能力和保听感能力，避免用单一指标断言全面占优。

表后解释需要同时讲收益与代价。在 FLEURS-8k 模拟电话上，Coco-VC 的词错误率从 0.451 降到 0.338，论文描述为相对降低约 25%，支持编码器在严重噪声下保留可懂度的判断。但同一条件下的 UT-MOS 从 3.271 降到 3.214，略低于基线，这是一个未胜出项，说明保内容与保听感在此处背离，不能说全面占优。在 VCTK 干净语音上，Coco-VC 的 UT-MOS 从 3.701 升到 4.041，支持其在干净条件下合成质量更好的判断。论文未在正文连续句子中给出 VCTK 的词错误率对比，因此上表不列该行，避免为凑完整而引入无逐字证据的数字。总体趋势是退化越重，可懂度增益越明显，但自动质量分不一定同步提升。

把公开数据换成大规模域内数据会发生什么？

比较问题是，结构相同但训练数据域与规模不同时，真实投诉电话模拟下的鲁棒性差多少。公平条件是两者都是 Coco-VC 管线，区别在于一个仅用 960 小时公开数据，另一个用 61840 小时域内私有数据。下表只使用正文连续原句逐字覆盖的数字，缺失项明确标为未在连续正文中给出，不自行填补。

表后解释要区分数据效应与结构效应。

域内大规模模型的词错误率从 0.363 降到 0.125，论文描述为绝对降低约 23.8 个百分点，同时 UT-MOS 达到 3.35，支持域感知训练管线对真实电话环境必不可少的判断。但这不是消融蒸馏中某一路教师的对照，因为数据域和数据量同时变化，不能把增益全部归因于多教师设计。未评测边界也很清楚，私有集无法外部获取，论文也未报告公开数据变体在该集上的 UT-MOS 连续句子值，因此不能推断听感差距的具体大小。

另一个限制是训练成本与数据构造细节缺失，61840 小时的清洗、标注与增强开销未知，小团队即使理解方法也难以复刻同等规模。

哪些结论论文没有测，不能跟着推广？

首先是评价维度的缺失。论文只报告词错误率与 UT-MOS 自动指标，没有人工听音、说话人相似度、误触发率或长时间对话的稳定性测量。因此不能把 UT-MOS 的提升等同于人耳偏好提升，也不能承诺目标说话人一致性得到改善。特别是在 FLEURS-8k 上出现的 UT-MOS 略降，必须保留为反例，说明在严重噪声下可懂度与预测质量可能反向变化。 其次是公平性与泛化边界。

公开集对照固定了解码器，这对验证编码器是优点，但对部署选型是限制，因为实际系统是编码器加解码器整体运行，更换解码器后的相对排序未知。私有集结果依赖不可公开的 61840 小时域内数据，外部无法验证同一管线在其他电话网络或方言上的表现。延迟方面，40 毫秒是算法延迟，80 毫秒与 160 毫秒是特定笔记本与操作系统音频栈下的端到端延迟，换设备、换驱动缓冲或叠加网络抖动后数字会变，不能把某台 M2 的结果推广为所有笔记本都达标。 最后是方法细节的缺项。

蒸馏损失形式与权重、增强管线中噪声与混响的参数分布、优化器与训练预算、基频在极低信噪比下的鲁棒措施均未在证据中报告。这些缺失不是技术错误，但意味着复现时只能实现框架级流程，无法逐参数对齐。任何关于拿掉某一路教师必然怎样的说法都属于无源推测，不应写入复述方法的技术文档。

要复现演示与评价，先做什么、用什么条件？

复现演示先做可运行链路，而不是先调大规模训练。按论文写明的动作，第一步准备一台消费级笔记本，苹果 M2 仅用中央处理器或带集成图形处理器的视窗笔记本均可，记录操作系统音频缓冲设置，因为它是 80 毫秒与 160 毫秒差异的主要来源。第二步实现流式链路，内容编码器按 20 毫秒帧、零前视、交叠相加后总算法延迟 40 毫秒运行，后接轻量解码器，外部输入目标说话人编号与基频，输出直接送扬声器。

第三步按 3 段式交互验证，先播放原始退化电话语音建立未处理基线，再实时打开转换做直接对比，最后让人对麦克风说话并人工叠加电话退化，检验中途切换目标说话人是否无中断。 下面这张界面图是复现图形界面的直接依据，阅读时把每个控件对应到上述 3 段动作。

看图路径： 1. 先看界面中部的通话计时与波形指示确认实时通话状态；2. 再找到语音转换开关的关闭与开启两个可点击位置；3. 最后看底部转换模式选择条确认可中途切换目标说话人

论文图 1。原论文 Figure 2：“The standalone application GUI of Coco-VC. The in- terface provides intuitive controls for call management, an in- stant VC toggle, and conversion settings.”。

从像素可见，界面是电话通话风格的独立应用，顶部有流式状态与波形条，中间有绿色接听与红色挂断按钮并显示通话计时，下方有语音转换开关的关闭与开启滑块，底部有转换模式选择条与设置入口。论文称该界面提供通话管理、即时开关与转换设置，支持无缝切换设置。复现时应保留同一组控件，缺失任一控件都会导致 3 段式对比无法操作。图像不提供分辨率或颜色代码等额外参数，不要硬写像素级数值。

复现评价时，公开部分可用 FLEURS-8k 模拟含噪电话与 VCTK 干净语音，固定解码器为 StreamVC 解码器，只换编码器，指标用词错误率与 UT-MOS 并保持方向一致。私有投诉电话与 61840 小时域内数据无法复现，应明确标注为未验证部分。论文未声明代码与权重公开，本次也未验证任何可用链接，因此复现计划必须按自行实现编码器、教师冻结调用与增强管线来 budgeting，不能假设下载即运行。

何时值得尝试 Coco-VC，还需补哪项验证？

当任务同时满足 3 个条件时值得尝试。第一，输入在听者端不可控且包含电话带限、编解码、噪声与混响。第二，对话必须流式维持，算法延迟预算在数十毫秒量级。第三，听者更在意听懂内容而非完全保留原说话人音色，且可接受切换到预设目标音色。此时把鲁棒性放在编码器、用冻结双教师提供干净目标、用动态电话增强构造不对称输入，是一条可复述的路径。

还需要补的验证集中在论文未测量的地方。如果要用于客服或投诉等真实场景，应补充人工听音与可懂度测试，测量说话人相似度与长时间稳定性，并报告不同笔记本、不同操作系统缓冲与不同电话网络下的端到端延迟分布。还应补充真正的教师消融，例如只用 ContentVec 或只用 Whisper 时的词错误率与 UT-MOS 变化，才能把数据规模效应与结构效应分开。只有补齐这些，才能把当前自动指标上的增益转化为可部署的可靠性承诺。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总