英文题目：Privacy-Preserving End-to-End Full-Duplex Speech Dialogue Models
会议身份：
conference:interspeech:2026:conference-paper-id:kuzmin26b_interspeech
来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。
标签：#向量量化 #隐私保护 #流式处理 #说话人匿名化 #全双工语音交互
评分：7.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.0/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 1.0/1.5 | 可复现 0.1/0.5 | 工程/实践 1.0/1.5
排名：前25% | 文档类型：方法研究
👥 作者与机构
- Nikita Kuzmin：机构信息未能从会议 PDF 纯文本可靠映射
- Tao Zhong：机构信息未能从会议 PDF 纯文本可靠映射
- Jiajun Deng：机构信息未能从会议 PDF 纯文本可靠映射
- Yingke Zhu：机构信息未能从会议 PDF 纯文本可靠映射
- Tristan Tsoi：机构信息未能从会议 PDF 纯文本可靠映射
- Tianxiang Cao：机构信息未能从会议 PDF 纯文本可靠映射
- Simon Lui：机构信息未能从会议 PDF 纯文本可靠映射
- Kong Aik Lee：机构信息未能从会议 PDF 纯文本可靠映射
- Eng Siong Chng：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
端到端全双工语音对话模型以常开大语言模型骨干持续消费用户音频流并直接生成语音回应，其输出需兼顾语义连贯与低延迟打断响应，而跨轮次常驻的用户流隐藏状态可能沉淀可链接的说话人身份，构成合规与隐私难点。为量化该风险，论文第一步从Moshi三十二层与重实现SALM-Duplex二十层中抽取用户流早中晚三层及全层平均池化表示，保留时序结构供探针使用。第二步在LibriSpeech训练数据上为两模型分别训练ECAPA-TDNN说话人验证探针，遵循VoicePrivacy 2024懒惰知情攻击者协议以上一步隐藏状态为输入报告等错误率与可链接性，并做层间与轮次长度分析定位泄露累积规律。第三步将Stream-Voice-Anon以两种方式接入对话链路，波形级Anon-W2W在连续编码器前先净化输入波形而不改动原模型，特征级Anon-W2F则以匿名离散编码器替换连续编码器并微调大语言模型以省去波形合成冗余。相比已有高保真重建离散编码器保留丰富声纹的做法，该前端净化与编码器替换在进入骨干前即剥离说话人特征，使深层语义抽象与匿名化分工衔接并保持流式实时性。在VoicePrivacy 2024评测集上SALM-Duplex离散基线等错误率为11.2%，特征级匿名化提升至41.0%，接近50%随机上限，Moshi离散基线6.4%经波形级提升至36.9%。结论限于朗读语音与ECAPA这类较弱攻击者，未验证自发对话、强攻击者与言语自然度损失，训练超参数与硬件成本原文未披露。
🔗 开源与复现资源
- 代码相关资源：https://github.com/Plachtaa/StreamVoiceAnon — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么？为什么常开对话会带来新的隐私问题？
这篇论文的输入是端到端全双工语音对话模型的内部表示，目标是回答常开大语言模型隐状态是否足以重识别说话人，并在不破坏对话能力的前提下给出可流式部署的缓解方案。必须保留的信息包括审计对象是用户流对应的大语言模型每层隐状态而非最终音频，攻击者按 VoicePrivacy 2024 的懒惰知情设定训练说话人验证探针，隐私主指标是等错误率越高越好且 50% 为随机上限，辅助指标是可链接性越低越好，缓解方案是基于 Stream-Voice-Anon 的波形到波形与波形到特征两条路径。输出是一套可核对的泄露位置、随轮数累积规律、匿名前后隐私与质量与延迟对照，以及复现所需的模型、数据与评估条件。
端到端在这里是白话说的从用户麦克风波形直接进对话大语言模型再直接出智能体语音，中间没有把语音识别与对话管理与语音合成拆成各自独立的级联模块。全双工是白话说的双方可同时说话与打断，模型要一边听一边说并处理抢话。SALM-Duplex 与 Moshi 都是这类解码器大语言模型主干加双流音频建模的代表，区别主要在用户音频前端是连续嵌入还是离散 token。论文强调的风险在于主干为维持上下文会在整个对话期间保持持久隐状态，用户的音色与说话方式因此被反复编码，即使外部调用者不直接下载权重，只要能接触到表示就可能在内容无关的情况下确认是谁。
全双工语音对话 × 说话人身份泄露： 全双工语音对话负责同时监听用户流和生成智能体流并在解码器大语言模型中维持持续隐状态，说话人身份泄露负责描述该隐状态中可被说话人验证攻击者利用来重识别是谁在说话的信息，二者搭配的原因是常开建模把音色、口音和说话风格连续送入同一主干，即使对话内容变化身份线索仍被累积，组合意义在于把隐私审计对象从外部音频转向模型内部每层隐状态。
对刚入门的读者可以这样走一个样本：1 位用户说了第一轮请求，波形先被用户编码器变成嵌入或 token，再与智能体侧的静音或历史轮次标记交织送入对话主干，主干每层产生对应时刻的隐向量并继续生成智能体 token 与波形。审计者把这些隐向量按层取出并做时间池化后送给 ECAPA-TDNN 说话人验证器，验证器在注册与测试语音对上打分并计算等错误率。如果等错误率很低，说明隐状态保留了强身份可分性，这就是论文所说的泄露。教学例子仅为帮助理解流程，不代表论文报告了该单样本的具体分数。
已有路线研究了什么？本论文的审计位置有何不同？
已有路线可按同输入同目标来对照。第一条是端到端语音对话语言模型路线，从生成式口语语言模型直接建模离散语音单元，到双通道对话、交织语音文本、同步推理与低延迟常开运行，关注的是如何同时听与说。论文引用 SALM-Duplex、Moshi 与 SyncLLM 等工作说明架构已具备连续处理原始用户语音的能力，但这些工作没有从隐私角度审计大语言模型隐状态。
第二条是说话人匿名化路线，以 VoicePrivacy 挑战建立的等错误率评估与懒惰知情攻击者为基准，方法包括基于 x 向量、扰动、音素中间表示、神经音频编解码语言模型与解耦表示，流式扩展包括 Stream-Voice-Anon 等，论文选择 Stream-Voice-Anon 的理由是隐私与效用折中较好且代码当前可用。第三条是表示探测路线，从文本模型的分层探测方法到语音自监督模型的说话人探测，已知 wav2vec 2.0、HuBERT 与 WavLM 的中低层保留强说话人信息，文本大模型隐状态也被报告泄露人口统计与成员信息。
本论文的不同在于把探测对象从静态编码器搬到始终在线的对话主干。静态编码器只对孤立语音片段产生 1 次表示，而全双工主干的隐状态是随对话轮数连续计算并累积上下文的，因此需要同时做分层探测与按轮数累积分析。论文明确指出此前没有工作分析并缓解全双工大语言模型隐状态内部的说话人泄露，而此前匿名方法多工作在波形级，本文增加的特征域替换路径是为消除先合成波形再重编码的冗余步骤。相关性不等于因果，引用这些路线只是说明方法来源，不能直接推出匿名必然不损质量，实际代价要看本文的对照实验。
要测什么问题？攻击者知道什么、不知道什么？
论文要测的核心问题是给定用户流隐状态，攻击者能否以远好于随机的方式判断两段语音是否来自同一说话人。攻击者设定为懒惰知情，即知道系统使用了匿名但用与匿名后数据分布相同的配置重新训练验证器，超参数保持一致，仅按每个模型隐状态维度调整输入投影层。攻击者分别对 SALM-Duplex 与 Moshi 从零训练 ECAPA-TDNN 探针，而不是复用外部现成说话人验证模型，这样可以更直接反映当前隐状态的可分性。评估用 VoicePrivacy 2024 评估集，源自 LibriSpeech 的朗读语音而非自发对话，论文已说明这是标准化起点而非对话场景的完整代表。
隐私判断依赖 2 个方向一致的指标。等错误率越高表示攻击者越接近随机猜测，50% 为完全匿名上限。可链接性越低表示跨样本关联越弱，论文用 1 减可链接性作图使曲线越高越好。质量用语音到文本与语音到语音两种响应模式下的句子级 BLEU 与 BERT 语义相似度，越高越好。效率用实时倍率、首次响应延迟、轮次接管成功率、打断延迟与打断成功率，其中实时倍率为实时因子的倒数，大于 1 表示可实时运行。需要区分的是百分点变化与相对百分比变化不同，论文同时报告了从 6.4% 到 36.9% 这类绝对点数提升与超过 3.5 倍这类相对倍数，复述时不能混用。
方法全景：审计放在哪里？两条匿名支路如何接入？
论文的方法全景可以分为审计分支与缓解分支。审计分支保持对话模型不变，从对话大语言模型主干的用户流隐状态引出一条红色虚线到 ECAPA-TDNN 探针，分别取浅层、中间层、深层与跨层平均做说话人验证。缓解分支提供两种接入 Stream-Voice-Anon 的方式，一种不动原编码器只在波形前加匿名，另一种替换编码器并在特征域内匿名。主干本身仍做双流全双工建模，输入侧按轮次与静音标记交织用户与智能体历史，输出侧同时产生智能体 token 流与波形流并支持抢话回连。
下图是理解接入位置的关键，阅读时先走主路径再看顶部两条绿色支路如何替换特征抽取环节，最后确认红色审计线的位置没有随匿名改变，改变的是进入主干的表示是否已被匿名。
看图路径： 1. 先沿左侧用户流与智能体流箭头走到特征抽取再到全双工建模与对话大语言模型主干；2. 再看顶部绿色虚线框内 Anon-W2W 与 Anon-W2F 两条支路在用户编码器位置的替换差异；3. 最后看右侧红色隐私攻击探针虚线从隐状态引出的方向确认审计点在主干内部而非音频输出
论文图 2。原论文 Figure 2：“Overview of the original SALM-Duplex pipeline and proposed anonymization setups.”。
该图显示左侧用户波形与智能体波形分别经各自编码器得到用户嵌入与智能体嵌入，再经轮次标记组织后送入对话大语言模型主干的第 1 层到第 N 层并经智能体解码器输出。顶部左侧 Anon-W2W 把用户音频先经 Stream-Voice-Anon 得到保护音频再送入不变的用户编码器得到保护嵌入，顶部右侧 Anon-W2F 直接用 Stream-Voice-Anon 编码器替换原编码器得到保护嵌入从而省去中间波形合成。右侧红色隐私攻击探针从主干隐状态取信号，标注了说话人身份泄露风险。论文注明 Anon-W2F 在本文仅对 SALM-Duplex 实现并微调大语言模型，Moshi 侧仅评估 Anon-W2W，跨模型移植效果待验证，不能把 SALM-Duplex 的特征域结论直接推广到 Moshi。
组件如何分工？离散与连续前端决定了什么？
用户编码器是决定泄露上限的第一道门。离散编码器为高保真语音重构而训练，Moshi 原生使用残差向量量化音频编解码器，SALM-Duplex 变体则把连续前端换成基于 Firefly 架构的离散编码器，它们输出的 token 保留了丰富说话人信息。连续编码器是 SALM-Duplex 原始的语音识别初始化适配器，训练目标偏向语言内容而非说话人特征，因此天然丢弃一部分身份线索，但论文显示其隐私上限有限。进入主干后，早期层更接近声学细节，深层逐步抽象出语言与对话结构，这是分层探测的动机。
离散编码器 × 连续编码器： 离散编码器负责用残差向量量化或 Firefly 类重构型编码把用户音频变成高保真离散 token 并保留丰富说话人细节，连续编码器负责用语音识别初始化的适配器把音频变成侧重语言内容的连续嵌入而丢弃部分声学个性，二者搭配比较的原因是它们决定了进入对话主干前有多少身份信息，组合意义在于解释为何 Moshi 离散和 SALM-Duplex 离散变体泄露远大于 SALM-Duplex 连续原始版本。
匿名组件的分工差异在于是否产生中间波形。Anon-W2W 把 Stream-Voice-Anon 当作前置处理器，先合成匿名波形再交给原编码器重编码，优点是不改模型结构并可同时用于 SALM-Duplex 连续编码器与 Moshi 离散编码器，代价是多 1 次合成加编码。Anon-W2F 把 Stream-Voice-Anon 的匿名模块开在离散 token 表示上并替换 SALM-Duplex 连续前端，省去波形合成并通过在约 12k 小时多轮对话与 2.7k 小时问答混合数据上预训练再在 InstructS2S-200K 上微调来适配新前端，优点是隐私更强且推理更快，代价是需要结构修改与额外训练。
Anon-W2W × Anon-W2F： Anon-W2W 负责在原编码器之前把原始用户波形先经 Stream-Voice-Anon 合成一段匿名波形再重新编码，保留原模型结构但多 1 次合成加编码，Anon-W2F 负责直接用 Stream-Voice-Anon 的编码器替换连续前端并在离散特征域内完成匿名从而省去波形合成，二者搭配的原因是分别对应不改结构快速部署与改结构追求更强隐私，组合意义在于用同一匿名底座对比波形域与特征域两条可部署路径的隐私、质量与延迟代价。
沿一个样本走完 Anon-W2F 可以更清楚：用户波形进入 Stream-Voice-Anon 编码器直接得到已匿名的离散嵌入，不经过可听波形中间态，再与智能体侧嵌入一起送入对话主干逐层计算隐状态并生成回复。审计者仍从主干隐状态取信号，但此时信号源头的说话人可分性已被削弱。原文未给出匿名模块内部逐算子的梯度路径与参数冻结细节，因此不能从名称推定哪些权重在微调中更新，只能按报告说模型经预训练加微调适配了新前端。
训练与构造如何安排？哪些模型真正被训练过？
本研究的训练安排要分 3 类说明，避免把调用、重实现与新训练混为一谈。第一类是直接调用的已有权重，Moshi 使用开源预训练权重，没有为对话能力重新训练主干，审计所需的 ECAPA-TDNN 探针则为每个模型从零单独训练。第二类是重实现的基线，SALM-Duplex 按语音解码器架构重实现但去掉了按时间顺序思考机制，论文称响应质量相当并把该机制对隐私的影响留作未来工作，因此不能把本文 SALM-Duplex 数字等同于原论文完整系统。第 3 类是为 Anon-W2F 新构造的前端与适配训练，把连续前端换成离散匿名编码器后在多轮对话与问答混合数据上预训练再在指令语音到语音数据上微调，使主干适应新的特征域。
攻击者训练的数据划分按原文交代：隐私指标在 VoicePrivacy 2024 评估集上测得，说话人验证攻击者在 LibriSpeech 训练集的干净 360 小时子集上训练，质量与效率在多轮对话基准上测得。论文未报告优化器、学习率、轮数与早停等超参数，也未说明匿名模块内部是否冻结，因此复现时只能先按数据划分与评估脚本对齐，不能自行补写训练细节。没有训练的部分不能等同于确定性求解，探针训练与对话生成仍受随机初始化与采样影响，报告的数字应理解为在给定协议下的 1 次可比实现。
实验条件：数据、协议、指标方向与运行环境是什么？
数据与协议按原文可分为隐私侧与对话侧。隐私侧用 VoicePrivacy 2024 评估集，源自 LibriSpeech 的干净开发集与测试集组合，攻击者训练用训练集干净 360 小时，攻击者类型为懒惰知情。论文明确提醒该评估集是朗读语音而非自发对话，因此在对话场景的泛化需要未来在会话语料上补验证。对话侧用多轮对话基准评估质量与效率，脚本改编自公开的对话与全双工基准以及 SALM-Duplex 原评估，输出分语音到文本直接出文本与语音到语音先出语音再经语音识别转写两种模式分别报告。
等错误率 × 可链接性： 等错误率负责度量说话人验证攻击者在误接受与误拒绝相等点的判别错误率，数值越高隐私越好且 50% 对应完全随机，可链接性负责在法律验证框架下度量匿名试听与注册语音之间可被关联的程度，数值越低隐私越好，二者搭配的原因是前者是 VoicePrivacy 挑战的主隐私指标而后者补充了与通用数据保护条例对齐的可解释性，组合意义在于同时从判别难度和跨样本关联两个角度确认匿名是否成立。
指标方向必须先固定再读数：等错误率越高越好，可链接性越低越好，句子级 BLEU 与 BERT 语义分越高越好，实时倍率越高越好，首次响应延迟与打断延迟越低越好，轮次接管成功率与打断成功率越高越好。效率测量在单块图形处理器上估计，匿名模块主导推理时间是理解实时倍率下降的关键。论文还区分无匿名行的可链接性用原始攻击者，匿名行用懒惰知情攻击者，比较时不能忽略攻击者条件的变化。资源状态方面，论文给出的 Stream-Voice-Anon 代码链接本次核验为可用状态，可写当前已公开，但这只代表匿名底座可获取，不代表完整对话系统权重与评估脚本开箱可运行。
主结果：泄露有多大？匿名把隐私推到哪里？代价是什么？
要回答的主问题是离散前端是否比连续前端泄露更多，以及两种匿名路径分别带来多少隐私增益与质量延迟代价。比较的公平条件是同一对话主干与同一评估集，仅改变用户前端与是否启用匿名，隐私用等错误率与可链接性双指标，质量用两种响应模式下的语义分，效率用实时倍率与首次响应延迟等。指标方向是隐私越高越好、质量越高越好、延迟越低越好。
| 条件 | 隐私指标 | 无匿名基线 | 匿名后 | 比较对象 |
|---|---|---|---|---|
| SALM-Duplex 离散编码器 | 等错误率 | 11.2% | 41.0% | Anon-W2F 特征域匿名 |
| Moshi 离散编码器 | 等错误率 | 6.4% | 36.9% | Anon-W2W 波形级匿名 |
| SALM-Duplex 连续编码器 | 等错误率 | 28.5% | 34.6% | Anon-W2W 波形级匿名 |
| SALM-Duplex 离散编码器 10 轮对话 | 1 减可链接性 | 0.90 | 0.78 | Anon-W2F 10 轮后 |
| Moshi 离散编码器 10 轮对话 | 1 减可链接性 | 0.83 | 0.67 | Anon-W2W 10 轮后 |
上表把最关键的隐私对照集中在一起，阅读时先看等错误率是否远离随机上限，再看匿名后是否接近 50%，最后看长对话后可链接性是否仍留在保护区。论文报告离散编码器泄露明显大于连续编码器，Moshi 离散仅 6.4% 接近完全可识别，SALM-Duplex 离散为 11.2%，而连续为 28.5% 相对更好但仍远非安全。Anon-W2F 把 SALM-Duplex 离散从 11.2% 推到 41.0%，相对提升超过 3.5 倍并接近 50% 上限，Anon-W2W 把 Moshi 从 6.4% 推到 36.9% 并把连续从 28.5% 推到 34.6%，且匿名后各层等错误率普遍进入 31-44% 区间。质量代价是语义分下降约 7-22%，但论文称隐私增益相对更大，效率代价是实时倍率从 17-263 倍降至 1.6-2.5 倍，首次响应延迟仍在 0.8 秒以内且实时倍率大于 1 因此仍可实时运行，其中特征域路径比波形路径更快。
下图把随轮数累积的隐私变化可视化，阅读时注意纵轴是 1 减可链接性因而越高越好，不能把曲线向下直接读成模型能力变差，而是隐私保护在减弱。
看图路径： 1. 先确认横轴为对话轮数 1 到 10 轮纵轴为说话人隐私 1 减可链接性并区分上方绿色高保护区与下方红色低保护区；2. 再对比红色系无匿名两条虚线在首轮后快速跌入低保护区的斜率与位置；3. 最后跟踪绿色系两条匿名线随轮数增加的缓慢下降确认十轮后仍留在保护区附近
论文图 1。原论文 Figure 1：“1”。
该图横轴为对话轮数 1、3、5、7、10，纵轴为说话人隐私，上方绿色底为高保护区，下方红色底为低保护区。红色系两条无匿名虚线在首轮后快速跌入红色区，SALM-Duplex 离散无匿名从约 0.39 降至约 0.22，Moshi 离散无匿名全程在约 0.17 到 0.10 附近。绿色系两条匿名线起点在 0.90 与 0.83 附近并缓慢下降，10 轮后分别约 0.78 与 0.67，仍明显高于无匿名线。Moshi 加波形匿名线下降稍快，提示长对话下仍有缓慢退化。像素不能精确辨别的小数后 2 位不应硬写，趋势判断以原文补充的起点与终点数字为准。未胜出的边界是 Moshi 匿名后长期保护弱于 SALM-Duplex 特征域路径，且所有结论基于朗读评估集与文本语义质量指标，未测量语音自然度与韵律等听感质量。
分层与消融：泄露藏在哪一层？增益来自换编码器还是开匿名？
要回答的消融问题有两个，一是泄露在主干的哪一层最强，二是 Anon-W2F 的增益是否只是把连续换成离散带来的假象。比较条件是同一模型与同一探针训练协议，仅改变取用的层或是否启用匿名模块，指标方向仍是等错误率越高隐私越好。论文取浅层第 1 层、中间层二分之一处、深层最后一层以及跨层平均做对照，并设置离散无匿名作为仅换编码器的消融基线。
| 条件 | 层位置 | 无匿名等错误率 | 匿名后等错误率 | 说明 |
|---|---|---|---|---|
| SALM-Duplex 离散平均 | 跨层平均 | 11.2% | 41.0% | 增益来自匿名而非换编码器 |
| 匿名后各层总体 | 各层 | 未匿名低位 | 31 到 44% | 匿名均匀提升各层 |
上表表明 Moshi 各层等错误率始终在低位均匀分布，而两种 SALM-Duplex 前端都呈现从浅到深泄露递减，深层更抽象掉部分说话人特征。关键消融是把 Anon-W2F 与离散无匿名对比，离散无匿名平均仅 11.2%，打开匿名后达 41.0%，因此增益完全来自匿名而非编码器替换本身。匿名后所有层组都升至 31-44% 区间，说明缓解不是只遮住某一层。论文还提醒当前探针只是泄露下界，更强的攻击者可能进一步压低等错误率，因此实际风险可能高于报告值，这是不应把匿名后数字当作绝对安全上限的原因。负结果方面，匿名带来语义分下降与实时倍率下降，且语音级自然度未评估，不能承诺听感无损。
哪些结论不能推广？原文明确留了哪些缺项？
论文明确报告的局限要逐项保留。第一，隐私评估集是朗读语音而非自发对话，论文称其为标准化起点并把会话语料评估列为未来工作，因此长对话结论在真实打断、重叠与口语化场景的数值可能变化。第二，质量指标是基于文本的句子级 BLEU 与语义相似度，未覆盖语音自然度与韵律，论文明确说语音质量评估如平均意见分与自动听感预测仍待未来工作，因此不能把语义保留 78-93% 等同于听感无损。
第三，SALM-Duplex 是去掉按时间顺序思考机制的重实现，响应质量虽称相当但该机制对隐私的影响未测，不能把本文数字直接套用到完整原系统。第四，Anon-W2F 仅在 SALM-Duplex 上实现，Moshi 侧的特征域移植因分词器兼容性而留作未来工作，跨架构有效性待验证。第五，攻击者是懒惰知情的 ECAPA-TDNN 探针，更复杂攻击者可能压低等错误率，论文引用攻击者子挑战说明当前数字是下界而非上限。第六，效率在单卡上估计且匿名模块主导耗时，降低匿名计算开销是明确的未来方向。
缺失证据不是技术错误，但在补齐会话数据、听感评估与更强攻击者之前，不应承诺系统已满足通用数据保护条例的全部合规要求，论文的合规表述是风险提示而非法律结论。
复现先做什么？需要哪些代码、数据与检查点？
复现的第一步是对齐审计点而不是先跑对话效果。先获取 Moshi 开源权重与按论文重实现的 SALM-Duplex 语音解码器结构，确认能从用户流隐状态按浅层、中间层、深层与跨层平均取出表示，并用内部时间池化送入探针。探针为每个模型单独从零训练 ECAPA-TDNN，输入投影按隐状态维度适配，训练数据用 LibriSpeech 干净 360 小时，评估用 VoicePrivacy 2024 评估集并按懒惰知情协议报告等错误率与可链接性。无匿名行与匿名行要分别用原始攻击者与懒惰知情攻击者，不能混用同一验证器。
第二步是接入匿名底座。Stream-Voice-Anon 代码链接本次核验为可用，可先跑通波形到波形前置模式并分别接到 SALM-Duplex 连续前端与 Moshi 离散前端，确认保护音频可被原编码器重编码。特征域模式需要把 SALM-Duplex 连续前端替换为离散匿名编码器并按约 12k 小时多轮对话加 2.7k 小时问答预训练再在 InstructS2S-200K 上微调，资源不足时应先复现波形路径的隐私增益再考虑特征域训练。对话质量与效率用多轮对话基准脚本分别测语音到文本与语音到语音，并记录实时倍率、首次响应延迟、轮次接管与打断指标。
第三步是核对关键数字的对应条件。等错误率要同时核对数据集、模型与前端、匿名开关、指标与聚合对象，数值相同不代表指标相同。轮数曲线要核对 1 减可链接性的起点与终点以及攻击者条件，不能把末步结果推广到全程。论文未给出优化器与冻结细节，遇到对不齐时应先检查层选取、池化与投影维度，再报告具体缺项而不是猜测实现。
何时值得尝试这两条路径？还需补哪项验证？
当系统是始终监听的全双工语音智能体且用户语音会连续进入大语言模型主干时，这篇论文的审计思路值得直接借用，尤其前端为高保真离散重构编码器时应优先检查浅层与跨层平均的等错误率是否跌入个位数。如果目标是不改模型快速上线，可先尝试波形到波形前置，因为它在两种架构上都显示出隐私提升且首次响应延迟仍在 0.8 秒以内。如果能承担结构修改与额外微调且追求接近随机的保护，特征域路径在 SALM-Duplex 上显示出更强的等错误率与更快的实时倍率，但要接受语义分下降与实时倍率从上 100 倍回落到数倍的代价。
还需补的验证按论文特有细节展开至少两类。第一类是数据与指标的补齐，在自发对话与重叠抢话语料上重测分层与随轮数曲线，并补充语音自然度与韵律听感评估，避免只用文本语义分代替用户体验。第二类是攻击者与部署的补齐，用更强与更多样的攻击者重测匿名后隐状态，并测量匿名模块优化前后的真实延迟与算力占用，确认长对话 10 轮之后的缓慢退化是否会在更长会话中跌出保护区。完成这两类验证后，才能更稳妥地讨论隐私设计与个性化保留之间的取舍，而不是把单次朗读集上的接近随机数字当作永久保证。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses