从纠缠录音到可控双轨：分离、重建与扩展如何分工保留对话时序

英文题目：ConversationalVoice: Full-Duplex Speech Data from Real Conversations through Source-Faithful Reconstruction and Conversation-Grounded Expansion

标签：#全双工语音交互 | #数据集构建 | #语音分离 | #语音合成 | #轮次切换

评分：5.9/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 0.8/1.5 | 清晰度 0.8/1 | 影响力 0.9/1.5 | 开源 0/1.5 | 可复现 0.1/0.5 | 工程/实践 1/1.5

👥 作者与机构

• Richard Yucheng He：AveraLabs
• Baodong Cao：AveraLabs
• Chen Xu：AveraLabs
• Yihang Liu：AveraLabs
• Tairan Chen：AveraLabs

📌 核心摘要

全双工语音交互需在双轨同步流上建模轮次、重叠、打断与反馈，但真实录音多为嘈杂单声道混合且缺乏稳定说话人槽位，难以直接得到带词级对齐与身份一致的训练数据。管线按分离、重建、扩展三阶段递进：分离通过对话分离与声纹校验恢复双轨、规范转录与自然交互时序并固定说话人槽位，其输出的词与身份锚点直接作为后续约束；重建在词与身份不变约束下以复合参考语音克隆重合成干净语音，并经先对齐后调度的时序重建保留相对轮次与重叠，产出带词级时间戳与播送指令的对齐产物；扩展以重建的上下文、说话人与交互统计为约束生成新对话并显式规划对话、反馈与重叠放置，同样落入等长双轨的统一形态以便混合训练。相对仅输出分离语料的DuplexChat等已有方法，关键差异在于三阶段共享等长双轨、词级时间戳、音频标签与播送指令的统一表征，使重建提供可控的表达监督、扩展提供接地的新事件覆盖而非无约束合成。在共享输出质量评测下，重建的NISQA MOS相对分离的3.563升至4.405而扩展进一步升至4.608，方向为重建与扩展均高于分离且扩展最高。结论的适用边界受限于仅做数据属性自动评测而未验证下游全双工建模增益，且依赖NISQA、DNSMOS与单一Gemini自动打分器，重建时长较源平均拉长26.3%且轮次与重叠保留F1仅0.693与0.664，向真实感知、多语多域与高重叠噪声场景的外推尚未验证。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

• 代码相关资源：https://github.com/avera-labs/ConversationalVoice — 暂时无法访问

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

全双工对话数据为什么不能只留文字轮转？

输入是一段真实世界的单声道录音，里面两个人可能同时说话、互相打断、插入简短的反馈，背景还有音乐与噪声。目标是把这样的录音变成可用于训练全双工语音模型的双轨数据：两个时间对齐的单说话人音轨、按说话人归属的词级转写、以及可用于学习的时序与表达性标注。必须保留的信息包括谁在何时说话、轮转顺序、停顿与重叠的相对关系、以及说话人身份的稳定对应；输出则是等长的双轨波形加上共享的转写与时间戳产物。

全双工在这里的白话含义是把对话建模为两条同步的说话人流，而不是把对话压成你一句我一句的文字序列。重叠、打断与反馈不是噪声，而是模型需要学会何时说、何时听的监督信号。如果只保留文字轮转，模型就失去对同时说话、快速反馈与沉默保持等行为的时序监督。

一个样本的完整旅程可以这样理解：先用语音活动检测与音乐过滤挑出可用的双人窗口，再用分离把混合声拆成两轨并用声纹把槽位固定到具体的人，接着用语音识别得到规范词面；随后重建阶段在词面不变的前提下用克隆语音重做干净波形并重建时序，扩展阶段则在同一说话人与场景约束下生成新的对话延续。整条链路的输出都落在同一产物格式上，便于后续按不同训练目标选用词面、标签或指令条件。

同类工作在输入、目标与监督上有何异同？

同输入对照上，DuplexChat 与本文第 1 阶段最接近：两者都从公开播客等野外音频出发，经筛选与分离得到双轨数据。区别在于本文把分离明确为质量校验的基座，加入筛查、稳定槽位分配、信号与身份校验以及规范转写，并在此之上再做重建与扩展，而不是把分离本身当作最终数据集。

同目标对照上，dGSLM 与 Moshi 等全双工建模工作把对话表示为双通道同步流并显式建模时序信号，Full-Duplex-Bench 则围绕停顿、反馈、打断与同时说话组织评测。这些目标共同要求训练样本保留独立声道与精细时序，而非仅保留交替文本轮次，这正是本文产物要提供的监督形态。

同监督对照上，Qwen3-TTS 与 SoulX-Podcast 等现代语音合成系统提供多语、克隆与指令控制能力，NaturalVoices 等数据集工作强调在词之外保留情感、音质与声音事件标注。本文不提出新的分离器或合成器，而是把现有组件的互补能力组合成数据流水线：用分离恢复已存在的流，用重建在词面不变下重做声学实现并暴露词时间与指令，用扩展在真实上下文约束下增加新的交互事件。运行阶段上，分离与重建都受限于录音中已有的内容，扩展则通过显式规划对话、反馈、副语言事件及其顺序或重叠放置来增加覆盖，三者在训练产物上共享对齐的双轨与标注接口。

要解决的具体问题与边界是什么？

问题可表述为：给定一段包含两个人声且可能退化、混响与重叠的单声道录音，如何得到 3 类互补的训练产物，使其在同一表示下分别提供自然时序证据、干净可控的词对齐监督与受控的新对话覆盖。边界是只处理经筛选后的双人窗口，不处理多人会议或单人独白；不追求把分离做到完美，而是把不可靠窗口排除而非向下游传播。

形式上，输入为 16 kHz 单声道波形，输出为两条 44.1 kHz 等长 PCM16 波形、按说话人归属的转写、词级时间戳、零时长的音频标签锚点与演绎指令。约束包括说话人到轨道的映射在整段对话内固定、重建阶段词面与说话人映射不可变、扩展阶段新对话必须可追溯到源对话且不与源录音静默拼接。

本文不声称直接提升下游全双工模型的对话能力，评估仅刻画数据属性。相关表述在摘要与结论中均明确为未来工作，这决定了后续结果解读只能讨论数据质量与保真度，而不能外推为模型收益。

三阶段流水线如何分工与衔接？

流水线的全景是分离恢复、重建重做、扩展新增，三者共享说话人身份与源溯源，但在训练用途上分层。分离保留对观测波形的最大忠实与自然交互时序；重建保留观测到的词与交互组织但提升可控性与声学洁净度；扩展在锚定源场景与说话人的前提下增加新的词汇与交互事件。

数据在阶段间的衔接靠两样东西固定：一是稳定的说话人槽位分配，二是规范转写。分离阶段建立的词面成为重建的不可变词面与扩展的主要语义上下文；重建与扩展都产出带词时间与指令的双轨产物，使后续可按需选择词面、标签或指令目标而无需重处理波形。

重建 × 扩展： 重建的任务是词面与说话人到轨道的映射完全固定、只重做声学实现以获得更干净与可控的监督，扩展的任务是在保留说话人、场景与交互风格的前提下生成新的词面与轮转序列，二者搭配的理由是仅靠重建无法增加词汇与交互覆盖、仅靠扩展无法保证对真实事件的忠实，组合后形成从忠实还原到受控新增的分层数据互补。

下图把 3 阶段展开为可执行的模块链路，适合对照正文逐块核对输入输出与校验点。图中第一行是 3 阶段的总览，第二至四行分别展开分离、重建与扩展的内部步骤，重建与扩展在末端都暴露词时间与指令元数据，这正是共享产物的关键接口。

看图路径： 1. 沿顶部三块总览色块对比分离、重建、扩展的输入输出定位；2. 在分离行追踪从 Source Screening 到 ASR 的五个蓝色模块箭头顺序；3. 在重建行观察 Reference Building 如何把固定声纹与局部话语拼接为复合参考；4. 在扩展行确认 Persona Extraction 到 Forced Alignment 的约束链路与最终双轨装配

论文图 1。原论文 Figure 1:：“ConversationalVoice produces three complementary views of a validated conversation.”。

从像素可见，顶部三色总览块分别概括分离、重建与扩展的定位；中部蓝色链路从 Source Screening 经 Diarization、Dialogue Separation、Quality Verification 到 ASR 形成分离闭环；绿色重建链路从 Utterance Segmentation 经 Audio-Tag Analysis、Reference Building、Voice Cloning 到 Dialogue Reconstruction；黄色扩展链路从 Persona Extraction 经 Dialogue Script Generation、Voice Cloning、Dialogue Assembly 到 Forced Alignment。每条链路的箭头方向与模块说明都与正文描述一致，可据此核对数据流与校验点是否完整。

分离如何从野外录音中得到可信的双轨与规范词面？

分离的输入是任意真实录音，先归 1 到 16 kHz 单声道做分析。用 pyannote/segmentation-3.0 做语音活动检测并过滤音乐与低信噪比区域，再用 BUT-FIT/diarizen 做说话人日志。规划器不做固定时长切分，而是利用日志边界与活动统计动态选择窗口，目的是既包含足够双人语音以识别身份，又避免把重叠片段的上下文切掉导致后续槽位映射不稳。

每个入选窗口由 DialogueSidon 联合做修复与分离，输出两个槽位。槽位顺序本身无身份含义，流水线用活动对应与说话人嵌入把每个槽位映射到日志中的说话人，并在整段对话内保持该映射不变，防止局部置换演变为身份切换。

质量校验结合信号活动与说话人一致性：静默或异常微弱的轨被拒；用 microsoft/wavlm-base-plus-sv 的说话人验证嵌入对比基准参考，检测泄漏、合并、分裂与槽位错配。失败窗口可在修正选择后重试，持续失败则排除，不向合成阶段传播。

语音分离 × 说话人验证： 语音分离负责把混合波形拆成两个声道，但拆完后哪个槽位对应哪个人是不确定的；说话人验证用 WavLM 嵌入计算与基准声纹的余弦相似度来判定槽位归属，二者搭配的理由是分离只管信号拆分、验证只管身份锚定，组合后才能把分离输出固定到稳定的说话人槽位，避免后续重建与扩展出现身份错位。

最后用 nvidia/parakeet-tdt-0.6b-v3 做语种相关识别，产出带词级时间戳的按说话人转写。该转写确立话语文本、源边界与初始词时间线，并作为重建的固定词面与扩展的主要上下文。输出上，分离已提供两条单说话人轨与规范转写，但尚未提供合成阶段那样的显式指令与对齐后的干净监督，这正是重建要补齐的部分。

重建如何在词面不变下重做波形并重建时序？

重建回答一个受限问题：在已知一个人实际说了什么以及对话如何展开的前提下，能否在保持词面与身份不变的情况下重做更干净的单人渲染，并把监督显式化。过程按话语逐条进行。

对每条话语，从已分离的说话人轨切出对应区间。多模态分析监听该切片并产出两个字段：text_with_audio_tags 与单条面向演员的 instruction。前者按批准的标签体系在规范词面中插入标签且保证删掉标签可精确还原原文，后者描述演绎方式但不改变词面。校验层拒绝任何替换、增词、说话人标签或混入词面的舞台指示。

语音生成使用复合参考：固定干净样本确立全局身份，其后跟 1 秒静默与该条分离源话语提供局部演绎证据如语速、韵律与非言语行为。固定部分减少话语间的身份漂移，局部部分避免让纯文本控制器去猜所有表达细节。带标签文本、指令与复合参考一并送入克隆合成服务得到孤立波形。

强制对齐 × 对话调度： 强制对齐负责在单条合成话语内部给出每个词的起止时间，对话调度负责把多条话语按轮转、停顿与重叠关系放到全局时间轴上，二者搭配的原因是合成时长与原录音不同、不能直接复用原边界，组合后先对齐孤立话语再按保留轮序与间隙意图平移词时间，既避免拼接后对齐漂移，又重建出与合成时长适配的交互时序。

关键实现细节是先对孤立合成话语做强制对齐，再放到对话时间轴上。作者明确指出若在装配后再对齐，会在语音与长静默边界处出现时间戳漂移；先对齐孤立话语再插入静默可避免该误差源。全局时间轴不直接复用源边界，因为合成时长与源时长不同。流水线保留轮序与间隙意图：若下一条话语在源中于当前话语结束后开始，则保留非负间隙。

若在结束前开始，则在尊重生成时长的前提下保留重叠关系，且同一说话人不与自身重叠。最后把局部词时间按话语起点平移。

带音频标签文本 × delivery instruction： 带音频标签文本是在词面中嵌入笑声、呼吸等可听事件的显式标记且删掉标签可还原原文，delivery instruction 是用面向演员的自然语言描述语速、韵律与情感的演绎指令，二者分工是前者标记事件出现的位置与顺序、后者约束整体演绎方式，搭配后既让合成器知道在哪里发出非词事件，又让其知道如何演绎，从而把表达性监督显式化为可训练信号。

输出为两条等长 44.1 kHz 单声道波形、保留纯文本与带标签文本的转写与清单。一条轨只含说话人 0 事件，另一条只含说话人 1 事件，转写同时保留两种文本形态，使训练方可按需选择词面、标签或指令目标。

扩展如何生成受控的新对话与共享产物格式？

扩展生成的是延续而非对源片段的改写。其上下文包括规范转写、源音频、说话人画像、稳定参考录音与前文摘要，生成器被指示在保持既定参与者与情境的同时创造新内容，且保留源溯源使每次扩展都可追溯到锚定它的对话。

脚本模式区分对话、反馈与副语言话语，并指明事件是顺序还是与活跃事件重叠。这些字段把交互结构变成显式生成计划：带标签文本表达可听事件，指令字段存放演绎指令，纯文本由工作器从带标签文本派生而非独立生成，以减少两者不一致。

合成前执行模式与语义检查，约束合法说话人、有序事件、允许标签与内容一致性。每条话语用对应说话人参考合成并做强制对齐，装配器按规划的轮转、停顿与重叠放置波形，防止自重叠并产出等长双轨。扩展拥有独立时间原点与产物标识，不与源录音静默拼接，使时长核算与血缘清晰。

产物层面，重建与扩展共享同一转写单元设计：词项与音频标签项共享时间线，词具有由强制对齐估计的非零区间，音频标签以零时长的锚点表示在词序列中的意图或检测位置，避免为笑声、呼吸等事件分配任意词时长同时保留其相对顺序。清单记录输入标识、阶段、模型标识、配置、产物位置、大小与哈希，区分语义溯源与存储位置，并要求冻结模型版本与配置快照以应对远程服务行为变化。

下表总结生成话语产物中的核心字段，便于对照实现时检查是否遗漏关键监督。该表显示产物不仅包含说话人与起止时间，还同时保留纯词面、位置保持的带标签文本、演绎指令与词级时间戳。

该表覆盖了从说话人到轨道的稳定映射、话语类型、对话级起止区间、纯词面与带标签文本、演绎指令以及词区间与零时长标签锚点。词与标签共享时间线但时长语义不同，这为训练时在词面、标签或指令条件间切换提供了统一接口，也解释了为何重建与扩展能在同一格式下提供可比的监督。

本研究是否训练新模型？实际计算过程是什么？

本研究未训练新的分离器、合成器或说话人编码器，也未报告对全双工对话模型的训练与收益评估。流水线的价值在于把现有组件的互补能力组合成数据构造与标注流程，而非提出新模型结构。

实际计算过程是推理与规则装配的组合：分离阶段调用已有的语音活动检测、说话人日志、DialogueSidon 与 WavLM 做筛选、分离与校验；识别阶段调用 ASR 得到规范转写；重建与扩展阶段调用多模态分析产生标签与指令、调用克隆合成服务生成孤立话语、调用强制对齐得到词时间，再按对话级调度规则把话语放到全局时间轴上。所有质量、身份与时长指标均在冻结实现上计算，未涉及梯度更新、优化器或参数冻结与重置的训练细节。

由于未进行下游训练，任何关于数据对模型性能的提升都属于待验证推测。评估仅刻画共享输出质量、重建保真度与扩展的交互与内容质量，是否能转化为可部署的模型收益需要后续匹配配置的对照训练来检验。

评估如何组织、指标如何定义与聚合？

评估对象是分离、重建与扩展 3 阶段各自产出的可用双轨数据，分为 5 组分数。共享输出质量面向 3 阶段共同评估脚本依从、预测音质与说话人身份；重建保真度面向重建与配对分离源的时长与交互结构保持；扩展统计与分析对比配对重建与扩展的时长与交互密度；扩展内容与对话质量评估延续的连贯性与自然度；音频标签标注质量单独评估声明标签在波形中的声学实现程度。

具体实现上，词错误率用远程托管的 qwen3-asr-1.7b 在混合双轨上转写后与按时间序拼接的纯话语文本对比，计算(S+D+I)/Nref 并做英文文本归一化；分离与重建的参考词面相同但各自使用自身时间对齐的产物，扩展则对照其生成的延续脚本。NISQA 与 DNSMOS 为无参考预测质量，NISQA 按至多 50 秒窗口分段后按时长聚合，DNSMOS 以 OVRL 为总分。说话人身份用 WavLM 说话人验证嵌入在轨级按时长池化后计算同说话人余弦相似度与区分度，后者为分配说话人相似度减另 1 人相似度，正值表示更接近分配者。

NISQA × DNSMOS： NISQA 与 DNSMOS 都是无参考语音质量预测模型，前者给出 MOS 及嘈杂度、音色、断续与响度等诊断维度，后者给出 OVRL 及 SIG、BAK 等维度，二者搭配的原因是单一预测器易受合成语音分布偏移影响，组合后可从不同训练条件下交叉印证重建与扩展是否在保持身份的同时提升预测音质。

时长与交互指标使用有效对话区间，即跨双轨从首个检测到语音起点到末个语音终点的区间，以排除末尾填充。共享质量与时长比按评估单元等权重平均，交互率按有效对话时长池化事件计数，音频标签对齐在成功评估的带标签话语上平均。交互事件检测使用冻结的 VAD 配置：不同说话人重叠至少 60 毫秒计为 1 次重叠事件，至多 500 毫秒间隔的片段合并为一事件但不把间隔计入同时说话时长。

重建保真度的轮转、重叠与反馈匹配基于源话语对应而非绝对时间戳，并在至多 300 毫秒内合并来自同一话语对的 VAD 碎片。扩展内容质量由 Gemini 多模态评估，提示词要求忽略音质、身份相似度、口音与标注准确度，仅评判内容连贯与对话自然度，量表均为 1 至 5 分。

需要指出的缺项是交互检测器的校准状态未验证，NISQA 与 DNSMOS 在合成语音上的预测可能与其训练条件不同，词错误率包含远程 ASR 误差且对扩展仅衡量脚本实现而非语义合理性，说话人余弦相似度可能与参考构造部分耦合且对局部发音或情感错误不敏感，Gemini 评判仅基于单一模型与英文评估数据。

共享质量与重建保真度显示了什么？代价在哪里？

共享质量要回答的问题是 3 阶段是否都产出可用语音且保持身份区分，公平条件是各自对照自身阶段的参考转写与同一套冻结的音质与声纹实现，指标方向为词错误率越低越好、其余越高越好。

表中分离、重建与扩展的同说话人相似度分别为 0.983、0.988 与 0.991，区分度均为正值 0.200、0.199 与 0.209，说明 3 阶段在轨级都更接近分配说话人。预测音质上 NISQA MOS 从分离的 3.563 提升至重建的 4.405 与扩展的 4.608，DNSMOS OVRL 从 3.287 变为 3.400 与 3.328，支持重建与扩展在预测音质上优于分离的判断。词错误率上分离为 0.140、重建为 0.150、扩展为 0.039；其中扩展的 0.039 是对自身生成脚本的实现度，不应解读为跨阶段在转写或语义准确度上的提升。重建词错误率略高于分离，提示在词面不变下重做声学实现并未自动降低该 ASR 下的词错误。

重建保真度要回答在声学实现被替换后是否仍保留源对话的时长与交互结构，比较对象是配对的分离源，匹配基于源话语对应而非绝对时间戳。下表把时长比与 3 类事件的 F1 放在同一行便于对照保真度与时长代价，指标方向为时长比目标为 1、F1 越高越好。

该表显示重建在绝对时长上变长，但交互结构仍有实质对应：反馈保持最强为 0.860，轮转与重叠保持在 0.693 与 0.664 水平。代价是时长膨胀 26.3%，这与合成时长不同于源时长且调度保留重叠关系的实现一致。未胜出的一面是轮转与重叠的 F1 未接近 1，说明在新时长下完全复刻源交互仍有损失，需要与音质与可控性的收益一起权衡。

扩展的交互密度与内容质量是否接近重建？

扩展的评估要区分两类问题：一是交互密度是否与配对重建保持相近，二是新内容是否连贯且像真实双人对话。两者都以配对重建为上下文参考，但前者是描述性统计对比，后者是内容评判。

交互密度上，扩展平均时长为配对重建的 2.340 倍，说明延续本身更长。按有效对话分钟归一后的事件率显示扩展的轮转、重叠事件、反馈与打断率分别比配对重建低 4.6%、8.0%、13.2% 与 16.0%，其中轮转与重叠事件密度最接近，反馈与打断率下降更明显。

该表支持扩展在轮转与重叠事件密度上与重建大致相近、但在反馈与打断上更克制的判断。由于这些指标只描述交互结构，不涉及语义，需要另用内容评判来检验延续是否连贯。

内容与对话质量由 Gemini 在配对音频上打分，量表 1 至 5 分且被指示忽略音质与身份相似度。下表给出均值，指标方向为越高越好。

均值 4.940 的内容连贯度与 4.800 的对话自然度在该自动评估范围内属于高位，评语指向全程直接的主题延续与自然的来回对话。限制是该分数来自单一 Gemini 模型与英文数据，且为描述性而非对全库人类偏好的估计。

音频标签对齐则单独检验声明标签是否在波形中于正确位置按序实现，未标注的可听事件不计入召回。下表对比重建与扩展，分数越高表示声明标签的声学实现越完整。

重建的 4.376 高于扩展的 3.750，总体 4.221，说明重建在表达性标签的声学实现上更强，扩展在保持其他收益的同时，表达性演绎控制是更明显的改进空间。这一差距与扩展需要生成全新词面与交互计划的难度一致，也提示后续可在标签规划与合成控制上补强。

哪些结论不能外推、哪些风险需要正视？

评估边界上，所有分数均为自动评估。NISQA 与 DNSMOS 在其训练条件下的预测可能对合成语音反应不同；词错误率包含远程 ASR 误差且对扩展仅衡量脚本实现；规范转写本身由流水线自动产生，分离与重建的词错误率衡量的是与流水线词面的一致性而非绝对转写准确度；说话人余弦相似度可能对局部发音或情感错误不敏感且与参考构造耦合。

交互检测器冻结但校准未验证；Gemini 内容评判仅基于单一模型与英文数据；音频标签对齐只评估已声明标签，不衡量未标注事件的召回。最重要的是未衡量下游全双工模型性能，因此不能把数据属性的提升直接等同于模型收益。

数据与伦理上，真实音频涉及权利与隐私，处理与发布需要合法依据、尊重源许可与平台条款并对可识别或敏感语音提供保障。克隆语音带来冒用风险，发布时应记录溯源、限制不允许的源、评估记忆与冒充风险、提供移除流程并明确标注扩展为合成内容而非原说话人真实陈述。

偏差来源包括源选择、日志、识别、质量过滤、语言模型与合成器。过滤可能偏好录音室般的嗓音与常见语言变体，而抑制对鲁棒对话建模重要的口音、方言、噪声环境与重叠风格。流水线还组合了版本、许可与行为可能变化的第三方模型与服务，复现需要固定模型版本、保留配置与哈希并记录哪 1 阶段使用了远程服务。

复现这条流水线需要固定什么、按什么顺序做？

复现应从分离基座开始：用 pyannote/segmentation-3.0 做语音活动检测并过滤音乐与低信噪比段，用 BUT-FIT/diarizen 做日志并动态选择双人窗口，用 DialogueSidon 做联合修复与分离，再用 microsoft/wavlm-base-plus-sv 做基于嵌入的泄漏与身份校验并固定槽位映射，最后用 nvidia/parakeet-tdt-0.6b-v3 产出带词时间戳的规范转写。失败窗口应重试或排除，不向下游传播。

重建阶段按话语切分后做多模态标签分析得到带标签文本与指令，校验其位置保持性与词面不变性；用固定干净样本加 1 秒静默加源话语切片构建复合参考，送克隆合成得到孤立波形后先做强制对齐再按保留轮序与间隙意图调度到全局时间轴，禁止自重叠并等长填充双轨。扩展阶段在同一说话人参考与场景约束下生成区分对话、反馈与副语言且标注顺序或重叠的脚本，经模式与语义检查后同样合成、对齐与装配，并赋予独立时间原点与产物标识。

产物与评估层面，需实现共享的转写单元与清单字段：词为非零区间、标签为零时长锚点、清单记录输入标识、阶段、模型标识、配置与哈希。评估时用 qwen3-asr-1.7b 在混合轨上计算词错误率，用 NISQA 与 DNSMOS 按有效语音分段聚合，用 WavLM 嵌入按时长池化计算相似度与区分度，用冻结 VAD 按有效对话区间统计交互率并按文中阈值合并碎片，内容质量用同一 Gemini 提示词在配对音频上打分。代码仓库已在文中给出，复现时应冻结所用模型版本与配置快照以保证可追溯性。

何时值得尝试这套分层数据、还有什么待验证？

当已有大量纠缠的真实双人录音但缺乏带时序与表达性监督的双轨数据时，这套分层思路值得尝试：先用质量校验的分离得到自然交互证据，再用词面固定的重建得到干净且词对齐的显式监督，最后用上下文约束的扩展增加词汇与交互覆盖，三者在同一产物格式下可按训练目标灵活混合。

选择时需权衡代价：重建会引入约 26.3% 的时长膨胀且轮转与重叠的 F1 分别约为 0.693 与 0.664，未能完全复刻源交互；扩展虽在轮转与重叠事件密度上分别仅低 4.6% 与 8.0%，但反馈与打断率分别低 13.2% 与 16.0% 且标签对齐从重建的 4.376 降至 3.750，说明在增加覆盖的同时表达性控制仍有差距。

待验证的关键是下游收益：需要在匹配模型配置下对比仅分离、分离加与 3 阶段全量的训练效果，并辅以独立的人类感知验证来校准自动音质、声纹与 Gemini 分数的结论。只有在这些对照完成后，才能判断分层数据是否真正帮助模型学会何时说、何时听以及如何在词之间组织对话。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1

• 评分模型：muse-spark-1.2-contributor

• 评分请求协议：openai_responses

← 返回 2026-09-10 语音/音乐/音频论文速递