英文题目：KABURI-TTS: Phoneme-Keyed Activity-conditioned Bi-channel Utterance Rendering for Interaction

标签：#文本到语音 | #流匹配 | #语音 | #多通道 | #LoRA

评分：6.7/10 | 创新 1.4/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.4/0.5 | 工程/实践 1/1.5

👥 作者与机构

  • Ryuichiro Higashinaka：机构信息未在 arXiv HTML 中可靠披露
  • Shinnosuke Takamichi：机构信息未在 arXiv HTML 中可靠披露
  • Tetsuji Ogawa：机构信息未在 arXiv HTML 中可靠披露

📌 核心摘要

该任务输入为文本与双说话人参考语音，输出为双通道、单人单通道的立体声对话波形，难点在于重现重叠、打断与简短应答等同时性现象且需使重叠时机可控而非由模型隐式随机决定。方法链第一步由外部模块将文本转化为按25 fps对齐的音素栅格与语音活动栅格，明确每帧每通道的音素与发声状态。第二步基于活动栅格衍生出包含发声、起止与切换等在内的10类帧级交互状态条件，将对话交互显式编码为条件信号。第三步将上述栅格与交互条件连同DACVAE编码的参考声纹一起注入12层整流流DiT，通过双通道批叠加共享权重回归速度场并经DACVAE解码为48 kHz波形，条件偏置在深层持续注入以维持时序一致性。与直接从文本序列化生成混合或立体声的方法不同，该设计将重叠显式参数化为可外部编辑的栅格输入，使同时发声可被精确控制并避免隐式学习导致的交替倾向。在LLM-jp-Zoom1的Test chunk Eval评测设置下，KABURI (GT)的交互自然度得分从Irodori (GT)的2.61升至3.64，方向为显著提升且在五点量表上保持优势。结论的适用边界受限于30秒窗、日语闲聊域与60人语料，对长时对话、其他语言、栅格构建误差及主观评测者偏差的外推尚未验证。训练成本为声学模型在7张Quadro RTX 6000上以有效批量28训练30k步、时长预测器在1张同型号硬件上批量32训练12k步，推理开销为32步ODE数值积分与分类器无关引导scale 2.5带来的延迟。

🔗 开源与复现资源

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

任务是什么：输入什么、要输出什么、必须保留什么信息

本工作要解决的是双人全双工对话的语音合成，且输出必须是双通道、每通道 1 位说话人的立体声对话。输入不是一段混在一起的文本，而是按说话人分开的音素光栅与由此导出的语音活动光栅，外加每位说话人的参考语音隐变量。输出是每帧每通道的 DACVAE 隐变量序列，解码后得到左通道为说话人 A、右通道为说话人 B 的 48 kHz 波形。必须保留的信息有 3 类：一是内容与时长，即每 1 帧发什么音素与发多久；二是何时在说话，即每帧是否发声以及是否重叠。

三是谁在说，即通过参考隐变量保持音色一致。研究动机在于训练全双工对话模型需要大量双通道对话数据，而现有对话合成要么把单说话人合成结果按时间摆在一起，要么从文本直接生成混合语音，都会出现重叠不足、交互不自然且难以控制何时重叠的问题。因此本文把可控性放在首位，要求重叠不是隐式学出来而是由外部给定的光栅显式决定，声学模型只负责按光栅把声音渲染出来。

为便于复述，先把离散化方式说清楚。全文把一段对话按 25 fps 离散为 T 帧，实验中固定处理 30 秒窗口故 T 等于 750。记通道 c 属于 A 或 B，音素光栅 p 的每个元素属于音素表或静音符号 sil，活动光栅 a 的每个元素取 0 或 1 且在本文实现中由音素是否等于 sil 直接得到。交互状态由活动光栅确定性计算得到，共 10 类，包含 4 类基础状态与 6 类边界状态，边界帧优先取边界类。生成目标是立体声隐变量 z，维度为 2 通道乘 750 帧乘 32 维，推理时通过 32 步 ODE 数值积分与分类器无关引导得到隐变量再解码。

关于资源可得性，本次核对时论文中给出的代码与模型链接本次未能确认可达，包含代码仓库与预训练模型及第三方工具链接均返回暂时不可达状态，因此不能写作当前已公开或可直接下载，需写作链接当前未能确认可达，后续以实际可访问时为准。这一约束不影响对方法与实验的复述，但复现时需先自行解决基座模型与对齐工具的可获得性。

本解读的组织遵循学习依赖：先说明任务与相关路线以明确对比条件，再给出方法全景与组件计算细节，随后讲训练与光栅构造及推理流程，再展开实验条件、结果与反证，最后讨论局限与复现要点。所有事实均以论文原文证据为准，未在证据中出现的数值、实现细节或效果不作补充推断。

相关路线如何划分：同输入同目标下的三类做法有何不同

按输入形式、输出形式与是否显式处理重叠，现有对话合成可分为 3 条路线。第一类是用单说话人 TTS 逐句合成每位说话人的语音，再把这些句按时间摆成对话。由于单说话人 TTS 本身音质高，这类方法的单句音质通常很好，但交互是在后处理摆放阶段决定的，模型本身不建模说话人之间的相互影响，因此难以生成自然的抢话、后通道与重叠，摆放策略也难以还原真实对话的间隙分布。

第二类是把带说话人标签的句序列串行化后生成单通道混合语音，代表工作包括 SoundStorm 与 MOSS-TTSD 等。这类方法把对话当作一个序列来生成，更容易学到自然的上下文衔接，但输入是串行化的文本，重叠不是显式条件，输出也倾向于轮流说话，难以控制何时重叠以及重叠多长。另 1 分支如 CoVoMix 处理每说话人的语义 token 序列，能建模交互但输出仍是混合音频且不支持对重叠的显式控制。

第 3 类是从文本直接生成双通道、每通道 1 位说话人的立体声对话，代表工作包括 CHATS、基于 Moshi 的多流 TTS、ZipVoice-Dialogue-Stereo 与 DialoSpeech 等。这类方法在输出形式上与本工作最接近，都能给出可分离的双通道语音，但同样是从文本直接到语音，重叠如何出现与出现多久是隐式从数据中学到的，既可能出现重叠不足，也难以让设计者按需指定重叠。

本工作的定位是把显式可控的重叠作为一等条件。做法是把对话的时序安排从声学模型中剥离出来，交给外部的音素光栅构造模块，声学模型只在给定光栅与活动条件下渲染声音。这样设计者可以通过改光栅来定制重叠，而声学模型专注于按帧按通道把音素与活动实现为自然的声学细节。相关工作的对比点因此不在单句音质本身，而在是否能在双通道输出上同时满足可分离、重叠充分且可控三点。

问题形式化：如何把对话离散为可条件化的光栅

形式化上，输入包含三部分。第一是音素光栅 p 等于 p 的 A 与 p 的 B，每个通道在每帧 t 取一个音素符号或静音。第二是活动光栅 a 等于 a 的 A 与 a 的 B，每帧每通道取 0 或 1，本文实现中令 a 等于指示函数 1[p 不等于 sil]，即有音素即视为在说话。第三是说话人参考 s 等于 s 的 A 与 s 的 B，分别是把参考语音经 DACVAE 编码得到的参考隐序列。输出是立体声隐变量 z 等于 z 的 A 与 z 的 B，每通道为 T 乘 32 的序列，经 DACVAE 解码器得到波形 x 的 A 与 x 的 B。声学模型定义条件分布 p_theta(z|p,a,s)。

离散化与同步是关键。所有输入都与 T 帧同步，称为光栅，这意味着音素、活动与交互状态在同一时间轴上对齐，便于按帧注入条件。交互状态 iota 等于 g(a)，由活动光栅确定性计算，每帧取 0 到 9 共 10 类，基础状态 4 类为静音、仅 A、仅 B 与重叠，边界状态 6 类为 A/B 各自的起止与 A 到 B、B 到 A 的说话人切换，边界帧优先取边界类。这种设计把活动光栅扩展为更细的交互语义，使模型不仅知道当前谁在说，还知道是否正处于切换瞬间。

按一个样本走一遍有助于理解。假设有一段 30 秒对话，先把 2 人的文本分别转为音素序列，再按某种时序安排把音素铺到 750 帧上得到 p 的 A 与 p 的 B，随后按是否为静音得到 a 的 A 与 a 的 B，再由 a 算出每帧的 iota。把 p、a、iota 与参考隐变量 s 一起送入声学模型，模型在隐空间生成带噪立体声隐变量的去噪轨迹，最终得到 z 的 A 与 z 的 B 并解码为双通道波形。若想让某句后通道更早出现，只需在光栅上把该句的起始帧前移并让对应帧的活动与交互状态变为重叠，声学模型会在不改变其他内容的前提下按新光栅渲染重叠。

方法全景：从光栅到立体声隐变量再到波形的路径

全景上，KABURI-TTS 建立在已有的单通道单说话人零样本 TTS 之上，该基座是一个 12 层的 Rectified-Flow DiT，本文通过 LoRA 与部分权重解冻把它适配为双说话人立体声对话模型。整体数据流分为条件准备、条件注入与声学解码 3 段。条件准备把音素光栅、活动光栅、交互状态与说话人参考对齐到同一帧轴；条件注入把这些条件以可加偏置与交叉注意力形式送入 DiT；声学解码在隐空间完成速度场预测与 ODE 积分后再用 DACVAE 解码为波形。

为建立直观印象，先阅读模型结构图。图中顶部并列 4 类输入，随后汇入带噪立体声隐变量，再进入 12 层 DiT，左侧标注的音素回注与右侧的说话人交叉注意力分别指向对应层，底部依次为速度场、ODE 求解器与 DACVAE 解码器并输出左右通道波形。

看图路径： 1. 沿顶部四类输入到 Noisy stereo latent zτ 再到 Rectified-Flow DiT 的纵向主路径确认条件注入位置；2. 对比左侧 phoneme re-inject 在 2、4、6、8、10 层的回注与右侧 Speaker cross-attn 在全部 12 块的注入差异；3. 跟踪 Rectified flow velocity 到 ODE solver 再到 DACVAE decoder 的推理链条与输出的 L/R 双通道波形对应关系；4. 核对图中标注的 2ch×T=750×32 与 32 steps、CFG λ=2.5 等实现细节是否与正文一致

原论文 Figure 1：Model architecture

论文图 1。原论文 Figure 1:：“Model architecture”。

该图把实现要点浓缩为可核对的细节。音素、活动与交互条件在把隐变量投影到隐藏空间后以可加偏置注入，且音素条件会在深层块的第 2、4、6、8、10 层重复注入以保持音素信息贯穿各层。说话人特征通过把参考隐变量送入全部 12 个块的说话人交叉注意力来体现。双通道 A 与 B 在 1 次前向中沿批次维度堆叠并共享权重，2 通道不直接混合，相互影响通过上述条件来表示。推理时模型输出形状为 2 通道乘 750 帧乘 32 维的速度场，经 32 步 ODE 积分与引导尺度 2.5 得到隐变量估计，再由 DACVAE 解码为双通道 48 kHz 波形。

全景的另一要点是光栅由外部模块提供。声学模型不负责决定何时说与说多久，只负责按给定的光栅把声音渲染得自然。这种解耦使重叠可控：若外部模块给出重叠的光栅，声学模型就会生成重叠的语音；若外部模块给出无重叠的光栅，输出也会相应无重叠。外部模块在本文中提供两种实现，分别为统计放置与轻量时长预测器，二者在训练与推理阶段的角色不同，将在后文分别说明。

组件与计算：条件如何注入、目标如何定义、输出如何得到

组件层面，输入共有 4 类：音素光栅、活动光栅、交互状态与说话人参考。活动光栅由音素光栅导出，交互状态由活动光栅确定性计算得到，因此三者在帧轴上严格同步。生成目标是立体声隐变量的带噪版本 z_tau，DiT 将其映射为速度场。条件注入分两路：一路是把音素、活动与交互条件投影后作为可加偏置加入隐藏表示，且音素条件在第 2、4、6、8、10 层重复注入；另一路是把参考隐变量送入每层的说话人交叉注意力以保持音色。双通道沿批次维度并行处理，权重共享。

音素光栅 × 语音活动光栅： 音素光栅负责在 25 fps 的每 1 帧上指明 A、B 2 通道当前发的是哪个音素或静音，语音活动光栅则把音素是否为静音二值化为是否在说话，二者搭配的理由是音素提供内容与时长约束而活动提供何时说与是否重叠的交互约束，组合后模型既能按内容发音又能按活动显式控制重叠与轮替。

该段落解释了内容与时机如何分工。音素光栅决定说什么与说多久的细粒度内容，活动光栅决定何时在说话与是否重叠，二者共同为每 1 帧提供内容与时机约束，使模型在重叠帧也能区分是谁在发什么音素。

交互状态 × 边界状态： 交互状态把每 1 帧的活动光栅映射为 10 类标签，基础状态区分静音、仅 A、仅 B 与重叠 4 种，边界状态区分 A/B 各自的起止与 A→B、B→A 的说话人切换 6 种，二者搭配的理由是仅用基础状态会丢失轮替瞬间，加入边界状态后在边界帧优先用边界类，组合后模型能在每帧获得更细的交互语义以显式调节重叠与切换。

该段落解释了基础与边界为何都要。基础状态让模型知道当前帧的说话组合，边界状态让模型知道是否正处于起止或切换瞬间，二者组合后模型在边界帧能更准确地处理能量起伏与衔接，避免把短的后通道或切换误判为连续语音。

DACVAE 隐变量 × Rectified-Flow DiT： DACVAE 隐变量是把波形按帧编码为 32 维连续隐序列并可解码回 48 kHz 波形的声学表示，Rectified-Flow DiT 是把带噪立体声隐变量映射为速度场的 12 层生成骨干，二者搭配的理由是隐变量提供紧凑可逆的声学空间而 DiT 提供条件生成能力，组合后可在隐空间完成 32 步 ODE 积分再解码为双通道波形。

该段落解释了声学表示与生成骨干如何配合。DACVAE 把波形压缩为每帧 32 维的连续隐变量并可无损解码，DiT 在该隐空间学习从噪声到数据的速度场，二者配合使生成在紧凑空间完成且解码后仍保持 48 kHz 的波形质量。

训练与推理的目标需要与公式对应。训练采用 rectified flow 的速度回归为主损失，并辅以时序相关的二分类辅助损失与向预训练权重回拉的正则。推理采用 32 步 ODE 数值积分并对音素条件施加分类器无关引导，引导尺度为 2.5，缺省以 0.15 概率在训练时丢弃音素条件以支持引导。

\[\displaystyle\mathcal{L}=\]

该公式的符号与计算目标按原文可复述如下。tau 属于 0 到 1 为 rectified flow 时间，z_tau 等于(1 减 tau) 乘 z 加 tau 乘 epsilon 为插值后的带噪隐变量，v_theta 为模型预测的速度场，目标速度为 epsilon 减 z。第一项为速度回归，对每帧按活动加权 omega(a) 等于 a 加 0.05 乘(1 减 a)，即语音帧权重为 1、静音帧权重为 0.05，目的是抑制静音帧的贡献但仍需生成静音的隐变量。第二项为时序辅助损失，从 DiT 中间表示用小头预测 5 类时序要素的二分类标签，分别为每通道的活动、起止、重叠与是否发生说话人切换，每类权重 lambda_k 为 0.1。第三项为 L2-SP 正则，权重 lambda_sp 为 1e-4，把被解冻的权重拉回预训练值以防遗忘基座知识。

训练与光栅构造：如何适配基座以及如何得到可控的光栅

训练适配上，基座为 Irodori TTS 的 12 层 Rectified-Flow DiT，本文通过插入秩 256 的 LoRA 到注意力与 MLP 层，并解冻后段块、LayerNorm 与输入输出层来适配，其余权重保持冻结。新增的条件注入层零初始化，使训练前输出等价于基座。优化器为 AdamW，声学模型在 7 张 Quadro RTX 6000 上有效批量 28 训练 30k 步约 7.4 轮，学习率 1e-4，取最后检查点。时长预测器在 1 张同型号 GPU 上批量 32 训练 12k 步约 3.4 轮，学习率 5e-5，同样取最后检查点。

统计放置 × 时长预测器： 统计放置是不学习的构造方法，按训练集的方向相关间隙分布与音素平均时长按比例分配时长，时长预测器是约 0.8M 参数的 2 层 Transformer 编码器把音素、说话人与上下文映射为音素时长、静音时长与间隙的分箱分类，二者搭配的理由是前者复现真实轮替分布且稳定，后者利用上下文实现更灵活的时长，组合后为同一声学模型提供两种可替换的光栅来源以对比可控性与自然度。

该段落解释了两种光栅构造的分工与搭配。统计放置完全基于训练集统计量，不学习：先按方向相关的间隙经验分布通过分段线性逆 CDF 采样决定句间间隙，采样时用均匀变量限制在 0.05 到 0.95 以排除极端离群，并对说话人切换时的重叠上限设为 0.3 秒；再按音素平均时长把句总帧数按比例分配给各音素，若超出窗口则等比缩放。

时长预测器则用约 0.8M 参数的 2 层 Transformer 编码器把音素、说话人、通道与对话上下文映射为音素时长、静音时长与间隙的分箱分类，分箱数分别为 30、24 与 57，负间隙表示重叠，训练除交叉熵外还有句长、语速与帧状态的辅助损失，推理时对音素时长与间隙用期望解码、对静音时长用 argmax，并对间隙加 9 帧的均匀校正以缓解期望解码导致的轮替过紧，若超出窗口同样等比缩放。

LoRA 适配 × 零初始化条件注入： LoRA 适配是在注意力与 MLP 中插入秩 256 的低秩旁路并仅解冻后段块与 LayerNorm 及输入输出层以保留基座能力，零初始化条件注入是把新增的音素、活动与交互偏置层初值置零使训练前输出等价于基座，二者搭配的理由是既要高效适配到双通道对话又要避免初期破坏单说话人先验，组合后训练初期稳定、后期逐步学会按光栅与活动渲染立体声。

该段落解释了高效适配与稳定初始化如何配合。LoRA 与选择性解冻让模型以少量可训练参数学会双通道条件渲染，零初始化则保证训练初期不破坏基座的单说话人生成能力，二者配合使适配过程既保留先验又能逐步引入对音素、活动与交互的显式条件。

推理流程上，给定文本先经 g2p 得到音素序列，再由统计放置或时长预测器构造双通道音素与活动光栅，随后计算交互状态并与参考语音隐变量一起送入声学模型，模型输出速度场后经 32 步 ODE 积分与引导得到立体声隐变量，最后由 DACVAE 解码为双通道波形。需要强调的是，声学模型本身不决定时序，时序完全由外部光栅决定，因此重叠是否出现与出现多久是可控的。

实验条件：数据、划分、基线与评测如何保持可比

数据采用 LLM-jp-Zoom1，这是一个约 1085 小时的日语日常对话数据集，包含 2000 段约 30 分钟的 Zoom 录制，参与者 60 人，话题 15 类。数据被切为 30 秒块并划分为训练、验证、测试。测试为验证未见说话人处理能力而设为包含已见与未见说话人的子集，但由于总共仅 60 人，测试未见子集包含 10 位完全未见与 7 位已见说话人。具体划分为训练 1760 段对话对应 113310 块、50 位说话人，验证、测试已见与测试未见各 80 段对话，分别对应 5159、5131 与 5128 块，说话人数分别为 43、39 与 17。所有对话语音先用 Silero VAD 切句并用 Whisper-v3 转写，再对每块做 g2p 并用 Montreal Forced Aligner 对齐得到每通道音素光栅，块边界有语音时边界转写结果计入该块。

评测设两种协议。Test chunk Eval 从测试已见与测试未见各随机抽 50 块共 100 块，用这些块的真实音素光栅或由文本经统计放置或预测器构造的光栅合成对话语音。Text-in Eval 则让大语言模型按给定约束生成对话文本，约束包括 2 位说话人 A 与 B、每行一句、非严格交替、包含 3 到 5 个简短后通道、避免难读专有名词与数字、每句约 5 到 25 字符且为口语化短句、内容连贯，共按 15 个话题各生成 4 段得到 60 段输入，参考语音对所有系统统一从训练集前 10 位说话人中采样 1 对。

基线设置保持可比。Test chunk Eval 的对比包括真人语音上限 GT、KABURI 的 3 种光栅变体分别为直接用真实光栅的 KABURI(GT)、用统计放置的 KABURI(stat) 与用预测器的 KABURI(pred)，以及基于 Irodori TTS 的两种基线分别为按真实摆放的 Irodori(GT) 与按统计放置的 Irodori(stat)，所有系统使用相同的说话人参考信息。Text-in Eval 的对比包括 KABURI(stat)、KABURI(pred)、Irodori(stat) 与被视为对话语音生成强基线的 MOSS-TTSD，后者生成单通道混合语音因此严格来说评测对象不同但仍作为竞争基线。

主观评测指标为三项五点 Likert 量表，分别为 Q1 句级自然度、Q2 交互级自然度与 Q3 可懂度，分数越高越好。评测在 CrowdWorks 上进行，每段约 25 到 40 秒的合成语音由 2 名众包工人评分，共 140 名不同工人参与，每人评 12 段。统计检验上，方法间比较采用配对 Wilcoxon 符号秩检验并在每项指标内用 Benjamini-Hochberg 控制 FDR 为 5%，已见与未见子集比较采用 Mann-Whitney U 检验并同样校正。

客观分析另设语音活动统计。按 20 毫秒窗口在 25 fps 下计算短时能量，能量至少为通道峰值 5% 的帧视为语音，由此得到二值活动序列并统计 Overlap 为双通道同时说话的帧占比、Silence 为双通道均静音的帧占比与 Switches 每分钟仅说话人发生改变的次数，Overlap 与 Switches 越大表示交互越密集，Silence 越大表示停顿越长。该统计用于验证主观自然度是否与更频繁的重叠与轮替一致。

主结果：自然度与可懂度在两种评测协议下如何变化

在 Test chunk Eval 中，真人语音上限在各项上均最高，合成语音尚未达到该上限。在给定真实光栅时 KABURI 表现良好，说明当提供准确的音素与时序时模型能生成合适的语音。在合成语音之间的比较中，句级自然度上 KABURI(GT) 最好，KABURI(pred) 次之且显著优于 KABURI(stat) 与基于 Irodori 的基线，论文解释为统计放置按语料级统计量分配音素时长而预测器利用音素、说话人与上下文信息，因此更能建模句内时序的上下文相关性。交互级自然度上 KABURI(GT) 最好，KABURI(pred) 与 KABURI(stat) 相当且优于基于 Irodori 的基线，说明在交互自然度上统计放置已足够强。可懂度上 KABURI(stat) 优于 KABURI(pred) 与基于 Irodori 的基线，且数值上优于 KABURI(GT)。已见与未见子集在各系统与各维度上均未发现显著差异。

为回答在真实光栅与可部署光栅下自然度如何变化以及不同基线在公平条件下的差距，整理 Test chunk Eval 的主观结果如下。表前已说明比较问题为在相同参考语音与相同文本条件下不同光栅来源与不同声学模型对句级与交互级自然度及可懂度的影响，公平条件为所有系统使用相同参考信息且统计放置与预测器均基于同一训练集统计或训练，指标方向为分数越高越好。

系统句级自然度交互级自然度可懂度对比说明
GT 上限4.424.434.31真人语音
KABURI(GT)3.493.643.65真实光栅
KABURI(stat)2.963.463.82统计放置
KABURI(pred)3.203.373.54预测器
Irodori(GT)2.902.613.49单说话人基线真实摆放
Irodori(stat)2.892.793.54单说话人基线统计摆放

该表显示的主要收益是显式按光栅与活动条件渲染的 KABURI 在句级与交互级自然度上均优于把单句合成结果拼接的 Irodori 基线，且在给定真实光栅时优势更明显。具体代价与反例是统计放置在句级自然度上低于预测器，说明仅用语料级平均时长难以还原句内细腻时序，而预测器在可懂度上低于统计放置，提示更灵活的时长可能以牺牲清晰度为代价。未胜出项方面，Irodori 基线在交互级自然度上显著偏低，反映独立合成再摆放难以产生自然的衔接与重叠。

在更贴近实际文本输入的 Text-in Eval 中，KABURI(stat) 总体最好，MOSS-TTSD 在交互级自然度与可懂度上次之。句级自然度上各方法间未观察到显著差异但 KABURI 得分高于基线。交互级自然度上 KABURI(stat) 显著优于 KABURI(pred) 与 Irodori(stat)，与 MOSS-TTSD 相比未达到显著但在校正后 p 等于 0.071 处呈现边缘显著倾向。论文强调 MOSS-TTSD 生成的是混合语音而本文方法生成可分离双通道，在更困难的混合条件下本文方法仍取得相当或更优的交互自然度。

为回答在完全由文本生成光栅的实用条件下哪种策略更稳健，整理 Text-in Eval 结果如下。表前比较问题为在统一文本与统一参考语音下统计放置与预测器及外部强基线对自然度与可懂度的影响，公平条件为所有系统共享同一批生成文本与同一对参考说话人，指标方向仍为越高越好。

系统句级自然度交互级自然度可懂度输出形式
KABURI(pred)3.303.303.76双通道可分离
Irodori(stat)3.073.113.72双通道拼接
MOSS-TTSD3.203.533.79单通道混合

该表的主要收益是 KABURI(stat) 在交互级自然度与可懂度上取得最好数值且显著优于同为双通道的 Irodori(stat) 与同为 KABURI 的预测器变体，说明在实用文本输入下稳定的统计放置更能保证交互自然。具体代价是 KABURI(pred) 在此协议下交互自然度回落，提示预测器在未见文本上的泛化仍有提升空间。未胜出项方面，Irodori(stat) 交互自然度最低，再次说明独立合成再摆放的交互建模不足，而 MOSS-TTSD 虽为强基线但在可分离性上不具优势。

语音活动分析：重叠与轮替是否真的更频繁

为验证主观自然度的提升是否伴随更密集的交互，论文基于能量阈值的二值活动序列统计重叠、静音与每分钟切换次数。该分析不直接度量对输入光栅的帧级依从性，仅刻画输出活动的聚合特征，因此不能等同于控制精度的帧级评估。

在 Test chunk Eval 中，KABURI(GT) 的轮替接近真人，KABURI(stat) 与 KABURI(pred) 也接近真人，但 KABURI(pred) 的静音占比高于 KABURI(stat)。基于 Irodori 的方法重叠少、静音多、轮替少，论文解释为逐句独立合成导致句长与真实不一致，短的回应或后通道被吸收到对方语音中或与同说话人相邻句拼接，使短轮替难以呈现为独立的发言段。在 Text-in Eval 中，KABURI 取得更多重叠与更频繁轮替，而基于 Irodori 的方法产生无重叠的块状句。

为回答不同声学模型与光栅来源是否在客观活动统计上复现真人对话的交互密度，整理语音活动统计如下。表前比较问题为在相同能量阈值与相同帧率下各系统输出的重叠比例、静音比例与每分钟切换次数是否接近真人，公平条件为所有系统按同一 20 毫秒窗口与 5% 峰值阈值计算活动，指标方向为 Overlap 与 Switches 越大表示交互越密集，Silence 越大表示停顿越长。

SystemOverlapSilenceSwitches/min
GT0.0760.31435.4
KABURI (GT)0.0740.32433.8
KABURI (stat)0.1050.19935.6
KABURI (pred)0.0960.26738.6
Irodori (GT)0.0510.42117.8
Irodori (stat)0.0130.40211.6

该表显示的主要收益是 KABURI 各变体在两个协议下均保持与真人接近或更高的重叠与切换频次，且静音占比低于 Irodori 基线，支持主观上交互更自然的判断。具体代价与反例是 KABURI(stat) 在 Test chunk Eval 中重叠达到 0.105 高于真人的 0.076，提示统计放置可能产生略多的重叠，而 KABURI(pred) 静音偏高提示其时序仍偏保守。未胜出项方面，Irodori(stat) 在 Test chunk Eval 中重叠仅 0.013 且切换仅 11.6 次每分钟，明显偏离真人的 35.4 次，说明其交互密度不足。需要补充的是，该统计为聚合特征，未直接检验每帧是否严格跟随输入光栅，帧级控制保真度仍待评估。

局限与边界：哪些结论有证据、哪些仍待验证

已验证的结论包括：在给定真实光栅时 KABURI 能生成合适的双通道对话语音；在可部署的统计放置与预测器条件下 KABURI 在句级与交互级自然度上优于把单句合成结果拼接的 Irodori 基线；在实用文本输入下 KABURI(stat) 交互自然度最好且客观上重叠与轮替更频繁。这些结论由配对检验与 FDR 控制支持，且在已见与未见说话人子集间未发现显著差异。

有限解释与待验证推测需要区分。论文对 KABURI(pred) 句级自然度较高的解释是预测器利用了音素、说话人与上下文信息从而更好建模句内时序，这一解释是合理的机制假设但未通过消融直接证明各信息源的贡献。统计放置在交互自然度上足够强的结论在当前数据与话题范围内成立，但是否在更长对话、更多说话人或跨语言场景下仍成立尚未评测。语音活动统计支持交互更密集，但未度量帧级对光栅的依从性，因此不能据此声称控制精度已完全达标。

未评测的边界包括：输出帧率固定为 25 fps 且窗口固定为 30 秒，对任意时长的支持仍在未来工作；基座仅验证了 Irodori TTS，其他基座的适配效果未比较；与更多对话合成器的对比未展开；训练与推理的计算开销、实际延迟与误判率等部署指标未系统测量，因此不能承诺这些量已得到改善。总体趋势不等于每组每步都成立，例如 KABURI(pred) 在 Test chunk Eval 中句级自然度较好但在 Text-in Eval 中交互自然度回落，说明不同协议下最优策略可能不同。

方法假设方面，活动光栅由音素是否为静音直接得到，这一简化忽略了静音内部的细微能量与呼吸等非音素活动，若未来需要更细的交互控制可能需要更精细的活动定义。间隙采样时对重叠上限设 0.3 秒与对均匀变量限制在 0.05 到 0.95 等截断处理有助于排除离群，但也限制了极端重叠的表达能力，需在可控性与自然度之间权衡。

复现要点：先做什么、关键超参数与信息条件

复现时建议按数据准备、基座准备、光栅构造、声学适配与推理 5 步进行。数据准备需复现 30 秒分块、Silero VAD 切句、Whisper-v3 转写、g2p 与 Montreal Forced Aligner 对齐的流水线，并按论文划分复现训练 1760 段对话 113310 块与验证及两个测试子集各 80 段对话的规模，特别注意测试未见子集包含 10 位完全未见与 7 位已见说话人的构成。基座准备需获取 Irodori TTS 的 12 层 Rectified-Flow DiT 与 DACVAE 编解码器，本文实现中通过把 Irodori 的文本输入权重设零来禁用其文本分支，这一细节对复现条件注入的起点很重要。

关键超参数按原文保留。声学模型方面，隐变量维度 32，帧率 25 fps，窗口 750 帧，LoRA 秩 256，解冻后段块、LayerNorm 与输入输出层，新增条件注入层零初始化，速度回归权重对语音帧为 1、对静音帧为 0.05，辅助时序损失 5 类各 0.1，L2-SP 正则 1e-4，训练时以 0.15 概率丢弃音素条件，推理引导尺度 2.5、ODE 步数 32。光栅构造方面，统计放置的间隙采样基于方向相关经验分布的分段线性逆 CDF，均匀变量限 0.05 到 0.95，重叠上限 0.3 秒，句总帧数按音素平均时长比例分配；时长预测器为 2 层隐藏维度 192 约 0.8M 参数，分箱数 30、24、57，推理对音素时长与间隙用期望、对静音用 argmax 并对间隙加 9 帧校正，超出窗口等比缩放。

信息条件上，声学模型训练需要每帧对齐的音素与活动光栅及参考隐变量，缺一不可；推理需要外部模块先把文本转为光栅再送入声学模型，因此复现可控重叠的关键在于光栅构造模块的质量。若仅复现声学模型而沿用真实光栅，可验证模型本身的渲染能力；若要验证实用文本输入下的效果，则需同时复现统计放置或时长预测器并保持与论文相同的文本生成约束与参考语音采样方式。

关于代码与权重可得性，本次核对时论文中给出的代码仓库与模型下载链接本次未能确认可达，因此不能写作已公开可直接运行，需写作链接当前未能确认可达，复现前需先确认基座、对齐器与 VAD 等第三方工具的可获得性并记录版本。硬件预算上，声学模型训练使用 7 张 Quadro RTX 6000 有效批量 28 训练 30k 步，时长预测器使用 1 张同型号 GPU 批量 32 训练 12k 步，可作为资源规划参考。

何时值得尝试与还需补哪项验证

当任务要求输出为双通道可分离对话且需要显式控制何时重叠与重叠多久时，KABURI-TTS 的解耦设计值得尝试。其优势在于把时序决策交给外部光栅，使设计者可以通过改光栅来定制后通道、打断与重叠，而声学模型专注于按光栅把声音渲染得自然。实验显示这种显式条件在主观交互自然度与客观重叠频次上均优于把单句结果拼接的基线，且在实用文本输入下统计放置已能提供稳健的交互自然度。

选择光栅构造策略时可按目标权衡。若更看重句内时序的细腻与句级自然度，可优先尝试时长预测器并关注其在未见文本上的泛化；若更看重交互自然度与可懂度的稳健，可优先采用统计放置并复现其方向相关间隙分布与音素时长比例分配。无论哪种策略，都应保持与论文相同的公平条件，即统一参考语音、统一文本与统一活动计算阈值，否则自然度与重叠统计的对比将失去可比性。

还需补充的验证包括：帧级对光栅的依从性度量以直接评估可控精度；任意时长与更长上下文下的稳定性；更多基座与更多对话合成器的横向对比；跨语言与跨话题的泛化；以及训练与推理的延迟、显存与误判率等部署指标的系统测量。完成这些验证后，才能更全面地判断该方法在数据增强与全双工对话模型训练中的实际收益。

📎 论文与评分元数据

排名：前50% | 文档类型：方法研究 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

  • 评分规则：type-aware-v1

  • 评分模型：muse-spark-1.2-contributor

  • 评分请求协议：openai_responses

← 返回 2026-09-10 语音/音乐/音频论文速递