英文题目：TASTE2: Text-Aligned Speech Modeling and Deployment toward Full-Duplex Voice Interaction
标签：#全双工语音交互 | #多模态学习 | #轮次切换 | #语音合成 | #流式处理
评分：7.3/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.2/1.5
👥 作者与机构
- Yi-Chang Chen：机构信息未在 arXiv HTML 中可靠披露
- Chun Wei Chen：机构信息未在 arXiv HTML 中可靠披露
- Dien-Ruei Wu：机构信息未在 arXiv HTML 中可靠披露
- Jie Lin：机构信息未在 arXiv HTML 中可靠披露
- Yu-Kuan Fu：机构信息未在 arXiv HTML 中可靠披露
- Yang-Hsien Lin：机构信息未在 arXiv HTML 中可靠披露
- Eddie TC Huang：机构信息未在 arXiv HTML 中可靠披露
- Simon See：机构信息未在 arXiv HTML 中可靠披露
- Hung-yi Lee：机构信息未在 arXiv HTML 中可靠披露
- Da-Shan Shiu：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
全双工语音交互需以流式输入同步完成语义理解、轮次抢占与让出判断、被打断即停与增量语音合成，还须保留预训练文本能力与副语言线索。TASTE2先用冻结Distil-Whisper编码器加注意力聚合器为每个文本token抽取一个连续音频隐变量，实现文本速率的模态对齐表示。接着基于Qwen2.5-7B的口语语言模型以加权求和融合文本嵌入与对齐隐变量，自回归预测文本token及其滞后一位的音频隐变量对，并经TIES合并注入指令遵循向量后做打断感知对话微调。最后基于Qwen2.5-0.5B的语音解码器将该隐变量对映射为CosyVoice2的S3单元并经流匹配与声码器增量合成，由VAD触发与模型门控共同驱动VoiceBot部署。与交错插入声学token的方案不同，该设计使序列长度严格等于文本长度，避免长度膨胀下的声学负载挤占语义精度。在LLaMA-Questions基准语音问答任务下，TASTE2(Merge)的准确率保持率相对TASTE2(Direct)为92.4%升至98.2%，方向为明显提升。该结论适用边界受限于平滑轮次接管延迟较高、自然对话韵律与多属性显式副语言控制仍弱，且尚未验证长时噪声与多说话人外推范围；部署实测显示双卡NVIDIA RTX A6000上平均首音频延迟经TensorRT优化后为2701毫秒，合成器仍是主要瓶颈。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，先保留哪些信息？
本文解读的对象是 TASTE2，一套把文本对齐语音建模推向全双工语音交互的研究系统。输入是用户陆续到达的语音，目标是在边听边说中决定何时接话、何时保持沉默、被打断时立刻停下，并在恢复后说出与上下文衔接的话。
必须保留的信息有 3 类。第一是语言内容，加入语音后不能让问答能力明显退化。第二是声学副语言线索，情感与语速等不能在模块交界处被丢掉。第三是对话历史，它必须等于用户实际听到的内容，而不是模型已经生成的内容。
输出是增量处理的语音对话，既包括口语模型，也包括可运行的 VoiceBot 部署栈。举例来说，用户问今天天气如何，系统要在识别文字的同时保留说法特征，再生成文字加说法的成对回答。
资源状态是本次唯一依据。本次未发现来源绑定且完成验证的资源，因此不能声称代码、模型或数据已公开，只能按论文文字讨论方法与实验。
同输入同目标的路线有哪些，为何仍难两全？
传统级联路线输入也是语音、目标也是对话，但做法是语音识别转文本、大模型回文本、语音合成读文本。好处是各模块可独立优化，代价是文本接口丢掉了情感、韵律和语速，副语言无法影响回答内容。
联合建模路线把语音直接接到预训练文本大模型，好处是信息不断层，代价是声学码挤进序列会冲淡文本预训练学到的规律。论文点名了两种代价形态，并行解码流与多码本流分别只保留约三成和八成多的文本精度。
把声学完全交给下游模块的做法虽然保住了语义，却是靠不让语言模型承担声学负载换来的。这不是同条件胜负，而是结构分工不同。全双工部署是第二个正交矛盾，端到端双通道建模信息流动充分但部件难单独改进。
模块化同步让部件可替换但边界易丢信息。轮次管理本身有独立传统，从词法预测回合结束，到从音频直接预测双方未来语音活动，再到用基准统一考暂停处理与打断。
论文把 VoiceBot 放在模块化一侧，但因为表示层同时携带文本与音频，轮次边界可以在文本词元层决策。副语言方面要区分两件事，显式控制是用户明确说快一点并照做，隐式适应是用户没说而从语气自行推断。本文只系统评测显式控制，不评测隐式适应。
原版 TASTE 卡在哪三处，TASTE2 要改什么？
原版 TASTE 已经提出一个文本词元对应一个语音表示，避免文本与语音长度错位。但论文指出它不适合增量对话。第一，基于 Whisper 的分词器与大模型词表不一致，需要在词边界上做平均对齐。
这种平均会丢掉细粒度信息，还依赖语言相关的切分规则。第二，合成栈按整句输出，不能边生成边播。第三，没有验证对齐表示是否支持接管、打断与显式副语言控制。
TASTE2 的改动正对这三处。词汇上全栈统一使用口语模型的分词器，语音分词器、口语模型与语音解词器共享同一文本词表，不再做词级平均。训练上采用模态对齐目标，每个文本词元预测一个连续音频隐变量。
合成上把解词器接到 CosyVoice2 的流式管线，按块产出语音单元。教学例子是，用户说你好，系统内部不是变出一串长度无关的声学码再拼接，而是你、好每个位置各带一个声学向量。
沿一个样本走完输入到输出的全景
假设用户说出一句今天天气如何，系统先用流式语音识别得到文字，同时用冻结的语音编码器抽取声学帧，再用注意力聚合器按文字位置聚合成一一对应的音频隐变量。接着对话模板把系统、用户、助手 3 段按顺序排列，特殊符号标出段边界。
每个内容位置都是文本加音频的组合。对话口语模型自回归地预测下 1 对文本与音频，解词器把每对映射为 S3 语音单元，再经流匹配与声码器变成波形分块播放。
若用户中途插话，语音活动检测先发出闯入事件，编排器清除未播放缓冲并只保留已送达历史，然后用新输入继续生成。这保证恢复时说的话接得上用户实际听到的上下文。
文本词元 × 音频隐变量： 文本词元负责承载语言内容并决定序列长度与自回归走向，音频隐变量负责承载同一位置的声学实现而不占据新位置，二者按文本速率 1 对一配对的理由是避免交错异构序列稀释预训练语言规律，组合后模型每步同时产出说什么和怎么说而序列仍与纯文本等长。
上图是三部件关系总览，左为理解侧的聚合，中间为生成侧的成对预测，右为合成侧的流式转换，冻结与训练部件在图中分工明确，需要先建立这个全景再看细节。
看图路径： 1. 先沿左下波形经预训练语音编码器到注意力聚合器再到残差量化的主路走一遍；2. 对照下方口语模型中绿色文本与黄色隐变量交替出现的位置；3. 看右上流式语音生成器如何把词元加隐变量变成波形
论文图 1。原论文 Figure 1:：“TASTE2 architecture. The Speech Tokenizer uses a frozen Distil-Whisper encoder to extract continuous audio latents aligned with text tokens.”。
图 1 把 3 路对应起来看，左侧预训练语音编码器冻结，只训练聚合与量化，下方口语模型从问答大模型初始化并用低秩适配承担成对预测，右上流式生成器把每组输入对变成固定帧率音频。重点是序列长度始终等于文本长度，声学信息不占新位置，这正是后文语义保留率高的结构原因。
三个模型组件各自算什么，谁冻结谁更新？
语音分词器由冻结的蒸馏 Whisper 编码器、从 Whisper 解码器初始化的注意力聚合器与随机初始化的残差向量量化组成。编码器权重不动，解码器的输入嵌入换成口语模型词表并随机初始化。
解码器去掉语言模型头，直接输出连续嵌入给量化器。它的计算目标是从音频与识别文本得到每个词元位置的音频隐变量。语音解词器采用 CosyVoice2 的文本到 S3 结构，它学习把口语模型输出的词元加隐变量自回归映射到 S3 空间。
映射按每 5 组输入对产出 15 个 S3 单元，下游流匹配与声码器继承自 CosyVoice2 并冻结。口语模型从问答大模型初始化，用低秩适配训练成对预测。
语音分词器 × 语音解词器： 语音分词器负责把输入音频聚合成与文本词元对齐的连续表示以供理解，语音解词器负责把口语模型输出的词元加隐变量映射为可合成的 S3 单元，二者共享同一文本词表因而不再需要词级平均对齐，组合后理解与合成走同一对齐空间并支持流式分块。
部署侧有 4 个服务，用户语音处理器做语音活动检测、识别、分词与闯入检测，智能体响应生成器维护对话上下文并执行模型门控，智能体语音生成器做解词与声码，编排器做路由与同步回填。流式靠队列实现，识别异步转写，分词经第二队列产出对齐表示。
合成侧一路上收 S3 单元，一路执行图形处理器合成，互不阻塞。分词器虽为因果结构可增量累积上下文，但部署的普通回答仍等到检测到语音结束才触发语义门。
VAD 触发 × 模型门控： VAD 触发负责从声学上判断有声到无声或无声到有声的切换时刻，模型门控负责用<|im_end|>的分布判断该静音是否为语义回合结束，二者分工是声学只管何时看一眼分布、语义才决定是否接话，组合后不需独立轮次分类器即可在文本词元层做接管决策。
轮次机制分两层，声学层以 100 毫秒静音为触发去看一眼分布，语义层检查结束符是否进入前 800 名或概率是否超过 0.3，任一成立才进入助手段。标点歧义用前瞻解决，若预测到标点则借助键值缓存再看下一个词元的结束符概率。
闯入处理靠无声到有声跳变在识别完成前就发事件，随后关闭语音生成连接、清空未播缓冲、重置事件标志并重建连接。下图展示系统连线，重点看中断红线如何同时作用于缓冲与生成器，需要先理解声学只管快、语义只管对的分工。
看图路径： 1. 从前端音频输入经编排器到三路后端服务的箭头方向；2. 找到左侧打断检测经红色虚线到清理音频缓冲与重启语音生成的路径；3. 确认中间接管检测框标注的符号概率是语义门
论文图 3。原论文 Figure 3:：“TASTE2 VoiceBot system architecture. Four WebSocket services form the dialogue pipeline: the User Speech Processor performs VAD, ASR, TASTE tokenization, and interruption…”。
图 3 的教学价值在于把声学触发与语义决策分开，左侧只管快速检测语音起止，中间用结束符概率做语义门，编排器居中协调，前端只管按需索取，后端只管连续生成，二者速率解耦后一致性靠送达记录维持，这是理解全双工部署的关键。
播放与历史一致性靠拉取加回填实现，时序图把正常、打断、恢复 3 段并置，正常时每送达一块才加入对应词元，打断时清除未送达块且对应词元永不加入。
看图路径： 1. 按正常对话从上往下跟踪请求音频块与送达后加入历史的两步；2. 在中间红色打断带确认未送达块被清除且不再加入历史；3. 看底部恢复对话时生成与请求如何重新对齐
论文图 4。原论文 Figure 4:：“Pull-based audio delivery and synchronized feedback.”。
图 4 说明关键不变量是对话历史精确等于用户听觉体验，正常对话中请求与送达交替推进，打断带中红色信号同时触发清理与关闭重连，恢复对话从已送达边界继续。这解释了为何打断后仍能连贯，因为被截断的文本序列恰好停在用户听到的地方。
拉取式音频投递 × 同步词元回填： 拉取式音频投递负责让前端按播放节奏逐块索取音频并记录实际送达边界，同步词元回填负责只把已送达音频对应的智能体词元加入对话历史，二者搭配是为了生成快于播放且可被打断时历史仍等于用户实际听到的内容，组合后打断可精确截断而不再引用未播放的话。
三阶段训练与两种指令引入方式如何操作？
训练分 3 段。第一阶段联合训练语音分词器与语音解词器以建立音频隐空间，第二阶段把预训练文本模型用低秩适配转成口语模型，目标是成对预测文本与音频。对话监督微调阶段冻结分词器、解词器、流匹配与声码器，只继续用低秩适配调口语模型。
微调学习多轮回复、轮次边界与对打断序列的反应。数据上前 2 阶段用约 40600 小时语音，对话阶段用约 1493 小时，含多轮正常对话、合成中断场景与显式副语言控制对话。合成对话经大模型写场景、多轮扩写、打断改写与模型打分过滤再合成音频。
指令能力有两条路径。路径一从基础模型开始第二阶段，之后用任务向量合并把指令能力搬运过来再做对话微调。路径二直接从指令模型开始第二阶段，不做合并。合并做法是取指令模型减基础模型的差向量，只保留按绝对值最大的前 30% 参数。
再以 0.5 系数加到口语模型主干上。该步骤不需额外训练数据与算力。符号含义是主干权重、基础权重、指令权重与稀疏化后任务向量，目标是无训练地迁移指令行为。
\[\hat{\tau}=\mathrm{TopK}_{p}(\tau),\quad p=0.3\]上式说明稀疏化只保留最重要的指令方向，其余置零以减少干扰，这是任务向量合并的第一步，直接决定搬运哪些参数。
\[W_{\text{merged}}=W_{\text{SLM}}+\lambda\cdot\hat{\tau},\quad\lambda=0.5\]上式说明合并强度由系数控制，论文取 0.5，两条路径除初始化与是否合并外，对话数据、目标与微调流程相同，因此后文两者差距可归因于指令引入方式。
残差向量量化 × 连续隐变量回归： 残差向量量化负责在第一阶段把隐空间收紧为可预测的离散瓶颈目标，连续隐变量回归负责在第二阶段让口语模型直接预测连续向量而不预测量化索引，二者搭配的理由是无约束连续空间重构好但不可学，组合后以重构精度换取隐空间可收敛性。
对话模板沿用问答分词器自带的类 ChatML 格式，特殊符号划分系统、用户与助手。输入组合按段区分，系统段文本配零填充音频因其不发声，用户段文本来自识别转写配分词器抽取的音频。
助手段文本配真值音频。损失对用户与助手段计算，系统段只作条件。正常轮对全部词元计损失，被打断的助手轮把末尾结束符权重设为 0 而保留之前内容损失。下图把模板、嵌入配置与打断掩码并置，阅读前需先明确零填充表示无声、屏蔽表示被打断。
看图路径： 1. 先看左列 ChatML 三段模板的起止符号；2. 再看中列特殊符号用零填充而用户与助手位置配对音频的差异；3. 最后看右下被打断轮把末尾符号标为不计损失的位置
论文图 2。原论文 Figure 2:：“Dialogue template and interruption-aware training strategy.”。
图 2 要这样读，左上 3 段模板决定条件范围，中上灰色特殊符号一律零填充以示无声，右下红色屏蔽位是全双工的关键监督，它让模型学会被打断时不必补结束符。训练时完整用户段后接结束符、不完整用户段后接续内容词，因此结束符概率自然成为轮次结束的信号。
用什么数据与指标测语义、打断、延迟与风格？
语义保留用 LLaMA-Questions 的 300 题口语问答，语音提问同时生成文本与音频，以回答包含正确答案计分，文本基线是同一问答指令模型零样本贪心解码。其他系统的行来自已发表的不同主干与提示配置，因此保留率不可直接横向排名。
只能看各自相对自身基线的保持程度。保留率定义为口语精度除以文本精度乘 100，100% 表示持平，高于 100% 表示反超，比较前必须核对数据集与解码是否一致。
\[\text{Retention (\%)}=\frac{\text{SpokenLM}_{\text{Accuracy}}}{\text{LLM}_{\text{Accuracy}}}\times 100\]上式中分子是口语系统精度，分母是其所基于的文本模型精度，百分点与相对百分比不可混用，这是后文所有保留率数字的计算口径。
全双工用 Full-Duplex-Bench v1.0 的 4 种行为，暂停处理看是否在用户停顿乱抢话，接管率越低越好，流畅接管看是否在回合结束低延迟接话，接管率越高越好。用户打断看是否停下并连贯适应，接管率越高越好、延迟越低越好。
暂停在合成与自然 CANDOR 两类上测，流畅接管只在自然对话上测。延迟指从触发事件到开始回应的秒数。部署延迟另用首音频时间衡量，从用户语音结束到系统首声。
它含后端与前端开销，在 4 秒到 60 秒 5 种输入长度各测 1 次并取平均，硬件为两块 RTX A6000 批量为 1，对比的商用助手经手机应用测量且硬件未知。副语言用人工 1 到 5 分评显式控制，另在微调前做特征续写探针。
语义保留测出了什么，比较条件公平吗？
核心问题是加了语音后语言能力掉了多少，比较对象是各自的文本基线，方向是保留率越高越好。下表把可运行的两条 TASTE2 路径与已发表行的保留率并置，但后者主干与提示不同，只能作结构对照而非同条件胜负，表前必须先明确这个公平条件。
| 条件 | 指标 | 文本基线 | 合并路径 | 直接路径 |
|---|---|---|---|---|
| LLaMA 问答 300 题语音问答 | 回答包含正确率与保留率 | 57.3% 文本精度 | 56.3% 精度，98.2% 保留 | 53.0% 精度，92.4% 保留 |
| 已发表对照结构 | 各自相对自身基线保留 | Mini-Omni 保留 29.7% | Moshi 保留 83.1% | Llama-Omni 保留 93.9% 文本独立声学下游 |
上表的主要收益是序列等长带来的保持，合并路径几乎持平文本基线，直接路径低约 5.8 个百分点。代价对照是结构差异而非同基线胜负，交错声学位置越多保留越低。
而把声学完全交给下游的做法保语义是构造使然。论文据此判断差距的一部分来自指令调优引入方式而非连续语音建模本身，未胜出项是直接路径，说明合并配方值得优先复现。
打断响应快且稳，流畅接话慢在哪里？
打断与接管方面，关键是接管率与连贯分越高越好、延迟越低越好，而暂停误抢是越低越好。下表整理模型级全双工关键数，TASTE2 在用户打断上全部停下且延迟极低，同时连贯分保持高位，但流畅接管延迟超过 1 秒。
| 条件 | 指标 | 合并路径表现 | 直接路径与对照含义 |
|---|---|---|---|
| 用户打断响应 | 接管率，连贯分，延迟 | 接管 1.000，连贯 3.275，延迟 0.060 秒 | 直接路径接管 0.971，连贯 2.856，延迟 0.134 秒 |
| 流畅接管自然对话 | 接管率与延迟 | 接管 0.908，延迟 1.207 秒 | 最快对照延迟 0.265 秒，TASTE2 慢约 1 秒 |
| 暂停处理合成与自然 | 接管率越低越好 | 合成 0.146，自然 0.389 | 直接路径自然 0.319 更优，合成 0.161 |
表后解释是延迟与连贯的权衡，快速反应者往往说不出有用后文，连贯者往往反应慢，TASTE2 靠可精确截断的文本历史兼顾了打断处的快与稳。代价是轮次决策要等语音活动检测结束再查分布，流畅接管因此慢。
未评测边界是主动重叠与自然对话的均匀鲁棒性，附和行为因部署门不产出倾听反馈而未报告，论文明确列为开放挑战。
部署首音频延迟的瓶颈是哪一段？
部署延迟问题是用户实际等多久才听到第一声，含合成与传输。5 个输入长度下无一致随长度趋势，故取平均。下表为原表选择，单位毫秒，方向越低越好，含必要基线与可运行策略，表前已说明商用系统经手机应用测量硬件未知，因此只能看量级差距。
| Input Length | 4s | 11s | 25s | 48s | 60s | Avg. |
|---|---|---|---|---|---|---|
| ChatGPT Voice | 1056 | 1056 | 1120 | 1376 | 2240 | 1370 |
| Gemini Live | 4160 | 3968 | 3840 | 4800 | 3392 | 4032 |
| Grok | 2016 | 3424 | 1984 | 1952 | 2176 | 2310 |
| TASTE2 w/o TRT | 3392 | 3232 | 3008 | 4000 | 3712 | 3469 |
| TASTE2 | 2464 | 2336 | 2912 | 3424 | 2368 | 2701 (-22%) |
表后解释是加速有效但瓶颈仍在，TensorRT 把平均首音频从 3469 毫秒降到 2701 毫秒，降幅 22%，仍高于商用对照的 1370 毫秒量级。论文定位瓶颈在智能体语音生成器而非口语模型，因此更轻或更有效的合成结构是最直接优化点。
单样本每长度 1 次且经人工核对波形静音到有声跳变，总体趋势不等于每组都成立。自然对话条件依然挑战大，部署平均首音频仍在 2.701 秒量级，这是后文复现时需要优先测量的用户体验指标。
显式风格控制哪些稳，哪些随策略变化？
显式副语言控制测的是照指令演出而非自行共情，方向是人工 1 到 5 分越高越好，低于 3 视为未达标。微调前续写探针显示快与慢已过线，低语可续写，恐惧与愤怒已弱。微调后快慢在两路径仍稳健，低语反而不能按需产出。下表整理人工分，需要先明确样本少且只覆盖 41 项子集。
| 条件 | 指标 | 合并路径人工分 | 直接路径人工分 |
|---|---|---|---|
| 语速快慢显式控制 | 人工 1 到 5 分越高越好 | 快 4.15 分，慢 3.00 分 | 快 3.53 分，慢 3.77 分 |
| 情感愤怒惊讶 | 人工 1 到 5 分越高越好 | 愤怒 1.33 分，惊讶 2.42 分 | 愤怒 3.33 分，惊讶 3.42 分 |
| 低语恐惧快乐悲伤 | 人工 1 到 5 分越高越好 | 低语 1.00 分，恐惧 1.17 分 | 低语 1.00 分，恐惧 1.33 分，快乐悲伤均低于 2 分 |
表后判断是阶段上限效应，第二阶段表示差的特征微调一般救不回来，而第二阶段可行也不保证经微调存活。快语速是跨策略的概念验证，情感控制策略依赖，其余弱。
未胜出项很多，这正是论文把跨属性通用控制列为开放问题的原因，不能把自动连贯分当成人评风格分，也不能与完整 VStyle 已发表分直接比较。
拿掉残差量化会怎样，指令合并差在哪？
残差量化的消融回答隐空间是否必须收紧，两配置除有无量化外数据与超参相同，第一阶段各训 4 轮测 S3 重构，第二阶段训 50,000 步测隐空间距离与文本精度。下表显示阶段目标相反，方向是重构越高越好、距离越低越好。
| 条件 | 指标 | 无残差量化 | 有残差量化 TASTE2 |
|---|---|---|---|
| 第一阶段重构 | S3 精度越高越好 | 46.83% | 23.56% |
| 第二阶段收敛 | 隐变量 L1 越低越好 | 14573 | 1.35 |
| 第二阶段语言 | 文本精度越高越好 | 9.16% | 38.67% |
表后判断是量化不提高保真而是提供可预测性，无约束连续空间重构好但口语模型学不会回归目标，连带拖累同一次前向的文本目标，文本精度只剩约 1/4。支持的结论是量化是结构必需而非偶然超参。
指令路径的对照显示合并路径语义保留 98.2% 对 92.4%，打断连贯与接管也一致占优，但在自然暂停上直接路径略好，说明合并改善指令整合但未在所有自然条件下占优。可能的待验证是其他约束形式是否同样有效，原文未给出故不猜。
哪些结论有边界，哪些数不能推广？
论文支持的窄结论是文本对齐表示以可测量的小代价保留文本能力，并把依赖该表示的打断行为做好。未验证的推测是自然对话鲁棒性、合成速度与通用副语言控制会自动跟上，原文明确说三者仍是开放挑战。
相关性不等于因果，保留率高与序列等长伴随出现，但跨系统比较主干与提示不同，不能据此断言长度是唯一原因。训练资源、推理开销、输出帧率与实际延迟要分开谈，25 赫兹 S3 与 50 赫兹梅尔是生成帧率，不是用户感知的首音频延迟。
像素不能精确辨别的曲线数值不硬写，残差消融图的纵轴是对数距离与精度，趋势支持量化必要但末步值只在引用原句时使用。附和指标缺失不是技术错误，而是部署门不产出倾听反馈的设计选择。
商用延迟对照硬件未知，只能说明量级差距。人工风格分样本少且只覆盖 41 项子集，不能与完整 VStyle 已发表分直接比较，打断连贯分与风格分也不能混用。
要复现先做什么，需要补哪项验证？
复现先做三件事。第一，用同一问答指令模型作文本基线，零样本贪心跑 300 题语音问答并按包含答案计分，再算保留率，避免换基线或换提示后比较。第二，固定数据与低秩配置复跑有无残差量化的 2 个阶段。
核对第一阶段 S3 重构与第二阶段隐变量距离加文本精度的相反走势，确认量化是为可学性。第三，在部署侧先实现语音活动检测触发加结束符门控与拉取式送达加同步回填，再测打断接管率与流畅接管延迟。
关键超参与信息条件要保留，稀疏保留前 30%、合并系数 0.5、门限前 800 名或概率 0.3、静音 100 毫秒触发、每 5 对产 15 单元、特殊符号零填充、被打断轮末尾结束符损失置零。确认历史等于实际播放是部署复现的核心检查。
还需补的验证包括自然 CANDOR 上的暂停与接管分布、长输入下的首音频分布而非单样本均值、副语言全量属性与多人评分一致性，以及隐式适应任务。资源方面本次未能确认可达，不应写当前可用或已公开。
论文未报告梯度细节与部分合成过滤阈值时应标为缺项，不从模型名推定实现。若后续要运行需自行核对官方页与权重下载是否可达。
何时值得尝试这种对齐路线？
当你的系统必须在保留问答大模型语言能力的同时每步产出声音，且需要被打断时精确截断历史，这种一词元一隐变量的对齐值得尝试。它把声学负担从占据位置改为伴随位置，用可学习的量化约束换取回归可行。
再用文本边界做轮次决策，用送达记录保历史一致。代价也很具体，流畅接管多等约 1 秒，首音频约 2.7 秒，风格控制只有语速稳、情感依赖策略。教学上记住三句话，长度等文本是保语义的结构前提。
可截断文本历史是打断又快又稳的原因，送达才入历史是部署不精神分裂的底线。若你的场景以自然闲聊重叠、极低首声或细粒度情感演出为核心，则需在合成轻量化与第二阶段表示质量上先补功课。
总体上，TASTE2 把原先整句级的方法改成增量对话栈，并用可运行系统验证了可行性与边界，这正是研究生复述时应抓住的主线，而不是把它当成通用语音助手的最终答案。
📎 论文与评分元数据
排名：前50% | 文档类型：系统技术报告 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses