英文题目：Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.419
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#端到端学习 #高效推理 #语音 #全双工语音交互
评分：7.3/10 | 创新 1.6/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.2/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Zhenyu Liu：机构信息未能从会议 PDF 纯文本可靠映射
- Xuanyu Zhang：机构信息未能从会议 PDF 纯文本可靠映射
- Yunxin Li：机构信息未能从会议 PDF 纯文本可靠映射
- Qixun Teng：机构信息未能从会议 PDF 纯文本可靠映射
- Shenyuan Jiang：机构信息未能从会议 PDF 纯文本可靠映射
- Haolan Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Mingjun Zhao：机构信息未能从会议 PDF 纯文本可靠映射
- Fanbo Meng：机构信息未能从会议 PDF 纯文本可靠映射
- Yu Xu：机构信息未能从会议 PDF 纯文本可靠映射
- Yancheng He：机构信息未能从会议 PDF 纯文本可靠映射
- Baotian Hu：机构信息未能从会议 PDF 纯文本可靠映射
- Haizhou Li：机构信息未能从会议 PDF 纯文本可靠映射
- Min Zhang：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
原生全双工口语模型需在持续监听用户音频流的同时并发输出语音回复，需处理打断、反向通道与轮次管理，难点在于声学建模与语义建模挤占同一深层参数空间导致知识退化与语义受损。为定位根因，先以StepAudio-2-mini初始化的原生通道复用架构为对象，在训练集1K样本上累积文本与语音交叉熵梯度并计算逐层余弦相似度与幅值比，发现浅层0-9层为正协同而深层转负发散，且填充时间对齐压制语义梯度形成语义稀释。以该几何结论为依据，保留浅层统一Transformer主干处理通用低层特征，其输出共享表示直接送入深层并行分支。深层分裂为语义头、声学头与控制头以隔离冲突优化方向，同时以连续文本内部独白构建语义对齐通道维持高幅值语言建模梯度流，二者衔接实现模态分离与知识保持且不增加模型深度。与原生端到端强行共享深层及Thinker-Talker多阶段分离不同，该层次化解耦在原生框架内解决梯度冲突，兼顾超低延迟与语义完整性。在LlamaQ、WebQ与TriviaQA语音问答基准下，Lychee-FD的语音到语音平均准确率为46.2，高于原生基线Fun-Audio-Chat的38.8。该结论适用边界受限于上述初始化架构与受控问答及全双工基准的验证范围，更开放多说话人场景的泛化尚未验证。推理开销方面原文报告其在FullDuplexBench 1.5上的中断停止延迟为570ms且首包与中断延迟最低，表明层次化分离未引入额外深度延迟。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么：为什么要同时听和说？
这篇论文研究的输入是连续的用户语音流，目标是让语音语言模型在自己说话的同时继续听。举一个教学用的例子：用户问做法，模型正在回答，用户中途插话问配料，模型要停下并回答新问题，之后还能区分随口应答词与真正打断。半双工这个白话说的是轮流制，英文是 half-duplex，同一时刻只听或只说；全双工这个白话说的是双向并发，英文是 full-duplex，听与说在时间上重叠。论文的起点是已有半双工语音模型能回答问题，但硬切到全双工后知识与流畅度会受损。
需要保留的信息是任务不是单句识别或单句合成，而是包含打断、应答词、轮次接管与暂停判断的交互。输出是可直接播放的语音回应，外加内部文本与控制信号。本文默认从原文独立写作，不引用外部评价，资源状态为本次未发现可用公开链接，因此不声称代码权重已公开。
全双工 × 半双工： 半双工负责轮流听与说，1 次只做 1 个方向，流程简单但打断不自然；全双工负责同时听与说，要在说话时继续监听用户插入、应答词与停顿。两者搭配的原因是论文要从半双工基座扩展到全双工，组合意义在于必须在不丢失半双工知识的前提下新增并发对话管理能力。
论文把原生全双工语音模型简称为 FDSLMs，把模态干扰称为 modality interference。干扰在这里不是指噪声，而是指声学建模与语义建模在同一参数空间互相拖累。理解这一点后，后面的梯度分析与分头设计才有学习依赖：先知道要同时优化什么，再看为什么共用深层会失败。
已有路线如何做全双工，各自卡在哪里？
第一类是系统级全双工，用语音活动检测这个外部模块当作对话管理员。白话说就是先有一个检测器判断用户是否在说话，再决定半双工模型停不停。论文列出的例子是 Freeze-Omni 与 VITA-1.5。这类做法改动小，但级联会带来延迟与误差传递，打断判断错了，后面生成也会错。 第二类是时分复用，白话是把听与说排成一条队，英文是 Time-Division Multiplexing，缩写是 TDM。
它让语言模型自己管理对话，不需要外部检测器，但序列变长后计算复杂度上升，长上下文交互受限。 第 3 类是通道划分复用，白话是分车道并行，英文是 Channel-Division Multiplexing，缩写是 CDM。它显式保留并发的输入流与输出流，理论上最贴近人同时听说的形式。Moshi、dGSLM、FLM-audio 与 Fun-Audio-Chat 被归入原生全双工，其中 Fun-Audio-Chat 采用思考者-讲述者结构。思考者-讲述者这个白话是分工制，英文是 Thinker-Talker，思考器管语义，讲述器管声音。
原生端到端这个白话是一体机，英文是 native end-to-end，语音文本共享同一深层。论文报告 Moshi 在全双工对齐后 LlamaQ 下降 12.7%，WebQ 下降 5.7%，用这个已报告的下降说明一体机存在知识退化。
通道划分复用 × 时分复用： 时分复用负责把听与说 token 压成一条时间序列，用模型自身做对话管理；通道划分复用负责把输入输出保留为并发流，分别建模同时发生的听与说。论文选择通道划分复用的原因是时分复用序列变长、长上下文代价大，组合意义在于为监听、文本、控制、发声并行流提供结构基础。
思考者-讲述者 × 原生端到端： 思考者-讲述者负责把声学生成与语言主干解耦，用独立讲述模块保知识；原生端到端负责在共享语义空间直接做语音到语音推理，延迟低但易干扰。搭配原因是论文要说明现有路线在知识保留与推理效率之间难以兼得，组合意义是引出保持深度不变的并行头方案。
同输入同目标的对照是：同样要处理打断与轮次，系统级靠外部检测器，原生路线靠模型内部。论文没有把类别差异直接当胜负，而是把延迟与知识保留分开讨论，这一点在结果部分还要用延迟指标核对。
中心矛盾是什么：效率与知识为何难以兼得？
论文提出的核心问题是：如何在全双工语音模型里同时实现高推理效率与稳健知识保留。把半双工基座改成一体机，准确率会掉；改成思考者-讲述者，知识保住了，但多阶段训练复杂且推理要过多模块，延迟上升。图 1 把这种两难画成准确率对推理代价的散点，横轴推理代价越小越好，纵轴准确率越高越好。阅读时要先确认对象：黑色星形是半双工基座，蓝色菱形是原生端到端，红色菱形是思考者-讲述者，绿色菱形是本文的 Lychee-FD，灰点是其他基线。 下面这段是该散点的导读，读完再看图，重点是绿色点是否同时靠上靠左。
看图路径： 1. 先找到黑色星形的半双工基座，看横轴推理代价与纵轴准确率的位置；2. 再比较蓝色原生端到端菱形向下掉、红色思考者-讲述者菱形向右移的 trade-off；3. 最后看绿色 Lychee-FD 菱形是否同时靠上且靠左
论文图 1。原论文 Figure 1：“Visualization of the efficiency and intelligence trade-off.”。
从像素可见，蓝色路径从黑色星形向下走，意味着代价相近但准确率明显下降；红色路径向右上方走，意味着准确率维持但推理代价大幅增加；绿色 Lychee-FD 从黑色星形略向上走，横向几乎不右移。论文用这张图表达设计目标：不增加模型深度，用并行头保持效率，同时恢复语义能力。这只是动机展示，真正的因果证据在梯度分析与消融里，不能只看这张图就认定方法有效。
Lychee-FD 全景：一个样本如何走完输入到输出？
Lychee-FD 是论文提出的原生端到端全双工框架，白话是保持一体机低延迟，但内部深层按模态分开。沿一个样本走一遍：输入是用户语音波形，先经 Whisper-v3-large 编码器得到听觉表示；输出侧并行产生 3 类 token，分别是文本回应、语音回应与控制信号，控制信号用开始与停止类特殊 token 管理说话起止。语音输出用 CosyVoice 2 的离散语音 token，帧率是 25 Hz，论文强调这个 25 Hz 与基座 Step-Audio-2 的原设置不同，是为了精确时间对齐。文本侧不是稀疏填充文本，而是连续内部独白，作为语义锚。 下面这段是架构图的导读，读完再看三栏布局，重点是共享与分离的分界线在哪里。
看图路径： 1. 先从左到右区分思考者-讲述者、原生端到端、Lychee-FD 三栏的主干与分支；2. 再看底部听觉输入如何进入共享 Transformer；3. 最后看顶部发声、文本、控制三类输出分别从哪个头引出
论文图 3。原论文 Figure 3：“Two mainstream architecture paradigms of SLMs and our proposed Lychee-FD.”。
从像素可见，左栏是思考者-讲述者，下方大 Transformer 上方再接 Talker；中栏是原生端到端，上下都是同一个大 Transformer；右栏是 Lychee-FD，下方是共享 Transformer，上方分成 3 个并行小块，分别连向发声、文本与控制通道，图例区分了用户语音、语音回应、文本回应、开始与停止。论文的安排理由是浅层处理低层共性特征可以共享，深层语义与声学冲突必须分离，且并行执行不增加深度，因此推理效率接近一体机。需要补的缺项是各头初始化与冻结细节原文没有完整交代，不能从模型名推定哪些参数冻结。
诊断与计算：梯度方向和幅值分别说明什么？
论文先做优化动态分析，白话是只做前向与梯度累积、不更新参数，看文本损失与语音损失在各层想要往哪个方向走。实验用 StepAudio-2-mini 初始化的原生 CDM 结构，在训练集取 1000 个样本累积文本 token 生成的交叉熵与语音 token 生成的交叉熵的梯度。层梯度向量记为文本侧与语音侧，符号含义是第 l 层参数对各自损失的梯度并展平。接着用余弦相似度量方向是否一致，用梯度模长比衡量语义监督强度是否被压制。 下面这段是诊断图的导读，读完再看上下两面板，重点是零线与层号的关系。
看图路径： 1. 先看上面板梯度余弦随层号从正值跌到零线以下的过程；2. 再看下面板红色对齐曲线与蓝色稠密曲线在各层的相对高低；3. 最后核对深层红色曲线是否明显低于蓝色并跌向 1 以下
论文图 2。原论文 Figure 2：“Optimization Dynamics Visualization. (a) Gradient Cosine Similarity: The transition to negative values in deep layers reveals conflicting optimization directions between semantic…”。
从像素可见，上面板纵轴是梯度余弦相似度，横轴是层号，曲线从 0 层约 0.2 附近下降，10 层附近穿过零线，深层在零线以下小幅波动，标注由任务协同变为任务冲突；下面板纵轴是梯度比，蓝色稠密文本曲线整体高于红色对齐曲线，红色在深层一路下降到 1 以下，标注由语义主导变为语音主导。论文把前者称为优化发散，后者称为语义稀释。稀释的机制是文本约 3 Hz、音频约 25 Hz，常用做法用填充 token 把稀疏文本拉齐到音频帧，导致语义梯度密度下降。
优化发散 × 语义稀释： 优化发散负责描述文本与语音梯度余弦在深层转负、方向互相拉扯；语义稀释负责描述填充对齐把文本梯度幅值比压低、优化被声学主导。两者搭配的原因是同一组实验从方向与幅值两个几何角度诊断干扰，组合意义是分别对应参数分离与对齐通道两个设计。
方向一致性的计算目标是判断两任务在该层是否要往同一方向更新，公式先取两向量夹角余弦。
\[S(l) = cos(g(l)\]共享表示的计算是把输入嵌入序列送入浅层共享 Transformer 堆栈，符号中 E 是输入嵌入，theta shared 是共享参数。
\[Hshared = Fshared(E; θshared)\]深层输出是把共享表示并行送入文本、声学、控制 3 个头，m 取自文本、声学、控制，O 是各头 logits。
\[Om = Fm m ∈{T, A, C}\]分层参数分离 × 语义对齐通道： 分层参数分离负责把深层按模态拆成独立头，让语义与声学梯度不再挤在同一组参数里更新；语义对齐通道负责用连续文本独白提供高密度语义监督，防止稀疏对齐稀释语言建模。搭配原因是前者解决方向冲突，后者解决强度被压制，组合意义是深层解耦后仍保持连贯内部语义。
总损失是三头各自下 1 token 预测交叉熵之和。原文没有给出梯度是否截断或加权，不能猜测各头损失权重，复现时应按等权求和起步并记录缺项。
训练与数据如何构造：打断和应答词从哪里来？
由于开源全双工数据稀缺，论文自建自动化合成管线，覆盖打断、用户应答词与 AI 应答词 3 类行为。流程是多智能体模拟：用户智能体按人物画像与说话风格扮演真人，不追求乐于助人；助理智能体按对话历史回应；评审智能体按画像一致性、事件执行质量与逻辑流打分。打断分 2 个阶段，先规划动机与插入位置，动机包括纠正、追问、话题转移、强烈情绪反应与不耐烦，再按动机生成打断 utterance。
应答词以后处理概率注入，p 等于 0.5，用户侧与 AI 侧分别插入类似 uh-huh、gotcha 的短反馈并打标签。语音用 CosyVoice 2 合成，配 80K 预设音色做零样本克隆，经过滤后保留约 140K 全双工对话样本。 优化器用 AdamW 加余弦学习率，8 张 NVIDIA H20，全局 batch 为 32，学习率为 3e-6，warmup 比例为 0.1，训练 1 个 epoch，约 16 小时。推理对文本与语音 token 用贪心采样，评测取 3 个随机种子平均。结构默认共享主干 24 层，文本头 4 层、语音头 4 层、控制头 2 层，总参数约 10B。
论文用层数消融支持 4 层选择：LlamaQ 准确率从浅分离的 36.0% 快速升到 65.4%，之后增益饱和而计算量线性增长，因此选 4 层。资源状态方面，本次没有收到可验证的公开仓库可达证据，正文不写已公开，只能说论文声明要开源框架、管线与权重，复现前需先确认链接可达。
测什么、和谁比、条件是否一致？
语音智能用 LlamaQ、WebQ、TriviaQA 3 个口语问答集，报告语音到文本与语音到语音两种准确率，语音到语音用 Whisper-large-v3 转写生成语音再判分，还报告接管率这个轮次行为指标，接管率高不一定好，要结合误接管看。基线包括系统级的 Freeze-Omni、VITA-1.5，原生的 dGSLM、FLM-audio、Moshi、Fun-Audio-Chat，以及半双工的 StepAudio-2-mini。论文对 SALMONN-omni 注明是自己实现，比较时要注意实现差异。 全双工聊天用 FDBench、FullDuplexBench 1.0 与 1.5。FDBench 看成功回复率、成功打断率、早打断率、成功回复打断率，以及首语音延迟与打断响应延迟。
1.0 分打断、助理应答词、轮次、用户暂停 4 个子集，看接管率、停止延迟与应答词频率；1.5 用 GPT-4o-1124 分类回应并报告打断回应率与应答词恢复率及延迟。语音质量在 LlamaQ 上看文本与转写语音之间的词错率一致性与 UTMOS 自然度，UTMOS 越高越好。公平条件方面，问答与聊天都按各基准推荐设置跑基线与本方法，采样与种子平均已交代，但解码与语音合成链路不完全同构时，语音到语音分数会受转写器影响，这是必须记住的边界。
主结果：知识与交互流畅度各赢在哪里？
先看口语问答。论文报告相对之前原生最优的 Fun-Audio-Chat，Lychee-FD 在语音到语音平均提升 7.4%，在语音到文本平均提升 8.8%；相对系统级 VITA-1.5，语音到语音高 10.8%，语音到文本高 0.7%。更关键的是相对半双工基座 StepAudio-2-mini，Lychee-FD 在语音到文本高 0.2%，在语音到语音高 5.3%，且接管率保持 100%，说明没有用拒答换分数。下表把核心可运行基线与本方法放在同一问答条件下比较，指标方向都是越高越好，比较问题是去掉外部检测器的一体机能否保住语义。
| 模型 | LlamaQ 语音到文本 | LlamaQ 语音到语音 | 平均语音到文本 | 平均语音到语音 | 平均接管率 |
|---|---|---|---|---|---|
| Fun-Audio-Chat | 72.3 | 64.3 | 42.7 | 38.8 | 99.9 |
表后解释：Lychee-FD 的主要收益在平均分上拉开差距，LlamaQ 单点只高约 1 个点，说明增益更多来自 WebQ 与 TriviaQA 的稳健性；代价是需要三头结构与连续文本监督，训练数据必须包含打断与应答词标注。未胜出项是 WebQ 语音到文本的 38.3，低于 VITA-1.5 的 41.8 与半双工基座的 39.9，说明在该子集检索式问答上仍有边界，不能说所有问答都最优。 再看全双工交互。论文报告在 FullDuplexBench 1.5 上相对 Freeze-Omni 平均提升 28.5%，在 11 个交互指标中 10 个最优。
下表用同一基准下的可运行原生与系统级基线比较，SRR 与 SIR 越高越好，EIR 越低越好，延迟越低越好。
| 模型 | 成功回复率 | 成功打断率 | 早打断率 | 打断回应延迟 | 中断停止延迟 |
|---|---|---|---|---|---|
| Moshi | 41.4 | 78.8 | 22.1 | 1421 | 1071 |
表后解释：Lychee-FD 的成功回复与成功打断大幅领先，早打断降到 0.4，停止延迟降到 570 ms，支持低延迟且少抢话的判断；但 VITA-1.5 在 1.0 的打断接管率略高，同时它的应答词与暂停接管率也偏高，说明激进说话可以刷高某一项接管率，论文因此强调要看平衡 profile 而不是单项接管率。
延迟要分开看：首语音延迟看模型处理速度，打断停止延迟还依赖是否正确识别打断，识别错了停得快也没有意义。 下面这段是语音质量图的导读，读完再看柱状图，重点是去掉分离后是否塌掉。
看图路径： 1. 先按横轴找到 Freeze-Omni、Moshi、Step-Audio-2 与两个 Lychee-FD 变体；2. 再比较纵轴 UTMOS 柱高，确认最高柱与最低柱；3. 最后比较去掉参数分离后柱高下降的幅度
论文图 4。原论文 Figure 4：“Comparison of speech synthesis quality via UTMOS. Lychee-FD (w/o Param-Sep) denotes the vari- ant without hierarchical parameter separation strategy.”。
从像素可见，Lychee-FD 柱最高标 4.50，其次 Step-Audio-2 为 4.44，Freeze-Omni 为 4.21，去掉参数分离的变体跌到 3.72，Moshi 为 3.31。论文用这个对比支持深层共享会损伤韵律细节的解释，但 UTMOS 是训练好的质量评估模型，不是人评，不能把自动分直接当成人耳偏好。
拿掉哪个部件会塌：分离与对齐各自管什么？
论文做两个变体。去掉语义通道是用稀疏时间对齐文本替换连续独白，结果语音到文本掉 5.6%，语音到语音掉 5.4%，两路并行下降支持稀释假设：稀疏监督撑不起语言建模，连带拖累语音内容。去掉参数分离是用全共享结构，结果文本生成相对稳定，但语音准确率掉到 27.6%，论文原文描述为优化 landscape 被语义主导、压制声学学习。注意这里与前面幅值图的表面方向似乎相反：前面说对齐稀释后声学主导，这里说全共享时语义主导。
教学上应理解为不同层与不同配置下主导方会变，不能把总体趋势推广到每一层每一步。 层数消融显示分离 4 层已解决主要冲突，继续加深收益递减而计算量线性上升，因此默认文本头与语音头各 4 层。跨架构验证把同样余弦分析搬到 Moshi，浅中层 0 到 19 为正，深层 23 到 31 转负，与 StepAudio 结构趋势一致，支持冲突不是单个架构偶然。全局影响分数进一步从因果角度看：全共享基线中语音更新对文本为负，分离后两方向转正，论文用正负号表示破坏还是协同。
复现时应先复现余弦随层下降与对齐比低于稠密比，再跑消融，不要只看最终平均分。
什么情况下会误判：旁白与多人场景为何难？
论文在局限与错误分析中明确，开放麦多人旁白仍是未解决边界。模型对打断很敏感，检测到用户语音就会停，但在用户跟第三人说话时也会停并错误回应，例如用户问室内植物时中途跟室友说披萨，模型停下后去接披萨话题，打断原主题。论文把原因暂归于数据合成以双人直接交互为主、缺少复杂多人意图标注，而不是分层架构本身瓶颈，但这属于有限解释，不是已验证因果，应用时应表述为可能与待验证。
另一个边界是误判率与真实延迟没有在开放环境测量，基准延迟是在受控评测链路下得到，不能承诺真实会议室或客厅同样低延迟。百分点与相对百分比也要区分：7.4% 与 28.5% 是论文报告的平均改进幅度，阅读时要回到原表核对是平均准确率差还是相对增益，不要自行换算。未评测边界包括韵律意图消歧、多说话人分离与长时间并发，这些都没有证据，不能说方法天然具备。
要复现先做什么：数据、配置与检查点顺序是什么？
先按原文重建数据管线：抽人物画像与 19 种说话风格，跑用户与助理多轮模拟，按纠正、追问、转移、情绪、不耐烦 5 类动机插入打断标记，再以 0.5 概率注入双向应答词，最后用评审智能体按画像一致性、打断质量、应答词自然度 1 到 5 分过滤，目标量级是约 140K，语音用 CosyVoice 2 与 80K 音色合成。缺少这部分，连续文本监督与控制信号就没有来源。 再按配置训练：共享 24 层，文本头 4 层、语音头 4 层、控制头 2 层，AdamW、余弦调度、学习率 3e-6、warmup 0.1、batch 32、1 epoch，8 卡约 16 小时，贪心解码，3 种子平均。
先检查诊断是否复现：余弦随深度转负，对齐曲线低于稠密曲线；再检查消融方向：去语义通道两路同降，去分离语音路大跌、UTMOS 从 4.50 跌向 3.72。关键超参数与信息条件是 25 Hz 声学帧率、3 通道并行损失、Whisper-v3-large 输入编码，缺任何一项都要先补验证。公开性方面，本次只见到论文声明的地址，没有完成可达验证，因此复现计划应把仓库可达性作为第一项待验证，不把权重下载当作已具备。
何时值得尝试这个分层思路，何时不必？
当你的全双工模型出现深层共享后问答掉分、语音自然度掉分，且浅层共享仍有协同证据时，值得尝试浅共享加深分离：保持深度不变做并行头，同时保留连续文本独白做语义锚。这个组合的适用条件是文本与音频帧率差异大、必须用对齐处理时间错位，否则稀释问题不突出，收益可能有限。 当系统已能接受外部检测器延迟，或任务主要是单轮问答不需要打断与应答词时，不必照搬三头全双工，半双工加检测器可能更省事。
还要记住论文特有的误解：接管率 100% 不是越高越好，激进抢话也会推高接管率；首延迟低不等于打断处理好，打断停止延迟还看意图识别；自动 UTMOS 高不等于人耳一定更喜欢。下一步最需要补的验证是开放麦多人旁白的意图识别与误打断率，以及真实设备上的端到端延迟，只有补上这些，才能把受控基准的流畅度结论推广到日常对话。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses