📄 几何决定转向：全双工语音模型中的情绪方向
英文题目：Steering Follows Geometry, Not Labels: Emotion Directions in a Full-Duplex Speech Model
标签：#全双工语音交互 | #韵律与风格控制 | #统计分析 | #语音 | #可解释性
评分：6.0/10 | 创新 1.3/2 | 技术严谨 1/1.5 | 实验充分 1.1/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 0.8/1.5
👥 作者与机构
- Pulak Kuli：Independent Researcher
📌 核心摘要
全双工语音交互要求模型在边听边说时实时改变情感与表达方式，输入是用户音频与对话历史，输出是连续语音帧，难点在于流式状态与编解码都会压缩或扭曲情感线索。论文先用英文ESD每种情感800段真实语音驱动Moshi输出码本，读取残差流（指Transformer层间传递的隐藏状态序列）状态并以情感均值减中性均值得到每层方向，再把第0、8、24层方向在语音起始后每帧叠加注入到文本头与音频解码分支上游，使其只改变表达而不改动编解码器，随后用emotion2vec概率与线性探针（指在冻结表示上训练的简单分类器）检验可分性与操控效果。与已有提示控制和参考音频控制相比，该方法无需重训练，每帧仅需少量向量加法。在720句Harvard中性句的强制文本模式下，以emotion2vec概率为指标，愤怒操控得0.177，低于同行同指标的最强竞争者高兴0.328。在240句的共享成分保留比例对照中，以目标情感概率为指标，愤怒在保留一半共享成分时得0.288，高于保留全部时的0.184，且最强竞争者高兴从0.334降至0.162。方向间余弦分析与共享成分剔除实验解释了高唤醒情感互相串扰的原因，悲伤方向独立故可控。结论适用于Moshi的int8版本与英文ESD语料上的四种情感，不宜推广到其他双工模型或更广的情感体系。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
本次未形成可展示的已核验资源记录，开放状态尚未核实。
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
全双工语音助手要解决的情绪送达问题是什么
论文面对的是实时对话中的送达控制。输入是正在进行的双向语音流，模型要同时听和说，目标是在不改变要讲的基本内容的前提下，让同一句话听起来更缓和、更紧急或更柔和，同时保留可懂度和对话连贯性。必须保留的信息包括语义内容、说话时机和基本的音质，输出是逐帧生成的语音波形。作者举了 3 个例子：投诉降温、调度传达紧迫感、临床结果的委婉表达，人类可以自然调节，机器则需要显式机制。
传统做法有两条路线，一是提示词条件合成，给文本语音合成器一段描述情绪的提示，二是参考音频条件合成，给一段目标情绪的录音做风格参考。这两条路线更适合轮流式对话或离线文本转语音，因为它们在生成整句之前一次性给定条件。而全双工模型以 12.5 赫兹逐帧产生音频码本，自身还带有对话状态，随时可能被打断或需要改变语气，这就要求一种每帧都可加、不用重训练的轻量干预。
论文把研究对象定为完全开源的 Moshi，研究均值差激活转向在这种边听边说结构下是否仍然按标签起作用。
已有转向路线与本文的对照条件有何不同
要理解本文位置，需要把输入、目标、监督和运行阶段对齐。文本语言模型中的激活转向是在隐藏状态上加 1 个方向向量来改变行为，训练阶段不改参数，运行阶段逐词干预。EmoSteer-TTS 把这一思想带到语音，对流匹配合成器中搜索到的子集激活加差向量，也是不训练。
近期两项工作质疑单一全局方向是否合适，杜等用稀疏自编码器发现基于大语言模型的语音合成模型中情绪变化分布在多个隐特征上，对选中子集干预优于全局推动，王等从几何角度比较干预位置，发现流匹配模块中说话人与情绪纠缠，跨说话人泛化差，而语音语言模型模块有更干净的低维情绪子空间。另一类工作已进入全双工但不做送达控制，例如给 Moshi 加感知向量以减少错过打断起始的状态惯性，或通过训练条件化声音、话题和对话行为来控制送达。
本文的对照点正在于此：同样是免训练、同样在 Moshi 上加向量，但目标从打断感知换成 4 种情绪，干预点选在时间 Transformer 的残差流，而不是编解码器或说话人提示。PersonaPlex 作为 Moshi 扩展用提示控制身份，不控制情感，正好说明身份与情感控制是不同任务，不能把身份条件化的结论直接套用到情绪转向。
论文把情绪可控性拆成哪几个可检验的问题
论文没有笼统问情绪能否控制，而是拆成 4 个可测问题。第一，Moshi 的残差流中情绪是否线性可分，即用简单分类器能否从激活状态读出愤怒、悲伤、高兴、惊讶和中性。第二，用最简单的均值差方向做转向时，生成语音的情绪打分是否朝请求的目标移动，还是系统性偏向另一个情绪。第三，向量之间的余弦几何能否在不生成音频的情况下预判这种偏向，即不同情绪方向是否本来就几乎重合。
第四，这种重合中的共享成分去掉后能否修复转向，还是共享成分本身就是情绪感知的必要部分。每个问题都有明确的测量对象和比较基准：探针准确率对随机猜测率，转向后目标概率对真实录音得到的上限，方向间余弦对跨说话人自相似余弦，去除共享成分后目标概率与词错误率的变化。这种拆分让表示存在与转向可用分开，避免把解码成功误读为控制成功。
整体流程：方向如何构造再如何每帧注入
方法分为构造和注入两段，模型全程冻结。构造段把真实 ESD 录音写入 Moshi 的输出码本，同时把对应文本强制经过内部独白，让模型做一次前向传播，相当于带着整句内容走完全程。在覆盖结束前最后几帧读取残差流，按帧和录音片段平均，再减去中性录音的同样平均，得到每层 1 个方向并做单位归一化。注入段在语音起始后的每 1 帧，把第 0、8、24 层输出向目标情绪方向插值，缩放考虑了该层中值范数和深层递减权重，预测音频码本的 depformer、编解码器和其余 29 层都不动。
注入点在分叉为文本头和音频 depformer 之前，因此可以影响送达而不直接改写码本。下图展示了这条主链路与分支的位置关系，是理解后续所有实验的前提。
读图前先明确：图中山灰色方块是 frozen 的主干，只有三处红色层输出被叠加向量；箭头方向代表从用户音频到语音输出的前向与回送。
看图路径： 1. 先从左侧用户音频经 Mimi 编码进入时间 Transformer 的主链路看起；2. 找到标红的第 0、8、24 层注入点，确认扰动在分支之前；3. 对比右侧文本头与 8 层 depformer 加音频码本的分支关系；4. 注意回送上一帧文本与音频码本的虚线反馈环
论文图 1。原论文 Figure 1:：“Where the vector enters. Moshi is frozen; the only change is one direction added to the output of the three layers marked in red - 0, 8 and 24 - every frame from speech onset.”。
图显示用户音频经 Mimi 编码进入 32 层时间 Transformer，在第 0、8、24 层每帧叠加 1 个方向向量，之后分出文本头和 8 层 depformer 再经 Mimi 解码为语音，上 1 帧的文本与音频码本会回送到下 1 帧。注入位于分支上游的含义是，同一扰动可同时影响文本规划与音频实现，但不触碰编解码器本身。强度与层计划在预实验中用留出句子选定，全文固定为相对强度 0.30 并分散在 3 层，因为更大强度下可懂度下降快于情绪提升，集中到单层效果不如分散。
方向构造：状态取自哪里以及为何取尾部
构造细节决定了方向代表什么。输入是英语 ESD 中每种情绪 800 段、覆盖 10 个说话人的录音，输出是每层 4096 维的状态向量。关键操作是把录音的 Mimi 码本直接写到模型本应自己产生的输出码本位置，同时强制文本，这样模型在该时间步就是在产生这段录音。读取窗口选在覆盖结束前的最后几帧，而不是开头，理由是此时模型已被整句携带，状态更接近完整情绪而非起始过渡。对每段先平均帧，再平均片段，最后减去中性均值，目的是去掉说话内容和通道共有的部分，留下情绪差。是否真的带情绪不在此证明，留给后文用重渲染上限检验。
残差流 × 线性探针： 残差流指 Transformer 每一层输出累加的主信息通道，保存了随层加深的语音与对话状态；线性探针指在该通道状态上拟合的多项逻辑回归，只做读取不改变模型。两者搭配的意义是先验证情绪信息是否已存在于表示中，再判断转向失败是表示缺失还是向量构造的问题。
探针部分为检验表示而设，每层拟合一个多项逻辑回归，输入先标准化并在每个划分内降到 30 个主成分，因为 4096 特征对 240 行会病态。交叉验证按说话人划分，每次留出两个说话人的 10 个配对中的两组，保证训练与测试不共享说话人。这种按说话人划分的设计很关键，它迫使分类器学情绪而非说话人身份。
\[v_{l}=\mathrm{mean}(h_{l}\mid e)-\mathrm{mean}(h_{l}\mid\mathrm{neutral}),\]上式中 hl 是第 l 层残差状态，e 是目标情绪，neutral 是中性基线，vl 是该层未归一化的均值差，实际注入前再做单位化。符号含义是条件均值之差，计算目标是情绪相对中性的平均偏移方向。
均值差向量 × 注入强度： 均值差向量指同一层上情绪语音状态均值减去中性语音状态均值并做单位归一化得到的方向；注入强度指实际相加时的缩放系数，由相对系数、层权重和该层中值范数共同决定。两者搭配把一个无量纲方向换算成与各层激活幅度可比的扰动，使浅层和深层可以用同一强度含义比较。
注入时的实际加项为强度乘层权重乘层范数再乘单位方向，层权重为 1 减层号除以 31，深层权重小，层范数用中值残差范数使强度含义跨层可比。
本研究没有训练什么，实际计算是什么
本研究没有训练 Moshi 的任何权重，没有微调，没有训练新的声码器或分类器，Moshi 与 Mimi 编解码器全程冻结。实际计算只有 3 类。第一类是统计量计算：对每层求情绪与中性状态均值、层中值范数、共享方向的奇异值分解，这些都是前向传播后的平均与矩阵分解，可在单张 16 GB 笔记本 RTX4090 上用 int8 检查点完成。第二类是探针拟合：在降维后的 30 维上拟合逻辑回归并做留说话人交叉验证，计算量很小。第 3 类是推理时干预：在每帧 3 层输出上做几次向量加法，每帧代价可忽略。
需要澄清的是，无训练不等于确定性求解，生成仍是自回归采样，受种子和历史影响；参数冻结也只说明权重不变，不能推出输出确定。原文未报告梯度路径、优化器或重置机制，因为根本没有反向更新，监督信号来自 ESD 标签用于构造方向和评估，不进入权重。
两种生成模式与评估规则如何保证比较公平
模型用 kyutai 的 int8 版 Moshi，Mimi 码率为 12.5 赫兹。量化本身抬高所有条件下的词错误率，因此词错误只报告同句同种子下相对未转向基线的差值，不做绝对值比较。向量构造用 ESD 英语半集。音频生成有两种模式。强制文本模式用 720 条 Harvard 句子，即语音质量标准中 72 组每组 10 句、内容情绪中性的音素均衡句，全部强制经过内部独白，词内容跨条件完全相同，情绪打分变化只能归因于送达。
自由双工模式让 Moshi 听到一段情绪 ESD 输入后自由回答，每种输入情绪 50 段，内容可变，回复通常很短，打分同时反映用词与送达。两模式用同一向量、同一注入计划和同一强度。评估用 emotion2vec 加 large 给情绪概率与嵌入，用 Whisper large-v3 给词错误率。强制文本下词错误相对固定脚本衡量保真，自由双工下相对模型自己的内部独白衡量规划与码本实现的一致，两者不可跨模式直接比较，只能在各自模式内比较条件。
所有情绪数字只统计有至少 1.5 秒浊音的片段，因为评估器会把静音读成悲伤，不过滤会凭空造出悲伤。每个数字对照同一分类器给真实 ESD 该情绪的平均分，称为上限，它是分类器视角的参考，不是人类水平的理论界。余弦相似用中心化余弦，因为两个无关真实录音的原始余弦已达 0.713，不中心化会挤在顶部区间。
强制文本模式 × 自由双工模式： 强制文本模式指把要说的内容固定为 Harvard 句子并强制经过内部独白，模型只决定送达方式；自由双工模式指模型听到一段情绪语音后自由回答，内容和送达方式都可变。两者搭配可以分离转向改变的是发音送达还是连带改变了用词，前者归因更干净，后者更接近真实对话。
这种双模式设计让结论有双重支撑，若只在强制文本下成立可能是脚本效应，若只在自由对话下成立可能是用词效应，两者一致才更可能是送达方向本身的几何问题。
残差流可读出情绪但转向并不跟随标签
探针结果显示情绪在残差流中线性可分，且随深度增强，第 0 层弱，第 8 与 24 层强。愤怒对惊讶、高兴对悲伤等多组二分类在第 8 层可达 0.89 以上，最好的单层可达 0.96，而 3 类高唤醒情绪愤怒、高兴、惊讶互分在第 8 层为 0.661、第 24 层为 0.678，远高于 0.333 的随机率。信息区分三者的依据存在于表示中。但转向结果相反，只有悲伤到达自身目标，在强制文本下目标概率 0.650 超过真实悲伤上限 0.448，达 145%。愤怒只达上限的 25%，惊讶只达 30%，且最强竞争者都是高兴而非目标。
高兴本身达 76%，但最强竞争是惊讶。自由双工下比例接近，愤怒 26%，惊讶 31%，悲伤 70%，说明与是否固定文本无关。随机向量对照显示注入同样范数的任意方向几乎不改变中性与高兴分布，而情绪向量显著改变分布并抬高词错误，证明效应来自向量内容而非扰动本身。前 1.2 秒前缀已出现同样偏向，说明不是尾部累积效应。嵌入相似度复核得到同样模式，愤怒与惊讶转向后最近的真实类中心不是请求类。
情绪概率 × 中心化余弦相似度： 情绪概率指 emotion2vec 加 large 给每段音频的各情绪打分，用于看目标情绪是否升高；中心化余弦相似度指把嵌入减去均值后再算与真实语音类中心的余弦，用于看生成语音在嵌入空间靠近哪一类真实情绪。两者都来自同一评估模型所以不独立，但一个看分类器输出，一个看嵌入几何，可互相印证是否都偏向 happy。
下表比较转向是否到达真实语音上限，指标越大越接近真实情绪，词错误越小可懂度越好，公平条件是同句同种子同评估器。
| condition | P | P(tgt) (% c.) | rival | WER | rival |
|---|---|---|---|---|---|
| unsteered | 0.924 | 0.635 | — | 24.3 | — |
| angry steered | 0.717 | 0.177 (25%) | 0.328 happ | 32.2 | 0.370 happ |
| happy steered | 0.633 | 0.481 (76%) | 0.276 surp | 61.8 | 0.150 surp |
| sad steered | 0.448 | 0.650 (145%) | 0.037 happ | 51.4 | 0.199 happ |
| surprise steered | 0.458 | 0.136 (30%) | 0.463 happ | 71.5 | 0.464 happ |
表显示未转向基线目标概率在强制文本下为 0.635、自由双工下为 0.505，愤怒转向后仅 0.177 与 0.189，高兴转向后 0.481 与 0.331，悲伤转向后 0.650 与 0.313，惊讶转向后 0.136 与 0.143。愤怒与惊讶的竞争者高兴概率高达 0.328 至 0.464，超过目标本身。代价是词错误全面上升，强制文本下惊讶最差达 71.5%。这支持判断：可解码不等于可转向，转向跟随几何而非标签。限制是所有数字来自同一评估器且无人工听辨，自由双工样本经浊音过滤后更少更 noisy。
转向后概率质量具体流向了哪里
要复述关键步骤，必须说清概率去了哪里，而不仅是目标升高多少。下表给出强制文本下每种转向后 5 个标签的完整分布，比较问题是概率是弥散还是系统性流向高兴，公平条件是同一批句子与同一分类器，指标方向是目标标签概率越高越好。
| condition | angry | happy | sad | surpr. | neutral |
|---|---|---|---|---|---|
| unsteered | 0.001 | 0.163 | 0.035 | 0.004 | 0.635 |
| angry | 0.177 | 0.328 | 0.032 | 0.084 | 0.042 |
| real | 0.717 | 0.030 | 0.001 | 0.001 | 0.154 |
| happy | 0.007 | 0.481 | 0.057 | 0.276 | 0.018 |
| real | 0.005 | 0.633 | 0.002 | 0.006 | 0.160 |
表中最值得注意的是三行：愤怒转向后高兴 0.328 高于愤怒 0.177，惊讶转向后高兴 0.463 远高于惊讶 0.136，高兴转向后自身 0.481 但惊讶仍有 0.276。只有悲伤行自身 0.650 一枝独秀，高兴仅 0.037。真实录音行显示上限形态完全不同，愤怒真实为 0.717 而高兴仅 0.030，惊讶真实为 0.458 而高兴仅 0.177，因此转向的偏向不能用评估器天然偏高兴来解释。未转向行以中性 0.635 为主，说明基线是偏中性的朗读，转向确实移走了中性，但移向了错误的情绪。限制是该表只覆盖强制文本的左半部分结论，右半自由双工的完整分布在原文另有对应，但模式一致；且该表与上一表共享评估器，不独立。
嵌入几何是否独立支持同样的偏向结论
为避免只依赖分类器概率，论文用同一评估模型的嵌入做了中心化余弦检验。比较问题是生成语音在嵌入空间更靠近哪一类真实语音的类中心，类中心由与被评片段不相交的录音建成，指标越大越相似，公平条件是同一批生成片段与同一中心。
| condition | angry | happy | sad | surpr. | neutral |
|---|---|---|---|---|---|
| unsteered | -0.363 | 0.118 | 0.305 | -0.414 | 0.579 |
| angry steered | -0.023 | 0.284 | -0.043 | -0.048 | -0.118 |
| real happy | -0.182 | 0.563 | 0.036 | -0.287 | 0.067 |
| real sad | -0.146 | -0.137 | 0.645 | -0.529 | 0.382 |
| surprise steered | -0.389 | 0.381 | 0.076 | 0.139 | -0.191 |
表中愤怒转向后与高兴中心相似度 0.284，高于与愤怒中心负 0.023；惊讶转向后与高兴中心 0.381，高于与惊讶中心 0.139；高兴转向后与自身中心 0.394 最高，悲伤转向后与自身中心 0.665 甚至超过真实悲伤的 0.645。未转向基线最靠近中性 0.579。这与概率表完全同构，支持转向偏向是稳定的。
但必须说明限制：嵌入与概率来自同一 emotion2vec 模型，只是同一模型的两种读数，不是两个独立评估器，因此不能算独立验证，只能算内部一致性。若评估器本身对高兴与惊讶的边界有偏，两处会同时有偏。
方向间余弦能否在生成前预判转向失败
论文的核心诊断是不生成音频、只看向量余弦。做法是每种情绪方向用一半说话人构建，与另一半说话人构建的同情绪方向算自相似，再与异情绪方向算交叉相似，这样比较的双方不共享说话人，避免把说话人相同误读为情绪相同。结果是愤怒自相似 0.65 而与惊讶交叉达 0.60，高兴自相似 0.60 而与惊讶交叉达 0.59，差距仅 0.01 到 0.05；悲伤最近邻远在 0.58 之外。
用全部 10 个说话人构建时交叉相似更高，约三分之一的表观相似来自共享说话人身份，这正是流匹配模块中说话人与情绪纠缠的双工对应物。差距大小恰好分隔了能转向与不能转向的情绪，且在任何音频生成之前就可见。共享成分在第 0、8、24 层占总平方奇异值的 61% 到 64%，愤怒、高兴、惊讶与它的余弦绝对值在第 24 层为 0.89 到 0.94，而悲伤仅 0.245，因此前三者几乎共线。
\[v_{e,l}(\beta)=v_{e,l}-(1-\beta)\,(v_{e,l}^{\top}s_{l})\,s_{l},\]上式中 ve,l 是原始均值差，sl 是共享方向，贝塔是保留共享分量的比例，1 为原始向量，0 为完全去掉，之后再单位化保证注入幅度相同。目标是检验混淆是否只是共享成分过大。结果是去掉一半时愤怒首次超过高兴，目标从 0.184 升到 0.288，达上限 40%，高兴竞争从 0.334 降到 0.162，词错误从 32.2% 降到 22.6%，略低于未转向基线；但完全去掉时愤怒跌到 0.016，说明共享成分 carries 让愤怒听起来像愤怒的必要部分。悲伤几乎不动，在 0.647 到 0.701 之间，作为对照证明操作不是通用扰动效应。
惊讶在任何保留比例下都不恢复，从 0.139 跌到 0.031，最强竞争从高兴变为悲伤，说明部分去除只修复三者之一。论文因此说共享成分必要而非偶然，转向跟随几何。
共享方向 × 保留比例： 共享方向指把四个单位化情绪方向堆成矩阵后取第一右奇异向量，代表它们共有的主成分；保留比例指在每个方向中保留沿该共享方向分量的多少，1 为原始向量，0 为完全去掉。两者搭配可以检验三个高唤醒情绪的混淆是否只是共用成分过大，以及去掉后是否还剩可转向的特异成分。
模型自身重渲染上限能解释多少差距
转向差距可能部分来自模型与编解码器本身，而非方向。检验方法是把真实录音写入输出码本，让模型重渲染它，再评重渲染的情绪分，这给出了经由 Moshi 能到达波形的上限。重渲染保留高兴的 85%，悲伤的 65%，惊讶的 77%，但愤怒仅 40%，丢失部分主要流向中性而非其他情绪，暗示编解码为保可懂重建丢掉了韵律极端。惊讶特殊，重渲染尚可但解除覆盖后的自由延续跌到 0.151 并部分流向高兴，且延续中 85% 左右因浊音不足被过滤，样本小且非随机。
若以重渲染为上限而非真实语音为上限，愤怒从 25% 升到 56%，高兴从 76% 升到 85%，约一半差距是编解码而非方向；惊讶仍为 30% 左右，缺口主要在注入方向。综合起来，愤怒的失败一半是方向几何、一半是渲染能力，惊讶的失败在排除两者后仍未解释。
表前的说明：下表比较同批强制文本与双工片段经浊音过滤后的保留情况，比较问题是过滤是否在条件间中性，指标是保留数与丢弃率，公平条件是同一 1.5 秒阈值。
| run | condition | kept | total | dropped% |
|---|---|---|---|---|
| forced text | unsteered | 662 | 720 | 8.1 |
| forced text | angry | 710 | 720 | 1.4 |
| forced text | happy | 718 | 720 | 0.3 |
| forced text | sad | 717 | 720 | 0.4 |
| forced text | surprise | 714 | 720 | 0.8 |
表显示强制文本下未转向丢弃 8.1% 而转向仅丢 0.3% 到 1.4%，因为转向把浊音时长从 1.91 秒拉长到 2.30 到 3.58 秒，基线与条件在不同过滤子集上比较；双工下所有条件丢 58% 到 71%，数字更 noisy。这意味着上限与转向百分比的分母并不完全可比，悲伤与惊讶因本身较安静受影响更大，这是阅读所有百分比时必须附带的条件。
结论在什么条件下才成立，有哪些明确边界
论文的适用条件很窄。只测了一个模型即 int8 的 Moshi、一个语料即 ESD 英语半集、一个抽取点即覆盖尾部最后几帧、一个注入计划即第 0、8、24 层每帧加 0.30 强度。int8 本身让未转向词错误已达 24.3%，不能排除半精度模型携带情绪方式不同。所有测量来自 emotion2vec，无人工听辨。4 种情绪是 ESD 的划分，不涉及情绪组织的一般结论。
现代转向算法如稀疏自编码器、低秩适配或重训练微调均未探索。词错误在多数转向样本下很高，因此作者自称提供的是诊断而非完整的送达控制方法。附录还指出真实语音上限有两套口径，一套是实际被重渲染的 100 段经浊音过滤，另一套是建类中心时留出的 64 段不过滤，两者对悲伤与惊讶差异最大，所有百分比用的都是后者，即过滤后生成语音对未过滤真实语音，使用时需注意。延续音频因静音率高只剩十余段，不能当保持率读。
复现第一步做什么，需要哪些关键设置
值得尝试的时机是需要在冻结双工模型上做轻量、逐帧、可开关的语气偏移，且能接受可懂度损失与情绪不精确，例如先验证悲伤方向或愤怒减半共享成分的效果。若要求精确到达愤怒或惊讶标签，或要求词错误不升，则不应直接套用。复现第一步是按原文实现写入与读取：用 ESD 每情绪 800 段，把录音经 Mimi 编码为 8 层码本写入模型输出码本，把文本强制经内部独白，做前向传播并记录第 0、8、24 层在覆盖尾部的残差，平均后减中性均值并单位化，同时记录各层中值范数。
注入时每帧在 3 层输出加相对强度 0.30、层权重 1 减层号除以 31 的缩放向量，保持 depformer 与编解码器不动。评估时固定同一批 Harvard 句子与种子，用同一 emotion2vec 版本打分并只统计浊音超 1.5 秒片段，对照真实语音上限与随机向量基线。代码、模型权重与完整系统的公开情况目前尚无法确认，论文给出的附录代码片段可作实现参考，但是否已有可直接运行的仓库与检查点尚无法确认，需以实际可获取的文档为准。
何时值得尝试以及还需补哪项验证
综合来看，线性可分不保证均值差可转向，高唤醒三情绪的方向几乎共线是转向偏向高兴的直接原因，减半共享成分可部分修复愤怒但修不好惊讶，编解码上限可解释愤怒约一半差距但解释不了惊讶。容易产生的误解有三处。第一，把探针高准确率当成转向会成功，原文恰好证明相反，区分信息存在但均值差向量没抓住。第二，把真实语音上限当成理论人类水平，它只是同一分类器给真实录音的平均分，且有过滤与否两套口径。
第三，把去除共享成分理解为越干净越好，完全去掉反而让愤怒无可转，因为共享成分是必要载体。还需补的验证是人工听辨、半精度模型复测、更多说话人与语料的跨域检验，以及与稀疏自编码器或微调可控模型的同条件比较。只有补了这些，才能判断几何结论是 Moshi 加 ESD 加该注入计划下的特例，还是双工语音模型的共性。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses