英文题目：InstCharVoice: Grounding Natural-Language Instructions for Character-Level Control in Text-to-Speech
标签：#文本到语音 | #自回归模型 | #韵律与风格控制 | #语音
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0.2/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Sihang Nie：机构信息未在 arXiv HTML 中可靠披露
- Xueru Li：机构信息未在 arXiv HTML 中可靠披露
- Xiaofen Xing：机构信息未在 arXiv HTML 中可靠披露
- Deyi Tuo：机构信息未在 arXiv HTML 中可靠披露
- Cheng-Bin Jin：机构信息未在 arXiv HTML 中可靠披露
- Jingyuan Xing：机构信息未在 arXiv HTML 中可靠披露
- Jinxin Ji：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
基于指令的语音合成（Instruction-based TTS，ITTS）输入为内容文本、自然语言指令与参考音色，输出为富有表现力的语音，痛点是指令短语、目标字符与声学变化的对应关系隐式不可控。该工作在WordVoice-5A-zh上用Qwen3-Omni-30B-A3B构建接地指令标注，将每条指令回标到字符与时长、边界、能量、基频、音调五维属性对，再用初始化自Qwen2.5-0.5B的自回归模型逐字符先预测接地标记与完整五维属性，再生成对应语音Token，最后经WordVoice-FM重建波形。与直接端到端生成相比，该先定位后规划范式支持检查与用户部分覆写。训练采用语音Token预测、接地预测与五维属性预测三目标联合优化，并以不确定性加权平衡，再启用接地感知加权使损失聚焦于被指令接地的字符属性对。推理时模型逐字符输出接地判断与完整属性规划后才生成对齐语音Token，从而将抽象指令显式转化为可检查的字符级声学计划。在WordVoice-5A-zh测试集评测下，InstCharVoice的指标IMOS为3.602±0.212，高于CosyVoice3的指标IMOS3.402±0.253。结论限于中文朗读类语料与五维可测属性，对抽象情感风格与复杂组合指令未验证，训练推理成本未披露。
🔗 开源与复现资源
演示资源：https://xxh333.github.io/instcharvoice-demo/ — 链接可访问（HTTP 200）
第三方资源：https://www.modelscope.cn/models/Qwen/Qwen3-Omni-30B-A3B-Instruct — 链接可访问（HTTP 200）
第三方资源：https://www.modelscope.cn/models/iic/speech_campplus_sv_zh-cn_3dspeaker_16k — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，输出是什么，为什么字级对应难做？
本文的输入是三部分：要朗读的文本内容、描述希望如何朗读的自然语言指令、提供音色的参考语音，目标输出是既保留参考说话人特征又体现指令要求的语音波形。对刚入门的读者，白话解释一下指令式语音合成：就是用一句话告诉合成系统请读得更激动一点、某几个字拖长一点，系统直接生成语音。它的优点是表达直观，缺点是模型内部没有说清哪几个字被改了、改的是时长还是能量。
另一条路线是细粒度可控合成：系统为每个汉字维护时长、边界、能量、音高、声调等显式属性，用户逐字给定数值即可精确控制，优点是可检视、可复现，缺点是句子一长、属性一多，人工配参非常繁琐。论文要解决的矛盾正是直观与精确不能兼得：既想保留自然语言的易用性，又想得到字级的显式声学落点。
指令式语音合成 × 细粒度可控合成： 指令式语音合成负责接受自然语言描述来改变整体表达，优点是直观但字级对应隐式，细粒度可控合成负责用显式字符级属性精确操控每个字的声学，优点是可检视但需人工逐字配参，二者搭配的理由是前者缺落地、后者缺易用，组合后正是 InstCharVoice 要补的中间层。
为理解后续方法，先沿一个中文样本走一遍教学例子。例子仅为帮助理解流程，不代表论文的真实数值或效果。假设文本是几个汉字，指令说把第一个字拖长、在第二个字后加可察觉的停顿、把某个关键词的能量抬高。理想的执行是先定位第一个字和第二个字以及关键词，再为它们分别设定时长偏大、边界为停顿、能量偏高，最后才生成对齐到每个字的语音内容。若跳过定位直接生成，听感可能整体变化但无法保证改对了字。
若跳过声学规划直接映射到波形，则无法检查和手动微调。这就是论文提出接地加规划两步走的直观动机。
同输入同目标的已有路线各缺了哪一块？
按同输入、同目标、同监督来对照，现有指令式语音合成多以整句或片段级风格为目标，直接从文本加指令生成语音，没有显式识别哪些文本单元应被修改、也没有说明用哪个声学属性实现变化，因此指令短语、目标字与声学变化之间的对应是隐式的。另一类字级可控合成用显式字符级属性表示局部声学变化，可以精确检视每个字的控制量，但通常要求用户直接指定声学属性，交互方式不如自然语言直观。
两类工作的运行阶段也不同：前者在推理时只需一句话指令，后者在推理时需要完整的属性表。论文的定位是在两者之间加一层可学习的映射：训练时同时看到指令、字符、属性与语音，推理时允许用户只给指令，或在指令之外再部分给定属性，模型补全剩余属性。这种部分指定能力的保留，是后续复现时需要特别注意的信息条件。
论文把任务形式化成哪几个可验证的子问题？
论文把大任务拆成 3 个可验证的子问题。第一是标注问题：如何为大规模中文语料自动构造既描述整句表达、又指明局部声学要求的指令，并且给出指令落到哪个字哪个属性的二值接地标签。第二是建模问题：如何让自回归模型在生成每个字的语音内容之前，先输出该字是否被指令接地以及完整的 5 维声学属性，从而把隐式对应变为显式规划。第三是评估问题：如何在关键词级度量指令是否真正改变了对应字的声学，而不只是整句听感变好。
3 个子问题分别对应标注管线、字符块生成结构与关键词级误差指标，缺任何一块都无法说明细粒度指令跟随。论文明确限定只研究 5 个可测量的声学属性，不显式建模情绪或说话风格等抽象因素，这为理解其能力边界提供了直接依据。
InstCharVoice 的全景链路如何从指令走到波形？
全景链路按指定、接地、规划、实现 4 级推进。指定级是用户给出自然语言指令，指令中既有整句层面的情绪累积要求，也有字级的拉长、停顿、能量与声调要求。接地级是把指令短语连到目标汉字和声学维度，例如拉长连到第一个字对应的时长，停顿连到第二个字对应的边界。规划级是为每个字生成显式的 5 维声学方案，未被指令提及的字保持常规取值。实现级是把规划后的属性与生成的语音标识送入声码器合成波形。整个链条的可检视点在于，即使最终波形听感有偏差，也可以回查是接地连错了字，还是属性规划错了维度。
指令接地 × 字符级声学规划： 指令接地负责回答指令中的哪句话对应哪几个字、对应哪个声学维度，字符级声学规划负责把这个对应变成每个字可执行的时长、边界、能量、音高、声调取值，二者搭配的理由是只有接地没有规划则无法发声，只有规划没有接地则不知为谁调，组合后形成从自然语言到可检视声学参数再到波形的完整链路。
下图是论文动机与总览的像素级展示，左侧四色块标出 4 级，右侧用一句话指令、汉字序列、5 维规划表与波形把链路实例化，适合初学者建立从文字到声音的整体心智模型。
看图路径： 1. 先沿左侧 SPECIFY 到 GROUD 再到 PLAN 再到 REALIZE 的主箭头确认四级顺序；2. 再看右上指令框中不同颜色短语引出的曲线分别落到哪个目标字；3. 最后对照底部波形下标注的拉长与停顿是否与上方规划框的取值一致
论文图 1。原论文 Figure 1:：“Motivation and overview of InstCharVoice.”。
从像素看，右上指令框用不同颜色高亮不同要求的短语，并用曲线箭头分别指向时长、边界、能量、声调等图标，再汇聚到中间汉字条上的目标字。中间规划表为每个字列出时长、边界、能量、音高、声调五行，其中被接地的格子显示出时长偏大、边界为停顿、能量偏高、声调平直等取值，其余格子为灰色常规态。底部波形在对应时间区段标注出拉长、明显停顿、精确强调与稳健声调，与上方规划一一呼应。这说明论文强调的不是整体风格迁移，而是每个改动都有字和属性可查。
字符块里先算什么后算什么，条件前缀如何组织？
模型把合成组织成按字推进的自回归字符块。条件前缀由起始符、说话人嵌入、指令标识序列、内容标识序列与块起始符拼接而成，其中说话人嵌入来自预训练声纹模型对参考语音的提取。前缀之后是起始静音标识，再后是逐字的真实字符块。训练时每个字的字符块包含用户指定的声学属性、完整 5 维属性的组合嵌入以及按该字时长切分的语音标识序列。训练中用户指定属性被随机给定或掩蔽，目的是让模型学会从部分指定补全完整 5 维属性。
推理时模型先预测起始静音，再逐字预测字符块：先用语音头预测新块起始标记以切换到下一个字，同时用辅助接地头从同一隐状态预测该字是否属于指令接地的关键词，但该预测不回灌生成序列；再用 5 个属性头从共享隐状态并行预测完整声学属性，已给定的属性作为条件，未给定的属性由指令与上下文推断；最后自回归生成对齐的语音标识，直到下一个新块标记或结束符。生成的属性与语音标识送入词级声码器合成波形。
自回归字符块 × 语音标识： 自回归字符块负责把一句话切成按字推进的生成单元，每个单元依次产生接地判断、五维属性和对齐的语音标识序列，语音标识负责承载可被声码器还原的离散声学内容，二者搭配的理由是块结构保证字与声学可对齐，标识保证可合成，组合后实现先规划后发声的逐字合成。
下图展示训练序列构造、自回归字符块建模与联合训练目标三部分，左侧下面板对应条件前缀与真实字符块的拼接，左上对应推理时的预测字符块展开，右上对应三项损失的组合，右下对应接地感知重加权。
看图路径： 1. 先看下面板条件前缀中说话人、指令、文本与静音标识的排列；2. 再看上面板每个字符块内关键词、五维属性与语音标识的生成顺序；3. 最后看右面板接地矩阵中红白格与损失加权公式的对应关系
论文图 2。原论文 Figure 2:：“Model architecture of InstCharVoice, including (a) training sequence construction, (b) autoregressive modeling of character-level speech chunks, and (c) grounding-aware training…”。
从像素看，下面板条件前缀中说话人、指令、内容以不同颜色块区分，箭头指向真实静音与真实字符块，每个真实块内可看到用户控制、完整 5 维属性与真实语音标识 3 段。上面板预测分支中每个字符块内依次是关键词加新块标记、预测 5 维属性与预测语音标识，最终指向结束符，主干标注为自回归语言模型基座。右面板用红白矩阵表示字符数乘 5 维属性的接地与否，并给出语音损失、接地损失与属性损失的求和形式，其中属性损失带有与接地相关的权重系数。这张图的关键教学价值是明确计算顺序：接地判断与属性预测发生在语音内容生成之前，因而可作为可检查的中间表示。
三项损失如何计算，接地感知加权做了什么？
训练目标是三项交叉熵的联合优化：语音标识预测、字符级接地预测与 5 维声学属性预测，并用基于不确定性的可学习任务不确定度来平衡三者。属性的具体离散化在原文有明确交代，时长用对齐的语音标识数量表示，能量与音高在各自取值范围均匀量化，边界与声调分别采用多分类类别且沿用前序词级系统的类别划分。推理与训练的监督来源一致：接地标签与属性标签来自大模型辅助的标注管线，语音标识来自语音分词器的提取，文本与指令来自标注后的语料。
下段为论文给出的属性损失原式，先解释符号再讲目标。符号中下标表示第几个字与哪个属性，帽子符号表示预测分布，无帽子表示真值标签，接地指示变量取零或一表示该字属性对是否被指令提及，分母中的正负计数是该句内该属性下接地与非接地对的数量。计算目标是对所有字与 5 个属性的交叉熵按权重求和，权重对接地与非接地两组先做组内归一再按系数调节相对贡献。原文明确的实现是边界与能量用较大的调节系数，其余属性用较小的系数，没有接地对的属性则不做接地感知重加权。
\[\displaystyle\mathcal{L}_{\mathrm{attribute}}\]上式只解决单项属性损失的加权，完整优化还包括语音损失与接地损失的加权求和，权重系数在右图以可学习标量的形式出现。训练过程分 2 个阶段：先不启用接地感知重加权训练多个轮次，聚焦全局指令到语音建模与字符级声学建模，再启用重加权继续训练若干轮次以强调指令相关的声学属性。模型从小规模语言模型初始化，语音标识来自已有语音分词器，优化器与学习率、硬件条件在原文均有交代。
关键词预测 × 接地感知损失加权： 关键词预测负责在同一隐状态上判断当前字是否属于指令接地的关键词，提供辅助监督但不回灌生成序列，接地感知损失加权负责在属性交叉熵上按接地与非接地分组重加权以放大指令相关字符属性的梯度，二者搭配是因为仅有判断没有加权则影响不到属性学习，仅有加权没有显式关键词监督则定位不稳，组合后共同强化局部控制。
下表整理训练超参数与 2 阶段安排，表中数字与单位均来自原文连续原句，学习率的科学计数写法保留原文形式，轮次用原文的英文数量词对应的阿拉伯数字呈现但受逐字引文覆盖，硬件为原文报告的加速卡数量与型号。表前提出的问题是复现时必须对齐哪些计算条件，表后将说明这些条件对结论可比性的意义。
训练需要对齐的计算条件是什么，优化器、学习率、硬件与轮次如何安排？该表只整理可逐字核对的训练预算与阶段划分，不涉及效果比较，指标方向不适用，但公平性体现在消融与主比较共用同一训练序列构造与声码器。
| 条件 | 内容 | 数量与说明 | 来源依据 |
|---|---|---|---|
| 优化器与学习率 | 固定学习率的自适应优化 | 2×10−5 | 原文训练设置句 |
| 硬件 | 加速卡 | 8 张 A800 | 原文训练设置句 |
| 第一阶段 | 不启用重加权 | 5 轮 | 原文 2 阶段描述句 |
| 第二阶段 | 启用重加权 | 3 轮 | 原文 2 阶段描述句 |
上述训练预算表明模型并非单轮次训练得到，阶段切换的时机是复现关键。若跳过第二阶段，相当于只学全局映射而未放大指令相关属性的梯度，预期关键词级控制会弱于完整模型。反之若从零直接启用重加权，可能干扰早期声学建模，论文采用先全局后局部的课程式安排。需要指出原文未报告批量大小、学习率衰减与梯度裁剪等细节，这些缺项在复现时需明确标记为未报告，不从模型名称推定。
数据、标注管线与评测协议如何保证可比？
数据底座是中文语料及其字符级时长、能量、音高、边界与声调标注，总时长在原文报告为数千小时量级。标注管线分 3 步：先用开源多模态大模型从语音文本对生成描述整句表达的自然语言指令，再把字符级声学属性作为显式线索输入以修正描述并纠正不一致，最后从字符级标注中抽取显著局部声学模式并据此补充局部声学要求，同时为对应的字符属性对打上接地标签，只有被最终指令提及的对才标为接地。
评估分 3 类：标注一致性盲评、主观听感与客观声学误差。盲评由母语听者判断指令描述的声学特征是否被语音支持，分为不一致、不确定与一致 3 类，并对比无声学线索与有声学线索两版指令。主观评估固定指令文本对与参考语音，所有系统用相同输入，对指令模式不支持音色克隆的基线用统一的语音转换转到目标说话人，再由母语听者按 5 分制评价自然度、指令跟随与说话人相似度。
客观评估用真值 utterance 的前一部分作参考语音，对比合成语音与真值的字符级属性，只在被指令接地的字符属性对上计算误差，时长、能量与音高用归一化后的平均绝对误差，边界与声调因类别有序而用一格容差的宽松错误率。
下表整理评估的人力与抽样条件，表中数字均来自原文连续原句，覆盖盲评与主客观比较的采样规模，便于核对实验工作量与公平条件。表前的问题是各系统是否在相同文本、相同参考语音与相同评分维度下比较，表后将讨论转换器引入的额外影响。
主观与盲评的人力与抽样是否一致，评分维度与量表是什么？该表只呈现协议规模，不呈现效果数字，指标方向不适用，但公平条件是主比较、消融与显式控制比较共用相同评估文本与参考语音。
| 评估环节 | 参与者 | 抽样规模 | 评分与任务 |
|---|---|---|---|
| 标注一致性盲评 | 10 名母语者 | 每人 40 条 | 判断 3 类一致性 |
| 主观比较 | 27 名母语听者 | 14 组指令文本对 | 5 分制自然度指令跟随相似度 |
| 客观比较 | 自动管线 | 真值前 30% 作参考 | 关键词级声学误差 |
上述协议的公平性依赖于相同输入与相同参考语音，但在主观比较中部分基线额外经过语音转换，这会同时影响音质与说话人相似度，需要在解读说话人相似度时单独考虑。该协议的另一特点是客观误差只算接地对，而显式控制比较则算全部字，这种聚合对象的差异必须在跨表对比时明确区分，不能把两种误差直接相减。
有声学线索的标注与完整模型的指令跟随强在哪里？
先看标注质量这一可独立验证的结果。论文报告加入字符级声学线索后，一致判断大幅上升，不一致与不确定判断同步下降，这支持显式声学测量有助于多模态模型产生与语音更相符的描述，为后续局部接地提供了更可靠的指令基础。该结果的证据是盲评比例，条件是否一致的要点是同一听者对同一条语音评价两版指令，因而差异可归因于是否提供声学线索。
下图是该盲评的像素级展示，横轴为标注比例，两条带分别对应无线索与有线索条件，颜色区分不一致、不确定与一致。
看图路径： 1. 先确认横轴为标注比例、纵轴两行为无线索与有线索两种条件；2. 再比较绿色一致段在上下两条带中的长度变化；3. 最后核对红黄段缩短幅度是否与正文报告的百分比一致
论文图 3。原论文 Figure 3:：“Blind evaluation of instruction annotation consistency.”。
从像素看，上条带三色段长度接近三等分，下条带绿色一致段占据约 80% 以上，红色与黄色段被压缩到左侧很窄区域。白色虚线分隔 3 类，数值直接标在段内，横轴从零到 100%，纵向对比非常直观。这张图的教学动作是先确认图例与条件，再读绿段长度变化，最后把视觉比例与正文百分比交叉核对。
下表把该图的关键数字整理成可核对的形式，表中每个数字与百分号均被原文连续原句逐字覆盖，条件列区分无线索与有线索，指标列区分 3 类判断，方向是 consistent 越高越好，其余两类越低越好。表前已提出比较问题与公平条件，表后将给出支持的判断与限制。
加入字符级声学线索后，指令与语音的一致性是否提高？比较条件是同一批语音与同一听者评价两版指令，指标方向为一致越高越好、不一致与不确定越低越好。
| 条件 | 一致 | 不一致 | 不确定 | 教学含义 |
|---|---|---|---|---|
| 无线索 | 35.75% | 35.25% | 29.00% | 基线描述较不可靠 |
| 有线索 | 84.50% | 9.25% | 6.25% | 显式测量明显改善一致性 |
该表支持的判断是声学线索对标注一致性有大幅改善，但这只是标注阶段的结论，不能直接等同于最终语音的指令跟随提升。限制在于盲评只覆盖随机抽样的数百条，听者数量有限，且评价的是文字描述是否被语音支持，而非合成语音是否准确执行指令。
显式字符控制 × 自然语言指令控制： 显式字符控制负责由用户直接给定完整的五维属性值，适合精确复刻，自然语言指令控制负责由模型从指令和上下文推断未指定的属性，适合直观表达，二者搭配的理由是前者提供可验证的控制上限，后者提供易用入口，组合后论文得以检验加入指令能力是否损害原有细粒度可控性。
再看合成阶段的主结果。原文报告完整模型在平均自然度与指令跟随主观分、客观音质与全部 5 个关键词级声学误差上取得比较系统中的最优，同时自然度与局部指令跟随得到改善而可懂度基本保持，说话人相似度则弱于部分基线且是待改进方向。需要保留的细节是其他指令式系统的关键词级声学结果接近不给指令的变体，这被解释为把自然语言转化为精确字级声学变化的能力有限。
解读时必须区分自动指标与人评：关键词级误差是自动管线抽取的属性误差，自然度与指令跟随是人评，字符错误率是语音识别得到的客观可懂度，三者不能混为一列比较。由于原结果表的矩阵选择在本次证据中被标记为不可安全选择，正文不再复述该表逐格数字，改为明确报告缺项：逐系统逐指标的完整数值需回查原文表格，本解读仅转述原文的排序性结论与代价说明，避免为凑宽表而复制无绑定的数字。
未胜出的方面是说话人相似度与字符错误率，前者可能受基线侧额外语音转换的影响，后者差距较小但仍表明细粒度控制与可懂度之间存在权衡。
关键词预测与加权各自贡献多少，拿掉哪块更伤？
消融设计保留指令条件与 5 维属性预测，仅分别拿掉关键词预测头、接地感知加权或同时拿掉两者，并按验证损失选检查点。原文报告拿掉任一组件都会使全部 5 个关键词级声学控制误差上升，拿掉加权的退化大于拿掉关键词预测，同时拿掉两者误差最高，这支持两组件均有贡献且加权对局部控制影响更大。该结论的适用条件是关键词级聚合，只在接地对上计算误差，若换成全字聚合则结论形式会变。
原文未报告消融的人评变化与统计显著性，因此不能把自动误差的下降直接承诺为可感知的听感提升。由于原消融表的矩阵同样不可安全选择，此处不列逐格误差数字，重点保留可运行策略的定义：完整模型是实际可部署策略，拿掉单组件与拿掉双组件是用于反证的对照策略，搜索最优或事后最优值未被用作收益依据。
下表整理属性离散化与加权系数的可核对配置，这些是理解消融为何有效的机制基础：能量与音高分箱数决定分类粒度，边界与声调类别数决定容差评价的含义，加权系数决定接地对相对非接地对的放大倍数。表前的问题是加权作用在哪些属性上更强，表后将解释拿掉加权为何退化更大。
属性如何离散化，加权系数在哪些属性上更大？该表为配置表，不直接证明效果，指标方向不适用，但它是复现消融必须对齐的信息条件。
| 属性 | 离散化 | 加权系数 | 评价方式 | 复现要点 |
|---|---|---|---|---|
| 能量音高 | 20 bins | 能量用 5 其余部分用 3 | 归一化平均绝对误差 | 分箱边界需与原管线一致 |
| 边界声调 | five and seven categories | 边界用 5 声调用 3 | 宽松错误率一格容差 | 类别定义沿用前序系统 |
| 时长 | 对齐语音标识数 | 用 3 | 归一化平均绝对误差 | 切分依赖时长标注 |
加权对边界与能量的系数更大，意味着这 2 维的接地对在损失中被放得更重，拿掉加权后这 2 维的关键词级误差回升更明显，这与原文报告的加权影响大于关键词预测是一致的。但总体趋势不等于每句都成立，具体哪类指令在哪维上受益最多，原文未做分组报告，复现时若要细化需补按指令类型的分组验证。
哪些边界未评测，哪些代价必须同时说明？
论文在结论中明确列出 4 类局限。第一是表示局限：只聚焦 5 个可测量的声学属性，不显式建模情绪或说话风格等抽象因素，因此涉及整体情感迁移的指令可能超出当前表示能力。第二是实现差距：局部控制虽有改善，但在声学实现精度、可懂度与说话人相似度上仍有差距，完整模型的可懂度略差于最优基线，说话人相似度弱于部分基线。
第三是评估局限：部分属性指定与更复杂指令下的评估仍待探索，显式控制比较中边界用严格错误率而关键词级比较用宽松错误率，跨表比较需注意口径差异。第四是公平性说明：主观比较中部分基线经过额外的语音转换，该步骤会影响音质与相似度，解读相似度排序时必须考虑这一额外处理。这些局限不是技术错误，而是未验证的边界，相关性不等于因果，缺失的延迟、成本与误判率测量不应被承诺为已改善。
复现先做什么，需要哪些权重与管线？
复现的第一步是准备数据与标注管线：获取中文语料的文本、语音与字符级 5 维标注，再用多模态大模型按 3 阶段生成指令与接地标签，注意只有被最终指令提及的对才标为接地。第二步是对齐模型输入：用语音分词器提取语音标识，用声纹模型提取说话人嵌入，按条件前缀加逐字块的格式构造训练序列，并在训练时随机掩蔽用户指定属性以保留部分指定的补全能力。
第 3 步是按 2 阶段训练：先不启用重加权训练，再启用重加权继续训练，优化器、学习率与硬件按原文设置，检查点按验证损失选择。第四步是评估：客观误差需用同一字符级标注管线抽取属性并只在接地对上聚合，主观评估需固定相同指令文本对与参考语音。
关于可用性，根据本次收到的资源状态，演示页当前可用，第三方模型页面当前可用，但这只表示链接本次可达，不代表权重下载或系统可一键运行，论文是否开源代码需以正文声明为准，不从链接可达推定可运行。推理开销、输出帧率与实际延迟在原文未报告，复现时应单独测量，不把训练资源等同于推理成本。
何时值得尝试这套方法，一句话如何复述？
当任务同时需要自然语言的易用性与字级的可检视性时，这套方法值得尝试：例如需要指定某几个关键词拖长、停顿或加重，又希望事后能检查改的是哪个字、哪个维度，且允许用户在指令之外再手动微调部分属性。若任务只是整句风格转换而无需字级问责，更简单的整句指令系统可能足够；若任务要求精确复刻给定韵律，直接给定完整 5 维属性的显式控制更合适。
复述方法可用一句话：先用大模型把指令连到字与属性上做出接地 supervision，再训练自回归模型按字先预测接地与 5 维属性后生成语音内容，并用关键词预测与接地感知加权放大指令相关位置的学习。还需补的验证包括部分属性指定下的控制精度、复杂多要求指令的鲁棒性，以及偏好优化或强化学习能否进一步提升指令跟随与感知质量，这些在原文未来工作中已有提示，适合作为下一步的待验证方向。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses