📄 从歌声录音写出合调粤语歌词：ARIA 的两段式做法
英文题目：ARIA: Audio-Driven Melody-Tone Relation Modeling for Cantonese Lyric Authoring
标签：#音乐生成 | #检索增强 | #音乐 | #数据集 | #大语言模型
评分：5.9/10 | 创新 1.2/2 | 技术严谨 1/1.5 | 实验充分 1/1.5 | 清晰度 0.7/1 | 影响力 0.7/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Shengyu Li：机构信息未在 arXiv HTML 中可靠披露
- Jinting Wang：机构信息未在 arXiv HTML 中可靠披露
- Li Liu：The Hong Kong University of Science and Technology (Guangzhou)
📌 核心摘要
粤语填词要求歌词字调与旋律走向保持兼容，实际创作常从演唱录音或哼唱小样出发，音高隐含在伴奏、颤音和滑音之中，传统依赖符号化旋律的方法难以直接使用。ARIA设定输入为一段演唱录音加字级歌词槽位边界，输出为与槽位等长的粤语歌词行，中间经过显式的0243序列，即把6类粤语声调按演唱相对高度折叠成的0、2、4、3四档简写。第一阶段三流关系感知音调估计器从音频恢复每字高度档并映射为0243，第二阶段解耦检索增强音调条件歌词生成器以该序列为控制条件检索词例并生成歌词，前者输出的整行序列直接作为后者的控制输入。在音频到0243结果表1的评测设置下，TRATE以字准确率TokAcc 0.644高于最强的Qwen3.5三流基线Qwen 3-Br的0.565。在同一音频到0243结果表1的评测设置下，TRATE以归一化编辑距离NED 0.347低于同一Qwen 3-Br基线的0.398，数值越低序列越稳定。在0243到歌词消融表4的评测设置下，两阶段检索的DRA-TCLG以对齐指标Harmony 0.9740和Consistency 0.9421高于单阶段检索的0.6449和0.1579，说明先学好映射再引入词例才能保持对齐。结论只适用于粤语，0243词表、粤语拼音映射与词典都需替换后才能迁移，原文披露TRATE在单块NVIDIA A800上约2.8小时主训练与DRA-TCLG在单块NVIDIA H20上约7小时主训练，不含基线、消融、评测与推理开销。
🔗 开源与复现资源
第三方资源：https://www.feitsui.com/ — 链接可访问（HTTP 200）
第三方资源：https://www.0243.hk/ — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
粤语歌词为什么要先管声调与旋律的配合
刚接触语音或音乐的研究生可以先把粤语作词想成戴着镣铐选字：同一个音节换了声调，词义就可能变了，唱出来若旋律走向与词的相对高低冲突，听感会不顺甚至难辨义。论文把这个约束落到作词人常用的 0243 上，它不是新发明的隐变量，而是把 6 个声调按唱歌时的相对高度并成四档的速记，数字本身没有绝对音高含义，只在同一句内表示谁比谁高、是否同层。理解这一点才能明白后文为什么不用逐帧基频或 MIDI 音符直接生成歌词：前者信息太多太细且受颤音、滑音和伴奏干扰，后者则偏向音符还原而非选词约束，0243 正好是连接听 demo 与选词的中间层。
0243 × 声调层级： 0243 是粤语作词人常用的四档相对音高简记，声调层级指它把六个声调按唱歌时的相对高低归并为低、中、中高、高四层，二者搭配的意义在于用紧凑可编辑的离散序列代替连续基频或完整音符，既保留决定是否合调的核心相对关系，又让检索和语言模型 conditioning 更稳定。
论文反复强调 0243 重要、有效又省力：重要是因为它保留最刚性的合调条件，有效是因为它贴合作词实践与近年合调生成模型的控制信号，省力是因为 4 类离散、转调鲁棒、低熵，标注统一、搜索空间小、给大语言模型做条件也更稳定。对初学者而言，记住低、中、中高、高 4 层与 0、2、4、3 的对应只是起点，更重要的是它是有序且行内相对的，同一类别在不同旋律上下文可以对应不同绝对音高，这直接决定了第 1 阶段不能靠简单阈值切绝对音高。
已有歌词生成路线与本篇的切分点有何不同
已有旋律或声调感知生成大致分两支：一支做交互写作、结构感知与旋律约束改写，如优灵、秋牛等系统，另一支用显式音符序列等符号旋律提升可控性，还有针对普通话轮廓表示与粤语声调旋律交互的研究。音频分析侧则有歌词对齐与人声旋律提取，但论文指出它们不直接解决音频到 0243 的映射：唱词未必干净对应孤立音符，复调中人声基频估计受伴奏、八度错、颤音与装饰音影响，大规模粤语歌曲分析虽能量化声调旋律关系，却是分析导向而非可控生成接口。
ARIA 的切分点是把管线前移一步，不再假设符号旋律或手给声调计划已就绪，而是从真实歌声恢复作词导向的 0243 计划，再把它当显式控制交给生成器。比较时要注意输入与监督并不相同：符号条件系统吃干净乐谱，本篇吃歌声加字槽边界，目标也不是帧级基频或音符序列，而是每字一个可编辑的层级标签，因此不能把类别差异直接读成同条件胜负。
本篇解决的输入输出与必须保留的信息是什么
论文研究的是槽位对齐的音频驱动任务。输入是一段歌声音频加字符级歌词槽边界，输出是与槽数相同的粤语歌词，且每字要符合由音频估计出的 0243 层级。为看清任务，先看上下两条路线的对照：上面是已有系统依赖符号旋律或手给声调约束，下面是 ARIA 先估计中间计划再生成，中间计划是可解释接口。下图把这种动机画得很直白，上半虚线框标出缺失音频，下半给出从歌声到歌词的完整链路。
读图说明：该图上下分栏对比输入假设与处理链路，重点看控制信号从哪里来、音频是否进入系统。
看图路径： 1. 先看上半现有路线缺失音频框与符号旋律加声调约束两个输入；2. 再看下半 ARIA 从歌声加字符时间戳经 TRATE 到 0243 再到 DRA-TCLG 的单向箭头；3. 对比两条路线中可编辑控制出现的位置有何不同
论文图 1。原论文 Figure 1:：“Motivation of ARIA. Existing melody-aware lyric systems typically rely on symbolic melody or manually specified tone constraints.”。
上栏现有工作只有符号旋律与声调约束进入生成器，音频缺席，下栏 ARIA 把歌声与字符时间戳先送入第 1 阶段得到 0243 声调控制，再送入第二阶段得到歌词，箭头均为从左向右的单向流程，0243 是唯一的承接点。这个对照说明本篇没有去掉对齐信息，而是把外部供给的符号或声调计划换成音频侧估计，同时保留字槽定时。
形式上槽边界记为每字的起止时间集合，目标是为每槽预测从低到高的四档高度标签，再经固定映射得到 0243 码。
\[B=\{(s_{i},e_{i})\}_{i=1}^{N},\]其中高度标签的取值范围限定为四档。
\[P=(p_{1},\ldots,p_{N}),\qquad p_{i}=g(y_{i}^{h}),\]该式把高度标签经固定映射转成 0243 码，映射关系为 1 到 0、2 到 2、3 到 4、4 到 3。训练与评测用的参考 0243 由对齐原词的粤语拼音确定性导出，推理时模型看不到词文本与拼音；由于同一旋律可配多套合调歌词，该参考只是观测到的那套词的调高计划，而非唯一的音频标注。系统当前不从无约束音频发现槽位，槽位可由用户给出、已有标注得到或外部对齐器估计，这一点是后文所有结论的前提条件。
两阶段如何分工并经由 0243 衔接
整体流程是解耦而统一：第 1 阶段的 3 流关系感知声调估计器只管听，第二阶段的解耦检索增强声调条件生成器只管写，中间用同一 0243 序列衔接。下图展示了这种纵横结构，左侧纵向堆叠声学线索、融合与序列建模，右侧分两相组织提示构造与检索，横向只有 0243 一条线跨阶段。
读图说明：该总体结构图左侧为音频到 0243，右侧为 0243 到歌词，重点沿箭头确认主路径与检索分支的汇入点。
看图路径： 1. 沿左侧从音频与字符时间戳经三流声学线索到门控融合再到关系感知编码器的纵向箭头看第一阶段；2. 看右侧第一阶段只用指令加 0243 序列做提示构造、第二阶段多出频率感知词典与检索上下文分支；3. 注意两阶段之间只有 0243 序列一条横向连接
论文图 2。原论文 Figure 2:：“Overall architecture of ARIA. The framework decouples audio-side tone-plan estimation and text-side lyric generation through a unified 0243 intermediate representation.”。
左侧从底部的音频波形与字符时间戳向上经绝对、轮廓、相对 3 流声学线索到门控融合，再到关系感知 Transformer 编码器与 3 个预测头，输出 0243 序列，右侧第一相把指令与 0243 序列做提示构造后经微调得到基础模型，第二相多出频率感知 0243 词典到检索上下文的支路再汇入提示构造，最终输出粤语歌词。这种画法对应论文的写作分工：听与定调计划归前者，查词与打磨归后者。
TRATE × DRA-TCLG： TRATE 负责音频侧的调高计划估计，从歌声和字符时界输出 0243 序列，DRA-TCLG 负责文本侧的受控生成，把该序列变成流畅歌词，二者分工使声学建模与词汇选择解耦，组合后多出一层人类可读、可改写的中间接口，错误也能定位到计划估计还是歌词实现。
对初学者复述关键步骤很简单：给定音频与每字起止，先在每槽内算 3 类特征并融合成字表示，再看整句关系输出每字层级并映射为 0243，然后把该序列连同指令送入语言模型，必要时附上按子码检索到的候选词，生成等长歌词。代价也在结构里：若第 1 阶段计划错了，第二阶段一般照着错计划实现，不会主动修复，因此边界质量与第 1 阶段精度是瓶颈。
三流声学线索各自编码什么证据
直接用基频统计在歌声里很脆，因为颤音、滑音与字时长差异大。论文为每字构建绝对、轮廓、相对三组向量：绝对流是字槽内音高水平、离散度与时长等标量，如均值、中值、标准差、最大最小、四分位、首尾差、线性斜率、二次曲率、音高跨度、浊音比例与帧数及缺失标记，作用是先描述本字自身的高度与可靠性；轮廓流是字槽内均匀重采样的 16 点对数基频轨迹及逐点浊音与填补标记，作用是保留字内形状而非压成标量。
相对流是行内归一化高度与跨字关系，如减行中值除四分位距的稳健分数、行内百分位秩、前后邻音差距与高低指示、局部峰谷、绝对与归 1 位置及相对时长，作用是表达在当前句内的排序与邻接。
绝对流 × 轮廓流 × 相对流： 绝对流汇总字槽内音高水平、稳定性和时长等标量统计，轮廓流保留字内重采样的对数基频轨迹与可信掩膜，相对流编码行内排序、邻音差距、局部极值和相对位置，三流分开是因为 0243 是行内相对概念，局部高度、字内形状与句内顺序提供互补证据，融合后才能应对持续音、滑音和高度相近邻音等不同情形。
举例说，一个 sustained 的长字更依赖轮廓形状判断是平还是拐，一个短字更依赖行内排序与局部统计，一个与邻音中值相近的字则要看前后差距与峰谷标记。附录的特征表把 3 流输入列得很细，实验用的就是这套预处理主干，基线与 TRATE 共享，避免把特征差异误读成模型差异。
门控融合与关系感知序列建模如何计算
3 流先各自编码再按字融合。对第 i 字，设 3 分支编码为绝对、轮廓、相对向量，门控权重由拼接后经线性加偏置再 softmax 得到，加权求和后再加拼接的残差投影构成融合表示。
\[\alpha_{i}=\mathrm{softmax}\!\left(W_{g}\left[h_{i}^{\mathrm{abs}}{;}\quad h_{i}^{\mathrm{cnt}}{;}\quad h_{i}^{\mathrm{rel}}\right]+b_{g}\right),\]该式说明权重是按字算的 3 维分布，残差项保留拼接的直接投影，使模型能按字在持续音节信轮廓、短字信排序统计之间切换。融合序列送入 Transformer 编码器，由于 0243 是行内有序目标，自注意力打分额外加关系偏置。
\[e_{ij}^{(l,a)}=\left(\left(q_{i}^{(l,a)}\right)^{\top}k_{j}^{(l,a)}\right)\big/\sqrt{d}+u_{l,a}^{\top}\phi(r_{ij}).\]其中查询键点积除根号维度后，加上由中值对数基频差、百分位秩差、字距、正负与相对位置构成的关系向量经投影再与可学习向量点积的偏置，目的是让注意力看到邻接高低与距离。顶层除主高度头外还有轮廓族、音区头与近邻序关系头，前两者把六声监督分解为结构分量并经张量积整形映射回高度分布做一致正则， pairwise 头预测距离一到二的字对是低、同还是高。
门控融合 × 关系感知注意力： 门控融合为每个字计算三流权重并加残差投影，解决不同字可靠证据来源不同的问题，关系感知注意力在自注意力打分上加由中值对数基频差、排序差、距离与方向构成的关系偏置，解决 0243 的行内有序本质，组合后模型既能按字选证据，又能按行看邻接关系。
训练把主高度交叉熵、辅助分类、高度一致与变调一致组合加权，主高度头用标签平滑并开指数滑动平均，变调一致要求音高平移增强下预测稳定。原文只报告这种组合改善字精度与行序列稳定性，单项拿掉会怎样没有给出可核验的因果结论。
生成器为何分两相引入检索
大语言模型能写流畅文本，但不显式编码 0243 模式与粤语声调选字的对应。若一开始就加检索增强生成，噪声候选会干扰早期对齐学习，因此论文用解耦两相：第一相从 Qwen3.5-4B 出发，不加检索地学从 0243 控制序列到目标行的因果语言模型损失，只监督歌词 token，让模型先掌握序列长度、节奏结构与词汇实现的直接映射；第二相冻结主干、只调 LoRA 适配器，加入来自 0243.hk 并按绯翠训练歌词频率重排的词典候选。
检索时把输入 0243 按空格分段，对每段用长 2 到 4 的滑窗枚举子码，优先二三字、每段至多一个四字、丢弃一字，每码取前 4 候选、每段至多 4 码、每样本至多 16 候选并去重，序列化为码与候选词对的提示。第二相损失形式与第一相相同，只是提示多了检索上下文。
\[\mathcal{L}_{\text{rag}}=-\sum_{t=1}^{T}\log p_{\theta^{\prime}}(y_{t}\mid y_{\lt t},p_{\text{rag}}),\]该式是检索增强提示下的负对数似然，参数为适配后参数，检索与指令部分被掩掉不算损失。
基础声调到歌词映射 × 检索增强词汇引导： 基础声调到歌词映射指第一阶段不加检索、只学 0243 序列长度与节奏对歌词实现的直接约束，检索增强词汇引导指第二阶段加入按语料频率排序的 0243 词典候选作为提示，二者先后搭配是因为早期引入噪声候选会干扰声调对齐学习，先稳定映射再做词汇精修才能兼顾合调与流畅。
论文强调检索为提示密度而非最大召回设计，是可忽略的词汇锚点而非硬约束，训练集上至少一候选逐字命中目标的比例约 37.7%，两个代表性例子也显示用两个候选与零候选都能精确合调，说明它是稀疏先验而非答案库。
数据如何建成与模型如何训练
数据分三源：歌词与配对演唱录音供第 1 阶段学音频到 0243，歌词加 0243.hk 词汇供第二阶段学 0243 到歌词。按绯翠设定收粤语歌词，第 1 阶段经对齐过滤得 102723 条行级样本、来自 3424 个录音，按歌划分约 0.8 比 0.1 比 0.1 防歌曲泄露，第二阶段得 171541 条 0243 到歌词对，按 0.9 比 0.05 比 0.05 划分，另有 500 条交集子集按归一化 0243 匹配供管线对比，检索资源枚举 2 到 4 位模式去重得 141566 个候选。因版权不分发原录音，只发布非音频标注、划分、字符边界、0243 与 4 层标签、拼音、音高元数据与重建脚本。
管线质量控制重在字符对齐：抽查对齐、滤掉时长不合理或字数明显错配项，再由文本侧拼音确定性映射到 0243，避免从音频直接排序的主观判断。训练上 TRATE 用 AdamW 加线性暖机余弦衰减，主高度头标签平滑并开 EMA，3 种子 13、42、3407 平均报告；DRA-TCLG 冻结 Qwen3.5-4B 主干，只训注意力投影的 LoRA，秩 16、缩放 32、dropout0.05、bf16，基础微调 3 轮学习率 1 乘 10 的负 5 次方，检索适配两轮 5 乘 10 的负 6 次方。主训练耗时约 TRATE 在单张 A800 上 2.8 小时、DRA-TCLG 在单张 H20 上 7 小时，不含基线、消融与推理。
评测条件与指标方向如何设定
实验分两 regimes：理想控制下的 0243 到歌词与必须先从音频恢复 0243 的完整管线，前者所有系统吃由原词导出的参考 0243，后者只有 TRATE 加 DRA-TCLG 吃歌声加字符时间戳，因此跨 regime 表是系统级对比而非同输入对比，Harmony 与 Consistency 都是相对各自输入控制序列计算。第 1 阶段报 TokAcc、Macro-F1、Within 正负 1 与归一化编辑距离 NED，前两者看精确与类别均衡，Within 正负 1 看四档有序下的邻层近 miss，NED 看整行序列对下游控制的稳定性，方向为前三越高越好、NED 越低越好。
对照含两条无参四分位规则与两条 Qwen3.5 微调基线，规则分别用行内 z 分数中值与绝对平均对数基频切四档，Qwen 分别只看相对特征与看全 3 流。第二阶段沿 ToneCraft 报对齐的 Harmony、Consistency 与多样性的平均相似、最小相似及基于一二元熵的 MaD、MiD，相似越低多样越高，熵越高多样越高，对照含同分布复现的 ToneCraft-Qwen2-7B 及按 ToneCraft 协议适配的 SmBART 与 SongNet。
人类评测在共享 500 条中取 40 条不重叠项，12 名会粤语者盲评，统一给参考 0243、录音仅作旋律参考，维度为声调旋律、节奏、粤语自然度、歌词质量、可唱性加偏好票，作者只作描述性报告不声称显著性。
音频到 0243 的主结果支持什么判断
要回答的问题是行内相对调高能否从真实歌声学到，以及 3 流与关系建模是否必要。公平条件是同划分、同预处理主干、推理都不看词文本与拼音，指标方向为精度类越高越好、NED 越低越好。下表整理原文连续句可核验的关键数字，TRATE 行是 3 种子平均，规则行是约值，Qwen 最强基线的差距以原文报告的增量呈现。
| 方法 | TokAcc | Macro-F1 | Within 正负 1 | NED |
|---|---|---|---|---|
| TRATE | 0.644 | 0.615 | 0.885 | 0.347 |
| 规则基线 | 约 0.37 | 约 0.36 | 原文连续句未给绝对值 | 原文连续句未给绝对值 |
| 相对最强 Qwen 基线的改进 | 0.079 | 未报告 | 未报告 | 0.051 |
表前说明已讲清比较问题与公平条件，表中 TRATE 为实际可运行的 2.37M 专用编码器，规则无参，Qwen 为 4.57B 加 32.46M 可训参数的微调基线。TRATE 四项最好，规则约 0.37 说明粗四分位不够，Qwen 相对特征与全 3 流的差距说明 3 流互补，而 TRATE 相对最强 Qwen 再提 0.079 并降 NED0.051，且下游吃整行计划故 NED 降低直接提升控制稳定性。限制是 Within 正负 1 只是音乐容忍的近 miss，不代替精确精度，非邻层与连续成串错误仍是主要失败，且该表是行内相对任务的结果，不能推广到无槽边界或跨语言。未胜出项是两条规则与 Qwen 基线，它们在精确与序列稳定性上均落后。
粤语六声到 4 层的依据如下表所示，原文把声调类别、蔡氏五度值、歌唱层与 0243 并列，说明合并保留的是相对高低而非逐字复刻口语轮廓。
| Tone | Category | Chao | Singing tier | 0243 |
|---|---|---|---|---|
| 1 | Yin level | 55/53 | high | 3 |
| 4 | Yang level | 11/21 | low | 0 |
| 6 | Yang departing | 22 | mid | 2 |
该表选出高层与低中层代表行，可见 1、2 并为高层对应 3，4 为低层对应 0，6 为中层对应 2， tier 关系稳定是后文用 4 类做控制的前提，限制是起音值在不同描写有出入，但不影响层序。
歌词生成与完整管线的对齐代价是什么
要回答的是给定调高计划能否既合调又多样，以及音频侧误差如何传到终稿。0243 到歌词在大集上 DRA-TCLG 得 Harmony0.9740、Consistency0.9421，为对齐最强，相对 ToneCraft-Qwen2 再提升，SmBART 多样有竞争力但对齐低，说明多样与合调部分竞争，检索加同分布训练的双约束带来更好的权衡。在 500 条共享子集的跨 regime 对比中，吃参考 0243 的 DRA-TCLG 与吃音频的 TRATE 加 DRA-TCLG 分别在各自控制下算分，后者得 0.9786 与 0.9528 并在 MaD 上最好，但这只说明实现忠于 TRATE 估计的计划，不等于与原词参考计划一致。
配对干预显示把参考换成预测后终稿对参考的 Harmony 从 0.9742 降到 0.8482，降 0.1260，两条件输出 0243 完全一致仅 15.2%，第 1 个阶段 NED 与终稿 NED 的 Spearman 相关系数为 0.8520；仅邻层错时终稿对参考为 0.8404 与 0.7810，含非邻层错时跌到 0.7568 与 0.5592，最大连错长 1、2、至少 3 时 Harmony 从 0.8507 到 0.7619 再到 0.6843，而终稿对预测计划的 Harmony 在分组间保持 0.9716 到 0.9738，说明第二阶段一般实现而不修复。个例上单个邻层替换仍保持 0.9514 与 0.9909，八连错则把 00240024 误成 44334433 并照样实现，对参考 Harmony 跌到 0.1935。人类评测 40 项中 DRA-TCLG 5 维描述均值最高且偏好 160 票，但作者声明不做显著性断言，规模有限。
哪些组件真正带来增益与检索何时有害
TRATE 消融从仅相对 Transformer 起步，依次加 3 分支输入、结构化关系与门控融合，TokAcc 从 0.522 到 0.592 再到 0.629 最后 0.644，Macro-F1 从 0.464 到 0.556 再到 0.599 最后 0.615，Within 正负 1 从 0.849 到 0.874 再到 0.883 最后 0.885，NED 从 0.452 到 0.393 再到 0.361 最后 0.347，其中 3 分支带来的 0.070 与 0.059 是最大单步，说明绝对与轮廓在排序之外确有增量，关系建模支持目标是关系而非局部，门控说明可靠证据源随字而变。DRA-TCLG 消融显示检索必须后置：基础模型 Harmony0.9104、Consistency0.7619，1 阶段直接加检索跌到 0.6449 与 0.1579，虽部分多样上升但对齐崩了不可接受，2 阶段回到 0.9740 与 0.9421 并保住多样，说明噪声候选是有用的词汇先验但有害的早期监督。九声到 0243 的松弛合并进一步解释为何 4 类足够，严格数字助记中同层声调被并到同一 0243。
| Tone | Strict | 0243 | Rationale |
|---|---|---|---|
| 1 | 3 | 3 | Same high tier as tone 2 |
| 4 | 0 | 0 | Unique low tier |
| 6 | 2 | 2 | Unique mid tier |
该表选出高层合并、中高合并与入声对应行，可见 1 与 2 同为高层 3，3 与 5 同为中高 4，7、8、9 分别是 1、3、6 的入声对应，限制是它只说明音高层归并，不涉及时长与韵尾差异，跨语言需重做清单。
边界扰动是另一类本篇特有细节，固定种子 3407 的最优 EMA 单点做敏感性分析，非零扰动各取三扰动种子平均，干净条件走同一重算管线。下表数字均有原文连续句覆盖，±25 毫秒稳定，±50 毫秒轻降而邻层命中几乎不动。
| 条件 | Acc | F1 | Within 正负 1 |
|---|---|---|---|
| 干净重算 | 0.6459 | 0.6173 | 0.8840 |
| 正负 50 毫秒 | 0.6391 | 0.6102 | 0.8837 |
Acc 与 F1 分别从 0.6459、0.6173 降到 0.6391、0.6102，Within 仅从 0.8840 变到 0.8837，±100 毫秒才明显下降但 Within 仍居高位，说明准确边界有益但模型对现实偏移中度鲁棒，残差多留在邻层。注意干净重算值不等于 3 种子平均，不可混为同一指标。普通话到粤语的跨版压力测试更难，Qwen 相对特征在精确上最好，TRATE 的 NED 接近且 Within 最好，支持其在对应不稳时仍保序，但这只是泛化分析而非主监督评测。
结论在什么条件下才成立
所有性能结论都系在槽位已知的前提下：槽可由用户给、已有标注来或外部对齐器估计，但论文不从无约束音频发现槽，也未测准备时间，不能声称相对符号输入有普遍成本优势。参考 0243 由对齐原词拼音确定性导出，代表观测词的实现而非唯一音频标注，同一旋律多实现的 1 对多本质仍在。经验断言限粤语，两段分解、3 流、关系感知与延迟检索可迁架构，0243 清单、拼音映射、声调旋律规则与词典必须换成目标语言的控制与资源。
第二阶段一般实现而不修复，成簇与非邻层错后果大，标签 2 最难、标签 0 非邻层错率最高。人类评测仅 40 项 12 人，TRATE 主结果虽 3 种子平均，但未给每模型分析的置信区间与完整方差。缺证据不等于技术缺陷，来源未确认也不是模型错误，复述时把已报告、支持与待验证分开。
复现第一步做什么与需要哪些资源
复现先按歌划分重建数据：收绯翠歌词与合法录音，做字符对齐与异常过滤，再由文本侧拼音确定性映射到 0243，不要从音频直接排序。发布包只有非音频标注，含样本标识、歌曲标识、行号、字数、字符起止与时长、4 层与 0243 标签、划分、标题歌手、拼音与字级音高元数据，去掉本地音频路径，需自行凭合法访问重建音频段。
代码开源、权重可下载、系统可运行是三件事：论文只说明发布非音频标注与脚本，未确认作者代码与权重链接可用，绯翠与 0243.hk 是论文提到的第三方资源，不证明作者已开源。训练按上文超参数与冻结规则走，先训基础映射再加检索，检索严格按滑窗 2 到 4、重二三字、限四字与总数、去单字与去重的规则构造提示。评测保持双 regime 分开，跨 regime 不做同输入胜负断言，随机解码的参考聚合需独立报告。
什么时候值得尝试与还缺哪项验证
当手头只有 demo 或哼唱而无谱、且能给出或对齐出字槽时，值得尝试用音频估计的可编辑 0243 做起草与查词；当槽位完全未知、语言非粤语或要求模型自动纠正大段调高错误时，则不在本篇证据范围内。第一步是拿到合法录音并跑通字符对齐，确认±25 到 50 毫秒内的稳定性，再看 TRATE 的 NED 是否低到检索可用。还需补的验证包括无槽端到端、跨歌手与录音质量分层、检索覆盖与流畅的因果分析，以及更大规模人类评测与区间估计。总体上，论文提供的是音频分析与可控写作之间的人可读接口， present 的数字与资源仍是粤语特定的，架构思想可借鉴，清单与规则必须重做。
📎 论文与评分元数据
排名：前50% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses