📄 一次采样同时给出视频、混合声与每条分轨的音频视频模型
英文题目：SepGen: Multi-Stem Audio-Video Separation and Generation in a Single Model
标签：#音视频生成 | #音频分离 | #LoRA | #流匹配
评分：8.6/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.3/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1.5/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Aviad Dahan：Tel Aviv University
- Rajaei Khatib：Tel Aviv University
- Yonatan Bitton：Google
- Idan Szpektor：Google
- Lior Wolf：Tel Aviv University
- Raja Giryes：Tel Aviv University
📌 核心摘要
4D 音视频场景需要从新视点重渲染画面和空间声音，但已有联合音视频生成器只输出单路混合声轨，无法把每个声源单独取出、定位和传播，后接的语言查询分离每次只处理一条查询，遇到两名男声这类同类声源容易返回同一人。SepGen 在冻结的 LTX-2.5 骨干上增加两路分轨通道，输入为场景描述和每声源一条描述，输出为视频、混合声轨和 2 路分轨波形，分离模式则以观测到的视频和混合声轨为输入，只去噪分轨。训练先让分轨分解干净混合声轨，再让分轨适应带噪混合声轨，推理时生成模式让分轨在噪声较高时读带噪混合声轨，在噪声低于阈值后读当前步估计的干净混合声轨。生成基准声音部分 134 个场景、语音部分 60 个对话的设置下，联合运行的分轨在交换差值指标 J-swap 上为 2.07，高于最强的级联基线 1.27 左右，且自带语音词错误率降至 0.07。结论适用于双声源、带文本描述的场景，超过 2 个声源、完全无描述的同乐器二重奏等情况尚未解决。原文训练使用单卡 NVIDIA A6000，分离阶段 12000 步加生成阶段 3000 步，推理生成用 15 步、分离用 30 步。
🔗 开源与复现资源
代码相关资源：https://sepgen.github.io/ — 链接可访问（HTTP 200）
模型相关资源：https://sepgen.github.io/ — 链接可访问（HTTP 200）
数据相关资源：https://sepgen.github.io/ — 链接可访问（HTTP 200）
第三方资源：https://sepgen.github.io/ — 链接可访问（HTTP 200）
模型相关资源：https://huggingface.co/collections/AviadDahan — 暂时无法访问
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
为什么一条混合声不够做新视角重渲染
这篇论文处理的是 4 维音画场景的渲染需求。输入是一个场景描述和每个声源的文字描述，目标是 1 次给出视频、混合声与每个声源各自的波形。混合声指所有声源叠加后的一条音轨，分轨指每个声源单独的一条波形。已有联合音频视频生成器只能输出一条混合声，声源在声音里不可寻址。当视频被抬升到可换视角的 3 维动态场景时，画面可以从新机位重渲染，但声音没有每个声源的位置与轨迹，只能在两耳重复播放原机位的混合声。论文要补的正是每个声源可被定位、移动与传播的波形，而不是再提升混合声本身的音质。
下面这张示意图先展示只有混合声时会发生什么，再展示多出分轨后渲染链路如何变化，重点看输入输出与中间是否出现声源位置。
看图路径： 1. 先看上面一行从场景文字到一条混合声再到新视角下两耳仍是同一混合声的箭头；2. 再看下面一行每个声源字幕如何对应一条彩色波形与画面上的定位点；3. 对比中间由问号变为三维声源轨迹的方块，理解可寻址声源的作用
论文图 1。原论文 Figure 1:：“SepGen overview and motivation. (a) Joint audio-video generation emits one soundtrack with no addressable source: the video is lifted to 4D and rerendered from a new viewpoint,…”。
图 1 上面一行从吉普车远去与出租车靠近的场景文字出发，经过音频视频生成器得到视频与一条混合波形，再抬升到 4 维时中间方块标出没有声源位置，新视角下两耳仍是同一混合声。下面一行多了每个声源一条字幕，模型同时给出吉普车与出租车各自的彩色波形与混合声，画面上出现对应颜色的定位点，中间方块变为 3 维声源轨迹，右侧新视角下视频与空间声音一起变化。这张图说明分轨不是为了多输出声音，而是为了让每个声音能被定位与传播。
已有三条路线各自缺了哪一块
论文把相关工作分成 3 类。第一类是联合音频视频生成，例如 LTX-2 系列与 Ovi，以及视频到音频模型，它们从文本或视频合成带同步声音的视频，但每场景只输出一条混合声。第二类是多声源音频生成，音乐里 1 次生成多个分轨的工作较多，也有按视频中检测到的声源逐个生成的工作，但论文指出据其所知没有 1 次去噪同时给出视频与多条带字幕分轨的方法。第 3 类是语言查询的声源分离，例如 AudioSep、FlowSep 与 SAM Audio，它们用自由文本从混合声中提取指定声源。
关键区别在于运行方式：这类级联方法对每个查询独立运行 1 次，当两个声源同属一类，例如两个男声说话，分 2 次查询可能 2 次返回同一个较响的人声。SepGen 与它们的输入目标不同，它从共享的混合声联合预测两条分轨，让两条分轨内容互补。比较时只有输入同为视频加混合声、输出同为指定字幕的分轨才算同条件，生成新视频加新声音的任务不能与纯分离直接比胜负。
任务的输入输出与必须保留的信息
论文把场景限定为两个声源，记声源描述为两个查询。生成模式的输入只有场景字幕与两个声源字幕，输出是视频、混合声与两条分轨，例如一段双人对话按原轮流顺序每人一条分轨。分离模式的输入是已观测的视频与混合声加上同样的字幕，输出只有两条分轨，混合声保持干净不被改写，字幕说明要提取什么。必须保留的信息有三点：混合声与视频的时间同步，混合声的整体内容不因加分轨而改变，每条分轨只忠于自己的字幕且两条分轨互相分开。
比如一段邦戈鼓加吉他的街头表演，场景字幕描述集市，两个声源字幕分别描述鼓与吉他，理想输出是鼓轨只有鼓、吉他轨只有吉他，相加接近混合声，且视频里鼓手打鼓与吉他手弹奏的时间对得上。这个例子只是帮助理解任务，不代表论文承诺所有乐器都能分开。
混合声 × 分轨： 混合声指场景中全部声源叠加后的一条波形，是原有主干模型唯一输出的声音，分轨指每个声源各自的一条波形。两者搭配的意义在于混合声保留主干已有的音画同步与整体听感，分轨提供可寻址、可移动、可重渲染的声源，二者由同一采样过程给出才能保证时间对齐。
一次采样如何同时走视频、混合声与分轨
整体流程是扩展一个预训练的流匹配扩散音频视频生成器。主干原来有视频流与音频流，每块内各自做自注意力并交叉注意场景字幕，2 流之间还有双向音画交叉注意力。SepGen 把音频隐变量扩成 3 通道序列，两条分轨加一条混合声，沿序列拼接，每通道保持原音频隐变量的时间形状，使同一时刻的 3 通道在时间上对齐。每次前向预测视频与 3 个音频通道的速度，采样计划决定实际更新哪些隐变量。分离时只更新分轨，混合声与视频作为干净输入。
生成时视频、混合声与分轨一起去噪，分轨依据当前混合声的估计来分解。下面的公式是两种模式的定义，左边生成给出视频、混合声与两条分轨的估计，右边分离只给出两条分轨。
\[\text{Generation: }(\hat{V},\hat{m},\hat{s}_{1},\hat{s}_{2})=F_{\theta}(c,Q),\qquad\text{Separation: }(\hat{s}_{1},\hat{s}_{2})=F_{\theta}(c,Q,V,m).\]在噪声空间看，分离是把混合声固定在零噪声，分轨从噪声向下走；朴素生成是三者共用同一噪声水平一起走；SepGen 的估计分离是在高噪声读带噪混合声，低噪声改读干净估计。读图时注意 3 条轨迹与虚线箭头的指向变化。
看图路径： 1. 看左侧分离模式下混合声被固定在数据端而两条分轨从噪声向下走；2. 看中间共享噪声的朴素生成方式三条轨迹为何共用同一噪声水平；3. 看右侧估计分离中分轨的虚线箭头何时指向带噪混合声、何时指向干净估计
论文图 2。原论文 Figure 2:：“Inference schedules in \sigma-space. Left to right: (a) Separation keeps the audio-mix m clean.”。
图 2 左侧分离模式下两条青色分轨从顶部噪声椭圆落到底部数据椭圆，棕色混合声固定在数据端，虚线箭头都指向它。中间朴素生成 3 条轨迹平行下落，共用一个噪声水平。右侧是本文方案，棕色混合声通道也从噪声下落，但分轨的虚线箭头在高噪声段指向带噪混合声，在低噪声段指向底部由空心圆表示的干净估计，图例明确区分分轨、混合声通道、干净估计与被分轨注意的对象。这解释了为何同一套权重能兼顾两种模式。
分离模式 × 生成模式： 分离模式指给定已观测的视频与干净混合声，只去噪两条分轨；生成模式指从字幕出发同时去噪视频、混合声与分轨。两者本质是同一分解任务，只是分轨所依据的混合声是干净观测还是正在去噪的估计，论文用混合声的噪声水平来切换同一套权重。
混合声不受分轨干扰是怎么做到的
为不破坏主干已有的能力，论文用注意力掩码与适配器门控双重隔离。音频顺序为分轨 1、分轨 2、混合声，掩码让分轨可注意分轨与混合声，而混合声只注意自身，视频与混合声都不注意分轨，信息只能从场景流向分轨。下面的掩码公式行表示查询，列表示被注意的对象，1 允许、0 阻断。
\[\Lambda=\begin{bmatrix}1&1&1\\ 1&1&1\\ 0&0&1\end{bmatrix},\]仅靠掩码还不够，因为低秩适配器会改变混合声位置的投影。论文把音频侧适配器增量在混合声位置关掉，分轨位置用适配后投影，混合声位置用冻结原投影。字幕路由也是块对角的，每条分轨只读自己的声源描述，混合声只读场景描述。各通道使用相同的旋转位置，使同一时刻对齐。论文报告的对照是同一输入下开关适配器各跑 1 次去噪，混合声各行与视频在每层与输出逐比特一致，只有分轨行不同，说明隔离在实现层面成立。相对原厂渲染的微小浮点差异来自文本编码批量组成与时间步嵌入等，与分轨无关。
音频流 × 低秩适配器： 音频流指主干变换器中处理音频隐变量的一路序列，低秩适配器指只加在音频流投影上的小参数增量。两者搭配时主干权重冻结，只有分轨位置经过适配后的投影，混合声位置走原投影，这样新增分轨能力而不改动原有混合声与视频。
两条分轨互相分开靠什么机制
只给每条分轨各自的字幕还不够，当一段声音同时符合两段描述时两条分轨可能复制同一内容。论文引入跨分轨注意力引导，在每条分轨的字幕交叉注意力内部计算正负两个分支，正分支用自己字幕，负分支用同伴字幕，再用归一化注意力引导算子把正分支推离负分支。混合声在 2 分支都读场景字幕，因此不受对比影响。推理时两模式都用该引导。消融显示关掉引导会降低可分性，强度调大则会降低声音质量评分。
联合采样的作用更大：把联合改为每个字幕独立跑 1 次，不共享混合声通道，两条输出变成近似复制混合声，交换余量、字错误率与说话人余弦全面恶化。这说明分轨互补来自共享混合声的联合去噪，而字幕路由与引导负责把互补内容按字幕分派。
块对角字幕路由 × 跨分轨注意力引导： 块对角字幕路由指每条分轨在字幕交叉注意力中只读自己对应的声源描述，跨分轨注意力引导指把同伴声源描述当作负分支来推开当前分轨的注意力输出。前者做硬隔离，后者处理两段描述语义相近时仍会互相泄漏的情况，组合后分轨各跟各的字幕且互相远离。
生成时分轨应该读带噪混合声还是干净估计
生成模式没有干净混合声可用，若分轨全程读带噪混合声，最终混合声里没有的内容可能被分轨提前写死。论文让分轨按噪声水平切换读取对象，高于阈值读带噪状态，低于阈值读由当前步预测的干净估计，该估计由带噪隐变量减去噪声水平乘以预测速度得到。阈值取 0.97，意味着只有最初几步读带噪混合声。下面的公式即该切换规则。
\[z_{m}^{\mathrm{read}}(\sigma_{k})=\begin{cases}z_{m}^{\sigma_{k}},&\sigma_{k}>\sigma_{g},\\ \hat{z}_{0,m},&\sigma_{k}\leq\sigma_{g},\end{cases}\]训练第二阶段特意覆盖这两种情形：一部分样本混合声与分轨同噪声水平，对应高噪声段；30% 样本混合声保持干净，对应估计分离段。附录对比显示全程读估计会降低交换余量，因为混合声尚未确定声源时估计不可靠；全程不读估计会提高字错误率与降低交换余量，说明该切换买的是每位说话人台词的隔离而非整体音质。
估计分离 × 噪声阈值： 估计分离指生成模式下分轨不一直读带噪混合声，而在噪声较低时改读当前步预测出的干净混合声估计，噪声阈值指切换这两种读法的分界噪声水平。搭配后高噪声阶段避免不可靠的估计误导分轨，低噪声阶段让分轨紧贴最终混合声的内容。
数据从哪里来以及两阶段训练学什么
训练数据的关键性质是每个混合声都是两条已知声源相加，因此真值分轨存在。4 个来源包括说话头视频对、双乐器场景、模型生成的双声源片段，以及跨视频合成的混合声。声源可以同时发声也可以轮流，例如对话。每声源字幕有 3 种详略，训练时随机抽一种。位置字幕在训练时还带画面区域偏置帮助分轨注意对应视频区域，但推理时去掉，不给模型位置。下表整理训练数据的构成，数量来自原文连续句。
| 数据家族 | 示例数 | 组成说明 | 混合方式 | 字幕条件 |
|---|---|---|---|---|
| 全部双声源片段 | 4843 | 4 个来源汇总 | 两条已知声源相加 | 场景加每声源 |
| 说话头视频对 | 1658 | 单人录音两两混合 | 分屏或画外组合 | 3 种详略随机抽 |
| 双乐器场景 | 1437 | 每乐器独立音轨 | 原生双重奏叠加 | 3 种详略随机抽 |
| 生成双声源片段 | 749 | 模型合成片段 | 已知两片段相加 | 3 种详略随机抽 |
| 跨视频合成 | 999 | 网络片段重组 | 分屏或画外组合 | 3 种详略随机抽 |
上表说明 4 个家族各自的示例数与混合方式，合计与分项数字均有原文连续句支持，限制是网络片段需核对与评测视频无重叠。训练目标只监督分轨的速度预测，视频与混合声位置只作输入不给损失。第一阶段混合声始终干净，学分离；第二阶段以 30% 概率保持干净，否则给独立噪声并截断到不超过分轨噪声，学生成。下面的公式是分轨损失，对两条分轨求和，期望对训练样本取平均。
\[\mathcal{L}=\sum_{i=1}^{2}\mathbb{E}\Big[\big\lVert v_{\theta,i}\big(\mathcal{I}(\sigma_{s},\sigma_{m})\big)-u_{s_{i}}\big\rVert_{2}^{2}\Big],\]第二阶段的代价是额外的继续训练，但换来生成时分轨更贴自己字幕、台词更准、种子间更稳定，而分离能力保持，细节见后文继续训练前后的对照表。
在什么数据与指标下比较才算公平
评测分生成与分离两大任务。生成用 194 个双声源提示，134 个声音场景与 60 段双人对话，生成检查点 1 次给出视频、混合声与分轨，基线用同一混合声与同一字幕做分离。分离用 149 个由外部视频生成器渲染的场景、64 个同系列模型渲染的场景，以及 172 个真实录音。真实录音每段只有一个目标描述，论文固定第二条为残余背景描述。基线是 3 个已发布的语言查询分离模型，外加视频掩码驱动的变体。
声音用判分模型打分与文本音频相似度，以及各自减去对同伴描述得分的交换余量，复制混合声在交换余量上得零。语音用本行台词字错误率与两条分轨说话人嵌入余弦，余弦为 1 表示复制，静音也会拉低余弦但字错误率接近 1，因此两者一起读。由于没有参考分轨，所有主指标都是分轨与字幕的比较，另有 129 个有真值分轨的保留场景做包络相关与对数谱距离。下表说明 2 个训练阶段的更新量与模型规模，数字来自原文连续句。
| 训练阶段 | 更新步数 | 可训练参数 | 主干状态 | 硬件条件 |
|---|---|---|---|---|
| 分离阶段 | 12000 | 327M parameters | 冻结主干权重 | 单张加速卡训练 |
| 生成继续训练 | 3000 | 327M parameters | 冻结主干权重 | 单张加速卡训练 |
上表说明训练是轻量适配器而非全量微调，两行分别是分离阶段与生成继续训练的更新步数，限制是批量与学习率等超参数只在附录给出，复现需按原文管线设置。推理时的干净输入、去噪估计、保持长度与空间上采样属于另一组推理条件，不在本表的训练指标列中比较。
生成出的分轨是否各跟各的字幕
先看分轨对画面的注意力是否找对人。下面这张热力图展示同一帧在两条分轨视角下的注意力分布，暖色越高表示该分轨越关注该画面区域，重点对比高亮落在鼓手还是吉他手身上。
看图路径： 1. 对比左右两幅同一集市场景下高亮区域落在鼓手还是吉他手身上；2. 注意底部由低到高的颜色条，暖色表示该分轨对该画面区域注意力更高
论文图 3。原论文 Figure 3:：“Stem-to-video attention in a generated frame. Each stem attends to the source named in its caption: bongo drum (left) and acoustic guitar (right); warmer is higher.”。
图 3 左侧分轨高亮落在吹奏邦戈鼓的男子与鼓面上，右侧分轨高亮落在弹吉他的女子身上，背景集市不受关注，说明每条分轨的视频注意力集中在自己字幕所指声源。但注意力找对人不等于声音分开，还需听感与自动指标共同验证。自动指标上联合运行的分轨在各项领先级联基线，交换余量差距最大，原因是级联对两查询独立作答可能返回同一声源；把生成产物再过 1 次分离的自分离在声音各项更高，但多 1 次采样且语音字错误率略升。未胜出项是文本音频相似度本身对复制混合声不敏感，需看交换余量。
下面这张用户偏好表比较听众在匿名强制选择下的偏好份额，份额越高越受偏好，条件是每次看参考视频听两条候选并可选平局。
| Study | Cut | nn | SepGen | Tie | Baseline | Sources |
|---|---|---|---|---|---|---|
| Separation | Veo | 336 | 0.51 [0.40, 0.58] | 0.19 | 0.30 [0.19, 0.42] | 3/0/4 |
| SAM-Audio-bench | 384 | 0.64 [0.45, 0.83] | 0.16 | 0.20 [0.09, 0.34] | 6/0/2 | |
| All | 720 | 0.58 [0.47, 0.70] | 0.17 | 0.25 [0.16, 0.34] | 9/0/6 | |
| Generation | Sounds | 612 | 0.49 [0.35, 0.63] | 0.13 | 0.38 [0.24, 0.51] | 6/1/5 |
| Speech | 357 | 0.87 [0.80, 0.95] | 0.03 | 0.10 [0.04, 0.17] | 7/0/0 | |
| All | 969 | 0.63 [0.48, 0.78] | 0.09 | 0.28 [0.15, 0.40] | 13/1/5 |
上表分离总份额 SepGen 高于基线，真实录音上优势更明显，外部渲染场景上差距收窄；生成总份额 SepGen 高于基线，其中语音优势远大于声音。限制是区间宽度主要来自片段差异而非听众差异，且分离对比中基线用了八选一重排而 SepGen 是单次抽样，条件对 SepGen 更不利，因此该表支持的是单次部署下的听感优势，而非重排后的上限比较。
分离真实与外部生成场景时结论是否成立
分离结论依赖 3 个基准。在外部渲染的 149 场景上，两检查点在判分与交换余量上超过全部级联基线，用视频掩码代替文本也不能追上。语音字幕含引用台词时基线的查询编码器用不上台词，去掉台词后领先仍在，但部分分轨变静音，字错误率上升而说话人余弦反而改善，需一起读。在真实录音上，判分器与被比方法同编码器家族，仍是 SepGen 领先最强的基线，交换余量也领先。在有真值分轨的 129 场景上，包络相关与对数谱距离均领先，包括对基线八选一重排的结果。
对话真值上本方法字错误率与真值相当，基线明显更高。下表整理继续训练前后作为生成器的变化，数字来自原文同一句，用于说明第二阶段的收益与代价。
| 对比对象 | 评价指标 | 分离检查点作生成器 | 生成检查点 | 种子间浮动 |
|---|---|---|---|---|
| 继续训练前后 | 交换余量 | 1.95 | 2.07 | 0.13 到 0.01 |
| 继续训练前后 | 本行台词字错误率 | 0.10 | 0.07 | 随种子变化 |
上表显示继续训练提升交换余量、降低本行台词字错误率、缩小种子间浮动，代价是额外的训练步数。查询信息的具体要求与同乐器情形的拆分局限另行用文字说明，不占用本表的继续训练前后数值列。音频编解码器会重写相位，因此不用逐采样信噪比，改用相位不变的包络与谱指标。
拿掉联合、视频与对齐各会发生什么
消融在同系列渲染基准上做。联合是最关键的，独立 2 次不共享混合声则交换余量崩塌，语音字错误率与说话人余弦同步恶化。视频的影响很小，空白帧、无关片段或无视频都不改变分离指标，说明分离主要靠字幕与混合声驱动，尽管注意力确实落在声源上。旋转位置若改为拼接时间线而非对齐，重训后判分下降、字错误率成倍上升，说明分轨依赖与混合声的时间对齐。
混合声消融显示把观测混合声换成静音则分轨全灭，换成别片段的混合声则分轨转录别片段的台词，证明分轨是在分解所观测的混合声而非按字幕凭空合成。引导强度消融显示关闭降低交换余量，调大降低判分。生成阈值的选择是折中：全程读估计降低交换余量，全程不读估计升高字错误率。这些对照共同支持分轨忠实与互斥来自共享混合声、块对角路由、对齐位置与跨分轨引导的组合，而非视频或解码器音色。
解码器重过一遍的对照显示排名不变，基线判分差距最多两成七来自解码器。
哪些情况论文明确说还做不到
论文列出三点局限。音频编解码器保留包络与频谱但重写相位，因此逐采样信噪比衡量的是相位重合成而非分离好坏。当前布局固定为两个声源，超过两个需扩展通道与路由。分轨保留原场景的混响与距离感，放到新视角做空间渲染前必须先处理这些声学线索，否则直接传播会带入原机位的房间信息。此外位置读出只是从分轨注意力做加权几何中值加平滑跟踪的无训练展示，未接入完整空间渲染器评估。
数据上训练与部分评测都含网络片段，论文核对了训练视频与真实基准视频标识无重叠，但生成基准的提示经人工审核且与训练字幕的集合相似度受限，仍不能推广到任意开放场景的胜负。
复现第一步要准备什么
复现先区分三件事：论文主页有代码、检查点与数据集的可用链接，权重可下载不等于本地能直接运行完整管线。第一步是按附录准备双声源数据格式：视频、混合声、两条分轨波形、场景字幕与每声源 3 种详略字幕，以及训练时的画面区域偏置记录，推理时去掉该偏置。模型侧冻结主干的音频视频权重，只训练音频流自注意力、文本交叉注意力与视频到音频注意力的查询与输出投影及前馈上的低秩增量，混合声位置门控关闭，损失只在分轨上。
采样时分离把混合声钳在零噪声，生成用阈值 0.97 切换读取对象，引导强度取 2。关键超参数包括批量 1、学习率万分之一线性衰减、半精度、分离 12000 步加生成 3000 步。评测需固定同一混合声做多种子平均，语音转录在同一识别器内比较，因为识别本身有浮动。
什么时候值得尝试以及还缺哪项验证
当任务需要把每个声音单独拿出来放进新视角，例如双人对话按说话人重放、乐器合奏按乐器定位，或已有录音需按自由文本拆成两轨，且能接受固定两轨与保留原混响时，值得尝试同一套权重在生成与分离间切换的思路。复现应先跑分离模式验证交换余量与本行台词，再跑生成模式检查分轨之和与混合声的谱一致性。还缺的验证是两轨以上扩展、位置读出接入真实空间渲染器的端到端听感，以及在更嘈杂强混响下交换余量是否保持。
容易误解的是把自动判分当成人工评价，或把八选一重排后的分数当成单次部署可得的提升，或把文本音频相似度本身的高低当成分离好坏，论文用交换余量、字错误率加说话人余弦与听众偏好共同约束才成立。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses