📄 长字幕为什么总在最后两层才说谎：用问答把数据、训练和推理锁在一起

英文题目：Closing the Verification Loop: Self-Check Captioning for Long-Paragraph Detailed Audio Captioning
一句话：针对长段落音频字幕同时要求长片段、长文本与逐字转录保真的结构性缺口，论文用音频锚定问答统一检验数据、训练与推理三阶段，并以层间曲率抑制迟滞坍缩，在保持开源骨干不变的前提下把字幕的下游可用性推到接近闭源旗舰的水平。

标签：#音频字幕生成 #SFT #音频理解 #音频大模型 #数据集
评分：6.8/10 | 创新 1.6/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

👥 作者与机构

Fengji Ma：The Hong Kong University of Science and Technology (Guangzhou)
Yan Rong：The Hong Kong University of Science and Technology (Guangzhou)
Xu Li：机构信息未在 arXiv HTML 中可靠披露
Chen Zhang：Kling Team, Kuaishou Technology
Pengfei Wan：Kling Team, Kuaishou Technology
Li Liu：机构信息未在 arXiv HTML 中可靠披露

💬 毒舌点评

亮点在于把音频锚定问答（audio-grounded question answering）这一单一验证原语贯穿数据、训练、推理三阶段，并用层间曲率捕捉迟滞坍缩这一可验证的幻觉信号，思路比单纯堆数据更干净。短板是核心数据管线完全依赖 Gemini 3.1 Pro 这一闭源黑盒自检，成本与可复现性存疑，且 Late-Layer Semantic-Entropy Collapse 的理论刻画仍停留在现象描述与二阶差分启发式层面，缺乏形式化假设与边界分析。

📌 核心摘要

长段落细粒度音频字幕（long-paragraph detailed audio captioning）要求在长音频上同时做到事件密集、属性准确与语音逐字保真，现有语料与模型均未满足。Self-Check Captioning（SCC，自检字幕）将音频锚定的问答作为统一验证原语，贯穿三阶段：数据阶段以模态相减自检构建 LACap-50k，训练阶段以层曲率监督微调抑制幻觉，推理阶段以音频自答在多个候选中择优。相比仅用末层概率加权的在策略监督微调（on-policy supervised fine-tuning）变体，SCC 首次利用中间层证据对 token 加权以应对迟滞语义熵坍缩。基于 Qwen2.5-Omni-7B 的实现在 caption-as-evidence 协议下取得 MMAU 68.3% 与 Omni-Cloze 音视频输入 58.9% 等开源最优结果，并在 Gemini 3.1 Pro 上以数据与推理插件形式带来额外增益。该工作以可复用的长字幕语料与验证闭环为长音频字幕研究补齐了资源与方法短板。主要边界在于 LACap-50k 规模仅 50222 片段、定位为后训练语料，预训练量级扩展与跨模型泛化仍待验证。

🔗 开源与复现资源

代码：论文中未提及代码链接
模型权重：论文中未提及模型权重链接，训练基于 Qwen2.5-Omni-7B backbone 得到 LC-SFT 模型，未提供 HuggingFace 或 ModelScope 地址
数据集：LACap-50k，包含 50222 个 audio-visual clips，平均时长 61.12 秒，平均 caption 长度 491.51 词，Unique Tokens 78.6k，论文称以 permissive license 发布并包含 paired multimodal initial draft 和 audio-only revised final caption 以及 audio-only verification QA pairs，论文中未提及具体下载链接
Demo：论文中未提及
复现材料：论文在 Appendix C.3 提供两阶段训练超参，在 Appendix A.4 提供 transcript fidelity 指标定义与阈值统计，在 Appendix A.5 提供 non-speech event grounding 验证协议，在 Section 3.2 与 Section 4 提供 LC-SFT 训练设置与评估配置，未提供具体检查点链接
论文中引用的开源项目：Qwen3-ASR-1.7B 用于 ASR 审核，Qwen3.6-27B 用作文本 judge 与事件抽取，OpenFLAM 用于 frame 级 audio grounding 验证，Qwen2.5-Omni-7B 作为基础 captioner，BGE-M3 用于 SBERT 与 FENSE 评分，均未在正文中提供具体 URL 链接

🧭 深度解读

长段落音频字幕到底在为什么而难

想象你拿到一段 70 秒的视频，里面有街头采访、背景音乐切入、2 次掌声和一句被风声盖住的半句话。任务不是写一句“有人在街上说话”，而是写一段近 500 词的段落：什么时候音乐起、鼓点是什么音色、说话人是男是女、原话逐字是什么、掌声在句中还是句尾。这要求模型同时做三件事：听得细、记得住、写得老实。

现有语料往往只能满足其中一角。短字幕语料平均不到 20 词，写得再准也学不会段落结构；长音频语料又常把字幕压成一句话，模型没见过长文本的组织方式。更少有语料在发布前用独立语音识别去对齐逐字稿，模型在长生成时容易编造事件、认错性别、篡改转录。

论文把这个困境拆成两个结构性问题。第一是数据贫困：没有公开语料同时具备长片段、段落级长度与逐字保真。第二是生成模式失效：模型不是听不见，而是写不好。作者用一个干净的对照证明这一点，在只与音频相关的题目子集上，给对的音频与打乱的音频，同一模型的准确率相差 40 多个百分点。

论文如何把失败定位到生成而非感知

作者先做了一个 4 条件对比：完形填空生成、选择题识别、以及在仅靠问题无法猜对的子集上分别给正确音频与打乱音频。Qwen2.5-Omni-7B 在选择题上可达 75%，完形只有 25.8%，而在音频相关子集上，正确音频 59.3%、打乱音频 12.9%，差距 46.4 个百分点。

这个差距排除了题型差异与文本先验捷径，说明模型听得懂，但写成长段落时控制不住。进一步，作者逐层探针语言模型的预测轨迹。忠实词的负对数似然在倒数几层平滑下降，幻觉词则在中间层保持高位、到最后两层才骤降，形成一个明显的拐折。

这个拐折被命名为迟滞语义熵坍缩（Late-Layer Semantic-Entropy Collapse, SEC）。关键在于，末层概率只看到骤降后的低熵，看不到之前的迟滞，因此任何只用末层概率的重加权都难以区分二者。这个诊断直接决定了方法的设计约束：数据阶段必须让字幕的每条断言都能被纯音频复核，训练阶段必须引入跨层证据来压制拐折词。

SCC 的全景：一个问答原语串起三个阶段

SCC 的输入是音视频同步片段，输出是平均约 491.5 词的长段落音频字幕。框架刻意不用 3 个各自分立的技巧，而是让音频锚定的选择题问答在每个阶段以不同形式出现。数据阶段用它来改稿，训练阶段用它来选候选，推理阶段用它来选终稿。

数据阶段产出 LACap-50k。同一 Gemini 先看音视频写初稿，再基于初稿自动生成面向细粒度声学细节的开放问题，最后在只给 16 kHz 单声道音频、屏蔽视频与初稿的条件下重答，用答案修正初稿。训练阶段在 LACap-50k 上先做常规监督微调获得段落能力，再做层曲率监督微调，用金标衍生的题库给每个候选打分，并用层间曲率给每个词加权。

推理阶段对同一输入采样多份字幕，对每份抽取原子断言转成选择题，再让训练后的模型只听音频自答，按支持率择优。3 阶段的检验者身份是精心错开的。数据阶段是自模型但跨模态，训练阶段是外部文本模型只读文本，推理阶段是自身模型只听音频。这种错开避免了两种梯度失效：训练时若让检验者听音频，它会绕过字幕直接答对；推理时若让检验者读字幕，它只会做文本自洽。

数据阶段：如何用重听把视觉偏置洗掉

LACap-50k 从 ASID-1M 中按音频类型、时长与事件覆盖度筛选 50222 个片段，平均时长 61.12 秒，词表 78.6k，约为最强多专家语料的 2.4 倍。时长分桶显示 38.81% 的片段超过 60 秒，且该桶字幕中位数约 700 词，说明长片段确实对应更长的描述。字幕覆盖 7 层分析体系：信号、感知、语义、文化、语用与立场、音乐学、拟音与事件声，每层再细分 3 类。

构造流程的关键是 2 次剥离。第一次是模态剥离，验证轮只给音频，不给视频与初稿，迫使模型不能用画面去猜声音；第二次是上下文剥离，每一轮都是独立推理调用、温度为 0、无跨轮记忆，完整音视频直通 Gemini，不在客户端做采样或截断。最后聚合答案改稿，发布时同时保留初稿、终稿与验证问答对。

模态相减自检 × 自模型自检： 模态相减自检负责剥离视觉线索，只让音频说话，解决草稿被画面带偏的问题；自模型自检负责让同一个 Gemini 既写又查，消除跨模型分歧带来的噪声。二者搭配后，检验不再是换一个更强的裁判，而是让作者在只能听的条件下重听自己的稿子，只有音频本身能支撑的细节才被保留。

发布后有两项事后审计。转录审计用 Qwen3-ASR-1.7B 对 10975 个语音密集字幕中的 36809 个转录片段做字符与词错误率核验，微平均 CER 6.23%、WER 9.21%，英语子集明显好于非英语。非语音事件审计用 OpenFLAM 对 1000 个片段中的 3985 个合格事件声明做帧级 grounding，94.60% 被 corroborated，覆盖度 98.39%，说明长段落中的事件声并非空话。

训练阶段的核心信号：从末层概率到层间曲率

LC-SFT 要解决的是在策略采样中好候选里混着坏词的问题。作者先为每个输入构建响应组，包含一个金标与 3 个当前策略的新鲜采样，组大小 K=4。离线由冻结文本模型把金标转成题库，题库含四选一干扰项与 Not given 选项，训练时只让候选文本去答题，准确率即奖励。

组内标准化得到优势值，正优势对应极大似然，负优势对应非似然，金标几乎总是组内最高分，起到锚点作用。仅靠候选级分数仍难以区分词级幻觉。作者复用模型的最终层归一化与语言模型头做无参数早退探针，对最后 3 个 Thinker 层计算已实现词的负对数似然轨迹。

忠实词的轨迹平滑下降，幻觉词的轨迹在倒数几层出现拐折。曲率被定义为平滑 2 阶差分的和：

\[\mathrm{Curv}_{k,t}\;=\;\sum_{j=2}^{m-1}\sqrt{\!(\Delta U^{(j+1)}_{k,t}-\Delta U^{(j)}_{k,t})^{2}+\epsilon^{2}}\]

其中 \(\Delta U^{(j)}_{k,t}=U^{(l_j)}_{k,t}-U^{(l_{j-1})}_{k,t}\)，\(U^{(\ell)}_{k,t}=-\log p^{(\ell)}_{k,t}(y_{k,t})\)。2 阶形式在恒定斜率上为零，只在拐折处显著，这正是与 1 阶绝对和的本质区别。

层曲率 × 迟滞语义熵坍缩： 迟滞语义熵坍缩描述的是幻觉 token 在中间层和倒数几层始终高熵、到最后一两层才骤然收敛的拐折轨迹；层曲率则是用 2 阶差分去捕捉这个拐折。末层概率看不到拐折前的犹豫，而曲率专门对拐折敏感，二者组合后才能在 token 级别把看似自信实则迟滞的词压低权重。

曲率经指数与阻断梯度转为词权重：

\[w_{k,t}\;=\;\mathrm{sg}\!\Bigl(\exp\!\bigl(-\kappa\,\mathrm{Curv}_{k,t}\bigr)\Bigr)\;\in\;(0,1]\]

阻断梯度防止模型通过重塑中间表示来掩盖拐折，\(\kappa=2\) 为验证集选取的抑制强度。权重接近 1 表示平滑可信，接近 0 表示迟滞可疑。

推理阶段：让模型用耳朵给自己的草稿投票

即使训练后，单次采样仍有随机性。SCC-Verifier 的做法是先让策略产生 4 份候选，1 份贪心加 3 份温度 0.8 的多项式采样，与训练时的组大小对称。随后用冻结文本模型从每份候选抽取全部原子音频断言，转成含 Not given 的五选一题目，题目数随字幕长度自适应。

关键一步是自答。训练后的模型在只给音频、屏蔽候选文本的条件下回答这些题目，得分为支持率：

\[S(y^{(m)})=\frac{1}{|\mathcal{Q}^{(m)}|}\sum_{q\in\mathcal{Q}^{(m)}}\mathbf{1}\bigl[a_{\theta}(x_{\mathrm{audio}},q)=a^{(m)}_{q}\bigr]\]

取最高分者输出。这里的检验者与训练时互补，训练时检验者只读文本以保留金标事实，推理时检验者只听音频以检验候选自洽。

caption-only MCQ 奖励 × SCC-Verifier： caption-only MCQ 奖励在训练时用金标衍生的题目、只读候选文本来判分，逼候选把金标中已验证的事实完整保留；SCC-Verifier 在推理时用候选自身衍生的题目、只听音频来判分，逼候选的每一条断言都能被音频自洽。前者是文本侧的保真检验，后者是音频侧的自洽检验，刻意区分检验者身份是为了防止文本自洽或音频旁路让梯度失效。

这种设计也解释了为什么推理插件能即插即用到 Gemini 上。数据阶段与推理阶段都不需要训练，只需要把同一套问答原语套在不同模型上。论文报告在 Gemini3.1-Pro 上叠加数据与推理插件后，Omni-Cloze 从 59.5% 升至 68.1%，提升 8.6 个百分点，且无需改动训练。

两阶段训练与真实计算过程

训练并非一步到位。第 1 阶段在 LACap-50k 的 44k 子集上做标准交叉熵监督微调，让 Qwen2.5-Omni-7B 先学会写段落。第 2 阶段在不相交的 11k 子集上做在策略精炼，初始权重来自第 1 个阶段 checkpoint，之后所有响应组都从当前策略新鲜采样，不再回看第 1 个阶段。

优化配置 2 阶段共享：学习率 1e-6、余弦调度、warmup 0.03、每设备批量 1、梯度累积 2、训练 1 轮、最大序列长度 32768 采用删除截断、随机种子 42、bf16 混合精度与梯度检查点、DeepSpeed ZeRO-3 在 8 卡上分布式训练。视频帧采样 0.2 帧每秒、每片段 2 至 32 帧，视频 token 预算 64 至 128、图像 token 预算 4 至 512。

响应级优势 × token 级权重： 响应级优势在候选之间做选择，回答哪一条字幕整体更值得学或更该远离；token 级权重在一条字幕内部做选择，回答哪些词可信、哪些词可能是拐折幻觉。前者决定梯度方向，后者决定梯度在序列上的落点，合在一起才形成候选与词位的双轴重加权，避免好字幕里的坏词被一并放大。

LC-SFT 的超参在正文中明确给出：响应组 K=4、曲率抑制系数 κ=2、晚期层集合取最后 3 层。曲率计算使用平滑绝对值近似与阻断梯度，优势计算加入极小常数防除零，并做组内标准化与权重归一化以稳定梯度。候选与词位的组合形成最终损失：

\[\widetilde{\mathcal{L}}(y_{k};\,x)\;=\;-\,\frac{\sum_{t=1}^{T_{k}}\,w_{k,t}\,\ell_{k,t}}{\sum_{t=1}^{T_{k}}\,w_{k,t}+\epsilon}\]\[\mathcal{L}(\mathcal{G}_{x})\;=\;\sum_{k=1}^{K}\,A(y_{k})\,\widetilde{\mathcal{L}}(y_{k};\,x)\]

梯度可写成 \(\nabla_{\theta}\mathcal{L}_{\mathrm{LC}}=-\mathbb{E}[\sum_k A(y_k)/Z_k \sum_t w_{k,t}\nabla_{\theta}\ell_{k,t}]\)，清晰展示双轴重加权：\(A/Z\) 选候选，\(w\) 选词位。

数据集、协议与评价如何对应真实能力

要判断长字幕是否真的有用，需要同时回答两个问题：字幕能否替代音频去支撑下游推理，以及字幕本身是否忠实。论文因此并行两类协议。第一类把字幕当作唯一证据交给冻结文本裁判，第二类直接在金标字幕上挖空做完形填空。

caption-as-evidence × Omni-Cloze： caption-as-evidence 把字幕当作唯一证据交给冻结的文本裁判去答题，测的是字幕对下游推理的有用性；Omni-Cloze 直接在金标字幕上挖空让模型填空，测的是字幕文本本身的保真度。前者回答字幕能否替代音频，后者回答字幕是否写对，二者互补才能区分有用但不忠实与忠实但无用的两种失效。

统一的实验条件是裁判只读字幕、听不到音频，基线覆盖开源与闭源两端，指标方向均为越高越好。为排除裁判偏好，作者固定字幕只更换裁判模型，并在 Clotho 上做无任何问答或重排的纯自由生成对照。

根据论文正文与图中报告值整理，下表把数据构成与实验协议收敛到一处，便于对照后续结果的适用边界。

维度	关键构成	规模与设置	指标与方向	控制与审计
LACap-50k 语料	ASID-1M 筛选，7 层分类体系，发布含初稿终稿与问答对	50222 片段，平均 61.12 秒，平均 491.51 词，词表 78.6k	长度与覆盖度越高越好	温度 0 独立调用，模态相减，自模型自检
转录保真审计	语音密集字幕抽取转录片段	10975 字幕，36809 片段	CER/WER 越低越好	Qwen3-ASR-1.7B 参照，微平均 CER 6.23%
事件 grounding 审计	非语音事件声明抽取	1000 片段，3985 声明	corroborated 越高越好	OpenFLAM 帧级，94.60% corroborated
训练划分	2 阶段不相交	Stage-1 44k，Stage-2 11k	段落能力与精炼分离	共享优化配置，K=4，κ=2
评价协议	caption-as-evidence 与 Omni-Cloze	MMAU/MMAR/MMSU 与 Omni-Cloze 音视频/纯音频	准确率越高越好	冻结裁判，含 Not given，跨裁判对照

这张表的价值在于把数据与评价的对应关系说清：LACap-50k 补的是长段落与逐字保真的训练缺口，而两类协议分别检验有用性与忠实度。反例是转录审计中非英语 CER 9.31% 高于英语 5.58%，说明多语言保真度并不均衡。这张表本身不直接衡量听觉感知的上限，感知与生成的分离仍需结合打乱音频的对照来判断。

主结果：字幕作为证据时，增益来自哪里

主结果要回答的比较问题是：在不改变骨干的前提下，LC-SFT 的字幕能否让冻结裁判答对更多需要细粒度音频事实的题。统一条件是裁判只读字幕、听不到音频，基线是同一骨干 Qwen2.5-Omni-7B 与多家开源闭源字幕器，指标方向均为越高越好。

根据论文正文与图中报告值整理，下表整理关键数字及其含义，重点看开源范围内的最优与与闭源旗舰的距离。

比较或条件	指标	明确报告值	这项数字支持什么	适用边界与代价
Qwen2.5-Omni-7B → Ours LC-SFT	MMAU caption-as-evidence	65.2% → 68.3% (+3.1)	段落字幕对通用音频推理的证据价值提升，开源最优	该对比聚焦证据可用性，未单独测量听觉感知
Qwen2.5-Omni-7B → Ours	MMAR	51.8% → 57.0% (+5.2)	对混合声、音乐与语音的多步推理增益最大	需结合分桶看子任务是否均衡
Qwen2.5-Omni-7B → Ours	MMSU	60.6% → 62.4% (+1.8)	口语理解类任务同样受益	增幅较小，口语任务天花板更高
Qwen2.5-Omni-7B → Ours	Omni-Cloze 音视频	14.1% → 58.9% (+44.8)	直接字幕保真度从不可用到可用，超越 Omni-Captioner-7B 4.4 点	纯音频下仍有 59.3%，视频增益需另行评估
Gemini3.1-Pro → +SCC 数据与推理插件	Omni-Cloze 音视频	59.5% → 68.1% (+8.6)	数据与推理 2 阶段可即插即用，无需训练	训练阶段对闭源的效果未测试
Qwen2.5-Omni-7B → Ours	Omni-Cloze 纯音频	25.8% → 59.3%	音频单模理解同样达到开源最优	音视频融合的额外收益另计

最公平的净收益来自同骨干、同裁判、同协议的对比。MMAU 与 MMAR 的提升说明字幕不再是风格相似，而是把金标中被验证过的声学事实保留了下来。Omni-Cloze 上 44.8 个百分点的跳变则把生成模式失效的诊断落到了实处：同一模型从 14.1% 到 58.9%，差异在写而非听。

反例同样清晰。Ours 在 MMAU 上仍落后 Gemini 2.5 Pro 1.7 个百分点，在 Omni-Cloze 音视频上落后 Gemini3.1-Pro 0.6 个百分点，说明开源最优与闭源旗舰仍有距离。Gemini 加 SCC 后 Wrong 率从 2.99% 升至 4.66%，Correct 虽大幅上升但过度断言风险同步增加。

论文未报告多随机种子的方差与置信区间，44.8 个百分点的提升在稳定性上仍需补充检验。主结果表也未涉及推理开销与延迟，SCC-Verifier 多候选自答的成本需要另外量化。

消融：为什么 token 级曲率是主导增益

要拆解 LC-SFT 的两轴重加权，需要在同一评测集与同一裁判下做 2×2 消融。比较问题是响应级优势与 token 级曲率各自贡献多少、是否可叠加。统一条件是同一骨干、Omni-Cloze 音视频全量 47 类，指标为正确率。

根据论文正文与图中报告值整理，消融结果如下表所示。

条件	关键控制变量	Omni-Cloze 明确值	47 类中胜出类数	解释与成本
SFT	无重加权	57.10%	基线	段落能力已具备，但幻觉未抑制
+Adv 仅响应级	A(y) 标准化，w≡1	57.28% (+0.18)	少量类提升	候选选择有帮助但难以处理好候选中的坏词
+Tok 仅 token 级	w=exp(-κCurv)，A≡1	58.59% (+1.49)	17 类取胜	曲率单独即为主导增益，压制拐折词
LC-SFT 全量	双轴结合	58.92% (+1.82)	23 类上与优势叠加	双轴叠加最优，语音与叙事类叠加最明显
跨裁判 Qwen→Gemini	固定字幕换裁判	+1.82 / +2.19	跨家族保持	增益不依赖特定裁判
开放生成 Clotho	无问答纯生成	B-CLAP 0.460→0.492	五项均优	增益不依赖 MCQ 格式

净收益在于曲率是主导、优势是叠加。仅加优势几乎不动，仅加曲率已拿到大部分增益，二者结合再进一步。这与诊断一致：问题不在选哪条候选，而在候选内部哪些词该被信任。

反例是 +Adv 单独仅 +0.18，说明只做候选级重加权会把好候选里的坏词一并放大。跨裁判与跨格式的对照进一步排除格式捷径：固定字幕只换裁判，LC-SFT 在 Qwen3.6-27B 下 58.92% 对 SFT 57.10%，在 Gemini3.1-Pro 下 61.70% 对 59.51%，增益跨家族保持；在 Clotho 纯自由生成中五项指标均优。

自检的代价则体现在另一组数字上。在 Gemini 人类验证集上，音视频输入 Correct 59.54%、Missing 37.48%、Wrong 2.99%；叠加音频自检后 Correct 68.06%、Missing 27.27%、Wrong 4.66%，Net 从 56.55 升至 63.40。自检把大量 Missing 变成了 Correct，但也把少量 Missing 变成了 Wrong，更敢说也更易过度断言。

边界：规模、语言与成本的真实约束

作者在结论中明确承认，LACap-50k 定位为高质量后训练语料，50222 片段足以支撑监督微调与在策略精炼，但远未达到预训练所需的数个数量级规模。在当前 SCC 管线下，扩展到预训练量级成本过高，留作未来工作。这意味着 LACap-50k 补的是资源缺口中的高质量长尾，而非从零预训练的底座。

数据管线的另一边界是单一闭源依赖。整个构造循环使用 Gemini3.1-Pro 完成撰写与检验，虽消除了跨模型噪声，但也引入模型偏置固化与可复现性风险，且缺乏人工抽检一致性与跨模型自检对照。转录审计显示非英语子集的微平均 CER 9.31% 明显高于英语的 5.58%，说明多语言保真度仍不均衡。

方法与评价的边界同样具体。迟滞坍缩的刻画基于已实现词的负对数似然代理语义熵，未讨论分布熵与代理的差距，曲率度量对层集合 m=3 与抑制系数 κ 的敏感性未充分展开。评价以 Qwen 与 Gemini 生态为主，未报告置信区间与多随机种子方差，推理侧多候选自答带来额外计算开销但未量化延迟与成本。

可复现性：哪些已公开，哪些仍缺

从可复现角度看，论文披露了大量工程细节。2 阶段数据划分为 44k 与 11k 不相交子集，学习率 1e-6 余弦调度与 0.03 warmup，每设备批量 1、梯度累积 2、训练 1 轮、最大序列长度 32768、随机种子 42、bf16 与梯度检查点、DeepSpeed ZeRO-3。LC-SFT 的 K=4、κ=2、最后 3 层，SCC-Verifier 的 4 候选与温度 0.8，视频 0.2 帧每秒与 token 预算等均已给出。

缺失同样明确。论文未提供代码、模型权重与数据集下载链接，仅说明 LACap-50k 将以 permissive license 发布，并提及训练基于 Qwen2.5-Omni-7B 但未给出检查点地址。硬件仅说明 8 卡分布式，未提及具体 GPU 型号与训练时长，成本与吞吐难以复算。

根据论文正文与附录报告值整理，下表把复现所需的关键要素对照整理，便于读者判断哪些实验可直接重复，哪些需等待发布。

类别	已披露	待发布或缺失	对复现的影响	建议的补充测量
数据	50222 片段构成、7 层体系、审计协议与阈值	下载链接与许可细节、人工抽检一致性	可按描述重建管线，但难以直接比对	跨模型自检对照与多语言分桶误差
训练	2 阶段划分、优化器、序列长度、K/κ/层集合	GPU 型号、时长、显存占用	可复现训练逻辑，难以复算预算	多种子方差与 κ/m 敏感性曲线
推理	4 候选、温度、题目自适应、纯音频自答	延迟、吞吐、成本	可复现精度，难以评估部署代价	候选数与温度的延迟精度权衡
评价	4 基准、两协议、跨裁判与开放生成对照	置信区间、显著性检验	可复现点估计，难以判断稳定性	自助法置信区间与分桶显著性

这张表的价值在于区分可复现与待补齐的部分：训练逻辑与评价协议已足够重复，但预算与稳定性仍缺关键测量。反例是硬件与时长缺失导致无法估算 SCC-Verifier 的真实成本。即便补齐下载链接，单一闭源依赖仍会限制跨实验室的完全复现。

收束：把验证闭环当作可复用的研究接口

回到最初的问题，长段落音频字幕的难点不在于让模型听见更多，而在于让模型在长生成中保持诚实。SCC 的价值在于把一个简单的检验动作做到极致：用选择题去问字幕的每一条断言，并在数据、训练、推理 3 个阶段让不同的检验者以不同的模态去回答。

数据阶段让音频重听洗掉视觉偏置，训练阶段让层间曲率压制迟滞幻觉，推理阶段让音频自答在多份草稿中择优。对刚进入方向的研究生，这个工作提供了两条可直接复用的接口。一是 LACap-50k 的长段落范式与审计方法，二是 LC-SFT 的双轴重加权思想，候选级优势与词级曲率的分解，以及用 2 阶差分捕捉拐折而非用末层概率判断自信的视角。

同时，这也是一份诚实的阶段性成果。50222 片段的高质量后训练语料不等同于预训练底座，单一闭源依赖与未量化的推理成本提醒我们，验证闭环的下一步需要在规模、语言覆盖与效率之间找到更可持续的平衡。

📎 论文与评分元数据

标签：#音频字幕生成 #SFT #音频理解 #音频大模型 #数据集

6.8/10 | 创新 1.6/2 | 技术严谨 1.1/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 0/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5

⚖️ 评分依据与证据（展开查看）

逐维得分、全文证据与扣分边界

创新性 (1.6/2)：提出以音频锚定问答贯穿数据、训练、推理三阶段的统一验证原语，首次用最后 3 层的二阶曲率加权抑制迟滞语义熵坍缩，并以模态相减自检构建平均 491.5 词的 LACap-50k，系统级组合新颖性明确。
技术严谨性 (1.1/1.5)：给出响应组优势 A(y_k) 与层曲率权重 w_{k,t}=exp(-kappa*Curv) 的显式公式及梯度分解，Curv 定义为平滑二阶差分和并配合阻断梯度与归一化，逻辑自洽且与 SEC 现象对应，未见推导错误。
实验充分性 (1.0/1.5)：在 MMAU 68.3% 与 Omni-Cloze 58.9% 等 4 个公开基准上对比 5 个以上基线，并完成 2x2 消融显示曲率单独 +1.49 个百分点且跨裁判保持 +1.82 至 +2.19 个百分点，但未报告置信区间与多随机种子方差且基线集中于 Qwen 与 Gemini 家族。
清晰度 (0.8/1)：全文结构清晰，七层音频分析分类与三阶段闭环流程描述完整，公式符号与超参数如 K=4 与 kappa=2 定义明确，图表与附录对齐度高，写作表达规范。
影响力 (1.0/1.5)：针对长段落细粒度音频字幕的数据贫困与生成模式失效两大结构性问题，提供 50222 片段、平均 61.12 秒的长字幕语料与可复用验证闭环，在音频主任务上取得开源最优并可即插提升 Gemini 3.1 Pro 8.6 个百分点。
开源 (0.0/1.5)：论文未发布核心代码、模型权重或数据资源，也未给出明确的后续开源承诺。
可复现性 (0.3/0.5)：已披露两阶段数据划分 44k 与 11k、学习率 1e-6 余弦调度、warmup 0.03、每设备批量 1 与梯度累积 2、序列长度 32768 及 K=4 等关键超参，但未披露具体 GPU 型号与训练时长，复现信息大部分充分但有少量缺失。
工程/实践价值 (1.0/1.5)：给出从 Gemini 3.1 Pro 自检数据管线到 LC-SFT 双轴重加权与 SCC-Verifier 4 候选自答的完整可复用流水线，含温度 0 与 0.8 等工程细节，但未报告真实延迟、吞吐或成本测量。

← 返回 2026-09-01 语音/音乐/音频论文速递

📄 长字幕为什么总在最后两层才说谎：用问答把数据、训练和推理锁在一起#

👥 作者与机构#

💬 毒舌点评#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

长段落音频字幕到底在为什么而难#

相关路线：从短句字幕到段落详述，验证为何一直缺位#

论文如何把失败定位到生成而非感知#

SCC 的全景：一个问答原语串起三个阶段#

数据阶段：如何用重听把视觉偏置洗掉#

训练阶段的核心信号：从末层概率到层间曲率#

推理阶段：让模型用耳朵给自己的草稿投票#

两阶段训练与真实计算过程#

数据集、协议与评价如何对应真实能力#

主结果：字幕作为证据时，增益来自哪里#

消融：为什么 token 级曲率是主导增益#

边界：规模、语言与成本的真实约束#

可复现性：哪些已公开，哪些仍缺#

收束：把验证闭环当作可复用的研究接口#

⚖️ 评分依据与证据（展开查看）#

📎 相关论文