英文题目：WhisperDiari: A Whisper-Based Speaker Diarization Framework in Token Space Leveraging Semantic and Speaker Information for Better Text Adaptability
会议身份：
conference:aaai:2026:conference-paper-id:40746
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#数据集 #Adapter #语音 #语音识别 #说话人分离标注
评分：6.3/10 | 创新 1.3/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：方法研究
👥 作者与机构
- Yongkang Yin：机构信息未能从会议 PDF 纯文本可靠映射
- Yuexian Zou：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
输入为最长30秒16kHz多说话人混合语音，输出为带说话人标签的转写文本与令牌级时间戳，难点在于帧级分类边界模糊、分离标注与ASR时间粒度错位破坏语义连贯性，且缺乏音频-转写-说话人三元组大规模数据。方法链分三步：首先按30秒限长从LibriSpeech非重叠拼接合成LibriDiari，提供转写、说话人标识、时长与静音标注，其输出作为联合训练三元组；其次以预训练Whisper-medium编码器中间层隐状态经两层说话人适配器提炼说话人表示，并用WeSpeaker中CAM++外部嵌入的帧间相似矩阵做掩蔽均方误差约束，其增强表示进入下一步；最后语义解码器自回归生成文本令牌，并行由另一Transformer说话人解码器为每个令牌预测说话人特殊符号。与先分离标注再分段做ASR的流水线不同，该设计在令牌空间联合建模谁说了什么与何时说，使切分与语义单元对齐，减少碎片化导致的转写连贯性损失。在nspk-LibriDiari评测设置下，WhisperDiari的tDER错误率为8.9，低于3D-Speaker的12.4。结论适用边界受限于非重叠仿真语音与经降低重叠预处理的AMI会议，对高重叠、长时与未知人数的外推尚未验证。推理开销方面单样本推理时间为4.3秒，快于所比较流水线基线的4.5秒至6.3秒。
🔗 开源与复现资源
- 第三方资源：https://github.com/TEN-framework/ten-vad.git → https://github.com/TEN-framework/ten-vad — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，先保留哪些信息？
本文解读的对象是同时需要说话人日志与语音识别的会议式音频。输入是一段最长 30 秒的多说话人音频，采样率为 16 千赫，论文将其先算成 25 毫秒窗、10 毫秒跳帧的 80 维对数梅尔滤波器组特征，共 3000 帧，再经两层卷积做 2 倍下采样后送入编码器。目标是输出带时间戳且带说话人标签的转写，也就是不仅知道说了什么，还知道每个词是谁说的、何时说的。
初学者必须先保留 3 类信息再往下读：第一，音频、转写文本、说话人标签三元组是联合建模的必要监督，缺任何一元都无法在词元空间同时优化；第二，时间精度与文本一致性是两个不同维度，前者看切分边界准不准，后者看转写是否被切碎；第三，所有比较都应固定识别后端与推理策略，否则无法判断收益来自日志还是来自识别。
本文后续按任务路线、方法全景、组件计算、数据构造与训练、实验条件、结果与反证、复现收束展开，每一步都回到原文核对，不引入外部评价。资源状态方面，本次收到的唯一第三方资源是 TEN-VAD 仓库链接，其可用性为可达，但它只用于 LibriDiari 构造中的静音检测环节，不决定主模型结论。
已有路线把切分、聚类与识别放在哪里？
传统多阶段方法把流程拆成语音活动检测、语音切分、说话人嵌入提取与聚类。语音活动检测先找出有声区，切分把音频切成假设的单说话人段，编码器对每段提嵌入，聚类再按嵌入相似度给说话人编号。论文指出这种链条的性能高度依赖每个模块，任一环节的边界误差都会向后传播。端到端日志方法则想用一个网络直接对每帧分类，以减少模块间误差传播，并在重叠与流式场景更灵活，但原文也承认其在高度优化的多阶段系统面前仍可能略处下风。
与识别结合时有两条常见路线：一条是顺序流水线，先日志切分再逐段识别，优点是减少重叠干扰，缺点是极度依赖切分准确；另一条是时间戳对齐，分别运行日志与 Whisper 这类带时间戳的识别，再按时间把标签贴到词上，工程上可复现但两种模型时间尺度不同，容易出现帧丢失与语义错位。
词级别联合建模试图在一个框架内同时给出词与说话人标签，用多任务或序列化输出改善一致性，但论文认为既有工作多只用识别编码器状态做说话人归属，对语义与说话人信息的深层融合不足，长程上下文建模也弱。这一定位解释了 WhisperDiari 为何选择在 Whisper 解码器侧同时利用语义词元与说话人表示，而不是只在编码器侧加一个分类头。
分开建模为何会同时伤时间戳与语义？
论文要解决的 3 个具体困难是：日志与识别在不同时间尺度分别建模带来的错位与语义破坏；说话人与语义信息融合不足；缺少文本与说话人对齐的高质量标注数据。对于研究生而言，可以这样理解：帧级日志按每 10 毫秒量级做决策，识别则按词元或词做决策，两者的边界本不对齐，若先硬切音频再识别，切错 1 位就可能把一句话拆成两段，语言模型看到的上下文被截断，转写错误率随之上升。
若分别解码再按时间戳硬贴，日志的边界抖动同样会把词归属到错误说话人。图前导读如下：下面这张示意图把两种旧做法与期望的统一输出放在同一画面，适合先建立问题直觉再读模型结构，请重点看两条独立分支如何汇成底部统一转写。
看图路径： 1. 先看顶部三色波形与说话人分段，确认输入是多说话人连续音频；2. 再看左侧日志输出与中间识别文本如何分为两条独立分支；3. 最后看底部带说话人标记的统一转写，理解联合输出的目标形态
论文图 1。原论文 Figure 1：“Combining speaker diarization and ASR or using word-Level diarization for speaker-labeled transcription”。
该图顶部用蓝绿橙三色波形表示多说话人连续语音，左侧分支输出带起止时间的说话人段标签，中间分支输出无说话人的英文转写文本，底部则是期望的带说话人标记的统一转写。左侧还明确标注顺序处理与时间对齐两种旧组合方式，右侧标注词级别日志目标。可以看到，旧路线都需要 1 次事后合并，而目标输出要求每个语义单元自带说话人身份，这正是后文词元空间预测的动机。
说话人日志 × 自动语音识别： 说话人日志负责回答谁在何时说话，给出带起止时间的说话人标签；自动语音识别负责把声学信号转写为文字。两者分工不同但在会议转写中必须对齐，搭配理由是只有把说话人标签落到同一个词元上才能得到带说话人的转写，组合意义在于用同一解码过程同时约束语义连贯与说话人一致，减少先切分再识别带来的错位。
WhisperDiari 让一个样本走完哪条路？
沿一个 30 秒样本走完全流程最清楚。声学特征经卷积与位置编码进入 Whisper 编码器堆叠，编码器末层输出语义表示，中间层输出则被引出作为初始说话人表示。语义解码器以语义表示为交叉注意力条件，自回归生成词元序列；说话人解码器再以完整语义词元序列为输入，以适配后的说话人表示为条件，并行预测每个词元对应的说话人标签。
分词器被扩展了类似特殊词元的说话人标签，使日志直接发生在词元空间，同时保留解码器给出的词元级时间戳用于换算传统日志错误率。图前导读如下：下面是全文核心结构图，包含编码器、语义解码器、说话人解码器、瓶颈适配器与外部说话人嵌入监督，建议先沿实线推理路径走一遍，再看虚线训练监督从哪里接入。
看图路径： 1. 先沿底部声学波形经卷积与编码器到右侧两个解码器的主路径走一遍；2. 再找到中间瓶颈说话人适配器与下方说话人嵌入提取器的监督连线；3. 最后对比训练阶段虚线与推理阶段实线的数据流向差异
论文图 3。原论文 Figure 3：“WhisperDiari: Extended from Whisper with a speaker adapter and decoder to enable speaker diarization in token space, using speaker and semantic information.”。
该图左侧为编码器堆叠，底部为卷积与声学输入，中间引出中间层隐状态进入瓶颈说话人适配器，适配器由层归一化、线性降维、激活与线性升维组成；右侧上方为语义解码器，下方为说话人解码器，两者都通过交叉注意力读取编码器或说话人表示；下方还有说话人嵌入提取器对适配器输出施加相似度监督，以及词元级说话人交叉熵监督。图例用雪花表示冻结参数、用火焰表示可训练参数，用实线表示推理阶段、用虚线表示训练阶段。
按原文安排，编码器主体与语义解码器侧保持预训练行为，适配器与说话人解码器是新增可训练部分，说话人解码器从 Whisper 中型解码器初始化后全量微调，这种冻结与更新划分是复现时必须照抄的条件，未报告的部分不做推测。
适配器、相似度监督与说话人解码器各算什么？
说话人适配器的输入是编码器中间层隐状态，输出是同尺寸的说话人表示。其计算是先层归一化，再经降维线性层、激活、升维线性层，用瓶颈结构迫使网络提炼说话人可分特征。符号上记输入为中间层隐状态，输出为说话人表示，维度保持时间步与隐维度不变，原文给出显式公式，含义是可学习的非线性投影而非简单的线性映射。
\[Hspk = W↑(ReLU (W↓(LN(Henc−mid)))) ∈RTh×Dh\]该公式对应适配器的前向计算，输入为中间层隐状态，依次经过层归一化、降维、激活与升维，输出为供给说话人解码器的说话人表示。初学者可将其理解为在冻结编码器之外加一个小型可训练变换，专门放大说话人差异。
语义解码器 × 说话人解码器： 语义解码器沿用 Whisper 原设计，自回归生成词元序列，提供上下文语义；说话人解码器以完整语义词元序列为输入，以说话人表示为交叉注意力条件，并行预测每个词元的说话人标签。搭配原因是语义上下文能消解边界歧义，组合后使日志对齐到语义单元而非固定帧。
语义解码器的逐词元预测遵循 Whisper 原设计，条件是历史词元与编码器输出，训练目标是标准交叉熵，公式含义是最大化正确词元的条件概率。
\[P(yl) = Decoder(y\lt l, Hencode)\]该公式说明每个生成词元的概率依赖已生成词元与编码器表示，这是自回归语义建模的来源，也是后文说话人解码器能利用完整语义序列的前提。说话人相似度监督不直接对齐嵌入数值，而是对齐帧间相似关系。具体做法是用 WeSpeaker 工具中的预训练说话人验证模型对每个连续语音段提嵌入，按段时长展开到全序列，再分别计算参考嵌入与适配后表示的余弦相似矩阵，用均方误差约束两者一致，并用掩码排除静音部分。图前导读如下：下面这张图把相似度监督画成左右对照，最适合理解为何监督关系而非数值本身，请先看上下两排的输入差异再看中间的三角矩阵。
看图路径： 1. 先看左上可训练适配器隐状态与右上冻结说话人嵌入的输入差异；2. 再对比中间两个下三角相似度矩阵的块状结构深浅；3. 最后看底部聚类更紧的适配后表示，确认监督想要的区分效果
论文图 2。原论文 Figure 2：“Speaker Similarity Matrix Supervision illustration. Enhances speaker representation robustness by leveraging pre-trained speaker embeddings.”。
该图左上为可训练的适配器隐状态点集，右上为冻结的预训练说话人嵌入按段复制后的示意，中间各有一个下三角相似度矩阵，右侧矩阵块状更清晰，底部表示监督后适配器隐状态聚类更紧。左侧火焰与右侧雪花图标分别表示可训练与冻结，底部大括号标出相似度矩阵监督作用于适配器学习。这种设计的原因是编码空间与特征分布不同，直接对齐数值困难，而关系监督能在保留原分布的同时增强可分性。
说话人解码器本身是标准变换器解码器块堆叠，含自注意力与交叉注意力，输入为完整语义词元序列与说话人表示，输出为与语义等长的说话人标签序列，采用并行解码同时预测每个词元的说话人。
说话人适配器 × 说话人相似度矩阵监督： 说话人适配器负责把 Whisper 编码器中间层隐状态变换为更具区分度的说话人表示；说话人相似度矩阵监督负责用预训练说话人嵌入的帧间相似关系指导该变换。搭配原因是直接对齐不同编码空间困难，而监督相似关系可保留原分布并增强可分性，组合使适配后表示更稳定。
数据如何合成，损失如何加权，参数如何更新？
LibriDiari 的合成遵循 LibriMix 启发的方法。算法每次随机选定固定数量的说话人，从每个说话人各采样一条语音，若总时长不足 30 秒则继续从相同说话人集合采样直到接近上限，再做响度归一化与混合，可选叠加噪声。标注除转写与说话人编号外，还包括每段时长、段间静音以及预训练模型提取的说话人嵌入，静音计算依赖 TEN-VAD 模型与段间静音检测算法。
原文算法用剩余时长变量控制采样，用总时长不超过 30 秒作为接受条件，这保证每个样本都是非重叠拼接的多说话人长音频，适配 Whisper 最长 30 秒输入与位置编码限制。训练目标是两项加权和：一项是说话人标签的交叉熵，条件是完整语义序列与说话人表示；另一项是相似度矩阵均方误差，权重系数按原文设为 0.5。优化器用 Adam，学习率为万分之一。模型底座为 Whisper 中型结构，编码器与两解码器隐维度均为 1024，24 层 16 头，适配器中间隐尺寸为 512，监督用嵌入维度为 256。
说话人标签在词元级别对齐的方法是将每个语音段的说话人标签按分词器为该段生成的语义词元数复制，使标签序列与语义序列等长。需要指出的缺项是：原文未完整报告训练轮数、批量大小、学习率调度与早停条件，也未说明编码器中间具体取哪一层作为初始说话人表示，只说取中间层隐状态，复现时应固定为可配置超参数并记录，不从模型名推定层号。
在什么数据、基线与指标下比较才公平？
数据集分仿真与真实两类。LibriDiari 基于 LibriSpeech 的训练 100 小时、训练 360 小时、验证与测试子集构造，含 2 说话人、3 说话人、4 说话人与混合说话人样本，每段 30 秒，标注含音频编号、转写、说话人标签、段时长与静音间隔。真实数据用 AMI 会议语料，含 100 小时以上多通道会议录音与人工转写、说话人身份与语音活动标签，论文在预处理中减少重叠语音影响但保留原结构，评价时沿用与 LibriDiari 相同的对齐与流水线对照。
基线选开源且在大规模数据训练过的方法，包括多阶段的 Pyannote 音频 3.1、3 维说话人工具链、基于 WavLM 的日志系统，以及端到端的感知器吸引子方法，所有基线统一用 Whisper 中型作识别后端，以隔离日志本身的差异。指标有 3 个：日志错误率统计漏检、虚警与混淆时长占总语音时长比，越低越好；词错误率统计替换、删除与插入占参考词数比，越低越好；词元级日志错误率统计说话人标签在词元序列上的替换、删除与插入占比，越低越好，灵感来自词错误率。
日志错误率 × 词元级日志错误率： 日志错误率在时间维度统计漏检、虚警与说话人混淆时长占比，反映切分与标注的时间精度；词元级日志错误率在词元序列上统计说话人标签的替换、删除与插入，反映谁说了哪个词。搭配原因是 WhisperDiari 直接在词元空间预测，前者仍可从词元时间戳换算但精度受限，后者更直接对应其优化目标，组合使用才能同时看到时间与文本适配性。
下表整理数据规模与模型配置，阅读时请把样本量与输入时长、隐维度与层数放在一起核对，确认复现时的显存与时长预算。表前问题是：训练与评测的数据量是否足以支撑多说话人泛化，模型容量与 Whisper 中型是否一致，指标方向如何理解。公平条件是所有方法共享同一识别后端与每样本独立解码策略，指标越低越好。
| 条件 | 指标或配置 | 训练 100 小时 | 训练 360 小时 | 验证与测试 |
|---|---|---|---|---|
| 说话人数 | 样本量 | 12,000 | 44,000 | 3,000 |
| 音频输入 | 时长与采样 | 30 秒 | 16 千赫 | 80 维特征 |
| 模型容量 | 隐维层数头数 | 1024 | 24 层 | 16 头 |
| 适配器 | 中间隐尺寸 | 512 | 可训练 | 瓶颈结构 |
| 监督嵌入 | 嵌入维度 | 256 | 冻结提取 | 相似度监督 |
该表把数据集样本量、输入规格与模型容量放在同一视图，主要收益是复现时可 1 次性核对数据划分与计算量，代价是仿真数据的非重叠拼接与真实会议的重叠、远场差异仍大，因此仿真上的优势不能直接等同于真实场景的胜负，后文 AMI 结果需单独看。
未胜出边界是：论文未报告不同信噪比与重叠率分层结果，也未给出统计显著性与多次随机种子方差。
联合解码在仿真与真实会议上赢在哪里，输在哪里？
主结果分两种对照。第一种是时间戳对齐：各基线先做帧级日志，再与 Whisper 识别按时间戳对齐得到词元级说话人标签，此时识别部分相同，比较的是日志质量，论文报告 WhisperDiari 的传统日志错误率与最强基线相当，但词元级日志错误率明显更低，原因是其直接在词元空间预测且联合建模改善了跨粒度对齐；其传统日志错误率由解码器词元时间戳换算，时间精度天然不如帧级标注，这是已知代价。
第二种是顺序流水线：先按日志切分再逐段识别，此时切分错误会截断语义，论文报告 WhisperDiari 在词元级误差与词错误率上都优于流水线，且单样本推理更快。表前问题是：在相同识别后端下，联合解码是否同时改善说话人归属与转写连贯，推理代价如何，指标方向越低越好。公平条件是基线日志过程不变，识别后端均为 Whisper 中型。
| 条件 | 指标 | 基线示例 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 混合说话人 | 词错误率 | 5.7 | 5.0 | Pyannote 音频 |
| 混合说话人 | 词元级日志错误率 | 15.9 | 8.9 | Pyannote 音频 |
| 混合说话人 | 词元级日志错误率 | 12.2 | 8.9 | 3 维说话人 |
该表聚焦混合说话人集的词错误率、词元级误差与推理耗时，主要收益是本方法在保持可比传统误差的同时把词元级误差降到 9% 以下且推理最快，代价是传统日志错误率并未全面拉开，且已知说话人数量时的固定集训练更稳定，说明未知人数仍是难点。
未胜出项必须指出：在部分说话人数划分下 3 维说话人等基线的传统日志错误率仍具竞争力，不能只看词元级指标就宣布全面替代。
时间戳对齐 × 顺序流水线： 时间戳对齐指先分别做日志与识别再按时间把说话人标签贴到词上；顺序流水线指先按日志切出单说话人片段再逐段识别。两者都是论文用作对照的组合方式，分工都是复用同一 Whisper 识别后端以保证公平，搭配比较的意义在于区分误差来自切分还是来自语义断裂，WhisperDiari 的联合解码则避免 2 次独立时间尺度带来的 2 次误差。
在 AMI 真实会议上，论文沿用同样两种对照，报告传统日志错误率与基线相当、词元级误差显著更优，顺序流水线对照下词错误率与词元级误差也更低，支持联合建模在重叠与切分误差下更鲁棒。但 AMI 预处理已减少重叠，且未分层报告重叠率、远场与角色差异，因此该结论的支持范围限于预处理后的评测条件，待验证的是强重叠与长会议切窗拼接时的稳定性。
拿掉适配器与相似度监督后表示会发生什么？
消融在混合说话人 LibriDiari 上比较完整模型、去掉相似度监督、减少相似度比较步数与去掉适配器。完整模型传统误差与词元级误差最低，去掉相似度监督后两项都上升，增加比较步数会逐步削弱监督的正向作用，去掉适配器后误差大幅上升，说明适配器是主要增益来源，相似度监督是进一步稳定作用。图前导读如下：下面这张 2 维降维散点图直接可视化中间层与适配器层表示，建议先看上排的混叠程度，再看下排是否形成独立条带，不要把颜色深浅当成数值精度。
看图路径： 1. 先逐列对比上排中间层与下排适配器层的点云离散程度；2. 再看 2 说话人、3 说话人、4 说话人从左到右的混叠加重趋势；3. 最后观察下排各说话人是否形成独立条带，判断适配器作用
论文图 4。原论文 Figure 4：“Visualization of speaker representations with and without adapters.Intermediate layer outputs (top) and adapter outputs (bottom) for 2/3/4 speakers (left to right).”。
该图上排为编码器中间层输出，下排为适配器调整后表示，从左到右分别为 2 说话人、3 说话人与 4 说话人。上排各颜色点云高度混叠，下排则分离成紧凑条带，2 说话人呈 V 形两支，3 与 4 说话人各形成近乎正交的分支。可见含义是适配器显著增强说话人可分性，但 4 说话人下仍有少量交叉点，说明人数增多时区分难度上升，这与主结果中固定人数训练更稳定的观察一致。下表整理消融数字，表前问题是：每个组件的边际贡献多大，是否可用更少监督步数替代，指标越低越好。
| 条件 | 指标 | 完整模型 | 消融后 | 变化方向 |
|---|---|---|---|---|
| 混合说话人 | 传统日志错误率 | 11.9 | 13.1 | 去监督后上升 |
| 混合说话人 | 词元级误差 | 8.9 | 10.5 | 去监督后上升 |
| 混合说话人 | 词元级误差 | 8.9 | 15.4 | 去适配器后大幅上升 |
| 混合说话人 | 传统日志错误率 | 11.9 | 19.3 | 去适配器后大幅上升 |
| 相似度步数 | 词元级误差 | 9.4 | 10.2 | 步数增多效果减弱 |
该表显示去掉适配器的代价远大于去掉相似度监督，主要收益来自适配器本身，监督提供约 1 个点左右的词元级改善。
反例是比较步数增多反而减弱增益，提示相似度监督的超参数敏感，复现时应固定步数并记录，不宜视为单调改进。未评测边界是：未报告只保留监督而冻结适配器、或替换不同说话人嵌入提取器的结果。
哪些结论尚不支持，哪些条件不可推广？
论文直接报告的是：在仿真与预处理后 AMI 上，词元级误差与流水线对照下的词错误率更优，推理更快，适配器可视化更可分。这些属于报告级别。有限解释是：联合建模通过语义上下文消解边界歧义并减少碎片化，该解释得到词元级与词错误率同时改善的支持，但未做因果干预实验，仍属支持而非证明。未验证推测包括：更长会议的滑窗拼接、强重叠、远场噪声与不同语言下的表现，原文未分层报告，不应推广。
方法缺项方面，未明确中间层具体层号、训练批量与轮数、学习率调度、随机种子与方差，也未测量误判率、实际延迟分解与显存占用，总体趋势不等于每组说话人数与每步解码都成立。传统日志错误率用词元时间戳换算，其精度上限低于帧级方法，这是原理性代价，不应把词元级优势直接读成时间边界全面更准。相关性不等于因果：适配器后点云更紧与误差更低同时出现，但未证明紧致度单独决定误差，仍需控制实验。
复现先做什么，需要保留哪些超参数？
复现应先重建数据再训模型最后对齐评测。数据侧按算法 1 用 LibriSpeech 合成 30 秒非重叠样本，记录说话人数、采样规则、响度归一化与是否加噪，用 TEN-VAD 与段间静音检测生成段时长与静音间隔，再用冻结的说话人嵌入模型按段提嵌入并按时长展开，保留嵌入维度 256 与掩码排除静音的细节。模型侧以 Whisper 中型为底座，固定隐维度 1024、24 层 16 头，适配器中间尺寸 512，损失权重 0.5，优化器 Adam 学习率万分之一，说话人解码器从中型解码器初始化后全量微调，标签按分词词元数复制对齐。
评测侧固定 Whisper 中型后端，分别实现时间戳对齐与顺序流水线两种对照，报告传统误差、词元级误差与词错误率 3 个指标及单样本推理耗时，保留是否已知说话人数的划分。代码开源、权重下载与系统可运行是三件不同事：论文给出构造方法可推广到其他识别数据集，但未在本证据中提供可运行仓库与权重链接，复现时应把环境、随机种子与中间层层号记入日志。若资源不可达，应明确写本次未能确认可达，不猜测替代实现。
何时值得尝试：当应用需要带说话人的连贯转写且能接受词元级时间戳精度时，联合解码值得尝试；当应用要求帧级精确边界或强重叠分离时，还需补重叠处理与边界精修验证。
一句话收束：何时用它，何时不用它？
WhisperDiari 把日志从帧分类搬到词元预测，用语义解码器保证文本连贯，用适配器与相似度关系监督保证说话人可分，用说话人解码器把两者在每个词元上汇合，从而在相同识别后端下降低词元级归属错误与流水线转写错误，同时保持最快的单样本推理。当你的任务是会议纪要式转写且评价看重谁说了哪个词时，它是值得复现的基线。
当你的任务要求毫秒级边界或未做去重叠的强重叠会议时，不应直接套用其传统误差结论，还需补充重叠分层、长音频切窗与延迟显存实测。学习上记住一条依赖链：先理解帧与词元两种时间尺度为何冲突，再看适配器变换了什么关系，最后才看 3 个指标各自回答了什么问题，这样复述方法时才不会把不同指标的数字混为一谈。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses