说话人分离标注

EgoEMS 针对院前急救中多成员协同与强流程性难以建模的问题，用 233 次模拟试验同步采集第一视角视频、音频、手表惯性与按压真值并标注 67 类关键步骤，基准显示监督变换器在分类达 62.3% 而零样本大模型仍明显落后，代价是模拟与真实出警之间仍有分布差距。

该提案要把语音感知大语言模型从只做转写扩展到原生联合完成自动语音识别与说话人切分，做法是冻结大语言模型主干、分两阶段训练音频编码器与适配器并加入上下文提示，证据是所列开源切分数据的时长与语言分布以及词错率与切分错率的明确定义，代价是切分标注数据少且尚未给出可运行系统的定量主结果。

针对松标注训练导致边界过松、而因果-反因果伪标签又收得过紧并增加漏检的问题，论文用保边界去停顿填充、预热上下文和非因果感知协同训练来缓解，并在 AMI 与 AliMeeting 上把与理想紧标签上限的 DER 差距缩小约四到六成，代价是虚警与漏检之间仍需权衡。

该文用同一组流式识别与流式说话人日志模型派生出级联、掩码输入、词级串行输出和日志条件四种架构，对比多说话人准确率、单说话人退化、内存占用与训练代价，并以排列不变动态时间规整解决短片段训练标签对齐问题，其中日志条件精度最好但需要微调与多实例代价。

针对级联式说话人日志与识别中误差传递与重叠语音难处理的问题，SpeakerLM 用音频编码器加投影器接入大语言模型的端到端多模态方案，在约 7638.95 小时数据下主指标超越最强级联基线，但小数据与仿真失配时仍明显落后。

针对长录音中说话人、韵律、情感与场景需联合标注的问题，论文用全开源的前端加先验加三智能体加有界复核流程组织标注，并在 8.87 小时九类中文主基准上以时间线与固定时间线两套条件报告了可复述的误差与消融代价。

针对说话人日志与语音识别分开建模带来的切分错位和语义断裂，WhisperDiari 在 Whisper 上增加说话人适配器与说话人解码器做词元级说话人标注，LibriDiari 与 AMI 证据显示其词元级误差更低，但其帧级时间戳精度仍受解码器时间戳限制。