英文题目：Multimodal Conversational Context for LLM-Based ASR: Data Construction, Training, and Benchmark
标签：#语音识别 | #多模态学习 | #数据集构建 | #基准测试
评分：7.6/10 | 创新 1.3/2 | 技术严谨 1.2/1.5 | 实验充分 1/1.5 | 清晰度 0.8/1 | 影响力 1/1.5 | 开源 1/1.5 | 可复现 0.3/0.5 | 工程/实践 1/1.5
👥 作者与机构
- Longhao Li：机构信息未在 arXiv HTML 中可靠披露
- Jian Tang：机构信息未在 arXiv HTML 中可靠披露
- Yuxiang Kong：机构信息未在 arXiv HTML 中可靠披露
- Jie Chen：机构信息未在 arXiv HTML 中可靠披露
- Binbin Zhang：机构信息未在 arXiv HTML 中可靠披露
- Lei Xie：机构信息未在 arXiv HTML 中可靠披露
- Xiangang Li：机构信息未在 arXiv HTML 中可靠披露
📌 核心摘要
该任务输入为历史用户语音及其识别文本与助理文本回复加当前用户语音，输出为当前轮转写，实际难点在于历史转写错误会向后传播且文本化会丢弃发音与说话人线索，同时无关历史还会干扰识别。方法先从普通话实体词库挖掘同音近音混淆对，再用大语言模型按无关、隐含、显式、纠正与重复错误五种场景生成一轮历史对话，其输出直接作为后续语音合成的文本脚本。接着用语音合成生成历史与当前语音并经识别校验过滤低质合成，保证文本与语音对齐可用，最后按对话顺序交错拼接历史语音与助理文本回复加当前语音做监督微调，仅对当前转写计算交叉熵损失。与仅用文本历史的关键差异在于同时保留原始声学证据，使模型能联合语义、发音与音色线索实现纠错与口音及说话人自适应。在 MM-ContextASR Bench 上 Qwen3-Omni 经上下文微调后语音加文本总体实体召回率达 87.84%，优于纯文本的 86.48% 与无上下文的 76.80%，在重复错误场景领先纯文本约 5.20 个百分点。结论限于单轮历史、中文实体密集问答与合成训练分布，口音与会议实验亦为受控配对，未验证长程多轮与强噪声泛化。训练用 8 卡 NVIDIA A100 做 LoRA 微调，未披露推理时延与部署成本。
🔗 开源与复现资源
代码相关资源：https://github.com/llh666521/MM-ContextASR — 链接可访问（HTTP 200）
数据相关资源：https://github.com/llh666521/MM-ContextASR — 链接可访问（HTTP 200）
第三方资源：https://github.com/modelscope/ms-swift — 链接可访问（HTTP 200）
可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，目标是什么，为什么历史转写不够用？
这篇论文研究的输入是多轮人机语音对话中的当前用户语音，加上前一轮或多轮对话历史，目标是只转写当前这一句的文字，不生成回复。必须保留的信息包括当前语音与参考转写保持不变、历史表示在 4 种条件下匹配比较、以及训练与评测都围绕实体与口音说话人等可验证指标展开。输出是 1 篇能让研究生复述数据构造、训练输入组织方式和评测协议的技术解读。
论文的起点是级联式语音交互仍然常用，先由语音识别把用户语音转成文字，再交给文本大语言模型理解与回答。在这种链路里，如果当前句包含罕见人名、地名、产品名或领域术语，一旦识别错就会改变请求含义并向下游传播。传统做法是给识别器一份热词表，而基于大语言模型的识别器可以用自然语言上下文做条件。
但历史文本有两个具体缺陷。第一，历史转写本身可能有错，而助手回复可能重复这个错误，于是错误实体在上下文中被强化，干扰当前句。第二，即使历史转写正确，把语音压成文字也会丢掉发音、口音和说话人特征。因此论文提出保留历史用户原始语音，与文本助手回复一起作为多模态对话上下文。教学例子可以这样理解：假设上一轮用户说了正确实体，但历史文本写成了同音错字，助手又沿用了错字，那么纯文本上下文里已无正确线索，而历史语音里仍保留正确发音，这就是需要多模态的直接动机。
附带说明：本文的证据边界与阅读方法
本解读只使用论文正文证据与本次收到的官方原图像素，不继承其他解读的评价。凡教学例子都已标为例子，没有添加无源数值。凡用报告显示表达的是论文直接给出的数字与现象，用支持表达的是数字指向的有限解释，用可能待验证表达的是超出证据的推广。
阅读时建议先沿一个样本走完输入到输出，再看公式与表格。先确认当前语音与监督是否跨条件固定，再看历史表示的差异，最后看指标方向。遇到总体召回与字错误率不一致时，应分别讨论实体能力与整句质量，而不是用一个指标否定另一个。
对于刚入门的研究生，更有效的复述顺序是先讲 5 个场景的构造意图，再讲 3 种训练视图的对齐，最后讲 3 个任务分别验证语义、发音与音色。这样既能对应论文的管线、训练与评测三部分，也能在没有真实数据时用合成例子讲清机制而不虚构效果。
同输入同目标的已有路线在解决什么，相差在哪里？
在基于大语言模型的语音识别这条线上，已有工作把语言建模能力引入识别，支持多语种、方言和困难声学条件，也有人在相邻音频段之间用刚识别出的内容维持一致性，或联合输出转写时间戳与说话人标签。这些工作与本文共享语音加文本联合建模的输入形式，但多数不以可控对话历史为主要监督来源。
在对话上下文识别这条线上，已有工作利用话题连续性与词汇依赖，也有人注意到历史转写噪声会误导后续预测，并用噪声感知训练或偏好优化提高对不可靠上下文的鲁棒性。本文的不同在于构造了显式可控的用户语音加助手文本历史，并系统改变历史相关性与实体错误是否存在，从而能比较语音历史与文本历史各自的作用。
在上下文识别评测这条线上，已有评测比较不同粒度的文本上下文，或用领域线索、说话人画像与对抗提示评估专业语音。本文的评测不同在于固定当前语音与目标实体，只改变对话历史的多模态表示与场景，并用实体召回衡量上下文理解与纠错。按同运行阶段对照，本文的基线是无上下文的单句识别与条件匹配的文本上下文，而不是外部热词表或事后选优，因此比较结果可以直接解释为历史表示带来的差异。
与热词表和纯文本历史相比，多模态历史的新增作用是什么？
热词表的作用是提供候选名单做显式偏置，纯文本历史的作用是提供话题与实体线索，但二者都不保留声学实现。多模态历史的新增作用有 3 层，分别对应 3 个任务。第一层是语义备份，当文本历史沿用错误实体时，历史语音仍保留正确发音，可作为纠错证据。第二层是发音参考，当识别方言口音时，同说话人历史语音提供声韵调的适配线索，这是文本用词无法直接传达的。第 3 层是说话人参考，当多人重叠时，历史语音提供目标音色的声纹锚点，帮助在混合语音中选择目标。
这种分层解释了为什么论文要在 3 个任务上分别验证，而不是只报告一个总体分数。实体评测验证第一层，口音方言验证第二层，会议验证第 3 层。如果只看总体字错误率，会把 3 层混在一起，无法回答语音到底补了什么。
从运行阶段看，热词表通常在解码时注入，而本文方法在输入端序列化历史并通过微调学习利用方式，因此公平比较必须保留条件匹配的微调基线。把未经微调的多模态输入与经微调的纯文本比较，会低估或高估语音的作用，论文为每种上下文训练独立适配器并在匹配输入下评测，正是为了避免这种错位。
当前句固定而历史变化时，模型要回答什么问题？
论文把任务形式化为在给定多模态对话历史的条件下转写当前用户语音。历史每一轮包含用户语音、它的识别假设和助手回复，当前轮只有用户语音需要被转写。评测时保持当前音频与参考转写不变，只在无上下文、纯文本、纯语音、语音加文本 4 种历史表示之间切换，这样性能差异只能归因于历史可用信息的不同。
需要区分的 3 个问题是：上下文理解，即无关历史是否会被抵抗、话题背景是否有帮助；实体纠错，即历史文本出现易混形式时能否恢复正确实体；语音线索利用，即历史语音中的发音与音色是否超出文本提供额外帮助。论文用 5 个场景把这些问题操作化：无关场景考验抗干扰，隐含场景考验话题线索，显式场景考验正确实体提示，纠正与重复错误场景考验历史转写出错后助手纠正或沿错的不同后果。
一个初学者容易误解的地方是把总体字错误率下降等同于实体能力提升。论文因此在主评测中用目标实体召回作为主要指标，它只判断归一化后的当前转写是否包含规范目标实体，而在口音与会议任务中再同时报告字错误率与句错误率，避免用单一指标掩盖实体层面的差异。
为什么只用前一轮也能构成有效比较？
只用紧邻前一轮的安排理由是它提供最局部的证据，且便于跨任务与跨模态做受控比较。局部性意味着话题与说话人最可能连续，干扰因素最少，因此最适合先回答语音是否带来额外信息。如果在最有利的单轮条件下语音仍无增益，那么多轮更难归因。如果单轮有增益，后续才能进一步研究多轮累积与衰减。
从复现角度看，单轮也简化了公平性控制。多轮会引入轮数、截断位置与说话人切换等额外变量，而单轮只需固定一个历史问句加一个助手回复。论文的序列化支持多轮重复块，但本研究统一用前一轮，因此结论不能直接推广到多轮。
初学者可以用一个对照记忆这个选择。增加历史轮数可能增加信息，但也增加无关与错误历史的比例，而论文已显示无关历史会带来损失。在没有测量多轮收益与成本之前，把单轮结论推广为轮数越多越好是待验证的推测，不应作为复述结论。
从实体池到可训练对话，流水线全景是什么？
方法全景可以沿一个样本走完。起点是一个目标实体，例如某个中文专名，管线先为它找到一个发音相近的混淆形式，然后生成包含正确实体的当前用户问句，再为同一当前问句配 5 种不同的上一轮历史，最后把历史与当前问句合成语音并组织成 3 种对齐的训练视图。模型训练时按对话顺序交错放入历史语音与文本助手回复，再放入当前语音，只监督生成当前转写。
对话上下文 ASR × 多模态上下文： 对话上下文 ASR 负责利用当前句之外的历史信息帮助转写当前语音，多模态上下文负责把历史的表示从纯文本转写扩展为历史用户语音加文本助手回复，二者搭配的原因是纯文本历史可能复述错误实体并丢失发音，组合后模型既能用文本语义做话题衔接，又能用历史语音做发音与说话人证据，从而在文本不可靠时仍有机会恢复正确实体。
5 种历史都只包含一轮用户问句加一轮助手回复，但实体出现方式受控。无关历史不含目标实体也不含混淆形式，隐含历史只给话题背景，显式历史在语音、模拟转写与回复中都放正确实体，纠正场景的历史语音与回复放正确实体而模拟转写放混淆形式，重复错误场景的历史语音放正确实体而模拟转写与回复都放混淆形式。这种设计让纠正与重复错误保留两个文本版本，一个用于合成语音，一个用作模拟识别假设。
训练视图的对齐很关键。纯文本视图放历史识别假设加助手回复，纯语音视图用历史原始语音替换该假设，语音加文本视图同时保留语音与假设，三者的当前语音与监督完全相同。因此任何性能差异都来自历史模态，而不是当前句难度变化。论文在本研究中只用紧邻的前一轮，因为它提供最局部的证据，也便于跨任务与跨模态做受控比较。
语音与文本如何拼成一个可解码的输入序列？
组件层面先解释符号与输入。令历史第轮的用户语音、识别假设与助手回复分别参与上下文构造，当前用户语音经共享语音编码器与模态适配器映射为语言模型嵌入，指令与序列化历史记为上下文条件。纯文本上下文是假设与回复的集合，纯语音上下文是语音与回复的集合，语音加文本上下文同时包含三者。
\[\displaystyle\mathcal{C}_{\mathrm{text}}\]上式是纯文本上下文的集合表示，它说明文本视图的历史信息完全来自转写假设与回复，没有声学证据。实现上，纯语音形式把历史语音音频块与文本回复按对话原顺序交错，当前语音放在最后，模型接着生成当前转写。语音加文本在对应语音段后插入历史识别假设，纯文本则用假设替换语音。
训练目标是对当前转写做自回归交叉熵，指令与对话历史位置的损失被掩掉，只有当前转写词元参与优化。
\[\mathcal{L}_{\mathrm{ASR}}=-\sum_{i=1}^{|\mathbf{y}_{T}|}\log p\!\left(y_{T,i}\mid\mathbf{c},\mathbf{z}_{T},\mathbf{y}_{T,语音编码器 × 大语言模型： 语音编码器负责把历史语音和当前语音映射到语言模型可接受的嵌入空间，大语言模型负责在指令加序列化历史加当前语音的条件下自回归生成当前转写，二者搭配的原因是语音信号与文本词表不在同一空间，需要适配器桥接，组合后历史语音能以嵌入序列的形式与文本历史并列进入同一解码过程。
数据如何生成、过滤与组织成监督样本？
训练流程包含实体池、混淆对构造、对话生成、语音合成与多模态训练数据打包 5 个阶段。实体池来自面向中文识别的内部词表，约 175,000 个目标实体，覆盖医疗、科技、金融、地理旅游、文化娱乐等领域，包括人名、地名、机构、产品与术语。混淆对构造先建与声调无关的拼音到汉字索引，为每个实体匹配同音替换字与经声母韵母预设替换得到的近音字，每次只改一个字并保留其余字，最多保留 10 个候选，再由大语言模型评估词汇语义合理性并选出适合模拟识别错误的混淆词。
混淆对 × 场景可控对话生成： 混淆对负责为每个目标实体提供一个发音相近但字形不同的错误形式，场景可控对话生成负责围绕这对实体生成 5 种历史与当前关系明确的对话，二者搭配的原因是只有先固定可控的易错形式，才能系统地制造纠正与重复错误等历史条件，组合意义在于训练与评测都能把当前语音固定而只改变历史，从而分离出上下文的作用。
对话生成为每个实体混淆对生成一个含正确实体的当前问句，并配 5 种历史。无关历史从其他实体的已生成对话中采样并保证话题无关。语音合成把历史与当前用户问句合成为 24 千赫兹语音再下采样到 16 千赫兹用于识别，随后用识别模型转写合成语音并与送入合成的文本比较，用原始与归一化字错误率以及漏字、多插、异常重复等指标过滤低质量合成。每个通过的对话产出 3 种对齐视图，当前语音与监督相同。
优化配置按原文交代：用注意力投影的低秩适配，秩为 64，缩放系数为 128，学习率为 1 乘以 10 的负 5 次方，有效批量为 64，最大序列长度为 8192 词元。在对话数据与口音数据上训练一个轮次，在粤语与会议数据上训练 5 个轮次。训练在 8 块显卡上用公开训练框架完成，评测用确定性解码且同一任务内各上下文条件解码参数固定。
评测固定了什么，改变了什么，用什么指标判好坏？
实验围绕 3 个问题组织。第一个是上下文理解与纠错，用自建评测回答；第二个是口音方言适应，用同说话人历史是否提供发音参考回答；第 3 个是目标说话人识别，用历史语音是否提供音色参考回答。所有任务都固定当前音频与参考转写，只改变历史输入的 4 种表示，因此比较条件一致。
实体召回率 × 字错误率： 实体召回率负责衡量归一化转写中是否出现规范目标实体，字错误率负责衡量整句转写的字级错误比例，前者分工是聚焦长尾实体是否被正确恢复，后者分工是反映整体转写质量，二者搭配的原因是上下文可能只改善实体而不改善全句，组合使用才能区分实体纠错能力与通用识别能力的差异。
自建评测用 held-out 的实体混淆对构造对话，人工选择 250 个目标实体，每个实体配 5 种场景，共 1250 个评测样本，同一实体的 5 种场景共享同一当前语音与参考转写。口音评测用官方测试集，粤语转写先转为简体中文再训练与评分，并报告经大语言模型标注的专名与领域词召回。会议评测从官方评测分区抽取 2,800 个含竞争说话人的远场目标段，每个目标段配同一说话人、同一会议、同一通道且时间不重叠的历史语音，识别参考只含目标说话人文字。
下图是自建评测的文本长度分布，理解它有助于判断对话历史的篇幅条件，避免把长回复的语义优势误读为模型能力。
看图路径： 1. 先确认三个子图的横轴对象：当前问句、历史问句以去空格后字符数计，助手回复字符数范围更大；2. 再比较纵轴样本百分比的峰形：当前与历史问句峰值集中在十几到二十字附近，回复峰值靠近八九十字；3. 最后沿虚线均值线观察分布偏态：右侧长尾说明少数较长问句与较长回复仍然存在
论文图 3。原论文 Figure 3:：“Text-length distributions in MM-ContextASR Bench: (a) current queries, (b) historical queries, and (c) assistant responses.”。
该图包含 3 个子图，分别显示当前问句、历史问句与助手回复的去空格字符长度分布，纵轴为样本百分比，虚线为均值。可见问句长度集中在较短区间而回复明显更长，这意味着历史文本提供的语义量大于当前问句本身，但也带来无关历史可能引入噪声的风险。像素能辨别的是分布形状与相对位置，原文未给出具体均值数字，本解读不硬写均值数值，只把该图用作样本篇幅背景。
主评测中语音历史何时超出纯文本，谁的证据最强？
在自建评测上，原始模型表现出对显式正确实体提示的强依赖，但对隐含话题线索利用不足，且在无关历史下下降。纠正与重复错误的对比显示，一旦助手回复沿用历史错误，纯文本会跌到无上下文之下，即使历史语音含正确实体，原始模型在重复错误下也未超过无上下文基线。这报告的是基线模型的局限，不是训练方法的失败。
文本上下文 × 语音加： 文本上下文只保留历史识别假设与助手回复，语音加同时保留历史原始语音、识别假设与助手回复，前者分工是提供词汇话题线索但继承转写错误，后者分工是额外保留发音证据，二者搭配比较的原因是当前音频与监督完全相同，只有历史表示不同，组合比较能直接回答保留原始语音是否带来超出文本的增益。
上下文微调后，语音加文本在 2 个模型上都取得最高的总体召回。下表比较总体召回与相对基线的提升，指标方向均为越高越好，公平条件是同一当前语音与同一监督下只改变历史表示。
| 模型与训练条件 | 指标 | 纯文本总体召回 | 语音加文本总体召回 | 语音加文本相对原始基线的提升 |
|---|---|---|---|---|
| Qwen3-Omni 上下文微调后 | 实体召回率 | 86.48% | 87.84% | 5.04 percentage points |
| Step-Audio-2-mini 上下文微调后 | 实体召回率 | 83.56% | 85.20% | 11.04 percentage points |
上表的主要收益是语音加文本同时高于纯文本与原始基线，代价是需要额外的历史语音输入与条件匹配的微调。未胜出项是纯文本在总体上始终低于语音加文本，但它在部分显式场景仍具竞争力，说明当历史文本完全正确时语音的边际增益变小。
重复错误场景的优势更明显，因为此时文本历史中已无正确实体线索。下表聚焦该场景的增益，同样是越高越好。
| 模型 | 比较对象 | 超过纯文本的增益 | 超过微调后无上下文基线的增益 |
|---|---|---|---|
| Qwen3-Omni 微调后语音加文本 | 重复错误场景实体召回 | 5.20 percentage points | 5.60 percentage points |
| Step-Audio-2-mini 微调后语音加文本 | 重复错误场景实体召回 | 4.60 percentage points | 9.20 percentage points |
该表支持的判断是训练把此前未被利用的历史语音转化为纠错证据，限制是它依赖合成语音构造的受控错误分布，对真实会议或口语中的自然错误是否同等有效还需在真实历史转写上验证。
口音方言与目标说话人任务中，语音参考提供了什么额外信息？
口音与方言任务用同说话人的另一句话做伪历史，比较的是词汇表达线索与发音线索的差异。纯文本保留同说话人的用词，可帮助转写，纯语音与语音加文本额外保留发音口音特征。微调后语音加文本在 2 个数据集上都取得最低字错误率，纯语音与语音加文本的实体召回也高于纯文本。在粤语上，微调前所有上下文配置都不如无上下文，微调后才全部超过对应的无上下文模型，这说明历史语音的利用需要训练才能生效。
| 数据集与训练条件 | 指标方向 | 纯文本结果（%） | 语音加文本结果 | 语音相对文本的改进 |
|---|---|---|---|---|
| KeSpeech 微调后字错误率越低越好 | 字错误率 | 4.40% | 4.17% | 语音更低 |
| CV-Yue 微调后字错误率越低越好 | 字错误率 | 4.14% | 3.74% | 语音更低 |
| KeSpeech 微调后实体召回越高越好 | 实体召回率 | 83.90 | 84.93% | 超过文本侧 1.03 percentage points |
| CV-Yue 微调后实体召回越高越好 | 实体召回率 | 85.06 | 87.85% | 超过文本侧 2.79 percentage points |
上表的表述需要小心，原文报告的是语音与语音加文本同时达到 84.93% 与 87.85% 的召回并分别超过纯文本 1.03 与 2.79 个百分点，不是语音在字错误率上处处最优。代价是同说话人伪历史在真实对话中未必可得，孤立语句拼成的历史可能高估连续对话中的增益。
目标说话人任务用历史语音做身份参考，要求在重叠语音中只转写目标说话人。原始模型下 3 种上下文的字错误率都高于无上下文，但语音条件的句错误率略有下降，说明收益依赖指标。微调后语音条件大幅下降。下表保留必要基线与可运行策略，字错误率越低越好。
| 训练阶段 | 无上下文基线字错误率 | 纯文本字错误率 | 纯语音字错误率 | 语音加文本字错误率 |
|---|---|---|---|---|
| 原始模型 | 29.70% | 31.87% | 33.26% | 32.23% |
| 上下文微调后 | 30.25% | 29.60% | 24.59% | 24.80% |
表后解释是历史文本只提供语言上下文而无直接音色参考，因此语音条件的更强结果支持模型学会了在混合语音中选择目标音色。未胜出项是微调后纯语音字错误率最低而语音加文本句错误率最低达到 71.96%，说明两个语音变体各有优势，不能只看单一指标就断言一种表示全面最优。
哪些条件没有测，哪些结论不能推广？
论文直接报告的是受控条件下的增益，有限解释是历史语音保留了转写丢失的信息，未验证的推测是这种增益能无条件迁移到任意真实对话。缺失证据不是技术错误，但必须明确边界。第一，自建训练与评测的语音来自语音合成并经识别过滤，真实口音、自发停顿与重叠的分布不同，合成管线的结论可能待验证。第二，本研究只用紧邻前一轮，多轮历史的累积误差、长上下文截断与计算开销没有测量，不能承诺多轮一定更好。第三，口音任务的伪历史是同一说话人的另一句孤立语句，不是真实对话轮次，话题连续性与交互噪声的效应没有被评估。
另一个限制是成本与延迟没有报告。训练资源只给出了轮次、批量与硬件数量，推理时加入历史语音会增加输入长度与编码开销，但原文没有测量延迟或实时因子，因此不能说该方法改善了效率。总体趋势也不等于每组都成立，例如无关历史在微调后损失变小但并未完全消除，纯文本在某些显式场景仍接近语音方法。相关性同样不是因果，语音条件更好可能同时来自发音、说话人与语义多线索，不能单归因于某一因素。
原文表头与算术没有发现需要标注的冲突，但不同指标的差值不能混放。百分点增益与相对百分比不同，论文用的都是百分点，本解读保留原文写法。自动指标不能当作人工评价，实体召回用规范字符串包含判断，可能受归一化规则影响，复现时应沿用同一归一化再比较。
要复现先做什么，需要哪些数据与代码条件？
复现先做信息条件核对。当前语音与参考转写在 4 种历史条件下必须完全相同，历史选择也必须跨条件固定，否则差异无法归因于模态。提示模板应按附录分别实现，自建评测、口音任务与会议任务的指令不同，不能混用同一提示。解码必须用确定性解码且同一任务内参数固定，粤语需先转简体中文再训练与评分。
数据与划分按原文交代。自建训练为 about 873k training examples from 175k entity–confusion anchors，覆盖 5 种历史场景。评测用 250 target entities 构造 1,250 evaluation examples，且与训练无重叠。口音用官方训练与测试划分构造同说话人上下文对，会议用官方训练分区构造 80k training segments from about 200 meetings 与 3k development segments from 10 disjoint meetings，并用开发集做训练期验证，评测用完整的 2.8k target segments。下表汇总可复现的数据规模，数字与写法来自原文连续句，不是推测。
| 用途 | 规模描述 | 实体或会议来源 | 历史构造 |
|---|---|---|---|
| 自建训练 | about 873k training examples | 175k entity–confusion anchors | 一轮用户问句加助手回复，覆盖 5 种历史场景 |
| 自建评测 | 1,250 evaluation examples | 250 target entities | 语音与模拟转写并存，每实体五场景 |
| 会议训练与开发 | 80k training segments 与 3k development segments | about 200 meetings 与 10 disjoint meetings | 同说话人同会议同通道非重叠段，开发集做验证 |
| 会议评测 | 2.8k target segments | 官方评测分区远场含竞争说话人 | 参考只含目标说话人文字，全量评测 |
资源状态是公开性判断的唯一依据。代码与数据集链接本次可达，评测数据与评测代码已公开，训练框架为第三方公开项目。需要区分代码开源、权重下载与系统可运行，论文只声明评测数据与评测代码公开，没有声明全部训练语音与内部词表可下载，因此完整复现合成管线可能需要自备词表与合成模型。
何时值得尝试这种多模态历史，何时不必？
当任务满足 3 个条件时值得尝试。第一，对话中存在长尾实体且历史转写可能出错，例如客服、医疗或会议记录，此时保留历史语音能提供文本已丢失的发音证据。第二，有同说话人的历史语音可用，例如同一通话内的上一轮，此时口音与用词线索可能同时起作用。第三，能做条件匹配的上下文微调，因为原始模型即使能接受语音与文本输入，也未必能有效理解多模态历史，论文显示微调前后在重复错误与粤语上的反转就是证据。
当历史高度不可靠且与当前无关的比例很高，或推理预算对输入长度敏感时，应先做小规模验证。无关历史即使微调后仍有小幅损失，多轮历史的开销与截断效应也未被测量。还需补的验证包括真实历史转写而非合成模拟转写上的纠错、多轮与跨说话人历史的消融、以及延迟与显存的实测。
论文特有的误解需要澄清。第一，语音加文本总体最高不等于每场景都最高，它的优势集中在文本无正确线索的重复错误与需要发音参考的任务上。第二，目标说话人任务中语音条件微调后大幅领先，不代表原始模型完全不会用参考语音，原始模型的句错误率已有小幅下降，只是字错误率尚未受益。第三，冻结语音编码器不意味着输出确定，解码仍受提示与历史影响，复现时应固定解码再比较。抓住当前固定而历史变化这一设计，就能复述全文的方法与结论。
📎 论文与评分元数据
排名：前25% | 文档类型：方法研究 | arXiv 原文
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses