英文题目：SDiaReward: Modeling and Benchmarking Spoken Dialogue Rewards with Modality and Colloquialness
会议身份：
conference:acl:2026:conference-paper-id:2026.acl-long.185
✅ 来源为官方会议 PDF；可重放的表格、公式文本与 Figure 像素已按 PDF 抽取结果绑定，未成功恢复的结构不作推断。
标签：#基准测试 #数据集 #偏好优化 #语音对话系统
评分：7.0/10 | 创新 1.5/2 | 技术严谨 1.2/1.5 | 实验充分 1.2/1.5 | 清晰度 0.8/1 | 影响力 1.0/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5
排名：前50% | 文档类型：数据集与基准
👥 作者与机构
- Jingyu Lu：机构信息未能从会议 PDF 纯文本可靠映射
- Yuhan Wang：机构信息未能从会议 PDF 纯文本可靠映射
- Fan Zhuo：机构信息未能从会议 PDF 纯文本可靠映射
- Xize Cheng：机构信息未能从会议 PDF 纯文本可靠映射
- Changhao Pan：机构信息未能从会议 PDF 纯文本可靠映射
- Xueyi Pu：机构信息未能从会议 PDF 纯文本可靠映射
- Yifu Chen：机构信息未能从会议 PDF 纯文本可靠映射
- Chenyuhao Wen：机构信息未能从会议 PDF 纯文本可靠映射
- Tianle Liang：机构信息未能从会议 PDF 纯文本可靠映射
- Zhou Zhao：机构信息未能从会议 PDF 纯文本可靠映射
📌 核心摘要
该工作处理多轮口语对话奖励建模，输入为上下文轮与候选末轮组成的交错语音文本序列，输出为条件于评价准则的标量奖励，难点在于韵律情感等副语言信息不可文本化且自然口语偏好短碎与交互标记。方法先从野外与半野外及剧本音频构建真实对合成配对以监督模态感知，再用同声学配置下书面体对口语改写配对以隔离口语化风格，随后以多模态大模型骨干直接编码交错语音文本序列并经池化与打分头输出奖励。最后用Bradley-Terry损失加中心正则学习域内相对排序，前步配对提供监督信号进入骨干训练，而池化表示进入打分头形成可校准奖励。与级联转写评测及通用音频裁判相比，该机制差异在于保留连续声学与上下文韵律并以准则提示分解模态与口语化边界，避免离散文本瓶颈丢失副语言细微差别。在ESDR-Bench基准下，SDiaReward-7B的Micro准确率为96.61%，高于Gemini 2.5 Pro的72.63%。同时口语化任务保持高位且域内分布存在偏移，结论适用边界限于英语多轮对话与所用合成引擎分布，对未见高保真对话合成与强噪声域的外推尚未验证。原文未披露训练、推理或部署成本。
🔗 开源与复现资源
- 第三方资源：https://github.com/huggingface/trl — 链接可访问（HTTP 200）
- 第三方资源：https://github.com/Anjok07/ultimatevocalremovergui — 链接可访问（HTTP 200） 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。
🧭 深度解读
输入是什么，要输出什么，必须记住什么？
这篇解读的输入是会议论文正文与本次收到的官方原图像素，目标是让刚进入语音对话的研究生能复述方法与核对条件。必须记住的是任务为多轮口语对话奖励建模，输入是包含音频与文本的多轮上下文加候选末轮，输出是一个标量奖励分用于偏好排序。关键信息包括两类偏好对的构造方式、端到端直接听音频的打分结构、成对偏好加中心正则的训练目标，以及分层评测下微平均与宏平均的报告方式。
本文按学习依赖展开，先讲差距与相关路线，再走完一个样本的输入到输出与公式，然后讲数据构造与训练实现，最后讲实验条件、结果反证与复现要点。凡教学举例会明确标为例子，不引入无源数值。
端到端口语对话系统希望直接感知与生成语音，评测不能只看转写文字是否通顺。论文指出两个阻碍，一是声音自带的韵律情感通道信息在转文本后丢失，二是文本优化的回答写得工整但念出来像背稿。通用音频大模型常出现模态盲区，即文字相同而一个是真人一个是合成时分不清。作者因此主张用数据驱动的偏好比较来学这两种信号，而不是手写声学规则。后续所有设计都围绕如何造出能隔离这两种因素的对比对，以及如何让一个打分器在整段上同时利用它们。
已有路线在同输入同目标下差在哪里？
在同为语音输入、同为评价生成质量的目标下，已有路线可分为 3 类。第一类是单轮语音合成质量评价，代表是针对单轮可懂度与自然度的打分器，它们不建模多轮上下文依赖，因此不能判断末轮是否照应前文。第二类是加入副语言信号但依赖人工定义特征或规则的方法，例如用预设韵律特征判优劣，这类方法在野生噪声与多样说话风格下灵活性不足。第 3 类是通用音频大模型做零样本裁判，它们语义理解强，但在模态任务上接近猜测，因为预训练更重视文字内容而非细微 prosody 差异。级联系统先把语音转文字再交给文本模型，必然丢掉连续韵律细节并引入转写误差。
本文与它们的区别在于监督与运行阶段都保持端到端与多轮。监督来自整段级偏好对，一类固定文字比较真人与合成的声学实现，另一类固定声学配置比较书面与口语的文本风格。运行时模型直接消费交错语音文本序列并输出相对分，不经过中间文本摘要。这种对照说明类别差异不能当作同条件胜负，只有在相同整段输入与相同排序指标下比较才公平。
要解决的两个差距如何界定与拆分？
论文把问题形式化为给定上下文对候选末轮打分。上下文是前若干轮的音频文本对，候选是末轮的音频文本，模型输出条件于上下文的标量奖励。评价拆成两个可切换的准则，一是模态感知，强调内容充分、对话连贯与口语自然，二是口语化，强调自发性与避免机器人式书面腔。训练时用不同的系统提示区分准则，共享主干但学不同的决策边界。
模态差距 × 口语化差距： 模态差距负责声音怎么说，关注韵律、情感与通道带来的偏好差异，文本转写相同也可能听感不同；口语化差距负责说什么像说话，关注简短、碎片、语气词与互动衔接；二者搭配是因为只改文本风格仍可能韵律僵硬，只改音质仍可能像念稿，组合后奖励模型才能同时要求声学真实与对话自发。
下图把这种不对称讲得很直观，上方同一问句对应书面回答与自然闲聊两种措辞，中间两条弧线分别指向风格与模态差距，下方则给出从多轮对话经两类奖励信号到统一奖励模型的路线。
看图路径： 1. 先看顶部输入问句，再对比左右两种输出的措辞差异；2. 再看中间上下两条弧线分别标注的两种差距名称；3. 最后看底部从多轮对话经奖励信号到奖励模型的箭头走向
论文图 1。原论文 Figure 1：“Challenges in spoken dialogue and our pro- posed framework.”。
这张图的可执行含义是不要把两种差距混为一件事。读图时应把措辞差异对应到口语化分支，把波形与副语言标注对应到模态分支，再把底部统一模型理解为用偏好数据同时学 2 个分支，而不是两套规则拼接。这也解释了为何后文数据要分两条流水线构造。
方法全景：一个样本如何走完输入到输出？
沿一个样本走一遍有助于建立全局感。假设有一段多人访谈的前 3 轮与待评的第四轮，输入是每轮的波形与其转写按轮次交错排列。模型先把交错序列送入多模态大模型主干得到联合嵌入序列，再经池化把变长序列压缩为定长向量，最后经打分头得到一个数。若比较同一上下文的两个末轮版本，得分高者被判为更偏好。准则提示决定当前是按模态自然还是按口语风格来比，切换提示即切换同一主干的评价视角。
多轮回合 × 整段评价： 多轮回合负责提供上下文依赖，每轮音频与文本交错出现以保留 prosody 随话题的变化；整段评价负责把上下文加候选末轮一起打分而不是孤立评单句；搭配理由是连贯与语气是否合适只能放在历史里判断，组合意义是让奖励函数学到跨轮照应而非单轮音质。
这种全景的要点是表示与目标解耦。表示负责听见上下文韵律与文本风格的联合信息，目标负责在成对比较中学会相对排序。后续组件节讲池化与打分头的计算，训练节讲如何用偏好对与正则把这种排序教进去，实验节再验证它是否只是记住合成器痕迹。
组件如何把变长多轮压缩为一个可比分数？
组件由三部分组成。多模态大模型主干把交错语音文本映射到联合空间，输出最后一层隐状态序列。池化模块把该序列聚合为一个向量，论文比较了末词元池化、平均池化与注意力池化，报告平均池化在超参数与数据混合下最稳定，注意力池化有时很高但更敏感，末词元池化最弱，说明奖励证据分散在上下文与末轮而非集中于最后位置。打分头是一个线性回归层，把池化向量映射为标量。
均值池化 × 标量奖励： 均值池化负责把多模态主干输出的序列隐状态在时间上平均，保留分散在上下文与末轮的证据；标量奖励负责经打分头输出一个可比大小的数；搭配是因为排序只需要相对高低而不需要逐词解释，组合后模型直接听完整段再压缩为 1 维偏好信号。
下图展示了这种堆叠，顶部是上下文多轮与待评末轮的波形与频谱示意，中部是主干，下方依次是池化与价值头，箭头均为自上而下单向流动。
看图路径： 1. 先沿顶部上下文多轮与末轮的音频文本块向下看编码方向；2. 再看中间多模态主干下方输出块如何汇入池化模块；3. 最后看池化到价值头的单箭头如何得到标量分
论文图 3。原论文 Figure 3：“Architecture of our reward model.”。
读完图应能复述计算顺序是编码全部轮次再整体池化最后线性打分，而不是先转写摘要再打分。符号含义是序列长度与维度构成隐状态矩阵，池化算子负责聚合，打分多层感知机负责输出标量。原文实现细节是音频统一截断或补齐到 30 秒，主干初始化自问答类多模态模型，打分头为线性层。
\[rθ(C, y) = MLP(POOL(H)),\]该式目标是把联合嵌入序列变为条件于上下文与候选的奖励值。输入是池化后的向量，计算是先聚合再经打分头得到 1 维数，优化时只比较同一上下文下两候选的相对大小，不要求绝对分有物理意义。
偏好对如何构造，损失如何防止按录音条件走捷径？
训练依赖两类配对。模态感知对固定语言内容、改变声学实现，真人原声为正选，对话级合成复刻为负选，合成器选择能保持多轮说话人连贯的系统以制造难负例，避免模型只学断裂等粗糙痕迹。口语化对固定声学配置、改变文本风格，先在 10 个域设计主题生成书面多轮，再按细粒度语言约束改写为带填充、碎片与话语标记的口语版，两版用相同合成配置发声，因此偏好标签只能来自风格自然度。数据来源分野生网络访谈、半野生的情感表演对白与剧本化录音室对白，另有口语化合成部分。
偏好损失 × 中心正则： 偏好损失负责拉开正负样本的分差，让更自然的版本得分更高；中心正则负责把正负分之和拉向零附近，防止在不同录音条件下整体漂移；搭配理由是只推大间隔会让干净录音整体偏高形成捷径，组合后模型学域内相对表达力而非绝对通道好坏。
下图把采集、处理、配对、过滤与分类 5 步放在一张版面，左上区分主要野生与补充来源，中上列出增强、分离、切分、识别与筛选，右上展示真与合成的成对组织，右下展示主题到文本再到风格转换与人工核验，左下与中下展示轮数时长过滤与按情感 sentiment 与行为的分层标注。
看图路径： 1. 先沿左上采集到中上处理再到右上配对的主路径看数据流向；2. 再对比右上模态配对与右下口语化配对的构造方式差异；3. 最后看左下过滤与中下分类如何支撑分层评测
论文图 2。原论文 Figure 2：“Overview of dataset construction. (a) Collection: We collect wild conversational audio (main) along with semi-wild/scripted data.”。
复述构造时应按采集到配对再到后处理的顺序说清监督来源。野生部分经增强、说话人分离、端点检测与识别得到轮级音频与文本并按连续多轮成组，结构化数据则直接用元数据避免误差传播。过滤要求轮数为偶数且不超过 16 轮、单轮不超过 60 秒，并用大模型在内容充分与上下文连贯上至少 3 分才保留。优化目标是成对偏好负对数似然，鼓励正选分高于负选。
\[Lpref(θ)=−ED\]该式输入是同一上下文下的正负候选，计算目标是最大化正选高于负选的概率。为防止跨域时模型给干净录音整体高分，加入中心项约束正负分之和的平方期望，把全局均值锚在零附近。
\[Ltotal(θ) = Lpref(θ) + λ · Lcenter(θ)\]该式是最终目标，偏好项加系数加权的中心项，原文报告系数为 0.01。训练一轮，用配对排序目标经常用工具库实现，验证集上按损失选最优检查点。需要补的缺项是优化器动量与冻结细节在正文只给学习率与调度框架，未逐层说明哪些参数冻结，因此复现时应以附录超参数为准而不从模型名推定。
在什么数据划分与指标下比较，条件是否一致？
评测基准从留出验证集经分层采样得到，为避免野生高频主导评价，每个细粒度桶至多取 50 段，并从训练中剔除以防泄漏。数据总量与构成为理解泛化声明的关键，先看原表给出的训练验证划分。比较问题是不同评价器在相同整段偏好对上谁的排序更准，公平条件是同一上下文同一对候选只比相对高低，指标方向是成对准确率越高越好，同时报告微平均与宏平均以区分总体与跨域严格视图。基线覆盖闭源音频裁判、开源音频模型、专用语音评价器、级联转写加文本裁判、伪造检测器，以及在本文数据上微调的 3B 与 7B 模型。
| Category | Train | Val | Total |
|---|---|---|---|
| Wild | 6,879 | 824 | 7,703 |
| Semi-Wild | 309 | 186 | 495 |
| Scripted | 2,192 | 466 | 2,658 |
| Colloquialness | 2,250 | 250 | 2,500 |
| Total All | 11,630 | 1,726 | 13,356 |
上表显示总量 13356 对中训练 11630 对、验证 1726 对，野生占大头，剧本次之，口语化 2500 对。表中单位为对话对数，行按模态来源与口语化划分，列为训练验证合计。这种不均衡正是后文必须同时看宏平均的原因，否则只看微平均会被野生主导。实现上音频统一为 30 秒，池化与中心损失按消融选择，比较时所有模型面对相同的 AB 对与相同的正确性定义，即正选分大于负选分才算对。
人工核验在 75 个分层样本上每对由 3 人独立评分，报告与数据标签的一致率与标准误，并按高低置信与难负例分组，以检验分差是否反映人感知的正确性。域外泛化用 3 种未见合成引擎重放，伪造检测器作为检验捷径学习的对照。
主结果测了什么，谁在什么条件下胜出？
主问题是整段偏好排序是否需要专用数据驱动训练。被测的是模态子集分野生半野生剧本三域与口语化子集，对比对象包括通用音频裁判与专用评价器，条件一致为相同上下文与相同 AB 对，指标为成对准确率。报告显示通用模型在口语化上可达高位，但在模态上明显受限，专用模型在模态上大幅领先。重提这些数字时新增的对照是文本线索与声学线索的不对称，即口语化可从语法等文本线索推断，而模态要求文字相同下分辨韵律，因此后者才是瓶颈。
微平均 × 宏平均： 微平均负责按样本数加权汇总，反映大子集主导的总体正确率；宏平均负责先按子集算再平均，惩罚只在高频域好的模型；搭配是因为野生数据远多于半野生与剧本数据，组合后才能同时看到总体水平与跨域泛化严格视图。
下表把关键可运行策略的数字放在同一指标下对比，条件列标明模态微平均或宏平均与口语化任务，基线列为通用裁判代表，本方法列为专用模型，比较对象列标明规模差异带来的泛化代价。
| 条件 | 指标 | 基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| 模态全部 | 微平均准确率 | Gemini 2.5 Pro 72.63% Micro Acc | SDiaReward-7B 96.61% Micro Accuracy | 7B 专用相对通用提升 |
| 跨域严格 | 宏平均准确率 | 3B 模型 79.20% Macro | 7B 模型 94.91% Macro | 规模对半野生难例的影响 |
上表的主要收益是专用成对监督解锁了模态评价，7B 在模态微平均上显著高于通用裁判，同时在口语化上保持可比。具体代价与反例是 3B 在半野生上跌至 55.38% 附近，说明小模型易抓住显性域特征而在半剧本复杂交互上失效。未胜出项是部分通用模型在口语化上已接近饱和，因此口语化单看不能证明模态能力。适用条件是多轮整段且需听韵律的场景，单轮合成质量场景不在此证明范围内。
域外与人评提供了第二层证据。下表把未见引擎与伪造检测对照放在一起，指标仍为准确率与拒绝端平均分，方向是准确率越高越好，拒绝分越高说明合成越难与真人区分。
| 条件 | 指标 | 伪造检测基线 | 本方法 | 比较对象 |
|---|---|---|---|---|
| OpenAI TTS 域外 | 准确率 | 89.9% | 98.3% | 7B 保持稳健 |
| CosyVoice 2 域外 | 准确率 | 38.6% accuracy | 95.3% | 伪造检测低于随机 |
| FireRedTTS-2 域外 | 准确率与拒绝分 | 94.5% 左右 | 90.9% 与 Srej 0.29 | 上下文感知合成更难分 |
上表支持的判断是模型学的是相对表达力而非低层伪影，因为伪造检测在高保真引擎上失效而专用模型仍稳健，且对上下文感知强的引擎给出更高的拒绝分与更窄的人声间隔。限制是这仍是排序正确性，未测量误判率随阈值的变化与延迟成本，不能承诺部署开销改善。人工加权一致率为 83.5% 且高置信高于低置信，支持分差反映人感知，但样本仅 75 对且半野生存在文本音频错位，属有限解释而非因果证明。
拿掉池化或中心项会发生什么，分数分布有何警示？
消融围绕聚合方式、规模与损失三问展开。测的是同一基准下不同池化与有无中心项的准确率，条件一致为相同划分与相同排序定义。报告显示均值池化在 3B 与 7B 下均优于注意力与末词元池化，7B 加均值达最优。中心项在 7B 上带来小幅提升并稳定分数尺度，在 3B 均值上有轻微波动，但因能缓解漂移仍被采用。
下表把中心项前后的数字放在同一 7B 均值条件下对比，并附人评总体以说明校准未损害判别。
| 条件 | 指标 | 无中心项 | 有中心项 | 比较对象 |
|---|---|---|---|---|
| 7B 均值总体 | 准确率 | 95.37% | 96.70% | 中心项小幅提升 |
| 分数尺度 | 正选均值 | 5.03 左右 | 0.32 左右 | 漂移被锚定 |
| 人评总体 | 加权一致率 | 83.5% 左右 | 83.5% (± 4.3%) | 判别与人感知一致 |
上表的主要收益是校准与判别可兼得，分差分布仍保持在零右侧，未胜出项是注意力池化在某些配置下接近但更敏感，不宜当作默认可部署选择。未评测边界是长上下文截断到 30 秒后的信息损失未量化。
下图 4 个子图分别显示分数对齐、分差稳定、分域密度与箱线统计，橙蓝对比有无中心项，绿红对比正负样本。
看图路径： 1. 先看子图 a 两条分数分布曲线的中心位置差异；2. 再看子图 b 分差分布是否仍保持在零右侧；3. 最后对比子图 c 与 d 中野生与剧本两类上正负分布的相对位置
论文图 4。原论文 Figure 4：“Ablation Analysis on SDiaReward Model (7B).”。
解释时先确认纵轴为密度与奖励分，横轴为分数与分差。可见加中心项后正选分布中心从 5 以上拉回零附近，而分差形态基本不变。分域图显示野生正选集中在高位且与负选分离清晰，剧本正选中位数为负但仍能正确排序，说明模型学的是域内相对排序而非全局绝对尺度。原文明确指出这是域相关决策边界，未来需域不变对齐，这属于待验证方向而非已解决。
哪些结论不能推广，哪些风险必须先说？
直接报告的是在分层基准与 3 种域外引擎上的排序优势，有限解释是相对表达力与分差反映人感知，未验证推测是能否直接带来下游生成质量提升。不能推广的是把末步正确率推广为全程每轮都好，把自动排序等同于人评细粒度偏好，以及把总体趋势当作每组都成立。原文局限承认野生优先导致高质量表演语音与多合成引擎覆盖不足，人评规模小且只做粗粒度一致。
数据发布只放衍生标注与评测脚本，不重发原始音频，去标识并避免个体画像，研究用途而非部署决策。下游优化风险在于异构音频的域特征可能被当作捷径，奖励分存在域偏移，因此不能把绝对分跨域直接比大小，也不应替代人工判断。训练与推理成本在正文只给批量与精度框架，未报告时长能耗与实时延迟，讨论延迟帧率时只能说缺项待补。
复现先做什么，需要哪些信息条件？
复现应先按模态与口语化两条线重建偏好对。模态线需准备野生访谈与公开情感表演及剧本对白，经增强、分离、端点检测与识别成轮分组，用对话级合成生成难负例并按偶数轮与时长过滤，再用内容与连贯阈值清洗。口语化线需在 10 个域下生成书面多轮，再按填充碎片与话语标记改写为口语版并用相同合成配置发声以隔离风格因素。划分上验证集分层采样每桶至多 50 段并从训练剔除，指标用正选分大于负选分的成对准确率并同时算微平均与宏平均。
模型从多模态主干加线性头起步，音频统一 30 秒，损失为偏好项加 0.01 中心项，训练一轮并按验证损失选点。关键超参数包括峰值学习率与调度、批量与梯度累积、混合精度与检查点策略，原文附录给出完整配置，复现时以此为准。代码与数据按文中仓库链接提供研究用衍生制品，第三方工具链状态本次可达但复现仍应核对版本与许可。若无充分逐字证据的表格应删去改报缺项，不自造数字。例子标示：例如先跑通两轮短对话的排序脚本，再扩展到 16 轮长上下文，是教学例子而非原文效果承诺。
何时值得尝试，还需补哪项验证？
当任务需要评价整段口语对话的韵律自然与闲聊风格，且已有真人多轮录音可用时，值得尝试这种两类偏好对加端到端排序的路线。尤其当通用裁判在文字相同但听感不同的 AB 上接近随机，而业务又关心上下文照应时，专用奖励更可能带来可运行收益。当只有单轮合成质量需求或只有文本可比时，不必引入整段音频建模。
还需补的验证包括更大规模细粒度人评与误判分析、更多合成引擎与表演风格的覆盖、域不变校准后跨域绝对分的可比性，以及把奖励接入偏好优化或强化学习后的生成端提升与稳定性。误解澄清：高分不代表频谱更干净，而是域内相对更像人；低绝对分不代表判错，剧本域正选中位数为负仍可正确排序；通用模型口语化高分不代表模态已解决。收束一句话是先用分层排序证明听见差异，再谈对齐，跨域比大小前必须先校准。
⚖️ 评分明细
评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。
- 评分规则：type-aware-v1
- 评分模型：muse-spark-1.3-contributor
- 评分请求协议：openai_responses