一个短语断句可以有多种对法：用大模型造多参考来评测断句标注

英文题目：LLM-Based Multi-Reference Evaluation for Efficient and Robust Assessment of Phrase Break Annotations

会议身份：conference:interspeech:2026:conference-paper-id:park26f_interspeech

来源为官方会议 PDF；图片依据原页像素，表格数字依据原文引用。PDF 文字层不视为原始 TeX，未可靠恢复的结构不作推断。

会议来源：官方记录 · 官方 PDF

标签：#评测协议 #大语言模型 #韵律 #少样本 #文本到语音

评分：6.0/10 | 创新 1.2/2 | 技术严谨 1.0/1.5 | 实验充分 1.0/1.5 | 清晰度 0.7/1 | 影响力 0.8/1.5 | 开源 0.0/1.5 | 可复现 0.3/0.5 | 工程/实践 1.0/1.5

排名：前50% | 文档类型：方法研究

👥 作者与机构

• Younghan Park：机构信息未能从会议 PDF 纯文本可靠映射
• Hoyeon Lee：机构信息未能从会议 PDF 纯文本可靠映射
• Hawon Jeong：机构信息未能从会议 PDF 纯文本可靠映射
• Jong-Hwan Kim：机构信息未能从会议 PDF 纯文本可靠映射

📌 核心摘要

短语断句预测（phrase break prediction）需为词序列输出无边界与多级韵律边界序列，难点是同一语句存在多种自然合法切分而单参考评测会误拒有效变体。本文提出基于大语言模型的多参考评测（LLM-based Multi-Reference Evaluation / LMRE），先从专家标注池中反复采样少样本示例并批量查询模型以生成候选标注，再经频次过滤建成可复用的多参考查找表。评测时将待测标注与该语句下全部参考比较取最大相似度并经阈值判定接受与否，从而把一对多容忍显式编码进自动流程。与单参考精确匹配和直接用模型当裁判相比，该机制用确定性检索替代黑盒打分，兼顾可复现性与多样性覆盖。在韩语多策略测试集上多参考 F1 与人类五分制评分的皮尔逊相关达到 0.621，明显高于单参考的 0.505，且在可接受组大幅缩小接受率差距。该结论目前仅在韩语和有限文本类型上验证，对长句之外的语种迁移和参考噪声控制尚未充分检验。原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。 可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

输入是什么，目标是什么，评测要保住什么信息？

这篇解读的读者是刚进入语音合成与韵律方向的研究生。输入是一句文本，例如韩语的日常对话、导航提示或新闻句子，目标是判断机器给出的短语断句标注是否自然清晰。这里的标注不是音频本身，而是文本前端模块的输出：每个词后面要决定停不停、停多大。白话说，就是把连续的一串词切成听起来顺畅的语气段落。

评测必须保留的信息是边界类型和位置。论文采用与语言无关的 4 类标记：无边界、重音短语边界、语调短语边界和句末边界。初学者可以这样理解：无边界就是顺着读，重音短语是小顿，语调短语是大顿，句末是收尾。位置错 1 位，听感就可能从自然变成生硬。输出是一个二值判定：接受为 1，拒绝为 0，或者进一步给出与人类 5 分制对齐的相似分数。

为什么这个任务值得单独做评测框架？因为合成语音的自然度、可懂度和清晰度都受前端断句影响，而断句本身不是唯一答案。同一句话换个语气重点，切分就可以不同，但都合理。如果评测只认一种切分，就会把很多好答案判错。本文后续就沿着这条学习依赖展开：先看已有两条路线为何各缺一块，再看新方法如何用少量人工示范生成多参考，最后核对实验条件与证据强度。

已有两条路线为什么一个缺包容性一个缺效率？

第一条常规路线是单参考评测。做法是人工先为每句话建一个唯一金答案，形成 1 对一查找表，评测时把待评标注与该金答案算完全匹配或 F1 分数，超过阈值就接受。它的好处是一旦建好表就可以反复自动评测新系统。但它有两个代价：一是遇到没见过的句子必须人工扩表，费时且不可扩展；二是它假定一句话只有一种对法，遇到同样合理但写法不同的标注就会系统性拒收。

第二条常规路线是人类判断。请语言学专家直接看标注，借助能把标注转成语音的内部工具辅助试听，按 5 分制打分：5 分是自然清晰，4 分是几乎不影响，3 分是有点影响，2 分是有害，1 分是严重破坏。这种方法不假定唯一答案，能包容多样性，但需要专家逐条看，同样慢且不可扩展。

还有一类相关尝试是把大模型当裁判，让模型直接给待评标注打分。论文指出这类黑盒裁判在很多自然语言任务被看好，但在短语断句这种细微韵律差异上效果有限，难以捕捉停顿的微妙变化，也缺乏可复用的确定性判定过程。

单参考评测 × 人类判断： 单参考评测分工是查表取出唯一金答案再算相似度，优点是自动可复用，缺点是假定 1 对一；人类判断分工是凭语言学知识直接判定多种切分是否自然清晰，优点是能接受多样性，缺点是慢且不可扩展，二者搭配对照的原因是论文要同时保留自动化的效率和人类对多样性的包容，组合意义在于引出既自动又支持多参考的第 3 条路线。

一对多问题具体卡在哪里？

问题的核心是 1 对多映射。一句话对应多个有效断句，这在韵律学里早有讨论，句法与韵律的对应本身就有弹性。单参考评测却用 1 对一查找表去近似它，必然在可接受组出现欠接受。论文的韩语测试集正好覆盖了这种异质质量：既有规则基线，也有专家标注和模型生成标注，同一句话确实存在多种写法。

举一个教学用的例子而非论文数据：假设某句有 3 个词，专家甲在词 1 后放小顿，专家乙在词 2 后放大顿，两种读法都顺。单参考若只存了甲的版本，乙的版本就会因序列不完全一致被判错。人类专家则会两个都接受。这就是后文接受率对比要检验的行为：坏标注要能拒收，好标注的不同写法也要能接受。

因此论文把目标定为同时实现可扩展与多参考支持：只用少量人工示范，不再为每个新句子人工扩表，又能对未见句子的多种合理切分给出接近人类的判定。

新方法如何用两步把一对多装进可复用的表？

论文提出的方法简称 LMRE，中文可称作基于大模型的多参考评测。它的全景分两步。第一步是构建多参考查找表，第二步是用该表做确定性评测。沿一个样本走一遍：输入是一句未见过的文本和一个少样本示例池，池里是与评测参考不重叠的专家标注；模型每轮抽取不同的示范组合去提示大模型，重复多轮后收集该句子的多个候选断句。

经过频次过滤后存入该句子的参考集合。评测时，待评标注与该集合中每一个参考算相似度，取最大值，超过阈值就接受。

下面这张总览图把左右两条路线放在一起，左侧蓝色框是常规方法，右侧是新方法，适合先建立整体动作顺序再读细节。

看图路径： 1. 先从左上评价数据示例看同一韩语句子如何标出两种不同的断句位置；2. 再看左中单参考评测遇到未见过变体时为何给出红叉并标注不接受多样性；3. 接着看右上大模型如何把输入与少样本池经多轮迭代展开为多个参考；4. 最后看右下评测阶段如何用多参考集合同时通过两种待评标注

论文图 1。原论文 Figure 1：“Overview of approaches for evaluating phrase break prediction systems: conventional methods (left, blue box) and LLM-based multi-reference evaluation (LMRE; right).”。

从像素可见，左上评价数据给出同一输入的两种断句示例，左中单参考用圆柱形查找表表示，对已见变体打绿勾，对未见变体打红叉，并标注快速但不可扩展且不接受多样性，左下人类判断用专家图标表示两种变体都打绿勾，但标注缓慢且不可扩展。右上显示输入虚线箭头与少样本池虚线箭头共同进入大模型图标，再经多轮迭代展开为多个参考，右下显示两种待评标注都经过多参考集合得到绿勾，并标注快速、可扩展且接受多样性。这张图的学习价值在于把效率与包容性的权衡画成了可执行的路径差异，而不是抽象口号。

标注表示与判定规则是怎样计算的？

先把符号讲清。设句子有 n 个词，标注是长度相同的边界序列，每个位置取四值之一。待评标注记为假设，参考集合记为该句子对应的多个参考。相似度函数常用完全匹配或 F1 分数，阈值按应用领域选择。单参考判定是假设与唯一参考的相似度是否超过阈值，多参考判定是假设与集合中所有参考的相似度取最大后是否超过阈值。论文还说明用平均池化并不合适，因为平均分最高的标注未必是可接受的，所以取最大更符合或然接受的语义。

短语断句标注 × 多参考评测： 短语断句标注负责把每个词后标成无边界、重音短语边界、语调短语边界或句末边界，给出一种切分；多参考评测负责为同一句话保留多个都合理的切分集合，只要待评标注与其中之一足够相似就接受，二者搭配的原因是韵律本身是 1 对多，组合后新增的作用是把原来只能比对唯一金答案的判定放宽为与集合取最大相似。

实现上有三处关键安排。第一，温度固定为 0 以保证确定可复现的输出，多样性不靠调高温度，而是靠每轮重新抽样不同的少样本示范组合。第二，只保留在多轮生成中出现频次超过总轮数十分之一的标注，用来去掉偶发噪声参考。第三，用批量提示 1 次处理 32 条以降低推理延迟与成本，同时保持参考质量。这些都是原文明确给出的工程选择，阈值与批量大小是按预实验在多样性、质量与效率之间权衡后选定的。

多参考表如何从少量示范长出来？

构建过程的输入是待扩展的句子集合与少样本池，池的大小记为例池规模，每次查询使用的示范数记为示范数，论文把示范数设为池大小的一半，理由是可以形成最多数量的不同示范组合。每个句子重复查询多轮，轮数记为迭代次数，联合设置时把总轮数平均分给两个大模型。

具体操作是：每轮从池中重抽一组示范，按已有研究的提示格式组装，调用大模型生成该句的断句标注；多轮后统计每个不同标注出现了几次，过滤掉低频项，剩下的作为该句的多参考集合。论文实验了 3 种生成配置：只用一种大模型，只用另一种大模型，以及把 2 个模型生成的集合合并为统一查找表。为公平比较，单模型与合并设置的总轮数保持一致。

少样本示例池 × 多轮迭代生成： 少样本示例池负责提供人类专家写好的断句示范，供每次查询时抽样作提示；多轮迭代生成负责每轮重新抽样示范并调用大模型为同一句话产出新的候选断句，二者搭配的原因是单次调用只能得到有限变体，多次换示范才能覆盖不同切分习惯，组合后新增的作用是用少量人工标注撬动出多样且可复用的参考集合。

需要强调的是，用于生成参考的池与用于单参考评测的金答案表是 disjoint 的不同子集，记法上加撇号以示区别。这样做是为了防止平凡复制，并检验对未见句子的泛化：生成时没见过评测用的金答案，评测时却要能接受与金答案不同的合理变体。

本研究训练了什么，没有训练什么？

本研究没有训练新的断句预测模型，也没有微调作为生成器的大模型。没有梯度更新、没有优化器步骤、没有参数冻结与解冻的安排，也没有在训练集上学习权重。论文未报告训练超参数，是因为不存在神经网络训练阶段，这不是缺项，而是方法定位使然。

真实的计算过程是调用已有大模型做少样本生成与批量推理。成本主要来自多轮调用次数与示例池规模：池越大、轮数越多，生成的多样性与稳定性越好，但调用量也越大。论文通过批量提示与频次过滤来控制这部分开销：批量大小为 32，过滤阈为轮数的十分之一，温度为 0 以保证可复现。评估阶段本身是确定性的查表与相似度计算，不再调用大模型，因此一旦多参考表建好，后续评测新系统就是快速的查表比较。

复现时不要把无训练误解为确定性求解。温度为 0 只保证同一提示下输出确定，但不同示范组合仍会带来不同输出，多样性正来自这种组合变化。同样，不能从调用冻结参数的大模型推定系统整体输出确定，因为抽样组合与合并策略都会影响最终集合。

测试集与对照是如何保证公平的？

实验用的是自建的韩语测试集，共 1356 条假设标注，覆盖 300 个句子。句子按长度分为短句少于 7 词、中句 7 到 10 词、长句 11 词及以上，分别有 112、120、68 句，领域包括对话、导航和新闻。标注策略有 5 种十一配置：全放重音短语边界的规则基线、逗号处放语调边界的规则变体、来自 3 位母语者录音的音频驱动标注、来自 2 位专家的文本驱动标注，以及用两种大模型分别以 2 位专家为示范池生成的合成标注。人类 5 分制分布从 1 到 5 分都有，覆盖了从差到好的异质质量。

对照设置上，单参考评测用 2 位专家各自提供的参考表，经交叉验证保证可靠；人类判断由 4 位未参与建集的独立评审给出，其中 2 位给二值接受与否，2 位给 1 到 5 分以支持细粒度分析，并配有标注转语音工具辅助试听。新方法用的示例池与单参考表 disjoint，避免泄漏。评测指标是接受率与自动分数和人类分数之间的皮尔逊与斯皮尔曼相关，相似函数取完全匹配与 F1，方向都是越高表示与人类越一致或越能保留好标注。

资源可用性方面，本次收到的证据中没有发现来源绑定且完成网络状态验证的资源，因此不得声称代码、模型或数据已公开，只能按论文文字复述构造与评测流程。

多参考是否减少了对有效标注的误拒？

要回答的核心问题是：在人类认为可接受的标注上，单参考是否系统性偏低，而多参考是否更接近人类。比较条件是公平的：同一批 1356 条标注按人类平均分的整数部分分为不可接受 1 到 2 分、边界 3 分、可接受 4 到 5 分，相似函数固定为完全匹配，示例池规模为 128，迭代 20 轮。指标方向是接受率越高表示越宽松，关键是看与人类判断的差距是否缩小。

下图展示了该条件下的接受率柱状图，灰色为单参考，红色系为多参考的不同配置，水平线为人类判断，柱上数字为与人类的绝对差。

看图路径： 1. 先确认横轴四组为分数 1-2、3、4、5，纵轴为接受率百分比；2. 再对比每组内灰色单参考柱与红色多参考柱相对紫色人类水平线的高度差；3. 重点观察分数 5 组红色柱几乎与人类线齐平而灰色柱明显偏低；4. 同时检查分数 1-2 组所有方法柱都很矮，说明拒收坏标注能力仍保留

论文图 2。原论文 Figure 2：“Acceptance rates (%) of each evaluation method across hypothesis annotations grouped by their average human score (f = EM, |PFS| = 128, Niter = 20).”。

从像素可见，不可接受组所有柱都很矮，单参考与人类差距很小，说明拒收坏标注的能力都在；边界 3 分组人类接受率约 20%，单参考明显偏低；可接受 4 分组人类线约四成多，单参考灰柱只有约 20%，差距超过 20 个百分点，而红色多参考柱明显抬高；5 分组人类线约 70%，单参考灰柱约 60%，红色联合配置几乎与人类线齐平，差距仅 1 个百分点左右。解释是单参考在多样性大的高分组欠接受最严重，而多参考通过集合取最大相似把这些变体捞了回来，且在低分组没有明显放水。

接受率 × 与人类分数的相关性： 接受率分工是统计某方法判定为通过的标注比例，用来看在不可接受、边界、可接受 3 组上的行为是否与人类一致；与人类分数的相关性分工是用皮尔逊和斯皮尔曼系数衡量自动分数随人类 5 分制分数单调上升的程度，二者搭配的原因是只看通过率会忽略排序质量，只看相关会忽略阈值行为，组合后才能同时回答是否误拒有效标注以及分数是否整体对齐人类。

下表把上述行为整理为可核对的差距数字，比较对象都是人类判断，基线是单参考，本方法是合并多参考，条件列标明分数段，指标列标明平均差距。

表后需要说明收益与代价。收益是欠接受大幅缓解，特别是在 5 分组几乎对齐人类；代价是多参考并未在所有低分组完全等于人类，边界组仍有约 10 个百分点的差距，说明对模糊案例的判断仍有分歧。同时未胜出的细节是单模型配置弱于合并配置，提示单一大模型的覆盖仍有限，这是后文消融要展开的。

池大小、轮数与相似函数如何改变与人类的对齐？

消融要回答 3 个操作问题：示例池变大是否有用，迭代变多是否有用，相似函数选完全匹配还是 F1。条件是固定其他超参数，只变其中之一，指标是自动分数与人类分数的相关系数，越高越好。论文报告了短、中、长与全部子集上的结果，并对 2 位专家的池做了平均，括号内是两池差异。

下图展示了皮尔逊相关随池大小与迭代次数的变化，红色为合并，黄色与橙色为单模型，灰色虚线为单参考。

看图路径： 1. 先看左图横轴示例池大小从 32 到 128 时三条曲线的升降与阴影宽度；2. 再看右图横轴迭代次数从 5 到 40 时红色联合曲线持续爬升并趋于平缓；3. 对比灰色虚线代表的单参考基线始终位于下方；4. 注意黄色与橙色单模型曲线在小池或少迭代时差距较大

论文图 3。原论文 Figure 3：“Pearson correlation as a function of few-shot pool size |PFS| and the number of iterations Niter. Shading shows the”。

从像素可见，左图池从 32 增至 128 时，红色合并曲线从约 0.58 缓慢爬升至 0.60 以上，橙色单模型曲线从约 0.47 明显爬升，黄色曲线则相对平稳；右图迭代从 5 增至 40 时，3 条曲线都上升，红色从约 0.58 升至 0.62 以上并逐渐饱和，单模型曲线也从 0.52 附近升至 0.55 附近，但始终低于红色。阴影表示两池差异，随池或轮数增大而变窄，说明对标注者差异更稳健。解释是更多示范组合与更多轮次带来了更全的参考覆盖，而合并 2 模型进一步扩大了覆盖。

完全匹配 × F1 分数： 完全匹配分工是要求整个标注序列与参考完全一致才算相似，严格但对微小可接受差异敏感；F1 分数分工是按位置重叠给部分分，容忍局部不同的断句选择，二者搭配比较的原因是论文要检验相似度函数本身与多参考机制各自的贡献，组合意义在于说明多参考加部分给分更接近人类对自然度和清晰度的渐进判断。

下表聚焦可部署策略的数字对比，基线是单参考，本方法是迭代 40 轮的合并配置，指标为全部子集上的相关系数。

表后解释主要收益与反例。收益是多参考在两种相似函数下都超过单参考，且 F1 整体高于完全匹配，因为部分重叠能容忍人类可接受的微小差异。反例是长度趋势在两种指标下不一致：在完全匹配下，长句的提升大于短句，符合长句变体更多的直觉；在 F1 下提升随长度略降，可能因为 F1 本身已给部分分，多参考的额外增益空间变小。这说明总体趋势不等于每组都同向，选指标时要结合应用对严格程度的要求。未评测的边界是阈值选择与批量大小的具体权衡曲线，论文只说明按预实验选取，未给出完整搜索表。

哪些结论有直接证据，哪些还只是可能？

论文直接报告的是：在韩语 1356 条覆盖 5 种策略的测试集上，多参考评测的接受行为与分数相关都更接近人类，且用 128 条示范就能泛化到未见句子。支持该判断的证据是接受率差距缩小与相关系数提升，且在 2 位专家的不同池之间差异很小。这些是报告与显示级别的结论。

有限解释的是长句获益更大的机制。论文用长句允许更大切分可变性来解释完全匹配下的趋势，这与数据方向一致，但属于事后解释而非因果证明，应表述为支持而非证实。同样，F1 下增益变小的解释是部分给分已占用了改进空间，这也是合理的机制猜测，仍需待验证。

未验证的推测包括延迟与成本的全面改善。论文显示评测阶段是快速查表，但构建阶段的多轮大模型调用开销、不同语言与领域的泛化、以及误判率的精确测量都没有完整报告。因此不能承诺在所有语言上都同样有效，也不能把相关性提升等同于合成语音自然度的因果提升。相关性不是因果，缺失证据不是技术错误，后续需要补上跨语言验证与端到端听感实验。

要复现先做什么，需要哪些信息条件？

复现的第一步是准备 disjoint 的两份专家标注：一份作为单参考金答案表并做交叉验证，另一份作为生成用的少样本池。池大小可从 32 起步，论文主要用 128，示范数取池的一半以最大化组合数。第二步是按论文提示格式组装查询，温度设 0，批量大小设 32，对每个待评句子重复查询 20 轮起步，合并配置时把轮数平均分给 2 个模型。第三步是频次过滤，只保留出现次数超过总轮数十分之一的标注，存为该句的多参考集合。第四步是用完全匹配与 F1 分别计算待评标注与集合的最大相似，阈值按应用选择，统计接受率与人类分数的相关。

关键超参数与信息条件都要保留：池规模、示范数、迭代轮数、温度 0、批量 32、过滤阈十分之一、单模型与合并的轮数分配方式。还需记录句子长度划分与 5 种标注策略的构成，否则无法复现异质质量条件。

常见误解是以为温度 0 就没有多样性。实际上多样性来自每轮重抽示范组合，不是来自采样温度。另一个误解是把平均相似当成更稳。论文明确指出平均池化下最高分未必可接受，因此复现时必须用取最大而非平均。还有人会把示例池与金答案混用，这会造成平凡复制，必须保持 disjoint 才能检验泛化。

何时值得尝试这种评测，还需补哪项验证？

当你的任务也是 1 对多、且人工扩表成本高时值得尝试：例如韵律断句、翻译多样性、摘要改写等开放生成评测。特别是当单参考已能拒收明显坏例、却在高分组系统性偏低时，引入多参考集合往往能先解决欠接受问题。做法上建议从小池与 20 轮起步，先验证接受率曲线是否向人类靠拢，再按需增大池与轮数，优先尝试合并多模型以扩大覆盖。

选择相似函数要看容忍度：如果应用要求严格一致，先用完全匹配看欠接受有多严重；如果更关心自然度渐变，用 F1 会与人类更对齐。长句多的场景可期待更大改善，但短句与 F1 下的增益可能较小，要分长度单独看。

还需补的验证有三项：一是跨语言与跨领域的重复，当前最强证据是韩语测试集；二是构建成本与评测延迟的量化，包括调用次数、耗时与过滤后集合大小；三是端到端影响，即评测分数提升是否对应合成语音听感的提升。只有补上这些，才能把相关性证据升级为部署依据。总体上，该工作把可扩展与多参考支持的权衡拆成了可复用的查找表加确定性比较，为韵律评测提供了一条可核对的中间路线。

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

• 评分规则：type-aware-v1
• 评分模型：muse-spark-1.3-contributor
• 评分请求协议：openai_responses

← 返回 interspeech-2026 论文汇总