Scalable Audio-LLM System for Speech MOS Evaluation: A Diagnostic Case Study and Adaptation Roadmap

企业语音管线需要对大批量合成语音做离线自然度打分，输入是待测音频加固定提示，输出是 1 到 5 分的平均意见分（Mean Opinion Score，MOS），难点在于人工听评太贵太慢而传统回归模型诊断信息不足。本文先用 Qwen2-Audio-7B-Instruct 做零样本数值打分、少样本示例、成对偏好比较和思维链先分析后打分，观察到分数压缩和位置偏置等失效。接着分析 SOMOS 数据集中语速与音高起伏和人工分的关系，构造语速、表达力和内容一致性三分类诊断基准，暴露基座模型对底层声学属性感知不足。然后用低秩适配（Low-Rank Adaptation，LoRA）把同一模型校准到直接输出小数分数，用于 4 比特量化下的离线批量推理。与 UTMOSv2 在 SOMOS 测试集 utterance 级别的比较显示，适配模型皮尔逊相关系数达到 0.6506，高于所报告基线的 0.4310。结论适用于英语合成语音的域内预筛和回归拦截，不适用于替代最终人工评审，原文未披露训练、推理或部署成本。

🔗 开源与复现资源

本次未形成可展示的已核验资源记录，开放状态尚未核实。

可达状态仅表示本次链接检查结果，不代表许可证、本文权重或运行复现已验证。

🧭 深度解读

企业语音流水线为什么需要自动 MOS

这篇论文解决的是合成语音上线前的批量质检问题。输入是一批由候选文本转语音系统生成的音频，目标是给每条音频打出与人耳自然度判断一致的分数，输出是一个 1 到 5 之间带小数的标量，低分样本被拦截，高分样本放行或留待人工复核。

必须保留的信息是影响自然度的听感差异，而不是语音转写的文字对错。人工平均意见分正是为此设立的：请一批听众按 1 分差到 5 分优打分再平均，分数越高代表越自然清晰。企业里每次改模型都要测几千条音频，人工听又贵又慢，传统回归小模型只给一个数字且换域容易失效，所以作者想看音频大模型能否做离线、便宜、可批量运行的预筛层。

MOS × 人工平均意见分： MOS 即 Mean Opinion Score，人耳听完语音后按 1 分差到 5 分优打分再平均，是本文要自动预测的目标；人工平均意见分强调它是多人主观自然度判断的平均，不是信号失真公式算出来的，自动系统要对齐的正是这个平均值。

已有路线各自卡在哪里

传统 MOS 预测走专用神经网络路线。UTMOS 和 NISQA 把声学特征直接映射到人工分，优点是轻量，缺点是只输出一个数字、缺少对失败原因的解释，换到没见过的合成器或语种时鲁棒性不足。SOMOS 这类大规模合成语音数据集提供了 20,000 条众包自然度标注，让这类回归模型有真值可学，但没有解决可解释性和跨域问题。

另一条路线是多模态大模型。Qwen2-Audio、Audio Flamingo、SALMONN 把音频编码器接到自回归解码器上，在识别、翻译、指令跟随上很强，但语义强不等于能听出底层声学细节。近期也有人用复杂蒸馏、多步推理把音频大模型做成描述式评估器，ALLD 和 SpeechLLM-as-Judges 都属于此类，代价是算力大，不适合本文想要的离线大批量、单卡 4 比特的质检形态。

本文把大而泛的评估拆成哪三步

作者不直接宣称大模型能当评委，而是把问题拆成可验证的 3 段。第一段是零样本审计：不改参数，只用多种提示让 Qwen2-Audio-7B-Instruct 给分，看它与人工真值的相关性能否达到可拦截上线的水平。

第二段是感知诊断：如果高层打分不行，是因为听不清底层特征，还是因为不会把听感映射成数字。为此要从 SOMOS 里找出真正影响人工分的客观维度，再做成选择题考模型。第 3 段才是参数高效对齐：只用 SOMOS 训练集做 LoRA 微调，看小算力下能否恢复与人工判断的相关性，并形成企业可复制的蓝图。

系统在推理时到底是什么样子

先看整体流水线的输入输出关系，有助于后面理解每步实验的分工。推理时系统收到的是候选合成模型生成的一批音频，加上固定指令提示，返回的是每条音频的直接标量 MOS 值。

下面这张论文框架图展示了从基座模型到离线估计器的适配路径，请先沿从上到下的箭头看 3 个阶段，再看底部成批样本如何进出。

看图路径： 1. 先沿顶部两个输入框向下看主链：提示打分、底层诊断、LoRA 适配如何串起来；2. 再看底部虚线：成批音频样本如何进入已适配的估计器并输出 MOS 分数；3. 注意基座模型只在上游出现，下游推理是量化加 LoRA 权重的离线批量形态

论文图 1。原论文 Figure 1:：“Proposed framework design for adapting a base Audio LLM into a MOS prediction system.”。

图里可见的是自上而下的三框链：基于提示的 MOS 预测、低层语音特性诊断、LoRA 适配，最后落到已适配的基于大模型的 MOS 估计器。底部虚线连接了成批音频样本和 MOS 分数，说明推理是离线批量形态。原文强调该估计器运行在 4 比特量化的 Qwen2-Audio-7B-Instruct 加 LoRA 权重上，以降低显存、放大批量，定位是快速分拣层，把明显低分拦下，而不是完全替代人工终审。

语速这一维是怎么从波形算出来的

语速在这里不是语义快慢，而是 speech flow：整句的节奏、字词间停顿的多少和长短。作者用句子长度与时长之比做代理，把 SOMOS 样本分成慢速、正常、快速三档。经过对分布的经验观察，比值低于 12 对应拖长、有词间停顿的慢 delivery，高于 20 对应无停顿的快 delivery。

这样划分的意义是可直接与人工分对照。原文报告慢速组的平均 MOS 略低于正常和快速组，说明听众确实会因节奏拖沓扣分。这为后面的诊断题提供了标签来源：慢、正常、快不是人工随手标的，而是同一计算规则切出来的。

Qwen2-Audio-7B-Instruct × Audio-LLM： Audio-LLM 指能直接吃音频、再用自回归语言模型做指令跟随的大模型；Qwen2-Audio-7B-Instruct 是本文选用的一个具体开源实现，负责把音频编码后交给大语言模型解码出文字或分数，前者是类别，后者是本研究的实验载体。

表现力指标把什么听感变成数字

表现力对应基频的动态变化。高起伏、频繁偏离均值听起来旋律感强，低起伏听起来平淡。作者从信号里提取平均基频、基频标准差、平均过基线率和平均基频速度四项，先在全数据集做最小最大归一化，再用标准差、过基线率、速度三项做加权线性组合，权重经步长 0.01 的网格搜索选到与人工 MOS 相关最大。

\[\text{expressivity}=(0.46\text{sd}+0.05\text{mcr}+0.49\text{vel})\]

公式里 sd 是基频标准差，mcr 是平均基线交叉率，vel 是平均基频速度，都是标量，组合结果 expressivity 也是标量。按该值切出平淡小于 0.15、中等 0.15 到 0.35、富有大于 0.35 三档后，平淡组平均人工分略低、富有组更高，证实单调语调会被扣分。

语速 × 表现力： 语速指单位时长说多少字、有无停顿拉长，对应文中的 speech flow；表现力指基频起伏是否单调，对应文中的 expressivity；两者都是从 SOMOS 波形里可计算的客观韵律维度，组合起来解释了人类为什么给某些合成语音更低的自然度分。

LoRA 适配改了什么、没改什么

适配阶段没有全量微调，也没有改音频编码器与大模型的主干结构。做法是把 Qwen2-Audio-7B-Instruct 量化到 4 比特，冻结原参数，只训练加在关键投影层、特别是音频语言桥接部分的 LoRA 旁路，实验里秩 r 为 16、缩放因子为 16 或 32，批量 2、学习率 1e-4、只训一个单 epoch，单卡可跑，推理时以 4 比特基座加 LoRA 权重做离线批量打分，以降低显存占用并支持大批量预筛。

从系统分工看，该适配属于 3 阶段蓝图中零样本探查、诊断评估之后的第 3 段参数高效对齐，只解决标量质量打分超出基座零样本能力的问题，不改变前端声学编码与后端自回归解码的分工。在推理时系统接收候选语音模型生成的成批音频样本，连同固定指令提示一起输入，返回直接标量 MOS 值；以 4 比特量化运行并叠加 LoRA 权重，最大限度降低显存占用，从而允许离线评估时使用更大批量。

作为快速排序层，极低分候选会被立即标记为回归失败并阻止部署，不再消耗人工评审预算；其余分数则用于更快比较候选系统，并帮助确定后续可能需要人工评估的样本优先级，起到自动离线预筛信号的作用。

监督来自 SOMOS 训练集的人工 MOS，输入是固定指令加音频，目标是直接数字或对话包裹数字。每条训练样本按指令微调三元组组织为音频、提示与目标，提示在各实验间保持统一为 Listen to the audio speech sample and evaluate it based on the naturalness of the speech and the audio quality, on a scale of 1(bad) to 5(excellent). The number can have decimals.，真值 MOS 统一保留 2 位小数以稳定收敛并减少目标方差。直接标量模式的目标只写数字浮点，例如 3.29；文本模式则把同一数字嵌入对话模板，例如 I would evaluate the sample with 3.29，并在构建数据集时从预设模板池中动态采样。作者对比了文本模式加平衡比 0.8、数字模式加不同平衡比和不同秩的组合，测试都在 SOMOS 测试集上做 utterance 级预测与真值的 Pearson 和 Spearman 相关。

数据工程的另一个分工是处理分数偏斜。SOMOS 训练集分数多集中在 3.0–4.0 区间，为防止模型偏向多数分数段，作者把分布切为[1.0,2.0)、[2.0,3.0)、[3.0,4.0) 和[4.0,5.0] 4 个分箱，并定义平衡比 β 在 0.0 到 1.0 之间，以第二少的分箱人口为锚对过多分箱做下采样；β 为 1.0 时得到完全均匀但总量更小的分布，β 为 0.0 时保留原始全量分布。执行顺序是先做分箱与按 β 下采样，再按上述两种目标格式构造指令数据，最后在 4 比特量化下用 LoRA 训练一个 epoch 并在 SOMOS 测试集上评估。

结果分工显示文本模式在平衡比 0.8 下几乎零相关，因而后续转向直接标量模式；作者解释为文本词元远多于分数词元，优化器很快把文本预测做对，却给标量词元留下任意分布。与预想相反，做均衡反而拉低相关，说明对低秩回归对齐而言数据量比类别均衡更重要；把秩或缩放因子放大带来的相关提升也很小，说明瓶颈不在模型容量，而在音频语言桥接等关键投影层的对齐。

用全量训练集、仅约 0.53% 参数的配置取得约 0.65 的 Pearson 相关，相对基座模型接近零相关并超过 UTMOS，从而给出低开销生产质量门禁的可行蓝图。

零样本提示 × LoRA 微调： 零样本提示是不改参数、只靠指令让模型直接输出分数；LoRA 微调是冻结原模型、用低秩旁路权重学习 MOS 回归，前者负责暴露基座模型的感知盲区和分数映射失败，后者负责在小算力下把人类打分对齐进模型，两者分工构成先诊断后适配的路线。

诊断题和微调数据是如何构造的

诊断基准复用了上面 2 维的离散标签，再加 1 维内容对齐。全部从 SOMOS 取 2 到 20 秒的 utterance，每维做 600 条、3 类各 200 条的平衡三选一。语速题是单条判慢、正常、快；表现力题是单条判平淡、中等、富有；内容题是给音频对，判完全相同音频、同一文本不同 utterance、完全不同样本，考跨条的语音与语言辨别。

微调数据用 SOMOS 训练集做指令微调三元组：音频加固定提示，要求按自然度和音频质量打 1 到 5 分、可带小数，真值保留 2 位小数。SOMOS 分数集中在 3.0 到 4.0 之间，作者按 1.0 到 2.0、2.0 到 3.0、3.0 到 4.0、4.0 到 5.0 分四箱，定义平衡比 β，用第二少的箱做锚对多的箱下采样，β 为 1 则完全均匀但总量减少，β 为 0 则保留原始全量。目标格式对比直接数字模式和对话模板包裹数字的文本模式。

零样本提示为什么拦不住上线

基线用 Qwen2-Audio-7B-Instruct 试了 4 种提示。直接指令让输出标量时，模型更像在评转写对错，给出普遍高于 4.5 的高分；给 25 个音频加真值做上下文学习时，模型只是复制提示里出现过的数字；做两条比好坏的成对偏好时，出现确定性位置偏置，不管怎么调序都选第一个；用思维链先写 intelligibility、韵律、自然度、技术保真度、听 effort 再打分时，文字偶尔能提到机械音或数字伪影，但数字依然虚高，与自己的分析矛盾。

作者又试了 2 阶段解耦：第一阶段让音频模型只写定性描述不给分，第二阶段把文字交给 Llama-3-8B-Instruct 映射成数字。不同生成温度下 Pearson 相关有轻微起伏，但绝对值仍然很低，说明模型或许能察觉部分质量线索，却不会把听感稳定映射到数字。

下表完整呈现原论文 Table 1 的全部五档温度比较，比较问题是 2 阶段解耦在不同生成温度下 Pearson 相关能否抬升，指标方向越大越好，基线是直接打分的接近零相关。

Temperature	Pearson (r)
Base	-0.0312
0.5	0.1603
1.0	0.1681
1.5	0.2467
2.0	0.0422

表中可见基线为 -0.0312 的微弱负相关，温度 0.5 为 0.1603、1.0 为 0.1681、1.5 为 0.2467 达到最好、2.0 又回落到 0.0422。绝对值仍然很低，远达不到发布拦截的要求。作者的结论很克制：分离定性诊断与标量映射是微调前可用的零样本缓解手段，但不能当正式质检门。

哪种微调配置真正恢复了相关性

下表比较的是不同目标格式、平衡比和 LoRA 规模下的 utterance 级预测与真值相关，Pearson 记为 rpearson，Spearman 记为 SRCC，都是越大越好，基线是未微调模型和 UTMOSv2，公平条件是同一 SOMOS 测试划分。

mode + balance_ratio	LoRA	rpearson	SRCC
textual + 0.8	r = 16, a = 16	0.0406	0.0287
numerical + 0.8	r = 16, a = 16	0.6332	0.6438
numerical + 1.0	r = 16, a = 16	0.5517	0.5971
numerical + 1.0	r = 16, a = 32	0.5435	0.5986
numerical + 0.0	r = 16, a = 16	0.6371	0.6426
numerical + 0.0	r = 16, a = 32	0.6506	0.6582
Base_Model		0.0028	0.02
UTMOSv2		0.4310	0.4193

表后解释要分收益与代价一起看。收益是直接数字模式加全量数据、r 为 16、缩放 32 的一组达到 Pearson 0.6506、Spearman 0.6582，明显高于基座接近零相关，也高于 UTMOSv2 的 0.4310 和 0.4193，而只占 0.53% 参数。代价有三点：文本模式几乎零相关，因为文本词远多于数字词，优化器先学会说漂亮话而给数字任意分布；平衡数据反而降相关，说明低秩回归对齐更吃总量而非均匀；扩大秩和缩放几乎无增益，说明瓶颈不在容量。未胜出项也要保留：完全均匀的平衡比 1.0 只有 0.5517，证明为均匀牺牲总量是亏的。

底层听感缺失与人工分的关系

在看诊断准确率之前，先确认这 2 维确实影响人工分。下图按语速、表现力及其组合展示平均 MOS，纵轴是 MOS 分数，横轴是 9 组离散档，柱顶标了具体均值。

看图路径： 1. 先看横轴九组柱子：慢速、平淡、慢且平淡到快速、富表现力三段如何分组；2. 再看纵轴 MOS 分数与柱顶数字：慢和平淡组是否系统性低于正常组；3. 对比同一大组内实色与斜线柱，判断语速和表现力各自带来的分差大小

论文图 2。原论文 Figure 2:：“Average MOS score for each characteristic.”。

图里确实可见慢速 3.15 低于正常 3.44 和快速 3.45，平淡 3.24 低于中等 3.42 和富有 3.51，而慢且平淡 3.01 是全场最低，正常且中等 3.44、快且富有 3.52 则与各自单维的高分组接近。这支持把这 2 维当诊断抓手的合理性：人类会因拖沓和平淡扣分，但分差不大，属于温和趋势而非决定性鸿沟。语速分档来自句长与时长之比的代理指标，原文以低于 12 判为慢速拖沓、高于 20 判为快速连贯，表现力分档则来自基频动态合成的表达度指标，按低于 0.15 为平淡、0.15-0.35 为中等、高于 0.35 为富有划分，九根柱子正是这两套离散标签与人工 MOS 均值的交叉汇总。

Pearson 相关 × Spearman 相关： Pearson 相关衡量预测分与真值分的线性一致程度，Spearman 相关衡量排序一致程度；本文两个都报是因为自动质检更关心能否把好坏样本排对序，而不只看绝对分差，两个方向都是越大越好。

下表比较的是 2 个模型在 3 维诊断题上的宏平均 F1 分数，Main 是三分类，Easy 是去掉中间类后的二分类，指标方向越大越好，公平条件是同题、同温度 0.7。诊断套件的执行过程是统一的平衡多选分类：从 SOMOS 中只保留时长在 2 到 20 秒之间的语句，为语速、表现力和内容对齐各抽 600 条、每类 200 条；语速题是单条判慢速、正常或快速，表现力题是单条判平淡、中等或富有，内容题是双条判完全相同、文本相同但语句不同或完全不同。两个被测模型是 Qwen2-Audio-7B-Instruct 和结构类似的 Audio-Flamingo3，后者用 Whisper 做音频编码器、用 Qwen2.5-7B 做语言骨干，评测时都固定温度 0.7，用宏平均 F1 而不用准确率来惩罚只答高频标签的偏答。

	Main	Main	Main	Easy	Easy	Easy
Model	Speed	Expressive	Content	Speed	Expressive	Content
Qwen2-Audio-7B-Instruct	21.9%	26.5%	29.5%	33%	33.3%	58.2%
Audio-Flamingo3	16.9%	27.4%	36.5%	39.8%	37.3%	42.3%

这张表比较的是同一组客观切分标签下谁更能听出底层属性，数值含义是 3 类均衡时的平均判对能力，限制条件是 SOMOS 切出来的客观标签、不是开放场景的人耳复核。2 模型在底层属性上都很弱，Qwen 尤其几乎不输出慢速、平淡或 utterance 标签，即使把中间类拿掉变成更容易的二分类，Qwen 语速 Easy 也只有 33%、表现力 Easy 只有 33.3%，只有内容 Easy 靠区分完全不同样本拿到 58.2%，Audio-Flamingo3 在语速 Easy 到 39.8%、表现力 Easy 到 37.3%、内容 Easy 到 42.3%，同样远谈不上可用。

这种系统性偏答正是诊断想暴露的机制分工缺失：语义理解尚可不等于能感知语速快慢、语调起伏和跨条语音文本对齐，而 MOS 评估恰恰需要先听出拖沓、平淡和错配，再把它们折成分数，底层感知缺位会直接收窄上层评价的推理空间。用 F1 而不用准确率，正是因为要惩罚这种重复答案，结论的适用条件是 SOMOS 切出来的客观标签，不是开放场景的人耳复核，去掉中间类的 Easy 只是降低任务难度，并不改变标签来源和温度 0.7 的公平比较前提。

这些结论在什么边界外不再成立

作者明确了 3 条边界。第一是域内评估，所有微调结论都只在 SOMOS 测试集上测过，没有跨数据集验证，换合成器、换录音条件或换真实 degradations 时相关可能下滑。第二是语言与音色单一，SOMOS 是英语、单一 LJ Speech 音色、200 种 TTS 系统合成的，韵律切分阈值和表现力权重都是在这上面搜出来的，搬到多语种、多说话人时要重做。

第三是模型代表性，诊断和 LoRA 都主要在 Qwen2-Audio-7B-Instruct 上做，Audio Flamingo 3 只出现在诊断对照里，方法虽号称模型无关，但没有在其他音频语言架构上验证微调增益。把 0.65 的相关直接当成生产拦截精度，或当成跨语种通用能力，都是夸大。

要复现应先准备什么、第一步做什么

复现先要拿到 SOMOS 的划分与众包 MOS 真值，按原文规则复算语速比和表现力三项归一化特征，再用网格搜索复现 0.46、0.05、0.49 的权重，而不是直接套用。诊断题要按 2 到 20 秒、每类 200 条重采样，并用温度 0.7、宏平均 F1 评分，注意检查模型是否拒绝输出某些标签。

微调第一步是把 Qwen2-Audio-7B-Instruct 做 4 比特量化，按固定英文指令配 2 位小数真值，先跑直接数字、全量数据的基线，再试文本包裹和不同平衡比。批量 2、学习率 1e-4、单 epoch、r 为 16 的配置是起点。需要记录的是本篇没有提供可验证的公开代码与权重链接，来源清单里也没有可用作者资源，所以复现意味着自建训练与评测脚本，并保留与 UTMOSv2 同划分的对照。

什么时候值得试、还缺哪项验证

当团队已有大量英语合成语音要做离线预筛、能接受单卡 4 比特批量推理、且有 SOMOS 式域内标注可做对齐时，这条先诊断后 LoRA 的路线值得试。它把明显低分拦下，把人工预算留给模糊样本，而不是替代终审。

动手顺序建议是先复跑零样本与诊断题，确认基座在自家数据上同样听不清慢快与平淡富有，再做直接数字模式的 LoRA。还缺的验证是跨合成器、跨语种、跨失真类型的外域相关，以及与人工复核一致性的成本核算。没有测误拦率、延迟和长期漂移之前，不宜把它写成生产质量门。

📎 论文与评分元数据

排名：前50% | 文档类型：系统技术报告 | arXiv 原文

⚖️ 评分明细

评分属于系统判断，不是论文实验结果；八维数值与总分见页首，原始审计记录保留在后端。

评分规则：type-aware-v1
评分模型：muse-spark-1.3-contributor
评分请求协议：openai_responses

← 返回 2026-11-02 语音/音乐/音频论文速递

原文与引用

📄 让音频大模型学会打分：语音 MOS 自动评估的诊断与适配#

👥 作者与机构#

📌 核心摘要#

🔗 开源与复现资源#

🧭 深度解读#

企业语音流水线为什么需要自动 MOS#

已有路线各自卡在哪里#

本文把大而泛的评估拆成哪三步#

系统在推理时到底是什么样子#

语速这一维是怎么从波形算出来的#

表现力指标把什么听感变成数字#

LoRA 适配改了什么、没改什么#

诊断题和微调数据是如何构造的#

零样本提示为什么拦不住上线#

哪种微调配置真正恢复了相关性#

底层听感缺失与人工分的关系#

这些结论在什么边界外不再成立#

要复现应先准备什么、第一步做什么#

什么时候值得试、还缺哪项验证#

⚖️ 评分明细#

📄 让音频大模型学会打分：语音 MOS 自动评估的诊断与适配

👥 作者与机构

📌 核心摘要