模型评估

该综述以 38 篇一手文献追问实时语音智能体何时说、如何说与是否真做成，指出级联仍是可自托管部署的现实选择、评价正从部件质量转向对数据库状态的验证，而多人场景正在瓦解双人对话假设，并据此提出时机—恢复—落地的最低联合报告标准。

论文用声学劣化、重音翻转、基频与语速操纵三组可控扰动比较 15 名日语母语听众与 6 个预测模型，显示模型能跟踪杂音却对 1.84 分的重音下跌至多只动 0.1 分，并对平均基频呈现人类没有的强偏置，代价是标量平均意见分丢失了韵律维度。

该研究用同一批句子在朗读、助手、演员、动画角色和自发对话五种设定下同时测人类相似度和合适度，发现合适度随场景独立变化，最强的证据是人类相似度与合适度的句级相关从演员域正相关转为助手域负相关，而常用客观指标在表情丰富的域失效。

针对强零样本语音合成系统常规客观指标饱和、与人评排序脱节的问题，论文提出把本轮合成音频作为下一轮参考音频反复合成并聚合多轮指标的 I2D 框架，用十轮迭代把 UTMOSv2 系统级相关从 0.118 提升到 0.464，代价是合成与计算量成倍增加且更偏向稳定性而非多样性。

MUGEN 把多音频理解做成从五个音频候选中按文字约束选出目标的接地任务，在 35 个任务 1750 个样本上报告开源模型约 24-28% 而 Gemini-3-pro 高思考约 69.60% 的总体准确率，并显示打乱音频顺序再投票的 APSC 可带来最高 6.74 个百分点的可运行增益，但多次生成带来明显计算代价。

针对微调中损失曲线不能反映口音感知变化的问题，该研究用合成与真值元音空间形状的重叠面积与普鲁克鲁斯特归一化差异跟踪学习，并在新西兰英语与印度英语上报告与口音相似度评分的强相关，代价是只覆盖角元音与元音系统且需额外合成切分与共振峰流程。

该研究以人耳转写为基准比较多种现代语音识别模型在噪声与增强失真下的词正确率，报告显示大模型趋势更接近人类但绝对分数更高且会掩盖声学损伤，文本归一化等细节也会改变系统排序。

该研究从 71174 段音频描述中抽取归一化来源属性事件并用音频对齐嵌入过滤语义相近的缺席查询，以四个音频大模型与十二种提示词的大规模是否问句测量复杂度影响，发现事件数从 1 增至 5 时在场真阳性率系统下降而缺席假阳性率系统上升，且换措辞会在召回与误报之间形成权衡。

该文把 FAD 评价拆成召回、精确度、语义对齐与结构对齐并用对数自归一化比较六种编码器，报告显示重建类 AudioMAE 精确度最敏感而 ASR 类 Whisper 结构最敏感但对信号退化近乎看不见，代价是没有任何单一编码器能同时兼顾四轴。

该研究用与 LRS3 测试集七个因素分布严格对齐的新测试集 MV2LRS3 检验五个主流视听模型，发现词错误率从 1% 以下普遍恶化到 14.0% 至 23.5%，且时长与词表偏差是主要驱动因素，视觉模态在新集上反而多数拖累音频。

针对长而细的情感语音描述难以整体打分的问题，论文把评价拆成原子感知单元并用音频语言模型逐条做有无的二值验证，再与参考单元做语义匹配算 F1，在 320 对的人评上取得约 0.44 的正相关，而传统 n-gram 指标呈负相关，代价是依赖模型判断且对复杂人声事件的检出率明显下降。

论文以语音经发音再到语音的闭环为问题，用发音特征加声源与说话人特征以及确定性合成与流匹配生成的对照，显示附加特征与采样步数能提升自然度与说话人相似度，但会削弱发音保真并在噪声与特征替换下暴露依赖。

该研究在真实语音人工标注上对比文本特征、大语言模型与 Whisper 解码器内部探测三条路线，最强可部署证据是内部序列 BLSTM 在无参考下达到 F1 65.5%，而文本与内部融合进一步达到 F1 68.3%，代价是失去零样本可用性并需要直接访问模型内部。

论文针对词错率把所有错误等同处理而漏掉关键语义改变的问题，提出从词汇、语音、形态、语义四个维度分别计分的 SHALLOW 基准，最强证据是合成受控数据上各指标只在目标类别取峰且语义与词错率近正交，而代价是权重与语言相关模型带来领域依赖与英语限定。

针对音频编辑缺少参考真值而难以评价的问题，该工作在 Qwen2-Audio 上先补差异与共性联合理解，再用七步思维链做可读文本评价，最强证据是差异与共性准确度与人工编辑和保持评分呈现互补相关，而代价是保持维度的声学一致性建模仍弱于专用监督打分模型。

该研究固定说话人与文本、只系统改变常态、气声、嘎裂声和句末嘎裂四种发音，用开放式生成与情绪识别检验语音基础模型，发现在 LFMAudio2 上非常态发音显著改变能动性与领导力评价并伴随性别不对称，而商业实时接口连性别这一生物特征检查都未通过。

论文用固定宽度分段 N 与 K-means 聚类数 K 组成 64 种离散单元研究语音重合成与续写问题，发现中等偏大的 N 在更低比特率下仍保持可懂与连贯，而自动指标与人评的相关仍有限且评估方法需改进。

该研究把副语言评判拆成风格、语速、重音、年龄、性别五个可控成对任务，用 5175 个音频对和 Tie 弃权条件测出最强模型仍比人类低 17.7 个百分点，且在 Tie 上几乎不弃权，代价是位置偏置与文本依赖同时暴露。

该文在 TIMIT 音素识别上用卷积加双向长短时记忆网络的原始波形模型把总音素错误率拆到三套宽音类并统计替换混淆，最强证据是仅用 TIMIT 达 13.9%/15.3% 而 WSJ 迁移后达 11.3%/12.3% 并超过滤波器组基线，代价是增益高度集中于过渡依赖的辅音类而元音类改善有限。

针对无参考转录时难以判断识别假设是否忠于语音的问题，论文用现成自回归语音合成模型计算语音 token 在文本假设下的条件似然作为声学差异度，并在多系统合并与 N-best 重排上验证，最强证据是在噪声下相关性增强与最高约 20% 相对错误率下降，代价是依赖外部 TTS 知识且长争议段会退化为整句选择。