没有参考文本时,幻觉还能被抓住吗:从文本指标到解码器内部的检测对比
该研究在真实语音人工标注上对比文本特征、大语言模型与 Whisper 解码器内部探测三条路线,最强可部署证据是内部序列 BLSTM 在无参考下达到 F1 65.5%,而文本与内部融合进一步达到 F1 68.3%,代价是失去零样本可用性并需要直接访问模型内部。
该研究在真实语音人工标注上对比文本特征、大语言模型与 Whisper 解码器内部探测三条路线,最强可部署证据是内部序列 BLSTM 在无参考下达到 F1 65.5%,而文本与内部融合进一步达到 F1 68.3%,代价是失去零样本可用性并需要直接访问模型内部。
针对自发话语中语义、句法和叙事逻辑的非线性退化问题,该研究用语义图、依存图和基于健康常模 PMI 的共现图三路图注意力建模并以样本级门控融合,在 ADReSSo 上报告测试集准确率 90.00%,代价是依赖 ASR 转写与 BERT 词嵌入且未引入声学韵律。
针对多人混合中抽取目标说话人的任务,GenTSE 用语义级与声学级两段解码器语言模型分工建模,并用冻结模型条件训练缩小训练与推理的输入差异、用直接偏好优化提升感知质量,在 Libri2Mix 上感知质量优于同类生成式基线,但可懂度仍不及最强判别式对照且偏好优化带来轻微可懂度和说话人相似度代价。
针对冻结语音自监督特征经一阶池化丢失通道协同的问题,论文提出在可学习低维子空间估计协方差并经对数欧氏映射到切空间的二阶相关层,在 ESD 与 RAVDESS 上以可运行基线对比验证提升,同时以子空间维度与去掉映射的消融揭示稳定性代价。
针对静音肌电信号欠定导致可懂度低的问题,GETS 用肌电条件扩散保留韵律并在推理时引入静音语音识别文本的分类器引导,在静音测试集上报告 11.89% 词错误率,代价是依赖预训练识别与调制权重选择。
针对哈萨克语、吉尔吉斯语、乌兹别克语数据稀缺问题,论文用 200 万小时音频的簇级重加权预训练加领域感知微调,在受控对比中降低中亚语言词错误率,代价是英语小幅回退且依赖内部众包与合成数据。
针对最长 120 分钟音频的可验证时间定位问题,论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练,在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2,代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。
论文针对词错率把所有错误等同处理而漏掉关键语义改变的问题,提出从词汇、语音、形态、语义四个维度分别计分的 SHALLOW 基准,最强证据是合成受控数据上各指标只在目标类别取峰且语义与词错率近正交,而代价是权重与语言相关模型带来领域依赖与英语限定。
针对原发性进行性失语临床语音稀缺问题,HASS 用词汇检索损伤层与音素编码损伤层串行仿真 logopenic 变体的内容与语音共现损伤并经语音合成生成严重度可控语料,只用合成数据训练的 Wav2Vec2 低秩分类器在真实跨机构测试上报告更高曲线下面积与更小跨折方差,但离散音素编辑与为流利语音优化的合成器仍是明确代价。
该研究用两类微笑语音与三档巴布尔噪声检验听者能否检出微笑并区分微笑类型,最强证据是敏感度随噪声单调下降而判断标准同时向保守端移动,代价是强噪声下愉悦微笑优势被逆转。
该研究把正确答案固定到 A、B、C、D 四个位置重测六个大音频语言模型,发现打乱顺序可带来最高近 24% 的准确率波动并改变模型排名,而全排列多数投票能在增加测试计算量的代价下缓解偏置。
针对生成式语音增强中条件信息不可靠的问题,HFMSE 用轻量谐波编码器提取基频与谐波掩码作为持久条件约束流匹配模型,在 DNS Challenge 2020 上提升感知质量与说话人相似度,但推理仍需 ODE 求解与声码器级联。
针对自条件端到端日志中逐层独立选排列导致的层次排列不一致,论文提出硬约束的组式与软约束的连续影响两种训练目标,在 CALLHOME 上连续影响在 2 说话人与 3 说话人均降低日志错误率,而组式在 3 说话人上反而变差。
该研究把词间交界当候选,用长停顿先取高精度锚点再以音高重置与能量变化收紧,并以正未标记学习把稀疏正例扩散为全集连续边界强度,其代价是覆盖极稀疏且依赖浊音可靠与日语朗读语料条件。
论文把图像领域的 DAAM 归因搬到语音扩散模型上,用每词时间热力图研究风格描述词如何影响合成语音,最强证据是风格词时间方差显著更低且与能量语义一致,代价是只在单个 CapSpeech 模型和合成提示上验证且无因果干预。
论文以频带为单位用沙普利解释、部分依赖图与单带扰动对照三个质量评估网络与人类评分,报告网络与人都对拉低分数的因素更敏感且网络集中依赖低频带,而 MOSNet 在放大扰动下反向走高是主要代价。
论文只改变输入归一化来训练识别墨西哥西班牙语元音的多层感知机,再用美国英语元音测试其归类与不懂英语的西班牙听者数据的吻合度,最强证据是 Lobanov 在平均绝对误差、均方根误差、相关和首选类别一致数上全面最优,代价是它以抹平说话人与语言间差异为前提,只适用于初始态建模。
针对窄带语音缺失高频的问题,HWB-plus 用双路加权高斯混合分别建模周期与非周期成分并引入梅尔尺度初始化,在保持 194K 参数和 12.39M MACs/s 量级开销下报告了 DNSMOS P.808 达到 3.55 与 PESQ 达到 3.83 的感知质量提升,代价是 LSD 未取得最低且高采样与特定滤波构造下的结论边界需要复核。
针对 Warlpiri、Dalabon、Dharawal 三种极低资源澳大利亚原住民语言识别,论文用回放增强的弹性权重巩固与约束引导的知识蒸馏来适配预训练模型,最强的约束引导知识蒸馏在单语适配中把高资源语言保持在 92.89% 并把新语种学到 100%,代价是仍需保留旧模型做教师且顺序适配效果依赖评测条件。
针对跨数据集可懂度预测退化问题,论文提出先在源域预训练再用适配器加对比学习做少样本适配的 CFA-SIPNet,在 Arehart 目标集上以每听者 100 个样本实现 RMSE 26.05 与 PCC 0.75,代价是仍需少量有标注目标样本且未验证更复杂声学环境的稳定性。