舌头看得见却认不准:用物理一致与上下文完备治超声无声语音的抖动与粘连
针对超声舌成像的探头位移与散斑噪声及协同发音长时依赖,论文用聚类降采样加物理增强与三维卷积加双向循环建模,在儿童超声数据集的重叠与未见说话人两种划分上把词错误率降到 0.1595 与 0.0597,代价是增强幅度与掩蔽比例需小心约束且大模型在小数据上并未占优。
针对超声舌成像的探头位移与散斑噪声及协同发音长时依赖,论文用聚类降采样加物理增强与三维卷积加双向循环建模,在儿童超声数据集的重叠与未见说话人两种划分上把词错误率降到 0.1595 与 0.0597,代价是增强幅度与掩蔽比例需小心约束且大模型在小数据上并未占优。
针对电话开场验一次后中途换人或冒充的风险,该工作用冻结 ReDimNet-B1 加三元组训练的轻量投影网络做持续比对,在 TidyVoice 上报告等错误率 2.08%,代价是系统只验证了该数据集与给定增强条件且本次未能确认代码数据可达。
针对开放词汇声音事件检测中仅用查询向量检索而缺乏语义理解的问题,该文提出语义锚点加双向注意力和查询增强,在 AudioSet-Strong 稀有类上报告 34.9 的 PSDSr 并在 DESED 零样本上报告 44.1 的 PSDS1,代价是引入 400 个锚向量与两层双向解码等额外结构。
针对多域混合训练时单高斯风格假设不足的问题,该文用风格空间在线高斯混合模型估计簇内偶然不确定性并与批量级扰动叠加增强,在 ASVspoof5 第一轨评估集上报告等错误率为 3.96% 和最小检测代价为 0.108,代价是引入分量数 K 与强度 λ 等超参数及批量统计稳定性依赖。
针对成对电磁发音数据稀少导致声学到发音反演泛化受限的问题,论文用大规模语音网格数据提取伪发音轨迹做预训练再在真实电磁发音数据上微调,在 HPRC 上把 PCC 提升 2.9%、在 USC-TIMIT 上提升 45.3%,代价是伪监督只覆盖可见唇颌且需两阶段训练。
针对大音频语言模型只说安全中性话的问题,论文用大语言模型做多维语义漂移提出情感假设,再用听原声的判别模型做声学验证与重排,报告显示判别器平衡准确率达 96.07% 而下游盲测胜率 66.15% 对 29.23%,代价是参考文本相似度略降且需构造近 5 万对比对训练判别器。
针对 AD 语音数据稀缺,CoSTA 用认知状态条件化的 CosyVoice2 与 F5-TTS 合成 AD 样和健康对照样语音,并对比人工转写与 36 种 ASR 转写驱动,在 ADReSS 纯音频测试集上达到 85.83%,但合成伪影使增强超过约 2.5 倍后性能回落。
针对中英混语唇语数据稀缺问题,论文用单语视频拼接构造伪语码切换样本并以共享适配器微调多语模型,在 CSLR 上把混合错误率降到 16.48,代价是纯单语中文识别仍明显弱于原始多语基线。
针对静态 RawBoost 在环境声上破坏高频纹理且采样与决策边界无关的问题,DAR-Boost 用可微噪声层加形状与强度解耦加自适应路由做对抗增强,在 EnvSDD 上把 ATA 降到 0.90% 而代价是引入梯度反转与多样性权重的联合调参。
针对 MLAAD 开放集溯源中 SSL 域内强但域外过自信的问题,论文用冻结 XLSR-53 加 66 维 CORES 双分支与输入条件门控联合能量间隔训练,在 Eval 上报告 97.6% 域内准确率、4.9% EERc 和 10.4% FPR95,代价是需 Dev 域外样本做辅助监督且门控需冻结预热与熵正则维持。
针对原发性进行性失语临床语音稀缺问题,HASS 用词汇检索损伤层与音素编码损伤层串行仿真 logopenic 变体的内容与语音共现损伤并经语音合成生成严重度可控语料,只用合成数据训练的 Wav2Vec2 低秩分类器在真实跨机构测试上报告更高曲线下面积与更小跨折方差,但离散音素编辑与为流利语音优化的合成器仍是明确代价。
针对构音障碍语音数据稀缺且误读高度个人化的问题,该研究用说话人相关的音素映射矩阵指导典型语音 PPG 的音素替换,再结合说话风格转换和音素级变速做数据增强,在 UASpeech 上微调 HuBERT 后整体词错误率报告为 19.53%,代价是需要配对的典型与障碍语音做映射统计与强制对齐且合成器需两阶段训练。
针对跨语言和噪声下说话人确认易把语言当成身份的问题,该文先用弧面间隔损失在多语言数据上微调 ReDimNet-B6,再冻结主干训练轻量三元组投影网络,开发集等错误率从基线 3.07% 降到 1.58%,代价是最易条件出现 0.07 个百分点回退且盲测集仍明显高于开发集。
SEAM 针对朗读与自发语音易被语料身份和通道条件污染的问题,用统一预处理加接缝感知采样加非语音增强配合 DistilHuBERT 做 8 秒窗口实时检测,以全量训练下外部面试集 0.971 左右 ROC-AUC 为证据,代价是去掉防捷径组件反而会抬高内部指标。
针对病理嗓音数据稀缺与传统线性增广失效的问题,论文用临床状态词控制的 F5-TTS 合成持续元音,研究 100 到 100000 的合成规模律,最强证据是仅用 10 万合成样本训练的分类器在留存真数据上超过真数据基线并显著提升灵敏度,代价是特异度下降与远域过量合成出现非单调退化。
针对随机切段与噪声增强导致单步置信抖动的问题,HistoMatch 用瞬时置信加稳态历史一致性做双态筛选,在每说话人 20 条标注时 VoxCeleb1-O/E/H 上报告 0.91%、1.13% 和 2.13% 的等错误率,代价是需要维护跨轮预测队列与双阈值滑动平均。
针对中英会话语码切换数据稀缺问题,该工作用语音级 CMI 连同可懂度和自然度做多评价偏好学习来优化 CosyVoice2 合成,再把合成语音与真实语音混合微调 Whisper 等识别模型,在 SEAME 上把混合错误率降到 DevMAN 8.9% 与 DevSGE 14.2%,代价是依赖伪帧语言标签与多模型打分流水线。
该文研究多通道语音增强训练数据的房间声学仿真保真度问题,对比几何声学与波加几何混合仿真训练的 SpatialNet 在实测 Eigenmike 数据上的词错误率,最强证据是混合仿真在 OV40 上相对 ISM-U 降低 38.3%,代价是需要高精度几何、频变材料与全波接收建模。
该文把方向跟随 TTS 定义为相对修改任务,用印象可控 TTS 生成伪语音对再由大语言模型补写导演指令来构造伪三元组,并训练固定主干上的流匹配风格精炼器,报告显示伪数据提升说话人稳定性而真人录音提升方向对齐,二者结合取得平衡。
针对标签转指令中超过 40% 改写存在语义漂移的问题,论文用受控多样化扩大覆盖、用大模型校验过滤保忠实、再用扰动配对补齐韵律控制,在中文评测上把平均遵循率从 34.5% 和 51.0% 提升到 56.4%,代价是仅保留约 61.5% 候选。