野外西班牙语病理语音为何难识别:S-DiverSe 用 3.2 小时揭示微调不如文本后处理稳健
针对西班牙语渐冻症、帕金森和卒中后语音识别难且缺野外基准的问题,论文构建 22 人 444 段的 S-DiverSe 只做评测集,对比 4 个 ASR 系统与微调策略,最强证据是启发式文本后处理把 Voxtral-Mini 和 Whisper 在 S-DiverSe 上的总词错率降到 23.73% 和 22.01%,而全量微调在域外反而恶化到 26.81% …
针对西班牙语渐冻症、帕金森和卒中后语音识别难且缺野外基准的问题,论文构建 22 人 444 段的 S-DiverSe 只做评测集,对比 4 个 ASR 系统与微调策略,最强证据是启发式文本后处理把 Voxtral-Mini 和 Whisper 在 S-DiverSe 上的总词错率降到 23.73% 和 22.01%,而全量微调在域外反而恶化到 26.81% …
针对通用声音事件检测与说话人日志无法把笑、咳归属到具体说话人的问题,论文用可控仿真构造 500 小时 LibriPara 并用解耦的副语言查询做联合帧级检测,在保持通用检测与日志精度的同时把笑和咳的帧级 F1 大幅提升,代价是通用声音检测有轻微负迁移。
针对多人混叠语音要同时恢复每路干净信号并知道谁在何时说话的问题,论文把分离改写为以混合 token 与语义特征为前缀的自回归 token 生成,用 15k 小时合成多语对话做监督微调,在 LibriCSS 与 CallHome 上以可运行基线对比显示更低的日志误差与更高的听感质量,代价是输出为重新生成而非波形原样保留且长序列下误差会累积。
针对自发语音内容多变、录音条件不可控下呼吸信号易被淹没的问题,SpiroPhonia 用声学扰动加频谱加停顿三类手工特征与两阶段特征筛选做被试独立分类,最强证据是在 41 人留出测试集上 78.05% 准确率与 87.14% AUC,代价是 201 人小样本与公开平台数据的选择偏差及跨语言跨设备泛化尚未验证。
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
针对家庭等特定场景人工标注稀缺问题,论文用标准化加声音活动检测加音频事件检测加过滤四步把流媒体长音频转为带事件标注的训练数据,并以 2130 小时覆盖 431 类的 TriA 数据集和三组家庭分类任务上平均准确率相对提升 3.97%、Macro-F1 相对提升 3.35% 的顺序微调证据支撑其有效性,代价是类别不均衡与自动标注可靠性仍低于人工标注。
论文研究如何在低资源印地语农业对话场景下低成本建 100 小时语料,选择自动语音识别加轻量 mT5 纠错再加标注员到验证员到核查员三层校验,最强证据是相对纯人工标注时间减少 61.1%,代价是领域外泛化仍依赖通用基线且大模型纠错更慢更不稳。
针对 360 度视频加单声道全指向声缺失方向分量的问题,论文用音频视觉分割先验定位再用复数域 U-Net 渲染补回 Y、Z、X 三通道,在自建 8.9 小时 YT-SPEECH 上取得更低重建与角度误差和更高语音质量,但噪声与重叠声源下仍不稳定。
针对语音伪造检测只给真假标签而缺可核对解释的问题,该工作用冻结检测模型的可解释人工智能归因图加声学特征重要性约束多模态大模型生成时频定位解释,在 PartialSpoof 上以人工评分和定位保真度检验显示定位精度大幅提升,但多模型聚合会增加推理难度与不稳定性。
论文把已有的 66 小时真实家庭录音重新标注为哭、闹、不适之外的三类,用 YAMNet 嵌入加 RBF 支持向量机把二分类宏 F1 做到 0.803、三分类做到 0.624,代价是闹的精度仍低且对实验室数据的跨域优势混杂了数据量差异。
针对多方言阿拉伯语反欺骗基准缺失问题,ArFake 用 Casablanca 八方言加四种 TTS 构建 54413 条混合语料并以 Whisper-large 加浅分类头做检测,在域内取得 4.88% 等错误率、在未见 VITS 上取得 97.94% 准确率,代价是训练集伪造占比近七成且部分满分依赖低质量合成伪影。
论文用 85 人配对健康与感冒录音检验感冒对说话人嵌入的影响,发现传统声学特征经多重校正后大多不显著,而四种现代嵌入均出现可测量的有向偏移,其中 TitaNet 相对偏移最大但验证错误率仍保持在 1.51% 到 3.10% 之间。
针对普通话书面歧义仅看文字难以判定意图的问题,DEBATE 用 1001 条歧义文本配 10 人按意图朗读的 10010 条语音构造发音、停顿、重音三类二选一任务,零样本评测显示三个大语音语言模型最好准确率约 58-68% 且明显低于人类,重音任务最弱并接近随机水平。
论文针对静态双人语音难以反映真实移动对话的问题,构建了 50 人、64 导脑电加眼动与多路生理同步的移动对话数据集,用重复词检测、包络与轨迹重建和被试间相关验证了注意信号可用性,代价是轨迹特征弱、个体与慢生理信号差异大。
针对平均意见分标度受评分人和测试协议影响而噪声大的问题,PrefSQA 研究完全不看 MOS 的成对偏好预测,用语义声学双编码器加不确定性温度、损伤注意力与批内非匹配参考头建模,并在 MOS 衍生、低噪声仿真与真人偏好数据上验证,显示高质量数据才能让结构改进显现,但小间隔样本仍是主要误差来源。
针对南阿塞拜疆语标注极少且用阿拉伯字母书写的问题,论文用社区朗读、北阿塞拜疆语音转写和独立难例集三路建数据,并在八个模型上做微调对照,最强证据是社区微调后的 MMS 在 GoldSet 上取得相对最好的词错率,但长短句、书写歧义和跨方言声学差异仍带来明显代价。
针对无对齐句子重音检测中深层语义表示压制细粒度韵律的问题,ProWhistress 用冻结 Whisper 隐式流加可训练声学显式流做门控融合,在英汉五套基准上以 SinoStress 合成到真人录音几乎不掉点的证据支撑跨域鲁棒性,代价是新增声学编码器与融合头的训练与调参负担。
针对 Efik 数据稀缺与声调易错问题,研究用约 3 小时 2632 句单人语料微调 VITS、MMS-TTS、SpeechT5 和 Orpheus-TTS 四种模型,母语者评测显示 MMS-TTS 以 3.80±0.63 居首且长文本更稳,但声调与特殊音素问题仍未解决。
针对语音伪造检测泛化差且缺可解释推理的问题,该文用 4 万条人类标注的伪造线索做思维链监督,在 SALMONN 上做二分类与推理联合微调,最强证据是 Test-1-HL 上 EER 从 15.7% 降到 13.2%,代价是推理质量提升小且对高保真未见合成器仍吃力。
针对平行耳语数据稀缺导致耳语转正常语音韵律和音色难恢复的问题,WhispEar 用统一语义表示做双向转换并以容易的正常转耳语方向生成大规模伪平行数据,主实验显示 WhispEar-Scaled 在中英文测试上同时提升可懂度、音质、基频相关性和说话人相似度,代价是仍需少量真实对齐数据微调且依赖共享声学模型与声码器条件。