只给很少录音也能做领域适配:混合批次如何弥合语音文本鸿沟
针对大模型语音识别只用文本适配会出现语音文本失配的问题,论文用混合批次把少量配对语音文本和大量文本放在一起训练,在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率,同时更好地保留了源域性能。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对大模型语音识别只用文本适配会出现语音文本失配的问题,论文用混合批次把少量配对语音文本和大量文本放在一起训练,在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率,同时更好地保留了源域性能。
该研究针对十个欧洲葡萄牙语域各训一个模型再合并成一个可部署模型的问题,对比 11 种合并算法并提出 BoostedTSV-M,最强证据是欧洲葡萄牙语全集平均词错误率 11.55% 略优于联合微调 11.58%,代价是非欧洲葡萄牙语分布外英语与多语言性能相对回落。
论文研究只用仿真训练的单通道距离估计器在真实语料上直接失效的问题,选择冻结估计器加几十条标注拟合仿射映射的路线,最强证据是 QMUL-TIMIT 干净条件下相关性 0.63 的模型经校准后明显优于常数均值,而代价是在低相关语料上斜率估计噪声会超过收益因而应退回常数预测。
论文把多语言笑声切分做成先去人声再按能量切事件、用 BYOL-A 表征加 Isolation Forest 找异常的无监督流程,在站立喜剧等多语言数据上比英语中心的有监督基线更稳,但代价是依赖能量阈值和去人声质量且在人工合成的 AudioSet 上不占优。
针对 10 万小时野外伪标签数据与 10-100M 专才模型的失配问题,论文用说话人、语音、语义三种嵌入做最大边缘相关选择,仅用 5% 数据就超过全量训练,最高相对词错误率降低 36.8%,代价是贪心选择计算贵且多域统一选择效果不稳。
针对只有极少量目标说话人录音时直接混入大量零样本合成语音会提升可懂度却拉低说话人相似度的问题,ZeSTA 用轻量域嵌入区分真假域并对真实数据做小倍数过采样,在 LibriTTS 上把相似度从 0.765 恢复到 0.815 左右,同时保留可懂度增益,但额外合成数据的扩展仍会带来相似度轻微回落。
针对语音大模型在儿童与方言语音上编码器适配不足的问题,论文提出先只训练编码器适配器再联合微调的两阶段 EAVA 方法,在三个数据集上报告了优于直接微调和多阶段对齐的新最低词错误率,但更大适配器并未持续带来增益且需两阶段训练成本。
论文把在干净视频会议数据上训练的预测性轮次模型放到高重叠鸡尾酒会数据上检验,发现多模态加权 F1 从干净域掉到新域约三分之一,微调能提升多模态约三成但伴随原域遗忘,而纯音频分支几乎无法适应。
针对训练中完全没有目标语言的跨语言伪造检测,该文用源语言真话拟合从连续语种表征到语音表征的岭映射并取残差,在六语六骨干上报告平均 9–17% 相对收益,远距离迁移收益更大,但近距离个别组合出现反例。
针对配对语音文本不足的目标域,该研究把同一基座大模型微调得到的目标域语言模型适配器直接加到语音识别模型参数上,在日语和英语的领域适应中报告了目标域改善,且推理时只跑单个识别模型。
共收录 118 篇 jep-2026 会议论文的 Reader 深度解读
针对单数据集训练的语音阿尔茨海默检测在换录音与采集条件后大幅掉点的问题,论文用三种表示能力的模型对比无监督域适应,并提出交替做对抗对齐与高置信伪标签自训练的 IAST,在 Lu 目标域上取得最强或并列最强跨域准确率,但源域精度有时轻微下降。
针对空管领域标注少而无标注语音多的问题,论文用 BEST-RQ 自监督加双层蒸馏先重训 Whisper-small 编码器再用 2 小时 24 分标注微调,在 ATCO2 上把词错误率从 19.54% 降到 17.17%,代价是需跑 5381 小时无标注数据约 7 小时 8 卡训练并依赖中间层与蒸馏权重的选择。
针对新伪造语音出现时微调整个检测器会遗忘旧数据的矛盾,该工作冻结定制 ResNet18 主干、只训练 128 维嵌入后的轻量回溯翻译器做类条件分布对齐,在 FoR、ITW 和中文 ADD22 上保持源域 95.0% AUC 与 9.74% EER 的同时把目标域做到约 95-98% AUC,代价是目标域 EER 比全量重训高约数个百分点。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
针对语音训练的伪造检测器在歌声上失效的问题,论文用对数梅尔谱、MFCC 与 Wav2Vec2 三专家加门控融合与 50/50 语音歌声联合微调,在 CtrSVDD 上报告 1.82% 等错误率并在 ASVspoof 2019 上保持 0.38%,代价是多分支推理开销与 SingFake 野外数据上仍高达 44.20%。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
针对两说话人 Hindi-English 医疗对话的说话人日志任务,论文比较 Diaper、Pyannote 3.1 与 DiariZen 并做域自适应,最强证据是解冻 WavLM 的 DiariZen-large 在 dev2 上达 8.57% DER、六系统融合后达 8.48% DER,代价是半监督策略高度依赖模型且融合增加系统复杂度。
针对三种真实退化信道下 11 种零样本克隆把验证错误率推高且预训练检测接近失效的问题,论文用混合标准库与域内退化语音的微调把已知攻击检测恢复到低错误率并改善部分未知攻击,代价是高保真未知攻击与小模型遗忘仍未解决。