没有配对语音时,用对齐过的伪音频提示让大模型做跨域语音识别
针对只有目标域文本的跨域适配问题,论文提出把文本嵌入映射到音频提示空间的 TE2SL 精炼模块,在 SPGISpeech 上把词错误率从 11.1% 降到 8.5%,代价是需要先在源域配对数据上训练一个 18.6M 参数的 Conformer 映射器。
针对只有目标域文本的跨域适配问题,论文提出把文本嵌入映射到音频提示空间的 TE2SL 精炼模块,在 SPGISpeech 上把词错误率从 11.1% 降到 8.5%,代价是需要先在源域配对数据上训练一个 18.6M 参数的 Conformer 映射器。
论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数,在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量,但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。
针对文本到音频生成中离线偏好优化存在分布偏移且 CLAP 奖励过粗的问题,该研究把在线分组相对策略优化改造到流匹配模型上并用大音频语言模型的问答概率做奖励,在 470M 参数和 25 步推理下把 TTA-Bench 语义对齐推到 0.737 并把产生质量推到 6.064,代价是强化阶段每步需同提示采样 24 条音频并依赖问答式奖励模型。
针对 Whisper 类模型在英语多领域顺序适配中的灾难性遗忘,论文提出以熵加权 token 蒸馏提纯保持方向、仅在冲突时对监督梯度做可调投影并只调解码器,最终平均词错误率 8.12% 相对不忘学习降低 7.2%,代价是新领域适配词错误率有所上升且 η 需权衡。
该文指出把声音仅当作可去标识数据的一次性合同授权无法满足知情同意,转而主张借鉴生物伦理的动态同意做持续治理,但其仅在可识别声音且权利人有谈判力的受控部署中可行。
针对冻结说话人嵌入的无标签增强问题,该文用冯·米塞斯-费舍尔分布对干净目标建模并轮廓化样本级集中度,得到对数残差损失,在保持标准集基线的同时改善 CN-Celeb、VOiCES 等失配集,代价是标准集提升微弱且重度失配仍有残留误差。
该研究固定音频只改文字,量化选择题评测中的语言偏置与措辞敏感性,最强证据是干扰项改写可带来高达 13.7% 的准确率标准差,而代价是需要多版本扰动与全对才算对的严格统计。
针对课堂中教师主导、多学生短轮次与重叠难以标注的问题,该研究用 Mean Teacher 在 TSSD 上做半监督域适应,以 Role-Aware Union Loss 把学生标签视为多隐通道的逻辑并集并用 PIT-MSE 做排列不变一致性,最强证据是在 TSSD 测试集上取得 16.95% 的 DER,代价是仍需预训练与有标注目标域样本且对有无标注配比敏感 …
针对多阶段说话人检测随人数变慢、依赖外部人脸检测器的问题,RT-ASDNet 用音频流加视频流加无锚检测头在关键帧上一次输出人脸框与说话状态,在 AVA-ActiveSpeaker 验证集上以联合检测口径取得 77.5% mAP,但与只做分类的离线方法相比仍有明显差距。
针对西班牙语渐冻症、帕金森和卒中后语音识别难且缺野外基准的问题,论文构建 22 人 444 段的 S-DiverSe 只做评测集,对比 4 个 ASR 系统与微调策略,最强证据是启发式文本后处理把 Voxtral-Mini 和 Whisper 在 S-DiverSe 上的总词错率降到 23.73% 和 22.01%,而全量微调在域外反而恶化到 26.81% …
针对通用声音事件检测与说话人日志无法把笑、咳归属到具体说话人的问题,论文用可控仿真构造 500 小时 LibriPara 并用解耦的副语言查询做联合帧级检测,在保持通用检测与日志精度的同时把笑和咳的帧级 F1 大幅提升,代价是通用声音检测有轻微负迁移。
该研究用 10150 张 MENA 文化图像的三元组对比基准检验文本与语音、英文与阿拉伯语下视觉 grounding 是否一致,提出条件性对比不稳定性指标并报告语音尤其在阿拉伯语下显著放大碎片化失败,而增大规模与语音加文本联合输入只能缓解不能消除。
针对韩语正字法与实际发音不一致且低资源下隐式学习困难的问题,论文提出只标记鼻音韵尾的选择性同位异音切分 SALT-N,在 12.75 小时上把字形输入的 CER 从 4.74% 降到 3.30% 并取得最高主观自然度,代价是放弃全量同位异音标记所追求的声学分辨率。
Samsone 针对端侧音频问答任务,采用 Whisper-Tiny 编码器加 SmolLM2 解码器的标准结构并做词汇表缩减与深度剪枝,在 MMAU 等基准上以 99M 至 356M 参数取得可比大模型的成绩,代价是语言通用能力下降且未做硬件级优化。
该研究在 80 小时英语多口音与失语症基准上比较自监督预训练、多语 ASR 预训练、G2P 机器标注与人类专家标注四段课程,报告人类标注超过 20 至 30 小时后 5.3K 小时 G2P 不再显著增益而 ASR 预训练持续改善域外泛化,并以 40.8 小时人类微调实现平均加权音素特征错误率约 3.5%。
论文用同一 MMS 骨干的 126 至 4017 语言识别模型对比 49 种语言的质心聚类,显示只有 4K 规模在 K=18 处把系统发生恢复从 ARI 0.47 推到 0.74 并以 1.00 精度分离出太平洋宏簇,代价是仍有一个毛利语例外和一处未解释分支。
针对无回放的连续说话人自适应中统一正交隔离会阻断相似说话人迁移的问题,SCOLoRA 用说话人嵌入余弦相似度生成带符号系数来在对齐与正交之间切换,在 TEDLIUM3 上取得测试平均 4.11% 与遗忘 0.05,代价是每步需保留历史 LoRA 基并多训练一个轻量映射器。
针对局部 token 残留说话人信息与韵律丢失的矛盾,SDP-Codec 用连续 vq-wav2vec 特征加紧凑单码本做内容瓶颈、归一化 F0 注入与软标签基频重建恢复韵律,并在单阶段训练下以 0.45-0.52 kbps 取得可比的重建与更强的零样本变声,但 16 kHz 大模型的重建词错误率仍高于部分基线。
SEAM 针对朗读与自发语音易被语料身份和通道条件污染的问题,用统一预处理加接缝感知采样加非语音增强配合 DistilHuBERT 做 8 秒窗口实时检测,以全量训练下外部面试集 0.971 左右 ROC-AUC 为证据,代价是去掉防捷径组件反而会抬高内部指标。
针对无说话人标签时伪标签噪声大且低置信样本难利用的问题,该方法用预训练模型多层聚类一致性选出高置信集合做伪监督,并对低置信集合做教师软目标蒸馏与一致性正则,在 Vox1-O 上报告 EER 为 1.09%,代价是需要多轮聚类与重训的迭代流程。