看不见的语言也能借力:用施主 LoRA 初始化受体 LoRA 的跨语言迁移
针对 Whisper 预训练几乎未见过的低资源受体语言,论文用同语系内正字法分布最接近的施主语言先训 LoRA 再迁移初始化受体 LoRA,在 40-100 小时条件下相对受体单独微调获得约 9%-17% 的词错误率下降,代价是仍需数十小时受体标注语音与施主大语料先训。
针对 Whisper 预训练几乎未见过的低资源受体语言,论文用同语系内正字法分布最接近的施主语言先训 LoRA 再迁移初始化受体 LoRA,在 40-100 小时条件下相对受体单独微调获得约 9%-17% 的词错误率下降,代价是仍需数十小时受体标注语音与施主大语料先训。
该研究不做端到端定位或增强,而是冻结 13 个预训练音频编码器、用线性探针检验 7 个声源级与房间级因子是否可解码,发现声源因子系统性易读、房间因子系统性难读,且输入格式与训练范式决定编码偏置。
论文冻结 Wav2Vec 2.0 XLSR-53 逐层探测五个中国方言,报告从声学主导到语音分化再到深层流形收缩的三段几何演化,并指出中间层保细粒度语音、深层利宏观分类,但未训练新模型且未报告识别准确率代价。
针对语音情感标签模糊与训练早期不确定性高的问题,论文提出随训练进程把正确标准从前 k 命中线性收紧到 top-1 的渐进弱监督,用 WavLM-Base 在 IEMOCAP 上报告 78.08% 非加权准确率、在 ViSEC 上报告 85.70%,代价是需要设置初始 k、集中度与三阶段退火 schedule。
针对纯音频讽刺识别任务,ProSarc 用全局情感基线与帧级韵律动态之间的可测不一致做分类,在 MUStARD++ 上报告 F1 为 75.3%,代价是依赖短句韵律对比与单一起点假设且跨语言证据有限。
论文把音位 ABX 改成韵律 ABX,用同一音段不同重音、声调、音高的三元组和 DTW 距离检验自监督语音表示是否拉开韵律对立,最强证据是 17 个模型在三语上显著优于声学基线且层间排序跨合成与上下文保持稳定,主要代价是英语重音上合成代理与自然录音相关性低且人类仍在日语和汉语任务上领先。
该研究以三词同调句和中性基线相减的增量测量检验彝—汉语双语者的汉语焦点韵律,显示焦点词基频与强度扩张与北京对照组相当而焦点后压缩完全缺失,且语言经验不能预测焦点后基频,四项经验预测量均不显著。
针对韩语短句中文字相同但情感不同的语用歧义问题,论文在冻结的 Whisper-large-v3-turbo 编码器之后拼接插值对齐的基频与能量并联合建模,用同一骨干上子集准确率从 12.46 到 26.39、语用歧义消解从 21.00 到 32.60 的提升证明表示层缺韵律是主因,代价是只验证了特定分类头与数据集且未报告延迟与开源可用性。
该研究在 Whisper-small 上用免微调的一次性幅度剪枝证明剪对位置可降低词错误率,解码器自注意力剪 50% 在 LibriSpeech test-other 上带来 2.38% 绝对增益,而 40.8% 稀疏度的敏感度感知压缩仅使词错误率恶化 0.20%
针对含噪混响单通道分离缺空间线索问题,该文用双通道三元组预训练单通道空间编码器并以 MHCA+FiLM 调制 TF-Locoformer,在 WHAMR!上 S 模型 17.4 升至 17.7 dB、M 模型 18.6 升至 18.9 dB,代价是增加 1.0-1.2M 参数并依赖仿真空间条件构造。
论文以同一对开源流式 ASR 与流式说话人日志模型为起点,比较级联、掩码输入、词级 SOT 与日志条件四种架构,报告显示日志条件的 SSA 在多说话人 cpWER 平均最低而词级 SOT 在单说话人上退化明显,代价是需要微调与多实例内存。
针对 Conformer-Transducer 端侧过大问题,论文用二值低秩分解加梯度敏感度的混合秩分配把编码器压到亚 1 比特,用 LibriSpeech 上 1.0 bpw 混合秩 dev-other 词错误率 6.01% 与 0.2 bpw 仍可运行为证据,代价是解码器与联合网络仍需高秩且低码率下词错误率明显上升。
针对单中心单类学习把真语音压成单峰分布的问题,QAMO 按语音质量建立两个真语音中心并用质量分类与单类损失联合训练,在 XLSR-Conformer-TCM 上于 In-the-Wild 取得 5.21% 等错误率,代价是依赖 Scoreq 预测与增强样本的质量代理假设。
针对单通道语音增强中轻量化导致相位建模退化的问题,QC-GAN 用四元数 Conformer 生成器加 MetricGAN 判别器,在 VoiceBank+DEMAND 上以 0.89M 参数达到 PESQ 3.48,以 35K 参数达到 3.23,代价是四元数运算带来更高的实数乘加量与 CPU 负担。
QuadVAD 用 4 ms 细粒度判决、可学习谱分解加卷积与 LSTM 的紧凑结构、MFA 对齐加 TIMIT 微调的数据管线,在公开集和加噪 TIMIT 上取得更高的 AUC-ROC 与更准的起始边界,代价是依赖精确对齐标签和特定增益与噪声条件下的评估口径。
该文针对混响语音盲估计的房间嵌入易被语音内容和破损扰动的问题,用冻结 RIR-VAE 潜空间锚定加多正对比学习表示,并用破损离散度排序校准单句不确定性分数,在 RIR 验证 AP 达 0.99 和全局排序相关 0.90 的同时保持重建与参数估计基本不变。
针对语音伪造检测中自监督特征平滑掉细粒度伪影的问题,该文冻结语音编码器、只用约 4.4% 附加参数学习量化器层级加权,在 2019 年评测上相对基线降低 46.2% 等错误率,在第 5 代评测上降低 13.9%,代价是增益随编解码器家族变化且静态权重不能自适应样本。
论文审计六个英语语音技术数据集,发现可测量的酷儿占比仅 0–1.4%,不足以做稳健差异测量,并以两个酷儿社区语音库为对照提出扩展与包容、效率与参与、开放与自主、静态分类与流动身份四组实践张力。
针对二值目标粗糙、时序对齐易错和真类概率坍缩问题,论文提出结合排序分与分布距离的连续目标 RanD 并为四种解码结构训练词级置信度估计器,在印地语与英语实验中报告了更低的校准误差与更高的区分度,但删除词与低资源表征仍未解决。
针对单句反欺诈易过拟合伪造痕迹的问题,RAT 用同说话人真参考做交叉注意力的增强训练,在 ASVspoof 5 评估集上以 2.57% EER 和 0.074 minDCF 达到单模型最优,且推理时可直接用零向量代替参考,代价是需要配对采样和两阶段微调。