数据增强

本文用冻结编码器加微调解码器的 DAC 零比特水印系统，研究训练时用哪一种神经音频编解码器做信道增强才能泛化到未见过的编解码器与传统失真，最强的证据是 Mimi 与 SNAC 联合增强在多项未见攻击下保持较高检出率，而代价是混响与连续多次重编码仍然困难且音质需受损控制。

论文用 OmniVoice 零样本克隆训练集儿童声音合成儿童语音，再微调 Whisper-small，在 ENNI 上合成数据单独把词错误率从 19.8% 降到 16.4%，与真实数据合用则与纯真实数据相当，而跨语料泛化主要靠同一文本的多说话人声学多样性而非文本覆盖量。

Wav2Aug 针对 SpecAugment 只做语谱图且跨任务增益不稳的问题，提出在波形上每次随机串联两种变换的固定策略，在五项非 ASR 任务上相对最强可比 SpecAugment 平均降低 12.8% 误差，在 ASR 上基本持平，而双增强视图带来 19.6% 的平均增益但使批量和计算翻倍。

针对全双工语音咨询中只回应最近一句话而丢失早期根本困扰的问题，CounselPlex 在说话人沉默时生成 1-7 词的压力源状态并在倾听时注入文本流，结合位置偏移增强训练，在 ESConv 与 ESCoT 合成语音上的咨询质量评分超过同域微调基线，但延迟增加且未检测到简短附和声。

用按音素查平均声学向量并按对齐时长展开的伪语音代替冻结语音合成模型做文本注入，在保持词错误率的同时把训练加速到 1.8 倍，但增益大小随文本音频比和配对音频量变化。

针对混合样本监督错位和固定角度间隔问题，PerMix 用随主导类比例缩放的间隔预测扰动比例并配合主导类对比学习，在 DCASE 2020 上取得最好平均结果，代价是每轮训练时间增加约 3.3%。

论文把钢琴 MIDI 扩展为器乐流行伴奏定义为 Piano2Pop，用流行录音反向合成的伪钢琴小样微调流匹配生成模型，在 476 对真实翻弹检验下配对监督路线最接近真实流行，功能选择式转录是可行的无配对替代，但结论只在 30 秒片段与客观指标条件下成立。

针对配对肌电—文本数据不足导致后端难以纠正前端噪声的问题，PhonoBridge 用音素作中间表示并用前端错误模式增广文本转写的音素序列，在同一 Open Vocabulary 测试集上取得 24.77% 词错误率，但结论依赖固定划分、固定前端和贪心解码条件。

RealComm 用同一句话的数字源与真实手机通话录音配对，揭示现有检测器过电话后明显变差，并用分阶段波形增强加真实通话训练把 Teffic-Audio 的通话域等错误率从 37.94% 降到 22.37%，代价是需要覆盖多种注入路径和设备的采集与训练。

论文用只看旋律的轮廓检索系统研究口哨和错词演唱两种查询，三代合成查询把合成集首位命中率提高约 7 个百分点却都没有改善真实口哨，而在已知 8 首歌的封闭集内用真实口哨微调才从 0.631 提高到 0.673。

论文要解决印度 22 种 scheduled 语言加印度英语在短、噪声、窄带和混码语音下的首步语种判断问题，用 115.6M 参数的专用 Conformer 在 54643 小时上训练，在 37 个同 clip 条件下平均 macro-F1 达 0.914，代价是需要大规模多语训练和多轴评测设计。

论文在土耳其语银行客服录音上比较只用真实数据、只用合成数据和真实加合成三种训练方式，发现只用合成远不如真实，真实加合成在 10 小时和 20 小时时明显降低词错误率而 50 小时收益消失，其中 Seed-VC 和 Vec2Wav2 的增广效果相对更好但多次重复转换会带来退化。

论文在四个低资源语言和不同数据量的英语上比较改造音频与文本合成两类增强，发现 SpecAugment 总体错误率最稳但增加声调和腭化错误，而随机替换词的文本合成能提高稀有词频率并修复这两类错误，两者联用产生超可加改进但只在低资源区间成立。

论文要解决 Whisper 只出词而丢掉呼吸笑声喇叭声的问题，用统一七个异构数据集的卷积加 Transformer 每 40 毫秒输出 54 类概率的做法，在重叠留出数据的留出集上敏感档找到约三分之二事件但宏观精度只有 0.30，代价是阈值与评估都偏乐观且弱类仍不可用。

论文先量出已有对齐器在人工词边界上的误差和电话信道下的退化，再只用人标边界训练 Whisper 直接预测词起止时间戳，在英语、韩语、荷兰语和多语测试上超过蒙特利尔强制对齐器，而电话增强、槽位后置和带噪文本训练是关键代价与收益所在。

在跨域蚊种分类中论文报告编码器越强越依赖单个 MMD 对齐项且越被域重平衡采样伤害，并用四编码器族加 HuBERT 五层扫描合并八个表示验证后给出只保留交叉熵加单个 MMD 加增强的精简方案，其代价是该结论只在留域划分和多种子区间下成立。

论文用只在训练加替换、采样只用掩码的 DeMaR 检验零样本语音合成，发现字错率下降在不再改写已定词元时依然保留，而两种解码运行方式不同且原文未报告延迟对比。

针对方言语音缺数据导致翻译变差的问题，论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广，并用中间标准文本预测做语义桥，在日语德语中文方言到英语翻译上验证效果与代价。

针对无预先切分的多语双人对话说话人归属转写问题，比较了先做说话人日志再做分段识别并做文本纠错的级联路线与直接生成说话人标签时间戳和文本的统一路线，开发集上级联平均误差更低但统一路线在部分语言上占优，代价是统一模型在本研究中只能在约 60 秒块上微调而无法做全会话微调。

论文研究训练集中噪声类型与类别标签系统绑定的多类情绪识别问题，对比每次叠加其余所有类噪声的全量交叉增强与语音增强预处理，发现只有前者在可控信噪比下消除噪声捷径，而增强会引入新的可判别伪影，但全量叠加要付出有效信噪比下降的代价。