随机乐谱与多样音色:在线生成数据如何帮助自动音乐转录
该论文用在线采样器加渲染器分离乐谱结构与音色覆盖来生成转录训练数据,发现适度打乱音符事件仍可迁移而扩大音色覆盖能单调提升域外转录,联合离线与在线数据后互补但增益与领域有关。
该论文用在线采样器加渲染器分离乐谱结构与音色覆盖来生成转录训练数据,发现适度打乱音符事件仍可迁移而扩大音色覆盖能单调提升域外转录,联合离线与在线数据后互补但增益与领域有关。
论文用冻结声学特征与配对拼接对照检验音素词锚点与边界一致性训练,发现锚点损害短事件定位,增强降低良性编辑误报但在部分阈值下增加合成漏检且一致性无统一增益。
论文把合唱录音同时做音符检测和女高女低男高男低声部分配,用共享编码器加分声部头、整体监督和音域与连贯先验构造训练目标,在 YouChorale 上以 0.225 的声部平均音符 F1 超过合并转谱加事后分配的 0.175,但绝对值仍低且跨数据集会漂移。
该研究把同一源语句同目标口音的多次随机合成看作候选池,用口音与保持度的波形评估选出其配对离散码作为监督,在相同训练条件下口音准确率提升 2.49 个百分点,代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。
论文固定 ReDimNet2 骨干,用七语料约 63934 说话人加编解码与波形增强、分阶段适配加大间隔微调,把本地 4 秒窗下混合 VoxCeleb1 EER 从 2.42% 降到 0.824%、26 条件压力 EER 从 7.21% 降到 1.99%,再用图重排把检索 Pr@kk 推到 0.7687,但多因素同时变化使单因素因果无法分离。
该文用跳字模型在贝多芬与披头士和弦序列上学习 24 个大小三和弦嵌入,证明移调增广能恢复五度圈、调中心分离与可转向的调区域,并用和弦到调距离与上下文距离构造张力量,与匹配的音调区间向量量中等对应、与人类紧张度中等对齐,但输入丢掉了转位与织体信息。
论文针对 Whisper 在无语音音频上编造句子的问题,用同一批幻觉短语的合成真人朗读做正例来配对抑制训练,在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186,最佳点把静音幻觉从 61.9% 降到 2.4%,代价是 FLEURS 多语言误差仍高于基线。
该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺,在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降,在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益,但合成单用时仍弱于真实数据且噪声下增益收窄。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对换人换佩戴后声学通道变化需重设计滤波器的问题,PRIME-ANC 用正则化通道比值做幅度基座加共享卷积网络学有界对数幅度修正并经最小相位重建截断为可执行抽头,在留出通道上报告 50 Hz–5 kHz 平均 18.81 and 17.76 dB 降噪,三次高斯牛顿更新后达 21.43 dB reduction,代价是仍需校准通道估计与额外细化时间。
针对新型鼻式电子喉数据稀缺与声学特殊问题,论文在统一序列到序列框架下比较梅尔谱与 WavLM 特征并用局部线性嵌入合成配对数据预训练,最强证据是梅尔谱 ETN-VC 把可懂度字错率从 72.0% 降到 63.0%,代价是主观自然度评分仍落后于 WavLM 系统。
AugCodec 针对低帧率下语义与说话人纠缠导致重建词错误率高的问题,用语音转换、换句同说话人和低频保留三种增强输入分别提取语义、说话人和韵律令牌,并在 LibriSpeech test-clean 上以 12.5 Hz 三路令牌取得更低词错误率和更高音质,代价是依赖外部语音转换模型和固定低频分界等构造选择。
针对非平行语音转换中训练与测试的内容音色组合不一致问题,CFLOW-VC 在 VITS 与 FreeVC 骨干上用归一化流的可逆变换加 StarGAN 式循环一致性训练,并引入梅尔风格编码器与波形增广,在干净、噪声与口音三组测试上提升音色相似度与自然度,代价是干净条件下词错误率略高于个别基线且需两阶段训练。
针对语音 AD 检测数据稀缺且通用增强丢失认知特征的问题,该研究用检索增强大模型生成认知受约束文本再用属性引导语音合成补齐声学一致样本,在 ADReSSo 等多模型对照中提升检测性能,代价是需要精细标注、微调与控制增强比例。
针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题,论文用平行话语加增强对齐微调 HuBERT 得到 PINT,最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%,代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。
针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题,论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入,在通用集上把形态误差降到 0.35 左右,代价是延迟随停顿变化且依赖语音活动检测质量。
针对流匹配语音生成的音色泄漏与推理慢问题,论文用异构数据扰动切断语义 token 的声学捷径、用蒸馏加在线拉直消除分类器无关引导开销,在 3 步推理下实现约 3.25 倍加速并提升说话人相似度,代价是极端拉直带来轻微可懂度波动。
针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题,FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据,在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力,代价是更复杂的训练配比与推理条件构造。
针对音频谱图变换器被掩蔽块仍占自注意力计算的问题,该文把频谱增强改为按块对齐的掩蔽并在位置编码后对全零块做逐维取大合并,在平衡音频集上以合并对数 100 保持平均精度 34.07 到 34.08 而吞吐从 43.3 提升到 49.3 样本每秒,代价是可合并比例受掩蔽块数量上限约束。
针对工具描述不规范叠加语音识别错误导致的检索失配,论文用离线大模型合成用户式查询做嵌入转向,在三数据集四检索器上一致提升,而噪声查询下绝对分数仍低且需离线生成成本。