论文解读

随机乐谱与多样音色:在线生成数据如何帮助自动音乐转录

该论文用在线采样器加渲染器分离乐谱结构与音色覆盖来生成转录训练数据,发现适度打乱音符事件仍可迁移而扩大音色覆盖能单调提升域外转录,联合离线与在线数据后互补但增益与领域有关。

 · 更新于 2026-11-04 · 约 9 分钟 · 4342 字 阅读 →
论文解读

部分伪造语音里的时间锚点与编辑敏感性:一项受控诊断

论文用冻结声学特征与配对拼接对照检验音素词锚点与边界一致性训练,发现锚点损害短事件定位,增强降低良性编辑误报但在部分阈值下增加合成漏检且一致性无统一增益。

 · 更新于 2026-11-04 · 约 14 分钟 · 6925 字 阅读 →
论文解读

合唱转谱如何同时分出女高女低男高男低四个声部

论文把合唱录音同时做音符检测和女高女低男高男低声部分配,用共享编码器加分声部头、整体监督和音域与连贯先验构造训练目标,在 YouChorale 上以 0.225 的声部平均音符 F1 超过合并转谱加事后分配的 0.175,但绝对值仍低且跨数据集会漂移。

 · 更新于 2026-11-04 · 约 18 分钟 · 8738 字 阅读 →
论文解读

从一次采样到八次采样:用波形挑选为口音转换选出更可用的合成监督

该研究把同一源语句同目标口音的多次随机合成看作候选池,用口音与保持度的波形评估选出其配对离散码作为监督,在相同训练条件下口音准确率提升 2.49 个百分点,代价是词错误率平均上升 0.29 个百分点、说话人相似度基本不变。

 · 更新于 2026-11-04 · 约 10 分钟 · 4834 字 阅读 →
论文解读

固定骨干不动,靠多语料与编解码增强把鲁棒性补起来:ReDimNet2+ 解读

论文固定 ReDimNet2 骨干,用七语料约 63934 说话人加编解码与波形增强、分阶段适配加大间隔微调,把本地 4 秒窗下混合 VoxCeleb1 EER 从 2.42% 降到 0.824%、26 条件压力 EER 从 7.21% 降到 1.99%,再用图重排把检索 Pr@kk 推到 0.7687,但多因素同时变化使单因素因果无法分离。

 · 更新于 2026-11-04 · 约 18 分钟 · 8582 字 阅读 →
论文解读

共现能学出五度圈吗:跳字模型和弦嵌入的调性几何与张力探针

该文用跳字模型在贝多芬与披头士和弦序列上学习 24 个大小三和弦嵌入,证明移调增广能恢复五度圈、调中心分离与可转向的调区域,并用和弦到调距离与上下文距离构造张力量,与匹配的音调区间向量量中等对应、与人类紧张度中等对齐,但输入丢掉了转位与织体信息。

 · 更新于 2026-11-04 · 约 16 分钟 · 7707 字 阅读 →
论文解读

又安静又准确的角落是空的:给 Whisper 同时补上该闭嘴和该开口的证据

论文针对 Whisper 在无语音音频上编造句子的问题,用同一批幻觉短语的合成真人朗读做正例来配对抑制训练,在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186,最佳点把静音幻觉从 61.9% 降到 2.4%,代价是 FLEURS 多语言误差仍高于基线。

 · 更新于 2026-11-04 · 约 19 分钟 · 9122 字 阅读 →
论文解读

合成嘴型补不上真实视频:用音频驱动 talking head 给 AVSR 扩数据

该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺,在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降,在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益,但合成单用时仍弱于真实数据且噪声下增益收窄。

 · 更新于 2026-11-04 · 约 17 分钟 · 8268 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-11-04 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

先算通道比值,再学有界修正:PRIME-ANC 一次前向合成听者专属滤波器

针对换人换佩戴后声学通道变化需重设计滤波器的问题,PRIME-ANC 用正则化通道比值做幅度基座加共享卷积网络学有界对数幅度修正并经最小相位重建截断为可执行抽头,在留出通道上报告 50 Hz–5 kHz 平均 18.81 and 17.76 dB 降噪,三次高斯牛顿更新后达 21.43 dB reduction,代价是仍需校准通道估计与额外细化时间。

 · 更新于 2026-11-04 · 约 17 分钟 · 8143 字 阅读 →
论文解读

鼻式电子喉语音更难转清:为何梅尔谱守住鼻腔共振而自监督特征偏向颈式喉

针对新型鼻式电子喉数据稀缺与声学特殊问题,论文在统一序列到序列框架下比较梅尔谱与 WavLM 特征并用局部线性嵌入合成配对数据预训练,最强证据是梅尔谱 ETN-VC 把可懂度字错率从 72.0% 降到 63.0%,代价是主观自然度评分仍落后于 WavLM 系统。

 · 更新于 2026-11-04 · 约 18 分钟 · 9014 字 阅读 →
论文解读

用三种增强输入拆开语音:AugCodec 如何把语义、音色和韵律分开压缩

AugCodec 针对低帧率下语义与说话人纠缠导致重建词错误率高的问题,用语音转换、换句同说话人和低频保留三种增强输入分别提取语义、说话人和韵律令牌,并在 LibriSpeech test-clean 上以 12.5 Hz 三路令牌取得更低词错误率和更高音质,代价是依赖外部语音转换模型和固定低频分界等构造选择。

 · 更新于 2026-11-04 · 约 20 分钟 · 9571 字 阅读 →
论文解读

训练只见过同一个人说话,测试却要换音色:CFLOW-VC 用可逆流做循环训练

针对非平行语音转换中训练与测试的内容音色组合不一致问题,CFLOW-VC 在 VITS 与 FreeVC 骨干上用归一化流的可逆变换加 StarGAN 式循环一致性训练,并引入梅尔风格编码器与波形增广,在干净、噪声与口音三组测试上提升音色相似度与自然度,代价是干净条件下词错误率略高于个别基线且需两阶段训练。

 · 更新于 2026-11-04 · 约 18 分钟 · 8827 字 阅读 →
论文解读

不只补数据、要补认知痕迹:用检索约束文本再对齐语音的 AD 增强

针对语音 AD 检测数据稀缺且通用增强丢失认知特征的问题,该研究用检索增强大模型生成认知受约束文本再用属性引导语音合成补齐声学一致样本,在 ADReSSo 等多模型对照中提升检测性能,代价是需要精细标注、微调与控制增强比例。

 · 更新于 2026-11-04 · 约 18 分钟 · 8654 字 阅读 →
论文解读

内容是剩下的东西:用平行话语逼出不变的语音内容标记

针对自监督语音特征中说话人、韵律和通道信息泄漏进语义标记的问题,论文用平行话语加增强对齐微调 HuBERT 得到 PINT,最强证据是说话人探针从 93.1% 降到 1.2% 且语言模型困惑度降低 27–30%,代价是仍残留部分情感信号并依赖强制对齐与平行数据构造。

 · 更新于 2026-11-04 · 约 19 分钟 · 9057 字 阅读 →
论文解读

看不见后缀时就必须做决定:用可变块恢复孟加拉语码切换的形态完整性

针对孟加拉语-英语句内语码切换在固定前视流式中被截断词缀的问题,论文用语音活动检测切分的 3 秒语义块调用离线全局注意力并配 750 词脚本锚定注入,在通用集上把形态误差降到 0.35 左右,代价是延迟随停顿变化且依赖语音活动检测质量。

 · 更新于 2026-11-04 · 约 15 分钟 · 7340 字 阅读 →
论文解读

切断声学捷径又拉直轨迹:统一引导如何让流匹配又快又不串音

针对流匹配语音生成的音色泄漏与推理慢问题,论文用异构数据扰动切断语义 token 的声学捷径、用蒸馏加在线拉直消除分类器无关引导开销,在 3 步推理下实现约 3.25 倍加速并提升说话人相似度,代价是极端拉直带来轻微可懂度波动。

 · 更新于 2026-11-04 · 约 18 分钟 · 8743 字 阅读 →
论文解读

FoleyGenEx:用注入与掩码统一多模态控制、对齐与副词精度

针对视频生成音频中时间对齐、多模态控制与细粒度语义难以兼得的问题,FoleyGenEx 在多模态扩散变换器上加入参考音频注入与多模态动态掩码并配副词增强数据,在 AudioCaps、VGGSound 与 Greatest Hits 上保持同步的同时扩展了文本控制、音频控制与续写能力,代价是更复杂的训练配比与推理条件构造。

 · 更新于 2026-11-04 · 约 19 分钟 · 9109 字 阅读 →
论文解读

被遮住的声谱块为何还能用来加速:把掩蔽冗余变成可合并的令牌

针对音频谱图变换器被掩蔽块仍占自注意力计算的问题,该文把频谱增强改为按块对齐的掩蔽并在位置编码后对全零块做逐维取大合并,在平衡音频集上以合并对数 100 保持平均精度 34.07 到 34.08 而吞吐从 43.3 提升到 49.3 样本每秒,代价是可合并比例受掩蔽块数量上限约束。

 · 更新于 2026-11-04 · 约 18 分钟 · 8811 字 阅读 →
论文解读

描述词对不齐、语音又出错时:用合成查询把工具向量拉回用户说法

针对工具描述不规范叠加语音识别错误导致的检索失配,论文用离线大模型合成用户式查询做嵌入转向,在三数据集四检索器上一致提升,而噪声查询下绝对分数仍低且需离线生成成本。

 · 更新于 2026-11-04 · 约 15 分钟 · 7209 字 阅读 →