丢包后相位为何先坏掉:用解耦双流分别修能量与对齐
针对语音丢包隐藏中突发长丢包导致的相位失配问题,DDSN 把幅度与相位解耦建模并用幅度先验做残差引导,在 VCTK 与 2022 PLC 盲测集上提升 PESQ 与 PLCMOS,代价是 15.37M 参数量大于对比基线。
针对语音丢包隐藏中突发长丢包导致的相位失配问题,DDSN 把幅度与相位解耦建模并用幅度先验做残差引导,在 VCTK 与 2022 PLC 盲测集上提升 PESQ 与 PLCMOS,代价是 15.37M 参数量大于对比基线。
该文把解码顺序视为建模选择,用同一掩码扩散模型在标量量化梅尔谱上比较左到右、右到左与置信度自适应等可运行顺序,报告右到左和 top1 在客观与主观指标上优于左到右,但随机性与局部连续性带来不同指标代价。
论文用可复现的韩译英实时字幕级联研究切分与模型组合如何移动延迟质量前沿,最强证据是激进端点检测把中位实时率推过 1 并让稳定延迟随时间累积,而代价是短块加提示的识别错误上升 14 到 17 个百分点与翻译质量下降。
论文把估计两组麦克风之间相对传递矩阵的问题转成监督学习映射,用 SCoNet、FuSNet 和 LAeNet 三套网络分别建模频域与时域关系,在仿真房间中以协方差法为基线比较五项估计误差与语音去噪效果,代价是长窗、固定声源布局与较大的时序推理开销。
论文把部分伪造 utterance 中合成词定位问题并入 Whisper 的下一词预测,用前后标记包住假词并用部分声码器重合成词降低数据成本,同域上检测与转写与专用 ResNet 相当,但跨合成器与跨域时明显退化。
DelayGSE 把去噪、去混响和超分放在多码本离散生成框架下,用延迟文本监督约束语义、用重要性加权平衡码本损失,主证据是内部集上词错误率从 0.099 降到 0.063 而 MOS 保持在 4.040 附近,代价是依赖大规模仿真数据与自回归推理。
针对儿童中心长时录音跨库异构、无共享基准、儿童敏感语音难合规使用的问题,论文用 DataLad 加 ChildProject 标准化 27 个语料并给出四任务基准管线与 ELSI 分级治理,最强证据是全量数据重训语音类型分类在关键儿童类达 73.4% 而仅公开数据平均仅 44.4%,代价是 21 个语料仍需授权且人工筛选映射不可省。
针对端到端语音角色扮演泛化差且损伤推理的问题,DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预,在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线,代价是 TTFA 增至 577 ms 且 WER 为 2.63%。
该研究把儿童咝音切成 64×64 语谱图,用经典、稀疏、多任务三种卷积自编码器压成低维向量再交支持向量机判读齿音还是卷舌音,最好的多任务配置灵敏度达到 84.31%,代价是约三分之二超参数组合退化且数据高度不平衡。
针对现代希腊语干净单人语料稀缺导致的多说话人平均音色漂移问题,论文用 WhisperX 对齐过滤的有声书管线加 Parler-TTS 两阶段适配解决,以确定性提示词加 3.5 小时单人 LoRA 达到词错误率 10.7% 和说话人一致性 4.24 分,代价是频谱保真度和目标说话人相似度仍有限且仅验证单一男性朗读风格。
针对语音伪造检测中元学习域泛化的元训练与元测试梯度冲突问题,论文提出以元训练梯度为锚的不对称投影 DGS 及其逐层变体 LW-DGS,在多组跨数据集评测上报告平均相对等错误率下降 5.29% 和 4.04%,代价是在部分数据集上仍有波动且未验证延迟与算力开销。
针对西班牙语和法语 10 个国家级方言自建 20 小时性别均衡播客语料并评测 7 个模型,发现法语偏向欧洲、西班牙语呈现多米尼加优于半岛而智利最差的非均匀差距,词法与声学分析及编码器冻结微调共同指向解码器语言模型先验是主要故障点,但小规模适配只能部分恢复方言特征。
针对精神病高危结构化访谈的长时双人对话问题,DIALOG-DeID 用可替换的语音识别加说话人分离加角色映射加文本去标识流水线产出带角色的脱敏转写,并用说话人归属词错率和限定词保留率证明总词错率 13.3±1.4 时归属词错率仍达 33.1±6.7 且 20-24% 片段丢限定词,代价是分离误差与小样本临床验证的局限。
论文针对俄语缺少工作室级对话表情语料的问题,构建 20.6 小时三人面对面表演的 Dialogs 并做 12 类逐句标注,用人群 MOS 证明录音质量不输读语音基线且表情与对话自然度更高,再以 VITS2 验证可训出对话感语音,代价是每人仅 4.4-9.9 小时且风格极不均衡。
针对韵律同时承载表达力和身份线索的矛盾,DiffAnon 在语音分词器的语义嵌入上做扩散精修并用无分类器引导连续控制韵律保留度,在同一模型上实现可调的效用隐私权衡,但韵律保留越强则等错误率越低且词错误率与情感召回随之变化。
针对多尺度频谱损失对频率参数梯度无信息且纯频谱方法处理缺失基频困难的问题,该文用可微 CARFAC 听觉模型的稳定听觉图像提取音色归一化周期特征并结合最优传输距离做纯音音高匹配,在合成目标上改善了梯度方向准确性,但计算开销约为常规损失 30 倍且真实人声仍困难。
针对零样本语音克隆要在质量与延迟之间权衡的问题,DiFlow-TTS 用音素到内容映射器管语言内容、用因子化离散流去噪器同时生成韵律和声学码本,在 470 小时 LibriTTS 训练下以 164M 参数取得 UTMOS 3.98 与 WER 0.05,但说话人相似度仍弱于大规模基线。
针对英-普通话混说转写中漏语言、翻代转写和幻觉三类失败,该工作用 10 万对真值选优对合成翻错拒答做直接偏好优化,在分布内最高相对降低 89.6% 混合错误率,在分布外 SEAME 上最高降低 20.0%,代价是仅覆盖翻译类拒答且未验证其他能力是否退化。
DiscoPhon 要求在未见过的语言上仅用 10 小时语音产出离散单元并映射到预定音位表,用多对一与一对一两轨分别考查单元纯度与音位对应,最强基线 SpidR VP-20 微调后在多对一上显著优于 HuBERT,但插入错误主导且一对一仍极难。
该研究用 UniARC 框架在语音、声音、音乐三域对照连续特征与离散口令,发现语义约束而非离散与否决定理解性能,增大语言基座不能补偿前端信息损失,而离散表示收敛更快但高保真重建类编码器在语义任务上明显落后。