PEACE:把效果器代码和处理后的音频放进同一个向量空间
PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器,在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示,代价是长链泛化和弱效果上的不均衡。
PEACE 用 SLAP 配对音频编码器与两种 Faust 代码编码器,在 1-3 个效果串联的检索上打平并在外部混响库上远超已有音频表示,代价是长链泛化和弱效果上的不均衡。
论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。
针对多人多会话语音对话中说话人混淆与事实新旧混淆问题,PERSIST 用可读事件记录加语义加说话人加时间联合打分做检索,并复用对话主干中间表示把检索延迟从 578.42 ms 降到 7.03 ms,代价是仍依赖转写与说话人归属质量。
针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音,论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造,在三种实时场景下把字符错误率大幅降低,但绝对误差仍高且高度依赖说话人自身数据与设备适配。
针对配对语音文本不足时语音大模型难以对齐声学与文本的问题,论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型,再端到端微调,在日语和中文上把字错率相对降低 27% 到 72%,代价是多两段预训练且在字母文字小语种上增益有限。
论文发现多语音素模型会按整句估计语种并覆盖局部音素判断,导致非共享音素大量丢失,并用短窗重估语言子空间坐标把干扰降低 34%-69% 且基本不损伤单语识别。
论文固定声学编码器与训练数据只更换输出分词器,对比多语字符表、数据驱动 BPE 与音节音素分词在同域朗读和两种正交域偏移下的词错误率,发现小词表时音节先验占优而大词表时优势反转。
该文研究不同结构的图文模型之间如何搬运任务能力,用与结构无关的亲和力改变量记录任务,再以最小二乘算子或低秩适配器写入目标,在加法上保留目标自身增益的七到八成,代价是控制集精度下降和在部分任务上几乎无效。
针对只匿名测试语音而参考语音仍可被对齐利用的问题,该文在参考端提前加入针对匿名系统量化瓶颈的对抗噪声,使等错误率从 14% 左右升到 45% 左右,而加噪后的参考语音本身在有界条件下仍保持可用。
Prism 针对 2K 联合生成中全注意力二次代价与冗余稀释问题,用宏区自适应块形状与混合块选择实现 2.5 倍训练加速并在 2K 评测上提升质量,但结论依赖自建 2K 数据与特定骨干和阈值。
针对音频填充式零样本合成在联合求解常微分方程时提示块偏离训练插值路径的问题,论文提出每次计算速度场前把提示块恢复为解析值的提示一致推理,并在冻结的 E2 TTS、F5-TTS 和 ZipVoice 系列上验证了说话人相似度和可懂度的改善,且不增加网络前向次数。
论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距,对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。
该文针对日语正字法与发音不是一一对应的问题,用输出片假名的识别模型计算假名域误差作为强化学习奖励,在相同分组相对策略优化条件下把目标汉字读音误差相对降低约 26%,同时保持了相近的正字法误差、说话人相似度和客观音质,但无约束时会引起输出明显变长,需要 KL 正则抑制。
论文用只保留最低 12 个梅尔频带的低通语音微调 Whisper-Medium 来估计能恢复多少词,在 Yodas 上得到约 36% 词错误率、在 AnimeVox 上得到约 60% 词错误率,再用只由基频和能量重建的频谱做对照发现误差升至约 69%,说明低频与词内容联系比预想强但尚不能归因于纯韵律。
该论文在 4 GB Jetson Nano 上用 Whisper 加 Opus-MT 加多语言 BERT 门限加 MBR 二遍修正研究英西语音翻译,在 tau 为 0.90 时 N 为 10 带来 BLEU 加 0.67 的显著词汇提升而 N 为 3 带来 COMET 加 0.0020 的语义提升,代价是常驻约 3.6 GB 和数十秒级延迟。
该论文用在线采样器加渲染器分离乐谱结构与音色覆盖来生成转录训练数据,发现适度打乱音符事件仍可迁移而扩大音色覆盖能单调提升域外转录,联合离线与在线数据后互补但增益与领域有关。
该文把无参考修音做成逐音符序列编辑,用冻结 MusicBERT 加歌唱适配器理解上下文、两个修正头分开判断修不修和修多少、再用输入自身估计的调性先验重排候选,在真实业余对专业配对上把音高准确率从 73.25% 提到 83.43%,代价是 3.19% 的原本正确音符被误改。
论文用同一组掩码扩散编解码器语音模型只在推理时增加细化步数,发现可懂度接近可达上限而音色相似度只走了一半路程,相同计算量下用说话人编码器做候选选择才能继续提升音色,但要付出词错误率和编解码器上限的代价。
针对跨语言零样本合成把参考音频的源语言口音带进目标英语的问题,该文用双语拼接加区域感知掩码让训练见到推理时的跨语言提示模式,母语人听辨显示口音明显下降,但掩码位置决定了口音抑制与音色保持的折中。
该论文用参考音频的关系结构来重组检索源音频的短时颗粒,再送入预训练生成器,FO 变体在保持声音类别的同时改善了时间对齐并降低了源波形局部复现,代价是离散搜索不保证全局最优且分布指标只是维持而非提升。