论文解读

声音能帮视频修好嘴型吗:TaoMate-FVSR 的做法

TaoMate-FVSR 针对低质量与生成视频中嘴部模糊或错位的问题,用带噪的输入隐变量做重建起点,配合目标语音、外观参考与历史帧做条件,并经两阶段训练学会修复与对口型,在原音频修复上取得最低的成对感知误差与较好的同步分数,但像素保真与无参考美观度需要分开看。

 · 约 20 分钟 · 9537 字 阅读 →
论文解读

TTSonic:用同一组模块组合出多种语音生成任务

TTSonic 要解决用同一套语音分词器、语义语言模型和声学流匹配模型组合出零样本合成、克隆、转换和指令控制等任务的问题,关键做法是把语义韵律规划和音色声学渲染分开,实验在多个中英文基准上显示内容准确率和说话人相似度具有竞争力,但英文指令跟随仍弱于最强基线。

 · 约 20 分钟 · 10002 字 阅读 →
论文解读

音频少、视频多时怎样把两个专家教师一起蒸馏给同一个音视频学生

论文要解决音频监督稀疏且不稳定导致的联合音视频蒸馏失衡,用更干净的视觉条件、更多组采样和按失配程度加权来稳定音频学习,在 JavisBench 上保持音频质量的同时明显提升视频质量。

 · 更新于 2026-11-04 · 约 24 分钟 · 11736 字 阅读 →
论文解读

从听懂空间场景到生成与编辑:Spatial Transfusion 解读

论文把理解一阶 Ambisonics 场景的语言模型用流匹配扩展到生成与结构化编辑,用按模态路由的 LoRA 在保留理解的同时获得可控合成,并在受控仿真评测中优于全量微调。

 · 更新于 2026-11-04 · 约 16 分钟 · 7974 字 阅读 →
论文解读

结构化字幕如何改变文本生成音乐的训练、补全与评价

该文把自由文本换成固定字段的结构化字幕来微调流式扩散变换器,并用两步补全和问答式对齐评价来验证,在报告的两个生成集上对齐和质量都有提升,但结论依赖内部训练库与所选评价器组合。

 · 更新于 2026-11-04 · 约 17 分钟 · 8074 字 阅读 →
论文解读

用线性递推做长音频:MFlowAudio 的双路扫描与有状态流匹配

针对长时高采样音频序列过长导致自注意力平方复杂度与整段一次性生成难以流式扩展的问题,MFlowAudio 用时间与通道双路 Mamba 建模潜在表示并用有状态流匹配实现分块训练生成,在 AudioCaps 等条件下保持与基线可比的生成质量并将首块延迟固定在 1.8 秒左右,但动态切换语义与边界自然度之间仍需权衡。

 · 更新于 2026-11-04 · 约 18 分钟 · 8683 字 阅读 →
论文解读

用文字加一次点击从混合声中挑出目标:SelectSep 解读

针对同屏出现目标与干扰声时场景级视频查询含混的问题,SelectSep 用文本加单点坐标改造视频编码器再微调分离器,在标准集和同屏干扰集上用六项指标验证了目标选择性提升,尤其在语义相近混合上更明显,但跨类同屏上仍不及纯文本基线且依赖点击标注。

 · 更新于 2026-11-04 · 约 17 分钟 · 8043 字 阅读 →
论文解读

从一段单目视频生成可漫游的 4D 视听场景:SonoWorld4D 解读

论文提出从单目视频生成可自由漫游的 4D 视听场景的新任务,用前景背景分解重建几何与轨迹,再以双空间扩散同步生成可重渲染的声源信号,在 SonoScene4D 上空间方向与语义一致性优于基线,代价是依赖多个现成重建与生成模型且只建模直达声。

 · 更新于 2026-11-04 · 约 20 分钟 · 10011 字 阅读 →
论文解读

把吉他 MIDI 先变成可改的演奏曲线,再用潜在流匹配合成声音

该文用两阶段把定时音符先变成每弦基频与包络曲线再合成音频,在 GuitarSet 上控制保真与主观分领先单阶段与 DDSP-Guitar,但频谱距离指标 MSSL 仍落后于直接优化混音的 DDSP-Guitar。

 · 更新于 2026-11-04 · 约 15 分钟 · 7300 字 阅读 →
论文解读

只靠大脑跟随语音来判断注意:CoupleFlow 的耦合解码与证据累积律

针对听觉注意解码中试次泄露与注视等捷径导致虚高准确率的问题,CoupleFlow 只用脑电与语音随时间共变做判决,并在九个脑电与脑磁数据集的内容不相交划分上验证了真实的时间锁定增益与随窗长增长的准确率规律,代价是短窗绝对准确率仍不高且依赖记录信噪比。

 · 更新于 2026-11-04 · 约 17 分钟 · 8083 字 阅读 →
论文解读

只拿到一小段语音表征,能拼出任意文本的冒充语音吗

论文研究仅截获 3 秒前端表征、无原始音频和 transcript 时能否生成攻击者指定文本的受害者声音,提出 STIA 跨话语条件流匹配生成方法,在 Moshi 上达到 CAM++ 0.78 与 WER 3.80%,代价是需大量辅助数据与 110 小时双卡训练。

 · 更新于 2026-11-04 · 约 19 分钟 · 9434 字 阅读 →
论文解读

小预算稀疏混合专家:HobbyLM 如何搭架构、训模型再做多模态与生图

HobbyLM 用细粒度稀疏混合专家加稳定路由与归一化,在 40B 与 100B 词元预算下做出 500M 与 1B 基座,并延伸出对话、扩散语言模型、多模态智能体与 1024px 文生图,但多项能力仍受小词元量与单次训练的限制。

 · 更新于 2026-11-04 · 约 19 分钟 · 9392 字 阅读 →
论文解读

同时对齐内容与音色:MG-REPA 如何加速生成式目标说话人提取

针对生成式目标说话人提取训练收敛慢的问题,MG-REPA 在中间层同时做帧级内容对齐与 utterance 级说话人对齐并做时间归一化解耦,在 Libri2Mix 上以 750 轮达到 2000 轮基线的质量并把 OVRL 与 PESQ 的收敛轮数分别缩短到约三分之一与二分之一。

 · 更新于 2026-11-04 · 约 17 分钟 · 8446 字 阅读 →
论文解读

把过去记成状态、把现在做成注意力:面向长时语音手势的块式流匹配

针对随语音生成长时间全身动作时会风格漂移和历史代价增大的问题,PASPA 把远历史压缩为跨块持续状态、把当前块用双向注意力精细建模,并在块式流匹配下用多块监督与混合引导训练推理,在 BEAT2 与 SHOW 上取得最优的生成质量指标,但长尾大位移与超长记忆仍有限制。

 · 更新于 2026-11-04 · 约 8 分钟 · 3697 字 阅读 →
论文解读

用可执行计划做空间音频生成与编辑:Ambit 如何连起规划与渲染

Ambit 用可执行的场景计划连接自回归规划与整流流渲染,并配合全向恢复与通道间监督的连续变分自编码器和联合在轨自蒸馏,在语音音乐环境声的生成与编辑评测中提升内容与空间指标,但结论只在约 15 秒内、四声道一阶 Ambisonics 与原文数据划分下成立。

 · 更新于 2026-11-04 · 约 11 分钟 · 5507 字 阅读 →
论文解读

TIMUSE:先恢复语义令牌再重建声音的通用语音增强

TIMUSE 把通用增强拆成语义恢复与声学重建两步,用文本扩散语言模型补内容、用流匹配模型保音色,在重度缺失下内容保持更好,但结论只在原文的双基准与配对训练条件下成立。

 · 更新于 2026-11-04 · 约 18 分钟 · 8623 字 阅读 →
论文解读

双参考闭环引导如何控制跨语言克隆的口音

针对跨语言零样本克隆把源语言口音带入目标语的问题,该文用原始参考保音色、可复用的转换锚点供发音并以闭环反馈对齐历史,在 20 名未见法语说话人上以 0.042 的 ECAPA 代价把残留法语识别量降低 73%,同时取得最低词错误率和最高发音评分。

 · 更新于 2026-11-04 · 约 16 分钟 · 7787 字 阅读 →
论文解读

混着音乐时怎样取出想要的人声:MuseFlow-TSE 的两段做法

针对含有音乐的单通道目标语音提取,MuseFlow-TSE 先用显式估计音乐的跨源带划分提取器做掩蔽分离,再用从粗估计出发的数据到数据流匹配做 1 到 4 步精炼,在 16 kHz 合成复杂场景里保住词错误率和说话人相似度的同时改善听感,但结论只在该合成分布内成立。

 · 更新于 2026-11-04 · 约 16 分钟 · 7757 字 阅读 →
论文解读

StyleStream 2.0:又快又能用文字控制的流式声音风格转换

StyleStream 2.0 用去风格的内容提取加少步数生成重建解决流式整体风格转换延迟高且只能用参考音频指定目标的问题,用自回归微调保流式质量、用文字控制器实现风格向量设计与编辑,在参考音频转换上风格相似度最强但可懂度和情感编辑仍有代价。

 · 更新于 2026-11-04 · 约 18 分钟 · 9009 字 阅读 →
论文解读

LoCA:给自回归流匹配语音合成的句子奖励做帧级分工

LoCA 针对整句奖励分不清局部内容错误、带符号回归容易过度拟合或过度排斥的问题,用语音识别对齐做帧级信用再分配并加双侧阈值控制,在 VoxCPM2 上把多语言 CV3 子集的内容误差降到 4.758% 并把说话人相似度提到 69.137,但结论只在所选评测子集和单种子单主干条件下成立。

 · 更新于 2026-11-04 · 约 8 分钟 · 3793 字 阅读 →