噪声下语音条件生成为何退化:AlignAudio 的双重对齐思路
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对带噪语音条件导致生成语义偏移与轨迹不稳的问题,AlignAudio 先用适配器拉近干净与带噪表征,再用方向一致约束拉齐干净与带噪条件下的流匹配速度场,在语音到音频与语音转换任务上用噪声、域外与实录条件验证了条件保真度的提升与干净条件的保持。
论文以行为文本控制动物叫声生成,用发声锚点把六个物种录音与文献行为知识成组配对,在 TangoFlux 上微调并用事件感知变长掩码聚焦真实事件,主结果支持微调全面改善与变长进一步提升判别力和声学保真度,但结论只限于已见行为的新表述与给定目标时长条件。
PhysicsSliders 用在线模态仿真产生的接触声训练流匹配生成器,学习硬度、尺寸、速度和阻尼等物理输入,并在 18 类真实敲击录音的等效阻尼目标上验证了目标跟随与双目标联合控制,代价是持续摩擦声覆盖范围不足且需要厚度信息才能同时定准频率。
论文指出隐音频生成中解码器训练用编码器隐变量而推理用生成器隐变量的不一致,用加噪再经冻结扩散模型去噪构造的中间隐变量只微调解码器,在 AudioCaps 和 MusicCaps 上降低 FD 和 FAD,代价是原 AudioX 训练的少量音频小时和单卡时间。
AutoSynth 把演奏事件、固定音色参数和可变长度调制连接组织成统一序列,用音频条件的自回归模型预测可在 Helm 中直接执行的程序,并用两阶段学习把文本经由生成音频转成可编辑控制,代价是合成器表达范围与渲染反馈开销限制了适用声音。
论文把文本条件合成器得到的 78 维配置经由基于角色的映射固定为可复用的音色塑形效果器,用四种吉他音色提示的频谱与非线性测量加打乱映射消融证明结构化分工带来提示可区分性,并用检索增强的合成器生成器提升表示的文本相似度,代价是映射为启发式且评估只限单段吉他演奏与信号级指标。
EVA 针对连续序列的下一时刻多峰预测问题,用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验,在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。
论文把冻结的分类、对齐与重建类音频嵌入接到同一个预训练扩散解码器上做配对音乐重建,用声学距离、生成空间相似度、配对检索与标签重合度量保留了多少源信息,并发现接口越细恢复越好但压缩嵌入仍保留可测的源特异性与高层音乐内容,代价是每种接口约 36 小时的微调与重建失败不能等同于信息不存在。
该论文用参考音频的关系结构来重组检索源音频的短时颗粒,再送入预训练生成器,FO 变体在保持声音类别的同时改善了时间对齐并降低了源波形局部复现,代价是离散搜索不保证全局最优且分布指标只是维持而非提升。
SimAuthor 把一次写出的仿真器当作可保留改写的对象,用标量搜索分数选改谁、用结构化差异报告指导改什么并复用机制库,在 100 次尝试内在六个心脏呼吸光电心电任务上提升分布相似度,但代价是约 3.8 倍词元开销且结论只在固定评估器和有限参考集下成立。
Smorph 用共享的结构信号锚定时间组织、再用插值权重混合音色端点,在三类渐变任务上以更保守的目标偏移为代价换来更稳的节奏与音高保持,并通过预计算音色网格实现可演奏的实时控制。
论文针对音频渐变轨迹是否在感知嵌入空间中又直又均匀的问题,提出与理想线性均匀轨迹比较的索博列夫距离,并用木材到金属的物理合成控制实验说明它能区分已有指标误判的非均匀与偏离路径情形。
针对新皮肤多事件音效补齐问题,论文用全量基础音频加已完成目标前缀与逐事件变换提示做潜在修复,在保持可运行基线对比下报告了重建误差下降与提示有效性,同时保留了对预言提示与时长先验的明确限制。
针对通用智能体能推理却做不出跨模态多产物的问题,论文用分层技能加声明式执行图与资产注册表做编排,在 UniM-90 上把两类宿主的输入支持率提到 100% 并把相对语义质量分提到 74.94 与 77.78,代价是依赖外部专家后端与显式建图验证。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
TinyAudio 针对十亿参数文本到音频系统难部署的问题,用 35M 单流 TA-DiT 加 32M 音频对齐文本编码器与 20M 解码器做流匹配生成,在 AudioCaps 上以 2.65 的 FAD 和 0.48 GB 峰值显存实现可比质量,一步版 TinyAudio-MF 则以质量下降为代价换取四核 CPU 实时生成。
针对语音语言模型多码本延迟交织与无分类器引导难以装入文本单流连续批处理的问题,该文用主辅分解加在片声学解码与条件加无条件配对同批共前向的办法,在单卡 H100 上报告最高 108×加速与保持 80% 非引导吞吐,代价是小模型先触及显存带宽墙与半精度下约 34 步后出现数值漂移。
针对长篇沉浸式音频故事中人声与角色错配和生成质量波动问题,AuDirector 用身份感知预制作加评论者主导的合成修正闭环与人工交互修订组织语音、音效和音乐,论文报告其在结构连贯、情感表达和声学保真上优于基线,但非语音多样性不足仍是代价与边界。
针对多尺度频谱损失对频率参数梯度无信息且纯频谱方法处理缺失基频困难的问题,该文用可微 CARFAC 听觉模型的稳定听觉图像提取音色归一化周期特征并结合最优传输距离做纯音音高匹配,在合成目标上改善了梯度方向准确性,但计算开销约为常规损失 30 倍且真实人声仍困难。
针对参考无关文本生成音频评价中全局 CLAP 相似度与人评相关低的问题,ELSA 用大语言模型拆分声事件加语言查询分离加 Human-CLAP 分层打分,在四个基准上把与人评的秩相关显著提高,但绝对分值系统性偏低且未显式建模时序。