把编辑搬进文本空间:用丰富描述改写实现零样本开放式音频编辑
针对无成对编辑数据时难以同时改对语义又保住原声音色与环境的问题,Bagpiper-Edit 把编辑改写为丰富描述的文本变换再以原音频为声学锚点生成,并在相邻片段自监督下实现零样本编辑,转写编辑准确率达 79.76% 而说话人相似度保持 0.83,代价是整句替换仍有极端失败与复杂场景稳定性不足。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
针对无成对编辑数据时难以同时改对语义又保住原声音色与环境的问题,Bagpiper-Edit 把编辑改写为丰富描述的文本变换再以原音频为声学锚点生成,并在相邻片段自监督下实现零样本编辑,转写编辑准确率达 79.76% 而说话人相似度保持 0.83,代价是整句替换仍有极端失败与复杂场景稳定性不足。
该文要解决多人多设备共享声场下数据难采集难复现的问题,选择把场景定义与音频渲染分离为轻量菜谱加按需渲染,演示了手动搭建单场景与规则批量生成场景集合两条路径,但未报告定量识别或增强收益且未给出可验证的公开资源。
论文以 AudioCaps 为源构造一百万条四类三范围否定提示并用音频问答与重写标题双模态评估,发现 AudioGen、AudioLDM2、TangoFlux 对否定音频的问答召回均低于 0.05 且否定与肯定输出声学几乎相同,而生成质量本身正常。
针对两阶段文本到音频中重建潜空间不一定好生成的问题,Unite-Audio 用部分波形在线编码加全波形 EMA 目标的噪声匹配流匹配联合训练表示与生成,并在 AudioCaps-886 上以 117M 潜流模型得到 CLAP 0.534 与 KL 1.057,代价是 Flow-GRPO 后分布保真度 FD 有所回退。
针对自由文本下每条条件只有极少真实样本而难以估计条件分布的问题,DriftAudio 保留文本条件生成而在冻结特征空间匹配边际分布,从 MeanAudio 出发把 FAD 从 1.68 降到 1.11、FD 从 15.43 降到 12.71,从 FdAudio 出发把 FAD 从 1.22 降到 0.99,代价是部分起点上的 IS 与 CLAP 出现回落。
论文把短到长训练拆成呈现顺序、批次组成与损失归一化三件事来测,在 87M 语音词元模型上发现固定组批后排序本身不降困惑度,首轮分组的增益只出现在按批平均的损失下并随词元均衡归一化而消失,而持续排序反而更差。
论文把已知录音的谐波打击分离放在离线预处理、把相位声码器与叠加相加放在逐帧可变速的实时合成,并用预计算频谱查表把总运行时间降低约一半,代价是更小的预计算跳长需要更多预计算与内存。
该文把鸟声编码到冻结语音潜空间后学习与系统发育距离对齐的低维性状投影,在性状空间做布朗运动祖先推断再经锚定逆提升解码为新波形,在两个支系上同时实现真实生成、系统发育一致与自然音质,但零空间纹理仍依赖现存录音锚点。
共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读
该文把现场音色匹配做成每 0.093 秒调一次连续合成参数的强化学习控制问题,用描述符状态加五种奖励在合成器内域与跨域及真实乐器语料上验证,最强证据是同合成器内域匹配显著更准,而代价是跨域只能近似且对描述符与奖励选择高度敏感。
该研究把木薯淀粉生物塑料做成不规则触摸面,用 8 电极电场层析扰动加支持向量机分类代替图像重建,在圆形样品与 55 厘米半球壳上验证了中等分辨率触摸词表的一小时稳定与 48 小时漂移代价,最终为一个月展期的低分辨率声音装置选择了保守映射。
论文把预训练神经音频模型当作可上手摆弄的乐器,用实时修改权重与偏置代替重训练,以两场约二十人工作坊与弯曲日志复用为证据,代价是大量操作只产生静音噪声且弯曲状态尚不能保存复用。
共收录 160 篇 nime-2026 会议论文的 Reader 深度解读
论文用磁性墨把黑白条纹印在纸环上装入标准磁带壳,以普通卡座磁头直接检出磁变化发声,展览用五盘带子验证了无录音也能演奏,但手工印刷与磁化带来每盘独有的不稳定与不可录制性。
论文把 Pure Data 的数字信号处理对象改写为 C++ 类并保留同名调用逻辑,用噪声与振荡器等实例显示声音一致的改写路径,代价是不自带音频与 MIDI 硬件客户端且线程与内存需开发者自行处理。
针对实时低延迟高分辨率谱分析问题,论文用相邻样本相位差分估计瞬时频率并把估计值反馈为跟踪共振器的共振频率,以自调谐共振器组在无缓冲逐样本更新下输出每样本频率幅度列表,受控正弦与真实音乐谱图显示频率跟踪与幅度保持成立,代价是合成仍有瞬态拖尾与主导器切换相位不连续等初步局限。
针对沉浸式空间音频意图难落实的问题,Satie 用音频优先领域专用语言加浏览器运行时承载大模型代码生成与文本生音频,行数对比显示同需求下脚本约为游戏引擎代码五分之一,而代价是依赖第三方接口与浏览器空间保真度限制。
StepAudio 3 Gen 用 12.5 Hz 共享 16 码本离散表示把语音、歌声、音效和音乐放在一个自回归流中建模,以主干预测首码本加轻量预测器补全残差码本的分工,在四阶段渐进预训练与零初始化适配下保持文本能力,并在中文人声相似度与声音设计指令遵循上报告了可核对的胜率与一致性得分,其代价是长序列声学建模与多阶段训练流程的复杂度。
针对 DX7 类 FM 合成 144 参数空间难手动探索的问题,VibeFM 用 38 参数受控采样加 MFCC 相似度降维总览与四种字形辅助听觉想象,案例显示约 180 分钟做出 6 种声音并带来意外发现,代价是小样本定性评估与外部合成器带来的插值不平滑等限制。
该文在波数字滤波器框架下用神经网络显式逼近四端口非线性散射映射,对比多层感知机与柯尔莫哥洛夫-阿诺德网络,发现 KAN 以 40 对 148 个参数达到相近时域频域精度,但实时率从 1.31 升至 4.74。