不追紧同步的混音台:Mezcal 用浏览器 MCU 把远距离合奏做成电台
Mezcal 要解决多人随时随地用浏览器做协作电台的问题,选择 Janus 网关的 MCU 集中混音加 N-1 返送与档案代理,最强的实践证据是持续 6 年的 Conduction Series 等跨国直播,代价是放弃紧同步演奏并承担集中带宽与代理成本。
Mezcal 要解决多人随时随地用浏览器做协作电台的问题,选择 Janus 网关的 MCU 集中混音加 N-1 返送与档案代理,最强的实践证据是持续 6 年的 Conduction Series 等跨国直播,代价是放弃紧同步演奏并承担集中带宽与代理成本。
针对视频配音只做可见环境声、做不了语音与画外声共存的问题,OmniSonic 用视频加文本联合条件的流匹配扩散与三路交叉注意力加门控融合,在自建的三场景基准上同时生成语音与环境声,主观与客观指标报告全面领先,但时间同步仍弱于带细粒度同步视觉特征的基线。
针对发动机爆燃脉冲的时序本质,论文用可微脉冲串加卡普拉斯-斯特朗共振器重建声音,在三类发动机共 7.5 小时音频上把总验证损失平均降低 5.7%、谐波重建提升 21%,代价是共振器音色偶尔偏离目标且尚未在真实录音上验证。
针对环境声语义描述粗疏而波形稠密、离散量化破坏连续性、非因果编解码拼接易产生边界伪影的问题,SCAPES 冻结 EnCodec 连续潜空间并用条件连续归一化流做段级自回归生成,在约 34 分钟 10 类数据上以约 36M 参数单卡约 1 小时训练实现长稳可控合成,代价是对语音音乐等长结构建模不足且部分类别指标未胜出。
针对带环境噪声的插入与替换编辑问题,SeamlessEdit 选择先用分离模型分出人声与噪声、再用稀疏贝叶斯与滤波压残留噪声并做语境精修,在 EARS-WHAM 上把插入自然度做到 3.78 而基线 VoiceCraft 仅 2.93,代价是仍需依赖现成分离与编辑模型且对女声高频与重叠说话人保留残留问题。
该文在 ESC-50 的 5 任务类增量设置下用 Integrated Gradients 跟踪任务级解释漂移,报告含回放的混合方法同时获得最高平均准确率 0.4400 与最低遗忘 0.3896 并压低解释漂移,而正则化方法遗忘高且漂移大。
论文用四辆联网电动货运自行车组成可移动演奏系统,在亚特兰大 11 km 群骑中验证个人聆听、共在群体与城市环境三种声音互动尺度的切换,代价是无定量声学测量、依赖社区领骑保障安全且重型硬件仍需迭代。
针对音效数据集标签体系互不兼容导致无法合并与比较的问题,论文用通用类别系统做共享标签空间,以规则四级流水线加冲突消解完成重标注与分层划分,最强证据是三库自动映射率达 98.49% 至 100% 并建成 58057 条的 EnvSound-UCS,代价是混合训练并未超越单库训练且存在标注噪声与划分泄漏风险。
论文把问题定为地理上下文的声音景到景观生成,用声景加可选场景词生成街景级图像,以 SounDiT 三模块注入地理条件,在自建两套大数据集上以通用指标和三层地点相似度验证,代价是依赖预训练编码器与场景标注并需较多算力训练。
该文把预训练瓶颈定位为监督源弱而散,用高保真描述器加统一标签系重建强监督,并在同量音频上比较多种目标,显示数据质量与覆盖决定泛化而目标决定任务分化,但域内事件任务仍需更大规模验证。
共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读
共收录 199 篇 acl-2026 会议论文的 Reader 深度解读
论文把自动语音识别为中心的监督视为感知弱的原因,用转写、副语言、非语言事件三部分的结构化统一音频模式组织监督,在保持推理的同时把 MMSU 感知从 44.8% 提升到 55.7%,代价是需要多阶段对齐与合成标注的质量控制。
针对反转式音频编辑必须用密集固定步数导致计算昂贵的问题,论文提出免训练的自适应轨迹外推框架 AdaTE,只在高曲率与高信息增益处做神经网络评估,其余用线性外推跳过,在 AudioLDM2 上以 12.8 次评估达到 3.9 倍加速且保真度基本不降,但激进阈值与极端不稳定轨迹仍会带来退化。
论文以语音、音乐、环境音和歌声四类伪造检测为问题,用单前端、双前端与蒸馏双前端对比自监督前端选择,最强证据是 XLS-R 加 EAT 十八层双前端在联合训练下取得最低平均等错误率,代价是前端参数量明显增大且混合音频仍大幅退化。
该工作把任意输入音频的频谱特征映射到在 7999 个电子舞曲鼓循环上学到的 256 个离散节奏原型,再用力度解码器恢复动态并用用户原声合成,在验证集上重建汉明距离为 0.0064、力度误差相对均值基线降低 77.4%,代价是 2000 个环境声音只激活 50% 码本且弱音表现不足。
针对语音、环境声、音乐三域音频幻觉缺少大规模可诊断评测的问题,HalluAudio 用 5720 对人工校验问答与对抗诱发设计做零样本评测,报告显示结构与感知幻觉普遍存在而准确率无法代替可靠性判断。
针对带背景声的语音合成中可懂度与场景一致性难兼顾的问题,ImmersiveTTS 用双流扩散 Transformer 做联合注意力交互并以语音与音频双教师做表示对齐,在 25 步采样下取得更低词错率与更好音频保真度,代价是对双重引导强度敏感且训练依赖人工混合数据。
该文在 FSD50K 与 AudioSet 上以 30 类起步加 4 个 5 类增量任务比较冻结、蒸馏与核级可塑性调制,报告显示冻住卷积特征并只微调动态分类头遗忘最小而核级约束反而更不稳定,但新类学习能力仍低于联合训练。
针对大音频语言模型感知错误主导问答失败的问题,论文用听觉场景分析做语音与环境、多说话人两层解耦并构造 PAQA,再以显式反思加 PAUSE 隐式计算的两阶段 HyPeR 训练,在保持可核查声学证据的同时以多目标奖励提升复杂音频问答,且额外暂停计算带来训练与推理开销。