论文解读

不追紧同步的混音台:Mezcal 用浏览器 MCU 把远距离合奏做成电台

Mezcal 要解决多人随时随地用浏览器做协作电台的问题,选择 Janus 网关的 MCU 集中混音加 N-1 返送与档案代理,最强的实践证据是持续 6 年的 Conduction Series 等跨国直播,代价是放弃紧同步演奏并承担集中带宽与代理成本。

 · 更新于 2026-10-15 · 约 21 分钟 · 10469 字 阅读 →
论文解读

画面内外都要出声:OmniSonic 如何把语音和环境声放在同一视频里生成

针对视频配音只做可见环境声、做不了语音与画外声共存的问题,OmniSonic 用视频加文本联合条件的流匹配扩散与三路交叉注意力加门控融合,在自建的三场景基准上同时生成语音与环境声,主观与客观指标报告全面领先,但时间同步仍弱于带细粒度同步视觉特征的基线。

 · 更新于 2026-10-15 · 约 19 分钟 · 9217 字 阅读 →
论文解读

不拟合频谱而是重放点火脉冲:脉冲串加共振器的发动机声建模

针对发动机爆燃脉冲的时序本质,论文用可微脉冲串加卡普拉斯-斯特朗共振器重建声音,在三类发动机共 7.5 小时音频上把总验证损失平均降低 5.7%、谐波重建提升 21%,代价是共振器音色偶尔偏离目标且尚未在真实录音上验证。

 · 更新于 2026-10-15 · 约 17 分钟 · 8068 字 阅读 →
论文解读

一次生成一小段连续潜块:SCAPES 如何用轻量流模型做语义可控的环境声

针对环境声语义描述粗疏而波形稠密、离散量化破坏连续性、非因果编解码拼接易产生边界伪影的问题,SCAPES 冻结 EnCodec 连续潜空间并用条件连续归一化流做段级自回归生成,在约 34 分钟 10 类数据上以约 36M 参数单卡约 1 小时训练实现长稳可控合成,代价是对语音音乐等长结构建模不足且部分类别指标未胜出。

 · 更新于 2026-10-15 · 约 18 分钟 · 8698 字 阅读 →
论文解读

带底噪也要无缝改口:先分离再压残留噪声的语音编辑

针对带环境噪声的插入与替换编辑问题,SeamlessEdit 选择先用分离模型分出人声与噪声、再用稀疏贝叶斯与滤波压残留噪声并做语境精修,在 EARS-WHAM 上把插入自然度做到 3.78 而基线 VoiceCraft 仅 2.93,代价是仍需依赖现成分离与编辑模型且对女声高频与重叠说话人保留残留问题。

 · 更新于 2026-10-15 · 约 17 分钟 · 8091 字 阅读 →
论文解读

学新声会改旧解释:类增量音频分类中的解释漂移如何被遗忘与竞争推高

该文在 ESC-50 的 5 任务类增量设置下用 Integrated Gradients 跟踪任务级解释漂移,报告含回放的混合方法同时获得最高平均准确率 0.4400 与最低遗忘 0.3896 并压低解释漂移,而正则化方法遗忘高且漂移大。

 · 更新于 2026-10-15 · 约 17 分钟 · 8514 字 阅读 →
论文解读

骑行发声:在城市里移动演奏如何同时触及个人、群体与环境

论文用四辆联网电动货运自行车组成可移动演奏系统,在亚特兰大 11 km 群骑中验证个人聆听、共在群体与城市环境三种声音互动尺度的切换,代价是无定量声学测量、依赖社区领骑保障安全且重型硬件仍需迭代。

 · 更新于 2026-10-15 · 约 19 分钟 · 9267 字 阅读 →
论文解读

标签各说各话时,用工业分类把三个音效库拼成一个可训练语料

针对音效数据集标签体系互不兼容导致无法合并与比较的问题,论文用通用类别系统做共享标签空间,以规则四级流水线加冲突消解完成重标注与分层划分,最强证据是三库自动映射率达 98.49% 至 100% 并建成 58057 条的 EnvSound-UCS,代价是混合训练并未超越单库训练且存在标注噪声与划分泄漏风险。

 · 更新于 2026-10-15 · 约 19 分钟 · 9296 字 阅读 →
论文解读

听到鸟叫不画鸟:为环境声景生成地理一致的街景

论文把问题定为地理上下文的声音景到景观生成,用声景加可选场景词生成街景级图像,以 SounDiT 三模块注入地理条件,在自建两套大数据集上以通用指标和三层地点相似度验证,代价是依赖预训练编码器与场景标注并需较多算力训练。

 · 更新于 2026-10-15 · 约 19 分钟 · 9353 字 阅读 →
论文解读

强监督从哪里来:用高质量描述重建语音音乐环境声的统一标签

该文把预训练瓶颈定位为监督源弱而散,用高保真描述器加统一标签系重建强监督,并在同量音频上比较多种目标,显示数据质量与覆盖决定泛化而目标决定任务分化,但域内事件任务仍需更大规模验证。

 · 更新于 2026-10-15 · 约 16 分钟 · 8011 字 阅读 →
会议总览

aaai-2026 论文深度解读

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 307 分钟 · 153423 字 阅读 →
会议总览

acl-2026 论文深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 433 分钟 · 216709 字 阅读 →
论文解读

转写之外还要听见什么:用统一音频模式补上感知的短板

论文把自动语音识别为中心的监督视为感知弱的原因,用转写、副语言、非语言事件三部分的结构化统一音频模式组织监督,在保持推理的同时把 MMSU 感知从 44.8% 提升到 55.7%,代价是需要多阶段对齐与合成标注的质量控制。

 · 更新于 2026-10-15 · 约 18 分钟 · 8979 字 阅读 →
论文解读

反转轨迹并非处处关键:用曲率与信息增益决定何时跳过神经网络计算

针对反转式音频编辑必须用密集固定步数导致计算昂贵的问题,论文提出免训练的自适应轨迹外推框架 AdaTE,只在高曲率与高信息增益处做神经网络评估,其余用线性外推跳过,在 AudioLDM2 上以 12.8 次评估达到 3.9 倍加速且保真度基本不降,但激进阈值与极端不稳定轨迹仍会带来退化。

 · 更新于 2026-10-15 · 约 18 分钟 · 8605 字 阅读 →
论文解读

语音预训练为何听不懂音乐与环境音:跨模态伪造检测的前端泛化检验

论文以语音、音乐、环境音和歌声四类伪造检测为问题,用单前端、双前端与蒸馏双前端对比自监督前端选择,最强证据是 XLS-R 加 EAT 十八层双前端在联合训练下取得最低平均等错误率,代价是前端参数量明显增大且混合音频仍大幅退化。

 · 更新于 2026-10-15 · 约 15 分钟 · 7418 字 阅读 →
论文解读

任意声音如何借到电子舞曲的鼓点:离散节奏原型库的频谱检索

该工作把任意输入音频的频谱特征映射到在 7999 个电子舞曲鼓循环上学到的 256 个离散节奏原型,再用力度解码器恢复动态并用用户原声合成,在验证集上重建汉明距离为 0.0064、力度误差相对均值基线降低 77.4%,代价是 2000 个环境声音只激活 50% 码本且弱音表现不足。

 · 更新于 2026-10-15 · 约 20 分钟 · 10020 字 阅读 →
论文解读

听不清还硬答:HalluAudio 如何系统诱发并度量音频大模型的幻觉

针对语音、环境声、音乐三域音频幻觉缺少大规模可诊断评测的问题,HalluAudio 用 5720 对人工校验问答与对抗诱发设计做零样本评测,报告显示结构与感知幻觉普遍存在而准确率无法代替可靠性判断。

 · 更新于 2026-10-15 · 约 19 分钟 · 9302 字 阅读 →
论文解读

把说话声放进场景里:语音与环境为何要分流建模再对齐

针对带背景声的语音合成中可懂度与场景一致性难兼顾的问题,ImmersiveTTS 用双流扩散 Transformer 做联合注意力交互并以语音与音频双教师做表示对齐,在 25 步采样下取得更低词错率与更好音频保真度,代价是对双重引导强度敏感且训练依赖人工混合数据。

 · 更新于 2026-10-15 · 约 21 分钟 · 10169 字 阅读 →
论文解读

遗忘主要发生在分类头:同分布声音分类中冻住特征只调动态头的对比

该文在 FSD50K 与 AudioSet 上以 30 类起步加 4 个 5 类增量任务比较冻结、蒸馏与核级可塑性调制,报告显示冻住卷积特征并只微调动态分类头遗忘最小而核级约束反而更不稳定,但新类学习能力仍低于联合训练。

 · 更新于 2026-10-15 · 约 19 分钟 · 9238 字 阅读 →
论文解读

先听清再推理:用分层解耦把音频感知钉牢的混合推理

针对大音频语言模型感知错误主导问答失败的问题,论文用听觉场景分析做语音与环境、多说话人两层解耦并构造 PAQA,再以显式反思加 PAUSE 隐式计算的两阶段 HyPeR 训练,在保持可核查声学证据的同时以多目标奖励提升复杂音频问答,且额外暂停计算带来训练与推理开销。

 · 更新于 2026-10-15 · 约 20 分钟 · 9818 字 阅读 →