把打断与背景声做成可听的监督:DuplexDrama 四阶段合成管线解读
DuplexDrama 针对全双工对话训练数据稀缺问题,用四阶段管线同时合成人设场景、三种全双工行为、表情语音与剧本对齐的声音事件,最强证据是相同语音加背景仅带来 UTMOSv2 与 NISQA 的可控下降,主要代价是全双工轮次占比仅 3.8% 且剧本合理性依赖 LLM 判断。
DuplexDrama 针对全双工对话训练数据稀缺问题,用四阶段管线同时合成人设场景、三种全双工行为、表情语音与剧本对齐的声音事件,最强证据是相同语音加背景仅带来 UTMOSv2 与 NISQA 的可控下降,主要代价是全双工轮次占比仅 3.8% 且剧本合理性依赖 LLM 判断。
该研究用 2 阶录制加 3 阶解码把 5 段自然声景放在实验室与博物馆的 16 只 Genelec 阵列上对比,报告显示存在感较稳而深度、包围感、清晰度与稳定性在混响展厅中下降,代价是房间与垂直阵列构形混在一起无法分离。
共收录 160 篇 nime-2026 会议论文的 Reader 深度解读
作者针对 2025 年 IEEE Big Data AI 音乐生成研讨会音乐比赛的浅层话语,用两人气鸣乐器在 GPU 机房的约一小时现场表演与录音构成抵抗行动,报告显示作品最终因赛后追加的 AI 方法与时长限制而落选,而代价是高参会费与规则不透明使抗议难以进入正式评审。
论文追问手势在新乐器与机器共创中如何被数据化与操控,提出以拉美赛博格主义重嵌社会语境,并以抗议分析、 telematic 拼贴与生态工作坊三例显示情境化方法的收益,其代价是缺乏可比指标与可复用系统评估。
该研究以室内篮球场实地录音为唯一主体材料,用颗粒拉伸、频谱变换、动态滤波与空间运动把运球、滑步、撞击转写为怀疑、挣扎与救赎的六段叙事,其代价是全程依赖感知判断而无可复测的定量指标与对照实验。
该作品以树木年轮为结构隐喻,用颗粒与频谱处理、VBAP 穹顶空间化与文本到三维扩散生成,把约八分半钟的微观到宏观生态时间做成穹顶声像层,其代价是垂直声像不如水平声像清晰且缺乏可量化的听众评估。
论文把音效生产归纳为九项需求,用共享的参考到音频变体任务加原生能力分析比较五个异构基线,证据显示 AudioX 在保真与身份保持上最均衡而多样性、时序控制与局部修复各有所长且伴随效率与域外退化代价。
该文把去噪目标改为随声场景变化的界内与界外事件,用先做声场景分类再做条件掩蔽去噪的两阶段网络,在六类场景配对数据上以可运行的 UNet 为基线对比,学习到的上下文取得最高 SI-SDR 但合成混合的统计失配仍是主要代价。
针对未见过文本到音频与音频到音频生成器的环境音伪造检测,论文用高效音频 Transformer 做前端加图注意力后端,配合差分微调与编解码增广,在 EnvSDD 上报告测试等错误率 2.48%,代价是依赖大规模预训练与特定增广组合。
针对电影混音需分离对白、音效、音乐且缺乏带干净分轨的视听电影数据问题,该工作用条件流匹配同时生成三路频谱并以面部与场景双路视觉为条件,合成数据训练后在合成与真实电影片段上获得更干净的主观与分布指标,但多步采样与预测模型在信噪比类指标上的差距仍是代价。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读
该装置用双特雷门手势驱动水下水听器产生湍流并以此激励只在太澳与香港仔海岸环境录音约 thirty hours 上训练的 RAVE 模型,代价是约 90-250 milliseconds 的可感知延迟与激进手势对神经信号的掩蔽,只在水面平静时才让历史以时间包络形式短暂可闻。
共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读
论文用带精确起止时间的合成复调音频检验片段级分类器的事后积分梯度时间定位能力,最强证据是积分梯度达到平均交并比 0.39 与帧级 F1 值 0.52,接近弱监督帧级模型,但峰值定位一致性代价明显。
针对拟音数据缺乏动作与材质细粒度标注的问题,论文用两层人工分类体系组织 10000 段拟音并给出可复现基线,最强证据是大类准确率 0.82 而 73 类降至 0.64,代价是长尾分布与单标注者带来的细类混淆。
针对广义零样本声事件分类中未见类被大量判为已见类的问题,论文用属性条件 GAN 生成未见类隐特征训练分类器,再以类级分布外检测做分流与概率融合,在 RWCP-SSD 上把调和平均从 36.2 提高到 78.7,代价是类级检测器数量与阈值调节成本增加。
该研究以 18 位中越散居社群扇舞者访谈为依据,提炼文化、社群、个体三层身份协商框架,并据此做出单把短尾传感折扇原型,以加速度控水声音量、握力控音色、按键触发水花声做初步验证,代价是仅 2 人即兴试用且未做正式演出与听众评估。
针对仅用正常录音训练时自编码器会重建异常输入的问题,该研究把每段音频压缩为一条 LPC 谱包络并只用正常字典的记忆加权来重建,在 MIMII 上以 90.6% 平均 AUC 超过 GRLNet 的 77.2%,代价是 Toy-conveyor 这类依赖细粒度时频线索的机器类型上 LPC 平滑可能削弱区分性。