数据集

论文指出波形误差是增益误差的带载波代理，易被次生效应淹没，用实测控制电压直接计算增益误差并训练灰盒模型后，直接监督在增益误差上明显优于波形代理，而波形指标对差异显著的模型给出相近分数，代价是需要同步采集控制电压并建设约 270 GB 的大规模数据集。

针对无声电影片段生成与画面帧级对齐的立体声拟音问题，FoleyDesigner 选择先分解为分层拟音脚本再用视觉轨迹条件扩散逐事件生成并做多智能体混音，最强证据是时空对齐表上 IoU 达 32.2 与 GCC 最低 48.79，代价是密集重叠并发事件仍会出现定位误差且依赖仿真数据与多阶段流水线。

针对视频生音频中多事件时间不可控与画面线索不足的问题，FoleyDirector 用 1 秒一段的结构化时间脚本加适配器做细粒度时间控制，在 DirectorBench 上把总体 F1 从 0.2451 提升到 0.4819，代价是需要逐段脚本标注与双路推理。

针对拟音数据缺乏动作与材质细粒度标注的问题，论文用两层人工分类体系组织 10000 段拟音并给出可复现基线，最强证据是大类准确率 0.82 而 73 类降至 0.64，代价是长尾分布与单标注者带来的细类混淆。

针对 FSD50K 存在背景干扰、重叠与稀疏标注的问题，该工作用扩散模型生成干净单源样本再构造受控混合来训练 BEATs 加 Bi-LSTM 判别器，在专家整理的 BSE 集上报告 95.51% 准确率与 98.58% 精确率，并据此筛选出 32,880 条的 FSD50K-Solo，代价是未验证对未见类别的泛化。

论文把视听空间推理定义为超越语义匹配的定位与关系判断，用 SoundSpaces 2.0 渲染的全景图加双耳音频构造 100 万问答对并训练连接视觉与空间音频编码器的大语言模型，在语义错位与多同类目标场景上报告了双耳相对单耳的定向优势，但分类精度仍远低于 Oracle 且依赖仿真场景。

该文用文本到图像与文本到音频模型构造 VGGSound 合成克隆并固定 ACL-SSL 做对比学习，验证同规模替代、合成图像配真实音频修正与 2 倍 3 倍混合扩展三类用法，最强混合配方相对纯真实基线提升约 8.62 cIoU、5.58 mIoU 与 12.16 IIoU，代价是合成音频弱于真实音频且纯合成需到 3 倍才稳定超越。

论文用 Mores 实测的 65 把吉他桥柔量与桥到空气辐射驱动几何精确非线性弦，在连续级做标量辅助变量二次化并以两次 Sherman-Morrison 秩一更新实现每步显式推进，以全品格约 6240 个音展示乐器相关共鸣，代价是琴体与辐射仍为线性模态且跨琴响度依赖两遍归一化。

该工作针对统一视频文本到音频生成中音频歧义导致的数据语义冲突与跨任务和任务内竞争，用高对齐的 SoundAtlas 数据做语义桥并以三阶段渐进训练解耦竞争，在 VGGSound-Omni 上实现三任务统一最优，但强依赖数据流水线质量与分阶段训练成本。

针对只有音乐无法做空间与风格精细控制的问题，论文用 100.26 小时多模态 OpenDanceSet 与解耦词元加联合掩码预测的 OpenDanceNet 实现音乐加文本加关键点加轨迹的任意组合生成，在 AIST++ 与 OpenDanceSet 上取得更优保真与节拍对齐，但精修带来保真指标与物理指标的权衡。

论文提出第一人称自我情绪追踪任务，用 110 小时智能眼镜数据的开放词表时间线与五任务基准支撑 OSIRIS 模型，该模型以对话历史加情绪记忆加分步推理取得领先，但仍受日常社交场景与文化覆盖限制。

针对立体声到 5.1 盲上混中环绕声缺乏可学习目标的问题，该工作用 CCD 加 ELAE 合成 PAEDB 主次对并训练 Mel-RoFormer 与 MLP 做氛围提取，最强证据是 VPA-Mel-RoFormer 主观总分 14.45 接近 VPA-ELAE 的 14.63，代价是客观重建分数偏低且训练目标受限于合成算法上限。

针对波斯单声部微分音旋律生成问题，PerFormer 用位置—音高—时值事件序列加编解码 Transformer 与主音参考建模长程调式关系，在可调性准确率 90.18% 对 34.71% 和听感四项指标上超过一阶马尔可夫基线，代价是数据集仅 33 首原曲并集中于单一调式与 6/8 节拍且节奏有拉长简化倾向。

该文研究已知麦克风与声源位置下用直达与反射距离估计鞋盒房间六面墙的问题，提出三距离全求解器与两距离正交求解器并结合 RANSAC 剔除误检，最强证据是已知 chirp 与未知移动音乐两类仿真及 ScanNet++ 伪合成与实录中仍能找回多面墙，代价是逐墙剔除会误删他墙对应距离且后几面墙更难找。

论文提出从单图生成可导航三维视觉加空间声场的新任务，并用免训练的全景重建加语义接地加高保真立体声编码链路实现，在 68 段实录上的方向误差降低 47% 等报告提升下仍保留运动声源等明确边界。

Soul 针对单帧人物图加文本加音频的人体动画任务，在 Wan2.2-5B 上新增音频注意力并用关键帧表示、段间重叠与阈值码本维持长时一致，再用步数蒸馏与轻量 VAE 加速，在 Soul-Bench 的开源对比与商用人评中取得优势，代价是复杂全身大动作仍可能出现伪影。

针对音效数据集标签体系互不兼容导致无法合并与比较的问题，论文用通用类别系统做共享标签空间，以规则四级流水线加冲突消解完成重标注与分层划分，最强证据是三库自动映射率达 98.49% 至 100% 并建成 58057 条的 EnvSound-UCS，代价是混合训练并未超越单库训练且存在标注噪声与划分泄漏风险。

论文把问题定为地理上下文的声音景到景观生成，用声景加可选场景词生成街景级图像，以 SounDiT 三模块注入地理条件，在自建两套大数据集上以通用指标和三层地点相似度验证，代价是依赖预训练编码器与场景标注并需较多算力训练。

论文针对多模态大模型缺乏统一计数评测的问题，构建覆盖图像文本音频与三级能力三级难度的问答式基准并用固定提示与解析做 45 个模型的标准化评测，最强证据是基础感知尚可但推理与高密度长尾误差显著增大，代价是闭源接口与长上下文带来的评测成本与覆盖偏差。

UniM 面向任意组合交错输入输出的理解与生成任务，用 31026 个多任务实例与语义质量、结构完整、交错连贯三维评估检验模型，报告显示现有任意到任意模型得分偏低，而带可追溯推理的智能体基线 UNIMA 更高但仍不完备。