数据集

该工作针对统一视频文本到音频生成中音频歧义导致的数据语义冲突与跨任务和任务内竞争，用高对齐的 SoundAtlas 数据做语义桥并以三阶段渐进训练解耦竞争，在 VGGSound-Omni 上实现三任务统一最优，但强依赖数据流水线质量与分阶段训练成本。

针对只有音乐无法做空间与风格精细控制的问题，论文用 100.26 小时多模态 OpenDanceSet 与解耦词元加联合掩码预测的 OpenDanceNet 实现音乐加文本加关键点加轨迹的任意组合生成，在 AIST++ 与 OpenDanceSet 上取得更优保真与节拍对齐，但精修带来保真指标与物理指标的权衡。

论文提出第一人称自我情绪追踪任务，用 110 小时智能眼镜数据的开放词表时间线与五任务基准支撑 OSIRIS 模型，该模型以对话历史加情绪记忆加分步推理取得领先，但仍受日常社交场景与文化覆盖限制。

针对立体声到 5.1 盲上混中环绕声缺乏可学习目标的问题，该工作用 CCD 加 ELAE 合成 PAEDB 主次对并训练 Mel-RoFormer 与 MLP 做氛围提取，最强证据是 VPA-Mel-RoFormer 主观总分 14.45 接近 VPA-ELAE 的 14.63，代价是客观重建分数偏低且训练目标受限于合成算法上限。

针对波斯单声部微分音旋律生成问题，PerFormer 用位置—音高—时值事件序列加编解码 Transformer 与主音参考建模长程调式关系，在可调性准确率 90.18% 对 34.71% 和听感四项指标上超过一阶马尔可夫基线，代价是数据集仅 33 首原曲并集中于单一调式与 6/8 节拍且节奏有拉长简化倾向。

该文研究已知麦克风与声源位置下用直达与反射距离估计鞋盒房间六面墙的问题，提出三距离全求解器与两距离正交求解器并结合 RANSAC 剔除误检，最强证据是已知 chirp 与未知移动音乐两类仿真及 ScanNet++ 伪合成与实录中仍能找回多面墙，代价是逐墙剔除会误删他墙对应距离且后几面墙更难找。

论文提出从单图生成可导航三维视觉加空间声场的新任务，并用免训练的全景重建加语义接地加高保真立体声编码链路实现，在 68 段实录上的方向误差降低 47% 等报告提升下仍保留运动声源等明确边界。

Soul 针对单帧人物图加文本加音频的人体动画任务，在 Wan2.2-5B 上新增音频注意力并用关键帧表示、段间重叠与阈值码本维持长时一致，再用步数蒸馏与轻量 VAE 加速，在 Soul-Bench 的开源对比与商用人评中取得优势，代价是复杂全身大动作仍可能出现伪影。

针对音效数据集标签体系互不兼容导致无法合并与比较的问题，论文用通用类别系统做共享标签空间，以规则四级流水线加冲突消解完成重标注与分层划分，最强证据是三库自动映射率达 98.49% 至 100% 并建成 58057 条的 EnvSound-UCS，代价是混合训练并未超越单库训练且存在标注噪声与划分泄漏风险。

论文把问题定为地理上下文的声音景到景观生成，用声景加可选场景词生成街景级图像，以 SounDiT 三模块注入地理条件，在自建两套大数据集上以通用指标和三层地点相似度验证，代价是依赖预训练编码器与场景标注并需较多算力训练。

论文针对多模态大模型缺乏统一计数评测的问题，构建覆盖图像文本音频与三级能力三级难度的问答式基准并用固定提示与解析做 45 个模型的标准化评测，最强证据是基础感知尚可但推理与高密度长尾误差显著增大，代价是闭源接口与长上下文带来的评测成本与覆盖偏差。

UniM 面向任意组合交错输入输出的理解与生成任务，用 31026 个多任务实例与语义质量、结构完整、交错连贯三维评估检验模型，报告显示现有任意到任意模型得分偏低，而带可追溯推理的智能体基线 UNIMA 更高但仍不完备。

ViBES 针对多轮对话中语言与身体脱节的问题，采用文本语音专家加面部与身体专家的混合模态专家结构并在 25 帧统一时钟上联合生成，在对话行为基准上取得高于共语音手势与文本到动作基线的对齐度，代价是依赖单目重建数据与尚不完善的行为评价。

针对生成式视频谣言跨模态语义一致导致旧数据集失真的问题，该研究构建含声明、视频、音频与跨模态四类操纵的 9049 对 RAVM 数据集并提出证据图检测模型 IEEG，以 75.99% 准确率取得最优但仍显示通用大模型的脆弱性，代价是生成与评测流程复杂且数据集链接当前不可用。

论文把视频会议中的识别崩溃拆成传输失真与人类过度表达两条链路，用 MLD-VC 配对数据与声学分布证据定位到语音增强导致的第一二共振峰上移，并以跨平台微调平均降低 17.5% 字符错误率为收益验证该机制。

WildFX 针对 DAW 托管插件链缺乏成对音频与图标签的问题，用 REAPER 加容器化批量渲染生成带路由和参数标注的多轨数据，盲图估计实验显示浅层图比深层图更易估计但节点识别仍是主要失败模式，且受限于小规模插件库和短训练预算。

针对跨生成器泛化难的问题，论文用音频条件扩散模型的 DDIM 反演重建差异与音频视觉交叉注意力做双路检测，在 MMDF 未见生成器与外部基准上取得领先，但单次反演约一分钟的计算开销是主要代价。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对符号音乐中音符属性被强加固定单向顺序的问题，Amadeus 采用音符级自回归加属性级双向离散扩散的两级架构并引入 CIEM，在 AMD 大规模数据上以 16.23 notes/s 实现文本条件与可控生成的提升，代价是扩散步数与速度需权衡且数据存在风格偏置。