数据集

ViBES 针对多轮对话中语言与身体脱节的问题，采用文本语音专家加面部与身体专家的混合模态专家结构并在 25 帧统一时钟上联合生成，在对话行为基准上取得高于共语音手势与文本到动作基线的对齐度，代价是依赖单目重建数据与尚不完善的行为评价。

针对生成式视频谣言跨模态语义一致导致旧数据集失真的问题，该研究构建含声明、视频、音频与跨模态四类操纵的 9049 对 RAVM 数据集并提出证据图检测模型 IEEG，以 75.99% 准确率取得最优但仍显示通用大模型的脆弱性，代价是生成与评测流程复杂且数据集链接当前不可用。

论文把视频会议中的识别崩溃拆成传输失真与人类过度表达两条链路，用 MLD-VC 配对数据与声学分布证据定位到语音增强导致的第一二共振峰上移，并以跨平台微调平均降低 17.5% 字符错误率为收益验证该机制。

WildFX 针对 DAW 托管插件链缺乏成对音频与图标签的问题，用 REAPER 加容器化批量渲染生成带路由和参数标注的多轨数据，盲图估计实验显示浅层图比深层图更易估计但节点识别仍是主要失败模式，且受限于小规模插件库和短训练预算。

针对跨生成器泛化难的问题，论文用音频条件扩散模型的 DDIM 反演重建差异与音频视觉交叉注意力做双路检测，在 MMDF 未见生成器与外部基准上取得领先，但单次反演约一分钟的计算开销是主要代价。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对符号音乐中音符属性被强加固定单向顺序的问题，Amadeus 采用音符级自回归加属性级双向离散扩散的两级架构并引入 CIEM，在 AMD 大规模数据上以 16.23 notes/s 实现文本条件与可控生成的提升，代价是扩散步数与速度需权衡且数据存在风格偏置。

该研究用 1000 人 227.3 小时四种平行音频与 11 个属性检验说话人属性隐私泄露，显示传统模型与微调后多模态大模型在多属性上明显高于随机猜测，但非语音信号与细粒度属性仍存在显著不确定性与评估代价。

针对文本到音乐模型的黑盒提示词窃取问题，AudioStealer 用相似度引导的启发式搜索定方向、再用沙普利值量化各语义单元贡献做精修，在 InspireMusic 上以语义 59.4%、音乐 70.1% 的可复现流程实现最强证据，代价是依赖本地影子模型的多次查询与精修计算。

针对首尔韩语重音短语连续基频难以对应离散声调类别的问题，论文用双分支有监督对比学习整条轮廓的整体形状，在 10093 个短语上达到准确率 77.75% 与宏 F1 值 51.54%，代价是稀有类别与长低平尾音仍易混淆。

针对多语平行口语对话稀缺且翻译腔重的问题，论文用 WHO 知识库加对话行为大纲加母语者即兴实现的方法造出 6 千对话与 163 小时语音，基准显示英语检索与过滤持续领先而阿拉伯语最低，代价是内容未经临床验证且语音到文本检索几乎失效。

针对长会议中声学线索缺失与上下文碎片化问题，论文把会议建成多维异构图并用计划执行反思智能体检索生成，在 LongAudioQA 三套数据上以语义准确率为证据取得领先，但迭代规划带来更高推理开销且依赖上游识别与说话人分离质量。

针对全双工口语对话模型缺可靠在线奖励的问题，论文提出把语义连贯与轮次时机分开推理再给总分的生成式奖励模型，用三阶段感知加推理加 GRPO 训练，在合成与真实人机对话上报告了更高的准确率，代价是需要合成加真实数据联合调优且尚未验证在线强化学习收益。

针对先想后说首音等待过长而边想边说又破坏思维块原子性的矛盾，论文用流式掩蔽机制保证音频不欠载、用原子一致性修复重建逻辑因果，在 VoiceBench 上从 67.24 提升到 73.41 的同时把首次音频延迟从 20.35s 降到 3.65s、实时率从 7.04 降到 1.05，代价是依赖外部教师模型打分且复杂混合推理仍与串行思考存在小幅差距。

EmotionTalk 用 19 名演员主题即兴的 23.6 小时双人对话同时给出 7 类离散标签、连续强度与四维说话风格描述，并以单模态、多模态融合与生成式描述三类基准验证了跨模态不一致带来的难度与融合的必要性。

论文把问题定为普通话有声书语境下语音表达是否贴合叙事意图，提出规划器与评判器分离的 CEAEval-M，并报告在人工测试集上线性相关 0.72 与 70.80% 准确率，其代价是依赖人工标注语境与多阶段训练。

针对包含速度调性和弦的细粒度音乐检索，FIGMA 冻结 MuQ 与 E5 双编码器只训练投影头并联合全局与帧级对比损失，在 MusicBench 与 FMACaps-Eval 上报告最高 73.3% 相对提升，代价是依赖自动特征提取与单句客观描述的构造流程。

针对纯文本盈利预测依赖商业数据的问题，该研究构造 2688 场带逐词转录、全程音频和幻灯片的多模态基准并评测 26 个模型，最强证据是高准确率多为类别不平衡造成的假象而多模态增益有限，代价是长文本截断、采样幻灯片与类别严重偏斜。

针对北部库尔德语 Badini 变体缺平行语音文本问题，论文用 2000 句英译巴迪尼加 45 人录音验证得到 5224 条 15 小时 40 分钟语料，最强基线 W2V-BERT CTC 在测试集词错误率为 55.07%，而语音到文本翻译 BLEU 仅 5.24，代价是小数据微调仍难克服方言与书写差异。