Aaai-2026 论文

针对口吃语音直接转流利语音难、转写引入语义失真和实时延迟三难，STEAMROLLER 用转写加多智能体文本修复加音色克隆合成的三段管线，在 FluencyBank 上把词错误率平均降约 10 个百分点并保持语义，代价是约 3.8 秒分段延迟和零样本克隆音色相似度偏低。

该文把随语音手势生成改成随音频推进的滚动扩散窗口，用逐帧递增的噪声排布和一次性解码多帧的梯子加速，在 ZEGGS 与 BEAT 上提升连贯性与多样性，代价是梯子步长增大时在表现力强的数据上会出现平滑与抖动问题。

针对整序列扩散在超长语音上泛化下降与延迟随长度增长的问题，该文用固定窗口历史运动加当前音频生成动态条件，再用单层扩散头逐帧去噪，在 BIWI 长序列与消融对照上显示出同步与稳定优势，但短序列口型开合仍有可比基线。

针对文本、音频、视频情感分析中模态内结构丢失与跨模态语义错位问题，SSU 用句法与文本引导的模态图加全局语义锚与多视角对比学习统一融合，在 CMU-MOSI/MOSEI 上报告最高精度并以 0.3B 参数、0.015s 构图保持轻量，代价是依赖文本质量与句法解析条件。

论文针对大音频语言模型的黑盒音频越狱问题，用两阶段语言与声学风格变换加查询自适应策略搜索 70 种风格组合，在 4 个开源模型和 2 个商用模型上验证了情感、年龄、性别扰动能提升越狱成功率，代价是需要可控 TTS 与多次查询评估。

针对有声视频中按自然语言指代表达分割目标的问题，论文把任务拆成用多模态大模型先推理出目标描述再调用冻结检测与分割模型的智能体流程，在标准与推理增强基准上报告了对最强基线的提升，但阈值与细粒度描述的取舍仍有条件限制。

针对同一视频中文本、视觉、音频情感倾向不一致的问题，TiCAL 先用高置信锚表生成单模态伪标签并在双曲空间结构化，再用典型性和一致性做三阶段动态融合，在 MOSI 上报告 Acc-2 为 88.10，代价是需要完整三模态和多阶段调参。

针对音频对抗样本跨模型迁移弱的问题，论文先用时间打乱与可解释性热图证明三类语音模型依赖局部时序与冗余特征，再提出可叠加的时间打乱梯度增强框架，在九个模型上取得更强的迁移效果，但粒度错配与权重过大会带来波动与额外开销。

针对文本音频视频缺失与传感器噪声并存导致情感预测失效的问题，TMDC 先在完整数据上学习去噪的特有与共享表示再用可见模态补全缺失模态，在 MOSI、MOSEI 和 IEMOCAP 的七种缺失组合及加噪条件下报告了优于所列基线的平均准确率，代价是两阶段训练与共享表示冗余。

针对仅对目标语句做跨模态建模导致情感表达不足的问题，论文用多模态参考片段库加情感相似检索与渐进图融合来模拟导演给素材、演员逐步内化的流程，在 V2C-Animation 上把情感准确率做到 47.21%，代价是需要维护检索库并做三阶段图编码。

针对脑电与语音采样率不对齐且单路编码只看目标相关特征的问题，TIDENet 用可训练转置卷积做脑电重采样、用结构共享双路编码分别建模相关与无关特征，在 Cocktail Party 和 AVED 上取得最高的 SDR、SI-SDR、STOI、ESTOI 和 PESQ，但单加语音双路时增益有限且 ESTOI 最优变体不是全量模型。

该工作以 Wan2.1 为基座，先用 LoRA 适配长视频，再只更新音频交叉注意力并用自动构造的 DPO 偏好对提升口型与表情，最后在推理侧用空间掩码加权的 Mask-CFG 实现三人以上多人音频驱动，最强证据是 HDTF 与 CelebV-HQ 上的 FID 与 FVD 领先，代价是三阶段大算力训练与推理时多路条件前向的额外开销。

TTA-Bench 针对文本到音频生成提出覆盖准确性、效率、泛化、鲁棒性、公平性、偏见与毒性的七维评测，用 2999 条提示与 118314 条人工标注比较十个主流模型，发现 Tango 2 在准确与泛化上领先但毒性率最高，而效率与公平性上各模型分化明显。

针对中文唇读辅以手编码的视频到语音任务，UniCUE 用姿态感知的识别通路提供细粒度视觉语义并经适配器条件化潜在扩散语音生成，在统一听障语料上报告了识别与生成的词错率下降，但训练只用健听者数据且推理开销未量化。

该文把单通道分离写成已知加性混合的逆问题，只用单源扩散先验加迭代重建引导完成分离，并用混合加噪初始化、三重注意力骨干与混合引导强度解决梯度冲突，代价是 200 步迭代采样的计算开销与同质语音的排列不确定性。

论文用 169 人临床确诊的多任务多模态数据比较任务与模态的判别力，并测试大模型精神科推理，报告音频与视频最有效、图片描述最能诱发标记、知识引导可提升约 10 个百分点 Macro-F1，但文本大模型仍落后于监督判别模型。

针对混合声源数未知且用户线索可能缺失或低质的问题，USE 用 EDA 自动估计声源数与吸引子、用多模态线索网生成可替换的线索嵌入并以对齐损失联合训练，在 AudioSet 类 2 混与 3 混上报告了分离与提取的提升，但多声源计数与跨模态对齐精度随声源数增加而下降且大混合数评估仍有限。

针对视频配乐中视频细节刻画不全与转场对拍不准的问题，VeM 用分层视频解析作指挥家组织多模态条件，以故事板引导交叉注意力和转场节拍对齐适配器生成波形音乐，在 TB-Match 上报告了语义与节奏指标的提升，但强转场对拍假设与评测阈值限制了其适用边界。

针对视频语言数据只写画面而把音乐当弱关联的问题，VMChill 以预告片为源做场景切分与视听分路标注，并在视频理解、视频生成与音乐生成上报告可复述的对照结果，其代价是自动合并标注仍需人工修正且分布偏向影视娱乐类预告片。

针对扩散语音克隆的先验防御梯度消失与动态条件问题，VoiceCloak 用异性中心引导加注意力上下文发散做身份混淆、用分数幅值放大加噪声引导语义破坏做质量降级，在相同扰动预算下报告了更高的防御成功率，但保护音频本身仍需付出可感知性代价。