语音

论文针对语音内容与视频画面的语义和时间对齐问题，构造 2405 个问答的 SVHalluc 基准并测试多款音视频大模型，最强证据是 Gemini-2.5-Pro 在全局语义对齐上达到 93.10% 而多数开源模型徘徊在 50% 附近，代价是开源模型跨模态绑定能力仍接近随机且需额外的人工核验构造流程。

SyncDreamer 针对只有离散情绪标签和依赖姿态中间表示导致动作僵硬的问题，用视觉适配器保身份、音频动态编码器抓节奏能量、跨模态提示增强器把文本变成动作指令，在 HDTF、AVSpeech 人像和 EMTD 半身基准上报告了最优的真实感与同步指标，代价是两阶段扩散训练与更长的提示构造链路。

该文以固定 Wav2Vec2-XLSR 基线检验语系分组对跨语言语音情感识别的影响，最强证据是同语系内留一语言泛化优于跨语系泛化，而代价是跨语系直接迁移大幅掉点且受数据量与标注不一致制约。

该研究用一路混合音频同时生成同处一室的双人 3D 表情、头姿、位移和眼球注视，以共享权重的双流扩散加跨说话人注意力解耦轮流，用两阶段数据策略兼顾交互与口型，并在用户研究中获得约 73 至 78% 的偏好，但推理依赖声纹分离出的说话概率与首帧空间条件。

针对只有全局共有与单模态私有两类表示会漏掉仅在两个模态之间成立的情感协同的问题，论文把表示分成公共、两两共享、私有三路并用子空间感知交叉注意力融合，在对齐与非对齐条件下报告了更低的平均绝对误差与更高的细粒度准确率，代价是更多分支与正则项需要逐项验证。

针对二语流利度评估中声学加文本的朴素双模态融合在转写含噪时会低于纯声学基线的问题，论文用声学自监督嵌入加 BERT 文本加六维心理语言学标记的三模态投影加 BiLSTM 融合恢复并超过基线，在 Speechocean762 上达到 82.60% F1、在 Avalinguo 上达到 95.84% F1，代价是依赖转写与三编码器拼接带来的额外计算量。

针对以人为中心联合生成中唇同步偏差与语义情绪脱节，UniAVGen 采用对称双分支加不对称跨模态交互、面部感知调制与模态感知引导实现单模型多任务生成，论文报告在更少联合样本下取得音色与情绪一致性优势，同时存在主体一致性未胜出与大模型打分客观性不足等边界。

针对直接联合训练让倾听分支塌缩为静态表情的问题，UniLS 用无音频自回归预训练学习内在运动先验，再用双轨音频交叉注意力微调实现端到端说听生成，在 Seamless Interaction 测试与 25 人偏好比较中报告说话对齐与倾听分布同时改善，代价是更大算量与仍缺语义理解。

该文把预训练瓶颈定位为监督源弱而散，用高保真描述器加统一标签系重建强监督，并在同量音频上比较多种目标，显示数据质量与覆盖决定泛化而目标决定任务分化，但域内事件任务仍需更大规模验证。

MoshiVis 冻结 Moshi 语音主干与 PaliGemma 图像编码器，只训练约 206M 门控交叉注意力适配层，并用无声图文加少量语音的单阶段混合训练实现看图对话，最强证据是语音提问下 OCR-VQA 与 VQAv2 接近微调 PaliGemma 而 L4 上每步只增加约 7 ms，代价是纯无声训练会破坏语音质量且长无关上下文仍会干扰切换。

论文以 M2D 自监督 ViT 为对象，用音频激活概率熵找出类特异神经元，报告其在未见任务上接近全类别覆盖与跨任务共享，并以不足 1% 神经元的失活验证其对分类的功能影响与局限。

论文以 96 个语言的类比成功率与声码器重合成声学测量为证据，说明自监督语音模型以线性方向编码音系特征并以向量尺度连续控制实现程度，但合成效果仍受声码器与上下文切分条件限制。

该文研究未见伪造方法下的泛化问题，选择先量化来源与生成器多样性的扩展规律再做异构数据混合，用 12k 小时 DOSS 加权训练在公开集和商用 API 集上超过 74k 小时基线，但大 Nc 与极端温度仍会退化且多语覆盖有限。

针对语音训练的伪造检测器在歌声上失效的问题，论文用对数梅尔谱、MFCC 与 Wav2Vec2 三专家加门控融合与 50/50 语音歌声联合微调，在 CtrSVDD 上报告 1.82% 等错误率并在 ASVspoof 2019 上保持 0.38%，代价是多分支推理开销与 SingFake 野外数据上仍高达 44.20%。

共收录 147 篇 aaai-2026 会议论文的 Reader 深度解读

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对文本角色扮演忽略语音自发性和人物声音一致性的问题，ActorMind 用眼耳脑口四智能体的现成推理流程组织语音合成，在 Friends 第一季构建的 7653 句基准上以 RP-MOS 取得平均 3.56 分的报告结果，但其评估依赖小规模主观打分且未训练模型参数。

针对连续西班牙语静音发音重建中说话人发音差异大且数据少的问题，论文提出每轮按音素平均误差自适应调整帧级损失权重的方法，在肌电和唇读两种模态上以字符错误率为主要证据显示多数说话人可懂度提升，但增益随预训练增强而减小且呈说话人依赖。

该文把攻击溯源做成验证问题，用自监督前端加角度间隔与混合正则训练与训练集完全隔离的嵌入器，在分布内用少样本后端取胜而在分布外用零样本余弦取胜，但两类等错率仍在 13% 至 30% 量级。

AEQ-Bench 用 1,885 个音频加文本实例把共情拆成生成回应与判断回应 2 类任务，用相同话语换语境和相同语境换语调 2 种对照进行测试，报告显示带音频输出的模型在自然度与语音表达上占优，而细粒度韵律自动评估仍不可靠，代价是依赖人工核验与粗粒度量表。