注意力机制

针对注意力编码器解码器语音基座模型在无语音与弱证据下产生无声学支撑文本的问题，AURA 冻结原模型并只编辑解码器交叉注意力的少量头输出，用交叉注意力不确定性做逐词门控，在非语音上把幻觉率从 89.18% 降到 1.94%，代价是训练轮数增加后干净语音词错误率上升的权衡。

针对卢旺达语正字法省略声调与音节时长导致端到端合成语调难的问题，该工作用词素编码器加音素到词素交叉编码器替换 VITS 文本编码，在 10 千句可懂度与 21 人主观评测上提升自然度与语调，但以 169M 词素参数与训练时长增加为代价且对未见词素敏感。

XSQ-AST 用冻结的 SQ-AST 做多维度打分、用 WhisperX 做音素对齐、用显著性加核密度估计定位时间毛刺，40 人听音验证显示 Rollout 等方法与听众标注呈中等相关且 AUC 高于随机，但不同伪影类型最优方法不同且存在未评测边界。

针对一阶 Ambisonics 在旋转与镜像下方向变化而声源不变的问题，EquiSELD 用不变标量与等变强度向量双流加等变注意力实现严格 O(3) 等变，在 TAU2021 上以 0.40 的综合分超过基线并以约 19 倍更少训练耗时超过已有等变网络，但在 STARSS23 真实场景上优势收窄且仍受类别覆盖与仰角先验限制。

论文研究视频字幕与语音转写在流式条件下如何决定每写一个词可见多少源，用单参数幂律窗口替代固定等待，在三个公开集上以 29M 解码器在低延迟处保持质量并给出结构化不偷看证明，代价是长度估计与单轮运行噪声仍需复核。

针对带噪语音中浊音谐波易被抹掉且 PESQ 不可微的问题，HAMMER 用时间-频率并行注意力-Mamba 加自相关前馈建模周期性，并用软化 PESQ 加可微 LLR 直接优化，在 VoiceBank+DEMAND 上报告 3.69 PESQ 和 4.41 COVL，推理时对比度拉伸可到 3.79 PESQ 但背景分随之下降。

针对自动视频面试只给分数而缺乏可检查依据的问题，E-AVI 选择先抽取带时间戳的结构化多模态证据再做维度条件打分，在 RecruitView 上把 MAE 从 0.641 降到 0.607、Spearman 从 0.440 提升到 0.541，代价是提取阶段仍是 83.3% 困难样本的瓶颈且推理依赖 15 秒级抽取开销。

针对深度与双耳音频简单拼接会丢失几何语义关联的问题，CTAN 用双向重构交叉注意力做主动语义增强、用门控时间记忆桥接听觉死区，在 Replica 与 Matterport3D 未见环境中相对 SoundSpaces 基线提升了未听过声音下的成功率与路径效率，但消融显示各模块贡献与听觉死区恢复能力仍受场景规模与声音泛化条件限制。

该研究把 AASIST2 图注意力层拆成打分对称性、温度可学习性与路由粒度三条残差分支，在统一 LoRA 条件下用五个评测集和五个随机种子检验，发现 LearnT 平均统一等错误率最优而 GATv2 与 LearnT 联用反而明显退化，说明分支之间是非可加的相互作用。

针对自回归语音模型在长提示下跳过与幻觉导致的最坏词错率飙升，论文提出只在检测到失败时回滚并临时加硬注意力掩码的 LACI，用 10 种子最坏值在 1500 词以上把 35.2% 降到 3.4%，代价是需要保留对齐头与设置重试上限。

针对未见伪造攻击泛化难的问题，CRAF 以 SSL 为主、ALLM 为高层引导做残差感知融合，在 ASVspoof 5 上 Kimi-Audio 配置报告评估 EER 为 5.96% 与 minDCF 为 0.1192，但攻击间差异与门控依赖仍是代价。

论文报告六说话人描述任务基线低于随机猜测，用 100 个头的注意力对数偏置把输出转向目标到 90% 以上，而纯文本任务选出的头可原样迁移，但饱和强度下增益多来自提示与汇点且随机对照本身波动极大。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

论文追问句级语音语义向量是否还残留可用的说话人信息，用与各自对齐几何一致的音频减文本残差做无监督聚类检验，并用冻结编码器的说话人分割层权重与帧级注意力分布定位信息位置，最强证据是按句聚类准确率仍高达 0 点 96 以上而按说话人聚类接近随机，代价是该结论只在朗读平行语料与特定分割流程下成立。

该文在因果多通道 TF-GridNet 基线上把复谱回归改为有界幅度掩蔽加混合相位复用并配多分辨率谱损失，方法 2 再把全局 FiLM 换成 16 个说话人令牌的交叉注意力 FiLM，在 CHiME-9 开发集上以频率加权信噪比下降为代价换取 Csig 感知质量提升且保持 20 毫秒算法延迟。

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

该研究用图片描述语音的声学流畅性与文本流畅性双路特征加注意力多示例学习，在 742 人 SONIVA 语料上不依赖影像预测中风状态、偏侧、体积三分级和 12 个半球脑叶受累，并报告左半球偏文本、右半球偏声学的特征依赖梯度与定位性能差距。

针对 Transformer 解码器非因果交叉注意力导致的长删除与重复幻觉，该文提出只在推理时逐 token 右移注意力质心并钳制跳变的方法，在 LibriSpeech 四集上相对基线平均降低 8.9% 词错误率，代价是引入 δ、β、ν 三个需在开发集上调参的启发式阈值且不改变模型参数。

针对语言、视觉、声音互相冲突时融合不可靠的问题，CICA 先让每个单模态编码器输出置信度和不确定度，再用它们调制融合注意力，在 MOSI 上报告 MAE 0.630 和 Corr 0.855、在 MOSEI 上报告 MAE 0.489 和 Corr 0.856，代价是需要两阶段训练并保留互信息正则以防止文本主导时压垮其他模态。