注意力机制

针对自回归语音模型在长提示下跳过与幻觉导致的最坏词错率飙升，论文提出只在检测到失败时回滚并临时加硬注意力掩码的 LACI，用 10 种子最坏值在 1500 词以上把 35.2% 降到 3.4%，代价是需要保留对齐头与设置重试上限。

针对未见伪造攻击泛化难的问题，CRAF 以 SSL 为主、ALLM 为高层引导做残差感知融合，在 ASVspoof 5 上 Kimi-Audio 配置报告评估 EER 为 5.96% 与 minDCF 为 0.1192，但攻击间差异与门控依赖仍是代价。

论文报告六说话人描述任务基线低于随机猜测，用 100 个头的注意力对数偏置把输出转向目标到 90% 以上，而纯文本任务选出的头可原样迁移，但饱和强度下增益多来自提示与汇点且随机对照本身波动极大。

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

论文追问句级语音语义向量是否还残留可用的说话人信息，用与各自对齐几何一致的音频减文本残差做无监督聚类检验，并用冻结编码器的说话人分割层权重与帧级注意力分布定位信息位置，最强证据是按句聚类准确率仍高达 0 点 96 以上而按说话人聚类接近随机，代价是该结论只在朗读平行语料与特定分割流程下成立。

该文在因果多通道 TF-GridNet 基线上把复谱回归改为有界幅度掩蔽加混合相位复用并配多分辨率谱损失，方法 2 再把全局 FiLM 换成 16 个说话人令牌的交叉注意力 FiLM，在 CHiME-9 开发集上以频率加权信噪比下降为代价换取 Csig 感知质量提升且保持 20 毫秒算法延迟。

ActAvatar 针对说话化身中文本动作控制粗糙与时间错位问题，采用分阶段提示与分层音视频调制，在保持口型同步的同时实现相位级动作控制，最强证据是动作基准上命中率与时间正确性领先，但深层调制与两阶段训练带来实现与数据构造代价。

该研究用图片描述语音的声学流畅性与文本流畅性双路特征加注意力多示例学习，在 742 人 SONIVA 语料上不依赖影像预测中风状态、偏侧、体积三分级和 12 个半球脑叶受累，并报告左半球偏文本、右半球偏声学的特征依赖梯度与定位性能差距。

针对 Transformer 解码器非因果交叉注意力导致的长删除与重复幻觉，该文提出只在推理时逐 token 右移注意力质心并钳制跳变的方法，在 LibriSpeech 四集上相对基线平均降低 8.9% 词错误率，代价是引入 δ、β、ν 三个需在开发集上调参的启发式阈值且不改变模型参数。

针对语言、视觉、声音互相冲突时融合不可靠的问题，CICA 先让每个单模态编码器输出置信度和不确定度，再用它们调制融合注意力，在 MOSI 上报告 MAE 0.630 和 Corr 0.855、在 MOSEI 上报告 MAE 0.489 和 Corr 0.856，代价是需要两阶段训练并保留互信息正则以防止文本主导时压垮其他模态。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对视频生音频中多事件时间不可控与画面线索不足的问题，FoleyDirector 用 1 秒一段的结构化时间脚本加适配器做细粒度时间控制，在 DirectorBench 上把总体 F1 从 0.2451 提升到 0.4819，代价是需要逐段脚本标注与双路推理。

针对仅用正常录音训练时自编码器会重建异常输入的问题，该研究把每段音频压缩为一条 LPC 谱包络并只用正常字典的记忆加权来重建，在 MIMII 上以 90.6% 平均 AUC 超过 GRLNet 的 77.2%，代价是 Toy-conveyor 这类依赖细粒度时频线索的机器类型上 LPC 平滑可能削弱区分性。

针对只有正常机声可训练的异常声音检测，该文用两层 MuReNN 加注意力与可训练幂变换提取谱时调制并以 Deep SVDD 把正常样本压向超球面中心，在 MIMII 上平均 AUC 达 90.3%，代价是在 -6 dB 强噪声下落后于带去噪重建的 DeSpaWN。

针对带环境噪声的插入与替换编辑问题，SeamlessEdit 选择先用分离模型分出人声与噪声、再用稀疏贝叶斯与滤波压残留噪声并做语境精修，在 EARS-WHAM 上把插入自然度做到 3.78 而基线 VoiceCraft 仅 2.93，代价是仍需依赖现成分离与编辑模型且对女声高频与重叠说话人保留残留问题。

该文把声场重建写成从稀疏测点集合到任意查询点幅值的算子学习，用分支网编码麦克风坐标与幅值、主干网编码查询坐标并以交叉注意力聚合，在 32×32 训练网格上训练后可直接查询 64×64 细网格，并在 64 或 128 个测点时报告优于扩散基线，代价是 256 个测点时基线反超且本文只重建幅值不重建相位。

针对切分学习中 ViT 中间激活传输开销大的问题，论文提出先按 CLS 注意力聚类合并样本再按簇质心保留 Top-k 令牌的 ADC，在固定通信预算下用更少样本和更短序列完成前后向，并在 DeiT-T/S 上以更低压缩比保持精度，代价是客户端约 5.1% 的 K-means 聚类开销。

该研究用一路混合音频同时生成同处一室的双人 3D 表情、头姿、位移和眼球注视，以共享权重的双流扩散加跨说话人注意力解耦轮流，用两阶段数据策略兼顾交互与口型，并在用户研究中获得约 73 至 78% 的偏好，但推理依赖声纹分离出的说话概率与首帧空间条件。