注意力机制

针对 GMAW 角焊缝中难以实时发现的五类内部缺陷，论文用 16 帧图像与梅尔声谱的 3D 时序融合加跨块注意力将多模态 F1 提升至 0.99，并以 GradCAM 与 t-SNE 定位每类缺陷的图像关键区与更优模态，代价仅增加 0.1 GFLOPs。

论文将水下舰船识别形式化为开放集跨航次重识别，用航次级音频裁决去重与源纯画廊堵住录音复用捷径，提出原始波形 4 尺度选择性核编码器 SKANN 并在 40 船 IARA 画廊上显示 rank-1 仅 0.25 且去重本身就抹掉 16 至 21 个点的虚高。

RAFM-SER++ 以文本为查询、语音为键值的单向残差注意力替代双向跨模态 Transformer，结合 BYOL 式对齐与注意力池化，在 IEMOCAP 上达到 81.10% BACC、ESD 上 95.39% BACC，同时将可训练参数从 8.9M 降至 3.6M 并提升推理吞吐。

针对仅靠音频评估无法诊断唇动与语音时序错位的问题，论文用跨模态注意力显式建模帧级对齐并导出时滞轨迹与稳定性指标，在 8 类录制条件下以线性复杂度和可视化分析实现可解释的同步性诊断。

针对单模态易受噪声与信息缺失影响的问题，论文用 Wav2Vec2、MFCC 与统计声学特征经 BiLSTM 建模音频、用 ResNet50-BiLSTM 建模视频，并以多头交叉注意力做特征级融合，在 MELD 上微平均 93.7% 与 IEMOCAP 上 90.3% 准确率上验证效果，但未报告训练超参细节与统计显著性。

共分析 1 篇语音/AI 论文

针对长时同步音视频生成中视频连贯、音频连贯与跨模态同步三重耦合难题，Encore 以重叠运动帧迭代与参考锚点分工配合可学习的自适应信号路由实现无限长度生成，并在扩展的 VerseBench 上以更低的时序漂移与更高的身份与同步指标验证效果，同时保留高分辨率与语音能力。

针对低码率下仅靠语音表示难以保留上下文与发音信息的问题，论文在 MDCTCodec 上增加语义与图像两个辅助分支并用交叉注意力融合，以直接拼接的融合模式和蒸馏后纯语音推理的蒸馏模式组织实验，在 TaL80 上把 ViSQOL 从 3.86 提升到 4.01，代价是融合模式推理需要额外的唇部图像与预训练语义输入。

针对多人运动导致声学特征叠加与互反射延迟混叠的问题，SoundMHPE 用多尺度 STFT 编码器与每帧每人独立查询的时序解码器在 6 小时 AMP 数据集上实现多人 3D 姿态估计，并在 MPJPE 等指标上优于声学与 WiFi 基线，代价是需在受控室内采集与同步动捕数据。

在必须依赖声音的选择题上训练能提升准确率并同步增强对真实音频的行为敏感度，其内部机制是早期到中层先让音频塑造选项表征、再在中层到晚层强化选项对最终答案的贡献，而可学习的 LoRA 更新在模型特定的层带上起决定作用。

语音质量评估 | 7.7/10

多模态情感识别 | 5.0/10

音频生成 | 6.0/10

音乐生成 | 7.5/10

TARNet: A Temporal-Aware Multi-Scale Architecture for Closed-Set Speaker Identification

音频分离 | 7.5/10

语音识别 | 8.0/10

语音生物标志物 | 6.5/10

音乐转录 | 7.0/10

音乐分类 | 6.5/10