注意力机制

针对语音按时长定速、文本按语义变长造成的分布失配，SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导，在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率，代价是两段自回归带来的推理延迟。

针对自回归 TTS 整句打分太粗、难以定位个别错词的问题，论文用冻结 Whisper 交叉注意力算出注意力纯度与对齐单调性两个词级奖励，再做组内相对策略优化，在 CoSyVoice 上把域内 WER 从 5.25 降到 3.21、域外从 8.92 降到 4.54，代价是需要额外采样与 ASR 打分开销且未报告延迟。

针对会议幻灯 OCR 等长而 noisy 的上下文导致识别偏置词困难的问题，论文用两阶段剪枝加语音驱动池化先筛关键词再做识别，在 SlideSpeech 上报告 WER 7.71% 并在 LibriSpeech 上报告 WER 1.12%，代价是两阶段流水线与池化压缩带来的实现复杂度。

增量文本流式语音合成需要在线知道说到原文何处，X2-NativeCursor 用原生语音令牌加局部匹配做可修正估计再输出单调光标，在 80 毫秒前视下中文平均绝对误差 0.151 字，对比在线波形基线 320 毫秒前视下 1.253 字，代价是每个主干需单独训练观察器且对未见音色敏感。

针对 GMAW 角焊缝中难以实时发现的五类内部缺陷，论文用 16 帧图像与梅尔声谱的 3D 时序融合加跨块注意力将多模态 F1 提升至 0.99，并以 GradCAM 与 t-SNE 定位每类缺陷的图像关键区与更优模态，代价仅增加 0.1 GFLOPs。

论文将水下舰船识别形式化为开放集跨航次重识别，用航次级音频裁决去重与源纯画廊堵住录音复用捷径，提出原始波形 4 尺度选择性核编码器 SKANN 并在 40 船 IARA 画廊上显示 rank-1 仅 0.25 且去重本身就抹掉 16 至 21 个点的虚高。

RAFM-SER++ 以文本为查询、语音为键值的单向残差注意力替代双向跨模态 Transformer，结合 BYOL 式对齐与注意力池化，在 IEMOCAP 上达到 81.10% BACC、ESD 上 95.39% BACC，同时将可训练参数从 8.9M 降至 3.6M 并提升推理吞吐。

针对仅靠音频评估无法诊断唇动与语音时序错位的问题，论文用跨模态注意力显式建模帧级对齐并导出时滞轨迹与稳定性指标，在 8 类录制条件下以线性复杂度和可视化分析实现可解释的同步性诊断。

针对单模态易受噪声与信息缺失影响的问题，论文用 Wav2Vec2、MFCC 与统计声学特征经 BiLSTM 建模音频、用 ResNet50-BiLSTM 建模视频，并以多头交叉注意力做特征级融合，在 MELD 上微平均 93.7% 与 IEMOCAP 上 90.3% 准确率上验证效果，但未报告训练超参细节与统计显著性。

共分析 1 篇语音/AI 论文

针对长时同步音视频生成中视频连贯、音频连贯与跨模态同步三重耦合难题，Encore 以重叠运动帧迭代与参考锚点分工配合可学习的自适应信号路由实现无限长度生成，并在扩展的 VerseBench 上以更低的时序漂移与更高的身份与同步指标验证效果，同时保留高分辨率与语音能力。

针对低码率下仅靠语音表示难以保留上下文与发音信息的问题，论文在 MDCTCodec 上增加语义与图像两个辅助分支并用交叉注意力融合，以直接拼接的融合模式和蒸馏后纯语音推理的蒸馏模式组织实验，在 TaL80 上把 ViSQOL 从 3.86 提升到 4.01，代价是融合模式推理需要额外的唇部图像与预训练语义输入。

针对多人运动导致声学特征叠加与互反射延迟混叠的问题，SoundMHPE 用多尺度 STFT 编码器与每帧每人独立查询的时序解码器在 6 小时 AMP 数据集上实现多人 3D 姿态估计，并在 MPJPE 等指标上优于声学与 WiFi 基线，代价是需在受控室内采集与同步动捕数据。

在必须依赖声音的选择题上训练能提升准确率并同步增强对真实音频的行为敏感度，其内部机制是早期到中层先让音频塑造选项表征、再在中层到晚层强化选项对最终答案的贡献，而可学习的 LoRA 更新在模型特定的层带上起决定作用。

语音质量评估 | 7.7/10

多模态情感识别 | 5.0/10

音频生成 | 6.0/10

音乐生成 | 7.5/10

TARNet: A Temporal-Aware Multi-Scale Architecture for Closed-Set Speaker Identification

音频分离 | 7.5/10