注意力机制

共收录 52 篇 odyssey-2026 会议论文的 Reader 深度解读

针对多语说话人带来的身份偏置问题，该工作用说话人门控动态加权同说话人与跨说话人两个神经 PLDA 语言专家，在盲测上报告验证等错误率 19.13% 与识别宏平均准确率 78.94%，代价是两阶段数据复用导致开发集显著乐观。

针对脉冲神经网络在语音命令识别中时序建模弱的问题，论文提出多视角脉冲时间感知注意力与上下文精炼 MLP 构成的 SpikCommander，在 SHD、SSC、GSC 上以 100 时间步取得更高精度，代价是更长的时序展开与更复杂的分支结构。

针对流利度评分既要看整体节奏又要抓局部停顿且等级有序的问题，该研究用专家特征锚定 Whisper 时序表示做深度融合，并用距离感知的顺序平滑损失建模等级远近，在 SpeechOcean762 上报告 83.40% 准确率，代价是依赖冻结声学表示与有限人群验证。

针对多人对话中谁在何时说话与内容难以联合对齐的问题，TellWhisper 在语音编码器内用时间说话人旋转位置编码联合建模时间与说话人活动，并用双曲空间说话人日志估计帧级活动，在真实会议数据上取得内容加说话人加时间的一致改进，但支持说话人数限于 1 至 4 人且编码器与双曲分类器仍处在不同几何空间。

该工作在 SeamlessM4T 编码器每层加入预测未来帧数的调度器并用滑动窗口重翻译与改造版 StreamAtt 进行验证，最强证据是改造版 StreamAtt 在英德 4 秒块取得 1976 毫秒延迟比基线快 817 毫秒，主要代价是两种策略下翻译质量均系统性低于未修改基线。

针对纯因果状态空间模型难以全局检索频域伪造痕迹的问题，论文提出 XLSR 前端加 Mamba 与注意力混合后端的模块化框架，最强证据是 MamBo-3-Hydra-N3 在三组跨域评测上取得有竞争力的等错误率，代价是堆叠深度与变体选择敏感且浅层检查点方差大。

针对教师情感的表演性与教学情境依赖问题，该研究构造 14,938 条四模态 T-MED 数据集并提出以音频为中心的非对称注意力模型 AAM-TSA，在 T-MED 上报告加权准确率 86.84% 与加权 F1 值 86.37%，代价是依赖视频转文本描述与教学信息输入且未公开可验证代码数据链接。

针对普通话四声在脑电中细微难分且跨人易失效的问题，CAT-Net 用脑电与肌电双分支时空编码加双向交叉注意力融合与域对抗训练，在 20 个脑电通道加 5 个肌电通道上报告了默读 88.08% 与出声 87.83% 的五折精度以及留一被试 85.10% 与 83.27% 的跨被试精度，但消融显示去掉融合与单模态后精度大幅下降且重度异常被试仍明显偏低。

针对对话多模态情感识别中高阶跨模态交互不足与多目标梯度冲突问题，论文用模态特异低秩多项式融合做表示、用三目标帕累托梯度协调做优化，在 IEMOCAP 上报告 75.42% 准确率、在 MELD 上报告 68.47% 准确率，代价是每轮训练比单分支基线多约 0.66s 的小规模二次规划开销。

针对仅用咳嗽声会丢掉年龄症状等背景风险、简单拼接又学不到两者配合的问题，DeepGB-TB 用表格概率嵌入加一维卷积做两路表示、双向交叉注意力做相互提炼、漏诊加权损失压低假阴性，在 1105 例七国数据上报告 AUROC 0.903 与 F1 0.851，代价是依赖回顾性病例对照数据与特定预处理和调参条件。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对 Whisper 在噪声下出现流畅但错误转写的幻觉问题，论文用自适应层注意力融合编码器分块表征再用多目标蒸馏对齐干净教师，印地语 -10 dB 等低信噪比下同时降低词错误率并提升语义分，同时增加约 0.98% 参数和约 8% 推理延迟。

针对改乐器风格情绪时旋律节奏易丢失的问题，Melodia 在冻结的 AudioLDM 2 上做部分逆向并只替换 8 到 14 层自注意力图来保结构，探测分类与三数据集主客观实验支持其在文本贴合和结构保持间的平衡，但综合分依赖跨方法归一化且未报告延迟与误改成本。

针对音素到词到语句单向建模不足与分层加深导致初始编码遗忘问题，论文提出双向交互注意力加残差分层的 HIA 框架，在 speechocean762 上以音素词句多指标领先为证据，代价是小数据下增大容量反而难优化。

针对端到端语音翻译只对齐文字内容而丢失重音与情绪的问题，论文用语音编码器与风格编码器双分支加分层最优传输和注意力检索来分离并再融合两类信息，在 ContraProST 上提升方向性约 5.0 点、全局约 4.5 点，在 CoVoST-2 上 2B 平均提升 0.43 BLEU、8B 提升 0.98 BLEU，代价是两阶段训练与额外风格编码器开销。

针对语音按时长定速、文本按语义变长造成的分布失配，SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导，在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率，代价是两段自回归带来的推理延迟。

针对自回归 TTS 整句打分太粗、难以定位个别错词的问题，论文用冻结 Whisper 交叉注意力算出注意力纯度与对齐单调性两个词级奖励，再做组内相对策略优化，在 CoSyVoice 上把域内 WER 从 5.25 降到 3.21、域外从 8.92 降到 4.54，代价是需要额外采样与 ASR 打分开销且未报告延迟。

针对会议幻灯 OCR 等长而 noisy 的上下文导致识别偏置词困难的问题，论文用两阶段剪枝加语音驱动池化先筛关键词再做识别，在 SlideSpeech 上报告 WER 7.71% 并在 LibriSpeech 上报告 WER 1.12%，代价是两阶段流水线与池化压缩带来的实现复杂度。

增量文本流式语音合成需要在线知道说到原文何处，X2-NativeCursor 用原生语音令牌加局部匹配做可修正估计再输出单调光标，在 80 毫秒前视下中文平均绝对误差 0.151 字，对比在线波形基线 320 毫秒前视下 1.253 字，代价是每个主干需单独训练观察器且对未见音色敏感。