Transformer

针对跨通道矛盾定义的犹豫与矛盾识别问题，论文选择显式建模模态差异的 9 token Transformer 路线，在 BAH 标注测试集上报告 0.7408 Macro F1，代价是小数据下额外 token 带来的过拟合风险与多窗口训练成本。

共分析 36 篇语音/AI 论文

针对被动视觉缺失与误导导致的音频视觉导航失败，论文用高层 Transformer 令牌融合选 3×3 局部目标、低层碰撞惩罚图规划转原子动作，在 Replica 与 MP3D 的听过与未听过电话声划分上报告了路径效率与成功率提升，但碰撞图依赖静态假设且仍受深度噪声与仿真条件限制。

共分析 29 篇语音/AI 论文

该文在约 400 小时面对面双人对话上把注视、头部、身体手部与面部动作单元接入语音活动投影模型，最优结构以交叉注意力加三帧差分与早期门控把语音活动投影损失从 2.166 降到 2.100，面部动作单元是最强的单一视觉组但全量组合仍最好，代价是需要多模态特征提取与更大的推理开销且划分不是按会话对隔离。

针对救护车、消防车、警车与道路背景四分类问题，AVNet 用逐秒对齐的视频查音频交叉注意力做融合，并用单模态教师的软分布蒸馏融合分支，在 281 个 AudioSet 测试片段上融合达到 66.6%，但消防车出现融合低于纯音频的反例且模型容量受限于 D 等于 128。

论文把传统编码再经神经音频编解码器转码后的来源识别定义为取证缺口，用分层因果与时序注意力建模 RVQ 序列，在固定码率下取得 97% 以上准确率，而 18 类联合任务为 89.34% 且高码率 MP3 与 Opus 仍易混淆。

该研究把时间戳与说话人归属做成对给定转录本的单遍占位填充，用双向大模型同时输出全部标签，在相同训练数据下比同类自回归模型更准且标注快一到两个数量级，但流水线总速度仍受前置语音识别限制。

共分析 59 篇语音/AI 论文

论文针对日常录音下声音亲缘验证线索稀疏且跨库泛化难的问题，选择卷积局部编码加变换器长程聚合与注意力池化的两阶段度量学习路线，在自建普通话非受控库 ARKIN 上报告 CONVTRAP-TN 优于三元组基线，但从 KAN-AV 跨库到 ARKIN 时性能大幅下降且少量微调难以恢复。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

该报告研究如何在作曲家可控与实时可演之间组织计算音乐流程，以分析—规划—实现分层、数据驱动合成与前向预测节拍为方法选择，以乐团读谱与现场演出等实际呈现为证据，代价是未报告受控定量比较与可运行系统的完整参数。

共分析 19 篇语音/AI 论文

论文要解决肌电信号不可听不可判导致的生成模型难调试问题，选择先用含音频的七通道数据找架构再转六通道肌电的策略加两个残差向量量化变分自编码器与交叉注意力解码器 Transformer，最强证据是七通道实验中成功配置重建多样性恢复而过大隐维度配置坍缩，代价是六秒序列限制与推理仍需音频起始符。

针对现场钢琴对话中缺力度、无明确轮次和输出延迟破坏节奏的问题，论文用四元组力度建模加 ggml 加速、脚踏开关标注的呼应微调与逐音符延迟补偿来回应，最强证据是逐音符补偿把节拍对齐中值提高到 0.7834 而无补偿仅 0.0678，代价是上下文能装的音符数从 341 降到 256 且风格仍局限于单人专家数据。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

音频时刻检索要求在数分钟录音中按自由文本返回起止时间，基线用 MS-CLAP 加 QD-DETR 在开发测试集上 Recall1@0.7 为 13.56%，前三名以更强特征与检测网络加分数校准或多分辨率集成达到 48.59%，代价是更复杂的特征组合与后处理。

TokenMapper 针对同有效帧率但码本结构不同的语音分词器做离散域直接翻译，在 GLM、Moshi、DualCodec 六个方向上把跨模型词错误率控制在接近原生重建 2.5-6.8 个百分点内，并以省去波形桥接换来 4.8-94.5% 的传输路径延迟下降，但多码本残差声学细节仍是主要代价。

共分析 27 篇语音/AI 论文

针对一秒脉冲响应要估计数千个密集模态的问题，该工作用音频频谱变换器看全局结构、用动态模态分解提供局部衰减先验，在 1000 条验证上把总相对误差从 1.976 降到 0.867，但增益误差仍高达 0.907 且模态计数偏差仍大。