Transformer

共分析 133 篇 ICLR 2026 论文

本文针对听诊设备、部位和病人差异干扰呼吸音分类的问题，在音频频谱变换器中引入元数据调制，其中软分解调制在官方划分上取得四分类 64.11% 和二分类 72.40%，代价是增加不到 1% 的参数并需要完整的元数据输入。

针对合成平板混响脉冲响应中未知数量的模态频率、衰减和增益三元组估计问题，论文用计数密度网络同时预测总数与频率分布并解码为整数个模态，在 100 条独立合成脉冲响应的对比中总体误差低于所评估的经典基线，但增益误差仍是主要误差来源，且结论只在相同合成器与频段条件下成立。

针对本地音乐应用在导入时需快速、小体积估计调性的问题，论文用确定性色度模板打分做初排，再用 2 万参数的 Transformer 结合帧级色度上下文做残差纠正，在 1000 首密封 FMAKv2 上把 MIREX 从 61.08 提高到 73.55，代价是增加 115 KB 模型和 76.7 MB 含 ONNX Runtime 的安装体积与每首 0.32 …

论文针对多人遮挡和看不见目标人脸时声画对应失效的问题，用同时可见人脸之间的上下文推理和注册语音身份推理来补证据，在五个基准上提升了检测精度，并在视觉缺失下保留注册说话人检测能力，但增益集中在拥挤困难条件且注册分支依赖事先录入语音。

论文把电动车内风噪、胎噪、动力总成与辅驱噪声的分解做成有监督双耳分离，用混合时域频谱 Transformer 在物理合成数据上训练，单车合成上宽带分量可分但弱 tonal 分量受限，实测迁移只部分成立且工况条件注入未带来增益。

本文要解决整首钢琴录音直接转写成乐谱时的拍号节拍定位与自动分段问题，方法是联合学习表示小节内相对位置的下拍相位并用其傅里叶编码条件化解码器，最强证据是整首转录在节拍结构指标上显著提升，代价是相位与乐谱模型只在合成演奏上训练、在真实 expressive 演奏上仍有泛化缺口。

针对合成板混响脉冲响应反推六个有效物理参数的问题，论文用共享编码器分别做直接回归与条件连续归一化流，再经可微合成器梯度下降或粒子群优化精修，在 100 条合成留存数据上把波形与参数误差降低三个数量级以上，但结论只在匹配合成条件下成立。

针对植入式语音脑机接口数据少噪声大、常用音素加语言大模型流水线又重又丢信息的问题，论文提出两阶段轻量框架 BEST，用分层神经编码加音素字符融合再接到小型语音翻译器，在 Brain-to-Text’24 和’25 上以远小于基线的参数取得低词错率，并证明对齐比放大模型更关键。

针对移动声源的双耳音频驱动人体动作生成问题，MOMO 用声源定位网络估计头中心方向加 CLAP 理解音频内容再做扩散生成，在 DySAM 测试集上取得更好的对齐和物理合理性，但结论只在室内单声源采集条件下成立。

该研究用 740 段孟加拉语朗读语音做痴呆与非痴呆分类并用转写文本做补全，语音长短期记忆网络报告 97.30% 准确率、文本最好约 83.7%、补全测试约 59.74%，但结论只在朗读式小样本和转写校正条件下成立。

论文用 7 次智能音箱对话的视频音频文本做成四维张量，以分层 Transformer 同时建模单次内的疲劳斜率和多次间的漂移，在 35 人数据上以 5 折准确率 0.733 报告优于单次基线，但样本小且方差大。

该文把节拍跟踪拆成先学局部等脉冲塔图姆网格再在网格上判断每拍含几个脉冲、每小节含几拍，用可微分的网格加子网格分布代替逐帧独立概率，在下拍连续性上超过同基座的无后处理基线，但平均仍落后于带动态贝叶斯网络的最优方法，且网格漏拍会直接限制最终上限。

LiveSynth 用流式 MIDI 加 CLAP 音色向量逐帧生成连续音频隐变量再经因果 VAE 解码，在 NSynth 和 Slakh 上取得与离线基线可比的音色相似度和更低的频谱距离，代价是音符准确率和制作质量偏低，且实时性结论只在 M3 MacBook Air 上 10 ms 帧长下成立。

论文把混合音频的取证从整段二分类扩展为语音与背景各自的存在与真假八分类，用分离引导加混合波形与伪影证据联合推理的 TruMix 在 MixedTruth 上达到宏平均 AUC 约 98.51%，代价是约 98.8M 参数的多路 Transformer 与结构化推理流程。

针对非音乐音频到符号音乐的一对多转换问题，Sori 用只在音乐音频上训练的编码器加双解码器结构配合域对抗训练和无分类器引导，在 AudioSet 评测上用连续参数控制贴合输入与音乐性之间的权衡，并以平均实时率 0.82 在消费级 CPU 上实现流式推理。

论文要解决 Whisper 只出词而丢掉呼吸笑声喇叭声的问题，用统一七个异构数据集的卷积加 Transformer 每 40 毫秒输出 54 类概率的做法，在重叠留出数据的留出集上敏感档找到约三分之二事件但宏观精度只有 0.30，代价是阈值与评估都偏乐观且弱类仍不可用。

论文用固定流程在不同最大上下文上分别训练小型因果 Transformer，发现民谣记谱中长上下文增益主要来自对展开的重复段落的原样拷贝，而演奏录音上增益小且早早放缓，代价是更长的注意力跨度和更不稳定的拷贝习得过程。

论文研究如何让符号音乐生成模型弹出可辨认的爵士钢琴家风格，用门控交叉注意力注入演奏家身份，并用分类器一致率与合成数据迁移准确率证明风格被保留，代价是增加约 12% 参数与分类器评估依赖。

本文针对音频时刻检索中解码器预测不准短时刻的问题，对比同一模型的两路输出，发现用无学习参数的峰相对切分把帧级显著性序列直接转成时刻，在 CASTELLA 上显著优于解码器，而训练仍需要解码器监督，实验基于已披露的 200 轮、批量 32、AdamW 学习率 1e-4 等配置。