数据集

共分析 137 篇 ICML 2026 论文

PianoBench 用同一钢琴片段的音频和乐谱文本两种输入考查模型，发现开源音频模型几乎不能从声音中提取答题线索，而前沿模型在给定显式音符加思维链时可达 93.2%，交错排列的教学讲解与演奏记录则能把 Qwen 3.5 9B 无思维链的文本推理从 42.8% 提升到 56.0%。

论文针对人工评定治疗师人际能力费时费力的问题，公开了 890 段标准化回应的去标识化多模态数据集 Therapy-FIS 并划分只看治疗师和同时看医患双方两种预测任务，基线 DyadicFIS 在跨被试五折下取得最高的与人工评分一致性但均方误差并非最低且结论只在该标准化角色扮演和派生特征条件下成立。

针对方言标注语音稀缺但方言网络音频丰富的问题，论文用每方言约 60 小时人工标注训练偏向识别的自监督标注模型来转写方言匹配音频并经筛选与噪声学生精炼得到 39028 小时弱标注语料，独立训练的方言专用模型在 GigaSpeechBench 上达到 23.86% 平均词错误率并在外部语料上保持可迁移的提升，但多方言自动路由仍有可测量的误差代价。

Rel2Traj 针对多声源相对运动约束问题，把描述解析为关系图与锚点后联合生成轨迹再渲染双耳音频，在未见过的运动与关系组合上关系满足率达到 0.983，代价是轨迹抖动较大且依赖受控语言与合成数据。

针对合成语音经扬声器播放再被麦克风录制后伪造痕迹被掩盖的问题，ReplayFactor 用自监督表示加声学先验融合与双属性多任务对比学习来分离来源与回放线索，在 EchoFake 开放集上把宏观 F1 从 60.99% 提高到 76.44%、等错误率从 11.86% 降到 3.05%，代价是需要四类标注和更大的联合训练开销。

针对小提琴起音柔和导致先切音符再分类不可靠的问题，VioTech 用冻结声学编码器加多尺度专家与任务路由做 10 毫秒逐帧预测，在跨数据集上提升了拨弦与跳弓等瞬态技法的检测，但换弓点检测下降且泛黄音仍困难。

ARPEGE 用 6 个空房间的 248 个球形阵列房间脉冲响应和几何标注来支撑镜像声源定位与语音盲估计房间参数两类任务，实测显示近距离一阶镜像声源召回率达 97.3% 但高阶迅速下降，而语音估计的表面积与体积误差在多位置融合与指向性声源训练下可降至 35 平方米和 30 立方米，房间 1 的几何大误差则标定了方法的适用边界。

本文针对整句说话人相似度无法定位口音差异的问题，提出整句打分加子词标注的分段评测流程，用 200 对内容匹配的苏格兰和澳大利亚语音实验证明局部标注能给出不同于整句打分的系统排序，而七种客观距离与听辨标注最多只有 0.22 的弱相关。

论文解决多分钟用户生成视频的内嵌式音频描述问题，用 36 小时盲聋共创标注和 TTS 渲染加判分模型的端到端评测证明加时间约束提示可大幅减少压话但叙事节奏仍落后于人工。

MixCardBench 把 10 秒多声源混音拆成逐声源的结构化卡片来分别考查发现与描述，用保留真实事件结构的合成流水线得到 4884 个场景和 9618 张卡，最强模型平均卡片字段分也只有约 60%，且声源越多检出越难。

本文新增 18 个高质量立体声源经双耳线索失真与对话增强处理得到的 148 对信号及实验室 MUSHRA 评分，并连同既有子集合并为 688 对信号与 18984 条评分的统一资源，为空间失真主导的客观质量评价提供可复用基准。

论文提出从单目视频生成可自由漫游的 4D 视听场景的新任务，用前景背景分解重建几何与轨迹，再以双空间扩散同步生成可重渲染的声源信号，在 SonoScene4D 上空间方向与语义一致性优于基线，代价是依赖多个现成重建与生成模型且只建模直达声。

V33DA 把已检测到的每声鸣叫归给当时可见的某只斑胸草雀，用随身振动信号定真值并扣留该通道，再以三套划分检验熟悉个体识别与可迁移空间归属，代价是单装置、单发声事件与有限无线电特征。

论文针对孟加拉语缺少长音频和说话人标注的问题，用频道筛选加字幕过滤加自动说话人切分做出 885 小时弱监督语料，并以四系统零样本与微调对比证明情感化方言内容最难而微调能明显降低词错误率。

论文针对音乐编辑缺少配对目标而无法区分保持原貌与执行改动的问题，用 MIDI 符号层干预加同一 SoundFont 渲染构造源与目标配对音频，并证明常用指标下文本相符与目标相符会给出不同系统排序。

论文要解决跨数十到上百小时视频的细粒度时空推理问题，用与问题无关的持久记忆加按需检索和三类技能的 4DMemory Harness 把任务时长与模型原生窗口解耦，在 5214 题上最高联合成功率 77.79% 但分布式计数等仍是短板。

论文用先分 5 个粗类别再在类内细分 25 类的方法降低混淆，以 0.2004M 参数的 FTANet 在自建集粗分类达 95.45%、25 类任务从 71.32% 提升到 81.49%，代价是两阶段推理时间从 0.2170 s 增加到 1.2390 s。

论文比较同一批学习者英语回答上的声音分类器与文本零样本分类，完整文本下音频总体更准但优势随水平和输入量变化，而两者融合明显更好，但结论只在六种母语、A1 到 C1 的平衡评测条件下成立。

AdShot 用 823 对 30 秒到 15 秒的真实广告考多模态大模型选镜头，最强 F1 仅 0.676 且时长误差常超 5 秒，架构与音频比参数规模更关键并伴随重信息轻行动的内容偏好。