Logbook:把十几分钟到几天的不间断录音切成无空隙事件日志
Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述,用三套数据比较 52 种级联与端到端系统,发现任务可行但普遍过分割,微调能缓解而端到端在更长窗口上会退化。
Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述,用三套数据比较 52 种级联与端到端系统,发现任务可行但普遍过分割,微调能缓解而端到端在更长窗口上会退化。
论文用自采的英国口音金融语音基准 CavaBench,测量流式与离线语音识别在不同口音和噪声下的词错误率及其向大模型工具调用准确率的传导,发现总体强相关但任务关键 token 的保真度更能决定成败,而针对性微调能以较小延迟内存代价缩小差距。
MMPostTrainBench 让研究智能体在统一基座和预算下自主改进图像、音频、视频等多模态能力并用目标与非目标、迭代轨迹与合规审计来衡量,MMResearch 再用媒体证据关联、分层记忆与开发集确认的保留机制把提交准确率提高但仍只在所测四任务与预算内成立。
针对整体打分掩盖局部错误的问题,论文把预测目标改为引用、镜头和音频事件三组原子单元,用确定性规则查结构、用局部语言模型查语义,在 786 个视频上发现前沿模型局部感知强但跨镜头身份保持和音画关联弱,且格式修补补不回缺失信息。
论文用桌面尺度问答加城市步行长视频两类新赛道考查空间与听视觉推理,获胜方案多为多模型智能体管线而单一通用模型仍落后,代价是大量工具调用与计算开销。
论文用真实空间音视频搭建覆盖感知、对齐与推理的 1066 题基准和 611 题场景关联诊断集,12 个模型的证据显示听觉空间定位与跨模态组合是主要瓶颈,而显式空间线索能提升定位和联合匹配却难完全解决推理。
论文把原来手工测试的互动叙事生成评估做成公开网页平台,用去标识评分、自动试玩与事实和偏见检查来测文本代码图像音频视频与完整游戏,报告前沿模型整体分数更高但交互结构仍弱且出现无限思考与过度拒答的代价。
该文把“候选音频是否为原曲衍生版本” 作为成对判断,用 COPYCAT 的 35 万对比较检验了冻结的版本识别表征,并用坐标级位移分类器把总体 F0.5 从 0.612 提高到 0.803,代价是保留 512 维原始位移并依赖有监督训练。
ReTurn 用 7000 个配对任务测模型能否按当前请求选用历史问题或历史证据,最强证据是单轮到多轮中位准确率从 93.7% 掉到 72.3%,而复述请求与监督微调只能部分挽回且长对话冲突条件仍很弱。
论文在三种非洲语音上固定识别与验证后端、只替换编解码器重建音频,显示参考型结构与基频误差比神经 MOS 更能跟踪下游退化,且中码率 RVQ 相对稳定而极低码率语义压缩在识别可用时仍可能丢失声纹,轻量 LoRA 适配可部分收回识别损失。
论文把双人回馈模型搬到多人混合音频上发现预测头失效在先、跨听者泛化失效在后,用冻结特征探针、重训、条件化与对抗等对照定位到回馈行为本身的人际差异大而可迁移声学成分小。
针对原生全双工语音会在用户说完前开口的问题,论文用共享模糊前缀加可控停顿构造迟发意图基准,以提前响应率与有害或良性参与率联合评估四个模型,发现三者有害参与上升而一者全面退缩,且停顿放在意图揭示后则效应大减,但代码当前不可用限制了复现。
该研究用 1636 个问答和 20 组多轮对话检验语音智能体按文档作答的能力,发现级联系统接地最稳而端到端实时系统在长上下文和多轮后出现断崖与遗忘,且重注文档只对部分架构有效。
RMS-AQA 针对家庭具身助手需同时判断事件是什么、在哪何时发生的问题,采用先事件接地再条件推理的两段式选择题与 10 秒一阶 Ambisonics 片段,并用实测房间脉冲响应合成训练加真实录制验证测试的组合,证明轻量空间插件能大幅提升冻结音频语言主干的接地推理链,但并发声源、远场与仿真到真实差距仍是主要瓶颈。
该研究用 103 道切分数学题比较一次呈现原题、一次呈现拼接碎片与多轮递增披露三种语音输入,报告四款商用语音系统从拼接基线到分轮下降 5.0 至 25.3 个百分点、LEGO 三条件均为 77.5%,并指出必须保留两种单轮对照才能区分改写效应与多轮效应。
SEAR 把音频伪造检测拆成 verdict、证据识别与量化、取证解释四问,用 35 个声学特征的统计规则构造参考证据,最强证据是冻结模型的 BAEA-Fixed 在 19LA 上把 T1 EER 从 36.34% 降到 24.53%,代价是依赖稳定的真品参考分布且跨域收益明显变小。
针对黎凡特阿拉伯语内部差异大、正字法不标口音的问题,SHAMS 用 1300 条带音频的四层对齐语料同时测加符、字音转换、语音识别和音频到音素,并报告方言适配系统与大模型在各变体上的差距与代价。
该研究在 85.37 小时的五种伊比利亚语言加德语土耳其语对照上,用宏平均词错误率与实时因子比较十个开权重模型和一个商业 API,发现商用与受限模型领先、可商用开权重中 omniASR 系列与 Whisper 领先,而巴斯克语低覆盖与男性优势的性别差异构成主要代价。
针对近场榜单掩盖远场失效的问题,论文用新录消声语音与混合波形几何声学房间脉冲响应构造九条件不公开音频评测,报告平均词错率从近场 4.4% 升至静态低信噪比 41.3%、走动在匹配信噪比下增加约 1.3 至 2.7 个百分点、实测与仿真办公室误差平均约 1.7 个百分点,代价是单通道朗读英语与单点实测锚定限制了推广范围。
针对语音指令经转写后关键实体易被改写而词错率无法反映任务成败的问题,Talk2Agent 用 31.82 小时真人语音与固定下游智能体隔离评测语音接口,并以投影到提示可寻址意图的 Native 与 Shapley 免执行指标逼近真实执行,其代价是长提示口语化改写与工作区偏置仍不稳定。