长音频流里记住声源并更新属性:AMemOps 如何拆开识别、保留与更新
AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。
AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。
DuplexAct 把边听边说的交互拆成 8 个动作和 24 种条件,用立即执行与后续跟进两段成功率评价 14 个模型,发现能力分布不均且后续跟进普遍偏弱。
HMU-Bench 用 1029 对乐谱问答和 460 对音频问答考查同一批全模态模型,最强系统乐谱得分接近 3.9 而音频最高仅 1.33,且两类排名几乎无关,局部困难音频与移调八度错误进一步暴露了评分与定位短板。
论文把 WAXAL、BibleTTS 与 Mina 三处埃维语资源去重拼成 174.82 小时固定评测基准,并在其上微调 Whisper 与 AfriHuBERT,最好的 Whisper-medium 在 1443 句固定测试集上词错误率为 37.98%,代价是仍有标点与变音符号带来的虚高误差和专有名词脆弱性。
OmniCompass 针对视频理解只考问答或只用文字指代的问题,用同一目标的文字与图文配对、视觉与视听双轨道、时间定位加空间定位加问答三任务来诊断模型,并用 50 个模型的评测显示问答强而定位弱、跨指代不一致、开源模型在视听绑定上差距更大,但多帧与时间戳等输入预算会改变结论的适用条件。
论文针对单一媒体语音协议无法反映部署泛化的问题,把 16 个公开来源整理为 26 个固定试音对集合与 11 个场景组,用冻结键值和统一打分比较 18 个检查点的场景画像,发现平均误差相近的系统失效模式不同且同场景内也存在来源差异。
论文把实时语音系统放到 176 段闲聊的真实停顿和话轮末尾,比较它是否像真人一样保持沉默或接话,最强证据是托管 API 几乎从不沉默而全双工模型才会沉默,代价是历史输入通道不同且标注和触发方式影响结论适用范围。
论文针对语音同时带来有用人口线索和有害刻板联想的问题,提出区分是否被明确要求使用人口信息的三轴评测,用八个语音大模型显示能听出性别年龄不等于会恰当使用,且显式标签同时提升个性化和刻板选择。
论文提出查询条件下的同类多声源集合定位任务,用 40,000 场景基准检验包含缺席查询在内的集合恢复,Q-RSet 以查询加权的声源槽与证据汇聚实现最多 3 个同类源的活动与方向预测,主测试 F1 为 50.36% 但方向误差与空查询误报仍有明显代价。
论文针对第一视角助手只看拒答率会掩盖伤害对象差异与不懂装拒问题,提出 2,902 条视频加语音查询的 STOU 基准并分离测试拒答与理解,发现理解后仍协助与对佩戴者伤害最弱是主要代价。
论文针对屏幕场景下仅靠音频难以判定的关键词,构建按视觉证据直接程度分三层的评测集 ScreenASR-Bench,用关键词召回与归一化视觉增益度量三类模型在纯音频与加入视觉条件下的变化,最强的提升出现在可直接读屏的层级而间接语义层级提升最小。
NVVSpeech 挑战赛用中英双语 16 类非言语发声的统一任务比较了理解与可控生成的十个系统,发现呼吸与喘息最难、事件控制与字词保真存在权衡,自动评分与人工听感并不完全一致。
UA-Bench 用 375,051 条参数可追溯的合成水下音频考查通用音频语言模型,九个开源模型细粒度准确率仅 2.0%–13.1%,波形主要帮助粗粒度路由而对细分类提升至多 4.7 个百分点。
论文在 LibriVAD-small 的 test-clean 上离线比较 TEN、Silero 与 RMS 能量基线,回答窗长如何改变帧级排序质量,最强证据是 TEN 在 16 ms 取得 AUC 0.917 且 20 到 50 ms 几乎不变,而 Silero 只在 30 ms 附近最好,代价是结论限于离线排序而不含端点延迟。
该研究用 18 个客观指标在同一土耳其语测试集上对比四个现代合成系统与 VITS 基线和自然录音,发现各系统分别在不同指标族领先且短句与长时漂移会改变结论,代价是只用客观指标且只覆盖单一说话人。
论文针对电商广告视频需要跨视频比较的问题,用 AdsCVR 基准衡量六类比较能力,并用能主动调用视觉与语音工具的 AdSeek 智能体做多轮取证,在 AdsCVR 测试集上达到 74.30% 准确率,代价是多轮交互与训练开销更大。
CARES 先把声音显著性定义为说话人是否可听地做出反应,再用受控流程生成 10000 个双人场景,证明六个音频语言模型能认出声音和地点,却在判断反应类型上不超越只看文字的对照系统,且总结时很少提及未被说出的声音。
论文针对全双工语音模型边听边说的耦合互动难以用固定考官评价的问题,提出让两个模型直接对话并都被离线打分的 DyaFDB 框架,用 140 个场景 7560 段对话证明分数是两人共同决定的,代价是需要成对录制与离线评判。
论文用 423 道母语撰写的多语言多模态难题考验网页浏览智能体如何发现并串联开放网络证据,最强原生检索配置准确率为 31.68% 而 57.68% 题目无任何模型答对,人力单题中位耗时 54.6 分钟说明检索代价很高。
论文用配对干净与受干扰输入证明闲聊和背景语音会进入病历与答题,并在注意力头干预中发现抗干扰与临床推理共用同一批组件,代价是通用质量分几乎发现不了这种污染。