长音频流里记住声源并更新属性:AMemOps 如何拆开识别、保留与更新
AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
AMemOps 用增益与声像位置可控的长音频流检验最新属性取回、未变属性保留与缺席拒绝,用录音、熟悉度与冲突历史配对控制比较固定尺寸递推记忆与注意力,说明更新优势在什么录音与历史条件下出现以及擦除的作用。
针对 5 分钟长音频中事件定位与密集描述易幻觉的问题,论文用 EgoSCAPE 评测与 ATTEST 强化学习约束模型只说音频中有证据的时间段,代价是需要多轮采样与注意力统计的训练开销。
Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述,用三套数据比较 52 种级联与端到端系统,发现任务可行但普遍过分割,微调能缓解而端到端在更长窗口上会退化。
该文用同一批俄语录音的长单元与短窗口对照微调并做全尝试连续合成评估,报告在约 1200 词时自回归模型的长目标训练大幅降低词错误率,而流匹配模型的绝对错误率仍高于 90%,代价是转录格式与语料构成等混杂尚未完全分离。
针对小时级音视频问答无法把整段录像放入上下文的问题,LEAP 用 600 秒分块定位加至多 9 窗有界回答,在四个主基准上高于同栈整体读取基线,代价是每题需要多遍定位且文本通道只在语音证据充分时可替代媒体扫描。
针对一分钟语音变成 750-1500 个音频 token 且语言模型浅层仍高度关注音频的问题,用编码器输出的闭式线性映射预测全层注意力排序并在模型前剪枝,转录用分箱覆盖、选择题再在第 2 层做精度融合校正,保守预算下与全音频差距控制在小范围内,激进预算下全面领先可运行基线,代价是线性先验在两类 Qwen-Audio 模型上失效且需用漂移筛查区分。
针对长时多方全双工对话缺数据缺评测的问题,论文用两阶段脚本合成加 IndexTTS2 渲染构建 57.6k 小时中英并行流语料并以两阶段微调 Moshi,在 MultiTalkBench 上最终分从 4.66 升到 13.15 但仍远低于人类 68.74。
针对长上下文音频推理缺数据、开放生成难评测的问题,该工作用全开权重三阶段流水线合成 8800 段首诊医患对话与 1329 小时音频及 SOAP 病历,最强证据是级联系统在忠实度上明显优于端到端大音频语言模型,代价是参考病历仍由大模型生成且声学难度未完全复刻真实诊室。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
VoxMem 用四种声学证据与四种记忆操作的分类构造多会话语音记忆基准,在 15 个大音频语言模型上显示 32K 时无人超过 40%,且词汇语义远好于说话人、韵律与环境声,并随历史变长持续下降。
针对语音语言模型中语音 token 过长且时域冗余的问题,论文提出在编码器后按成对余弦相似度自适应合并的 AdaTS,用阈值 0.85 附近约 2 倍压缩在 ASR、问答与翻译上保持或超过均匀下采样,代价是阈值过低与只在对齐阶段压缩会明显掉点。
该文新建 14 口音 128.6 小时角色扮演客服对话只做评测,报告显示手动切分多为最优而固定长窗仅对 Qwen3-ASR 更优,且口音间绝对差距可超 10%,平均词错误率降低并不自动带来口音鲁棒性。
针对多角色长篇有声书语义连贯与情感可控难兼得的问题,Audiobook-CC 用前后文建模加风格解耦加自蒸馏,在章节级取得 M-MOS 为 4.25 分与对话 S-MOS 为 4.11 分,代价是三阶段大数据训练与章节边界后文缺失时的空标记回退。
针对长时多事件空间音频中全局对比学习会平均掉局部语义的问题,CoSTALA 用解耦的语义与空间编码加时序编码器与四重多粒度损失建模顺序与位置组合,报告显示完整组合在全局时空检索上达到最高的召回而纯语义表示则大幅下降,代价是需要合成的空间化数据与多路编码推理流程。
该研究要解决金融财报电话会议上通用语音识别因术语、数字和行业长尾而失准的问题,选择构建 498 小时全量集与 46 小时行业均衡切片并配说话人角色与行业元数据,用 Whisper 与 Parakeet-TDT 可复现基线显示均衡集更难且生物技术等领域词错误率明显高于平均,但均衡切片仍只覆盖美国英语且未验证多语言与部署代价。
该文把长音频活动识别做成从事件序列出发的层次解析,用训练脚本归纳的概率上下文无关文法加噪声节点约束子活动顺序与组成,在 MultiAct 上以事件监督恢复子活动切分与活动标签,最强证据是 Eval 子活动 Edit 从 24.6 到 35.3 的顺序一致性提升,代价是边界精度在严格 IoU 下未同步改善。
针对 3-5 分钟英语口语考试多标准评分问题,M-LAMA 用分段音频建模加题目感知文本编码加双向跨模态融合与三阶段训练,在约 8.6 万会话数据上把多模态 Acc@1 做到 90.82% 而单模态仅 49.30% 与 43.46%,代价是依赖私有考试数据与冻结大编码器加小批量训练。
针对歌剧等长时叙事音乐解说易幻觉、配对数据稀缺的问题,MAC 用免训练的多尺度声学与语义证据加分层上下文约束现成指令大模型,在 MQAD 取得最好成绩并在歌剧与全曲上提升情感与艺术对齐,但语义相似度与人类稀有线索覆盖仍有代价。
该文针对英语短语音主导、长语音与多语言评测分散且准度与效率口径不一的问题,搭建覆盖 86 个系统与 11 个数据集的三轨评测流程并统一词错误率与逆实时因子计算,在当前结果中 Conformer 类编码器加大语言模型解码器平均词错误率最低而 CTC 与 TDT 解码器吞吐更高,但差异同时受训练数据与配置影响。
针对长时多方对话中说话人活动不均衡与重叠导致归属困难的问题,论文提出以目标到来方向为空间先验的多通道目标说话人抽取前端 PATSE,在回放与真实对话上以词错率和 diarization 错误率衡量获得一致增益,代价是仍需已知目标方向且对极小角度间隔更敏感。