SPHERE:从一次生成到记住用户空间习惯的 VR 室内共创
SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题,用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑,在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性,但结论只在指定画像和扰动房型条件下成立。
SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题,用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑,在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性,但结论只在指定画像和扰动房型条件下成立。
针对长视频中证据分散且预建记忆易缺问题细节的矛盾,VideoTapestry 用固定三层记忆加三智能体由粗到细重看视频并组装复合记忆,在四个长视频基准上相对同底座直接推理提升 7.0 到 17.2 个百分点,代价是离线建记忆与多次查询时模型调用。
针对小时级音视频问答无法把整段录像放入上下文的问题,LEAP 用 600 秒分块定位加至多 9 窗有界回答,在四个主基准上高于同栈整体读取基线,代价是每题需要多遍定位且文本通道只在语音证据充分时可替代媒体扫描。
论文针对目标声被三个干扰源淹没时音频大语言模型感知崩溃的问题,提出不训练模型只在音频到语言边界上用类别长期记忆做重构加插值的方法,在二十类四声源混合上把分类准确率平均提升 29.53 至 46.15 个百分点,而语音转写需再加逐词元门控才能把词错误率从 23.07% 降到 14.77%。
针对多方多会话语音长记忆问题,论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系,并用按轮奖励新增证据的检索智能体自适应取证,在 VoxPolyBench 上报告 85.0 分,代价是依赖合成语音与标注证据训练且真实声学泛化待验证。
针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题,论文用单次块预填充把检索原文直接注入对话流,并在问答与全双工评测中验证了可行性,代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该工作解决阿拉伯语语音问答中误引经训的高风险问题,选择检索优先于参数记忆、六路工具检索与自管语音链路,用 124 例中 122 例通过的背诵校验与 0.9–1.7s 端到端语音延迟证明接地可行,代价是单 GPU 主机成为可用性单点且方言与覆盖外问题仍回退到参数知识。
针对文本、音频、视觉共存缺失与噪声的多模态情感分析,RCE 用 vMF 不确定性做质量感知压缩与跨样本增强加多级融合,在 CMU-MOSI/MOSEI 完整与缺失噪声设置下取得最优或接近最优,代价是记忆库与超模态带来更多参数与调参量。
针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。
AdaptLingo 针对固定难度对话练口语容易过难或过简的问题,选择用时间声学特征预测初级中级高级流利度并以此控制 EIKEN 词汇生成与 TTS 语速,最强证据是标注数据上 95% 宏 F1 但噪声用户语音上仅 47% 准确率,主要代价是野外泛化不足与母语背景差异大。
针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题,AFG-Bias 用声学检索先定位再用门控注入偏置,在金融和医疗集上报告最高 74.1% 相对字错率下降,代价是需额外训练轻量增强模块并依赖检索质量。
针对语音 AD 检测数据稀缺且通用增强丢失认知特征的问题,该研究用检索增强大模型生成认知受约束文本再用属性引导语音合成补齐声学一致样本,在 ADReSSo 等多模型对照中提升检测性能,代价是需要精细标注、微调与控制增强比例。
针对客服多轮对话中实体易错问题,论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示,报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善,但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。
针对生成器持续演化导致判别边界失效的问题,DASM 只用真实音乐学习记忆库流形再用原始与偏差双分支判别,在 SONICS 上报告 0.13% EER、99.89% 准确率、99.98% AUC,代价是跨域到 FakeMusicCaps 时 EER 仍升至 25.59% 且需两阶段训练与 MERT 提示调优。
针对复杂音频问答中模型只看显著片段、推理链不可核查的问题,EChO-Agent 用工具观测加结构化证据加双候选验证的四阶段流程,在 MMAR 上报告 71.0% 准确率和 63.0 rubric 分,代价是依赖外部工具粒度和多步调用。
针对冻结流匹配语音合成持续读错多语专有名词的问题,FlowEdit 冻结 DiT 只优化文本嵌入扰动并存入 Modern Hopfield 记忆,在 312 词基准上把目标词音素错误率降到 3.1% 且通用语音保持 4.1%,单次纠错约 15 秒但声调语言残留误差更高。
针对非平行语料无法直接做有监督变声的问题,该文用 WavLM 特征上的 K 近邻离线合成伪源再学回真实目标,并以波形级说话人验证损失约束身份,在仅英文训练下报告了英文身份指标优势与多语言可懂度优势,但感知质量与长参考稳定性仍有限且短参考鲁棒性依赖后训练声码器。
针对自动抑郁检测中微调成本高且易过拟合的问题,Moot-Court 用冻结大模型做文本化声学融合与控辩对抗图推理加可进化经验库,在 DAIC-WOZ 上报告 F1 为 0.8856 且召回达 0.9394,但全文存在 0.8750 与 0.8856 的数字冲突与小样本泛化边界。
针对端到端语音识别中专有名词易被替换为高频近音词的问题,该文提出只读转写文本的多视角检索 grounding 框架,用 G2P 细粒度发音、Soundex 粗粒度编码与上下文语义嵌入做归一化融合排序,在 69542 个对齐药物实体上把 Whisper-large-v3 的 Recall@1 从 38.27% 提升到 74.67%,代价是依赖预定义闭集词典与实 …