论文解读
长语音推理为何变慢变错:C3 如何只取一小部分音频 KV 还能跟住转写
针对语音大模型音频 KV 缓存过大带来的长上下文推理瓶颈,论文提出按 KV 头共享竞争与层次分裂合并自适应分配检索粒度的 C3 个方法,在四个语音大模型和识别翻译摘要任务上于相同检索预算下取得最强检索精度且在小预算下优势最大,但结论只在所测模型长度预算与贪婪解码条件下成立并伴随短上下文额外开销。
针对语音大模型音频 KV 缓存过大带来的长上下文推理瓶颈,论文提出按 KV 头共享竞争与层次分裂合并自适应分配检索粒度的 C3 个方法,在四个语音大模型和识别翻译摘要任务上于相同检索预算下取得最强检索精度且在小预算下优势最大,但结论只在所测模型长度预算与贪婪解码条件下成立并伴随短上下文额外开销。
论文把语音识别从恢复唯一逐字稿改为在语音依据约束下按指令生成四级改写文本,并用 GSR-Bench 证明字面准确与可读改写之间存在权衡且弱语音下易出现无依据生成。
针对医患对话音频生成 SOAP 病历时信息冗长易幻觉的问题,该工作用 96 个按小节分工的可学习查询先压缩语音再结合原始语音通路生成病历,在官方测试集上 Concept F1 达到 0.5005 并表现出更稳定的幻觉指标,但人类口语子集上仍有明显下滑且样本很少。
共分析 21 篇语音/AI 论文
OSynth 针对孤立会议评测无法衡量长期上下文价值的问题,用分层生成的合成工作区与已知潜在状态构造可精确打分的会议数据,证明增加工作区上下文主要改善实体敏感维度,但整体词错误率改善很小且结论只在合成分布内成立。
共分析 58 篇语音/AI 论文
语音识别 | 6.5/10
语音识别 | 8.5/10
语音摘要 | 7.2/10
共 1 篇 ICASSP 2026 语音摘要 方向论文
语音摘要 | 7.5/10