长音频处理

论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题，用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动，在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右，代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

针对最长 120 分钟音频的可验证时间定位问题，论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练，在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2，代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。

针对对齐编码器顶层才突然形成对齐、在长语音上脆弱的问题，论文在中间层加细粒度对齐目标和 CTC 辅助损失，在 LibriSpeech 上把 5.0/7.8 降到 3.1/5.6，长语音增益最大，代价是多头预测器与权重调参。

针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题，ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样，用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持，代价是词错误率和说话人 …

针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题，论文提出只在推理时生效的 MagpieTTS-LF，用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示，在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB，代价是仍需逐句自回归生成且未报告延迟与主观听感。

针对长音频中领域术语不一致和声学混淆问题，Agentic-GER 用全文转写做全局上下文来发现可疑片段并定点重转写核对，在 GigaSpeechBench 上中文 Whisper 基线最高获得 36.8% 术语相对误差下降，代价是思考模式大幅增加输出 token 与耗时。

针对儿童中心长录音中说话人类别难分的问题，论文用 13164 小时有效语音的 40 余种语言儿童中心数据做两轮 HuBERT 预训练再微调做声音类型分类，在留出集上平均 F1 达到 66.9% 接近第二标注者的 69.8%，代价是 32 块 H100 各 30 小时预训练与对其他儿童类的剩余差距。

该研究把对儿童说话检测放在 182 名儿童共 22 小时多语长程录音上，用儿童中心录音预训练的 BabyHuBERT 加 10 秒上下文窗口做三分类，最强证据是验证集平均 F1 从无上下文约 53.2% 提升到 10 秒约 67.0%，代价是训练时间从 22 分钟涨到 2 小时以上且自动切分下性能大幅回落。

针对 Whisper 长语音中静音幻觉、重复循环和内容遗漏互相放大的问题，Whisper-CD 用高斯噪声、静音、全零谱与时间平移三种负信号在解码时做多负例对比减法，在五个英文长语音基准上报告最高在 CORAAL 降低 24.3 个百分点，代价是每步要多算三路解码。

MuLA-Bench 用 5038 个开放问题检验 16 语言长音频理解，发现语言难度随领域和任务变化、声学证据差距随操作变化、找对事件不等于对准时钟，而代价是声学单元稀疏不均且长尾结论受限。

Vox-Infinity 沿轮数与每轮时长拉长语音历史并以最早证据到提问的跨度分组，在七个语音语言模型上报告随证据变远准确率下降的近因效应，以及文本历史保语义而音频历史保韵律的互补代价。

论文研究给定话题标题查询在语音转写中预测连续句子区间的问题，用冻结语音识别编码器状态做句子级声学表示并与文本嵌入融合，在两个主数据集上以轻量定位器验证严格边界指标的提升，同时报告自发会议上增益有限的代价。

针对长语音强制对齐的二次方内存与时间瓶颈，论文用分治原地计算的赫希伯格维特比算法保证结果不变，再用随机游走先验加转写精度界做剪枝，三小时音频在单核中央处理器上以兆字节级内存完成对齐，剪枝后进一步提速但依赖精度假设。

针对 5 分钟以上医患对话直接生成 SOAP 病历的问题，论文用统一端到端架构比较 3B 轻量与 30B 重量模型，报告四阶段训练把 Concept F1 从零样本的 0.26 和 0.18 分别推到 0.4082 和 0.5167，并以级联基线为对照说明直接优化的收益与容量代价。

针对音频时刻检索中提议级置信度缺少全局竞争的问题，该文用半马尔可夫条件随机场对全部分割归一化并以片段边缘后验排序，在 CASTELLA 上报告 41.15% R1@0.7 和 34.68% mAP，代价是需做前向后向推理与非极大值抑制并保留双分支联合训练。

针对自回归语音模型在长提示下跳过与幻觉导致的最坏词错率飙升，论文提出只在检测到失败时回滚并临时加硬注意力掩码的 LACI，用 10 种子最坏值在 1500 词以上把 35.2% 降到 3.4%，代价是需要保留对齐头与设置重试上限。

论文研究长音频中分散证据的定位与整合问题，采用离线结构化元数据加按需音频片段的混合检索智能体路线，最强证据是混合检索加多模态证据比单模态平均答案准确率提高约 10 个百分点、理由准确率提高约 6 个百分点，代价是声学任务仍需灵活选择证据模态且答案正确会高估真实 grounding 能力。

针对同一录音中多组高度重叠对话的转写与分组问题，该工作用视觉门控的目标说话人长时解码做转写、用大模型话题相似度做分组，在开发集上报告约 33.7% 词错误率和 0.97 聚类 F1，但长时视觉缺失填充与模拟数据域失配仍是主要代价。

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读