长音频处理

针对长时多事件空间音频中全局对比学习会平均掉局部语义的问题，CoSTALA 用解耦的语义与空间编码加时序编码器与四重多粒度损失建模顺序与位置组合，报告显示完整组合在全局时空检索上达到最高的召回而纯语义表示则大幅下降，代价是需要合成的空间化数据与多路编码推理流程。

该研究要解决金融财报电话会议上通用语音识别因术语、数字和行业长尾而失准的问题，选择构建 498 小时全量集与 46 小时行业均衡切片并配说话人角色与行业元数据，用 Whisper 与 Parakeet-TDT 可复现基线显示均衡集更难且生物技术等领域词错误率明显高于平均，但均衡切片仍只覆盖美国英语且未验证多语言与部署代价。

该文把长音频活动识别做成从事件序列出发的层次解析，用训练脚本归纳的概率上下文无关文法加噪声节点约束子活动顺序与组成，在 MultiAct 上以事件监督恢复子活动切分与活动标签，最强证据是 Eval 子活动 Edit 从 24.6 到 35.3 的顺序一致性提升，代价是边界精度在严格 IoU 下未同步改善。

针对 3-5 分钟英语口语考试多标准评分问题，M-LAMA 用分段音频建模加题目感知文本编码加双向跨模态融合与三阶段训练，在约 8.6 万会话数据上把多模态 Acc@1 做到 90.82% 而单模态仅 49.30% 与 43.46%，代价是依赖私有考试数据与冻结大编码器加小批量训练。

针对歌剧等长时叙事音乐解说易幻觉、配对数据稀缺的问题，MAC 用免训练的多尺度声学与语义证据加分层上下文约束现成指令大模型，在 MQAD 取得最好成绩并在歌剧与全曲上提升情感与艺术对齐，但语义相似度与人类稀有线索覆盖仍有代价。

该文针对英语短语音主导、长语音与多语言评测分散且准度与效率口径不一的问题，搭建覆盖 86 个系统与 11 个数据集的三轨评测流程并统一词错误率与逆实时因子计算，在当前结果中 Conformer 类编码器加大语言模型解码器平均词错误率最低而 CTC 与 TDT 解码器吞吐更高，但差异同时受训练数据与配置影响。

针对长时多方对话中说话人活动不均衡与重叠导致归属困难的问题，论文提出以目标到来方向为空间先验的多通道目标说话人抽取前端 PATSE，在回放与真实对话上以词错率和 diarization 错误率衡量获得一致增益，代价是仍需已知目标方向且对极小角度间隔更敏感。

论文针对注意力编码器解码器在长编码上因排列不变性和边界线索消失而无法自回归解码的问题，用跨注意力绝对位置编码加长上下文训练加片段拼接加语义切分四改动，在 TED-LIUM3 上把长编码注意力解码从 295% 词错误率拉回到与切分编码持平的 4.5% 左右，代价是需要扩展左右声学上下文和联合 CTC 注意力解码来稳定结束符。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

针对最长 120 分钟音频的可验证时间定位问题，论文用连续音频 token 中周期插入文本时间标记并配切片加全局校验的合成监督来训练，在长时定位上保持约 53.8 mIoU 而去掉锚点跌至 14.2，代价是更密锚点增加约 1.9% 至 16.0% 的 token 开销。

针对对齐编码器顶层才突然形成对齐、在长语音上脆弱的问题，论文在中间层加细粒度对齐目标和 CTC 辅助损失，在 LibriSpeech 上把 5.0/7.8 降到 3.1/5.6，长语音增益最大，代价是多头预测器与权重调参。

针对分钟级零样本对话合成在稠密梅尔谱上做条件流匹配时显存和耗时随长度暴涨的问题，ZipL-Dialog 把生成搬到 4 倍时间压缩的 25 Hz 确定性隐空间并重设 ZipFormer 下采样，用 CoVoMix2 上最大峰值显存 3.23 GB 对 36.21 GB、推理 1.075 秒对 2.396 秒的实测换取可听自然度基本保持，代价是词错误率和说话人 …

针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题，论文提出只在推理时生效的 MagpieTTS-LF，用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示，在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB，代价是仍需逐句自回归生成且未报告延迟与主观听感。

针对长音频中领域术语不一致和声学混淆问题，Agentic-GER 用全文转写做全局上下文来发现可疑片段并定点重转写核对，在 GigaSpeechBench 上中文 Whisper 基线最高获得 36.8% 术语相对误差下降，代价是思考模式大幅增加输出 token 与耗时。

针对儿童中心长录音中说话人类别难分的问题，论文用 13164 小时有效语音的 40 余种语言儿童中心数据做两轮 HuBERT 预训练再微调做声音类型分类，在留出集上平均 F1 达到 66.9% 接近第二标注者的 69.8%，代价是 32 块 H100 各 30 小时预训练与对其他儿童类的剩余差距。

该研究把对儿童说话检测放在 182 名儿童共 22 小时多语长程录音上，用儿童中心录音预训练的 BabyHuBERT 加 10 秒上下文窗口做三分类，最强证据是验证集平均 F1 从无上下文约 53.2% 提升到 10 秒约 67.0%，代价是训练时间从 22 分钟涨到 2 小时以上且自动切分下性能大幅回落。

针对 Whisper 长语音中静音幻觉、重复循环和内容遗漏互相放大的问题，Whisper-CD 用高斯噪声、静音、全零谱与时间平移三种负信号在解码时做多负例对比减法，在五个英文长语音基准上报告最高在 CORAAL 降低 24.3 个百分点，代价是每步要多算三路解码。

MuLA-Bench 用 5038 个开放问题检验 16 语言长音频理解，发现语言难度随领域和任务变化、声学证据差距随操作变化、找对事件不等于对准时钟，而代价是声学单元稀疏不均且长尾结论受限。

Vox-Infinity 沿轮数与每轮时长拉长语音历史并以最早证据到提问的跨度分组，在七个语音语言模型上报告随证据变远准确率下降的近因效应，以及文本历史保语义而音频历史保韵律的互补代价。

论文研究给定话题标题查询在语音转写中预测连续句子区间的问题，用冻结语音识别编码器状态做句子级声学表示并与文本嵌入融合，在两个主数据集上以轻量定位器验证严格边界指标的提升，同时报告自发会议上增益有限的代价。