长音频处理

针对长时无切分英文到中文与德文离线语音翻译，论文采用 Silero VAD 加两遍转写与 150 词元语义合并的 Qwen3 级联路线，在 tst-2022 上报告 En-Zh COMET 0.8462 与 En-De 0.7854，最强证据来自两遍转写把 WER 压到 3.01%，代价是多模型串行推理与重分段计算开销。

共收录 38 篇 iwslt-2026 会议论文的 Reader 深度解读

针对多语长语音中逐帧搜索易累积系统性偏移的问题，该文把强制对齐改成在文本中插入时间槽并分类预测离散时间索引，报告在伪标签与人工标注上平均累积偏移大幅下降，代价是模型更大且实时因子略升、人工验证仅覆盖中文。

该工作把短语音语料拼接成最长 15 分钟的长指令数据并覆盖六任务四语言，用温度采样和端到端加级联两种结构参赛，最强证据是似然加最小贝叶斯风险重排在英语上把词错率从 37.65 降到 21.39 而语义任务仅小幅波动，代价是似然重排会误选切分候选并损害问答与摘要。

Muse 针对长歌曲不可复现问题，用 116489 首授权合成歌曲与全局加分段风格标注训练单阶段自回归模型，在小参数下取得可比的歌词对齐与风格相似度，并以多轮分段生成实现细粒度风格控制。

针对 10 分钟到 540 分钟音频中说话内容、说话人、情感与声音事件交织推理难的问题，PlanRAG-Audio 先把音频离线转成时间对齐的结构化库，再按问题规划检索并只取相关片段生成答案，以检索把推理代价与原始长度解耦，代价是受上游感知精度约束并需承担离线预处理开销。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对统一输入空间大音频语言模型音频窗短的问题，论文提出只改音频区旋转位置编码的部分 YaRN 与训练时随机虚拟长度的位置增强虚拟长音频训练，在 1 至 10 分钟问答上用免训练与微调对照验证长音频泛化收益与调参代价。

针对大音频语言模型时间定位不准、长音频难以端到端理解的问题，TimeAudio 用时间标记加绝对时间编码加分段令牌合并，并在 FTAR 时间任务数据上微调，在密集描述、定位与时间线摘要上报告了定位精度的提升，但密集描述的文本多样性仍有代价与边界。

MMAU-Pro 用 5305 组野外音频与 49 项技能考查长时、多音频、空间与文化理解，最强模型仅 59.2% 准确率，暴露感知到推理的断层与指令遵循短板。

针对长时同步音视频生成中视频连贯、音频连贯与跨模态同步三重耦合难题，Encore 以重叠运动帧迭代与参考锚点分工配合可学习的自适应信号路由实现无限长度生成，并在扩展的 VerseBench 上以更低的时序漂移与更高的身份与同步指标验证效果，同时保留高分辨率与语音能力。

llmovoice 把语音交互的上下文拆成语义、副语言与环境三状态，用 VoicePage/VoiceThread 组织记忆并在预算内投影到上下文窗口，再让服务模型联合推理生成运行时指令，在丢包下把误打断率从 46.0% 降至 0.9%、每轮成本最高降低 24.9 倍，代价是编排调用时约 790 ms 的额外决策延迟与摘要压缩带来的细节丢失。

音频理解 | 6.9/10

语音识别 | 7.4/10

语音交互 | 6.6/10

空间音频 | 7.9/10

音频理解 | 7.8/10

语音识别 | 8.6/10

语音识别 | 7.3/10

音视频生成 | 10.0/10