Acl-2026 论文

针对带背景声的语音合成中可懂度与场景一致性难兼顾的问题，ImmersiveTTS 用双流扩散 Transformer 做联合注意力交互并以语音与音频双教师做表示对齐，在 25 步采样下取得更低词错率与更好音频保真度，代价是对双重引导强度敏感且训练依赖人工混合数据。

针对神经音频编解码器重合成的印度语伪造语音检测难泛化问题，论文构建多语言多编解码器基准并提出双阶段双曲对齐的检测框架，在域内与跨库迁移上报告更低等错误率，但以双编码器与大语言模型解码器开销为代价。

针对单轨音乐问答无法考察跨轨比较的问题，该研究用四阶段流水线构造每对三问的比较问答集，并用统一评测显示句子级比较解释是当前模型的主要瓶颈，而其代价是严格过滤后保留高精度子集与依赖文本中间表示。

针对多对多联合识别与翻译中共享模型的负迁移与目标语言漂移，论文在分层 Transducer 上加入源条件与目标条件两组 MoE 适配器，在 Europarl-ST 九语言 72 方向上以单个 77M 模型实现平均 20.5 BLEU、0.651 COMET 与 15.71% WER，代价是仍需已知源与目标语言标识且仅验证离线场景。

针对多文种语音识别中同一语言输出文字不确定的问题，论文用解码器激活均值差提取文字向量并在推理时相加，在塞尔维亚语和中文混淆缓解与跨语言罗马化、西里尔化上验证效果，但西里尔化弱语言与编码器干预仍有限。

针对大音频语言模型感知错误主导问答失败的问题，论文用听觉场景分析做语音与环境、多说话人两层解耦并构造 PAQA，再以显式反思加 PAUSE 隐式计算的两阶段 HyPeR 训练，在保持可核查声学证据的同时以多目标奖励提升复杂音频问答，且额外暂停计算带来训练与推理开销。

针对噪声导致语言结构坍塌与语义模糊，论文提出 Speech-MLM 用频谱视觉结构、复述文本语义与门控跨模态融合做重建，在多噪声集上报告词错误率与语义相似度同步提升，但多分支带来推理开销与复述质量依赖。

针对重构训练的编码器与自回归语言模型目标不一致导致词元难学的问题，论文用未来词元预测与语义对齐改造编码器，在 SALMon 上报告 61.6% 准确率与 35 倍困惑度下降，同时语音 Mel 距离改善 5.0%，代价是需要配对文本与额外训练开销。

针对多语长语音中逐帧搜索易累积系统性偏移的问题，该文把强制对齐改成在文本中插入时间槽并分类预测离散时间索引，报告在伪标签与人工标注上平均累积偏移大幅下降，代价是模型更大且实时因子略升、人工验证仅覆盖中文。

论文针对以人为中心的长视频多模态理解，构建约 1001 个视频与 4781 个问答的 LongInsightBench，用六类事件内与事件间任务测出 Gemini3-Pro 总体 80.04% 领先而跨事件因果仍偏低，并以模态替换对照揭示融合 deficit，代价是依赖专有模型与约 250 GPU 小时加 700 美元 API 成本。

针对文本到音频中推理扩展不足与偏好错位问题，论文用连续掩码流匹配加迭代掩码重预测扩展推理计算，并用奖励加权微调对齐文本对应与审美，主证据是在 AudioCaps 上 FAD 为 1.10、KL 为 1.30、MOS-Q 为 78.87，代价是需要多步 ODE 求解与多轮掩码迭代。

针对无文字低资源语言难以从原始音频发现音素单元的问题，该工作在 HuBERT 基础上用 55 语言的发音特征与音素监督做多语言续训，再以 ABX 可辨别性检验上下文不变性，最强有监督自适应在开发集与测试集取得 3.07% 与 3.39% 的平均误差，但自监督与有监督之间仍有差距且评估集中于 ABX。

MCGA 用 119 小时真人朗读与六项语音任务检验多模态大模型理解古典文学的能力，最强模型在情感描述上仍不足 60 分，但用该语料微调可带来大幅提升，代价是曲类样本偏少且暂缺图文声三对齐图像。

针对流式与扩散式文本转音频需数十至数百步积分导致延迟高的问题，MeanAudio 以均值流回归区间平均速度并配合双文本编码与瞬时到平均课程，在 AudioCaps 上用 120M 参数实现单步 FD 14.30 与 RTF 0.013，代价是长音频与语音生成仍受限。

针对语音分类中整句之间与句子内部同时冗余的问题，MelTrim 先用声学特征聚类做整句粗筛，再用冻结判别模型梯度范数做帧级细剪，在极小子集上取得明显精度优势，但选择本身带来一次性开销且当前只验证单一声学模态。

针对并行三元组稀缺与合成目标封顶质量的问题，MimicLM 把 TTS 合成语音做源、真录音做目标并配合交错文本建模与偏好对齐，在保持音色口音情感相似度可比的同时提升自然度，代价是仍需大规模合成过滤与两阶段训练且真实输入词错率高于纯音色转换。

针对印地语、孟加拉语、马拉地语语音转写中填充词与重复修复残留问题，论文用 MuRIL 词级标记引导指令微调并以对比损失惩罚复现不流利词，在人工校对与真实口语两类测试上取得一致提升，但真实集规模小且仅验证 3B 量级模型。

针对口音导致词错率上升且推理时无可靠口音标签的问题，论文在 FastConformer 中插入序列级混合专家并为每个专家配独立 CTC 头、用两阶段路由从口音感知过渡到无标签推理，最强证据是在 MCV-ACCENT 上有预训练条件下大小模型同时降低已见和未见口音词错率，代价是训练早期仍需口音标签并增加混合专家参数与训练开销。

针对多语言多模态模型的文化感知碎片化问题，MMAC 用 8 国 10 语言 27,000 题的三模态语义对齐题库和五维评测揭示跨语言跨模态不一致与解释不忠实，并以口音线索增益与整合失败等代价界定其适用边界。

针对语音、音乐、环境声混在一起导致共享适配器梯度互相打架的问题，论文用稀疏混合专家适配器把音频令牌分流到不同专家，在总参数约 94.4M、激活约 70.8M 的受控预算下把 MMSU 音频准确率从 35.03% 提升到 38.19%、OBQA 从 50.10% 提升到 53.85%、MMAU 从 59.79% 提升到 61.50%，代价是需要负载均衡约束来维 …