大语言模型

论文针对多模态 token 与文本从第 0 层共同走完全部语言模型层造成的算力负担，提出仅让文本走完全程而把多模态 token 直接送入中间层的 DeepInsert，并在视觉、音频、分子模态中显示第 4 层插入可持平基线，而更深插入可用可接受回落换取推理加速。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对同声传译需在部分语音下增量输出的问题，EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理，在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡，但自适应增益依赖分块对齐质量与阈值调节。

针对语音到语音评价只看文字会漏掉语气、直接听音频又贵又不透明的问题，论文用先分内容音质副语言三维标注再把廉价声学信号写成文字蓝图交给大语言模型推理并按确定性规则融合的方法，在两个公开偏好集上提高了与人的一致性并把音频评测成本降到约三分之一。

针对对话语音中固定取前几句会引入无关冗余、取全量历史又成本过高的问题，论文提出多模态检索加精选方法 MARS，只取一条声学或语义最相关的历史来辅助当前句识别，并在 1.5K 小时训练下报告了优于 179K 小时顶级系统的混合错误率，代价是依赖微调 Whisper 建库与两遍解码的额外检索计算。

针对语音被人和自动语音识别系统窃听关键词的问题，论文用大语言模型选替换词加累积信号攻击做局部混淆、再用可逆信息隐藏嵌入扰动，在 LibriSpeech 上报告目标误导率 96.5% 与恢复音频 PESQ 4.45，代价是强扰动与可逆嵌入的存储开销和对齐依赖。

论文研究给定旋律灵感与段落标签生成结构化乐段的问题，用结构三元组数据与双实例对比优化让小模型在结构契合上大幅超过直接提示与常规微调，但代价是依赖 POP909 流行乐标注与多轮构造流程且未建模整曲跨段发展。

针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题，MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合，在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA，代价是路由与负载均衡等额外机制和调参成本。

该提案要把语音感知大语言模型从只做转写扩展到原生联合完成自动语音识别与说话人切分，做法是冻结大语言模型主干、分两阶段训练音频编码器与适配器并加入上下文提示，证据是所列开源切分数据的时长与语言分布以及词错率与切分错率的明确定义，代价是切分标注数据少且尚未给出可运行系统的定量主结果。

针对端到端语音翻译只对齐文字内容而丢失重音与情绪的问题，论文用语音编码器与风格编码器双分支加分层最优传输和注意力检索来分离并再融合两类信息，在 ContraProST 上提升方向性约 5.0 点、全局约 4.5 点，在 CoVoST-2 上 2B 平均提升 0.43 BLEU、8B 提升 0.98 BLEU，代价是两阶段训练与额外风格编码器开销。

MultiMood 针对纯文本情感支持丢失非语言线索且回复不可靠的问题，用视频音频文本三路编码加对话压缩与 PPO 加 GRPO 可信对齐，在 MESC 四任务与 DFEW 表情识别上取得最优平均表现，代价是策略预测仍弱于专用基线且压缩会损失信息。

针对多模态伪造中模态割裂与跨模态语义推理不足的问题，ConLLM 采用预训练模型分模态抽取加对比对齐与类 GPT 变换器精炼的两阶段结构，在音频、视频与音视频六个基准上报告了更低的等错误率与更高的准确率，但其增益依赖预训练权重与训练数据覆盖且推理代价仍需权衡。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。

针对语音按时长定速、文本按语义变长造成的分布失配，SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导，在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率，代价是两段自回归带来的推理延迟。

论文用 8 个大语言模型读文本情感与 2 个音频模型听语音情感，在播客、有声书和 TED 演讲三类数据上按效价、唤醒度、优势度算皮尔逊相关，最强证据是效价相关可达 0.6 以上而唤醒度和优势度普遍偏低，且加上下文也不能稳定提升，代价是后两类数据集只能用音频模型预测代替人工标注。

论文用 169 人临床确诊的多任务多模态数据比较任务与模态的判别力，并测试大模型精神科推理，报告音频与视频最有效、图片描述最能诱发标记、知识引导可提升约 10 个百分点 Macro-F1，但文本大模型仍落后于监督判别模型。

该研究在统一的以大语言模型为中心的语音语言模型框架下比较耦合与解耦语音分词器并引入多词元预测与说话人感知建模，最强证据是 12 倍压缩下词错误率从 6.07 降到 3.01 且合成成功率保持 100%，代价是主观质量指标 UTMOS 随压缩略有下降且高压缩更依赖说话人嵌入。

针对从双人对话推断熟人与陌生人及具体熟人关系的问题，论文提出免训练的多角色辩论与竞争裁决流程，在同一过滤测试集上比较零样本与辩论基线，结构化交互在文本与音文结合上取得宏 F1 领先，但纯音频提升不稳定且多次调用带来更高推理成本。

针对同传中为控延迟而产生的改写与概括，EviSI 用共享源证据与 Anchor/Event/Logic/Fluency 分工配合调和与确定性扣分来区分可接受变体与事实错误，在英中方向上恢复了人类系统总排序但在逐条输出上仍表现混杂。

针对多房间中墙体遮挡导致单点麦克风观测碎片化的问题，论文用分布式麦克风的拓扑感知图融合与几何约束的冻结大语言模型推理将声学证据补全为物理一致的叙事，并在受控仿真中以三元组与空间一致性等指标验证其相对集中式基线的优势与代价。