大语言模型

针对流式语音对话必须在文本生成前给出情绪条件的问题，Self-EmoQ 用话语级马尔可夫决策过程加模仿奖励与普鲁契克理论奖励学习情绪规划器，四个对话数据集上报告了情绪排序与回复质量的提升，代价是依赖大模型打分与离散情绪集合。

论文用文本化多模态线索统一笑声检测、类型分类与原因解释，并以笑声自指令扩充与混合笑声专家提升泛化，主证据是文本大模型在三任务上优于音视频大模型，代价是依赖外部抽取器与伪标签校对。

针对噪声下单流纠错被音频质量卡住的问题，论文用独立 ASR 与 VSR 双路 N-best 假设加可靠性提示词做语言空间组合，在 LRS2 上把基线相对误差降低约一半，代价是依赖上下游识别头质量并增加大模型串行纠错开销。

针对多人重叠时只转写目标说话人并在目标缺席时拒识的问题，该报告用参考语音拼接混合语音加文本提示的端到端大语言模型方案，在合成与真实会议集上报告了目标说话人词错率下降，同时保留单人识别与空文本拒识能力，但拒识率与误拒之间仍需权衡。

论文针对多模态 token 与文本从第 0 层共同走完全部语言模型层造成的算力负担，提出仅让文本走完全程而把多模态 token 直接送入中间层的 DeepInsert，并在视觉、音频、分子模态中显示第 4 层插入可持平基线，而更深插入可用可接受回落换取推理加速。

共收录 36 篇 eacl-2026 会议论文的 Reader 深度解读

针对同声传译需在部分语音下增量输出的问题，EASiST 用多延迟语义分块构造单调交错数据、全单向语音编码器加 LLM 与轻量读写策略头经三阶段训练实现自适应低重算推理，在 MuST-C 与 Europarl-ST 英德英西上取得更好的延迟质量权衡，但自适应增益依赖分块对齐质量与阈值调节。

针对语音到语音评价只看文字会漏掉语气、直接听音频又贵又不透明的问题，论文用先分内容音质副语言三维标注再把廉价声学信号写成文字蓝图交给大语言模型推理并按确定性规则融合的方法，在两个公开偏好集上提高了与人的一致性并把音频评测成本降到约三分之一。

针对对话语音中固定取前几句会引入无关冗余、取全量历史又成本过高的问题，论文提出多模态检索加精选方法 MARS，只取一条声学或语义最相关的历史来辅助当前句识别，并在 1.5K 小时训练下报告了优于 179K 小时顶级系统的混合错误率，代价是依赖微调 Whisper 建库与两遍解码的额外检索计算。

针对语音被人和自动语音识别系统窃听关键词的问题，论文用大语言模型选替换词加累积信号攻击做局部混淆、再用可逆信息隐藏嵌入扰动，在 LibriSpeech 上报告目标误导率 96.5% 与恢复音频 PESQ 4.45，代价是强扰动与可逆嵌入的存储开销和对齐依赖。

论文研究给定旋律灵感与段落标签生成结构化乐段的问题，用结构三元组数据与双实例对比优化让小模型在结构契合上大幅超过直接提示与常规微调，但代价是依赖 POP909 流行乐标注与多轮构造流程且未建模整曲跨段发展。

针对多语言端到端语音翻译中共用单组低秩更新导致语言间干扰的问题，MoLoRA 把多个低秩适配模块当作专家并辅以多粒度语音融合，在 MuST-C 八语言平均 32.2 与 CoVoST-2 三语言平均 36.3 的 BLEU 下超过同量级单 LoRA，代价是路由与负载均衡等额外机制和调参成本。

该提案要把语音感知大语言模型从只做转写扩展到原生联合完成自动语音识别与说话人切分，做法是冻结大语言模型主干、分两阶段训练音频编码器与适配器并加入上下文提示，证据是所列开源切分数据的时长与语言分布以及词错率与切分错率的明确定义，代价是切分标注数据少且尚未给出可运行系统的定量主结果。

针对端到端语音翻译只对齐文字内容而丢失重音与情绪的问题，论文用语音编码器与风格编码器双分支加分层最优传输和注意力检索来分离并再融合两类信息，在 ContraProST 上提升方向性约 5.0 点、全局约 4.5 点，在 CoVoST-2 上 2B 平均提升 0.43 BLEU、8B 提升 0.98 BLEU，代价是两阶段训练与额外风格编码器开销。

MultiMood 针对纯文本情感支持丢失非语言线索且回复不可靠的问题，用视频音频文本三路编码加对话压缩与 PPO 加 GRPO 可信对齐，在 MESC 四任务与 DFEW 表情识别上取得最优平均表现，代价是策略预测仍弱于专用基线且压缩会损失信息。

针对多模态伪造中模态割裂与跨模态语义推理不足的问题，ConLLM 采用预训练模型分模态抽取加对比对齐与类 GPT 变换器精炼的两阶段结构，在音频、视频与音视频六个基准上报告了更低的等错误率与更高的准确率，但其增益依赖预训练权重与训练数据覆盖且推理代价仍需权衡。

针对同声传译需在流式语音下联合决定何时翻译与翻译什么的问题，SASST 用句法感知分块加目标侧重排构造含等待符号的流式监督并统一到冻结 Whisper 编码器加解码器大模型中，在 CoVoST2 英德英中英日上以 2 到 4 秒级延迟取得质量优势，其代价是依赖句法分析器与额外的对齐预处理。

针对语音按时长定速、文本按语义变长造成的分布失配，SEAM 用冻结编码器加可训练交叉注意力解码器做变速率对齐并分三阶段训练加首词引导，在仅用 LibriSpeech960 小时训练时取得 2.6%/5.2% 与跨域 TED-LIUM-v2 上 4.7% 词错率，代价是两段自回归带来的推理延迟。

论文用 8 个大语言模型读文本情感与 2 个音频模型听语音情感，在播客、有声书和 TED 演讲三类数据上按效价、唤醒度、优势度算皮尔逊相关，最强证据是效价相关可达 0.6 以上而唤醒度和优势度普遍偏低，且加上下文也不能稳定提升，代价是后两类数据集只能用音频模型预测代替人工标注。

论文用 169 人临床确诊的多任务多模态数据比较任务与模态的判别力，并测试大模型精神科推理，报告音频与视频最有效、图片描述最能诱发标记、知识引导可提升约 10 个百分点 Macro-F1，但文本大模型仍落后于监督判别模型。