大语言模型

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上，在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果，代价是双任务共享参数带来自然度和说话人相似度的折中。

该工作把双工对话拆成先写意图关系再测语音时刻的合成管线，用 42 种现象的双通道数据证明因果语义 VAD 能学到起止边界且 Moshi 微调后接管轮次从 0.44 升至 0.85，代价是稀有打断类与自由生成的精确对齐仍弱。

针对长时复用纠错历史会被大模型上下文窗口卡住且纯文本检索在触发词被误识时失效的问题，该文用音频关键词检出门控只取当前 utterance 相关的纠错记录，在约 70% 提示压缩下保持或提升词错误率与偏置词 F1，代价是过强的 Top-1 过滤会明显掉点且需维护关键词库与检出模块。

针对纯文本适配会冲掉语音投影对齐的问题，该文把适配重写为去噪任务并用四路混合批次保持对齐，在 DefinedAI 与 SlideSpeech 上报告最高 25.4% 相对词错误率下降，代价是仍需保留源域音频与调目标比例。

针对大模型语音识别只用文本适配会出现语音文本失配的问题，论文用混合批次把少量配对语音文本和大量文本放在一起训练，在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率，同时更好地保留了源域性能。

针对跨语言合成中口音不可控且易连带改变音色的问题，该文用 Neucodec 离散声学词元加 Qwen2.5 自回归解码器实现合成，以 Perceiver 瓶颈加梯度反转抑制口音残留再用加权语言嵌入连续调控口音强度，在 Indic 多语言 986 小时和 L2-ARCTIC 上显示口音相似度提升而说话人相似度和 UTMOS 基本保持，但主观 MOS 细节与强度 …

针对越南语—英语语码切换在语音助手链路中字错率与意图损失不一致的问题，该研究提出经大模型修复与问答探针计算的代码切换语义错误率并用商用与自研系统四集基准验证，显示音译策略虽推高词错率仍能保留意图，但语义评测带来更高的计算开销。

TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索，以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81，代价是流式与弱模态组合仍有质量与语义折中。

针对语音识别遇到训练未见词时语言模型无法给分的问题，该文用冻结 CTC 找拼写候选、冻结语言模型找上下文分歧来定位新词，再只学新增词符的嵌入与拼写分布，LibriSpeech 上 OOV 字符错最高相对降 14.97%，代价是只对重复出现的新词有效且依赖 CTC 候选质量。

针对模态内缺失导致证据碎片化问题，SemMSA 用冻结大语言模型隐空间迭代精炼情感语义并以核 Gram 矩阵主谱成分做无锚对齐，在缺失率 0.0 到 0.9 平均上保持领先，但极高缺失与可解释性仍受限。

论文把每次停顿后的说与不说做成二分类预测，用三域 12 万标注点证明八个大模型零样本都不行，再用带推理蒸馏的有监督微调把平衡准确率提高至多 23 个百分点，代价是仍需文本上下文与标注监督且未验证实时多模态部署。

针对大语言模型语音识别在噪声下表示不稳的问题，VIB-AVSR 在 LLM 第 4 与第 8 层后只对音频隐状态做变分信息瓶颈压缩与插值，在 LRS2 上 babble 与 speech 噪声多信噪比下降低词错率，而干净语音性能基本保持，代价是需调压缩强度与插入位置且三瓶颈会过正则。

WASIL 针对阿拉伯语级联语音助手的用户差评混杂问题，用 9304 轮野外语音加双路 ASR、金标改写与可回答性标注分离转录与问法因素，并用多法官无参考评分报告金标与 ASR 输入下的性能差距与方言代价。

针对离散词元依赖单一编码器切分的问题，该文把三个固定自监督编码器当作同一句话的多种分词器来训练一个共享大语言模型解码器，在保持单编码器推理成本下把 WavLM 视角做到 LibriSpeech 干净集 3.30% 与其他集 8.13%，再用三路 ROVER 投票做到 3.03% 和 7.38%，代价是训练量变为三倍且泛化仍受限。

针对音素到文本重建训练用干净音素而推理遇到视觉识别错误的问题，论文提出从合成扰动到多域再到目标域伪标签的三阶段渐进训练 PECT，在 LRS2 上把 HP-VSR-FiLMFuse(L4) 从 23.3% 降到 22.2%，代价是需要五折训练视觉前端生成伪标签且仍受限于第一阶段音素质量。

针对交错式流式语音识别大模型中外部强制对齐与模型自身对齐不一致的问题，该文用冻结非流式教师的文本音频注意力经置信度回退和单调搜索构造学生训练序列，并叠加 logit 与隐状态蒸馏，以聚合错误率从 9.35% 降至 7.80% 为最强证据，代价是相同蒸馏配置下闪烁高于强制对齐对照。

针对真实扰动下单一音频伪造检测器不稳定的问题，ROGUE 用扰动智能体出难题、策略智能体按序挑选检测工具的对抗方式构造工作流，在 WaveFake 训练与多扰动和跨数据集评测中提升了平均准确率，但代价是联合搜索更贵且依赖工具多样性。

针对配对语音文本不足的目标域，该研究把同一基座大模型微调得到的目标域语言模型适配器直接加到语音识别模型参数上，在日语和英语的领域适应中报告了目标域改善，且推理时只跑单个识别模型。

该研究把时间戳与说话人归属做成对给定转录本的单遍占位填充，用双向大模型同时输出全部标签，在相同训练数据下比同类自回归模型更准且标注快一到两个数量级，但流水线总速度仍受前置语音识别限制。