大语言模型

针对看图说话中的痴呆检测问题，该方法用 Whisper 同时取声学表示与转写文本，再用大模型抽取可解释语言特征并门控融合，在 ADReSS 和 ADReSSo 上报告 F1 为 89.47% 和 90.14%，代价是依赖外部大模型接口且仅验证了英语看图任务。

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

该文以 SLAM 语音大模型为对象，用角距离找连续可删层块并以联合修复验证，显示 7-8B 模型只保留约六成解码器层仍保持可用识别与翻译性能，而跨任务可删位置高度一致。

针对只有目标域文本的跨域适配问题，论文提出把文本嵌入映射到音频提示空间的 TE2SL 精炼模块，在 SPGISpeech 上把词错误率从 11.1% 降到 8.5%，代价是需要先在源域配对数据上训练一个 18.6M 参数的 Conformer 映射器。

论文用西弗里斯兰语检验大模型生成式纠错能否超越五选一上限，靠公开集加非公开离线集对照排除记忆，最强证据是 GPT-5.1 把词错率降到公开集 8.9% 与离线集 13.8%，代价是开源小模型几乎不改写且插入词判断仍不稳。

该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务，显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型，而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人，代价是对原始音视频利用不足且上下文过长时推理负担上升。

针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题，LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索，在两套基准上降低内存到约 10 GB 并保持实时因子小于 1，代价是更频繁地调用大模型。

针对中英码切换识别中语言快速切换与稀有命名实体难认的问题，LLM-HB 用 Whisper 编码器加双专家 MoE 适配器加辅助语言头加 LLM 热词提示做联合建模，在 ASRU2019 码切换测试集 15 干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练与仔细权衡偏置损失权重。

针对只有目标域纯文本而无配对语音时的领域适配问题，该研究把与 ASR 同基座大模型微调得到的目标域语言模型以 LoRA 参数加减法直接合并进语音识别模型，在 CSJ 上把目标域字错率从 13.9 降到 13.3 且不增加推理参数与实时率，代价是提升幅度小于每步调用大模型的浅融合与密度比融合。

该文把方向跟随 TTS 定义为相对修改任务，用印象可控 TTS 生成伪语音对再由大语言模型补写导演指令来构造伪三元组，并训练固定主干上的流匹配风格精炼器，报告显示伪数据提升说话人稳定性而真人录音提升方向对齐，二者结合取得平衡。

针对文本、音频、视觉三模态情感回归任务，SeRIn 用分组融合令牌加掩码隔离与只读视听通路推迟无约束交互，在 CH-SIMS 与 CMU-MOSEI 上全面超过 DeepMLF 等基线，代价是每 MM 块三组交叉注意力带来的可训练参数与计算增加。

UniVoice 用连续声学表示把自回归识别与流匹配合成放在同一个大模型主干上，在 50K 小时 LibriHeavy 训练下取得可比的识别与零样本克隆效果，代价是双任务共享参数带来自然度和说话人相似度的折中。

该工作把双工对话拆成先写意图关系再测语音时刻的合成管线，用 42 种现象的双通道数据证明因果语义 VAD 能学到起止边界且 Moshi 微调后接管轮次从 0.44 升至 0.85，代价是稀有打断类与自由生成的精确对齐仍弱。

针对长时复用纠错历史会被大模型上下文窗口卡住且纯文本检索在触发词被误识时失效的问题，该文用音频关键词检出门控只取当前 utterance 相关的纠错记录，在约 70% 提示压缩下保持或提升词错误率与偏置词 F1，代价是过强的 Top-1 过滤会明显掉点且需维护关键词库与检出模块。

针对纯文本适配会冲掉语音投影对齐的问题，该文把适配重写为去噪任务并用四路混合批次保持对齐，在 DefinedAI 与 SlideSpeech 上报告最高 25.4% 相对词错误率下降，代价是仍需保留源域音频与调目标比例。

针对大模型语音识别只用文本适配会出现语音文本失配的问题，论文用混合批次把少量配对语音文本和大量文本放在一起训练，在银行、农业和乐器三个目标域上用不到 4 小时语音就达到接近全量语音微调的字错率，同时更好地保留了源域性能。

针对跨语言合成中口音不可控且易连带改变音色的问题，该文用 Neucodec 离散声学词元加 Qwen2.5 自回归解码器实现合成，以 Perceiver 瓶颈加梯度反转抑制口音残留再用加权语言嵌入连续调控口音强度，在 Indic 多语言 986 小时和 L2-ARCTIC 上显示口音相似度提升而说话人相似度和 UTMOS 基本保持，但主观 MOS 细节与强度 …

针对越南语—英语语码切换在语音助手链路中字错率与意图损失不一致的问题，该研究提出经大模型修复与问答探针计算的代码切换语义错误率并用商用与自研系统四集基准验证，显示音译策略虽推高词错率仍能保留意图，但语义评测带来更高的计算开销。

TSE-Omni 用单个自回归大模型统一唇动、手势等同步线索与注册音频、文本等异步线索，以自注册历史在 2 秒干净画面后缺失视觉时保持语义分 0.81，代价是流式与弱模态组合仍有质量与语义折中。

针对语音识别遇到训练未见词时语言模型无法给分的问题，该文用冻结 CTC 找拼写候选、冻结语言模型找上下文分歧来定位新词，再只学新增词符的嵌入与拼写分布，LibriSpeech 上 OOV 字符错最高相对降 14.97%，代价是只对重复出现的新词有效且依赖 CTC 候选质量。