大语言模型

针对歌剧等长时叙事音乐解说易幻觉、配对数据稀缺的问题，MAC 用免训练的多尺度声学与语义证据加分层上下文约束现成指令大模型，在 MQAD 取得最好成绩并在歌剧与全曲上提升情感与艺术对齐，但语义相似度与人类稀有线索覆盖仍有代价。

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题，AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理，在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进，代价是两阶段流程与额外视觉编码和大模型重打分开销。

论文先用统一打分协议测出现成语音大模型在 VoxCeleb1 上等错误率多在 20% 以上，再用冻结 ECAPA-TDNN 向量加线性映射与 LoRA 把 TinyLLaMA-1.1B 做到 VoxCeleb1-E 上 1.03% EER，代价是推理与训练开销远高于专用验证系统。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

该文把说话人属性预测从 44 类固定分类改写为对大语言模型嵌入的余弦对齐，并用关键词追加收紧流形、用前 k 负样本损失拉开拥挤区，在 LibriTTS-P 上闭集 F1 达到 0.7625 且同义词零样本基本不掉点，代价是依赖单一语料与特定嵌入维度。

在冻结文本大模型且固定 600 bits/s 信息率下，把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描，并用因子化 FSQ 加轻量非自回归音频头补足单帧容量，最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升，代价是过低帧率下生成侧词错率单调恶化。

针对固定对比解码在干净与强噪声间顾此失彼的问题，该工作用同一模型的全音视作专家、纯音频作弱者做减法，并以音频能量、音频熵和分布分歧三路门控逐词调节干预强度，在 LRS3 与 LRS2 多信噪比下同时改善干净与噪声词错误率，代价是每次解码需跑两次前向并增加约 136.4 ms 延迟。

论文以 3000 句人工标注比较 30 多个大模型与传统形态分析器的日语字音转换，证明解析模式加规则后处理的最优假名错误率降到 0.52%，低于最强传统工具的 1.03%，但小模型、数字量词与推理模式仍有明确代价与边界。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

针对大语言模型语音合成只看参考音频和目标文本而忽略已生成目标语音风格的问题，该文提出按音节交替预测韵律标记和语音标记的方法，在三套中文评测上提升了说话人相似度和韵律相关性，但自然度基本持平且大模型对比仍有限。

针对看图说话中的痴呆检测问题，该方法用 Whisper 同时取声学表示与转写文本，再用大模型抽取可解释语言特征并门控融合，在 ADReSS 和 ADReSSo 上报告 F1 为 89.47% 和 90.14%，代价是依赖外部大模型接口且仅验证了英语看图任务。

针对解码器独占式语音前缀需要大模型同时学单调对齐与语言建模的问题，该文用对齐器编码器先把 T 帧压缩为 U 个标签同步状态再在切分层注入冻结大模型的上层做连接器，在 LibriSpeech 上以 3.2/5.6 词错误率优于同尺寸基线，代价是仍需联合训练轻量头与低秩适配且晚注入会退化。

该文以 SLAM 语音大模型为对象，用角距离找连续可删层块并以联合修复验证，显示 7-8B 模型只保留约六成解码器层仍保持可用识别与翻译性能，而跨任务可删位置高度一致。

针对只有目标域文本的跨域适配问题，论文提出把文本嵌入映射到音频提示空间的 TE2SL 精炼模块，在 SPGISpeech 上把词错误率从 11.1% 降到 8.5%，代价是需要先在源域配对数据上训练一个 18.6M 参数的 Conformer 映射器。

论文用西弗里斯兰语检验大模型生成式纠错能否超越五选一上限，靠公开集加非公开离线集对照排除记忆，最强证据是 GPT-5.1 把词错率降到公开集 8.9% 与离线集 13.8%，代价是开源小模型几乎不改写且插入词判断仍不稳。

该研究在 AMI 四人会议上统一比较受话人检测、话轮保持与转换预测、下位发言人预测三任务，显示文本大模型靠长上下文在下位发言人预测上超过人和受监督模型，而包含 Gemini 2.5 Pro 在内的多模态大模型在受话人与话轮转换上仍低于人，代价是对原始音视频利用不足且上下文过长时推理负担上升。

针对语音神经假体中 CTC 解码依赖约 320 GB 内存的加权有限状态机问题，LightBeam 用固定间隔的延迟融合把大模型引入首遍束搜索，在两套基准上降低内存到约 10 GB 并保持实时因子小于 1，代价是更频繁地调用大模型。

针对中英码切换识别中语言快速切换与稀有命名实体难认的问题，LLM-HB 用 Whisper 编码器加双专家 MoE 适配器加辅助语言头加 LLM 热词提示做联合建模，在 ASRU2019 码切换测试集 15 干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练与仔细权衡偏置损失权重。

针对只有目标域纯文本而无配对语音时的领域适配问题，该研究把与 ASR 同基座大模型微调得到的目标域语言模型以 LoRA 参数加减法直接合并进语音识别模型，在 CSJ 上把目标域字错率从 13.9 降到 13.3 且不增加推理参数与实时率，代价是提升幅度小于每步调用大模型的浅融合与密度比融合。

该文把方向跟随 TTS 定义为相对修改任务，用印象可控 TTS 生成伪语音对再由大语言模型补写导演指令来构造伪三元组，并训练固定主干上的流匹配风格精炼器，报告显示伪数据提升说话人稳定性而真人录音提升方向对齐，二者结合取得平衡。