大语言模型

针对模态内缺失导致证据碎片化问题，SemMSA 用冻结大语言模型隐空间迭代精炼情感语义并以核 Gram 矩阵主谱成分做无锚对齐，在缺失率 0.0 到 0.9 平均上保持领先，但极高缺失与可解释性仍受限。

论文把每次停顿后的说与不说做成二分类预测，用三域 12 万标注点证明八个大模型零样本都不行，再用带推理蒸馏的有监督微调把平衡准确率提高至多 23 个百分点，代价是仍需文本上下文与标注监督且未验证实时多模态部署。

针对大语言模型语音识别在噪声下表示不稳的问题，VIB-AVSR 在 LLM 第 4 与第 8 层后只对音频隐状态做变分信息瓶颈压缩与插值，在 LRS2 上 babble 与 speech 噪声多信噪比下降低词错率，而干净语音性能基本保持，代价是需调压缩强度与插入位置且三瓶颈会过正则。

WASIL 针对阿拉伯语级联语音助手的用户差评混杂问题，用 9304 轮野外语音加双路 ASR、金标改写与可回答性标注分离转录与问法因素，并用多法官无参考评分报告金标与 ASR 输入下的性能差距与方言代价。

针对离散词元依赖单一编码器切分的问题，该文把三个固定自监督编码器当作同一句话的多种分词器来训练一个共享大语言模型解码器，在保持单编码器推理成本下把 WavLM 视角做到 LibriSpeech 干净集 3.30% 与其他集 8.13%，再用三路 ROVER 投票做到 3.03% 和 7.38%，代价是训练量变为三倍且泛化仍受限。

针对音素到文本重建训练用干净音素而推理遇到视觉识别错误的问题，论文提出从合成扰动到多域再到目标域伪标签的三阶段渐进训练 PECT，在 LRS2 上把 HP-VSR-FiLMFuse(L4) 从 23.3% 降到 22.2%，代价是需要五折训练视觉前端生成伪标签且仍受限于第一阶段音素质量。

针对交错式流式语音识别大模型中外部强制对齐与模型自身对齐不一致的问题，该文用冻结非流式教师的文本音频注意力经置信度回退和单调搜索构造学生训练序列，并叠加 logit 与隐状态蒸馏，以聚合错误率从 9.35% 降至 7.80% 为最强证据，代价是相同蒸馏配置下闪烁高于强制对齐对照。

针对真实扰动下单一音频伪造检测器不稳定的问题，ROGUE 用扰动智能体出难题、策略智能体按序挑选检测工具的对抗方式构造工作流，在 WaveFake 训练与多扰动和跨数据集评测中提升了平均准确率，但代价是联合搜索更贵且依赖工具多样性。

针对配对语音文本不足的目标域，该研究把同一基座大模型微调得到的目标域语言模型适配器直接加到语音识别模型参数上，在日语和英语的领域适应中报告了目标域改善，且推理时只跑单个识别模型。

该研究把时间戳与说话人归属做成对给定转录本的单遍占位填充，用双向大模型同时输出全部标签，在相同训练数据下比同类自回归模型更准且标注快一到两个数量级，但流水线总速度仍受前置语音识别限制。

该研究用不改 Whisper 结构的二次重排与浅融合接入 Mistral 7B，在 Common Voice 朗读上把词错误率从 15,28% 降到 14,18% 与 14,68%，而在 ATCO2 管制通话上最好只与 18,78% 基线统计等价，代价是权重过大时性能明显退化。

共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读

共收录 118 篇 jep-2026 会议论文的 Reader 深度解读

针对同一录音中多组高度重叠对话的转写与分组问题，该工作用视觉门控的目标说话人长时解码做转写、用大模型话题相似度做分组，在开发集上报告约 33.7% 词错误率和 0.97 聚类 F1，但长时视觉缺失填充与模拟数据域失配仍是主要代价。

共收录 14 篇 chime-2026 会议论文的 Reader 深度解读

针对自然语言到二维均衡参数的连续控制任务，论文用约 9 万次用户交互构建非参数偏好密度奖励面，先以 GRPO 做在线结构对齐再以 DPO 做峰值注入精修，在分布外概念上以 1.5B 模型达到与 GPT-4o mini 可比的听感，代价是混合管线对分组数敏感且仅适用于低维空间。

该研究把主动规划、口头对话与非言语通信统一为一个零样本提示驱动的 LLM 代理工作流，并在 Pepper 机器人上与基于规则的多策略基线对比，主动性离线重放占优而用户体验总体接近，但推理延迟与样本不均衡仍是主要代价。

该工作把文王法起卦的偶然性放在投掷阶段、用规则加概率做实时伴奏，再把本卦之卦与动爻的经文交给大语言模型做针对性解读并转写成音乐提示词驱动生成模型，其代价是未做定量听感评估且生成音乐对细粒度语义提示不够敏感。

共收录 160 篇 nime-2026 会议论文的 Reader 深度解读

针对多人同时说话造成的严重重叠与多会话分组难题，该工作保留基线说话人检测不变，主攻视听语音识别的数据清洗与模板化混合仿真并用大语言模型做会话聚类，开发集最好结果为词错误率 42.81% 与聚类分数 97.77%，代价是强单说话人骨干仍易误转干扰人且文本纠错收益有限。