大语言模型

针对配对语音文本不足时语音大模型难以对齐声学与文本的问题，论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型，再端到端微调，在日语和中文上把字错率相对降低 27% 到 72%，代价是多两段预训练且在字母文字小语种上增益有限。

论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距，对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。

SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题，用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑，在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性，但结论只在指定画像和扰动房型条件下成立。

论文用 163 段儿童临床互动录音检验通用大语言模型能否沿 BOSCC 决策树答题复刻两项语音编码，最强零样本平衡准确率超随机 19.3 个百分点，而说话人角色标注是最稳定的增益，音频与示例增益不一致且不足以独立使用。

针对只有静音视频和候选文本的配音唇同步评审问题，论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理，在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。

该工作把每条语音先转成转录文本、声学描述和说话人属性三组可读概念再让大语言模型只看概念判情感，在三个语料上用零样本与微调对照和固定预测器的单概念删除，显示转录主导与声学依赖随语料而变，而删除声学概念会改变个体预测即使总分几乎不动。

该文在 IEMOCAP 对话上把音量音调语速转写成文字描述与对话历史一起输入大模型，对比零样本少样本与 LoRA 微调，最强 LoRA 模型效价 CCC 达 0.7822 但 arousal 与 dominance 仍低且历史 VAD 回灌会累积误差。

该文把增量作曲定义为持久 ABC 工件上的操作感知状态转移，用 496038 条对话记录对 Llama 3.1 8B Instruct 做 LoRA 适配，在 1750 次尝试下检查器准入从 29.37% 升至 99.37%、条件合规从 0.7205 升至 0.9798，代价是结论限于爱尔兰传统音乐域且不证明审美优越或无人抄袭。

针对原生大词表 CTC 需物化帧乘词表激活的问题，论文用目标词并集加 blank 做对齐、用全词表归一化加分块重算保持等价，并以有限波束剪枝和因果查询读出把预训练 LLM 做成非自回归与流式识别，在编码器上全步显存降 2.3 至 5.1 倍、LLM-CTC 保持在 LLM-CE 的 7% 相对词错率内并快 7.2 至 10.3 倍，代价是每步增加约 14 至 …

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对多智能体语音流水线中转写、说话人、时间与标注在工具格式间易丢失的问题，OneVoice 用稳定标识、分层转写与显式来源的 JSON 会话记录加校验器组织交接，在 15 组儿童语音事件聚合与 40 组 TIMIT 时序链接上以三模型验证了计数与时序保持的改善，但校验修复收益与模型相关且未验证延迟成本。

针对唤醒词对未见过相似负例泛化差的问题，ADALA 用强化学习优化大模型持续生成高混淆难负例，再与真实数据半监督融合，在 xiao fei xiao fei 上报告平均唤醒率 90.43% 与相似词误唤醒率 3.19%，代价是两阶段大模型与语音合成训练约 90 小时八卡 A800 开销。

针对文本大模型做语音持续预训练时会严重遗忘文本能力的问题，该文选择冻结原模型、只训练新插入的四分之一层，用 48k 小时英语识别数据证明交错插入在识别上接近全量微调而文本退化小一个数量级，代价是推理时多 25% 层开销且纯文本使用需丢弃新层。

针对大模型语音识别中罕见实体难识别且提示词注入易幻觉的问题，AFG-Bias 用声学检索先定位再用门控注入偏置，在金融和医疗集上报告最高 74.1% 相对字错率下降，代价是需额外训练轻量增强模块并依赖检索质量。

该工作把同时传译拆成因果数据构造、自适应等待策略、解耦词义与声音的双流架构和只罚可避免延迟的指标，用约 2.7K 小时每语言对的数据在西德法转英上以可运行的自适应策略超越固定切块并降低延迟，但语音端质量仍依赖更大合成与翻译模型补强。

针对有限真实会议数据下的多人语音识别，论文用语义与说话人双编码器加时间交错输入、按段长度加权的话者损失和按样本损失分布掩蔽重叠高损失词，在约 0.7B 参数下降低重复幻觉并改善说话人归属，代价是交错使输入变长且依赖多阶段训练与强制对齐预处理。

针对多语种语音识别中共享解码器互相干扰的问题，BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层，在五个 CoVoST 2 语种上用词错误率验证收益，同时保留了小语种与高资源语种表现不一致等代价。

针对音频深度推理中单模型听觉视角单一与对称投票被弱智能体拖累的问题，提出按能力分配角色与反馈的非对称多智能体框架 AsymAudio，在 MMAR 平均 74.80% 与 MMAU-mini 平均 79.10% 上报告最优，代价是最多三轮的多模型重复调用与大语言模型主持开销。

针对固定降采样忽略语速与内容变化的问题，该工作用连续积分触发机制按转写词元数动态压缩声学帧，在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度，代价是依赖转写长度监督与分词器选择。

针对客服多轮对话中实体易错问题，论文在冻结 SLAM-ASR 主干上只训练上下文投影器并搭配关键词提示，报告平均相对带来整体约 2.5% 与偏置词约 7.2% 的改善，但纯关键词会抬高整体词错误率而长原始上下文会直接恶化识别。