语音大模型

论文用先预测文本词再生成对应语音段的序列构造解决语音到语音续写的内容建模问题，最强证据是在相同模型和数据下生成困惑度从 151.7 降到 58.9，蒸馏与文本回放进一步保留事实知识，代价是需要词级对齐和双头生成。

论文用上下文加回应语音预测九个审美标签，先在合成标注上监督微调学格式与描述，再用约 10 人投票的分布奖励做 GRPO 对齐，主证据是感知场平均宏 F1 达 50.1% 超过人类单人对多数人的 43.5%，代价是需要工具测量辅助与两阶段训练。

针对方言语音缺数据导致翻译变差的问题，论文用大语言模型改写出方言文本再用标准语音合成出伪方言语音做增广，并用中间标准文本预测做语义桥，在日语德语中文方言到英语翻译上验证效果与代价。

HiPLEX 把全双工语音的文本策略拆为何时发射的控制因子和说什么的条件内容因子，再用事件因果掩码分送信令与语义反馈，在 Moshi 上改善了暂停与 backchannel 克制和打断后延迟，但结论只在相同评测协议与奖励配比下成立且伴随学习率敏感性。

论文用匹配内容合成与固定提示回放在冻结 GLM-4-Voice 中检验请求式副语言是否跨内容复现，以 16 维共享坐标刻画结构，最强表示证据是内容留出下 9.49% 对 1.25% 与余弦 0.285 对 0.017，而生成干预只在部分属性与层组有效并伴随文本保真代价。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对语音意图分类中语义相邻类别难分的问题，该工作用 DeepSeek-R1 生成的候选枚举加拒绝解释加标签三段轨迹做多任务微调正则，在 SLURP 和法语 Speech-MASSIVE 上六个语音大模型意图准确率最高提升 2.4 个百分点且推理时只直接输出标签。

针对语音大模型逐词元自回归推理慢的问题，该文用冻结 CTC 编码器的贪心假设做草稿，经熵门控与单次 LLM 似然校验加失败回退，在 9 个语料 5 种语言上实现最高 4.4 倍逆实时因子提升并在高精度档把平均词错率从 5.75% 降到 5.58%，代价是高速档有约 12% 相对词错率上升。

针对语音基础模型难以在无原始数据和无再训练条件下做结构化压缩的问题，该文用通道级 k-means 聚类合并注意力头和前馈中间单元，并在 HuBERT-large 50% 稀疏度上相对幅度剪枝取得微调前 27.73%/18.61% 绝对词错误率下降，代价是极高稀疏度和跨层方差差异大时仍会失效且需微调恢复。

针对稀有词和命名实体识别难的问题，该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错，在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。

针对十种诱发范式各需专用模型且简单混训不增益的问题，论文用 Qwen2.5-Omni 语音大模型加 10 个 DoRA 专家动态路由统一建模，在 1223 名青少年数据上把平均准确率从单范式 0.628 提升到 0.656 并改善未见范式泛化与校准，代价是专家数、负载均衡与温度缩放都需仔细配置且个别范式仍不占优。

针对大词典直接偏置会引入无关词的问题，该文用同一预训练语音大模型一次生成初识结果并标出疑似领域词错误片段，只用这些片段做音似检索再做第二遍重识别，在医疗、空管、金融三域上把每句查询从十余次降到约 1 次并降低了领域词错误率，但低频词增益在领域词占比低时变小且仍依赖提示与检索排序质量。

针对深而窄语音学生模型蒸馏训练慢的问题，论文提出每次把复制层插回原层之后以保持层位置一致的交错堆叠，在 SUPERB 四任务上以约 1.16-1.24 倍加速达到接近或超过全量训练的性能，代价是仍需分四阶段调度和中间层损失权重。

针对离线语音基础模型在流式下因上下文受限而退化的问题，论文用滑动音频窗口加时间戳去重加纯文本发射策略的免训练管线，在三套英语数据上以约 2 秒级延迟恢复到接近离线词错误率，但低延迟与高难数据集上仍有代价。

论文发现语音大模型的推理差距集中在需跟踪实体的逻辑任务上，用推理时强制枚举实体并绑定的提示把语音准确率拉回接近文本水平，代价是生成长度从 256 增至 1024 词元带来的延迟增加。

针对普通话热词识别中过度偏置与同音误报的矛盾，UGPCB 在冻结的 Dolphin 模型上用解码时熵门控决定何时加偏置、用字形与拼音双通道交叉验证决定如何奖惩，在 SeACo 测试集上报告召回率从 68.15% 提升到 84.19%、F1 达到 90.81%，代价是背景错误率小幅上升与干扰词增多时误报增加。

论文用 Qwen3-Omni-30B-Instruct 在 1848 条印尼中学生朗读上检验口音度与可理解度自动评分，显示少样本下中等相关并能检出前后测进步，但线索排序在口音度上与人差异更大且整体打分偏低。

针对语音大模型能识别情绪却回不对情绪方向的问题，CE-CoT 把一次回答拆成情绪识别、中性回答与情绪对齐改写三步做隐式对照训练，在四个数据集上把情绪一致性最高提升 19.1 个百分点相对普通对齐与 35.2 个百分点相对预训练基线，代价是仍只验证单轮与自动裁判打分。

针对语音大模型含编码器与适配器且序列被音频主导的问题，提出编码器在适配器输出处打分与解码器只看文本词元的 SBI，在三模型上以无修复剪层对照显示高剪除率下更稳健，但解码器在约 20% 剪除前仍明显退化且需权衡计算开销。

针对语音语言模型做自动语音识别特化后语音问答能力下降的问题，论文用特化前模型做问答老师、特化后模型做识别老师，让学生按任务分别采样轨迹并只接受对应老师的监督，在 500 小时蒸馏数据上提升识别的同时保住问答，但全文特化模型本身的识别上限仍未被完全追平。