语音大模型

论文用 Qwen3-Omni-30B-Instruct 在 1848 条印尼中学生朗读上检验口音度与可理解度自动评分，显示少样本下中等相关并能检出前后测进步，但线索排序在口音度上与人差异更大且整体打分偏低。

针对语音大模型能识别情绪却回不对情绪方向的问题，CE-CoT 把一次回答拆成情绪识别、中性回答与情绪对齐改写三步做隐式对照训练，在四个数据集上把情绪一致性最高提升 19.1 个百分点相对普通对齐与 35.2 个百分点相对预训练基线，代价是仍只验证单轮与自动裁判打分。

针对语音大模型含编码器与适配器且序列被音频主导的问题，提出编码器在适配器输出处打分与解码器只看文本词元的 SBI，在三模型上以无修复剪层对照显示高剪除率下更稳健，但解码器在约 20% 剪除前仍明显退化且需权衡计算开销。

针对语音语言模型做自动语音识别特化后语音问答能力下降的问题，论文用特化前模型做问答老师、特化后模型做识别老师，让学生按任务分别采样轨迹并只接受对应老师的监督，在 500 小时蒸馏数据上提升识别的同时保住问答，但全文特化模型本身的识别上限仍未被完全追平。

针对端到端语音大模型相对文本模型在推理与指令任务上的退化，论文提出跨模态同策略蒸馏 X-OPD，让学生在语音与文本上自己采样再由文本教师做 token 级打分，最强证据是 Qwen3-Omni-A3B 语音平均下降从 11.29% 降到 3.43% 且 MMAR 保持在 69% 以上，代价是需要严格语义一致的平行语音文本对与在线教师打分开销。

论文发现相同语音输入下交错语音文本生成的内部文本准确率大幅低于纯文本回答，提出联合输出在策略蒸馏用冻结的语音到文本策略监督学生自己的联合轨迹，在 Step-Audio-2-mini 上把输出模式差距从 42.87 降到 16.26 个百分点而语音到文本基本不变，代价是仍残留十余点差距且口语答案增益小于内部文本增益。

该工作研究无训练介入式可懂度预测，用冻结语音基础模型分层嵌入的参考测试分布距离代替人评，在英文编码增强与中文增强数据上显示 Whisper 末端层加 Fréchet Audio Distance 相关最强且跨语种比词错误率稳健，代价是需要成对参考与更大模型开销。

共收录 199 篇 acl-2026 会议论文的 Reader 深度解读

针对语音输入推理明显弱于文本的模态推理鸿沟，论文提出非对称奖励的在线轨迹对齐框架 TARS，用表示对齐约束层间隐状态、用行为对齐约束输出语义，在 MMSU 与 OBQA 上把语音恢复率提升到 98.89 到 100.45 区间，代价是约 27.5 小时基线之上的在线强化学习与约 4.4% 额外奖励计算开销。

论文用单词对齐的逐层干预揭示浅层保留声学细节而深层可大幅压缩的层级冗余，并提出训练无关的相似度合并与双阶段压缩，在三类语义任务上减少约 27.48% 预填充计算量，但中间过渡层敏感且细粒度声学影响尚未充分验证。

针对多文种语音识别中同一语言输出文字不确定的问题，论文用解码器激活均值差提取文字向量并在推理时相加，在塞尔维亚语和中文混淆缓解与跨语言罗马化、西里尔化上验证效果，但西里尔化弱语言与编码器干预仍有限。

论文把多轮语音风格保持定义为首轮指令后的逐轮指令遵循率，用同一话题与同一模拟用户测五类模型，报告首轮尚可但后续迅速退化，并显示显式回忆能部分缓解但需额外轮次代价。

针对功能磁共振时间分辨率不足以区分言语与语言加工阶段的问题，该工作用词 onset 对齐的皮层脑电高频信号做时空预测微调，在三个语音模型上提升脑对齐且保持下游任务，同时以时间平均与打乱对照证明毫秒结构带来额外增益，但数据仅为 9 人单播客因而覆盖与多样性受限。

VoxMind 针对端到端语音智能体规划弱与工具多时延迟高的问题，采用先显式推理再说话与并行动动态工具管理，并在 AgentChat 上训练，主评测总体 74.57 分超越基线，但推理轨迹带来固定开销且合成数据与真实口语仍有差距。

论文用同一段用户语音只换提示词的方法，测显式规则与角色暗示下的抢话、倾听与让出行为，发现内容像角色不等于动作像角色，且良性冲突会跟、安全冲突仍难覆盖。

论文在 LoRA 适配的 ASR-LLM 中复用基座 LLM，以对应层隐状态的余弦相似度和范数比定位需语义纠错的词；单遍混合解码的平均实体错误率为 18.38%，有效搜索宽度约为贪心的 1.4 倍，双遍精修则把波束基线的 18.29% 降到 17.69%，但其总计算成本与墙钟时间未量化。

语音识别 | 7.5/10

语音识别 | 6.2/10

语音识别 | 7.4/10

语音合成 | 7.0/10