指令微调

这篇研究提案要区分普通多模态情绪不一致与真正的情绪隐藏，计划用面部动作单元、跨模态融合与时间上下文结合多模态大语言模型来建基准并做三级推理，但目前只给出了方案与待建的评测，没有已完成的隐藏情绪识别实验结果。

论文要解决已训练好的文本图像模型如何新增语音输入并保留推理与工具能力，采用两阶段适配与按数据源区分的交叉熵和前向 KL 监督，在语音推理、对话体验与完整任务上验证效果，代价是本地在线教师与大规模语音暴露量的训练开销。

TAC2 先用弱教师在时间轴上拼出带说话人的结构化描述，再用小样本专家引出韵律属性并蒸馏为统一模型，让冻结文本模型接力推理、让扩散模型按时间重建，在口语感知与可控合成上得到可验证的提升。

Qwen-Audio-3.1-ASR 针对说什么、谁何时说、音频还传达什么三个问题，用音频编码器加指令控制解码统一转写、说话人日志转写与音频理解，并用加权说话人损失、帧对齐时间戳、强化学习与多教师蒸馏改进结构化输出，在多语、方言、说话人日志与音频理解评测上给出条件明确的对比结果。

论文要解决演唱录音缺专家诊断配对的问题，把 Reddit 评论整理成 Focused QA 和 Overall Feedback 来微调音频语言模型，在 VocalCoachBench 上把有效诊断加纠正的比例从 21.3% 提高到 61.0%，代价是严格匹配专家诊断仍很低且识别类辅助任务没有带来开放式指导增益。

论文研究只给文本 N-Best 列表时大模型如何做生成式改写，用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制，在私有对话数据上从 3B 左右开始稳定优于同量随机数据，而在 CommonVoice 上结论不稳定。

STEMMA 针对多段音乐比较问题，先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答，并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持，属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

针对长直播中按子句渐进表现的需求，论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间，用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度，再用多奖励 GDPO 联合优化控制与质量，最强证据是相对文本标签微调在音高能量上的百分点提升，而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。

UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题，选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合，在 XARES-LLM 上取得 0.802 总分，代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对刚性槽位式语音合成难以处理自由形式用户请求的问题，Bagpiper-TTS 用同一模型先做文本规划再生成数百词元富标题最后合成语音，在 Seed-TTS-Eval 英文集上报告词错误率为 1.7%，代价是依赖大规模仿真数据过滤与长标题推理链。

针对稀有词和命名实体识别难的问题，该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错，在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。

论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题，最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本，代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

针对多声混合中同一类事件多次出现时难定点修改的问题，论文在稳定音频开放模型上加入参考区间与编辑区间加源事件掩码，用在线合成三元组训练加、删、换、移、延五类编辑，区域级 0.1 秒事件分数超过 80% 但搬移目标区波形失真仍更大。

针对音频编辑缺少参考真值而难以评价的问题，该工作在 Qwen2-Audio 上先补差异与共性联合理解，再用七步思维链做可读文本评价，最强证据是差异与共性准确度与人工编辑和保持评分呈现互补相关，而代价是保持维度的声学一致性建模仍弱于专用监督打分模型。

该文研究音乐大语言模型能否学会唤醒度和愉悦度连续分数回归，采用指令微调建立基本格式与粗略预测再用可验证数值奖励的组相对策略优化精修，最强证据是反馈对齐后在 DEAM 与 MERGE 上唤醒度和愉悦度同时提升且 MusicQA 能力得以保持，代价是仍需两阶段训练且部分条件下未超过专用编码器探针。

针对标签转指令中超过 40% 改写存在语义漂移的问题，论文用受控多样化扩大覆盖、用大模型校验过滤保忠实、再用扰动配对补齐韵律控制，在中文评测上把平均遵循率从 34.5% 和 51.0% 提升到 56.4%，代价是仅保留约 61.5% 候选。

针对 154 通中文心理热线三级危机分类，该研究把语音副语言线索文本化后交给文本大模型微调，并用推理生成做辅助约束，在呼叫级五折上报告准确率 0.805 与宏 F1 值 0.802，代价是依赖分块扩增与模型生成的非金标准推理目标。