指令微调

论文要解决演唱录音缺专家诊断配对的问题，把 Reddit 评论整理成 Focused QA 和 Overall Feedback 来微调音频语言模型，在 VocalCoachBench 上把有效诊断加纠正的比例从 21.3% 提高到 61.0%，代价是严格匹配专家诊断仍很低且识别类辅助任务没有带来开放式指导增益。

论文研究只给文本 N-Best 列表时大模型如何做生成式改写，用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制，在私有对话数据上从 3B 左右开始稳定优于同量随机数据，而在 CommonVoice 上结论不稳定。

STEMMA 针对多段音乐比较问题，先声明歌曲-段落-分轨出处关系再检索满足与违反该关系的元组来生成问答，并用 19 万条指令微调使结构关系判断大幅提升而单音频理解保持，属性细粒度比较仍接近随机水平且代价是依赖全曲目录与人工校验。

论文以 150 语言共享中训底座解决通用翻译，再用通用、指令、梗三专家插值加针对性蒸馏保留约束能力，并为语音、音节控制、长文档单设训练路径，最强证据是 9B 长文档均值 0.7891、0.7683、0.8848 与 35B 通用翻译 0.8794 等，代价是质量与约束控制之间存在可测 trade-off。

针对长直播中按子句渐进表现的需求，论文把音高能量语速写成相对上一同说话人子句的变化、停顿写成绝对时长区间，用时间路由器定作用范围、用标签专属码本权重按残差码本分配强度，再用多奖励 GDPO 联合优化控制与质量，最强证据是相对文本标签微调在音高能量上的百分点提升，而代价是只做说话人内适配且依赖强制对齐与说话人相似度等自动指标。

UniAE-MoE 针对语音音乐通用音频统一建模中单编码器偏置与直接融合冗余的问题，选择冻结 Qwen2-Audio 与 Audio-Flamingo 3 并用带共享专家的 SwiGLU 混合专家做融合，在 XARES-LLM 上取得 0.802 总分，代价是两阶段指令调优与任务相关数据补充带来的训练复杂度。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对刚性槽位式语音合成难以处理自由形式用户请求的问题，Bagpiper-TTS 用同一模型先做文本规划再生成数百词元富标题最后合成语音，在 Seed-TTS-Eval 英文集上报告词错误率为 1.7%，代价是依赖大规模仿真数据过滤与长标题推理链。

针对稀有词和命名实体识别难的问题，该工作用视频元数据生成上下文改错推理链并微调语音大模型做先转写再推理再改错，在 M³AV 等集上降低了稀有词错误但宽描述带来的整体增益有限且推理链仍不完美。

论文用翻译加语音合成批量构造多语言语音问答数据来解决多语言指令数据稀缺问题，最强证据是微调后的 Qwen2.5-Omni 在 23 种语言上平均以 60.6% 胜率超过微调前版本，代价是合成语音自然度偏低且部分语言仍需大量人工改写翻译。

针对大音频语言模型能描述声音却定不准起止时间的问题，论文用拼接合成的确定性边界数据 AudioGround-IT 和滑动窗口加绝对时间嵌入的轻量扩展做指令微调，在三个真实音频定位基准上零样本取得大音频语言模型中最好的召回率，代价是仍需 30 秒分块处理且与专用检索模型仍有差距。

针对多声混合中同一类事件多次出现时难定点修改的问题，论文在稳定音频开放模型上加入参考区间与编辑区间加源事件掩码，用在线合成三元组训练加、删、换、移、延五类编辑，区域级 0.1 秒事件分数超过 80% 但搬移目标区波形失真仍更大。

针对音频编辑缺少参考真值而难以评价的问题，该工作在 Qwen2-Audio 上先补差异与共性联合理解，再用七步思维链做可读文本评价，最强证据是差异与共性准确度与人工编辑和保持评分呈现互补相关，而代价是保持维度的声学一致性建模仍弱于专用监督打分模型。

该文研究音乐大语言模型能否学会唤醒度和愉悦度连续分数回归，采用指令微调建立基本格式与粗略预测再用可验证数值奖励的组相对策略优化精修，最强证据是反馈对齐后在 DEAM 与 MERGE 上唤醒度和愉悦度同时提升且 MusicQA 能力得以保持，代价是仍需两阶段训练且部分条件下未超过专用编码器探针。

针对标签转指令中超过 40% 改写存在语义漂移的问题，论文用受控多样化扩大覆盖、用大模型校验过滤保忠实、再用扰动配对补齐韵律控制，在中文评测上把平均遵循率从 34.5% 和 51.0% 提升到 56.4%，代价是仅保留约 61.5% 候选。

针对 154 通中文心理热线三级危机分类，该研究把语音副语言线索文本化后交给文本大模型微调，并用推理生成做辅助约束，在呼叫级五折上报告准确率 0.805 与宏 F1 值 0.802，代价是依赖分块扩增与模型生成的非金标准推理目标。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

针对视觉听觉情绪线索稀疏且时间不同步导致隐式融合稀释与纠缠的问题，EmoThinker 用结构化 token 选择提纯面部与声音证据并用 CoET 数据集做分步推理，在 DFEW 等基准上报告了最高分，但背景丢弃与长尾类别仍带来代价与不稳定。

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读

针对语音编码器偏发音而大语言模型偏语义的对齐错位，该文提出先预测音素再生成文本的联合训练，在 100 小时低资源和 960 小时及荷兰语条件下报告词错率下降，代价是输出变长与仍需低秩适配。