SFT

论文针对音频大模型感知错误多、推理链感知依据单薄的问题，用四阶段管线构造约 160 万条感知 grounded 且带验证回溯的长推理轨迹，再以监督微调加直接偏好优化训练 Qwen2.5-Omni-7B，在 MMAU 等基准上提升约 6-7 个百分点，代价是依赖模型生成校验与 30 秒内音频。

针对大模型语音识别把未登录词听成常见同音词的问题，PronCFT 用固定的候选发音序列做监督，训练模型先转写发音再匹配候选拼写，在合并的未登录词测试上把召回从 59.89% 提高到 83.57%，而通用词错误率基本不变。

本文要解决会话式语音合成读不准罕见药名的问题，用词表扩展加音素增强微调学会读 ARPAbet 音素，再用无需训练的上一轮参考发音稳定输出，在 7,500 条药物评测上把严格正确率从 54.6% 提高到 90.7%，但人工听感优势只在小子集上成立且置信区间重叠。

X-MDD 把学习者语音、合成的标准语音和标准音素序列一起送入大模型来预测真实发音，只在中文和英文上训练，再靠标准参考和示例迁移到阿拉伯语，代价是召回和诊断精度仍明显低于有监督基线。

论文要解决印度 22 种 scheduled 语言加印度英语在短、噪声、窄带和混码语音下的首步语种判断问题，用 115.6M 参数的专用 Conformer 在 54643 小时上训练，在 37 个同 clip 条件下平均 macro-F1 达 0.914，代价是需要大规模多语训练和多轴评测设计。

针对大音频语言模型逐词生成答案在高频决策中延迟高且需解析的问题，论文在 Qwen-Audio-3.1-ASR-Flash-Next 解码器后加决策头，用 Choice、Noul、Score 三种类型直接输出概率或期望分数，在 18 组配置上验证并报告约 20 倍推理加速。

TVPara 针对电视剧中强烈情感与场景背景声共存时大音频语言模型描述不准的问题，用预标注加人工校对构建单句与多句两类描述数据，并在两款开源模型上微调后以四维相似度打分验证了复杂声学下的提升与跨域迁移，同时暴露了适配器容量不足时的拟合偏差代价。

论文针对治疗师缺乏失语症沟通练习对象的问题，用失语症语料微调轻量非自回归语音合成模型并加入停顿口吃处理与向量偏移扩增说话人，在语速停顿和可懂度指标上复现了失语症特征，但结论只在五十句脚本合成与所选临床指标范围内成立。

论文在方言适应中同步跟踪损失与字错率，把快速崩溃、随后修复与长期普通话漂移拆成三个可分离过程，并用层拼接、梯度谱与更新迁移证明绕开早期崩溃仍会出现源域退化。

D2 把已具备理解与生成能力的半双工语音模型按固定短块切分对话，用流式编码器蒸馏加全双工监督微调实现边听边说，在 80 毫秒块下 Qwen3-Omni-D2 仍保持 70.1 的 VoiceBench 总分，但小块会明显削弱停顿容忍并保留合成与数据构造等限制。

论文针对智能眼镜四通道双人日常对话的重叠与远场转写问题，比较直接微调 SoulX-Transcriber 与 GSS 和多通道 DPRNN 前端辅助两路解码的差异，验证集上前端在高重叠时更优但最终以更稳定的直接微调系统提交并在测试集取得 tcpCER 6.22，代价是前端失真与零填充带来的幻觉和分段解码处理。

针对现有 MOS 预测在韩语上校准不良的问题，KOMOS 用 29 名韩国听众对 1000 条语音的 5000 个打分微调 Whisper-medium 编码器与听众条件预测头，在测试集上取得 SRCC 0.900 与 LCC 0.950，但结论只在该韩语数据划分与 seen-system 条件下成立。

论文研究只给语音波形时大音频语言模型难以直接判断构音障碍的问题，提出把用 OpenSMILE 算出的音高、响度、谐噪比和语速等数值连同性别语言信息写进提示词再做监督微调，在 PC-GITA 西班牙语料上以说话人级准确率超过 wav2vec2 与 XLS-R 基线，但增益依赖微调与特定划分且特征顺序是事后按单特征效果排定的。

论文针对孟加拉语合成数据少且难以做零样本声音克隆的问题，用两层均衡语料加三步适配改造英语自回归语音基础模型，并用母语人评测证明自然度和克隆保真度的提升与适用边界。

论文用保留与归一化脉冲间隔的配对录音对比卷积与 Transformer 流程在同条件与跨条件下的物种分类准确率，发现归一化未给 Transformer 带来更大优势且跨到自然录音时性能下降，证据只支持有限作用。

针对无预先切分的多语双人对话说话人归属转写问题，比较了先做说话人日志再做分段识别并做文本纠错的级联路线与直接生成说话人标签时间戳和文本的统一路线，开发集上级联平均误差更低但统一路线在部分语言上占优，代价是统一模型在本研究中只能在约 60 秒块上微调而无法做全会话微调。

针对一位永久气管造口并伴重度构音障碍的捷克语青少年的不可懂语音，论文用人工对话采集 33 小时单人语料并以 Whisper Base 做四阶段微调与流式改造，在三种实时场景下把字符错误率大幅降低，但绝对误差仍高且高度依赖说话人自身数据与设备适配。

论文用只保留最低 12 个梅尔频带的低通语音微调 Whisper-Medium 来估计能恢复多少词，在 Yodas 上得到约 36% 词错误率、在 AnimeVox 上得到约 60% 词错误率，再用只由基频和能量重建的频谱做对照发现误差升至约 69%，说明低频与词内容联系比预想强但尚不能归因于纯韵律。

共分析 245 篇语音/AI 论文

该工作把每条语音先转成转录文本、声学描述和说话人属性三组可读概念再让大语言模型只看概念判情感，在三个语料上用零样本与微调对照和固定预测器的单概念删除，显示转录主导与声学依赖随语料而变，而删除声学概念会改变个体预测即使总分几乎不动。