大语言模型

该论文把多语言识别误差按语音、形态、句法拆开，让大语言模型智能体据此逐轮选择语言配比、语句和词元监督，在 12 种 Common Voice 语言上用相同 1200 小时训练预算取得更低平均错误率，但结论只在 Whisper-medium 加固定微调配置下成立。

流行歌人声密、结构变化大，选歌、选进出点和选混合手法互相牵制，DJustify 让同一个大语言模型一次给出联合方案并把渲染出的音频交给确定性声学检查做修复，固定歌对盲听优于已有自动系统而三分钟故事整场与人类 DJ 无可测差距，但检查器只修补偶发切断人声而未提高平均分。

SimPOTrans 针对离线语音翻译模型难以直接处理不完整语音的问题，用两阶段强化学习先增强整句翻译能力再在部分语音多轮轨迹上自我适应，在 ACL 60/60 和 MCIF 三个英译外方向上取得更好的质量延迟权衡，但其 BLEU 低于基线且依赖固定时长切块。

该文解决普通话 TTS 只能做整句风格控制、不能在指定汉字上调时长音高停顿的问题，用大规模自动提取的 Unicode 韵律标记加微调 CosyVoice2 的语言模型实现字级控制，代价是阈值固定、只验证普通话和单一主干且听感评估仅为描述性比较。

该文把被动检测改写为多证据假设推理，用方向引导的三分支编码器加语言模型输出结构化报告，在仿真白噪声与混合海洋背景下实现可靠检测与方位估计，但距离估计未超越中值基线且结论限于仿真网格环境。

针对音乐效价难以从音频直接预测的问题，论文用小规模音频基座模型给出初值，再用文本与多模态上下文示例让大模型只预测残差修正量，在 MER60 上把效价 R2 从 0.110 提升到 0.427，但多模态示例增多后收益会回落。

针对配对肌电—文本数据不足导致后端难以纠正前端噪声的问题，PhonoBridge 用音素作中间表示并用前端错误模式增广文本转写的音素序列，在同一 Open Vocabulary 测试集上取得 24.77% 词错误率，但结论依赖固定划分、固定前端和贪心解码条件。

论文把语音识别语义评测变成按段判断后果的任务，用对齐切段加结构化评分准则区分要紧与不要紧的错误，并用三层错误率和无参考纠错验证了它与人工更一致且能指导修复。

论文比较直接优化单个全模态大模型指令与优化字幕推理和智能体子智能体两类显式文本接口的效果，发现只有直接优化 Gemini 指令带来稳定提升，而更易看懂的中间接口反而更难优化且伴随信息损失与证据冲突的代价。

FLARE 针对唇读中视觉线索模糊且对姿态和分辨率敏感的问题，用 Whisper 深层语音表示经随机投影量化做掩码预测预训练，并用脸与唇双流联合建模加辅助音频和模态丢弃学习视觉表示，最好的大模型加语言模型解码在 LRS2、LRS3 和 WildVSR 上取得 11.7%、13.2% 和 34.3% 的词错误率，但双视觉分支增加了计算开销且跨任务迁移尚未验证。

论文用同一 BiLSTM 融合结构参加六个步态与音视频抑郁检测子赛道，发现约 150 词的人格描述带来约 0.5 的赛道分提升，而领域微调大模型虽提高二分类一致性却破坏 PHQ-9 回归校准，在每队列不足百人时小容量加深集成更稳妥。

针对一句内中英交替难认准、稀有词和人名易错的问题，该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程，在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练和预先给定热词表。

论文针对全模态问答中感知到却用不上的问题，用词级对齐诊断定位生成可及性瓶颈，再以自我生成的模态描述补足弱模态，主要证据是跨七个模型的平均提升与弱模态对齐回升，代价是增加描述生成开销。

论文研究只给文本 N-Best 列表时大模型如何做生成式改写，用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制，在私有对话数据上从 3B 左右开始稳定优于同量随机数据，而在 CommonVoice 上结论不稳定。

VoTSpeech 针对纯文字指令缺显式声音目标的问题，用流匹配预测连续声音隐变量并双路引导大语言模型与声学扩散变换器，在中文指令评测的描述风格与角色扮演任务上占优，但结论只在同一中文训练与统一评判条件下成立，且推理多出声音采样开销。

ARIA 把粤语作词拆成先从带字槽的歌声估计 0243 声调层级序列、再以该序列为控制生成歌词，TRATE 与 DRA-TCLG 分别解决音频侧相对调高恢复与文本侧一对多选词问题，代价是依赖字符边界且第二阶段一般只实现而不修复第一阶段的错误。

针对对话语境下如何用自然语言指令控制合成语气的问题，论文提出冻结合成模型、用目标语音似然奖励训练规划器，在英语电影对话子集上提升了与目标语音的声学相似性和语境恰当性，但结论依赖同一合成后端且未做人工听音验证。

针对参考试听中先要决定比哪两段的问题，Diptych 让用户自定整曲或自选片段的比较范围，再用 59 个结构化音频特征加语言模型解释差异，12 名音乐人单会话实验显示新增 10 条判断中有 9 条获双专家至少部分支持，但原有 38 对判断的双专家完全支持数从 24 变为 23，可用性均分 74.79 分而判断正确率并未整体提升。

该文要从听者视频加说话人音频文本推断听者六类情绪，用视觉对齐的说话人筛选加无标注听者自举训练视觉专家，再只对低置信样本用说话内容作诱因做二选一推理，在 MER-Cross 上报告 76.25% 加权平均 F1，代价是多阶段筛选与受限的大语言模型调用。

用两个外域模拟咨询数据预测未见过第三个项目的专家总体印象，基于专家量表构念的本地小模型文本打分达到嵌套留一域 Spearman 0.54，超过域内训练，代价是需要一批无标签目标会话做按域特征校准且输出只支持排序。