大语言模型

论文用同一 BiLSTM 融合结构参加六个步态与音视频抑郁检测子赛道，发现约 150 词的人格描述带来约 0.5 的赛道分提升，而领域微调大模型虽提高二分类一致性却破坏 PHQ-9 回归校准，在每队列不足百人时小容量加深集成更稳妥。

针对一句内中英交替难认准、稀有词和人名易错的问题，该工作把混合专家适配、辅助语言预测和热词提示组合进语音大模型流程，在 ASRU2019 混读测试集 15 个干扰词条件下把混合错误率从 7.34% 降到 5.85%，代价是需要约 2200 小时多数据训练和预先给定热词表。

论文针对全模态问答中感知到却用不上的问题，用词级对齐诊断定位生成可及性瓶颈，再以自我生成的模态描述补足弱模态，主要证据是跨七个模型的平均提升与弱模态对齐回升，代价是增加描述生成开销。

论文研究只给文本 N-Best 列表时大模型如何做生成式改写，用参考答案把训练分成可纠正、已正确、无答案三类来教选择与克制，在私有对话数据上从 3B 左右开始稳定优于同量随机数据，而在 CommonVoice 上结论不稳定。

VoTSpeech 针对纯文字指令缺显式声音目标的问题，用流匹配预测连续声音隐变量并双路引导大语言模型与声学扩散变换器，在中文指令评测的描述风格与角色扮演任务上占优，但结论只在同一中文训练与统一评判条件下成立，且推理多出声音采样开销。

ARIA 把粤语作词拆成先从带字槽的歌声估计 0243 声调层级序列、再以该序列为控制生成歌词，TRATE 与 DRA-TCLG 分别解决音频侧相对调高恢复与文本侧一对多选词问题，代价是依赖字符边界且第二阶段一般只实现而不修复第一阶段的错误。

针对对话语境下如何用自然语言指令控制合成语气的问题，论文提出冻结合成模型、用目标语音似然奖励训练规划器，在英语电影对话子集上提升了与目标语音的声学相似性和语境恰当性，但结论依赖同一合成后端且未做人工听音验证。

针对参考试听中先要决定比哪两段的问题，Diptych 让用户自定整曲或自选片段的比较范围，再用 59 个结构化音频特征加语言模型解释差异，12 名音乐人单会话实验显示新增 10 条判断中有 9 条获双专家至少部分支持，但原有 38 对判断的双专家完全支持数从 24 变为 23，可用性均分 74.79 分而判断正确率并未整体提升。

该文要从听者视频加说话人音频文本推断听者六类情绪，用视觉对齐的说话人筛选加无标注听者自举训练视觉专家，再只对低置信样本用说话内容作诱因做二选一推理，在 MER-Cross 上报告 76.25% 加权平均 F1，代价是多阶段筛选与受限的大语言模型调用。

用两个外域模拟咨询数据预测未见过第三个项目的专家总体印象，基于专家量表构念的本地小模型文本打分达到嵌套留一域 Spearman 0.54，超过域内训练，代价是需要一批无标签目标会话做按域特征校准且输出只支持排序。

针对配对语音文本不足时语音大模型难以对齐声学与文本的问题，论文用语音到音素预训练音频编码器、用纯文本生成的音素到字形任务预热大模型，再端到端微调，在日语和中文上把字错率相对降低 27% 到 72%，代价是多两段预训练且在字母文字小语种上增益有限。

论文审计了语音用户模拟器中口吃停顿、打断和应答声三种自然度行为的设定值与实际发生值的差距，对比了提示词控制与规则注入控制的可控性、分布形态与交互代价。

SPHERE 针对 VR 室内布置中偏好无法跨次保留而导致反复改图的问题，用会话后提取的分层空间约束加检索重排的人环强化更新来复用用户逻辑，在 42 人受控实验中把总编辑数从 8.52 降到 5.62 并提高可用性，但结论只在指定画像和扰动房型条件下成立。

论文用 163 段儿童临床互动录音检验通用大语言模型能否沿 BOSCC 决策树答题复刻两项语音编码，最强零样本平衡准确率超随机 19.3 个百分点，而说话人角色标注是最稳定的增益，音频与示例增益不一致且不足以独立使用。

针对只有静音视频和候选文本的配音唇同步评审问题，论文用候选相关的 CTC 单调对齐提供局部与全局证据再交由大语言模型推理，在七语基准上报告平均 AUC 达 0.920 并通过消融证明校准全局分对时序不可或缺。

该工作把每条语音先转成转录文本、声学描述和说话人属性三组可读概念再让大语言模型只看概念判情感，在三个语料上用零样本与微调对照和固定预测器的单概念删除，显示转录主导与声学依赖随语料而变，而删除声学概念会改变个体预测即使总分几乎不动。

该文在 IEMOCAP 对话上把音量音调语速转写成文字描述与对话历史一起输入大模型，对比零样本少样本与 LoRA 微调，最强 LoRA 模型效价 CCC 达 0.7822 但 arousal 与 dominance 仍低且历史 VAD 回灌会累积误差。

该文把增量作曲定义为持久 ABC 工件上的操作感知状态转移，用 496038 条对话记录对 Llama 3.1 8B Instruct 做 LoRA 适配，在 1750 次尝试下检查器准入从 29.37% 升至 99.37%、条件合规从 0.7205 升至 0.9798，代价是结论限于爱尔兰传统音乐域且不证明审美优越或无人抄袭。

针对原生大词表 CTC 需物化帧乘词表激活的问题，论文用目标词并集加 blank 做对齐、用全词表归一化加分块重算保持等价，并以有限波束剪枝和因果查询读出把预训练 LLM 做成非自回归与流式识别，在编码器上全步显存降 2.3 至 5.1 倍、LLM-CTC 保持在 LLM-CE 的 7% 相对词错率内并快 7.2 至 10.3 倍，代价是每步增加约 14 至 …

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读