大语言模型

针对端到端语音角色扮演泛化差且损伤推理的问题，DeSRPA 在冻结的 Qwen3-4B 与 StyleTTS 2 上做推理时向量干预，在 SpeechRole 上以平均 0.8379 与 EEA 0.701 领先开源基线，代价是 TTFA 增至 577 ms 且 WER 为 2.63%。

针对工具描述不规范叠加语音识别错误导致的检索失配，论文用离线大模型合成用户式查询做嵌入转向，在三数据集四检索器上一致提升，而噪声查询下绝对分数仍低且需离线生成成本。

针对多房间墙体遮挡导致单点听不清的问题，该研究用分布式麦克风加拓扑图融合提取时空特征，再用语义三元组加冻结大语言模型补全符合房型连通性的叙述，在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%，代价是全过程仅在仿真中验证且依赖已知几何。

该研究在 24753 对罗马尼亚语口语-书面语数据上比较规则文法、微调模型与大模型提示，显示少样本大模型提示域内平均词错率 1.21% 与域外 2.57% 最接近人类 2.45%，而规则系统以约 60 句每秒的中央处理器吞吐保持低成本可用。

针对端到端语音对话状态跟踪缺目标域语音的问题，论文用共享连接器与 LoRA 的语音加文本联合训练把文本域知识迁到语音管线，在 SpokenWOZ 与 MultiWOZ 互为源目标时缩小与域内语音训练的差距，但文本权重与大模型规模决定保留源域与提升目标域的折中。

针对串联语音对话缺少训练时中间引导的问题，该研究用目标回答加随机采样回答构造引导流，在合成对话上达到与大模型模拟相当的回答质量，并在 3.8k 小时真实对话上提升轮转顺滑度和听感自然度，代价是打断处理仍弱且真实数据模型回答分略低于合成基线。

针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题，该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略，在英法和英韩 Fleurs 上用更低延迟保持质量，并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。

针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题，论文提出用大模型从少量示例生成可复用的多参考查找表做评测，在 1356 条韩语标注上更接近人类判断，但多参考构建仍需推理开销与去噪过滤。

该研究把转录加停顿标记、话语话题簇、流利度统计和音素序列统一写进结构化提示并用 LoRA 微调大模型做话语级二分类，在 ADReSSo 上最好达到说话人级 F1-score 为 90.14%，代价是话语标注依赖外部商用模型且仅在英语图片描述任务上验证。

针对自动抑郁检测中微调成本高且易过拟合的问题，Moot-Court 用冻结大模型做文本化声学融合与控辩对抗图推理加可进化经验库，在 DAIC-WOZ 上报告 F1 为 0.8856 且召回达 0.9394，但全文存在 0.8750 与 0.8856 的数字冲突与小样本泛化边界。

针对歌剧等长时叙事音乐解说易幻觉、配对数据稀缺的问题，MAC 用免训练的多尺度声学与语义证据加分层上下文约束现成指令大模型，在 MQAD 取得最好成绩并在歌剧与全曲上提升情感与艺术对齐，但语义相似度与人类稀有线索覆盖仍有代价。

针对强噪声下音频不可靠而视觉融合又难以精细控制的问题，AVUR-LLM 用上层稀疏对齐、声学不确定性门控融合与视觉离散单元重打分三步处理，在 LRS3 上干净 0.75% 与 0 dB 噪声 1.7% 词错误率显示改进，代价是两阶段流程与额外视觉编码和大模型重打分开销。

论文先用统一打分协议测出现成语音大模型在 VoxCeleb1 上等错误率多在 20% 以上，再用冻结 ECAPA-TDNN 向量加线性映射与 LoRA 把 TinyLLaMA-1.1B 做到 VoxCeleb1-E 上 1.03% EER，代价是推理与训练开销远高于专用验证系统。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

该文把说话人属性预测从 44 类固定分类改写为对大语言模型嵌入的余弦对齐，并用关键词追加收紧流形、用前 k 负样本损失拉开拥挤区，在 LibriTTS-P 上闭集 F1 达到 0.7625 且同义词零样本基本不掉点，代价是依赖单一语料与特定嵌入维度。

在冻结文本大模型且固定 600 bits/s 信息率下，把语音帧率从 50 Hz 降到 2.08 Hz 做可控扫描，并用因子化 FSQ 加轻量非自回归音频头补足单帧容量，最强证据是语音问答在 4.17 Hz 取峰且中间层对比对齐带来约 32% 相对提升，代价是过低帧率下生成侧词错率单调恶化。

针对固定对比解码在干净与强噪声间顾此失彼的问题，该工作用同一模型的全音视作专家、纯音频作弱者做减法，并以音频能量、音频熵和分布分歧三路门控逐词调节干预强度，在 LRS3 与 LRS2 多信噪比下同时改善干净与噪声词错误率，代价是每次解码需跑两次前向并增加约 136.4 ms 延迟。

论文以 3000 句人工标注比较 30 多个大模型与传统形态分析器的日语字音转换，证明解析模式加规则后处理的最优假名错误率降到 0.52%，低于最强传统工具的 1.03%，但小模型、数字量词与推理模式仍有明确代价与边界。

该研究对比转写-only、单向翻译与双向翻译三种语音编码器预训练，显示加入英译外双向翻译能在冻结大模型下提升语音翻译与意图理解，且未损害情感识别所需的声学信息。

针对大语言模型语音合成只看参考音频和目标文本而忽略已生成目标语音风格的问题，该文提出按音节交替预测韵律标记和语音标记的方法，在三套中文评测上提升了说话人相似度和韵律相关性，但自然度基本持平且大模型对比仍有限。