LoRA

论文针对声音表情与画面不一致时生成式回答容易跟随视觉的问题，用共享 WavLM 编码上的视觉查询融合与直接时间积分两路组织输入同一解码器，在 CA-MER 平均指标 67.89 与 EmotionTalk 测试集 62.88% 等条件下验证了直接声学通路的作用，代价是增加 16 个声学 token 与混合任务适配的约束设计。

OpenPA 针对闭合跟读与开放自由作答两种条件，用 Whisper 编码器-解码器加``标记同时做单词级和语句级评分，只在 speechocean762 上训练，在域内和 MultiPA 零样本上报告了单词级 PCC 提升，代价是韵律相关语句指标未全面领先且病理语音迁移仍是探索性结论。

针对 16 kHz 音频语言模型看不见 8 kHz 以上信号的问题，论文用搬移频带加同时刻双视图融合复用冻结编码器，在高频决定答案的对照测试上取得明显提升，但结论依赖特定的构造评测与微调预算。

论文用组内划分在三个英语数据集上对照零样本、混合 LoRA 与分组 LoRA，发现增益集中在基线错误大且集中的地方，而混合适配常能持平或超过分组适配，因此超过零样本不能直接当作个性化的证据。

论文用语音和背景声各自独立真假的混合数据，比较四种检测器对假语音与假背景声的敏感度和依赖频段，发现假背景声更好检但差距主要来自对未见过假语音的泛化失败，且前端编码器决定了证据集中在哪个频段。

论文先量出已有对齐器在人工词边界上的误差和电话信道下的退化，再只用人标边界训练 Whisper 直接预测词起止时间戳，在英语、韩语、荷兰语和多语测试上超过蒙特利尔强制对齐器，而电话增强、槽位后置和带噪文本训练是关键代价与收益所在。

共分析 146 篇语音/AI 论文

论文用 42.5 小时历史古琴独奏适配 Stable Audio 3 Medium 的 DoRA 小参数，以一位专家的七轮盲听驱动决策，最终续弹和场景生成得分最高，但样本小且随机性大，只能作探索性记录。

论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题，用等待概率加原词表分布的因子化结构，在日语和英语上取得更低错误率，并用等待步跳过大词表计算降低训练显存和推理开销，但纯文本困惑度仍高于原始模型。

论文用冻结 Whisper 加 LoRA 适配器这一套做法处理 NADI 2026 三个阿拉伯语识别子任务，证明国家级任务靠方言专家、混合方言任务靠换大底座、突尼斯语码切换任务靠免训练的权重平均与投票组合最有效，并给出全部统计检验与八个失败方向。

该文研究不同结构的图文模型之间如何搬运任务能力，用与结构无关的亲和力改变量记录任务，再以最小二乘算子或低秩适配器写入目标，在加法上保留目标自身增益的七到八成，代价是控制集精度下降和在部分任务上几乎无效。

SepGen 要解决的是联合音频视频生成只有一条混合声、无法逐声源定位与重渲染的问题，它用受保护的混合声通道加两条分轨通道实现生成与分离两种模式，最强证据是真实录音与跨生成器场景上的分离与听感对比，代价是固定两条分轨与额外的去噪与引导计算。

针对同时训练多种音频理解技能时互相干扰的问题，SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合，在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点，代价是增加不到 4% 的参数和两阶段训练。

针对图文音视频混合检索中通用语义与模态特性难分离的问题，Syn-Omni 用共享 LoRA 加模态专家 LoRA 与渐进路由在 81 个任务上整体更均衡，3B 整体 Hit@1 达 49.4%，代价是专家路径推理时不能合并带来延迟增加。

针对音频大语言模型能听懂内容却难分辨说话人的问题，论文提出先在音频编码器做说话人监督、再冻结编码器训练语言模型做成对判断的两阶段低秩适配方法，在 VoxCeleb 同域上把等错率从 7.01% 降到 4.37%，但跨域到 CN-Celeb 时未带来额外增益。

共分析 245 篇语音/AI 论文

用 182 段带溯源的合成日语护理交接音频适配 1.47B 音频模型，全量微调与 rank-16 LoRA 在 39 段种子隔离合成测试上取得 0.8664 与 0.8461 的事实性-召回调和分，LoRA 以约 0.85% 可训练参数保留 97.7% 的聚合分，但未测量设备延迟功耗且未验证真实语音迁移。

共分析 16 篇语音/AI 论文

针对小时级音视频问答无法把整段录像放入上下文的问题，LEAP 用 600 秒分块定位加至多 9 窗有界回答，在四个主基准上高于同栈整体读取基线，代价是每题需要多遍定位且文本通道只在语音证据充分时可替代媒体扫描。

问题是扩展新模态时文本检索遗忘与模型膨胀，方法选择是冻结文本主干并以其自身对密集级联标题的嵌入为教师目标，只训练投影器与编码器 LoRA，最强证据是 0.9B 保持 49.57 文本分并覆盖五新增模态、2.3B 以 51.39 总体均值超过闭源对照 49.51，主要代价是 0.9B 在语音音频图像视频上落后于更大开放多模态基线。