Adapter

论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分，在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降，但线性加 Softmax 在部分相对间隙指标上仍有残留。

针对无声唇视频生成可懂、自然且口型同步语音的问题，LipAdapter 冻结视觉语音识别与多语 TTS、只训练文本到视频对齐以预测唇形引导的音素时长，在 LRS3 上用 30 小时训练达到 21.2% 词错率，但短于 1 秒的片段同步置信度明显下降且依赖上游识别文本质量。

针对参考音频需要转写文本导致的脆弱性，RTFree-F5 用冻结 WavLM 特征经轻量投影器替代参考文本条件并复用 F5-TTS，在构音障碍集上把 WER 从 24.62% 降到 10.39%，代价是说话人相似度从 0.60 降到 0.50。

针对 16/24/48 kHz 需多模型或外部重采样的矛盾，该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征，在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750，代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。

针对冻结大模型如何低成本适配语音音频长时序的问题，论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合，在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器，代价是流式短句延迟开销相对更大。

论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐，在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子，代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。

该文把瓶颈适配器装进冻结解码器每一层并用输入成分做二进制门控，使旧模态走原计算图实现逐位不变，同时用对照实验显示音频检索提升与热成像包的可组合性，代价是新增模态的文本混排输入属于新行为且双门同开不在保证内。

共分析 62 篇语音/AI 论文

Voice-Light 研究全双工级联语音交互中的轮次判断与重叠处理，用共享流式识别编码器的因果适配器加可逆混合控制器与私有推测生成，在 1673 个静音候选的锁定测试中学习策略仅获 12.53% 召回而保留混合控制器，在 36 轮真机麦克风案例中取得 758 毫秒中位响应但以 800 毫秒超时兜底。

共分析 26 篇语音/AI 论文

针对语音大模型在儿童与方言语音上编码器适配不足的问题，论文提出先只训练编码器适配器再联合微调的两阶段 EAVA 方法，在三个数据集上报告了优于直接微调和多阶段对齐的新最低词错误率，但更大适配器并未持续带来增益且需两阶段训练成本。

共分析 29 篇语音/AI 论文

针对非侵入式 MOS 预测中语音基础模型层利用不稳定的问题，论文在 10 个骨干与 4 个数据集上对比末层探测、最优单层、朴素加权融合与全量微调，并评估逐层适配器校准后聚合的冻结骨干方案，最强证据是 Wav2BERT A+M 在四库平均上达到话语级 0.388/0.749 与系统级 0.052/0.932，代价是仍需为每个层训练独立适配器与回归头且最优深度随 …

针对 Whisper 不支持的三种低资源语言，研究比较暖初始化、注意力融合与顺序适配器堆叠三种源适配器复用方式，最强证据是最近源上的顺序堆叠在全量数据上相对全量微调降低词错误率 5-8%，在一小时数据上降低 12-26%，代价是需先在约 120 小时源语言数据上训练并冻结源适配器。

共分析 59 篇语音/AI 论文

针对文字难以规定节拍、旋律与演绎细节的问题，该工作用与主干同构的模板把控制音频转成逐层键值记忆注入冻结的生成分支，在单控制评测中把五类控制依从指标推到基线之上，同时自动音质与文本对齐分数与基线大体相当但存在指标级回落。

共分析 27 篇语音/AI 论文

针对印地语英语代码切换中声音对但文字错的问题，论文冻结语音编码器与指示大模型只训练 27.8M 瓶颈适配器，以 21.56% 词错误率与 20.69% 转写词错误率超过解码器微调基线，代价是依赖大模型词表与干净盲测集。

共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读

共收录 127 篇 eusipco-2026 会议论文的 Reader 深度解读