Adapter

针对流式语音增强在不同应用中时延预算不同但多数模型只固定一种前视的问题，论文用共享卷积主干加可切换的前视适配器实现七档时延可控，并在相同训练配方下报告单模型超越逐时延独立模型与参数总量大幅下降，但推理运算量并未下降。

针对口音导致识别错误上升而全量微调昂贵的问题，论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由，并用多任务与对抗去性别泄漏约束训练，在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率，最强增益依赖解码后确定性幻觉过滤配合。

MuseTimbre 冻结 Stable Audio 3 Medium 并用二值琴卷与微调 CLAP 分别控制音高与音色，在 304 对零样本复调迁移中报告音色命中 57.6% 且帧 F1 为 0.316，代价是音高保持仍低于 TokenSynth 类基线。

针对冻结神经音频编解码器丢失词义性基频的问题，论文提出旁路音高注入残差适配器 PIRA，用 1.25M 至 1.65M 可训练参数和每帧 5 比特边信息把平均编解码器引入声调错误率降低 35.7%，同时保持英语质量不变且可完整移除。

针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题，论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影，在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率，并把长句解码器额外开销从百秒量级降到数秒量级，代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。

针对整句情绪条件会放错重音词的问题，该工作用中性与情绪词在自监督语音表征中的差向量做词级控制信号，经 32 维瓶颈压缩后由 RoBERTa 从文本和情绪预测，并在主观自然度基本持平下把词级强调自然度偏好做到对 EME-TTS 为偏好本文方法占比 55.3% 对偏好基线占比 28.0%、对 HED-TTS 为偏好本文方法占比 87.1% 对偏好基线占比 …

共分析 34 篇语音/AI 论文

针对源乐器表情细节与目标音色冲突导致的音色模糊，AdaTT 在冻结的 Stable Audio Open 加 ControlNet 上用文本引导的帧级缩放调节 f0 与 RMS 控制，并在半自动构造的 1321 对迁移数据上微调，以 F1MIDI 0.302 的轻微代价实现 CLAP 0.490 与主观音色保真度 3.582。

针对希伯来语无元音文本欠指定重音等发音特征的问题，论文用冻结注音模型加轻量增强头再经规则转写得到完整国际音标，并用 2 小时专家标注语料证明小参数本地语音合成模型能接近大专有系统，但仍受限于基础注音模型的元音与语体偏差。

针对视听目标说话人提取中深度融合会被野外噪声上限问题，论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择，在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147，代价是侵入式分离分提升不如全量微调。

论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数，在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量，但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。

该研究针对 6 种南部班图语，用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习，在 Swivuriso 训练并向 NCHLT 迁移，最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%，但架构按语族分化且课程收益不稳定。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。

针对非侵入式 MOS 预测中哪一层最有用、多层如何融合的问题，论文在十个语音基座模型和四个数据集上比较末层、最佳单层、朴素加权融合与全量微调，并提出冻结基座下先做逐层适配再聚合的 A+M 策略，最强证据是 Wav2BERT A+M 取得平均话语级 0.388/0.749 与系统级 0.052/0.932，而代价是仍需为每层增加适配器参数与多层前向表示。

论文把冻结编码器后的输出域从单位球面换到概率单纯形并用全变差打分，在五个音频文本与图文检索基准上把质心距离缩小 97 到 99% 且检索质量不下降，但线性加 Softmax 在部分相对间隙指标上仍有残留。

针对无声唇视频生成可懂、自然且口型同步语音的问题，LipAdapter 冻结视觉语音识别与多语 TTS、只训练文本到视频对齐以预测唇形引导的音素时长，在 LRS3 上用 30 小时训练达到 21.2% 词错率，但短于 1 秒的片段同步置信度明显下降且依赖上游识别文本质量。

针对参考音频需要转写文本导致的脆弱性，RTFree-F5 用冻结 WavLM 特征经轻量投影器替代参考文本条件并复用 F5-TTS，在构音障碍集上把 WER 从 24.62% 降到 10.39%，代价是说话人相似度从 0.60 降到 0.50。

针对 16/24/48 kHz 需多模型或外部重采样的矛盾，该文用可学习接口转换统一时间网格并用采样率条件仿射校准特征，在 1.5 kbps 下 24 kHz 达 ViSQOL 4.22、48 kHz 达 PESQ 2.750，代价是 24 kHz 因有理数转换多出卷积开销与三阶段训练流程。

针对冻结大模型如何低成本适配语音音频长时序的问题，论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合，在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器，代价是流式短句延迟开销相对更大。

论文把语音编码器和大模型都冻结、只训练适配器做语音到文本对齐，在 LibriSpeech 上用扩散解码取得 test-clean 词错误率 2.807% 和约 12.3 倍实时因子，代价是仍依赖 960 小时数据规模和固定解码超参数才能拉开与自回归基线的差距。