Adapter

共分析 93 篇语音/AI 论文

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

该工作在 Whisper 加自注意力音视融合基线上对比前缀拼接、交叉注意力和门控加权三种注入方式，用噪声嵌入管融合、用说话人嵌入管解码，在 LRS3 多噪声条件下相对基线取得噪声与说话人适配增益并相对 AV-HuBERT 取得优势，代价是额外参数与推理耗时且两类嵌入信息冗余而无法叠加。

针对固定降采样忽略语速与内容变化的问题，该工作用连续积分触发机制按转写词元数动态压缩声学帧，在 AISHELL-1 等数据集上以更短的平均语音嵌入长度取得可比或更优的识别精度，代价是依赖转写长度监督与分词器选择。

论文提出目标说话人遗忘转写任务与可插拔的注册条件门控模块，只训练轻量门控而冻结双流语音大模型，在 AMI 与 AliMeeting 上把退出者内容泄露率从 72.3% 降到 48.2% 和从 73.6% 降到 27.3%，保留者误差基本持平但混合重叠段仍有可测代价。

针对注册与测试语言不一致导致的性能下降，论文冻结 w2v-BERT 2.0 只训练轻量适配器，用 19-24 层选择加共享潜在交叉注意力和卷积前馈提说话人嵌入，并用嵌入级 margin-mixup 正则，在 TidyVoiceX 开发集上报告 EER 1.40% 和 MinDCF 0.66，代价是依赖说话人感知的骨干初始化和有限多语言数据。

针对流式语音增强在不同应用中时延预算不同但多数模型只固定一种前视的问题，论文用共享卷积主干加可切换的前视适配器实现七档时延可控，并在相同训练配方下报告单模型超越逐时延独立模型与参数总量大幅下降，但推理运算量并未下降。

针对口音导致识别错误上升而全量微调昂贵的问题，论文提出在冻结 Whisper-small 上加口音码本注入与口音度门控的混合适配器路由，并用多任务与对抗去性别泄漏约束训练，在 AESRC 上报告 7.49% 词错误率和 3.81% 字错误率，最强增益依赖解码后确定性幻觉过滤配合。

MuseTimbre 冻结 Stable Audio 3 Medium 并用二值琴卷与微调 CLAP 分别控制音高与音色，在 304 对零样本复调迁移中报告音色命中 57.6% 且帧 F1 为 0.316，代价是音高保持仍低于 TokenSynth 类基线。

针对冻结神经音频编解码器丢失词义性基频的问题，论文提出旁路音高注入残差适配器 PIRA，用 1.25M 至 1.65M 可训练参数和每帧 5 比特边信息把平均编解码器引入声调错误率降低 35.7%，同时保持英语质量不变且可完整移除。

针对可配置多语识别中解码器语言模块随输出长度线性增加延迟的问题，论文用可缓存的词元无关向量与编码器顶层一次提取的动态线索替代逐词线性投影，在 MLS 与四语平衡集上恢复与原 CMM 相当的词错误率，并把长句解码器额外开销从百秒量级降到数秒量级，代价是纯静态向量会小幅掉点且低资源语言难以从精确配置中获益。

针对整句情绪条件会放错重音词的问题，该工作用中性与情绪词在自监督语音表征中的差向量做词级控制信号，经 32 维瓶颈压缩后由 RoBERTa 从文本和情绪预测，并在主观自然度基本持平下把词级强调自然度偏好做到对 EME-TTS 为偏好本文方法占比 55.3% 对偏好基线占比 28.0%、对 HED-TTS 为偏好本文方法占比 87.1% 对偏好基线占比 …

共分析 34 篇语音/AI 论文

针对源乐器表情细节与目标音色冲突导致的音色模糊，AdaTT 在冻结的 Stable Audio Open 加 ControlNet 上用文本引导的帧级缩放调节 f0 与 RMS 控制，并在半自动构造的 1321 对迁移数据上微调，以 F1MIDI 0.302 的轻微代价实现 CLAP 0.490 与主观音色保真度 3.582。

针对希伯来语无元音文本欠指定重音等发音特征的问题，论文用冻结注音模型加轻量增强头再经规则转写得到完整国际音标，并用 2 小时专家标注语料证明小参数本地语音合成模型能接近大专有系统，但仍受限于基础注音模型的元音与语体偏差。

针对视听目标说话人提取中深度融合会被野外噪声上限问题，论文用冻结纯音频分离骨干保保真、用 C×C 潜在转向矩阵加视觉门控做通道选择，在 LRS2-2mix 上保持原骨干感知质量并把路由计算降到 256.82G 与实时率 0.147，代价是侵入式分离分提升不如全量微调。

论文研究能否把噪声条件语音分类器冻结为多尺度主干、只训练轻量解码子网来预测扩散分数，在 SC09 上以 4.4M 可训练参数达到与 16.6M 全量 U-Net 相当或略优的质量，但条件生成仍依赖同一分类器做分类器引导且梯度抽头带来额外计算。

该研究针对 6 种南部班图语，用词错误率加声调统计的混合难度排序和门控声调适配器做课程学习，在 Swivuriso 训练并向 NCHLT 迁移，最好的 W2V-BERT 声调条件模型平均词错误率为 28.41%，但架构按语族分化且课程收益不稳定。

针对推理大模型链式思考会暴露文本替代输入导致自生成目标不自然的问题，论文用同一冻结推理模型做两阶段自复述并冻结主干只训练音频适配与融合，在 6M 实例语料上使 4B 模型在 MMSU 推理与 MMAU 语音上达到开源最优，代价是推理时双路 50 Hz 特征与较长的思考重写开销。

针对非侵入式 MOS 预测中哪一层最有用、多层如何融合的问题，论文在十个语音基座模型和四个数据集上比较末层、最佳单层、朴素加权融合与全量微调，并提出冻结基座下先做逐层适配再聚合的 A+M 策略，最强证据是 Wav2BERT A+M 取得平均话语级 0.388/0.749 与系统级 0.052/0.932，而代价是仍需为每层增加适配器参数与多层前向表示。