音乐标注模式扩展:零样本预测还是小样本适应
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文把音频问答拆成命名树节点加语音转写文本再由冻结文本大模型作答,在 SAKURA 上超过所比音频大模型并用干预证明节点有因果作用,代价是计数排序与细粒度场景题仍落后且推理端需要跑多个编码器与转写模型。
论文研究英语语音识别在推理时用语音文本示范做领域自适应,对比拼接与交错两种示范组织,发现六个模型无需额外训练都能获益,词与说话人信息是主要来源,而拼接方式适用面更广但受上下文长度限制。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用矩形房间大量仿真房间脉冲响应做预训练,再只用 10 个 L 形与不规则房间微调解码器,在未见过的 40 个目标房间上把均方误差降低 56%,但代价是仍依赖仿真数据与固定采样设置且未验证真实测量房间。
针对依赖正则音素与强制对齐的发音评估问题,ALFreeD 用教师语音做参照,经 HuBERT 表示、DTW 对齐、帧级偏差与 i 向量压缩再用 MLP 打分,在 SpeechOcean762 上用 300 到 2500 个标注样本达到 0.68 到 0.74 的皮尔逊相关,代价是仍需同文本教师语音且只验证了句子级总分。
论文研究无非典型听者标注时如何从少量样本泛化声音情感,选择冻结大模型加 LoRA 并用 36 个文本情感锚点打分效价唤醒,在 AAD 上训练、在 EmoSoundscapes 上跨域验证,最强证据是音频微调把 AAD 效价排序从负相关拉到 0.71 左右,代价是仍只验证神经典型数据且未真正建模 hypersensitivity 个体差异。
针对文本提示主导导致音频编码器适配不足的问题,论文提出同时优化音频专用、文本专用与共享提示的 MALP,在 11 个数据集 16 样本设置下报告平均准确率 78.35%,代价是需要为每个新任务单独优化三组轻量提示参数。
针对基会话与增量会话存在域偏移的跨域小样本类增量音频分类问题,论文用对抗训练模拟伪目标域加监督对比学习塑形嵌入空间,在六组跨域配对上报告了更高的平均准确率,代价是基会话需两步交替训练且增量阶段冻结编码器。
针对不足 60 分钟无标注濒危语言音频的音位发现问题,该工作用类型学锚定选择爪哇语和他加禄语做 VQ-VAE 预训练再适配,在三种语言上以自一致性 NMI 和簇纯度超越 XLS-R,代价是评价仍是扰动稳定性而非对照真值转写的准确率。
针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题,论文提出用大模型从少量示例生成可复用的多参考查找表做评测,在 1356 条韩语标注上更接近人类判断,但多参考构建仍需推理开销与去噪过滤。
针对稀疏测量下个性化头相关传输函数难以估计的问题,论文用数据库检索先验与双耳声音感知线索做双分支协同预测,在 SONICOM 上以对数谱失真为指标在各测量点数下取得最低误差,但语音等窄带声音与定位偏差仍需专门处理。
针对分散在医院且无专家标注的临床音频诊断问题,论文提出联邦自上下文化 FSC,用聚类产生的语义空洞伪标签训练音频语言模型的上下文推理技能,2-way 2-shot 达到 71.6% 准确率并超出最强基线 9 个百分点以上,代价是更长上下文会稀释注意力且三分类明显下降。
针对雅思口语四项评分标准互相干扰且转写会丢失韵律信息的问题,该工作用直接处理音频的多模态语音大模型做四个分工智能体加总审校对,在 270 段 22.63 小时模考数据上比回归基线更贴近考官打分,但 30B 稀疏模型并未随规模提升且系统未公开代码数据。
论文在韩语情景剧训练、真实诈骗电话测试的跨域条件下比较 4 维域不变韵律特征与冻结的 HuBERT、wav2vec2.0,报告零样本下 4 特征达到 69.5% F1 而 HuBERT 在 5 样本下达到 94.2% F1,代价是后者需要真实样本与约 94M 参数的计算量。
针对增量会话中类别既增加又减少的少样本音频分类问题,该研究用可变类原型自适应网络逐会话修正全部原型并用伪类可变训练模拟增减过程,在 LS-100、NSynth-100 和 FSC-89 上的平均准确率报告显示优于所比基线,但类删除会话无新样本且旧嵌入靠高斯重构带来分布假设代价。
针对跨数据集可懂度预测退化问题,论文提出先在源域预训练再用适配器加对比学习做少样本适配的 CFA-SIPNet,在 Arehart 目标集上以每听者 100 个样本实现 RMSE 26.05 与 PCC 0.75,代价是仍需少量有标注目标样本且未验证更复杂声学环境的稳定性。
针对大音频语言模型链式思考不稳定问题,论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入,在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %,而纯文本导出的向量也能迁移到语音任务,但实例级方法对缩放强度更敏感。
针对支持样本与查询音频都被背景声污染的单路五样本声音事件检测问题,论文提出冻结音频编码器、仅把目标原型向背景向量正交子空间投影的 POP-SED,在 DCASE2024 任务 5 验证集上用 BEATs 取得 62.35% 的事件级 F 值,代价是背景混合数增大时子集搜索按 2 的 M 次方增长。
该工作把二分类 deepfake 检测与开集来源归属统一为层次度量学习加小样本原型注册,用 WavLM-Large 加 LoRA 在 MLAAD v9 时间划分上训练并在 ASVspoof 5 Track 1 开放条件上报告 0.49% 等错误率与 99.0%/97.0% 归属精度,代价是余弦分数校准偏差与对原型覆盖度的依赖。