用示例校准大语言模型来预测音乐的效价与唤醒度
针对音乐效价难以从音频直接预测的问题,论文用小规模音频基座模型给出初值,再用文本与多模态上下文示例让大模型只预测残差修正量,在 MER60 上把效价 R2 从 0.110 提升到 0.427,但多模态示例增多后收益会回落。
针对音乐效价难以从音频直接预测的问题,论文用小规模音频基座模型给出初值,再用文本与多模态上下文示例让大模型只预测残差修正量,在 MER60 上把效价 R2 从 0.110 提升到 0.427,但多模态示例增多后收益会回落。
DF-PALM 针对少样本音频分类中同一事件录音差异大的问题,在冻结 PENGI 等编码器后对编码后类别表示做音频条件残差调节并用其精炼音频特征,在 11 个基准 16 样本主评测上平均准确率 80.69% 和宏平均 F1 值 80.32%,而 50 类时算子统计推理浮点运算量比 PALM 增加 0.39%。
论文解决高炉料仓多机并行强噪声下误报过高导致声学监测难落地的问题,用卷积变分自编码器加高斯混合模型先做无监督建模再用单次故障做小样本微调,在该厂实测数据上把 AUPR 从 23.0 提到 64.0、受限误报区 pAUROC 从 39.6 提到 72.8,代价是需要一次真实故障样本和额外的微调与增强流程。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文把音频问答拆成命名树节点加语音转写文本再由冻结文本大模型作答,在 SAKURA 上超过所比音频大模型并用干预证明节点有因果作用,代价是计数排序与细粒度场景题仍落后且推理端需要跑多个编码器与转写模型。
论文研究英语语音识别在推理时用语音文本示范做领域自适应,对比拼接与交错两种示范组织,发现六个模型无需额外训练都能获益,词与说话人信息是主要来源,而拼接方式适用面更广但受上下文长度限制。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用矩形房间大量仿真房间脉冲响应做预训练,再只用 10 个 L 形与不规则房间微调解码器,在未见过的 40 个目标房间上把均方误差降低 56%,但代价是仍依赖仿真数据与固定采样设置且未验证真实测量房间。
针对依赖正则音素与强制对齐的发音评估问题,ALFreeD 用教师语音做参照,经 HuBERT 表示、DTW 对齐、帧级偏差与 i 向量压缩再用 MLP 打分,在 SpeechOcean762 上用 300 到 2500 个标注样本达到 0.68 到 0.74 的皮尔逊相关,代价是仍需同文本教师语音且只验证了句子级总分。
论文研究无非典型听者标注时如何从少量样本泛化声音情感,选择冻结大模型加 LoRA 并用 36 个文本情感锚点打分效价唤醒,在 AAD 上训练、在 EmoSoundscapes 上跨域验证,最强证据是音频微调把 AAD 效价排序从负相关拉到 0.71 左右,代价是仍只验证神经典型数据且未真正建模 hypersensitivity 个体差异。
针对文本提示主导导致音频编码器适配不足的问题,论文提出同时优化音频专用、文本专用与共享提示的 MALP,在 11 个数据集 16 样本设置下报告平均准确率 78.35%,代价是需要为每个新任务单独优化三组轻量提示参数。
针对基会话与增量会话存在域偏移的跨域小样本类增量音频分类问题,论文用对抗训练模拟伪目标域加监督对比学习塑形嵌入空间,在六组跨域配对上报告了更高的平均准确率,代价是基会话需两步交替训练且增量阶段冻结编码器。
针对不足 60 分钟无标注濒危语言音频的音位发现问题,该工作用类型学锚定选择爪哇语和他加禄语做 VQ-VAE 预训练再适配,在三种语言上以自一致性 NMI 和簇纯度超越 XLS-R,代价是评价仍是扰动稳定性而非对照真值转写的准确率。
针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题,论文提出用大模型从少量示例生成可复用的多参考查找表做评测,在 1356 条韩语标注上更接近人类判断,但多参考构建仍需推理开销与去噪过滤。
针对稀疏测量下个性化头相关传输函数难以估计的问题,论文用数据库检索先验与双耳声音感知线索做双分支协同预测,在 SONICOM 上以对数谱失真为指标在各测量点数下取得最低误差,但语音等窄带声音与定位偏差仍需专门处理。
针对分散在医院且无专家标注的临床音频诊断问题,论文提出联邦自上下文化 FSC,用聚类产生的语义空洞伪标签训练音频语言模型的上下文推理技能,2-way 2-shot 达到 71.6% 准确率并超出最强基线 9 个百分点以上,代价是更长上下文会稀释注意力且三分类明显下降。
针对雅思口语四项评分标准互相干扰且转写会丢失韵律信息的问题,该工作用直接处理音频的多模态语音大模型做四个分工智能体加总审校对,在 270 段 22.63 小时模考数据上比回归基线更贴近考官打分,但 30B 稀疏模型并未随规模提升且系统未公开代码数据。
论文在韩语情景剧训练、真实诈骗电话测试的跨域条件下比较 4 维域不变韵律特征与冻结的 HuBERT、wav2vec2.0,报告零样本下 4 特征达到 69.5% F1 而 HuBERT 在 5 样本下达到 94.2% F1,代价是后者需要真实样本与约 94M 参数的计算量。
针对增量会话中类别既增加又减少的少样本音频分类问题,该研究用可变类原型自适应网络逐会话修正全部原型并用伪类可变训练模拟增减过程,在 LS-100、NSynth-100 和 FSC-89 上的平均准确率报告显示优于所比基线,但类删除会话无新样本且旧嵌入靠高斯重构带来分布假设代价。
针对跨数据集可懂度预测退化问题,论文提出先在源域预训练再用适配器加对比学习做少样本适配的 CFA-SIPNet,在 Arehart 目标集上以每听者 100 个样本实现 RMSE 26.05 与 PCC 0.75,代价是仍需少量有标注目标样本且未验证更复杂声学环境的稳定性。