从自己的误判里长出监督:SE-ADD 在演变伪造环境中的累积适应
针对部署后新伪造攻击占主导而旧攻击仍残留的问题,SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督,在六个演变环境中把未见攻击上的等错误率大幅降低,但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。
针对部署后新伪造攻击占主导而旧攻击仍残留的问题,SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督,在六个演变环境中把未见攻击上的等错误率大幅降低,但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。
共分析 48 篇语音/AI 论文
该文在 IEMOCAP 对话上把音量音调语速转写成文字描述与对话历史一起输入大模型,对比零样本少样本与 LoRA 微调,最强 LoRA 模型效价 CCC 达 0.7822 但 arousal 与 dominance 仍低且历史 VAD 回灌会累积误差。
论文在 SLAM-ASR 管线上做音频编码器自顶向下剪枝并在每层重训投影器,发现 Whisper Large 剪 2 层时聚合词错率从 21.6% 降到 21.1% 却让 Black 组上升 0.9 个百分点,到剪 8 层时 Black 与 Asian 差距从 13.5 扩大到 24.5 个百分点,而 LoRA 虽降低各组误差却让优势组获益更多。
共分析 55 篇语音/AI 论文
针对生成式语音增强在新声学域上微调会遗忘旧域、零样本又适应不足的问题,论文用冻结的 GPT 式主干加域专属 LoRA 逐域增量学习,在四个异构数据集上以平均 SpeechBertScore 保持旧域并适应新域,代价是域不可知时依赖熵选适配器且推理需多路前向。
该文把增量作曲定义为持久 ABC 工件上的操作感知状态转移,用 496038 条对话记录对 Llama 3.1 8B Instruct 做 LoRA 适配,在 1750 次尝试下检查器准入从 29.37% 升至 99.37%、条件合规从 0.7205 升至 0.9798,代价是结论限于爱尔兰传统音乐域且不证明审美优越或无人抄袭。
共分析 93 篇语音/AI 论文
DEFINE 用说话人提示定身份、用口音示例定口音并以权重 w 连续调节强度,在见过口音上口音探针准确率从 6.5% 提升到 19.6%,以单遍合成达到级联方案的口音转移并保留更高的说话人相似度,但 held-out 口音仍弱于级联且瓶颈在示例编码器。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
共分析 43 篇语音/AI 论文
针对全双工语音模型长时交互中声学键值缓存持续膨胀的问题,该研究在听音空隙内增设转写旁路并驱逐旧声学状态,在十分钟会话上将峰值流式缓存从 11.35K 降至 4.02K 并保持实时处理,但反通道接管率有所上升。
论文把说话人确认改写为音频问答,用零样本评测暴露短板,再以 18M 参数的 LoRA 微调加规则难例采样把性别与语言条件 EER 降到 4.87% 和 2.93%,代价是整体仍落后专用模型且依赖成对构造与打分换算。
针对已很强的德英多语识别基座,论文用两步合成数据加贝叶斯低秩适配证明瓶颈在知识整合而非数据复杂度,以保持单语为代价换来语码切换词错误相对下降 32.87% 而标准微调则大幅退化。
论文研究无非典型听者标注时如何从少量样本泛化声音情感,选择冻结大模型加 LoRA 并用 36 个文本情感锚点打分效价唤醒,在 AAD 上训练、在 EmoSoundscapes 上跨域验证,最强证据是音频微调把 AAD 效价排序从负相关拉到 0.71 左右,代价是仍只验证神经典型数据且未真正建模 hypersensitivity 个体差异。
针对多语种语音识别中共享解码器互相干扰的问题,BELLA 把语音编码器加冻结大语言模型解码器的桥接对齐放在下层、把路由器加混合专家低秩适配的识别放在上层,在五个 CoVoST 2 语种上用词错误率验证收益,同时保留了小语种与高资源语种表现不一致等代价。
针对构音障碍数据少且严重程度声学差异大的问题,该工作冻结 WavLM 主干、在底层用共享 LoRA 学通用声学、在高层用临床监督路由的专家 LoRA 做严重程度特化,在 UA-Speech 上 5 分类宏 F1 达 61.55%、2 分类 F1 达 94.54%,代价是依赖说话人独立划分与临床严重度标注做路由监督。
论文把 Whisper-Small 适配到比斯拉马语、纳夫桑语和雷莱帕语三种太平洋语言,报告了随数据量变化的识别误差、编码器与解码器的层级表示漂移以及向英语和历史语言的遗忘,用全量微调与 LoRA 及其变体的对照揭示了新语言可塑性与旧能力保持之间的严格权衡。
该文针对零样本语音合成中连续且随时间变化的情感控制问题,提出把效价唤醒优势三路低秩更新与正交约束注入主干并用 Flow-DGPO 做偏好对齐,在约 50 小时训练数据上提升情感跟随的同时保持可懂度和说话人相似度,但跨语言提示下说话人相似度仍有差距。
针对语码切换点附近集中出错的问题,该研究用只改切换点的近似错误文本做对比训练,在两个中英与越英基准上同时降低整体词错误率和切换点错误率,代价是离线依赖大模型扩写与三重过滤的额外构造流程。