先降噪再融合:差分注意力如何让脑电和语音互补
该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。
该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。
MotiGen 针对 NotaGen 等符号音乐大模型缺少动机级控制的问题,用移调不变的音程类别提示行加训练与推理一致的注意力偏置和先聚焦裁剪后全曲的两阶段课程来改造模型,在分层动机评估中显著高于无提示基线,代价是仅限单声部且依赖自动包含判定而非大规模人评。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
SAID 把四通道音频先转成按方向排布的全景特征再为每个活动声源预测一张带类别的声学图,在 DCASE2026 任务 3 轨道 A 评估集上报告 0.1080 宏观平均精度与 0.3962 宏观皮尔逊相关,代价是需要仿真预训练加真实微调与稀疏压缩才能满足存储限制。
针对开放词汇情绪推理中全局音频编码丢失话语内微韵律的问题,AcoustEmo 用时间戳同步滑动窗口加话语感知声学 Q-Former 提取片段级声学 token,在 EMER-Fine 上取得平均 67.55 分的最佳可运行结果,代价是依赖转写时间戳且需同时保留全局分支。
针对声音与文本矛盾时模型只信文本的语义主导问题,论文用对抗合成基准 ASPIRE 和解耦网络 ACR-Net 做诊断与分离,在极性冲突上把声学准确率做到 68.4%,代价是依赖合成语音和额外解耦超参数。
针对边听边翻需要在等够信息与尽快输出之间抉择的问题,该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP,使离线训练的语音到文本模型无需再训练即可流式运行,在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量,但高延迟段优势收窄且 DCAP 随延迟增大而退化。
针对只有受试者级标签的周级颈表加速度日常嗓音监测,该研究用日级分布统计的 CatBoost 分支捕捉长期低效、用 12 秒窗口门控注意力多实例分支定位短时高强度事件,再经分位数校准的逻辑回归堆叠融合,在官方测试上报告 PVH 的 AUC 为 0.891 与 NPVH 的 AUC 为 0.861,而消融显示深度分支增益很小且 NPVH 存在明显欠置信。
针对朗读英语词级感知重音评分任务,听觉对比网络用三个声学线索的相邻词非线性对比加轻量聚合,在跨语料迁移上以 202 参数达到 r=0.412 追平冻结 wav2vec2 个基线,加文本后到 r=0.451,代价是依赖外部词边界且仅在单语料对上验证。
针对远场多说话人加噪声下目标说话人提取,论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制,在自采真实录制集平均词错误率从 28.40% 降到 20.38%,代价是两阶段级联与双分支结构更复杂。
针对音视频分路处理导致时间与语义错位的问题,该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐,在 AVSD 上报告 50.30% 准确率,但长视频描述性指标仍偏低且训练仅 1 轮。
论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。
针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。
针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。
FreeSonic 针对文本引导音频编辑中时间一致性与背景保留难以兼得的问题,在冻结的 TangoFlux 上用反演加去噪、文本音频注意力取掩码与分阶段解耦做局部修改,主实验报告在增加、删除、替换上取得更优的保真与语义对齐,但删除类任务仍依赖噪声注入强度等任务相关超参数。
针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。
针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题,GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模,在 AIST++ 与 TikTok 上取得最高的节拍与质量指标,代价是依赖姿态与预训练编解码器且演示链接当前不可用。
针对抑郁相关模式在语音中稀疏分布的问题,该研究用自适应跨模态门控对声学帧和文本词元重新加权,在 PDCD2025 上跨模态门控达到 81.25% 平均准确率并在 DAIC-WOZ 上达到 69.39% 的 F1,同时可视化显示门控偏向低能量语音和消极词汇,但预训练模型冻结与聚合口径等细节仍需按原文条件理解。
针对自注意力平方复杂度与语音帧间高冗余的矛盾,该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力,并在 Zipformer 中按层设置不同步长,报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率,代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。
针对大音频语言模型在中间层重文本轻音频的注意力失衡,MATA 在推理时只放大末位查询对音频键的原始注意力分,MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%,代价是增强强度与层位需手工选定且对极小混合子集仍有波动。