论文解读

先降噪再融合:差分注意力如何让脑电和语音互补

该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。

 · 更新于 2026-10-15 · 约 21 分钟 · 10183 字 阅读 →
论文解读

给预训练乐谱模型加装动机方向盘:MotiGen 的提示注入与两阶段课程

MotiGen 针对 NotaGen 等符号音乐大模型缺少动机级控制的问题,用移调不变的音程类别提示行加训练与推理一致的注意力偏置和先聚焦裁剪后全曲的两阶段课程来改造模型,在分层动机评估中显著高于无提示基线,代价是仅限单声部且依赖自动包含判定而非大规模人评。

 · 更新于 2026-10-15 · 约 19 分钟 · 9232 字 阅读 →
会议总览

interspeech-2026 论文深度解读

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

 · 更新于 2026-10-15 · 约 2613 分钟 · 1309023 字 阅读 →
论文解读

从方向点到区域图:SAID 为何先学能量再学类别

SAID 把四通道音频先转成按方向排布的全景特征再为每个活动声源预测一张带类别的声学图,在 DCASE2026 任务 3 轨道 A 评估集上报告 0.1080 宏观平均精度与 0.3962 宏观皮尔逊相关,代价是需要仿真预训练加真实微调与稀疏压缩才能满足存储限制。

 · 更新于 2026-10-15 · 约 19 分钟 · 9179 字 阅读 →
论文解读

全局平均抹掉颤音:AcoustEmo 用话语对齐的声学窗口找回微韵律

针对开放词汇情绪推理中全局音频编码丢失话语内微韵律的问题,AcoustEmo 用时间戳同步滑动窗口加话语感知声学 Q-Former 提取片段级声学 token,在 EMER-Fine 上取得平均 67.55 分的最佳可运行结果,代价是依赖转写时间戳且需同时保留全局分支。

 · 更新于 2026-10-15 · 约 16 分钟 · 7666 字 阅读 →
论文解读

声音是悲伤、文字是高兴时,模型该信谁:ACR-Net 把声学和语义强行分开

针对声音与文本矛盾时模型只信文本的语义主导问题,论文用对抗合成基准 ASPIRE 和解耦网络 ACR-Net 做诊断与分离,在极性冲突上把声学准确率做到 68.4%,代价是依赖合成语音和额外解耦超参数。

 · 更新于 2026-10-15 · 约 15 分钟 · 7037 字 阅读 →
论文解读

不等听完再翻:用最近帧注意力决定何时开口的同传策略

针对边听边翻需要在等够信息与尽快输出之间抉择的问题,该研究提出只看最近语音块注意力占比的 RFAP 和再加注意力变化率的 DCAP,使离线训练的语音到文本模型无需再训练即可流式运行,在 CVSS-C 三个语对上 RFAP 在中延迟段取得最高可比 BLEU 而 DCAP 保住极低延迟下的质量,但高延迟段优势收窄且 DCAP 随延迟增大而退化。

 · 更新于 2026-10-15 · 约 16 分钟 · 7690 字 阅读 →
论文解读

长时噪声下抓瞬时与看全局:表格统计与注意力多实例如何分工检出两类声带过度功能

针对只有受试者级标签的周级颈表加速度日常嗓音监测,该研究用日级分布统计的 CatBoost 分支捕捉长期低效、用 12 秒窗口门控注意力多实例分支定位短时高强度事件,再经分位数校准的逻辑回归堆叠融合,在官方测试上报告 PVH 的 AUC 为 0.891 与 NPVH 的 AUC 为 0.861,而消融显示深度分支增益很小且 NPVH 存在明显欠置信。

 · 更新于 2026-10-15 · 约 20 分钟 · 9872 字 阅读 →
论文解读

只比邻词:用三线索听觉对比复刻大模型韵律判断

针对朗读英语词级感知重音评分任务,听觉对比网络用三个声学线索的相邻词非线性对比加轻量聚合,在跨语料迁移上以 202 参数达到 r=0.412 追平冻结 wav2vec2 个基线,加文本后到 r=0.451,代价是依赖外部词边界且仅在单语料对上验证。

 · 更新于 2026-10-15 · 约 16 分钟 · 7801 字 阅读 →
论文解读

先分波束再互斥:用目标与干扰波束的帧级交互做提取

针对远场多说话人加噪声下目标说话人提取,论文采用第一阶段视听引导波束形成得到目标与干扰波束、第二阶段双分支跨波束注意力做互斥抑制,在自采真实录制集平均词错误率从 28.40% 降到 20.38%,代价是两阶段级联与双分支结构更复杂。

 · 更新于 2026-10-15 · 约 18 分钟 · 8699 字 阅读 →
论文解读

看与听对不齐:用时间坐标与跨帧差异做音画一致理解

针对音视频分路处理导致时间与语义错位的问题,该工作用帧级旋转位置编码加频率注入、跨帧块差异注意力与时间对齐跨模态注意力做对齐,在 AVSD 上报告 50.30% 准确率,但长视频描述性指标仍偏低且训练仅 1 轮。

 · 更新于 2026-10-15 · 约 18 分钟 · 8949 字 阅读 →
论文解读

交叉注意力只说对一半:语音到文本模型到底在听哪里

论文以扰动归因显著图为参照检验交叉注意力,报告其与输入显著图仅中等相关且删除指标从 91.3 掉到 41.2,说明它是有用但只有一半解释力的轻量线索。

 · 更新于 2026-10-15 · 约 22 分钟 · 10727 字 阅读 →
论文解读

定长训练遇上变长语音:用时长嵌入去纠正自注意力的位置偏置

针对固定补齐截断在变长检测中丢失全局时长上下文的问题,该文把音频时长与片段偏移编码为时长嵌入并用以修正自注意力的偏置图,最强证据是相对位置编码依赖的 DASA 在多个跨域评测上优于标准自注意力,而帧独立与帧依赖两种变体则带来代价甚至退化。

 · 更新于 2026-10-15 · 约 20 分钟 · 9854 字 阅读 →
论文解读

对不准就念错:用注意力对齐分数与教师对齐路径消除大模型语音幻觉

针对解码器语音大模型在长难文本上重复与漏读的稳定性幻觉,论文用最优对齐分数约束对齐头并用教师注意力伪对齐做思维链引导,在困难集上报告降低约 2.1% 与 1.6% 词错误率而日常集自然度未下降。

 · 更新于 2026-10-15 · 约 18 分钟 · 8913 字 阅读 →
论文解读

在不训练的条件下把修改锁在时间片段里:FreeSonic 的时间感知解耦编辑

FreeSonic 针对文本引导音频编辑中时间一致性与背景保留难以兼得的问题,在冻结的 TangoFlux 上用反演加去噪、文本音频注意力取掩码与分阶段解耦做局部修改,主实验报告在增加、删除、替换上取得更优的保真与语义对齐,但删除类任务仍依赖噪声注入强度等任务相关超参数。

 · 更新于 2026-10-15 · 约 18 分钟 · 8625 字 阅读 →
论文解读

网格够用但不够准:用注意力选麦克风对、再用高置信网格算连续坐标

针对分布式麦克风阵列中网格分辨率与计算量的矛盾,G2C-NET 用自适应成对特征聚合压制不可靠麦克风对、用高置信邻域加权求连续坐标,在 625 网格和同分辨率下把仿真 RMSE 降到 25.52 cm、实测降到 23.35 cm,代价是仍需调 λ 并依赖仿真预训练加混合微调。

 · 更新于 2026-10-15 · 约 18 分钟 · 8530 字 阅读 →
论文解读

从粗节奏到对齐潜变量:GACA-DiT 如何同时解决节奏粗糙与时间错位

针对舞蹈到音乐生成中节奏表示过粗与舞蹈音乐时间长度错位的问题,GACA-DiT 用多尺度时空节奏提取加上下文对齐查询的扩散变换器建模,在 AIST++ 与 TikTok 上取得最高的节拍与质量指标,代价是依赖姿态与预训练编解码器且演示链接当前不可用。

 · 更新于 2026-10-15 · 约 16 分钟 · 7856 字 阅读 →
论文解读

抑郁线索稀疏而不均匀:用跨模态门控重新分配帧权重

针对抑郁相关模式在语音中稀疏分布的问题,该研究用自适应跨模态门控对声学帧和文本词元重新加权,在 PDCD2025 上跨模态门控达到 81.25% 平均准确率并在 DAIC-WOZ 上达到 69.39% 的 F1,同时可视化显示门控偏向低能量语音和消极词汇,但预训练模型冻结与聚合口径等细节仍需按原文条件理解。

 · 更新于 2026-10-15 · 约 20 分钟 · 9983 字 阅读 →
论文解读

查询保分辨率、键值做压缩:用分层池化吃掉语音时间冗余

针对自注意力平方复杂度与语音帧间高冗余的矛盾,该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力,并在 Zipformer 中按层设置不同步长,报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率,代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。

 · 更新于 2026-10-15 · 约 18 分钟 · 8942 字 阅读 →
论文解读

文本抢了声音的戏:MATA 在中间层把注意力推回音频

针对大音频语言模型在中间层重文本轻音频的注意力失衡,MATA 在推理时只放大末位查询对音频键的原始注意力分,MMAU 上把 Qwen2.5-Omni 从 71.1% 提升到 73.6%,代价是增强强度与层位需手工选定且对极小混合子集仍有波动。

 · 更新于 2026-10-15 · 约 18 分钟 · 8911 字 阅读 →