论文解读

在脑电噪声中做减法:AFA-Net 如何用差分注意力找准注意说话人

针对脑电噪声下普通自注意力只能稀释无关特征的问题,AFA-Net 用时空卷积提局部特征再用差分注意力做全局减噪,在 KUL 2s 窗上报告 96.8% 准确率且仅用 0.03M 参数,代价是 DTU 上整体更低且部分窗口相对最强基线无显著优势。

 · 更新于 2026-10-17 · 约 19 分钟 · 9321 字 阅读 →
论文解读

音节模型能否对上真实舌唇动作:用 CTW 在 Maeda 空间里检验语音规划

该研究把电磁发音仪记录线性映射到 Maeda 参数空间,再用非对称典型时间规整把数学音节模型轨迹对齐到真实时间轴,用语音内容一致与不一致配对的置换对照证明语音一致时发音与共振峰相关显著更高,但唇高参数与生理延迟仍是代价与边界。

 · 更新于 2026-10-17 · 约 21 分钟 · 10063 字 阅读 →
论文解读

听不清却说听清了:音频大模型转写可靠性的编码器预判

论文研究音频大模型能否预判自身转写是否可靠,发现解码器自评严重高估而冻结音频编码器表示可支撑四分类预测,在域内宏 F1 达 81.10% 且跨域保持 78.09%,代价是需按模型实测构建标签库并做边界对齐。

 · 更新于 2026-10-17 · 约 19 分钟 · 9357 字 阅读 →
论文解读

预处理链为何先击中无声阻塞:阈值能救回 F1 却救不回排序

在 SEP-28k 上用冻结 WavLM 加逻辑回归研究去噪响度归一 Opus 与 VAD 链,发现固定阈值下阻塞 F1 损失最大而阈值重调可恢复大部分 F1,但 ROC-AUC 损失留存且匹配重训仅小幅回升。

 · 更新于 2026-10-17 · 约 16 分钟 · 7992 字 阅读 →
论文解读

只有 14 小时标注也能做识别:Basaà语调迁移与字符级解码的第一条基线

针对标注稀缺且带声调和形态变化的 Basaà语,研究用多语言自监督表示 XLS-R 做微调,在 1671 条测试上报告词错误率 14.13% 和字错误率 3.51%,代价是方言覆盖窄且声调细节仍易错。

 · 更新于 2026-10-17 · 约 17 分钟 · 8184 字 阅读 →
论文解读

多人语音里记住谁对谁说了什么:交互图记忆与按轮增益的检索智能体

针对多方多会话语音长记忆问题,论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系,并用按轮奖励新增证据的检索智能体自适应取证,在 VoxPolyBench 上报告 85.0 分,代价是依赖合成语音与标注证据训练且真实声学泛化待验证。

 · 更新于 2026-10-17 · 约 19 分钟 · 9384 字 阅读 →
论文解读

双耳空间线索如何解开同类多人中的发声者混淆

论文把单声道音频视觉实例分割扩展为双耳音频视觉实例分割,用纯音频声源定位学图像平面空间与语义先验再注入查询解码器,在 BiAVIS-Bench 上报告相对最强单声道基线提升 17.22% mAP 与 7.71% FSLA,代价是依赖固定相机与仿头采集几何并受类别规模限制。

 · 更新于 2026-10-17 · 约 21 分钟 · 10094 字 阅读 →
论文解读

不等后端说完就开口:在 80 毫秒帧里直接塞进原文的上下文跨接

针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题,论文用单次块预填充把检索原文直接注入对话流,并在问答与全双工评测中验证了可行性,代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。

 · 更新于 2026-10-17 · 约 19 分钟 · 9142 字 阅读 →
论文解读

排序对了还不够:用校准与顺序监督补上嵌入式关键词检测的阈值缺口

针对开放词表关键词检测中对比学习只管排序不管绝对阈值的问题,CORD-KWS 在保持双编码器余弦打分与 O(1) 注册的同时加入单调校准头、CTC 顺序辅助与语音学难负例,在 LibriPhrase 上报告 easy 0.43% 与 hard 9.64% 的 EER,代价是 hard 导向的 BCE 使 easy 出现小幅回升。

 · 更新于 2026-10-17 · 约 18 分钟 · 8905 字 阅读 →
论文解读

跨模态蒸馏没有教会听觉分辨行人,只是把判定点推向多数类

该研究在 ASPED 上以视频教师蒸馏音频学生,比较十种蒸馏配置,发现宏准确率小幅上升主要来自无行人类准确率上升与行人召回下降的操作点移动,PR-AUC 几乎不变,而选择性屏蔽行人样本的信任过滤蒸馏强化了这一权衡而未提升平均排序能力。

 · 更新于 2026-10-17 · 约 19 分钟 · 9026 字 阅读 →
论文解读

背景里的记忆:CUE-Mem 检验长期用户记忆能否留住边缘线索

CUE-Mem 用显式与隐式对照的多会话文本图像音频历史检验长期用户记忆,显示隐式线索的保存与检索是主要瓶颈,而细化文本化与原生多模态接入只能部分缓解且带来代价。

 · 更新于 2026-10-17 · 约 19 分钟 · 9070 字 阅读 →
论文解读

谁来说与怎么说分开:用短音频示例控制零样本合成的口音

DEFINE 用说话人提示定身份、用口音示例定口音并以权重 w 连续调节强度,在见过口音上口音探针准确率从 6.5% 提升到 19.6%,以单遍合成达到级联方案的口音转移并保留更高的说话人相似度,但 held-out 口音仍弱于级联且瓶颈在示例编码器。

 · 更新于 2026-10-17 · 约 20 分钟 · 9599 字 阅读 →
论文解读

先降噪再融合:差分注意力如何让脑电和语音互补

该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。

 · 更新于 2026-10-17 · 约 21 分钟 · 10183 字 阅读 →
论文解读

能认出指令却不敢静默:语音智能体何时该行动

论文用 1018 项 VGBench 诊断语音大模型在文字相同时能否按声学语境决定静默或调用工具,发现现成模型最高仅静默 14% 的切换指令,而联合监督训练 VoxGate 在保持正向控制全对下静默 91.3%,但该门控依赖声源与距离多线索组合且跨场景不稳定。

 · 更新于 2026-10-17 · 约 20 分钟 · 9587 字 阅读 →
论文解读

多人房间里何时该开口:Duplex-MPE 把称呼判断变成可听的说话控制

Duplex-MPE 用 2000 对显式与隐式称呼配对的多人连续语音场景,检验全双工助手何时新发起回答、答对、保持安静与在他人解决后收声,最强证据是 MiniCPM-o 4.5 在三项能力领先而高语音覆盖常伴随答错或侵入,代价是合成场景与自动语义打分只在抽样上经人工验证。

 · 更新于 2026-10-17 · 约 20 分钟 · 9540 字 阅读 →
论文解读

把每个边界都算分:FA-Bench 如何让强制对齐与识别时间戳放在同一尺子上比较

FA-Bench 用固定转录归一化、固定划分与全边界容差 F1 把 21 个开源模型与 9 个商用接口放在干净与四种退化语音上重跑,报告了 MAE 只算命中词带来 9% 到 14% 的虚低与 Whisper 约 150 ms 系统性偏早等偏差,代价是音素评测仍受词典与实现差异限制。

 · 更新于 2026-10-17 · 约 16 分钟 · 7922 字 阅读 →
论文解读

整句判情绪为何不够:把情绪放回语音时间轴上的定位与训练

针对整句单标签无法定位多人多事件录音中情绪归属的问题,论文把任务改写为带起止时间的语音段结构化预测,并用掩蔽情绪与距离加权时间戳辅助损失训练 EMO-TAG,在 MELD 和 IEMOCAP 多段定位与单句识别上超过所比基线,但代价是两次前向与精心清洗的多段构造流程。

 · 更新于 2026-10-17 · 约 19 分钟 · 9407 字 阅读 →
论文解读

给预训练乐谱模型加装动机方向盘:MotiGen 的提示注入与两阶段课程

MotiGen 针对 NotaGen 等符号音乐大模型缺少动机级控制的问题,用移调不变的音程类别提示行加训练与推理一致的注意力偏置和先聚焦裁剪后全曲的两阶段课程来改造模型,在分层动机评估中显著高于无提示基线,代价是仅限单声部且依赖自动包含判定而非大规模人评。

 · 更新于 2026-10-17 · 约 19 分钟 · 9232 字 阅读 →
论文解读

又安静又准确的角落是空的:给 Whisper 同时补上该闭嘴和该开口的证据

论文针对 Whisper 在无语音音频上编造句子的问题,用同一批幻觉短语的合成真人朗读做正例来配对抑制训练,在 33 组配对微调中把野外无语音词发射率中位数降低约 0.118 并把短语召回中位数提高约 0.186,最佳点把静音幻觉从 61.9% 降到 2.4%,代价是 FLEURS 多语言误差仍高于基线。

 · 更新于 2026-10-17 · 约 19 分钟 · 9122 字 阅读 →
论文解读

合成嘴型补不上真实视频:用音频驱动 talking head 给 AVSR 扩数据

该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺,在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降,在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益,但合成单用时仍弱于真实数据且噪声下增益收窄。

 · 更新于 2026-10-17 · 约 17 分钟 · 8268 字 阅读 →