空间信息在系统与数据两层如何缓解漏检与混淆的跷跷板
针对多说话人重叠会议中仅靠频谱线索区分说话人困难的问题,论文先在系统层引入空间特征与波束形成得到多通道级联,再用空间聚类生成自适应数据并以知识蒸馏微调说话人日志模型,在相同识别后端下把时间受限词错率降到 17.86%,代价是更长的窗与额外的自适应流程。
针对多说话人重叠会议中仅靠频谱线索区分说话人困难的问题,论文先在系统层引入空间特征与波束形成得到多通道级联,再用空间聚类生成自适应数据并以知识蒸馏微调说话人日志模型,在相同识别后端下把时间受限词错率降到 17.86%,代价是更长的窗与额外的自适应流程。
针对神经编解码语言模型自回归解码中词元级伪影累积与偏离自然分布的问题,MSpoofTTS 冻结 NeuTTS2 等基座模型并用 5 个多分辨率词元级真伪判别器做分层剪枝与重排,在 LibriSpeech 和 LibriTTS 上把感知质量做到最好或次好,但以多候选并行解码的推理开销为代价。
针对自回归测试时自适应中熵最小化实现分裂的问题,论文推导出包含词元级策略梯度损失与词元级熵损失的完整梯度,并在 Whisper 语音识别上以 20 余个噪声口音多语域验证,最强的束搜索变体带来最低词错率,但代价是每步多采样与多步更新的计算开销。
针对 L2 发音错误分布多变而标注难以覆盖的问题,SEA-MDD 在 wav2vec 2.0 的 Transformer 块中插入以重构为自监督任务的 TTT 模块,使每个测试句都能触发内循环权重更新,最强可运行配置在 CU-CHLOE 上取得 8.03% 的 PER 和 81.54% 的 F1,代价是单块或全块适配带来毫秒级额外延迟与数百万可更新参数。
针对少见说话风格上零样本语音合成出现域偏移而失真的问题,VoiceTTA 在推理时冻结主模型、只用组相对偏好优化更新轻量可学习前缀,并以基频与能量变异系数差异加说话人相似度和可懂度为奖励做在线适配,最强证据是在五类少见场景平均上取得词错误率 3.12 与说话人相似度 0.64 的同时保持自然度,代价是每个说话人需做 50 步候选采样与奖励计算的测试时优化开销 …
针对多轮口语对话中模型内部能注意到历史却在生成时被参数先验压制的问题,论文提出只遮挡注意力选出的关键轮并对比有无该轮输出分布的免训练解码方法,在 Audio MultiChallenge 上把三套端到端语音对话系统的平均通过率提高约 6.7 至 13.3 个百分点,而全历史粗放对比反而使性能下降。
针对大音频语言模型链式思考不稳定问题,论文用思维链与非思维链隐状态差值构造转向向量并在解码时注入,在 4 个模型和 4 个语音推理基准上最高超过思维链基线 4.4 %,而纯文本导出的向量也能迁移到语音任务,但实例级方法对缩放强度更敏感。
针对支持样本与查询音频都被背景声污染的单路五样本声音事件检测问题,论文提出冻结音频编码器、仅把目标原型向背景向量正交子空间投影的 POP-SED,在 DCASE2024 任务 5 验证集上用 BEATs 取得 62.35% 的事件级 F 值,代价是背景混合数增大时子集搜索按 2 的 M 次方增长。
针对大音频语言模型在问答中编造不存在声音事件的问题,论文用等长静音作负例构造声学转向向量并按层加权干预,在音频幻觉问答上把 Gemma 总召回从 53.4% 提升到 69.0%,在 MMAU 上把 Qwen 准确率从 54.8% 提升到 59.2%,且不训练任何参数。
针对短句语音模型在长文本上出现的走调、音色漂移和句界断裂问题,论文提出只在推理时生效的 MagpieTTS-LF,用软注意力先验维持单调对齐并保留远距上下文、用跨句状态传递历史文本与编码器表示,在 20 段 3-4 分钟英文长文本上把词错误率降到 0.025 并把边界能量跳变降到 14.04 dB,代价是仍需逐句自回归生成且未报告延迟与主观听感。
针对客服通话中尾部命名实体易被流式识别错且错误会污染客户关系管理录入的问题,该研究用实时伴随界面收集人工确认修正并由反射子智能体离线更新上下文偏置表与事后替换规则,在英语评测上把命名实体错误率相对降低 17.1% 而代价是偏置表在 3 批内即触及 500 容量上限。
针对连续语音中关键词稀少而背景占主导导致标准熵最小化偏向背景类的问题,ImKWS 用解耦熵与多视角一致性做测试时适应,在 1 比 8 与负 10 分贝等条件下宏平均 F1 超过 AdaKWS 等基线,代价是只更新归一化仿射参数且依赖两阶段样本筛选阈值。
针对语音识别遇到训练未见词时语言模型无法给分的问题,该文用冻结 CTC 找拼写候选、冻结语言模型找上下文分歧来定位新词,再只学新增词符的嵌入与拼写分布,LibriSpeech 上 OOV 字符错最高相对降 14.97%,代价是只对重复出现的新词有效且依赖 CTC 候选质量。
针对大音频语言模型在字幕中提到输入中不存在声音事件的问题,REVE 复用目标模型已算出的编码器帧状态做两尺度验证,在 AudioSet 上开发集召回约束下删掉 92.9% 无据提及,只增加 3.38M 参数和 0.57 ms 完整验证延迟。
论文先量化大音频语言模型对声音的依赖再提出感知 grounded 的测试时强化学习,用多数票伪标签乘以声学支撑权重更新策略,在 MMAR 上最高提升 4.6 个点、在 MMAU 上最高提升 4.9 个点,代价是每步需额外做遮蔽前向与分组投票计算。
针对掩码型语音增强在域偏移下掩码双峰性退化的问题,BLINC 冻结模型并用直方图匹配把预测掩码重映射到由含噪信号盲特征决定的双峰目标分布,在几乎不增加耗时的条件下提升了感知质量,但以信号级指标下降和无法修复排序错误为代价。
论文冻结分离主干只换状态机制,用 22 组启发式更新测出稳定性-可塑性前沿,再用闭环元训练的 41k 参数锚定快权重在严重失配下达 10.9 dB 并在 30 s 缺席后保留 6.2 dB,代价是匹配短句略低于静态注册且依赖通道增强覆盖。
共收录 160 篇 nime-2026 会议论文的 Reader 深度解读
针对 ASR 转写正确但唤醒意图错误的问题,论文提出在响应前加一层融合声学、语言和设备上下文并从用户后续行为中提炼纠正模式的 ASCIL,在 3667 次交互上将会话不相交失败子集错误相对降低 54.27%,在阈值 0.90 的问题标记切片上相对降低 24.39%,代价是在低阈值和干净音频上存在接受与拦截的权衡且依赖历史交互。
该研究针对无预训练的即兴场景,用声音与肌电的四个在线预测器判断演奏是否可预测并以电刺激惩罚,报告预测准确率约为随机猜测的 1.5 至 2.5 倍,代价是误报多、演奏者注意力被算法牵走且只在作者本人的电子乐器演出中验证。