预处理链为何先击中无声阻塞:阈值能救回 F1 却救不回排序
在 SEP-28k 上用冻结 WavLM 加逻辑回归研究去噪响度归一 Opus 与 VAD 链,发现固定阈值下阻塞 F1 损失最大而阈值重调可恢复大部分 F1,但 ROC-AUC 损失留存且匹配重训仅小幅回升。
在 SEP-28k 上用冻结 WavLM 加逻辑回归研究去噪响度归一 Opus 与 VAD 链,发现固定阈值下阻塞 F1 损失最大而阈值重调可恢复大部分 F1,但 ROC-AUC 损失留存且匹配重训仅小幅回升。
针对标注稀缺且带声调和形态变化的 Basaà语,研究用多语言自监督表示 XLS-R 做微调,在 1671 条测试上报告词错误率 14.13% 和字错误率 3.51%,代价是方言覆盖窄且声调细节仍易错。
针对多方多会话语音长记忆问题,论文用增量声纹识别加交互记忆、事实记忆与人物画像三层结构保存说话人与收话人关系,并用按轮奖励新增证据的检索智能体自适应取证,在 VoxPolyBench 上报告 85.0 分,代价是依赖合成语音与标注证据训练且真实声学泛化待验证。
针对全双工语音模型靠压缩隐向量读取外部知识易丢精确值的问题,论文用单次块预填充把检索原文直接注入对话流,并在问答与全双工评测中验证了可行性,代价是每词一帧带来的内存开销与对后端识别和大模型推理的依赖。
针对开放词表关键词检测中对比学习只管排序不管绝对阈值的问题,CORD-KWS 在保持双编码器余弦打分与 O(1) 注册的同时加入单调校准头、CTC 顺序辅助与语音学难负例,在 LibriPhrase 上报告 easy 0.43% 与 hard 9.64% 的 EER,代价是 hard 导向的 BCE 使 easy 出现小幅回升。
该文针对脑电伪影污染融合表示的问题,用差分注意力抑制共享噪声并用门控对齐融合语音,在 PME4 和 EAV 上以留一被试协议取得多模态显著提升,但未直接对比已有脑电语音融合系统。
FA-Bench 用固定转录归一化、固定划分与全边界容差 F1 把 21 个开源模型与 9 个商用接口放在干净与四种退化语音上重跑,报告了 MAE 只算命中词带来 9% 到 14% 的虚低与 Whisper 约 150 ms 系统性偏早等偏差,代价是音素评测仍受词典与实现差异限制。
针对整句单标签无法定位多人多事件录音中情绪归属的问题,论文把任务改写为带起止时间的语音段结构化预测,并用掩蔽情绪与距离加权时间戳辅助损失训练 EMO-TAG,在 MELD 和 IEMOCAP 多段定位与单句识别上超过所比基线,但代价是两次前向与精心清洗的多段构造流程。
该文用真实语音加静态人脸经 Wav2Lip 生成唇同步视频来解决视听数据稀缺,在西班牙语上以混合真实加合成数据取得最高 16.2% 的相对词错误率下降,在加泰罗尼亚语上验证了零真实视听数据下合成训练仍能带来 15.2% 的多模态增益,但合成单用时仍弱于真实数据且噪声下增益收窄。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对连续自回归流匹配语音模型中非言语标签跟随难的问题,NVAlign 用冻结的非言语识别模型概率作可微奖励并经两步梯度代理回传联合更新主干与流头,在三套系统的人评听音集上提升标签准确率,但自然度与可懂度等代价需要用保真惩罚和参考速度正则来约束。
针对多智能体语音流水线中转写、说话人、时间与标注在工具格式间易丢失的问题,OneVoice 用稳定标识、分层转写与显式来源的 JSON 会话记录加校验器组织交接,在 15 组儿童语音事件聚合与 40 组 TIMIT 时序链接上以三模型验证了计数与时序保持的改善,但校验修复收益与模型相关且未验证延迟成本。
语音的噪声、通道、说话人与跨模态差异本质是分布不一致,本文沿 Monge 到 Kantorovich 再到 Sinkhorn 与神经求解的路线讲清对齐机制,报告在增强、识别与反欺骗中的迁移用法,并指出长序列可扩展性与代价函数选择仍是主要代价。
论文把单通道混合语音分离与按源雷达位移的身份配对做成同一任务,用门控融合的 DPRNN 先分离再用跨模态匹配器定序,在两路和三路混合上同时报告 PIT 与有序指标,而有序增益高度依赖第二阶段匹配器且雷达单独不可懂。
针对必须原样播放预录台词的多轮对话任务,RePlay 截断 PersonaPlex 并用轮次头加检索头在回合起点选句,仿真中以中位延迟 383 ms 达到接近大模型级联的对话质量,代价是精确行召回低于大模型级联。
针对医院工作者日常压力随科室与活动变化而单靠语音不稳的问题,该研究用语音编码器加移动轨迹编码器的晚期拼接融合做天级二分类,并在 TILES 医院数据上报告融合相对音频基线 F1 提升而轨迹预训练与高低移动条件决定收益大小。
论文针对参考引导的 expressive 语音生成评价问题,用三元组分级比较构建 SES-Bench 并以累积 logit 序回归训练 SES-Judge,在 848 个测试比较上取得 Spearman 0.5297 与准确率 74.96%,显著高于嵌入余弦与大音频语言模型,但仍只覆盖 TTS 与 VC 两类任务与有限情感分布。
针对大参数检测器逐条调用成本过高的问题,该文用转置卷积与逆短时傅里叶变换推导的可预测谱峰加线性频率倒谱时变特征训练 151 KiB 梯度提升树,在同源测试报告等错误率 0.021%,并在 0.050% 漏检约束下估计节能 84.4%,但留一生成器误差分布不均显示跨生成器迁移仍是主要限制。
针对端到端全双工语音模型语义弱而双通道对齐易被打断的问题,TurnGuide 用语音活动检测加停顿合并做轮次切分并在轮内交错生成文本与语音,在 Fisher 上显著提升语义连贯性与轮次转换行为,代价是块级交错带来约 0.69 秒量级的理论首包延迟与对码本和声码器的依赖。
该研究用被试内普通话四情绪识别任务对照人声与 AI 克隆陌生或熟悉音色,报告人声在高兴、悲伤和生气上准确率更高且反应更快,而熟悉 AI 音色仅对高兴有补偿、对恐惧反而延迟,且心率变异性未区分条件。