ASSET:从任务反馈中学习语音切分以压缩大模型音频前缀
ASSET 针对语音大模型音频前缀过长的问题,用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token,以转录损失加保留比带惩罚为奖励训练切分,在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率,在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率,代价是依赖字符 …
ASSET 针对语音大模型音频前缀过长的问题,用可学习的边界策略把冻结编码器帧切成变长段再池化为音频 token,以转录损失加保留比带惩罚为奖励训练切分,在 LibriSpeech-960h 上以 10.9/10.6 Hz 取得 2.79/5.63% 词错误率,在 AISHELL-1 上以 7.7 tokens/s 取得 7.53% 字错误率,代价是依赖字符 …
针对在线日志人数偏多偏少都看不出来的问题,该文只改基线跟踪器何时注册新说话人,用候选池积累证据加确认后才输出,在九个数据集上把宏观人数误差从 225% 降到 21% 并降低宏观 DER,代价是全部输出平均多等 0.109 秒。
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
针对重叠语音下编码器表示难解耦而大模型解码又慢又不稳的问题,该文用适配后的 LLaMA 在训练时做串行输出教师信号来正则编码器,并用话者计数头路由到两话者或三话者串行 CTC 分支,在 LibriMix 上实现推理全编码器化,三话者条件显著优于同类大模型系统且实时率大幅降低。
针对说话人数未知时的联合多说话人识别与说话人归属加时间戳问题,论文采用先带思维链监督微调再用多维约束奖励做分组相对策略优化的两阶段路线,在 Libri3Mix 与 Dynamic-Mix 上报告 14.52%/9.24% 的 cpWER 和 1.95%/1.12% 的 WDER,代价是需要精细结构化输出与多采样强化探索。
针对五人以上拥挤录音中端到端 diarization 系统性少计低话量说话人的问题,论文在 EEND-TA 上加训练期门控耦合正则与按说话人加权的归约,最终系统把拥挤子集精确计数从 32.9% 提到 41.6%,代价是 CallHome 这类吸收型错误为主的域精确计数下降且需多调存在门指数。