Interspeech-2026 论文

针对说话人确认在非言语发声上跨域失效且微调会遗忘语音的问题，论文用冻结 Data2Vec 加 ECAPA-TDNN 配合层间混合专家与只对语音蒸馏的教师约束加跨域对比损失，在保持可运行基线的条件下把语音对非言语 EER 从 38.93% 降到 22.66%，代价是标准语音 EER 仍高于大规模预训练的 5.60%。

论文先用统一打分协议测出现成语音大模型在 VoxCeleb1 上等错误率多在 20% 以上，再用冻结 ECAPA-TDNN 向量加线性映射与 LoRA 把 TinyLLaMA-1.1B 做到 VoxCeleb1-E 上 1.03% EER，代价是推理与训练开销远高于专用验证系统。

针对多模态对话情绪识别中全局图传播混合非目标说话人特征并可能看到未来的问题，论文提出先用因果 Top-K 注意力把跨说话人线索写成摘要、再只在单说话人异构子图上传播的 SF-HGN，在 IEMOCAP 上报告 68.76% 加权准确率与 68.73% 加权 F1、在 MELD 上报告 66.40% 与 65.65%，代价是 Angry 等类别明显下降且隐私仅 …

该文用实时磁共振影像直接估计梅尔谱并合成波形，问题是未见说话人能否不依赖参考语音保留语言内容，方法是用跨模态说话人嵌入引导影像分支学习说话人特征，最强证据是朗读语音的差分词错误率在部分测试说话人上降到约 8% 附近，代价是绝对基频和同性别说话人区分仍受限。

论文用同义词与近音词距离、声道距离相关和图文对齐三组探测检验 EnCodec、DAC、MIMI、MIMO，显示编码器保留更多语音发音结构而非词汇语义，跨模态对齐增益有限且蒸馏并未带来真语义。

该文研究在语音大模型中并行融合多语大编码器与单语专用编码器以做自动语音识别，通过可学习的门控与 Transformer 融合在荷兰语、英语、多语和带说话人标签任务上超过简单拼接，但绝对词错率仍受低秩微调与量化资源限制。

针对扩散增强需要多步迭代带来的延迟问题，论文用漂移模型把去噪写成前推分布向干净分布的平衡，用语义潜空间的漂移场做单步映射，最强证据是直接映射在 VoiceBank-DEMAND 上报告 PESQ 3.15 和 SI-SDR 16.1 dB、条件生成报告 SCOREQ 4.33，代价是注入噪声会牺牲波形精度且非配对下配对指标明显下降。

针对电视剧多说话人、术语和长程依赖导致的纯音频识别错误，该文用视频大模型抽取剧名与细粒度描述再交由大语言模型只改明显错误，在 Violin-TV 子集上把 WavLM 等基线的词错误率相对降低 7.46% 至 20.75%，代价是依赖外部视频问答与大模型推理且未报告延迟成本。

论文用 17 小时马库萨斯语和 4 小时库克群岛毛利语自然对话做 Wav2Vec2 等基础模型微调与联合训练，最好的马库萨斯单语模型中位 CER 为 16、WER 为 30 左右，人工从 ASR 改起比纯手打每分钟音频快 0.7 到 2.4 倍，但跨语言联合只带来微弱且不显著的提升。

针对日语书面与口语风格差异导致语音大模型输出不适合语音合成的问题，该研究用直接偏好优化做口语风格对齐，在 SpokenElyza 上相对提升约 18% 而书面任务 Elyza 仅相对下降约 5%。

针对长度归一化说话人嵌入更符合超球面几何而高斯后端与启发式过滤加重负担的问题，论文用环面球面判别分析替换变分贝叶斯聚类的高斯后端做冯米塞斯费希尔推断，在八个基准上把平均日志错误率维持在更低水平并省去过滤与质心重分配，代价是仍需调节缩放超参数且多流联合分配会增加窗内组合计算。

针对固定区域边界敏感与单维度距离或方位重叠歧义问题，SPOT-TSE 用距离加方位连续空间点查询结合空间查询编码与歧义感知训练做多通道提取，在仿真智能眼镜数据上把 D1 到 D3 的 SDR 提升到 14.95、13.94 和 11.05 dB 并把 WER 降到 0.12、0.14 和 0.22，代价是参数量从 0.52M 增加到 1.46M 但运算量下降 …

针对自监督特征上单次全局线性映射难以适应不同音素局部结构的问题，该文用联合高斯混合的后验加权仿射变换做语音转换，在 CMU ARCTIC 六人互转上以说话人相似度提升为最强证据，代价是混合数增大后高维参数估计不稳定且小数据下无约束模型会出现可懂度和自然度退化。

StanceBench 用 Seamless Interaction 即兴子集的角色提示构造 9 个人际立场两极对照，在统一音频裁判流程下报告鲁棒性与可分性，最强证据是共情与礼貌最易分而诚实最难分，代价是弱标签有效性与短片段证据不足带来的阈值敏感和高方差。

STArK 针对文本到调音运动数据稀缺问题，用冻结 SPARC 提取的伪标签 EMA 加音高响度训练非自回归文本到调音模型，在 LibriTTS-R 上用对齐与韵律条件对照证明 EMA 轨迹与可懂语音可同时生成，而音高建模仍是主要代价。

论文把音频推理退化归因于文本替代推理并用模态接地蒸馏把推理拉回声学证据，语音转文字平均 83.6% 与语音对话推理 96.1% 的报告显示长思考可以变好，代价是需要格式奖励维持思考长度与中等难度数据筛选。

在 Qwen3-Omni 30B 与 1000 题 MMAR 音频推理任务上，结构化提示以 72.6% 准确率比基线提高 5.5 个百分点，而需要大量候选生成与迭代微调的 ReST 与自动优化的 MIPROv2 反而低于基线，代价是提示只重组推理流程而不增加可迁移的权重知识。

STSR 把超分放在 MDCT 域用分层谱注意力建长程谐波、用稀疏感知损失保瞬态、用只看高频的混合判别器加压，VCTK 平均 LSD 做到 0.79 且参数仅 66.2M，代价是仍依赖受控语料与重采样评估。

针对生成式增强容易幻觉且强混响强噪声下质量不足的问题，StuPASE 用干声微调修正目标分布并把声学模块换成流匹配，在保持低词错率的同时把主观质量做到最高，代价是客观说话人相似度略降且依赖两阶段训练。

针对片段级标注无法给出帧级起止时间的问题，该文用保持时间维的多实例网络在片段监督下同时做片段分类和零样本帧切分，在 CASA 帧级 F1 达到 0.70 并在 SEP-28k-E 多标签片段任务上多类取得最优，代价是对长阻塞和 prolongation 仍不稳定且依赖 3 秒窗口。