端到端学习

OpenPA 针对闭合跟读与开放自由作答两种条件，用 Whisper 编码器-解码器加``标记同时做单词级和语句级评分，只在 speechocean762 上训练，在域内和 MultiPA 零样本上报告了单词级 PCC 提升，代价是韵律相关语句指标未全面领先且病理语音迁移仍是探索性结论。

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题，用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标，最强证据是噪声下客观与听感在竞争语音条件提升最大，代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

论文把合唱录音同时做音符检测和女高女低男高男低声部分配，用共享编码器加分声部头、整体监督和音域与连贯先验构造训练目标，在 YouChorale 上以 0.225 的声部平均音符 F1 超过合并转谱加事后分配的 0.175，但绝对值仍低且跨数据集会漂移。

论文研究端到端语音依存句法分析中连接语音编码器与句法分析器的三段中间神经网络是否必要，提出去掉它们的简化结构，在法语、斯洛文尼亚语和奈贾语上达到相当或更好的分析准确率并减少约 12% 参数，代价和结论都只在联合微调与冻结编码器等明确条件下成立。

论文把单次混响拍手建模为未知拍手与未知房间冲激响应的卷积，用消声拍手数据集构造合成配对训练神经回归器，在受控合成基准上全面优于加窗激励基线，并在 7 个真实房间中把频谱离散度从原始录音水平降到更一致的估计，但与已知激励解卷积参考仍有差距。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对无线声传感器网络中集中式传输代价大而 DANSE 依赖协方差估计与迭代求逆、在低信噪比和非平稳下不稳定的问题，论文提出全神经的 ANDFilter 经单节点滤波、节点选择与多节点融合直接合成复数滤波器，在 LibriSpeech 加 Freesound 仿真上 PESQ、ESTOI 和 DNSMOS 全面超过 DANSE 等基线，代价是每节点仍需传输一路 …

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

针对会议中噪声与音量起伏并存的问题，SE-AGCNet 用 MP-SENet 做增强加轻量 AGC 做响度归一并联合训练，在 LibriAGC 与两套真实会议数据上把响度拉回 -23 LUFS 附近并降低识别错误率，代价是依赖仿真数据与两阶段课程训练。

针对流式语音转换中冻结声纹嵌入与帧级声学生成失配的问题，VOSSA 从冻结内容编码器中间层经注意力统计池化提取声纹并与转换目标联合训练，在六个数据集上以相近的 NISQA-MOS 和 WER 换来更高的归一化目标相似度、更小的 F0 误差和更小的元音 F1 分布距离，代价是仍需双路径重建加对比约束联合优化且推理仍保持约 73 ms 延迟。

针对无参考语音质量预测在未见失真下泛化弱的问题，DNSMOS-C 在 DNSMOS Pro 上把 SCOREQ 三元组对比损失直接加到 64 维编码器嵌入上做单阶段联合训练，域内相关系数和跨 NISQA 子集泛化多数提升，且 PCA 显示质量排序增强，代价是失真类型可分性略降且推理与 DNSMOS Pro 相同。

针对多阶段说话人检测随人数变慢、依赖外部人脸检测器的问题，RT-ASDNet 用音频流加视频流加无锚检测头在关键帧上一次输出人脸框与说话状态，在 AVA-ActiveSpeaker 验证集上以联合检测口径取得 77.5% mAP，但与只做分类的离线方法相比仍有明显差距。

针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题，WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射，在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带，并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。

针对医生患者对话中联合识别内容与说话人角色的问题，该文冻结 ASR 换能器并训练同步的角色换能器，用任务专用预测器、高层编码器特征与一-best 路径交叉熵实现同步标注，在 DoPaCo 上把角色词错误率降到 6.1，代价是需要已对齐的 ASR 与角色标注训练数据。

该文解决流式语音识别词流需要即时转写为书面形式的问题，用预训练文本到文本模型加读标写策略把生成限制到完备跨度，在越南语 5M 句数据上流式达到 4.18% 与 0.64% 而接近离线 3.63% 与 0.52%，代价是仍缺未来上下文且长跨度需等待完备。

针对可穿戴少麦克风阵列在高直混比下双耳信号匹配退化的问题，论文提出由卷积循环网络直接回归视场中心与张角并加权匹配滤波器的 FoV-BSM-Net，在仿真单声源数据上把全条件改善做到 1.0 dB、高直混比下做到 1.7 dB，但评估限于仿真且本次无可验证的开源链接。

针对两阶段文本到音频中重建潜空间不一定好生成的问题，Unite-Audio 用部分波形在线编码加全波形 EMA 目标的噪声匹配流匹配联合训练表示与生成，并在 AudioCaps-886 上以 117M 潜流模型得到 CLAP 0.534 与 KL 1.057，代价是 Flow-GRPO 后分布保真度 FD 有所回退。

针对立体声电影音频要同时分出对白、音乐、音效并保住空间感的问题，LiteCASS 用确定性子带重排加两级紧凑 U-Net 做掩码分离，在 DnR v3 立体声扩展上以 1.06 M 参数和 0.72 G 每秒运算量取得平均 SI-SDR 最高，代价是语音感知指标仍落后于更大基线与视觉辅助系统。

针对全双工语音交互中打断、回切与外部工具调用难以共存的问题，该工作用并行智能体文本流与函数调用流加流式 TTS 与 RNN-T 转写的统一架构实现边听边说边调工具，最强证据是工具选择 F1 达 82.5% 且打断后恢复质量 4.33/5，代价是参数准确率与端到端执行仍明显落后且工具执行期间不支持打断。