端到端学习

针对两个终端各看局部、合起来才决定标签的分布式语义通信，本文用训练期均衡后协同奖励去修正逐终端计费的门控选择，在奇偶校验上复现理论门限并在 AV-MNIST 与 PAMAP2 上节省约三成负载符号，代价是集中训练与按预算重训门控。

本文要解决整首钢琴录音直接转写成乐谱时的拍号节拍定位与自动分段问题，方法是联合学习表示小节内相对位置的下拍相位并用其傅里叶编码条件化解码器，最强证据是整首转录在节拍结构指标上显著提升，代价是相位与乐谱模型只在合成演奏上训练、在真实 expressive 演奏上仍有泛化缺口。

JAVIS 针对对话系统缺视觉通道与级联延迟问题，用共享大语言模型加联合精炼头产生统一音视表示并分两支流式生成语音和面部动作，在 VStyle 未见样本上取得更好的唇同步与表情恰当性，并把初始延迟降到 1.27 秒，但结论依赖合成训练数据与特定评测条件。

论文用一个全双工对话主干同时驱动语音合成与手势表情合成，并用语义调用加模板库补足稀疏的语义手势，在保持语音问答与轮流准确率的同时提升了对话手势与表情指标，但结论只在所建 138 段人工验证集与所用参考型评测条件下成立。

论文把越南语语音识别输出的口语串流式转成带标点大小写和数字时间的书面串，用预训练 EnViT5 加读标注写策略和前后缀缓存优化，在 5M 句自建数据上接近离线端到端基线并快于混合流式方法，但含噪语音和罕见外来词仍是主要代价和适用边界。

OpenPA 针对闭合跟读与开放自由作答两种条件，用 Whisper 编码器-解码器加``标记同时做单词级和语句级评分，只在 speechocean762 上训练，在域内和 MultiPA 零样本上报告了单词级 PCC 提升，代价是韵律相关语句指标未全面领先且病理语音迁移仍是探索性结论。

论文要解决竞争说话人下目标难分离且分阶段放大易放大残留干扰的问题，用目标说话人视频加听力图端到端估计 NAL-R 与 WDRC 目标，最强证据是噪声下客观与听感在竞争语音条件提升最大，代价是整句离线处理与视觉编码器带来约 232 GMACs 计算量。

论文把冻结大模型词向量当几何锚点，用距离 CTC 统一时间压缩和几何约束，只在 960 小时英语转写上训练就在未见翻译和情绪任务上接近级联系统，同时保留独立 CTC 解码能力，代价是空白符位置敏感和长语音退化。

论文把合唱录音同时做音符检测和女高女低男高男低声部分配，用共享编码器加分声部头、整体监督和音域与连贯先验构造训练目标，在 YouChorale 上以 0.225 的声部平均音符 F1 超过合并转谱加事后分配的 0.175，但绝对值仍低且跨数据集会漂移。

论文研究端到端语音依存句法分析中连接语音编码器与句法分析器的三段中间神经网络是否必要，提出去掉它们的简化结构，在法语、斯洛文尼亚语和奈贾语上达到相当或更好的分析准确率并减少约 12% 参数，代价和结论都只在联合微调与冻结编码器等明确条件下成立。

论文把单次混响拍手建模为未知拍手与未知房间冲激响应的卷积，用消声拍手数据集构造合成配对训练神经回归器，在受控合成基准上全面优于加窗激励基线，并在 7 个真实房间中把频谱离散度从原始录音水平降到更一致的估计，但与已知激励解卷积参考仍有差距。

共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读

针对无线声传感器网络中集中式传输代价大而 DANSE 依赖协方差估计与迭代求逆、在低信噪比和非平稳下不稳定的问题，论文提出全神经的 ANDFilter 经单节点滤波、节点选择与多节点融合直接合成复数滤波器，在 LibriSpeech 加 Freesound 仿真上 PESQ、ESTOI 和 DNSMOS 全面超过 DANSE 等基线，代价是每节点仍需传输一路 …

针对多人对话中谁在何时说了什么难以联合建模的问题，SDR-LLM 用双编码器语音大模型加先进先出结构化输出统一预测说话人编号、转写文本与毫秒级起止时间，并在三类会议播客数据上以更低的说话人归属错误取得与级联系统可比的分割错误，代价是四说话人与高重叠下分割误差仍偏高且自回归推理开销大。

针对会议中噪声与音量起伏并存的问题，SE-AGCNet 用 MP-SENet 做增强加轻量 AGC 做响度归一并联合训练，在 LibriAGC 与两套真实会议数据上把响度拉回 -23 LUFS 附近并降低识别错误率，代价是依赖仿真数据与两阶段课程训练。

针对流式语音转换中冻结声纹嵌入与帧级声学生成失配的问题，VOSSA 从冻结内容编码器中间层经注意力统计池化提取声纹并与转换目标联合训练，在六个数据集上以相近的 NISQA-MOS 和 WER 换来更高的归一化目标相似度、更小的 F0 误差和更小的元音 F1 分布距离，代价是仍需双路径重建加对比约束联合优化且推理仍保持约 73 ms 延迟。

针对无参考语音质量预测在未见失真下泛化弱的问题，DNSMOS-C 在 DNSMOS Pro 上把 SCOREQ 三元组对比损失直接加到 64 维编码器嵌入上做单阶段联合训练，域内相关系数和跨 NISQA 子集泛化多数提升，且 PCA 显示质量排序增强，代价是失真类型可分性略降且推理与 DNSMOS Pro 相同。

针对多阶段说话人检测随人数变慢、依赖外部人脸检测器的问题，RT-ASDNet 用音频流加视频流加无锚检测头在关键帧上一次输出人脸框与说话状态，在 AVA-ActiveSpeaker 验证集上以联合检测口径取得 77.5% mAP，但与只做分类的离线方法相比仍有明显差距。

针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题，WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射，在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带，并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。

针对医生患者对话中联合识别内容与说话人角色的问题，该文冻结 ASR 换能器并训练同步的角色换能器，用任务专用预测器、高层编码器特征与一-best 路径交叉熵实现同步标注，在 DoPaCo 上把角色词错误率降到 6.1，代价是需要已对齐的 ASR 与角色标注训练数据。