Interspeech-2026 论文

针对自监督语音离散化会丢信息的问题，论文在训练保持硬聚类、推理改用簇后验加权嵌入，在 ASR 与语音合成上优于硬赋值并在非母语等域外数据上更稳，代价是推理要算全簇距离并为每任务调温度参数。

针对自注意力平方复杂度与语音帧间高冗余的矛盾，该研究用查询保持原分辨率、键和值做平均池化压缩的非对称注意力，并在 Zipformer 中按层设置不同步长，报告在 AISHELL-1 上最高降低 0.2% 字错率、在 LibriSpeech 上降低 0.3% 词错率，代价是干净语音小模型细节可能被平滑以及流式部署仍待验证。

针对声音印象数值控制中无公开语料与参考音频导致印象泄露的问题，论文构建 LibriTTS-VI 并提出双话语解耦训练与无参考生成，最强证据是 11 维印象均方误差客观从 0.61 降到 0.41、主观从 1.15 降到 0.92，代价是无参考方法说话人相似度略降且部分维度仍难控。

该研究只用母语语音训练离散单元与三元语言模型，用惊异度统计和文本预测单元的动态时间规整对齐做发音评估，在 SpeechOcean762 上音频加文本达到准确度 0.661 并跨库迁移到 L2-ARCTIC，代价是仍需朗读文本才能发挥对齐增益且回归校准依赖少量学习者打分。

论文用目标模型样本的平均残差做指纹并以马氏距离做归因与检测，在多语种多架构上报告近乎完美的单模型归因与可比深度基线的闭世界分类，代价是对抗自适应攻击与强混响压缩仍需重估计指纹。

针对语音情感识别中音频语气与文本内容可能缺失或冲突且大模型难以在消费级 CPU 上实时运行的问题，论文提出只训练约 64k 参数的 Light-DMF 分离融合结构，用冻结的 Distil-Whisper-large-v3 与 all-MiniLM-L6-v2 做特征、用三路输出分别给出判断，并在 Intel Core i7-5600U 上以 1 分钟音频需 …

LISE 把冻结的说话人向量无监督分解为 35 个非负正交分量，在保留验证性能的同时让人耳以 83.9% 准确率分辨高低权重说话人，代价是重建后等错误率仍略高于原始向量。

针对歌唱质量评价中歌词与音乐脱节、颤音与拖腔导致转写错位的问题，论文提出按语义块对齐的内容与音乐双路框架 MUSICJUDGE，在自建 SWARALYRICS 上取得与专家排序 Spearman 0.683 的报告相关性，代价是依赖伴奏估计全局调性与多步流水线实现。

论文追问思维链语音到文本翻译是否真用了语音，通过归因、加噪鲁棒性和韵律对照三路证据显示基线主要依赖文本转写，而在训练中混入噪声转写能提高语音利用率，但要以额外构造和训练干预为代价。

针对无声视频需要分轨可编辑和空间可控配音的问题，VisionSFX 用视觉语言模型拆事件、每个事件独立调用预训练音频模型生成、再用光流加深度做免训练双耳渲染，代价是本研究未报告客观音质与定位精度指标且依赖现场演示条件。

针对同一句话存在多个合理韵律断句而单参考评测会误拒有效变体的问题，论文提出用大模型从少量示例生成可复用的多参考查找表做评测，在 1356 条韩语标注上更接近人类判断，但多参考构建仍需推理开销与去噪过滤。

针对视听语音增强中 SI-SNR 与人耳感知不一致的问题，该工作用冻结的 SALMONN 生成自然语言质量描述再经 BERT 转为 1-5 分作为相对奖励，用 PPO 微调 AVSEC-4 个基线，在测试集上 PESQ 达 1.25 且 21 人听测中以 96.7% 和 67.6% 胜出，代价是奖励文本模式较固定且需额外大模型推理开销。

针对大音频语言模型中语音事实不知存于音频编码器还是语言主干的问题，论文用语音感知的因果追踪定位再做单层与多层编辑，最强证据是音频层编辑总体优于文本层与微调，但多层累积更新会带来分布偏移与特异性代价。

该研究把转录加停顿标记、话语话题簇、流利度统计和音素序列统一写进结构化提示并用 LoRA 微调大模型做话语级二分类，在 ADReSSo 上最好达到说话人级 F1-score 为 90.14%，代价是话语标注依赖外部商用模型且仅在英语图片描述任务上验证。

针对构音障碍数据稀缺与说话人差异大，论文用单句注册的零样本声音克隆扩充训练集，在 TORGO 上把 Whisper-medium 从 31.62% 降到克隆微调 26.00%，混合微调 25.12%，并在 SAP-1102 跨库从 14.50% 降到 12.84%，但增益高度依赖严重程度且合成数据量超过 15 小时后不再提升。

针对拉脱维亚语医疗口述的富格式转写问题，论文比较直接生成格式文本的端到端微调与先逐字转写再用大模型格式化的两阶段路线，最强证据是微调 Whisper-large-v3 加 75 小时伪标注数据达到 10.6% 词错误率，代价是幻觉风险与格式细节仍需人工校验。

针对呼吸音中短时局部的爆裂音与哮鸣音易被全局自注意平滑掉的问题，论文用蒸馏音频状态空间模型保留中高空间频率，再以高斯平滑约束中间层与双轴切块混合对比学习提升鲁棒性，在 ICBHI 上报告 4 分类 64.48% 与 2 分类 72.57%，代价是引入温度、核尺寸与施加阶段等超参数选择。

针对 3-5 分钟英语口语考试多标准评分问题，M-LAMA 用分段音频建模加题目感知文本编码加双向跨模态融合与三阶段训练，在约 8.6 万会话数据上把多模态 Acc@1 做到 90.82% 而单模态仅 49.30% 与 43.46%，代价是依赖私有考试数据与冻结大编码器加小批量训练。

针对车舱中文多意图口语理解缺少复杂基准的问题，论文构建含 8 域 81 意图 192 槽位的多意图数据集并统一评测多类大模型与大音频模型，报告显示上下文学习总体准确率不足 15% 而域内微调可达 60.73%，端到端模型靠避免识别误差传播追平流水线方法。

针对自回归 Transformer 语音合成二次复杂度导致长序列显存与延迟过高的问题，MamTra 把预训练 Transformer 的部分层替换为 Mamba 并用多级蒸馏恢复性能，最强证据是在仅用约 2% 英文数据下推理显存降低可达 34%，代价是 1:1 配置词错误率绝对上升 0.25% 且激进替换会明显损伤可懂度。