Interspeech-2026 论文

针对多语言视频中自动语音识别不可靠、文本主导失效的问题，VINAYAKA 只用音频与视觉线索并在双曲空间做跨模态融合，在四个数据集的域内与跨数据集评测中取得最优，同时跨语言迁移仍有明显下降。

ViP-VL 针对 8 倍降采样带来的时间稀疏与掩码错位问题，用声学堆叠加感受野对齐与严格掩码阈值改造 BEST-RQ 加 ChunkFormer，在约 17000 小时越南语无标注语音上预训练出 78M 参数模型，在识别、情感、方言和说话人验证四类任务上报告最优平均结果，代价是仍需大规模预训练算力与多条件微调验证。

针对 360 度视频加单声道全指向声缺失方向分量的问题，论文用音频视觉分割先验定位再用复数域 U-Net 渲染补回 Y、Z、X 三通道，在自建 8.9 小时 YT-SPEECH 上取得更低重建与角度误差和更高语音质量，但噪声与重叠声源下仍不稳定。

针对音频视觉问答中朴素音频描述与视觉不一致且缺问题相关细节的问题，VividAC 用视觉智能体先写问题相关视频描述再约束听觉智能体生成音频描述，在 MUSIC-AVQA 上以 59.91% 超过最强端到端基线 7.0 个百分点，代价是级联依赖视觉描述质量并需关键词过滤来缓解误差传递。

针对微调后朗读变好、自发语音变差的演播室偏置问题，论文用印地语和马拉雅拉姆语的四档复杂度基准证明早做大幅更新是主因约 12 个百分点，再用难到易的三阶段配方让 244M 模型在自发语音上追平 769M 常规模型，代价是必须在高可塑阶段先吃最难数据并依赖解码器集中适配。

该文以 AVID 库 50 人在四个努力等级上的 F0、能量、频谱倾斜和语速斜率为表示，用 K 均值得到三类策略并以噪声、跨语料和 ASR 三重验证支撑，最强证据是簇内可分性与噪声可恢复性，代价是轮廓系数不高且性别关联不显著。

针对均匀量化在清音帧上浪费比特的问题，VoCodec 用全因果编码器并行做基频段能量浊音检测、对浊音帧用残差标量矢量量化而对清音帧只用单级标量量化，在 LibriTTS 16 kHz 下以平均 1.1 kbps 取得可比 1.5 kbps 基线的听感，代价是清音帧客观失真变差且需额外传输 1 比特浊音标志。

该研究用非词软腭音连续体与边界放大设计检验普通话口吃者的嗓音起始时间范畴感知，发现辨别能力本身无组差，但识别边界右移趋势与边界处反应时不对称减弱并存，且严重度越高类内辨别越快而准确率不降，代价是样本小且严重度分析仅为探索性。

针对嗓音质量语用功能难于快速假设与验证的问题，论文用微调的 VoiceQualityVC 加 Streamlit 交互界面实现词级嘶哑、气息、鼻音调节，以约 17 小时 20 分高表现力语料和 45k 步微调为代价换来可直接对比的刺激生成能力。

针对解码器自回归语音合成中全量自注意力导致键值缓存随长度增长的问题，WAND 把条件提示词保留全局注意力、把已生成声学 token 限制在固定滑动窗口，并用全注意力教师蒸馏加课程收缩做单轮适配，在 10 秒生成上报告最高 66.2% 的缓存下降和接近常数的单步延迟，而英文词错误率保持在基线 0.2% 以内。

针对说话距离与噪声导致电平剧烈起伏时固定起音与释放常数难以兼顾的问题，WaveNorm 用因果时域编码器加循环瓶颈直接从波形学增益映射，在 TIMIT 与 VoiceBank 加 DEMAND 上把宽输入区间收敛到目标响度带，并在固定阈值下把 Silero 语音活动检测的误报率降到 0.272 而代价是召回略低于 WebRTC 前端。

针对远近场电平起伏与噪声下传统增益控制易放大噪声的问题，WaveNorm 选择全因果时域卷积加 GRU 瓶颈的端到端映射，在 -70 dB 宽动态与多种噪声下报告约 6 dB 降噪与符合 P.56/P.79 的响度稳定，代价是 49 M MACs 与 55 KB 的端侧预算约束。

WavSLM 把 WavLM 第 6 层表示压缩为单码本离散序列，再把 7 至 24 层改造为一次预测 4 个词元的因果语言模型，在仅用语音且无文本预训练条件下取得可比的一致性与生成质量，代价是大词表更难学、大分块损害保真与连贯。

针对无监督域自适应下伪标签噪声与过自信问题，论文提出联合置信度与残差离散度的 token 加权、弱置信掩蔽与多扰动一致性过滤，在 CHiME-4、SLURP、CORAAL 上相对基线降低词错误率 13.8%、25.0%、15.7%，代价是需要多轮扰动推理与精细的掩蔽超参数。

该研究把 GCC-PHAT 拆成可探测的中间目标，追踪 MLP、CNN、Transformer 各层学到什么，最强证据是互功率稳定可解码而 PHAT 相位始终不可解码，代价是混响下时延本身的可解码性仍随 T60 下降。

该研究用可控神经语音合成正交操纵语速、音高变化与响度并保持词句不变，发现人类讽刺评分主要被响度驱动而基础模型主要被语速驱动，且夸张韵律同时降低自然度。

该文把证据、可用性与质量信号拆开，用训练后冻结并打乱质量对齐的诊断检验决策层依赖，在 StressID 与 CMU-MOSEI 上发现原生质量打乱几乎不改变平衡准确率，而与损坏或单模态正确性对齐的质量则产生约 0.07 与 0.35 的正向置换间隔，代价是需要全观测子集与标签才能计算结构诊断。

论文研究极低资源 Warlpiri 语识别该从哪种高资源语言迁移，用声学嵌入相似度加句法音位语法类型相似度排序候选源并以 Whisper 迁移验证，最强证据是 Assamese 迁移后词错误率 32.6%、字错误率 12.3%，代价是结论依赖 1.5 小时特定语料与固定微调流程且零样本与微调下最优相似度指标不同。

针对耳语缺少基频且与正常音谱和时长差异大的问题，WhisperVC 用有限配对数据做跨域对齐、只用正常音做由粗到精的梅尔生成与声码器适配，在普通话上把字错率从 22.937% 降到 16.932%，代价是仍需分阶段训练且依赖内容编码器与说话人嵌入条件。

针对句重音依赖跨词上下文而单层表征不完备的问题，WhiSSDapt 在冻结 Whisper-small 上学习编码器与解码器层权重并经额外解码器块分类，在自然与合成数据上报告最高 4.48% 和 6.09% 的相对 F1 增益，代价是只更新融合权重与分类头且未报告延迟与成本。