SwinDS-BWE:用局部窗口生成器与尾部事件判别器做语音带宽扩展
针对高频重建局部难、平均型监督易漏掉稀疏失败的问题,该工作用 Swin-1D 格型生成器做幅度相位精修,并用三个轻量决策科学判别器补尾部与过亮监督,在 VCTK 与 MLS 法语上以更少参数取得更高的 NISQA-MOS,但 SI-SDR 等能量指标并未全面占优且实时因子略有增加。
针对高频重建局部难、平均型监督易漏掉稀疏失败的问题,该工作用 Swin-1D 格型生成器做幅度相位精修,并用三个轻量决策科学判别器补尾部与过亮监督,在 VCTK 与 MLS 法语上以更少参数取得更高的 NISQA-MOS,但 SI-SDR 等能量指标并未全面占优且实时因子略有增加。
共分析 245 篇语音/AI 论文
针对音频片段分类需要跨时间整合但加层代价大的问题,LAST 用 6 个共享块先做一次全量编码再只循环更新类别标记,在 AudioSet 上以 10 次通过达到 0.3450 mAP 并同时减少参数与计算量,代价是每轮通过数需单独训练且增益依赖只更新类别标记的设计。
共分析 16 篇语音/AI 论文
针对麦克风布局与数量变化时的三维波达方向估计,GAMF 用候选方向阵列传输函数做声学描述,分别构建可学习的麦克风对齐匹配与解析的归一化匹配,并以门控融合,在仿真噪声混响下学习分支更稳健,而八麦克风 LOCATA 上混合达到球面平均误差 3.76 度、方位角 2.87 度,但干净低混响下解析方法仍有优势。
针对从混合音乐中检索库中相似分轨的问题,Stembed 用四个槽嵌入分别表示候选分轨并以匹配后的对比损失训练,在 MoisesDB 三轨检索上以 56.8% 全库 R@1 超过单嵌入 CIR 基线 23.6%,代价是需要匹配、存在分数和槽数等额外机制。
共分析 93 篇语音/AI 论文
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
TinyAudio 针对十亿参数文本到音频系统难部署的问题,用 35M 单流 TA-DiT 加 32M 音频对齐文本编码器与 20M 解码器做流匹配生成,在 AudioCaps 上以 2.65 的 FAD 和 0.48 GB 峰值显存实现可比质量,一步版 TinyAudio-MF 则以质量下降为代价换取四核 CPU 实时生成。
共分析 43 篇语音/AI 论文
ADDSE 把语音增强转写为以带噪码为条件生成干净神经音频编解码码的条件分布,用吸收式离散扩散和 RQDiT 并行解码,在两套跨语料噪声测试上以非侵入指标取得可比质量,尤其在低信噪比和少采样步数下保持稳定,代价是侵入式指标和相位重建能力明显弱于判别式基线。
论文把问题定义为让麦克风处物理叠加信号逼近干净目标的主动声重构,用 Transformer-Mamba 生成抵消器信号并以多项声学损失联合训练,在去噪、去混响、去削波三类合成声学通道实验中报告了高于适配后传统与深度主动噪声控制基线的客观分数,但代价是依赖精确仿真通道、未来样点预测和较大生成器参数量。
针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。
针对固定帧率均匀分配分辨率的问题,DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE,在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线,代价是每步 1 比特掩码开销与高码率下增益收窄。
EchoLoc 针对无声源框标注下热图模糊、阈值后处理难优化的问题,用空间与全局对比学习训练热图并从热图导出伪框来监督查询式框预测器,在 VGG-SS 上报告 36.36 cIoU 和 38.28 AUC,在 Flickr-SoundNet-Test 自适应指标上相对最优基线提升,但固定阈值 AUC 存在未胜出项且框质量依赖热图。
针对对话中各模态可靠性逐句变化的问题,EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差,再按不确定性加权融合,在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1,代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。
针对音频谱图变换器被掩蔽块仍占自注意力计算的问题,该文把频谱增强改为按块对齐的掩蔽并在位置编码后对全零块做逐维取大合并,在平衡音频集上以合并对数 100 保持平均精度 34.07 到 34.08 而吞吐从 43.3 提升到 49.3 样本每秒,代价是可合并比例受掩蔽块数量上限约束。
针对多房间墙体遮挡导致单点听不清的问题,该研究用分布式麦克风加拓扑图融合提取时空特征,再用语义三元组加冻结大语言模型补全符合房型连通性的叙述,在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%,代价是全过程仅在仿真中验证且依赖已知几何。
针对每人仅有少数方向实测时如何补全任意方向双耳头部脉冲响应的问题,论文提出直接在时域做掩码补全的 HRIR-Former,用正弦方向编码加 Transformer 与双耳线索辅助头实现网格自由推理,在 SONICOM 上 M 等于 19 时以归一化均方误差负 8 点 24 分贝和强度差误差 0 点 95 分贝为证据,代价是仍限同库训练且缺少听感验证。
针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题,该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略,在英法和英韩 Fleurs 上用更低延迟保持质量,并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。