论文解读

在编解码离散码上做吸收式扩散:ADDSE 为何敢用很少步数增强

ADDSE 把语音增强转写为以带噪码为条件生成干净神经音频编解码码的条件分布,用吸收式离散扩散和 RQDiT 并行解码,在两套跨语料噪声测试上以非侵入指标取得可比质量,尤其在低信噪比和少采样步数下保持稳定,代价是侵入式指标和相位重建能力明显弱于判别式基线。

 · 更新于 2026-10-15 · 约 17 分钟 · 8342 字 阅读 →
论文解读

不只抵消噪声,还要主动补回语音:主动语音增强如何把扬声器变成修复器

论文把问题定义为让麦克风处物理叠加信号逼近干净目标的主动声重构,用 Transformer-Mamba 生成抵消器信号并以多项声学损失联合训练,在去噪、去混响、去削波三类合成声学通道实验中报告了高于适配后传统与深度主动噪声控制基线的客观分数,但代价是依赖精确仿真通道、未来样点预测和较大生成器参数量。

 · 更新于 2026-10-15 · 约 19 分钟 · 9121 字 阅读 →
论文解读

从混合梅尔谱直达干净梅尔谱:AV-FlowSep 如何用一步流匹配做视听目标说话人分离

针对视听目标说话人分离中判别法过平滑与扩散法需约 30 步迭代的问题,AV-FlowSep 用条件流匹配学习混合到干净梅尔谱的直线传输路径,在 VoxCeleb2 与 LRS2 的语音-语音和语音-噪声任务上以 1 步与 5 步推理取得可比或更优的感知质量与跨数据集稳定性,代价是仍存在面部条件带来的说话人混淆与声码器引入的轻微失真。

 · 更新于 2026-10-15 · 约 17 分钟 · 8174 字 阅读 →
论文解读

把比特花在变化处:DTM-Codec 用掩码与等路径分段做可变帧率语音编码

针对固定帧率均匀分配分辨率的问题,DTM-Codec 用保留令牌加可学习掩码填充与线性时间边界选择 PLE,在计入位置边信息后的严格匹配总比特率下重建质量优于同架构固定帧率基线,代价是每步 1 比特掩码开销与高码率下增益收窄。

 · 更新于 2026-10-15 · 约 23 分钟 · 11189 字 阅读 →
论文解读

没有框标注时,如何让声音自己长出物体边界:EchoLoc 的热图与框联合定位

EchoLoc 针对无声源框标注下热图模糊、阈值后处理难优化的问题,用空间与全局对比学习训练热图并从热图导出伪框来监督查询式框预测器,在 VGG-SS 上报告 36.36 cIoU 和 38.28 AUC,在 Flickr-SoundNet-Test 自适应指标上相对最优基线提升,但固定阈值 AUC 存在未胜出项且框质量依赖热图。

 · 更新于 2026-10-15 · 约 20 分钟 · 9570 字 阅读 →
论文解读

模态不可靠时先估计不确定性再融合:EmoEUS 的显式方差监督

针对对话中各模态可靠性逐句变化的问题,EmoEUS 用上下文分布估计输出均值与方差并以 2-Wasserstein 距离显式监督方差,再按不确定性加权融合,在 IEMOCAP 上报告 74.33% 准确率与 74.36% 加权 F1,代价是需要延迟引入辅助损失并维护情绪与模态相关的分布簇中心。

 · 更新于 2026-10-15 · 约 19 分钟 · 9094 字 阅读 →
论文解读

被遮住的声谱块为何还能用来加速:把掩蔽冗余变成可合并的令牌

针对音频谱图变换器被掩蔽块仍占自注意力计算的问题,该文把频谱增强改为按块对齐的掩蔽并在位置编码后对全零块做逐维取大合并,在平衡音频集上以合并对数 100 保持平均精度 34.07 到 34.08 而吞吐从 43.3 提升到 49.3 样本每秒,代价是可合并比例受掩蔽块数量上限约束。

 · 更新于 2026-10-15 · 约 18 分钟 · 8811 字 阅读 →
论文解读

墙挡住声音时,如何让分散的麦克风拼出一条走得通的叙述

针对多房间墙体遮挡导致单点听不清的问题,该研究用分布式麦克风加拓扑图融合提取时空特征,再用语义三元组加冻结大语言模型补全符合房型连通性的叙述,在受控仿真中完整框架三元组 F1 达到 0.87 且空间一致性达到 88.2%,代价是全过程仅在仿真中验证且依赖已知几何。

 · 更新于 2026-10-15 · 约 20 分钟 · 9855 字 阅读 →
论文解读

稀疏实测补全任意方向双耳脉冲响应:HRIR-Former 的时域网格自由重建

针对每人仅有少数方向实测时如何补全任意方向双耳头部脉冲响应的问题,论文提出直接在时域做掩码补全的 HRIR-Former,用正弦方向编码加 Transformer 与双耳线索辅助头实现网格自由推理,在 SONICOM 上 M 等于 19 时以归一化均方误差负 8 点 24 分贝和强度差误差 0 点 95 分贝为证据,代价是仍限同库训练且缺少听感验证。

 · 更新于 2026-10-15 · 约 18 分钟 · 8574 字 阅读 →
论文解读

固定节拍为何在真麦克风前幻觉:学会等待的流式语音翻译

针对流式语音到文本翻译中固定等待策略在静音和变速语音下被迫输出或掉队的问题,该文在 Bestow 架构上引入以已听音频和已生成文本为条件的学习型等待策略,在英法和英韩 Fleurs 上用更低延迟保持质量,并在前置 5 秒静音的 SilFleurs 上保持分数不变而固定策略大幅下降。

 · 更新于 2026-10-15 · 约 17 分钟 · 8338 字 阅读 →
论文解读

在固定伴奏时长里换歌词:用时长占比重分配守住旋律与总时长

针对改歌词必须保留原旋律、节奏与总时长的问题,论文用旋律感知的时长占比预测加音频补全式流匹配解码做歌声编辑,并在六种编辑场景下以可核对的客观与主观评测显示总时长严格保留,但复杂混合编辑的可懂度仍明显下降。

 · 更新于 2026-10-15 · 约 20 分钟 · 9714 字 阅读 →
论文解读

不用人工给例子也能分离:用递归生成音频查询来发现乐器干声

针对混合音乐中乐器种类与数量未知的问题,论文用 stem 嵌入生成器逐个发现音频查询再驱动查询分离器,在正确检出的干声上达到人工查询相当的分离质量,主要代价是检出召回不完整与自编码器引入的听感瓶颈。

 · 更新于 2026-10-15 · 约 17 分钟 · 8429 字 阅读 →
论文解读

只看舌头超声能说话吗:用三维编码加 Transformer 补上协同发音

针对仅用舌部超声视频合成可懂语音的问题,论文用 4 层三维卷积加 6 层 Transformer 预测梅尔谱并经 HiFi-GAN 发声,在 TaL 单人集上词错误率做到 15.93%、多人混合训练做到 31.64%,代价是跨说话人零样本泛化仍弱、需对新用户微调。

 · 更新于 2026-10-15 · 约 22 分钟 · 10783 字 阅读 →
论文解读

5 Hz 还能保真吗:U-Codec 用长依赖与深残差量化换取三倍合成速度

针对自回归语音语言模型在 50-75 Hz 下序列过长导致推理慢的问题,U-Codec 把编解码帧率压到 5 Hz 并用帧间 Transformer 与 8-100 层因子化残差量化补偿细节损失,在 LibriSpeech 重建与 LibriHeavy 零样本 TTS 上保持可比质量,代价是局部多层自回归解码仍占开销且 DAC 最高保真仍未被超越。

 · 更新于 2026-10-15 · 约 20 分钟 · 9916 字 阅读 →
论文解读

小而稀的叫声为何需要高分辨率与稠密监督:USV-DETR 的技术解读

针对啮齿类超声发声在声谱图上窄带、短时、稀疏难检的问题,USV-DETR 在 RT-DETR 上加入 P2 高分辨率层与 DEIM 稠密监督,在 SqueakOut 上达到 78.7 的 AP,代价是引入 P2 后解码器注意力计算量上升且参数增至 34.5 M。

 · 更新于 2026-10-15 · 约 17 分钟 · 8148 字 阅读 →
每日研究速递

语音/音乐/音频论文速递 2026-09-28

共分析 34 篇语音/AI 论文

 · 更新于 2026-10-15 · 约 60 分钟 · 30015 字 阅读 →
论文解读

位深越高越难压:Trilobyte 把样本拆成字节做无损压缩

该文研究 16/24 比特全保真音频能否用自回归语言模型加算术编码做无损压缩,提出把每个样本拆成字节的 Trilobyte 使词表恒为 256,最强证据是 8 比特大幅超过 FLAC 而 16 比特平均只超 18%、24 比特落后 9%,代价是序列变长且推理远慢于 FLAC。

 · 更新于 2026-10-15 · 约 17 分钟 · 8366 字 阅读 →
论文解读

跨被试听觉注意解码为何难泛化:DisenEEG-Net 用正交分解与信息瓶颈拆开任务与被试特征

针对跨被试听觉注意解码中被试差异导致泛化下降的问题,DisenEEG-Net 用并行时空 Transformer 编码加正交分解、充分信息瓶颈、对抗对齐与重构约束做特征解耦,在 KUL、DTU、AVED 三个数据集留一被试交叉验证下取得报告的最优精度,但长窗增益有限且 DTU 与 AVED 绝对精度仍偏低。

 · 更新于 2026-10-15 · 约 18 分钟 · 8748 字 阅读 →
论文解读

无人机自噪声下做实时增强:用双带压缩与频率注意力换取低功耗可部署

针对单麦克风无人机自噪声语音增强,DroFiT 用全带与子带并行压缩加频率维 Transformer 建模,在 VoiceBank-DEMAND 混合无人机噪声上达到与 DCU-net 和 SMoLnet-T 可比的 SI-SDR 与 PESQ,代价是仍需验证更广泛机型与实时延迟。

 · 更新于 2026-10-15 · 约 17 分钟 · 8309 字 阅读 →
论文解读

自条件细化与逐层选排列的冲突:用高斯加权让各层说同一种说话人编号

针对自条件端到端日志中逐层独立选排列导致的层次排列不一致,论文提出硬约束的组式与软约束的连续影响两种训练目标,在 CALLHOME 上连续影响在 2 说话人与 3 说话人均降低日志错误率,而组式在 3 说话人上反而变差。

 · 更新于 2026-10-15 · 约 18 分钟 · 8858 字 阅读 →