从场上峰值到声道目标:PyPhonPlan 如何把计划、感知与记忆算成发音
论文要解决任务动力学目标值被事先固定、缺少记忆与感知影响机制的问题,选择用耦合动态神经场生成时变声道目标并用临界阻尼振子求解轨迹,在 1 次基线加 10 次影子跟读加 1 次洗脱的简化仿真中报告跟读峰值拉向 1.56 与洗脱残留偏移负 0.29,代价是输入时序仍需手工指定且仅为一维示例。
论文要解决任务动力学目标值被事先固定、缺少记忆与感知影响机制的问题,选择用耦合动态神经场生成时变声道目标并用临界阻尼振子求解轨迹,在 1 次基线加 10 次影子跟读加 1 次洗脱的简化仿真中报告跟读峰值拉向 1.56 与洗脱残留偏移负 0.29,代价是输入时序仍需手工指定且仅为一维示例。
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
针对语音识别中 Mamba 用固定深度卷积做局部聚合而缺乏内容自适应的问题,论文把该位置换成因果卷积加通道内局部注意力来动态生成状态空间参数,在 LibriSpeech 和 TED-LIUM 上以更小参数量取得更低词错误率,代价是引入双向结构和注意力窗口等额外设计与解码依赖。
该研究用 47.88M 参数的双向 Mamba2 编码器在 250 小时 67 语种无标注语音上做掩码离散单元预测,主检查点以 ARI 0.735 超过四个基线,但语种识别与识别错误率仍明显落后,代价是后期训练出现音素泛化退化与本地诊断失效。
DAMSEP 针对单麦克风混叠下丢失空间信息的问题,用分离主干加共享去混响与多声源复数传递函数估计做联合训练,在 HETMIXR 上以可复述的混响重建约束实现分离与近远排序,最强证据是相对 TF-Locoformer 的 SI-SDRi 提升 0.65 dB,代价是需要成对干净与混响监督和固定扫频解码流程。
针对冻结大模型如何低成本适配语音音频长时序的问题,论文提出在共享瓶颈投影之间插入轻量 Mamba 并用每层缩放融合,在四个分类任务和五种语言识别上以更少可训练参数达到或超过瓶颈与 Conformer 适配器,代价是流式短句延迟开销相对更大。
针对流式语音增强只能用过去帧且延迟受限的问题,RT-SEMamba 用全因果时频 Mamba 做在线推理,并用渐进知识蒸馏把 8 层教师压缩到 1 层学生在 25 ms 算法延迟下从 3.06 提升到 3.18 PESQ,代价是仍与 8 层教师的 3.32 存在差距。
针对多人演唱与密集伴奏下的目标歌声分离,MambaVoice 用对数分频音频编码加面部动作门控做条件,再以先 Mamba 后 Transformer 的混合主干建模,报告在 Acappella 未见未闻测试上以 16.2M 参数取得 14.18 dB SDR,并在 URSing 跨域与推理耗时上给出对照,代价是强干扰下仍略低于 VoViT 基线且主观评测样本 …
SE-MSB 用扩散薛定谔桥在干净与退化语音分布之间学习双向随机输运,并以端到端 Mamba 波形模型实现,在去混响与混合退化上报告可比拟配对方法的效果,同时保持少步采样与低计算量。
针对反无人机音频定位中固定窗长在声学证据与时间对应延迟之间的矛盾,该工作用最小探针提取无标签声学状态并以 PPO 同时选择窗口长度与 Mamba 时间特征权重,在 MMAUD-V1 上以 0.23 s 平均窗口取得 0.30 m 误差与 0.136 s 延迟,代价是需要三阶段训练与跟踪反馈维持。
针对带噪语音中浊音谐波易被抹掉且 PESQ 不可微的问题,HAMMER 用时间-频率并行注意力-Mamba 加自相关前馈建模周期性,并用软化 PESQ 加可微 LLR 直接优化,在 VoiceBank+DEMAND 上报告 3.69 PESQ 和 4.41 COVL,推理时对比度拉伸可到 3.79 PESQ 但背景分随之下降。
论文把考试式四部数字低音配写形式化为相邻事件上的硬约束与局部代价问题,用完整和声状态的分层图与动态规划证明固定声部数下可行性与最小代价可多项式求解,并以二拍、四拍、八拍实例展示合法性、贪心失效与复现步骤。
针对轻量音视语音增强中拼接缺乏结构、先验稠密注意力易错配的问题,SG-Mamba 用±3 帧稀疏异构图做局部内容自适应融合再交由单向 Mamba 建模全局时序,在 LRS3 噪声下取得 13.091 dB SI-SDR,代价为 5.3 M 参数和 3.45 G MACs。
针对双人竞争听觉注意解码中短窗 Fisher-z 相关方差大、单尺度无监督 GMM 难分 attended 与 unattended 分量的问题,论文提出跨 8 种窗长共享均值、方差按 1/(N_L-1) 缩放的多尺度 GMM 联合估计 HMM 发射参数,在 72 分钟全量下 1 秒窗提升 1.82 个百分点、在 6 分钟数据下提升 8.32 个百分点,但数 …
共收录 60 篇 icmc-2026 会议论文的 Reader 深度解读
该文针对 CHiME-9 Task2 多通道助听增强的延迟与跨通道建模矛盾,采用延迟感知外壳加单向时间 Mamba 核心的解耦结构,在助听器开发集上因果配置以 1.36M 参数和 0.005 实时率超越官方基线,离线加深配置进一步提升指标但延迟增至秒级。
共收录 14 篇 chime-2026 会议论文的 Reader 深度解读
针对大语料深度模型不适用个人作曲且只处理音高时值的问题,该文把带表情的动机表示为音程状态轨迹并以卡尔曼式随机偏离生成变体,用作曲家自己的选择在线调节方差与结构编辑概率,代价是只做单声部且无定量评测与用户研究。
共收录 103 篇 cvpr-2026 会议论文的 Reader 深度解读
共收录 91 篇 dafx-2026 会议论文的 Reader 深度解读