缺一块频谱也要补回来:SEMamba++ 用全局、局部与周期偏置做通用语音修复
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
针对噪声、混响、限带与削波并存的通用语音修复问题,SEMamba++ 以频率 GLP 模块、多分辨率并行时频双路径块与可学习 softplus 映射改进 SEMamba,在 VCTK-GSR 与多个域外集上提升感知质量,而代价是频率轴线性操作限制了采样率无关部署。
该文针对一阶 Ambisonics 生成评估缺乏空间灵敏度理解的问题,沿可控方位角与俯仰角轨迹检验分布型与样本型指标,报告显示定位嵌入的 F-PSELD 与声学图 MVDR-AM 响应度最高且较稳健,而强度矢量在对称多源下退化,相位与幅度类指标响应不足。
针对大音频语言模型在问答中编造不存在声音事件的问题,论文用等长静音作负例构造声学转向向量并按层加权干预,在音频幻觉问答上把 Gemma 总召回从 53.4% 提升到 69.0%,在 MMAU 上把 Qwen 准确率从 54.8% 提升到 59.2%,且不训练任何参数。
针对鼾声四分类的类别不平衡与黑盒问题,该工作用半难三元组加类别平衡交叉熵学习单位超球嵌入,以类质心做主推理并用支撑样本加时频激活做解释,在干净条件下宏召回从 0.401 提升到 0.638,代价是强噪声下优势消失且固定窗与 E 类分散仍存局限。
针对经典线性预测按帧独立且假设高斯残差导致轨迹抖动的问题,论文提出直接优化对数面积比的 LP-DDSP 与端到端 SMELP,在 VTR 库上把平均误差降到 166-246 Hz,代价是 LP-DDSP 需每句 1500 轮逐句优化。
针对厌声症缺乏可扩展客观评估的问题,论文用浏览器游戏化语音噪声测试把个人化掩蔽声与自适应阈值结合,试点显示自选讨厌声下识别率最低而代价是小样本与设备未校准。
针对受物理约束只能放少量麦克风的问题,论文用生成虚拟麦克风信号与特征去增强多通道语音增强,在受限的仿真条件下接近全阵列性能,但虚拟通道位置与阵列几何绑定且需额外计算。
针对多人混叠语音要同时恢复每路干净信号并知道谁在何时说话的问题,论文把分离改写为以混合 token 与语义特征为前缀的自回归 token 生成,用 15k 小时合成多语对话做监督微调,在 LibriCSS 与 CallHome 上以可运行基线对比显示更低的日志误差与更高的听感质量,代价是输出为重新生成而非波形原样保留且长序列下误差会累积。
针对重叠语音中多人同词与注册信息利用不足的问题,该文把连续说话人嵌入加进假设聚类距离,在相同内容两说话人上把词错误率从 68.3% 降到 36.6%,在目标说话人干净两说话人上从 18.7% 降到 14.4%,代价是权重过大时会压制文本相似度并增加多假设解码聚类开销。
SMIA 针对 AI 合成语音中人耳不敏感的低能量时频区做黑盒频谱掩蔽与插值搜索,在 ASVspoof 2019 与 LibriSpeech 上报告独立反欺骗最高 100%、独立验证最高 97.5%、联合管线最高 82% 的攻击成功率,但强反欺骗与保真说话人特征之间存在明显张力。
该研究在一次未达到主要终点的早期帕金森 2 期试验中检验语音、面部与手指敲击客观测量是否与运动检查量表测到同一构念,并报告客观测量基线相关成立、纵向不跟随量表改善且受试者内变异更小,但眨眼率是例外且结论限于早期轻症人群。
该研究在成人组与家庭组的多人对智能体访谈中检验局部与全局趋同,发现人与人局部趋同强而与智能体局部趋同缺失、全局趋同微弱且依赖队列,代价是高度结构化访谈与小样本限制了推广。
问题是深度学习语音表示多而散、难以与 Praat 式交互分析衔接,方法是用 Python 后端加网页前端统一连续、离散与变长表示并做可切换距离与对齐的单句分析与双句比较,代价是本研究不报告定量精度对比且强制对齐依赖额外服务。
该研究把 ALS 功能恶化定义为首次超过最小临床重要差异的事件并用生存分析比较到达时间,报告九项语音面部指标的中位事件时间与所需样本量均明显优于 ALSFRS-R,但代价是依赖指数近似恒定风险假设与存在删失偏倚的单中心远程队列。
针对语音驱动开放集检测中配对数据稀缺与文本中转误差传播问题,Speech2See 用 Grounding DINO 与 HuBERT 先验加 QSA 压缩和 MoLE 微调实现端到端听声定位,在 COCO 闭集达 56.2 AP、零样本达 42.7 AP,但语音连续性与说话人变化仍使长尾与文本上界存在差距。
针对通用语音模型预标注与人工精修脱节、现有工具缺少流水线编排和私有部署的问题,SpeechBench 用前后端分离加可视化流水线与层级编辑把多模型串接起来,展示了离线笔记本演示的可运行性,代价是本文未报告定量效率与精度对照。
针对自发语音内容多变、录音条件不可控下呼吸信号易被淹没的问题,SpiroPhonia 用声学扰动加频谱加停顿三类手工特征与两阶段特征筛选做被试独立分类,最强证据是在 41 人留出测试集上 78.05% 准确率与 87.14% AUC,代价是 201 人小样本与公开平台数据的选择偏差及跨语言跨设备泛化尚未验证。
该研究以海得拉巴达基尼自然电话对话为对象,用非对称知情采集加方言规则标注来保住易被抑制的方言特征,其依据是 160 人语料设计与 60 人预调查揭示的语境漂移,代价是牺牲录音室级音质并依赖人工核验。
针对业余歌声跑调与节奏不稳且不能丢失歌词和本人音色的问题,SRF-SVB 用整流流做梅尔谱修复式生成并以业余谱作上下文约束,最强证据是中英文集上音高准确率与音色相似度同时领先,但生成重构在英文集上带来略高的字错率代价。
该文用冻结自监督表征做无标注音频到音频检索,在哼唱找歌上用嵌入加动态时间规整最强,在语音找例上用量化聚类加词频逆文档频率最强,而时间敏感性分析解释了为何两域需要相反策略。