用脉冲网络做多通道语音增强:在边缘端如何兼顾空间信息与计算代价
论文把多通道复数掩码估计问题交给全连接脉冲网络,用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用,并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文把多通道复数掩码估计问题交给全连接脉冲网络,用直接编码与率编码两种脉冲序列实现多麦克风空间信息的利用,并在固定仿真条件下刻画了模型宽度与脉冲长度带来的增强质量与计算代价权衡。
论文把归一化频谱看成概率分布,用瓦瑟斯坦距离度量马勒与韦伯恩段落在加弱音器前后的音色差异,并用三音二阶矩与塞萨雷斯不协和度做并列比较,再把哈蒙弱音器的开口变化与女高音元音放在同一巴拿赫空间中对照,最有力的证据是同一音高与同一和弦在音色改变后几何量与听感指标成倍变化,代价是样本少、只覆盖有限元音且未建模空间听觉。
该研究解决在分通道自然对话录音中把语音活动还原为轮次和反馈两类交互单元的问题,用语音检测加能量过滤加合并加转写加上下文后处理得到初版标注,在 99 段丹麦语对话上检出 F1 约 0.62 且匹配段的中位边界误差约零点十几秒,代价是仍需人工复核且对参数敏感。
论文用声学到发音反演得到声道变量并以特征谱度量协调复杂度与趋同,证据显示非自闭配对随时间更复杂且趋同更强并与自评会话成功相关,混合配对趋同最弱。
CASM 在冻结的节拍激活上做离线半马尔可夫解码,用局部周期及其竞争间隔的分离程度调节时间正则强度,在 GTZAN 和 SMC 上以同一套参数提升连续性并保持 F1,代价是仍需阈值、音符数兜底和拍号解码等确定性规则。
论文把文本条件合成器得到的 78 维配置经由基于角色的映射固定为可复用的音色塑形效果器,用四种吉他音色提示的频谱与非线性测量加打乱映射消融证明结构化分工带来提示可区分性,并用检索增强的合成器生成器提升表示的文本相似度,代价是映射为启发式且评估只限单段吉他演奏与信号级指标。
针对客观音质只给单点平均分而听音试验给出分数分布的问题,用 11 个 PEAQ 特征加 50 个自举 MARS 回归器加全局均值宽度校准来模拟听众分数,校准后在所有数据集上提高了区间覆盖和分布一致性但仍低于名义水平,且成对显著性判断还不可靠。
FloorSAV 针对第一视角窄视野加移动声源难定位的问题,把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理,在 SAVED-Bench 整体从 58.3% 提到 65.3%,代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。
论文把无声部分配信息的复调乐谱表示成音高—时间点集,用平移、反射和时间轴缩放刻画移调、逆行、倒影与压成和弦等变换,并在拉威尔 Menuet sur le nom d'Haydn 的 31 个 HAYDN 主题出现之间用变换图验证了八种表示的分工与代价。
论文用 Sethares 粗糙度模型算出四音和弦的不协和度体,把 12、31、53 平均律的 192 种七和弦放进同一坐标系做可听导航,再用调式互换作曲并以 31 人听辨检验感知是否与模型一致,代价是只适用于谐波音色且样本与锚定条件限制结论外推。
论文把同一空间内多位置房间脉冲响应的短时傅里叶功率写成衰减率参数化的非负矩阵分解,用 Itakura-Saito 散度做损失并提出贡献加权 SAGE 来加速衰减率更新,在真值分离较好的合成双衰减上恢复准确、在耦合房间实测中得到平滑的频率相关混响时间曲线,代价是分量数需预先给定且相距很近的衰减仍难分辨。
LayerIt 要解决的是乐谱、录音与算法输出时间坐标不一致且手工拼图不可复现的问题,它用统一演奏时间比例加分层拼图的方法,在德彪西《月光》前六小节的拍点跟踪实例上展示了定位节拍误读的能力,代价是依赖外部对齐与乐谱质量且频谱场只能内嵌位图。
Lyric 针对小设备上音频采集与频谱特征计算开销大的问题,用五个无源声学共振通道加低速包络做输入,在说话人互斥的 AudioMNIST 实测中以 EdgeSpeechNet-A 达到 95.70% 准确率,代价是相对对数梅尔基线下降 3.58 个百分点并大幅降低处理器计算延迟。
针对带口音英语被语种识别模型误判为说话人母语的问题,论文只用母语英语和母语非英语语音拟合一个一维偏置方向并在冻结分类头前投影去除,在口音重的语料上大幅恢复英语识别率且基本不影响母语语音判断。
该论文用参考音频的关系结构来重组检索源音频的短时颗粒,再送入预训练生成器,FO 变体在保持声音类别的同时改善了时间对齐并降低了源波形局部复现,代价是离散搜索不保证全局最优且分布指标只是维持而非提升。
本文针对音频时刻检索中解码器预测不准短时刻的问题,对比同一模型的两路输出,发现用无学习参数的峰相对切分把帧级显著性序列直接转成时刻,在 CASTELLA 上显著优于解码器,而训练仍需要解码器监督,实验基于已披露的 200 轮、批量 32、AdamW 学习率 1e-4 等配置。
针对在线日志人数偏多偏少都看不出来的问题,该文只改基线跟踪器何时注册新说话人,用候选池积累证据加确认后才输出,在九个数据集上把宏观人数误差从 225% 降到 21% 并降低宏观 DER,代价是全部输出平均多等 0.109 秒。
针对幅度谱损失丢掉相位、难以端到端学准基频的问题,GOLF-inv 用加性声门源加状态空间格型声道滤波器做可微合成,以谐波支路波形误差加全信号谱损失做无监督训练,在歌声上实现相位对齐重建并直接读出瞬时频率与声门闭合时刻,但频谱失真仍不及使用外部基频的 GOLF。
论文用短时傅里叶域遮蔽加对照审计 AdvWave-P 在 Qwen2-Audio 上的表现,发现八频段排序几乎被扰动能量解释,深层音频表示差异与遮蔽必要性正相关但不能定位因果层。
论文针对客观质量模型是否真与人耳一致的问题,构造保持听感不变但大幅改变波形的四种扰动,用听音验证透明参数并显示模型距离与主观评分排序错位,其代价是扰动只覆盖所验证的参数与单声道条件。