只看俯视键盘视频如何转写钢琴:KeyWise 的逐键设计
针对延音踏板和缺失音频使声音与按键动作脱节的问题,KeyWise 把校正后的键盘切成 88 个固定按键区域并用一个跨键共享的循环网络逐键判断起始与保持,在 PianoVAM 上以 1.3M 参数达到与 28.2M 参数的 V2N 相当的起始准确率并在 100 ms 容差下更准地找回按键释放与力度,代价是仍需针对新录制条件微调且依赖已知键盘角点。
针对延音踏板和缺失音频使声音与按键动作脱节的问题,KeyWise 把校正后的键盘切成 88 个固定按键区域并用一个跨键共享的循环网络逐键判断起始与保持,在 PianoVAM 上以 1.3M 参数达到与 28.2M 参数的 V2N 相当的起始准确率并在 100 ms 容差下更准地找回按键释放与力度,代价是仍需针对新录制条件微调且依赖已知键盘角点。
针对合成平板混响脉冲响应中未知数量的模态频率、衰减和增益三元组估计问题,论文用计数密度网络同时预测总数与频率分布并解码为整数个模态,在 100 条独立合成脉冲响应的对比中总体误差低于所评估的经典基线,但增益误差仍是主要误差来源,且结论只在相同合成器与频段条件下成立。
针对梅尔频谱图同时需要局部时频纹理和长时跨段结构的问题,ResMamba 在 ResNet 式四阶段主干中并行使用卷积分支抓局部与选择性状态空间分支抓全局并做多尺度融合,在 GTZAN 五折平均 88.99% 且全程从零训练,代价是依赖全分辨率输入与分窗折中。
本文把视觉建模按空间特性拆成小嘴唇图像分支和人脸关键点几何分支,在 LRS3-2mix 统一精简训练下接近轻量图像基线的分离质量,同时把模块级视觉编码计算降到 0.3 至 0.5 GMACs 量级。
针对镇静手术中呼吸监测易受环境噪声干扰且人工听诊难连续的问题,Airmod 用双麦克风自适应降噪加 15 秒窗 CNN-BiGRU 吸气呼气检测与后处理拼接来逐次更新呼吸率,在 HF_Tracheal_V2 测试集上吸气检测 F1 约 0.83-0.85,但呼吸率对标二氧化碳描记的结果另文发表且降噪与算力仍有限制。
论文用先分 5 个粗类别再在类内细分 25 类的方法降低混淆,以 0.2004M 参数的 FTANet 在自建集粗分类达 95.45%、25 类任务从 71.32% 提升到 81.49%,代价是两阶段推理时间从 0.2170 s 增加到 1.2390 s。
针对人工标注少而编码失真多的问题,该工作用 PEAQ 感知前置特征接 ConvNeXt 做对比学习与微调,并用梯度回传解释失真类型和位置,代价是对非波形保持信号的评价能力受限。
论文要从枪虾主导的浅海噪声中检出海豚 click、buzz 和 burst-pulse 三类宽带瞬态叫声,采用直接处理波形的轻量一维卷积网络 TRIDENT 配合可控信噪比混合与归一化训练,在混合测试集上虚警率 1% 时检出率达 0.844,代价是依赖合成训练与人工挑选的难负样本且结论限于新加坡周边数据条件。
针对大 Transformer 做语音情感太重的问题,EmoNet 用四块深度可分离卷积加双向 LSTM 与多头注意力池化,在 TESS 加 RAVDESS 加 SAVEE 合并集上达到 96.75% 测试准确率,仅用 4.11M 参数,但结论只在表演式录音与固定划分下成立。
该文用韵律、音色、发音和演唱技巧四类可测量特征做歌唱情绪分类,在 RAVDESS 上歌唱优化集达到 UAR79.6% 并降低跨歌手波动,代价是技巧特征依赖 CNN 估计且结论只在有限歌手、表演式情绪和少类别条件下成立。
该文把空间语义分割拆成先标注后提取的两步,研究用卷积标注器与 SuDoRMRF 分离器替换大基线后在混合准确率与类感知信干比提升上的得失,并给出参数量与计算量的代价。
论文要解决 Whisper 只出词而丢掉呼吸笑声喇叭声的问题,用统一七个异构数据集的卷积加 Transformer 每 40 毫秒输出 54 类概率的做法,在重叠留出数据的留出集上敏感档找到约三分之二事件但宏观精度只有 0.30,代价是阈值与评估都偏乐观且弱类仍不可用。
该文把构音障碍语音增强做成紧凑发音瓶颈上的残差修正,在合成平行数据上预训练再用音素和对抗目标适配自然病理语音,合成数据上错误率明显下降而自然语音上仍未超过原始录音,且发音瓶颈保留了可解释的轨迹含义。
论文把逆向撞击声渲染做成从参考录音直接回归仿真器可用的连续材质参数,用单材质加混合材质合成数据训练集合聚合模型,在合成测试上误差和单查询耗时低于可比基线,并能把真实录音转成新网格的重渲染声音。
MemoCare 针对 MMSE 式异构交互难在手机上自动评分的问题,用语音转写加任务规则、GPS 加历史地名库、触屏事件校验和轻量视觉模型四路分工处理,并在 151 例软件用例、71 张锁定画图和 4 名临床医生检查中给出有条件的技术验证结论。
该文比较固定分辨率线性短时傅里叶变换与谐波常数 Q 变换作为人声合唱多音高估计输入,在同一编码器下线性表示精度更高且每轮特征提取更快,但加长窗和扩大频带并无增益且结论受自动参考音高与同期录音条件限制。
共分析 245 篇语音/AI 论文
该文把双耳两通道加头动四元数作为输入,用卷积循环网络逐时频估计方向性音频编码参数再合成一阶全景声,最强证据是无噪声消融中加权平均角度误差做到 11.82 度且主观空间质量与参数真值无显著差异,代价是声源增多和背景噪声下误差与定位准确度明显下降。
共分析 48 篇语音/AI 论文
针对脑电噪声下普通自注意力只能稀释无关特征的问题,AFA-Net 用时空卷积提局部特征再用差分注意力做全局减噪,在 KUL 2s 窗上报告 96.8% 准确率且仅用 0.03M 参数,代价是 DTU 上整体更低且部分窗口相对最强基线无显著优势。