只看俯视键盘视频如何转写钢琴:KeyWise 的逐键设计
针对延音踏板和缺失音频使声音与按键动作脱节的问题,KeyWise 把校正后的键盘切成 88 个固定按键区域并用一个跨键共享的循环网络逐键判断起始与保持,在 PianoVAM 上以 1.3M 参数达到与 28.2M 参数的 V2N 相当的起始准确率并在 100 ms 容差下更准地找回按键释放与力度,代价是仍需针对新录制条件微调且依赖已知键盘角点。
针对延音踏板和缺失音频使声音与按键动作脱节的问题,KeyWise 把校正后的键盘切成 88 个固定按键区域并用一个跨键共享的循环网络逐键判断起始与保持,在 PianoVAM 上以 1.3M 参数达到与 28.2M 参数的 V2N 相当的起始准确率并在 100 ms 容差下更准地找回按键释放与力度,代价是仍需针对新录制条件微调且依赖已知键盘角点。
论文把复调钢琴转谱做成每帧 88 个音高的多标签分类,用 252 维对数频率 CQT 做输入,以双向 LSTM 加前端改进多头注意力建模时间与频谱依赖,在 MAPS 与 MAESTRO 联合训练下最好达到 F1-score 88.20% 与准确率 78.90%,代价是 4.43M 参数与约 11.6 ms 帧分辨率等启发式后处理的局限。
论文把训练语音分为多人多轮会话与单轮人机指令两类,在同一标注与同一流式模型下证明会话训练能大幅减少中途停顿处的误触发,但该优势在话语级判断中只出现在会话测试上,且以更长的等待延迟为代价。
针对镇静手术中呼吸监测易受环境噪声干扰且人工听诊难连续的问题,Airmod 用双麦克风自适应降噪加 15 秒窗 CNN-BiGRU 吸气呼气检测与后处理拼接来逐次更新呼吸率,在 HF_Tracheal_V2 测试集上吸气检测 F1 约 0.83-0.85,但呼吸率对标二氧化碳描记的结果另文发表且降噪与算力仍有限制。
针对长录音中目标很短且查询约束多的问题,该文用查询调制加连续时间时序建模先产生多个候选,再由冻结大音频语言模型选优并做局部边界修正,在 LAT-Bench 英文子集上提升定位精度但严格阈值下仍有选择瓶颈。
该研究用 740 段孟加拉语朗读语音做痴呆与非痴呆分类并用转写文本做补全,语音长短期记忆网络报告 97.30% 准确率、文本最好约 83.7%、补全测试约 59.74%,但结论只在朗读式小样本和转写校正条件下成立。
该文针对麦克风信号中回声、近端语音和噪声混叠的问题,用一个多输出网络同时估计可变步长与转移因子的滤波器参数并做残留回声后处理,在约束递归训练下以 253 k 参数在仿真验证集和 AEC 挑战评估集上提升了信号质量与可懂度。
共分析 245 篇语音/AI 论文
该文把双耳两通道加头动四元数作为输入,用卷积循环网络逐时频估计方向性音频编码参数再合成一阶全景声,最强证据是无噪声消融中加权平均角度误差做到 11.82 度且主观空间质量与参数真值无显著差异,代价是声源增多和背景噪声下误差与定位准确度明显下降。
针对端侧语音推理中循环层每步稠密矩阵乘开销大的问题,DuSpaR 用前馈加反馈双状态回路调制输入并对矩阵乘向量做 ReLU 稀疏,在相近参数下比 GRU 在关键词识别和语义理解上省算力且精度更高,在语音增强上省约一半算力并保持质量,但稀疏收益依赖输入分布与部署是否支持跳零。
共分析 48 篇语音/AI 论文
针对能听出副语言线索却不会用它规划回复的感知推理脱节问题,LoopSLM 用权重共享循环块加每轮声学重锚定和两阶段训练实现无文本思维链直接回复,证据是推理精度提升超 20 个点且生成词数减少 64.5%,代价是提示处理与每解码步都要跑 4 轮循环带来的执行深度增加。
共分析 55 篇语音/AI 论文
共收录 1354 篇 interspeech-2026 会议论文的 Reader 深度解读
该研究用八次网络认知行为治疗的会话语音追踪隐居患者的纵向声音变化,以基线校正后的 MFCC 轨迹区分改善与恶化,并报告 Wav2vec 2.0 与 MFCC 加基频融合在各年龄性别组取得最高 F1,但样本小且中段无临床量表监督。
该文用装配演算的稀疏竞争与局部可塑性处理连续语音,在无权训练下以边界变化信号得到音素 F1 为 0.69 与词 F1 为 0.61,以每类循环区的轨迹共振得到音素 47.5% 与命令词 45.1% 准确率,代价是阈值需每句调优且细类区分仍弱。
针对 EEND-VC 局部分割需要处理重叠语音并扩展到长录音和任意说话人数的问题,论文用 WavLM 前端加双向 RetNet 后端做短窗分割,在冻结与微调 WavLM 的两阶段训练下把域内宏平均 DER 做到 15.8% 和 15.0%,代价是后端参数增至 8.6M 且最优结论依赖固定 10 秒训练窗和 VBx 调参条件。
针对呼吸音频中呼吸常被语音活动检测判为静音的问题,BreathGRU 用双向循环时序建模加时长约束解码做语音与呼吸两类分割,在手动标注哮喘语音上取得呼吸事件召回 0.83 与平均匹配交并比 0.81,代价是整体时长误差与部分语音指标仍弱于 Silero。
针对头动导致主次路径时变下固定次级路径估计使元自适应滤波特征失配的问题,论文提出同时学习控制滤波器更新与主次路径跟踪的耦合框架,在 60 个实测头枕路径与未见噪声上显示 90 个突变场景不稳定率为 0 且切换后 3 秒平均降噪 7.9 dB,代价是三组复数循环优化器约 324.7 百万复数乘加每秒的帧率推理开销。
该文把远场回传增强中的本人声音当作已知干扰来删除,用注册语音条件化的时域掩蔽模型实现去噪加删人声,主证据是因果 2 ms 延迟下 Mamba-MinGRU 达到与 TD-SpeakerBeam 可比的 SDR 而主网络计算量从 4.97 GMAC/s 降到 0.33 GMAC/s,代价是小模型与多说话人时 SDR 明显下降且线性 RNN 辅助编码器在去噪条件 …