多条房间脉冲响应如何联合估计共享衰减与空间幅度
论文把同一空间内多位置房间脉冲响应的短时傅里叶功率写成衰减率参数化的非负矩阵分解,用 Itakura-Saito 散度做损失并提出贡献加权 SAGE 来加速衰减率更新,在真值分离较好的合成双衰减上恢复准确、在耦合房间实测中得到平滑的频率相关混响时间曲线,代价是分量数需预先给定且相距很近的衰减仍难分辨。
论文把同一空间内多位置房间脉冲响应的短时傅里叶功率写成衰减率参数化的非负矩阵分解,用 Itakura-Saito 散度做损失并提出贡献加权 SAGE 来加速衰减率更新,在真值分离较好的合成双衰减上恢复准确、在耦合房间实测中得到平滑的频率相关混响时间曲线,代价是分量数需预先给定且相距很近的衰减仍难分辨。
论文要解决文本生成 5 秒有声视频时的语义与时间对齐问题,采用视频流加音频流的双流扩散结构加联合训练,在语音质量与同步指标上给出证据,代价是两阶段蒸馏与超分带来的额外训练和推理开销。
用两个外域模拟咨询数据预测未见过第三个项目的专家总体印象,基于专家量表构念的本地小模型文本打分达到嵌套留一域 Spearman 0.54,超过域内训练,代价是需要一批无标签目标会话做按域特征校准且输出只支持排序。
论文用配对干净与受干扰输入证明闲聊和背景语音会进入病历与答题,并在注意力头干预中发现抗干扰与临床推理共用同一批组件,代价是通用质量分几乎发现不了这种污染。
论文把分块序号与去噪步看成一张二维格子,用两个可叠缩的权重恒等式决定何时重采样,在相同去噪器调用预算下用块边界打分提升长序列奖励,并用奖励到达时机与集合内可预测性解释何时该果断提交、何时值得前瞻。
LayerIt 要解决的是乐谱、录音与算法输出时间坐标不一致且手工拼图不可复现的问题,它用统一演奏时间比例加分层拼图的方法,在德彪西《月光》前六小节的拍点跟踪实例上展示了定位节拍误读的能力,代价是依赖外部对齐与乐谱质量且频谱场只能内嵌位图。
论文针对隐式神经表示中固定激活难以组合多谐波的问题,提出每层共享的残差截断傅里叶激活,在音频、图像与神经场实验中提升重建质量,但以更高的激活计算与显存为代价。
论文针对标注很少且教师本身也在同样少标注下训练的声音分类,提出先把真值换回前 k 高置信集合再把支撑内关系、支撑与补集质量、补集内关系分开蒸馏,在城市声场景和鸟鸣两个基准上稳定优于独热基线和常规全分布蒸馏,但对其他强蒸馏基线的相对优势随任务、预算和指标而变化。
论文研究如何让符号音乐生成模型弹出可辨认的爵士钢琴家风格,用门控交叉注意力注入演奏家身份,并用分类器一致率与合成数据迁移准确率证明风格被保留,代价是增加约 12% 参数与分类器评估依赖。
论文针对发布语音会被神经编解码、声码器和增强模型重建而抹掉水印的问题,提出在生成全程参与嵌入并在波形与频谱两路按比特选可靠恢复的 Thrive 框架,在两种自回归合成器上无攻击时比特准确率达 0.999,重建攻击下平均约 87.6%,代价是需要两阶段训练与双专家恢复结构。
针对多模态分类中观测标签含噪时难以判断样本是否可信的问题,REFINE 用目标与背景判别分析构造判别特征向量并按类挑选可信表示空间再做标签一致筛选,在七个数据集的多类噪声下提升了分类精度,但结论只在原文的融合结构与筛选节律下成立且个别噪声设置下并未全面领先。
针对英语语音到德日中文本的同传任务,论文用完整语音自译作锚点从部分波形合成单调前缀监督,对比单轮强制前缀与多轮追加解码,并用置信度阈值调节质量延迟,最强证据是多轮训练把提交校准误差降低六成以上而小合成裕度只在短句低延迟段有条件改善。
LeAVJEPA 用单个早期融合 Transformer 把音频、视频和联合输入映射到同一嵌入,以模态缺失局部视图匹配联合中心加 SIGReg 防坍缩,在冻结 AudioSet-20K 上得 36.0 mAP、ESC-50 上得 91.3%、微调 VGGSound 上得 61.1%,代价是冻结与检索仍落后于带显式对齐的最强基线。
LIFT-SE 用自回归模型先预测干净编解码器令牌锁定语言内容,再用条件流匹配把量化隐变量修正为连续隐变量,代价是需要两步串行推理和约 193M 可训练参数。
论文把音频问答拆成命名树节点加语音转写文本再由冻结文本大模型作答,在 SAKURA 上超过所比音频大模型并用干预证明节点有因果作用,代价是计数排序与细粒度场景题仍落后且推理端需要跑多个编码器与转写模型。
论文研究冻结语音编码器与冻结大语言模型之间桥接的可复用预训练目标,提出只在训练时使用的局部原型重建约束,用固定探针和多语言识别与翻译实验说明词表邻域兼容性与迁移增益相关,低资源翻译上提升最明显。
Logbook 把小时级音频理解定义为无空隙切分加每段事件标签与描述,用三套数据比较 52 种级联与端到端系统,发现任务可行但普遍过分割,微调能缓解而端到端在更长窗口上会退化。
该文研究如何在不重新训练 Qwen3-TTS 的前提下,用发声用力和过度清晰发音两个方向在推理时调整隐藏表示,并在餐厅人声噪声下用词错误率和声学特征变化证明更清楚,同时保持说话人相似度和流式实时性。
论文针对肌电到语音合成中过度平滑与模型臃肿问题,提出融合局部注意力与状态空间的轻量编码器并用混沌损失约束时序动态,在英汉数据上以更少参数改善频谱重建与可懂度,但混沌计算只在训练时付出代价且主观差异未达显著水平。
Lyric 针对小设备上音频采集与频谱特征计算开销大的问题,用五个无源声学共振通道加低速包络做输入,在说话人互斥的 AudioMNIST 实测中以 EdgeSpeechNet-A 达到 95.70% 准确率,代价是相对对数梅尔基线下降 3.58 个百分点并大幅降低处理器计算延迟。