按问题所需证据做解码修正的音频视觉幻觉缓解
针对音频视觉大模型中另一模态干扰问题所需证据的判断失准,RED 用问题选择证据类型并用逐点互信息增强对应贡献,在三个幻觉基准上提升准确率而首次 token 时间约为标准解码的 1.5 倍。
针对音频视觉大模型中另一模态干扰问题所需证据的判断失准,RED 用问题选择证据类型并用逐点互信息增强对应贡献,在三个幻觉基准上提升准确率而首次 token 时间约为标准解码的 1.5 倍。
该论文把音乐源复原拆成混合级修复、八轨分离和逐轨修复三步,用直接预测频谱的修复模型配合掩蔽式分离模型,在挑战赛测试集上验证每步的分工与代价,并指出验证集筛选的逐轨修复增益并不能稳定迁移到测试集。
本文针对音频时刻检索中解码器预测不准短时刻的问题,对比同一模型的两路输出,发现用无学习参数的峰相对切分把帧级显著性序列直接转成时刻,在 CASTELLA 上显著优于解码器,而训练仍需要解码器监督,实验基于已披露的 200 轮、批量 32、AdamW 学习率 1e-4 等配置。
该文比较固定分辨率线性短时傅里叶变换与谐波常数 Q 变换作为人声合唱多音高估计输入,在同一编码器下线性表示精度更高且每轮特征提取更快,但加长窗和扩大频带并无增益且结论受自动参考音高与同期录音条件限制。
在冻结说话人 backbone、训练时能直接看到干净目标的前提下,用球面上的冯米塞斯-费希尔轮廓似然得到按残差自适应加权的对数损失,在保持标准集基线的同时改善失配集,但结论只在原文的配对增强流程和评测条件下成立。
该文用预训练音频语言模型按显式评分细则打分来优化音乐生成,在 MusicCaps 上同时提升三个独立评价指标,而速度、调性、乐器等可精确测量的属性则仍需直接优化专用测量,代价是打分器与提问方式选择不当会失效。
Salt++ 针对流式音视频同时需要因果建模和少步蒸馏的问题,先用加噪历史做表示自监督训出因果教师,再让生成器与两个分数模型共用同一因果前缀做分布匹配,在 480p 四步条件下把视觉与运动质量做到超过同条件 OmniForcing 约 57% 和 45%,再把同样的四次调用拆到低分辨率和高分辨率做到 1664×960。
论文用真实空间音视频搭建覆盖感知、对齐与推理的 1066 题基准和 611 题场景关联诊断集,12 个模型的证据显示听觉空间定位与跨模态组合是主要瓶颈,而显式空间线索能提升定位和联合匹配却难完全解决推理。
SEA-LM 针对可穿戴麦克风阵列的自我中心多声源场景,用 FOACoder 把可变阵列信号统一为一阶 Ambisonics 空间嵌入再与单声道语义嵌入联合输入大语言模型,在合成评测集上降低了方位角与俯仰角误差并改善了转写与检测,但结论只在仿真静态场景和 1211 种眼镜阵列配置内成立。
SEAL 针对紧凑时频分离器在抵消频点估计受限和共享单元处处计算的问题,用混合闭合加性残差恢复抵消处的非零估计,用细化感知稀疏路由为每个时频令牌选一个残差专家,在 EchoSet 上以更少参数和运算量达到与 TIGER 相当或更好的分离质量。
SEER 针对人工耳蜗处理后情感线索变弱的问题,用同一情感的参考语音去引导情感语音转换,并学习为每个源语句挑选最有帮助的参考,在 N8 条件下把源语音的宏平均 F1 在 RAVDESS 和 ESD 上分别提高 7.30 和 11.66 个百分点,但稀疏通道和部分情感边界上仍有局限。
针对文字可解但配了无关音频时大音频语言模型会改变答案的问题,论文用配对漂移度量暴露不稳定,用后期音频通路缩放定位可控点,再用按指令开关的 ICAP-Gate 在四模型十六组全量评测中降低漂移点估计,同时在所测语音识别任务上保持原有词错误率,代价是单次生成加一次路由判断。
针对稀疏麦克风阵列延迟求和图像旁瓣高、两侧变宽且发射器指向性难标定的问题,该文用里程计驱动的声流预测同时学习去卷积网络与物理结构点扩散函数,在仿真中把全视场分辨率稳定到 5 到 6 度,代价是依赖运动、里程计和仿真验证。
该研究在 11 名清醒开颅患者的 2706 个 3 秒片段上,用留一说话人验证比较说话人分离、多层 wav2vec2 表示与级联分类器的分工,发现表示改进带来 18.2%-26.1% 的 AUC 提升而分类器差异不超过 4.7%,但跨说话人 AUC 仍明显低于说话人内校准。
SepGen 要解决的是联合音频视频生成只有一条混合声、无法逐声源定位与重渲染的问题,它用受保护的混合声通道加两条分轨通道实现生成与分离两种模式,最强证据是真实录音与跨生成器场景上的分离与听感对比,代价是固定两条分轨与额外的去噪与引导计算。
SepRQ 针对多人混合语音的表示学习问题,用无掩码的多分辨率伪源分离预测冻结随机码本序列,在 SUPERB 分离与日志任务上取得较强结果,代价是保留 85.68M 推理参数的编码器并在预训练时承担多层分离头开销,且单说话人任务仍受限。
论文要从流行音乐录音恢复节奏、和声、旋律与曲式的统一主旋律谱,用大规模 MIDI 合成音频补监督、用分阶段结构化解码保证拍点与音高连贯、再蒸馏为自回归模型,主结果在八个评测集上多数指标领先,但只在稳拍流行音乐与限定词汇条件下成立。
SimAuthor 把一次写出的仿真器当作可保留改写的对象,用标量搜索分数选改谁、用结构化差异报告指导改什么并复用机制库,在 100 次尝试内在六个心脏呼吸光电心电任务上提升分布相似度,但代价是约 3.8 倍词元开销且结论只在固定评估器和有限参考集下成立。
针对同时训练多种音频理解技能时互相干扰的问题,SkillFormer 在音频编码器与语言模型之间插入 6 个低秩适配器并用问题控制的路由器加权组合,在三个模型上把三基准平均准确率提高 2.4 到 4.1 个百分点,代价是增加不到 4% 的参数和两阶段训练。
该工作用 100 小时人工核验对话做可靠评测、用 2000 小时自动标注对话做大规模训练,两路都保留同步的分人音轨和多维标注,并在分离、识别与轮次检测上验证了互补价值,但跨域远场与合成等待样本仍有限制。