EVA:用自预测自回归先验做连续序列生成的变分自编码器
EVA 针对连续序列的下一时刻多峰预测问题,用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验,在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。
EVA 针对连续序列的下一时刻多峰预测问题,用编码器、因果解码器和自回归潜变量预测器三部分学习与后验对齐的先验,在 ImageNet 上以更少推理参数和更快祖先采样达到与自回归扩散基线可比的生成质量。
该文把构音障碍语音增强做成紧凑发音瓶颈上的残差修正,在合成平行数据上预训练再用音素和对抗目标适配自然病理语音,合成数据上错误率明显下降而自然语音上仍未超过原始录音,且发音瓶颈保留了可解释的轨迹含义。
针对客观音质只给单点平均分而听音试验给出分数分布的问题,用 11 个 PEAQ 特征加 50 个自举 MARS 回归器加全局均值宽度校准来模拟听众分数,校准后在所有数据集上提高了区间覆盖和分布一致性但仍低于名义水平,且成对显著性判断还不可靠。
论文针对空间语义分割中检测错误会拖累提取的问题,比较重标注器、适应函数与评估模型的推理时更新组合,发现只在基线较差的片段上有改善,而不加筛选地全量更新会降低整体指标。
Evi-VN 针对多种图神经网络共有的难分节点,用路由器筛选后再以两类虚拟节点注入校准后的外部证据,在 MGTAB 等六个任务上提升配对基线,但增益依赖路由与证据质量且部分数据集存在可分性偏强等限定。
论文比较声学导向与内容导向两类攻击者在六种语言匿名语音上的再识别能力,发现攻击效果随匿名语音的语言可用性下降而下降,而大规模多语语音转换数据微调只能部分缩小跨语言差距。
论文揭示合法神经编解码压缩会让现有音频伪造检测大幅退化且基于编解码重合成训练的模型更脆弱,并用成对一致性微调在保持编解码生成检测的同时把压缩下的平均等错误率从 28.67% 降到 12.77%,代价是需多编解码增强训练与推理前只用单次前向。
论文在 MGPHot 上模拟新增 7 个属性的模式扩展,比较零样本音频语言预测与 8、32、128 首标注下的有监督复用,发现冻结表征上训练线性头在小预算下最有效,而更深的网络更新收益小且不稳定。
论文解决用解码器大语言模型做流式语音识别时等待与出词耦合的问题,用等待概率加原词表分布的因子化结构,在日语和英语上取得更低错误率,并用等待步跳过大词表计算降低训练显存和推理开销,但纯文本困惑度仍高于原始模型。
针对 CPU 上低延迟流式说话人日志问题,论文把说话人识别网络改成因果帧级编码器并配以置信度门控在线聚类,在低重叠数据上取得领先但重叠语音仍是主要代价。
论文用三套 RAVE 模型与 EnCodec 对照,沿解码器逐层测量音高、速度与频谱特征的单神经元相关、超随机比例与联合探针可恢复性,发现合成音编码最强最线性、自然音频需非线性联合读取、联合编码在中间层最强,并只有速度能从跨层聚类中获益。
FloorSAV 针对第一视角窄视野加移动声源难定位的问题,把点云、相机轨迹、声源估计和物体标注画成与视频同步的二维俯视图小视频送给音频视觉大模型做单次联合推理,在 SAVED-Bench 整体从 58.3% 提到 65.3%,代价是依赖高质量点云位姿和多通道音频且地图读数仍受模型能力限制。
该文要从听者视频加说话人音频文本推断听者六类情绪,用视觉对齐的说话人筛选加无标注听者自举训练视觉专家,再只对低置信样本用说话内容作诱因做二选一推理,在 MER-Cross 上报告 76.25% 加权平均 F1,代价是多阶段筛选与受限的大语言模型调用。
针对用户级标注与视频级行为异质性不一致的问题,BehavDep 用 TopK 稀疏自编码器拆分视频表征并对齐抑郁行为概念,再学视频级倾向分数做加权聚合,在 MUD3 和 DAIC-WOZ 上取得最高准确率与 F1,代价是两阶段训练与概念集依赖文献先验。
论文把多模态情绪理解改写为从感知到认知评估再到情绪的推理链,用 CogEmo-40K 做监督、用稀疏 CogEmo-MoE 做适配、用 AEQS 做评估,在自建基准上得到 70.60 分 AEQS 与 71.43% 准确率,但结论只在给定数据分布和评测流程下成立。
针对双人混合语音加目标说话人唇部视频的分离任务,GAANet 让音频做逐级降采样而视频保持原时间分辨率,并用压缩到单时间点的全局令牌回头调制各尺度特征,在 LRS2 上达到 16.5 dB SI-SNRi,代价是 3.3M 参数和 19.8G MACs。
论文把无声部分配信息的复调乐谱表示成音高—时间点集,用平移、反射和时间轴缩放刻画移调、逆行、倒影与压成和弦等变换,并在拉威尔 Menuet sur le nom d'Haydn 的 31 个 HAYDN 主题出现之间用变换图验证了八种表示的分工与代价。
论文研究强噪声下用 spoken 示例指定关键词的检测问题,用门控交叉注意力把唇动证据加进查询音频,并在 MISP-QEKS 上证明只有音素承载的视觉表示配合注入式融合才能在 -10 dB 取得大幅等误率下降,但增益依赖编码器与干净注册条件且训练需约 72 小时单卡成本。
论文针对逐查询指标和损失不管跨查询相似度是否可比的问题,提出把全部查询候选对放在一个全局排序里优化的平滑损失 gSAP,用去掉小负相似度的策略控制二次代价,在跨模态对齐、自监督预训练和度量学习中提升全局精度并改善单阈值下的判定。
GS-Codec 把编码器隐变量拟合成加权一维高斯基函数之和再做标量量化,用单检查点实现基元数与位深控制的码率调节,在 3 到 6 kbps 附近达到与 EnCodec 和 DAC 可比的重建质量,代价是迭代拟合的编码耗时需用预测网络摊销。