不一次看完整视频:OmniSeek 把找证据变成多轮听看动作
OmniSeek 把音视频问答改为主动多轮取证循环,用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖,在长视频多跳基准上提升明显,但超长音频仍受上下文窗口限制。
OmniSeek 把音视频问答改为主动多轮取证循环,用 OmniTraj-170K 冷启动再加两阶段强化学习约束双模态依赖,在长视频多跳基准上提升明显,但超长音频仍受上下文窗口限制。
在冻结 wav2vec 2.0 与 4 维 PCA 和 200 样本预算下对照 QSVM、RBF-SVM 与单隐层 MLP,最强证据是 ASV19 到 ADD 上 QSVM 以 AUC 76.04% 和 EER 27.00% 保留可分性而 MLP 退到约 50%,代价是反向与近域转移反转且校准更差。
论文针对声音形式与交际功能混淆的问题,用冻结音频语言模型写描述加语言模型映射到七维状态再做注意力多实例分类,在 DAIC-WOZ 达到 71.9% 与 MODMA 达到 90.5% 的平均 Macro-F1,代价是依赖大模型抽取与录音条件。
针对逐帧基频估计后时序平滑易在连续坏帧锁定八度错误的问题,论文用可变 Q 变换互相关估计多跳相对音程并与绝对估计做 L1 联合优化,等价转为最小费用循环流用线性规划求解,在语音歌唱器乐上干净时接近维特比、白噪声低信噪比下提升更明显,但巴布尔噪声与强前端上收益有限且偏移集合依赖估计器。
PLACE 面向文本、视频、可选音频任意组合到双耳波形的生成问题,选择冻结 AudioX 与 SAO 解码器并外挂空间对齐与低秩潜适配器,在 MRSAudio 上小规模微调并用解码音频的 ILD 与 ITD 监督方向,在 FAIR-Play 多数客观指标上优于 ViSAGe 且在 BEWO-1M 上保持部分竞争力,代价是在部分文本到音频指标与分布内主观评分上 …
针对 MOS 预测器跨域排序不稳的问题,论文用小规模已有人工评分拟合逐句自适应路由以合并四个教师并在 807k 无标注语音上蒸馏出单个 wav2vec 2.0 学生,在 URGENT 上 Spearman 达到 0.802、在 mos260 上达到 0.636,代价是目标上限仍受教师集成约束且绝对分值向中间压缩。
RMS-AQA 针对家庭具身助手需同时判断事件是什么、在哪何时发生的问题,采用先事件接地再条件推理的两段式选择题与 10 秒一阶 Ambisonics 片段,并用实测房间脉冲响应合成训练加真实录制验证测试的组合,证明轻量空间插件能大幅提升冻结音频语言主干的接地推理链,但并发声源、远场与仿真到真实差距仍是主要瓶颈。
该研究用 103 道切分数学题比较一次呈现原题、一次呈现拼接碎片与多轮递增披露三种语音输入,报告四款商用语音系统从拼接基线到分轮下降 5.0 至 25.3 个百分点、LEGO 三条件均为 77.5%,并指出必须保留两种单轮对照才能区分改写效应与多轮效应。
针对部署后新伪造攻击占主导而旧攻击仍残留的问题,SE-ADD 用当前模型的无提示误判定位需要补课的样本并用自生取证线索做追加监督,在六个演变环境中把未见攻击上的等错误率大幅降低,但取证线索的收益依赖推理方式和骨干模型且存在轻微遗忘。
SEAR 把音频伪造检测拆成 verdict、证据识别与量化、取证解释四问,用 35 个声学特征的统计规则构造参考证据,最强证据是冻结模型的 BAEA-Fixed 在 19LA 上把 T1 EER 从 36.34% 降到 24.53%,代价是依赖稳定的真品参考分布且跨域收益明显变小。
针对黎凡特阿拉伯语内部差异大、正字法不标口音的问题,SHAMS 用 1300 条带音频的四层对齐语料同时测加符、字音转换、语音识别和音频到音素,并报告方言适配系统与大模型在各变体上的差距与代价。
针对只需数秒语音即可克隆的 VC/TTS 滥用问题,STM 把扰动放在频域幅度谱上并用心理声学掩蔽阈做硬钳位,仅优化扰动去逼近目标说话人嵌入,在白盒实验中以 80 步迭代取得可比或更高的声纹拒绝率,同时把黑盒可迁移保护保留在 71.50% 而把生成耗时降到 2.19 对 3.48 秒每句的量级。
针对联合音视频模型只输出单条混音而难以分源控制的问题,Soundwich 在冻结流匹配模型上并行生成多条音频干声并共享一条视频轨,主基准上窗口成功率达 93.1% 且窗外活动降至 1.7%,代价是多干声带来显存与耗时增长且复杂重叠场景仍易受干扰。
该工作把合成语音归因做成基于样例比较的可解释分类,在 MLAAD 英语训练下用架构族标签达到 99.65% 平衡准确率并支持跨语种与开放集拒绝,但原型冗余与说话人覆盖不足仍是主要代价。
论文研究不做梯度微调能否直接用预训练 ASR 编码器做说话人无关唤醒词检测,并用 SliceGPT 式 PCA 结构化剪枝把编码器通道减半,证据是 50% 剪枝时参数约减 40% 而 EER 仅温和上升,但随机保留同等维度会使 EER 恶化到 40% 以上。
针对无声谈话视频只能看到近似唇形而无法唯一确定音素的问题,论文用训练期真值文本加注意力融合与条件流匹配生成梅尔谱,并在 LRS2/LRS3 上以同步指标领先为证据,代价是推理仍依赖唇读预测文本的准确率。
针对舞蹈到音乐生成中身体部位与快慢运动混在一起、音乐隐变量局部变化缺乏直接监督的问题,Dyna2Music 用五部位慢快能量加 MotionBERT 特征做条件、用隐动态一致性约束相邻帧变化幅度,在 AIST++ 上 F1 达到 55.76 但最高 F1 对应的权重不是 FADc 最低权重。
论文把跨会说话人归属做成一个全局身份映射下的转写评分问题,用同一套单通道串行评测比较五条商用链路、两条学术基线与门控证据的 ThyVoice,最强证据是 ThyVoice 在三种条件下商用最低且全组平均 47.13 对 54.75,代价是重叠与噪声仍带来显著遗漏与身份增殖。
共分析 48 篇语音/AI 论文
针对野外录音中噪声与信噪比多变导致逐频谱门控易漏信号的问题,论文提出先对语谱图做二维高斯局部平均再门控的 2D-SG,并在 70 段椴鸟合成噪声与抹香鲸、斑姬鹟实录上验证去噪与信号保留的改进,代价是多出一个高斯窗超参数且低信噪比与下游任务增益待验证。