给视频选输入:多模态大模型做视频标注时表示为何重要
论文固定模型与提示只改变视频输入方式,发现没有一种输入在六个模型与三批视频上都最好,分类更准也不保证回归系数与样本占比更接近人工标注。
下方只统计已核验方向的论文记录,按已核身份去重,身份待核时按页面保留。“直接”只含明确标注该方向的论文;“含子树”同时包含下级方向。点击名称进入论文库继续筛选;数量与上方按标签名称收录的页面数不同。
论文固定模型与提示只改变视频输入方式,发现没有一种输入在六个模型与三批视频上都最好,分类更准也不保证回归系数与样本占比更接近人工标注。
论文把文本和语音映射到同一情感空间并用混合模型算出不一致概率,在三种语料上证明有音频输入时不一致会稳定增加音频大模型的误判风险,而同样的特征却能帮助有监督分类器。
论文用全合成的舌、脉、声数据先给出 8 类证候族分布,再用 25 道结构化问题做贝叶斯追问,一次性 600 例确认中成本敏感信息增益把族准确率做到 95.5% 而细项准确率仅 42.5%,且提问数并未少于 tested 固定顺序。
本文针对整句说话人相似度无法定位口音差异的问题,提出整句打分加子词标注的分段评测流程,用 200 对内容匹配的苏格兰和澳大利亚语音实验证明局部标注能给出不同于整句打分的系统排序,而七种客观距离与听辨标注最多只有 0.22 的弱相关。
本文用同一位置、同一编辑流程的同类替换做对照,检验音频语言模型在局部事件类别被换掉时是否改答案并指向新类,三模型上异类比同类多 49.7 到 60.9 个百分点的答案改变,但结论只在 600 条合成声景和给定声学条件下成立。
论文用同一模型同一训练流程对比随机划分与说话人无关划分,21 组配对显示准确率下降 6.9 到 63.1 个百分点,说明已发表高准确率中说话人记忆占主导,而冻结自监督表示保留相对更多。
论文解决每轮训练中没有验证标签时如何选检查点,提出用冻结嵌入空间中独立于待选头的原型与近邻伪标签加已标注集交叉熵打分,在统一标注预算下取得可部署方法中平均最优的标注曲线下面积,代价是每轮对池做一次批量前向。
JIT-MPE 用一个因果模型对每帧先即时估计再用延迟头修正,在 50 毫秒截止下接近自身最终输出,并在多个集上以 8.6 万参数达到可比精度,其提升主要来自音头后几十毫秒的修正。
论文针对多语料混合评估抑郁语音时因各库患病率不同而产生的排序捷径,推导只用语料身份和患病率的语料 AUC 诊断式,并在五库 590 人上验证该通道可被语音表征利用且均衡患病率后差异明显缩小。
论文用同一批句子的真人录音测出评估用识别器自身的漏检率,再用三个识别器家族逐词核验,证明标准往返转写的罕见词错误被高估两到三倍,而单识别器掩码是有偏的修正。
针对全局相似度把多属性压成一分而看不清缺了什么的问题,论文把标题拆成五个维度的原子概念并用大音频语言模型回答是否支持来打分,在替换检验和专家成对比较上显示更可靠且可解释,但使用维度仍最难且依赖大模型抽取与替换质量。
本文把字错率变化拆成修好、破坏和插入三部分,对比有无音频的纠错,发现有音频主要减少破坏,修好是增是减取决于改的是自己的草稿还是独立识别器的输出,而医疗口述中插入词会抵消总字错率上的好处。
论文把语音识别语义评测变成按段判断后果的任务,用对齐切段加结构化评分准则区分要紧与不要紧的错误,并用三层错误率和无参考纠错验证了它与人工更一致且能指导修复。
本文在语音数据上对比经典方法与两种自监督指纹模型的检索率与开销,核心发现是自监督方法明显更好但语音成绩仍远低于音乐,且错配时更倾向于找对说话人而非找对文本内容。
论文针对词错率不区分错误后果的问题,用配对缺口划分加三层情景严重度与有界递归累计得到统一目标,再把离线大模型标注蒸馏为单次前向的 DeBERTa 回归器,在三数据集与受控集上验证其跟踪能力趋势与细粒度诊断作用。
vst-bench-ml 用参数采样加独立宿主渲染来生成音频,并用密封清单绑定软件身份与文件哈希,在固定的 macOS arm64 与 Python 3.12 环境下复现了计划哈希与八个输出哈希,但不证明跨平台可移植与科学适用性。
论文用静音对照和去掉选项的问法检验音频大模型后训练,发现选择题涨分大多不依赖音频且换成开放问答就消失,真正靠声音修正的例子极少。
AegisVox 把长临床对话的说话人声音转换与标识词替换分开处理,在 390 段公开模拟对话上比较两种整轮重读方案,发现替换实现率提高的同时可能伴随更多模型判定的矛盾和编辑区声音可关联性。
论文针对音频条件视觉预测中去掉音频就下结论的问题,提出把解释与干预、留出任务比较和端点对照绑定的 CIViC 四门诊断,并在演员不重叠的人脸光栅、合成特征混合与来源视频不重叠的 SpeakerVid 代理任务上给出通过与失败并存的证据。
论文以英语口音分类为对象,用 DistilHuBERT 做声学编码加分类头,在文件级与说话人隔离、平衡外部扩展和教师学生伪标签对照下,说明说话人重叠抬高库内成绩,而平衡外部训练只在部分折改善留出跨库表现且高置信伪标签并未带来提升。