广告剪辑考什么:AdShot 如何测多模态大模型的选镜头能力
AdShot 用 823 对 30 秒到 15 秒的真实广告考多模态大模型选镜头,最强 F1 仅 0.676 且时长误差常超 5 秒,架构与音频比参数规模更关键并伴随重信息轻行动的内容偏好。
AdShot 用 823 对 30 秒到 15 秒的真实广告考多模态大模型选镜头,最强 F1 仅 0.676 且时长误差常超 5 秒,架构与音频比参数规模更关键并伴随重信息轻行动的内容偏好。
论文把部分伪造检测做成带伪造标记的语音识别,用受保护子空间融合补充伪造线索并用参照锚定的策略优化同时改进转写和词级定位,在五个数据集的平均词错误率和词级 F1 上优于所比较的基线,但域外词级定位仍有明显下降且多任务设置并非处处有益。
针对大音频语言模型推理不足且难用人工标注扩展的问题,Audio-R1 把三种自监督音频任务的构造答案转为可验证奖励做 GRPO 后训练,在四个基座和三个基准上取得一致增益,多任务联合优于单任务,而代价是奖励只看最终答案且增益依赖基座已有能力。
AudioFM 要同时保留录音整体场景和时频细节,用互补遮挡视图的录音级对照加遮挡块潜表示判别来训练编码器,在 AudioSet 微调、冻结探测和跨数据集迁移上占优,但结论只在 16 kHz 单通道和所用划分下成立,且局部监督带来预测器与大批量训练代价。
针对长视频中稀疏、跨模态的局部篡改,AV-FABLE 用双时间线基准暴露单时间线评测的遮蔽问题,NFSR 通过冻结 AV-LLM 特征的分轨读出实现定位,并在域内与三种域外条件下取得最高的 AV-mAP,但视觉覆盖与解释仍是短板。
AV-QTSS 用类别查询先分离目标单声道、再用稠密绑定定位图给出方向并渲染三路方向通道,在 1 到 4 声源合成集上把角度误差降到 23.3 度并在真实录音适配后提升定位,代价是只处理封闭集内且处于活动状态的查询。
论文用同一模型同一训练流程对比随机划分与说话人无关划分,21 组配对显示准确率下降 6.9 到 63.1 个百分点,说明已发表高准确率中说话人记忆占主导,而冻结自监督表示保留相对更多。
论文针对多人遮挡和看不见目标人脸时声画对应失效的问题,用同时可见人脸之间的上下文推理和注册语音身份推理来补证据,在五个基准上提升了检测精度,并在视觉缺失下保留注册说话人检测能力,但增益集中在拥挤困难条件且注册分支依赖事先录入语音。
针对相邻情绪易混淆且错误集中在少数情绪对的问题,CASE 在冻结多模态大模型参数的前提下,用可进化的成对文本技能做第二轮二选一复判,在 DFEW 上进化出的技能可直接用于 CA-MER 和 EMER,最强证据是 Qwen3-VL-8B 在 CA-MER 上从 46.80% 提升到 59.13%,代价是需要两轮推理和外部编辑与验证流程。
ChoreoStudio 针对群舞队形演变不足的问题,用编排计划先决定队形、切换时机与舞者分工再生成动作,在 AIOZ-GDance 上提升群组真实感与队形动态,但结论只在 150 帧统一评测与所用指标下成立,且长序列与多人时优势会变化。
本文把冻结 backbone 后的输出域从单位球面换到概率单纯形,用轻量适配器加 softmax 与 Total Variation 相似度做对比学习,在五个音频文本与图文检索基准上把质心 l2 间隔缩小 97-99% 且保持 NDCG@10。
论文用类别对比神经元选择加匹配随机对照的消融,证明三个模型中 0.5% 解码器神经元能大幅平移认知障碍二选一决策的偏置并可跨语音文本与语料迁移,而监督线性读出显示诊断信息广泛分布在更大神经元集合中。
论文把音频配对的元数据来源本身当作干预,用四种配对轨迹证明正确配对能提高档案找回和属性可解码性,但匹配后的疾病预测增益仍不确定,且代价是需要严格的协变量匹配与锁定流程。
针对全双工语音咨询中只回应最近一句话而丢失早期根本困扰的问题,CounselPlex 在说话人沉默时生成 1-7 词的压力源状态并在倾听时注入文本流,结合位置偏移增强训练,在 ESConv 与 ESCoT 合成语音上的咨询质量评分超过同域微调基线,但延迟增加且未检测到简短附和声。
针对听觉注意解码中试次泄露与注视等捷径导致虚高准确率的问题,CoupleFlow 只用脑电与语音随时间共变做判决,并在九个脑电与脑磁数据集的内容不相交划分上验证了真实的时间锁定增益与随窗长增长的准确率规律,代价是短窗绝对准确率仍不高且依赖记录信噪比。
论文提出中文金融多说话人语音基准 DecisionTraceBench,要求从原始音频恢复决策关键事件链并用 DCIST 打分,最强系统在真人录音上仅得 21.35%,证明只看转写错误率或末态数值会掩盖过程恢复失败。
论文用闭环仿真量化了全双工语音模型在 10 分钟会话中的响应、内容和音色退化,再用特权上下文自蒸馏把短会话能力迁移到长会话,并用双分辨率上下文把远期历史压缩成要点记忆,在训练时长内和超长 20 分钟会话中都验证了稳定性提升与显存增长下降的代价。
针对多流同时语音到语音翻译在推理时难调延迟的问题,DIAL-S2ST 用带前视的冻结教师蒸馏无前视学生并用单 LoRA 按尺度控制早说,在法英 Hibiki 上以约 10 小时源语音实现可调的延迟与质量权衡。
流行歌人声密、结构变化大,选歌、选进出点和选混合手法互相牵制,DJustify 让同一个大语言模型一次给出联合方案并把渲染出的音频交给确定性声学检查做修复,固定歌对盲听优于已有自动系统而三分钟故事整场与人类 DJ 无可测差距,但检查器只修补偶发切断人声而未提高平均分。
论文用 26 个自回归与掩码模型对照 MusicXML、MIDI 与 ABC 三种表示,显示 MusicXML 在理解任务全面领先、在生成任务的分布相似度与人工偏好上占优,而分块顺序与 BPE 词汇量带来互补的代价。