LeVJEPA: Efficient & Scalable Video Pretraining without the Heuristics
LeVJEPA:无需启发式方法的高效可扩展视频预训练
机构 * German Cancer Research Center(德国癌症研究中心) ; German Cancer Consortium(德国癌症联盟) ; Goethe University Frankfurt(法兰克福大学) ; Mila(米拉研究所) ; Université de Montréal(蒙特利尔大学) ; Brown University(布朗大学) ; Courant Institute, New York University(纽约大学柯朗研究所) ; Advanced Machine Intelligence (AMI Labs)(高级机器智能实验室(AMI Labs))
AI总结 LeVJEPA是首个基于LeJEPA无崩溃目标训练的视频编码器,无需启发式方法,预训练计算量大幅降低,在ImageNet-1K等基准上性能优于现有方法,可作为通用视觉预训练的更优基础。