Image-based visual-language (I-VL) pre-training has shown great success for learning joint visual-textual representations from large-scale web data, revealing remarkable ability for zero-shot generalisation. This paper presents a simple but strong baseline to efficiently adapt the pre-trained I-VL model, and exploit its powerful ability for resource-hungry video understanding tasks, with minimal training. Specifically, we propose to optimise a few random vectors, termed as continuous prompt vectors, that convert video-related tasks into the same format as the pre-training objectives. In addition, to bridge the gap between static images and videos, temporal information is encoded with lightweight Transformers stacking on top of frame-wise visual features. Experimentally, we conduct extensive ablation studies to analyse the critical components. On 10 public benchmarks of action recognition, action localisation, and text-video retrieval, across closed-set, few-shot, and zero-shot scenarios, we achieve competitive or state-of-the-art performance to existing methods, despite optimising significantly fewer parameters.
STOP: Integrated Spatial-Temporal Dynamic Prompting for Video Understanding
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
State Space Prompting via Gathering and Spreading Spatio-Temporal Information for Video Understanding
Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所）；the Huazhong University of Science and Technology（华中科技大学）；Amazon.com, Inc（亚马逊公司）
Prompting Video-Language Foundation Models with Domain-specific Fine-grained Heuristics for Video Question Answering
School of Information Science and Technology, Hangzhou Normal University（杭州师范大学信息科学与技术学院）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；School of Computer Science and Technology, University of Chinese Academy of Sciences（中国科学院大学计算机科学与技术学院）；School of Computer Science and Technology, Hangzhou Dianzi University（杭州电子科技大学计算机科学与技术学院）
Vita-CLIP: Video and text adaptive CLIP via Multimodal Prompting
Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；University of Central Florida（中佛罗里达大学）
Glance and Focus: Memory Prompting for Multi-Event Video Question Answering
Key Laboratory of Intelligent Information Processing of Chinese Academy of Sciences (CAS)（中国科学院智能信息处理重点实验室）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
Improving Visual Object Tracking through Visual Prompting
Department of Computer Science, National Yang Ming Chiao Tung University（国立阳明交通大学计算机科学系）；Research Center for Information Technology Innovation, Academia Sinica, Taiwan（学术院资讯科技创新研究中心）；Microsoft, Seattle, Washington, United States（微软公司）
Image-of-Thought Prompting for Visual Reasoning Refinement in Multimodal Large Language Models
School of Engineering, Westlake University（西湖大学工程学院）；City University of Hong Kong（香港城市大学）；Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究中心）；Johns Hopkins University（约翰斯·霍普金斯大学）
In the Eye of MLLM: Benchmarking Egocentric Video Intent Understanding with Gaze-Guided Prompting
State Key Laboratory of VR Technology and Systems, School of CSE, Beihang University（虚拟现实技术与系统国家重点实验室，北京航空航天大学计算机科学与工程学院）；College of AI, Tsinghua University（清华大学人工智能学院）
Visual Prompting in Multimodal Large Language Models: A Survey
UC San Diego（加州大学圣地亚哥分校）；Dartmouth College（达特茅斯学院）；Rutgers University（罗格斯大学）；UC Los Angeles（加州大学洛杉矶分校）；Adobe Research（奥多比研究院）；The University of New South Wales（新南威尔士大学）；CSIRO’s Data61（联邦科学与工业研究组织Data61）
HowToCaption: Prompting LLMs to Transform Video Annotations at Scale
Goethe University Frankfurt（法兰克福大学）；SIC；University of Bonn（波恩大学）；University of Oxford（牛津大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；Saarland University（萨尔大学）
LoR-VP: Low-Rank Visual Prompting for Efficient Vision Model Adaptation
Rutgers University（罗格斯大学）；Zhejiang University（浙江大学）；Red Hat AI Innovation（红帽人工智能创新中心）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；NVIDIA Research（英伟达研究院）
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Pengcheng Laboratory（鹏城实验室）
End-to-end Open-vocabulary Video Visual Relationship Detection using Multi-modal Prompting
Beijing Institute of Technology（北京理工大学）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Shenzhen MSU-BIT University（深圳北理莫斯科大学）；University of Rochester（罗切斯特大学）
University of Science and Technology of China（中国科学技术大学）；Microsoft Cloud AI（微软云人工智能部门）；Wormpex AI Research（Wormpex人工智能研究院）
提出了Diversity-Aware Meta Visual Proximating ~（DAM-VP），它是一种高效的提示方法，用于将预先训练好的模型转移到具有冻结主干的下游任务中。视觉提示中的一个具有挑战性的问题是，图像数据集有时具有很大的数据多样性，而每个数据集的通用提示很难处理复杂的分布偏移向原始预训练数据分布正确。为了解决这个问题，我们提出了一个数据集的多样性意识的提示策略，其初始化是由一个元提示。具体来说，我们以多样性自适应的方式将下游数据集聚类成小的同质子集，每个子集都有自己的提示单独优化。这种分而治之的设计大大降低了优化的难度，并显着提高了提示性能。此外，所有提示都使用元提示进行初始化，该元提示是在多个数据集上学习的。这是一个自举的范例，关键的观察是，从以前的数据集学习的提示知识可以帮助提示更快地收敛，并在新的数据集上表现得更好。在推理过程中，我们根据输入和每个子集之间的特征距离为每个输入动态选择适当的提示。通过大量的实验，我们的DAM-VP表现出了卓越的效率和有效性，在不同预训练模型的一系列下游数据集中明显超过了以前的提示方法。我们的代码可从以下网址获得：\url{https://github.com/shikiw/DAM-VP}。
Memory-Space Visual Prompting for Efficient Vision-Language Fine-Tuning
School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院）；National Key Laboratory of General Artificial Intelligence（通用人工智能全国重点实验室）
VG-TVP: Multimodal Procedural Planning via Visually Grounded Text-Video Prompting
National University of Singapore（新加坡国立大学）；Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR)（新加坡科技研究局（A*STAR）信息通信研究院）
Pontificia Universidad Católica de Chile（智利天主教大学）；King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；University of Pisa（比萨大学）；Adobe Research（Adobe研究院）
