We consider the generic problem of detecting low-level structures in images, which includes segmenting the manipulated parts, identifying out-of-focus pixels, separating shadow regions, and detecting concealed objects. Whereas each such topic has been typically addressed with a domain-specific solution, we show that a unified approach performs well across all of them. We take inspiration from the widely-used pre-training and then prompt tuning protocols in NLP and propose a new visual prompting model, named Explicit Visual Prompting (EVP). Different from the previous visual prompting which is typically a dataset-level implicit embedding, our key insight is to enforce the tunable parameters focusing on the explicit visual content from each individual image, i.e., the features from frozen patch embeddings and the input's high-frequency components. The proposed EVP significantly outperforms other parameter-efficient tuning protocols under the same amount of tunable parameters (5.7% extra trainable parameters of each task). EVP also achieves state-of-the-art performances on diverse low-level structure segmentation tasks compared to task-specific solutions. Our code is available at: https://github.com/NiFangBaAGe/Explicit-Visual-Prompt.
Enhancing the Reliability of Segment Anything Model for Auto-Prompting Medical Image Segmentation with Uncertainty Rectification
Artificial Intelligence Innovation and Incubation Institute, Fudan University（复旦大学人工智能创新与孵化研究院）；Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院）
Hierarchical Self-Prompting SAM: A Prompt-Free Medical Image Segmentation Framework
State Key Laboratory of Multimodal Artificial Intelligence System, Institute of Automation, Chinese Academy of Science, China（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院，中国）；School of Artificial Intelligence, University of Chinese Academy of Science, China（人工智能学院，中国科学院大学，中国）；Department of Radiology, Peking Union Medical College Hospital, Peking Union Medical College, Chinese Academy of Medical Sciences, Beijing（放射科，北医三院，北京医科大学，中国医学科学院，北京）
SLIP: Segmentation with Low-latency Interactive Prompting for 3D Medical Images
IRCAD France（法国国际消化道疾病研究中心）；Université de Strasbourg, CNRS, ICube（斯特拉斯堡大学、法国国家科学研究中心、ICube实验室）；IRCCS Humanitas Research Hospital（圣心研究医院）；Humanitas University（圣心大学）；Fondazione Policlinico Universitario A. Gemelli, Istituto di Ricovero e Cura a Carattere Scientifico (IRCCS)（圣心综合大学医院）
FVP: Fourier Visual Prompting for Source-Free Unsupervised Domain Adaptation of Medical Image Segmentation
Beihang University（北京航空航天大学）；Zhejiang Lab（之江实验室）；Singapore University of Technology and Design（新加坡科技设计大学）；BioMind Technology Center（BioMind技术中心）；Zhongguancun Laboratory（中关村实验室）
Foundation Model-guided Iteratively Prompting and Pseudo-Labeling for Partially Labeled Medical Image Segmentation
Department of Biomedical Engineering, Columbia University（哥伦比亚大学生物医学工程系）；Department of Radiation Oncology, Columbia University Irving Medical Center（哥伦比亚大学欧文医学中心放射肿瘤科）；Data Science Institute, Columbia University（哥伦比亚大学数据科学研究所）；Herbert Irving Comprehensive Cancer Center, Columbia University（哥伦比亚大学赫伯特·欧文综合癌症中心）；Department of Radiation Oncology, Icahn School of Medicine at Mount Sinai（西奈山伊坎医学院放射肿瘤科）
CPM: Class-conditional Prompting Machine for Audio-visual Segmentation
Australian Institute for Machine Learning（澳大利亚机器学习研究院）；University of Adelaide（阿德莱德大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；University of Surrey（萨里大学）
From Adaptation to Generalization: Adaptive Visual Prompting for Medical Image Segmentation
Technical University of Munich（慕尼黑技术大学）；Korea University（韩国大学）；Kyung Hee University（庆熙大学）；Seoul National University of Science and Technology（首尔科学技术大学）
Cross Prompting Consistency with Segment Anything Model for Semi-supervised Medical Image Segmentation
The Chinese University of Hong Kong（香港中文大学）；Massachusetts General Hospital（麻省总医院）；Harvard Medical School（哈佛医学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（香港中文大学医学智能与XR研究所）
提出 CPC-SAM，在双分支框架中通过 SAM 交叉提示和提示一致性正则化利用标注与未标注数据，显著提升半监督医学图像分割性能。
Learnable Prompting SAM-induced Knowledge Distillation for Semi-supervised Medical Image Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院）；Institute of High-Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）；School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院）
Taiyuan University of Technology（太原理工大学）；University of Science and Technology of China（中国科学技术大学）；Second Hospital of Shanxi Medical University（山西医科大学第二医院）
Medical Visual Prompting (MVP): A Unified Framework for Versatile and High-Quality Medical Image Segmentation
School of Automation, Guangdong University of Technology（广东工业大学自动化学院）；School of Computer Science and Technology, Guangdong University of Technology（广东工业大学计算机科学与技术学院）；School of Information Science and Technology, Guangdong University of Foreign Studies（广东外语外贸大学信息科学与技术学院）；Faculty of Science and Technology, University of Macau（澳门大学科技学院）；The First Affiliated Hospital of Sun Yat-Sen University（中山大学附属第一医院）；Sun Yat-sen University Cancer Center（中山大学肿瘤防治中心）；South China Hospital, Shenzhen University（深圳大学华南医院）
LoR-VP: Low-Rank Visual Prompting for Efficient Vision Model Adaptation
Rutgers University（罗格斯大学）；Zhejiang University（浙江大学）；Red Hat AI Innovation（红帽人工智能创新中心）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；NVIDIA Research（英伟达研究院）
VCP-CLIP: A visual context prompting model for zero-shot anomaly segmentation
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；CASI Vision Technology CO., LTD.（中智视觉科技有限公司）；University of Technology Sydney（悉尼科技大学）；Hangzhou Dianzi University（杭州电子科技大学）；Tsinghua University（清华大学）
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；vivo Mobile Communication Co., Ltd.（维沃移动通信有限公司）；Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Pengcheng Laboratory（鹏城实验室）
CRISP: Contrastive Residual Injection and Semantic Prompting for Continual Video Instance Segmentation
State Key Laboratory of Robotics and Intelligent Systems, Shenyang Institute of Automation, Chinese Academy of Sciences（机器人与智能系统国家重点实验室，沈阳自动化研究所，中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Evaluating Semantic and Spatial Guidance for Foundation Model Segmentation of Small-Scale PV in Remote Sensing Imagery
Ben-Gurion University of the Negev（内盖夫本-古里安大学）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Ben Gurion Institute for the Study of Israel & Zionism（本-古里安以色列与犹太复国主义研究所）；Ben-Gurion Israel Research Institute（本-古里安以色列研究所）
University of Science and Technology of China（中国科学技术大学）；Microsoft Cloud AI（微软云人工智能部门）；Wormpex AI Research（Wormpex人工智能研究院）
提出了Diversity-Aware Meta Visual Proximating ~（DAM-VP），它是一种高效的提示方法，用于将预先训练好的模型转移到具有冻结主干的下游任务中。视觉提示中的一个具有挑战性的问题是，图像数据集有时具有很大的数据多样性，而每个数据集的通用提示很难处理复杂的分布偏移向原始预训练数据分布正确。为了解决这个问题，我们提出了一个数据集的多样性意识的提示策略，其初始化是由一个元提示。具体来说，我们以多样性自适应的方式将下游数据集聚类成小的同质子集，每个子集都有自己的提示单独优化。这种分而治之的设计大大降低了优化的难度，并显着提高了提示性能。此外，所有提示都使用元提示进行初始化，该元提示是在多个数据集上学习的。这是一个自举的范例，关键的观察是，从以前的数据集学习的提示知识可以帮助提示更快地收敛，并在新的数据集上表现得更好。在推理过程中，我们根据输入和每个子集之间的特征距离为每个输入动态选择适当的提示。通过大量的实验，我们的DAM-VP表现出了卓越的效率和有效性，在不同预训练模型的一系列下游数据集中明显超过了以前的提示方法。我们的代码可从以下网址获得：\url{https://github.com/shikiw/DAM-VP}。
