CLIP (Contrastive Language-Image Pretraining) is an efficient method for learning computer vision tasks from natural language supervision that has powered a recent breakthrough in deep learning due to its zero-shot transfer capabilities. By training from image-text pairs available on the internet, the CLIP model transfers non-trivially to most tasks without the need for any data set specific training. In this work, we use CLIP to implement the engine of the popular game "Guess who?", so that the player interacts with the game using natural language prompts and CLIP automatically decides whether an image in the game board fulfills that prompt or not. We study the performance of this approach by benchmarking on different ways of prompting the questions to CLIP, and show the limitations of its zero-shot capabilites.
Hyper3-CLIP: Hierarchy-Conditioned Hyperbolic Vision-Language Training
hyper 3 labs（超3实验室）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）；Faculty of Computers and Data Science, Alexandria University（亚历山大大学计算机与数据科学学院）；Faculty of Computer Science and Engineering, Alamein International University（阿拉曼国际大学计算机科学与工程学院）
Isotropic3D: Image-to-3D Generation Based on a Single CLIP Embedding
Academy for Engineering and Technology, Fudan University（复旦大学工程技术研究院）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）
Few-shot Action Recognition with Permutation-invariant Attention
Australian National University（澳大利亚国立大学）；University of Oxford（牛津大学）；Data61/CSIRO（Data61/联邦科学与工业研究组织）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；The University of Hong Kong（香港大学）
CPath-Omni: A Unified Multimodal Foundation Model for Patch and Whole Slide Image Analysis in Computational Pathology
Westlake University（西湖大学）；Zhejiang University（浙江大学）；Harvard University（哈佛大学）；The Ohio State University（俄亥俄州立大学）；University of the Chinese Academy of Sciences（中国科学院大学）
MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation
China University of Petroleum-Beijing at Karamay（中国石油大学（北京）克拉玛依校区）；Guizhou University（贵州大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Shanghai Jiao Tong University（上海交通大学）
Parameter-Efficient CLIP Adaptation for 3D Understanding via Unified Tokenization
Fondazione Bruno Kessler（布鲁诺·科塞拉基金会）；University of Trento（特伦托大学）；University of Pisa（比萨大学）；Beijing Forestry University（北京林业大学）；Shanghai Jiao Tong University（上海交通大学）；Hong Kong University of Science and Technology (GZ)（香港科技大学）；Shandong University（山东大学）；University of California, Merced（加州大学默塞德分校）
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Microsoft Research（微软研究院）；Microsoft Cloud + AI（微软云与人工智能）；UCLA（加州大学洛杉矶分校）
使用图像-文本对的对比语言-图像预训练（CLIP）在zero-shot和迁移学习设置下都取得了令人印象深刻的图像分类结果。然而，我们表明，直接应用这样的模型来识别图像区域的目标检测导致性能不佳，由于域转移：CLIP被训练为匹配图像作为一个整体的文本描述，没有捕捉图像区域和文本跨度之间的细粒度对齐。为了缓解这个问题，我们提出了一种新的方法，称为RegionCLIP显着扩展CLIP学习区域级的视觉表示，从而实现图像区域和文本概念之间的细粒度对齐。我们的方法利用CLIP模型将图像区域与模板标题进行匹配，然后预训练我们的模型以在特征空间中对齐这些区域-文本对。当将我们的预训练模型转移到开放词汇目标检测任务时，我们的方法在COCO和LVIS数据集上的新类别分别以3.8 AP 50和2.2 AP的速度显著优于现有技术。此外，学习的区域表示支持目标检测的zero-shot推理，在COCO和LVIS数据集上都显示出有希望的结果。我们的代码可在https://github.com/microsoft/RegionCLIP上获得。
