Unified Coding for Both Human Perception and Generalized Machine Analytics with CLIP Supervision
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））；Peng Cheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）；City University of Hong Kong（香港城市大学）
Kangsheng Yin, Quan Liu, Xuelin Shen, Yulin He, Wenhan Yang, Shiqi Wang
长期以来，图像压缩模型在适应性和泛化能力方面一直面临困难，因为解码后的码流通常只服务于人类或机器需求，无法为未见过的视觉任务保留信息。因此，本文创新性地引入从多模态预训练模型获得的监督，并结合自适应多目标优化，旨在通过单一码流同时支持人类视觉感知与机器视觉，所提出方法称为 Unified and Generalized Image Coding for Machine（UG-ICM）。具体而言，为摆脱压缩模型对下游任务监督的依赖，我们将 Contrastive Language-Image Pre-training（CLIP）模型引入训练约束，以提升泛化能力。研究采用从全局到实例的 CLIP 监督，以帮助获取层次化语义，使模型在依赖不同粒度信息的任务上具有更强的泛化性。此外，为了仅用一个统一码流同时支持人类视觉和机器视觉，我们引入条件解码策略，将人类或机器偏好作为条件，使码流能够针对相应偏好解码为不同版本。因此，所提出的 UG-ICM 完全以自监督方式训练，即不感知任何特定的下游模型和任务。大量实验表明，所提出的 UG-ICM 能够在多种未见过的机器分析任务上取得显著提升，同时提供感知上令人满意的图像。
英文摘要：
The image compression model has long struggled with adaptability and generalization, as the decoded bitstream typically serves only human or machine needs and fails to preserve information for unseen visual tasks. Therefore, this paper innovatively introduces supervision obtained from multimodal pre-training models and incorporates adaptive multi-objective optimization tailored to support both human visual perception and machine vision simultaneously with a single bitstream, denoted as Unified and Generalized Image Coding for Machine (UG-ICM). Specifically, to get rid of the reliance between compression models with downstream task supervision, we introduce Contrastive Language-Image Pre-training (CLIP) models into the training constraint for improved generalization. Global-to-instance-wise CLIP supervision is applied to help obtain hierarchical semantics that make models more generalizable for the tasks relying on the information of different granularity. Furthermore, for supporting both human and machine visions with only a unifying bitstream, we incorporate a conditional decoding strategy that takes as conditions human or machine preferences, enabling the bitstream to be decoded into different versions for corresponding preferences. As such, our proposed UG-ICM is fully trained in a self-supervised manner, i.e., without awareness of any specific downstream models and tasks. The extensive experiments have shown that the proposed UG-ICM is capable of achieving remarkable improvements in various unseen machine analytics tasks, while simultaneously providing perceptually satisfying images.
CLIP-Guided Data Augmentation for Night-Time Image Dehazing
Hangzhou Dianzi University（杭州电子科技大学）；Jinan University（济南大学）；Hefei University of Technology（合肥工业大学）；Wuhan University（武汉大学）；The University of Tokyo（东京大学）
ReasonCLIP-58M: Visually Grounded Commonsense Reasoning Supervision for CLIP
Khalifa University（卡利法大学）；University of Western Australia（西澳大学）；The Chinese University of Hong Kong（香港中文大学）；University of Melbourne（墨尔本大学）；University of Central Florida（佛罗里达中央大学）
OSLoPrompt: Bridging Low-Supervision Challenges and Open-Set Domain Generalization in CLIP
Indian Institute of Technology Bombay（印度理工学院孟买分校）；The LNM Institute of Information Technology (LNMIIT)（LNM信息技术学院）；Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
Explaining CLIP Zero-shot Predictions Through Concepts
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Dept. of Computer Eng., Middle East Technical University (METU)（中东技术大学计算机工程系）；Orbital；DTU Compute, Technical University of Denmark（丹麦技术大学DTU计算学院）；Dept. of Biology, University of Copenhagen（哥本哈根大学生物系）；LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院LTCI实验室）；Technical University of Munich (TUM)（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；MCML；MDSI；Robotics & AI Center (ROMER), METU（中东技术大学机器人与人工智能中心）
Bridging the Gap between Object and Image-level Representations for Open-Vocabulary Detection
Australian National University（澳大利亚国立大学）；Linköping University（林雪平大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
现有的开放词汇对象检测器通常通过利用不同形式的弱监督来扩大其词汇量。这有助于在推理时推广到新对象。在开放词汇检测（OVD）中使用的两种流行的弱监督形式包括预训练的CLIP模型和图像级监督。我们注意到，这两种监督模式对于检测任务来说都不是最佳的：CLIP是用图像-文本对训练的，缺乏对象的精确定位，而图像级监督已经与不能准确指定局部对象区域的几何学一起使用。在这项工作中，我们建议通过执行以对象为中心的对齐CLIP模型的语言嵌入来解决这个问题。此外，我们使用伪标记过程仅使用图像级监督对对象进行视觉接地，该过程提供高质量的对象建议，并有助于在训练期间扩展词汇。我们通过一个新的权重传递函数，聚合它们的互补优势，在上述两个对象对齐策略之间建立了一个桥梁。从本质上讲，所提出的模型旨在最大限度地减少对象和图像为中心的表示在OVD设置之间的差距。在COCO基准测试中，我们提出的方法在新类上实现了36.6 AP 50，比以前的最佳性能绝对提高了8.2。对于LVIS，我们超过了最先进的ViLD模型，罕见类别的面罩AP为5.0，总体为3.4。代码：https://github.com/hanoonaR/object-centric-ovd.
Self-supervision through Random Segments with Autoregressive Coding (RandSAC)
University of British Columbia（不列颠哥伦比亚大学）；Massachusetts Institute of Technology（麻省理工学院）；South China University of Technology（华南理工大学）；Google Research（谷歌研究院）；Tsinghua University（清华大学）；Vector Institute for AI（向量人工智能研究所）
Exploring Weak-to-Strong Generalization for CLIP-based Classification
School of Computing and Information Systems University of Melbourne, Australia（墨尔本大学计算机与信息系统学院）；School of Computing and Information Systems University of Melbournem, Australia（墨尔本大学计算机与信息系统学院）；School of Computer Science and Engineering Southeast University, China（东南大学计算机科学与工程学院）
MLIP: Efficient Multi-Perspective Language-Image Pretraining with Exhaustive Data Utilization
Tongji University（同济大学）；University of Bristol（布里斯托尔大学）；University of Florida（佛罗里达大学）；National University of Defense Technology（国防科技大学）；National Clinical Research Center for Mental Disorders（国家精神疾病临床研究中心）；National Center for Mental Disorders（国家精神疾病中心）；Beijing Anding Hospital, Capital Medical University（首都医科大学附属北京安定医院）；Beijing Institute of Technology（北京理工大学）；University of Oxford（牛津大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
School of Biomedical Engineering, Southern Medical University（南方医科大学生物医学工程学院）；School of Biomedical Engineering, Shanghai Jiao Tong University（上海交通大学生物医学工程学院）；Shanghai United Imaging Intelligence Co., Ltd.（上海联影智能医疗科技有限公司）；Shanghai Clinical Research and Trial Center（上海临床研究与试验中心）
