Recent researches on unsupervised person re-identification~(reID) have demonstrated that pre-training on unlabeled person images achieves superior performance on downstream reID tasks than pre-training on ImageNet. However, those pre-trained methods are specifically designed for reID and suffer flexible adaption to other pedestrian analysis tasks. In this paper, we propose VAL-PAT, a novel framework that learns transferable representations to enhance various pedestrian analysis tasks with multimodal information. To train our framework, we introduce three learning objectives, \emph{i.e.,} self-supervised contrastive learning, image-text contrastive learning and multi-attribute classification. The self-supervised contrastive learning facilitates the learning of the intrinsic pedestrian properties, while the image-text contrastive learning guides the model to focus on the appearance information of pedestrians.Meanwhile, multi-attribute classification encourages the model to recognize attributes to excavate fine-grained pedestrian information. We first perform pre-training on LUPerson-TA dataset, where each image contains text and attribute annotations, and then transfer the learned representations to various downstream tasks, including person reID, person attribute recognition and text-based person search. Extensive experiments demonstrate that our framework facilitates the learning of general pedestrian representations and thus leads to promising results on various pedestrian analysis tasks.
Prompt-driven Transferable Adversarial Attack on Person Re-Identification with Attribute-aware Textual Inversion
School of Artificial Intelligence and Robotics, Hunan University（湖南大学人工智能与机器人学院）；National Engineering Research Center of Robot Visual Perception and Control Technology（机器人视觉感知与控制技术国家工程研究中心）；College of Information Science and Engineering, Hunan Normal University（湖南师范大学信息科学与工程学院）
CLAP: Learning Transferable Binary Code Representations with Natural Language Supervision
Tsinghua University（清华大学）；Information Engineering University（信息工程大学）；University of Electronic Science and Technology of China（电子科技大学）；Beijing University of Technology（北京工业大学）
CLIP-based Camera-Agnostic Feature Learning for Intra-camera Person Re-Identification
Tangshan Research Institute, Southwest Jiaotong University（西南交通大学唐山研究院）；School of Computing and Artificial Intelligence, Southwest Jiaotong University（西南交通大学计算机与人工智能学院）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China（教育部可持续城市智能交通工程研究中心）；Manufacturing Industry Chains Collaboration and Information Support Technology Key Laboratory of Sichuan Province（四川省产业链协同与信息支撑技术重点实验室）
Biologically Informed Representation Learning for Robust Cross-Center Generalization of MALDI-TOF Mass Spectrometry
Universidad Carlos III de Madrid（卡洛斯三世大学）；Instituto de Investigación Sanitaria Gregorio Marañón（格雷戈里奥·马拉尼翁卫生研究所）；Hospital General Universitario Gregorio Marañón（格雷戈里奥·马拉尼翁大学总医院）
Unsupervised Learning on a DIET: Datum IndEx as Target Free of Self-Supervision, Reconstruction, Projector Head
Meta AI；Cranberry-Lemon University（蔓越莓柠檬大学）；University of the Witwatersrand（威特沃特斯兰德大学）
如果我们希望学习廉价、可靠和可转移的模型，那么代价高昂、嘈杂和过度专业化的标签将被搁置一边，转而支持无监督学习。为此，谱嵌入、自监督学习或生成式建模提供了有竞争力的解决方案。然而，这些方法带来了许多挑战，\textit{e.g.}估计测地线距离，指定投影仪架构和抗崩溃损失，或指定解码器架构和重建损失。相比之下，我们引入了一个简单的可解释的替代方案-创造的\textbf{DIET} -从未标记的数据中学习表示，没有这些挑战。\textbf{DIET}非常简单：采用自己喜欢的分类设置，并使用\textbf{D} atum \textbf{I} nd \textbf{E} x作为其\textbf{T}目标类，\textit{i.e. each sample is its own class}，无需进一步更改。\textbf{DIET}不需要解码器/投影器网络，不基于正对也不基于重构，不引入超参数，并且可以跨数据集和架构进行开箱即用。尽管\textbf{DIET}很简单，但学习到的表示具有高质量，并且通常与最先进的\textit{e.g.}相当，在DIET的学习表示之上使用线性分类器，在CIFAR 100上使用Resnet 101达到$71.4\%$，在TinyImagenet上使用Resnext 50达到$52.5\%$。
Princeton University（普林斯顿大学）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Max Planck Institute for Empirical Aesthetics（马克斯·普朗克经验美学研究所）
3D Human Pose, Shape and Texture from Low-Resolution Images and Videos
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程学院）；Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（机器人与工业信息研究所（西班牙国家研究委员会-加泰罗尼亚理工大学））；Facebook Reality Lab (Oculus)（Facebook现实实验室（Oculus））
A Deep Generative Model for Resting-State EEG Synthesis and Transferable Representation Learning
Institute of Psychology, Eötvös Loránd University（埃斯特哈兹·洛朗大学心理学研究所）；Doctoral School of Psychology, Eötvös Loránd University（埃斯特哈兹·洛朗大学心理学博士学院）；Department of Behavioural and Cognitive Sciences, University of Luxembourg（卢森堡大学行为与认知科学系）
MADS: Multi-Attribute Document Supervision for Zero-Shot Image Classification
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；School of Information Engineering, Minzu University of China（中央民族大学信息工程学院）；University of Adelaide（阿德莱德大学）
Temporal Pyramid Network for Pedestrian Trajectory Prediction with Multi-Supervision
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Guangdong Key Laboratory of Intelligent Information Processing（广东省智能信息处理重点实验室）；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）；State Key Laboratory of Internet of Things for Smart City（物联网与智慧城市国家重点实验室）
A Fistful of Words: Learning Transferable Visual Models from Bag-of-Words Supervision
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；Facebook AI（Facebook 人工智能研究院）；UC Davis（加州大学戴维斯分校）
使用自然语言作为训练视觉识别模型的监督具有很大的希望。最近的工作表明，如果这种监督以大型训练数据集中图像和字幕之间的对齐形式使用，那么所得到的对齐模型在作为下游任务的zero-shot分类上表现良好2。在本文中，我们专注于梳理出哪些部分的语言监督是必不可少的训练zero-shot图像分类模型。通过大量细致的实验，我们发现：1）一个简单的词袋（BoW）标题可以用来代替数据集中的大多数图像标题。令人惊讶的是，我们观察到，这种方法提高了zero-shot分类性能时，结合字平衡。2)使用BoW预训练模型，我们可以通过在没有字幕的图像上生成伪BoW字幕来获得更多的训练数据。在具有真实和伪BoW字幕的图像上训练的模型实现了更强的zero-shot性能。在ImageNet-1k zero-shot评估中，我们的最佳模型仅使用3M图像-标题对，与在15M图像-标题对上训练的CLIP模型表现相当（31.5% vs 31.3%）。
Learning Transferable Self-attentive Representations for Action Recognition in Untrimmed Videos with Weak Supervision
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）；Youedata Co., Ltd.（优数数据有限公司）；University of Electronic Science and Technology of China（电子科技大学）；University of Science and Technology Beijing（北京科技大学）
Harnessing the Power of MLLMs for Transferable Text-to-Image Person ReID
South China University of Technology（华南理工大学）；Pazhou Lab（琶洲实验室）；JD Explore Academy（京东探索研究院）；Yunnan University（云南大学）；Yunnan United Vision Technology Co., Ltd.（云南联慧视觉科技有限公司）
