OpenDPR: Open-Vocabulary Change Detection via Vision-Centric Diffusion-Guided Prototype Retrieval for Remote Sensing Imagery
Wuhan University（武汉大学）；Beijing Institute of Technology（北京理工大学）
提出OpenDPR框架，通过扩散模型构建原型并检索视觉相似性，解决开放词汇变化检测中类别识别瓶颈，并设计S2C模块增强变化定位能力。
2026-05-31 cs.CV
Self-Supervised Visual Representation Learning with Semantic Grouping
University of Hong Kong（香港大学）；MEGVII Technology（旷视科技）；University of Edinburgh（爱丁堡大学）；LunarAI
在本文中，我们解决了学习视觉表示从未标记的场景为中心的数据的问题。现有的作品已经证明了利用场景为中心的数据中的底层复杂结构的潜力;尽管如此，他们通常依赖于手工制作的对象先验或专门的借口任务来构建学习框架，这可能会损害泛化能力。相反，我们提出了从数据驱动的语义槽，即SlotCon，联合语义分组和表示学习的对比学习。语义分组是通过将像素分配给一组可学习的原型来执行的，这些原型可以通过对特征进行集中处理来适应每个样本并形成新的槽。基于学习到的数据相关槽，采用对比目标进行表示学习，这增强了特征的可区分性，并且相反地促进了将语义上一致的像素分组在一起。与以前的努力相比，通过同时优化语义分组和对比学习的两个耦合目标，我们的方法绕过手工制作的先验的缺点，并能够从以场景为中心的图像学习对象/组级表示。实验结果表明，该方法能有效地将复杂场景分解为语义组进行特征学习，并对后续的目标检测、实例分割和语义分割等任务有很大的帮助。代码可从以下网址获得：https://github.com/CVMI-Lab/SlotCon。
2022-10-10 cs.CV cs.LG
EAGLE: Eigen Aggregation Learning for Object-Centric Unsupervised Semantic Segmentation
Yonsei University（延世大学）
EAGLE提出EiCue谱线索与以对象为中心的对比损失，学习对象级表示以解决无监督语义分割中块级特征缺乏对象语义编码的问题，并在多个数据集上取得最优结果。
2024-04-05 cs.CV
Demystifying Contrastive Self-Supervised Learning: Invariances, Augmentations and Dataset Biases
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（Facebook 人工智能研究院）
自监督表示学习方法最近在目标检测和图像分类等下游任务上超过了监督学习方法。令人费解的是，最近的性能提升来自于训练实例分类模型，将每个图像及其增强版本视为单个类的样本。在这项工作中，我们首先提出了定量实验来揭开这些收益的神秘面纱。我们证明了像MOCO和PIRL这样的方法可以学习遮挡不变表示。然而，他们无法捕捉的观点和类别实例的不变性，这是对象识别的关键组成部分。其次，我们证明了这些方法可以从访问像Imagenet这样的干净的以对象为中心的训练数据集中获得进一步的收益。最后，我们提出了一种利用非结构化视频来学习具有更高视点不变性的表示的方法。我们的研究结果表明，学习表示优于MOCOv2训练相同的数据方面的不变性编码和下游图像分类和语义分割任务的性能。
2020-07-29 cs.CV
Unsupervised Learning of Object-Centric Embeddings for Cell Instance Segmentation in Microscopy Images
MRC Laboratory of Molecular Biology（MRC分子生物学实验室）；HHMI Janelia Research Campus（霍华德·休斯医学研究所珍利亚研究园区）
本文提出一种基于物体中心嵌入的无监督细胞实例分割方法，通过自监督预测图像块空间偏移学习嵌入，在多个数据集上优于现有方法，并显著减少监督训练所需标注。
2023-10-12 cs.CV cs.LG
Conditional Object-Centric Learning from Video
Google Research（谷歌研究院）
以对象为中心的表示是一个有前途的途径，通过提供灵活的抽象，可以建立组合世界模型更系统的概括。最近在简单的2D和3D数据集上的研究表明，具有以对象为中心的归纳偏差的模型可以学习单独从数据的统计结构中分割和表示有意义的对象，而无需任何监督。然而，这种完全无监督的方法仍然无法扩展到不同的现实数据，尽管使用越来越复杂的归纳偏差，如物体大小或场景的3D几何形状的先验。在本文中，我们采取弱监督的方法，并专注于如何1）使用光流形式的视频数据的时间动态和2）在简单的对象位置线索上调节模型，以使分割和跟踪对象在更逼真的合成数据。我们引入了一个连续的扩展插槽注意力，我们训练预测光流逼真的合成场景，并表明，条件的初始状态，这个模型上的一个小的提示，如在第一帧中的对象的质量中心，是足以显着提高实例分割。这些好处超越了训练分布，适用于新对象、新背景和更长的视频序列。我们还发现，这种初始状态调节可以在推理过程中作为一个灵活的接口来查询特定对象或对象的部分模型，这可以为一系列弱监督方法铺平道路，并允许与训练模型进行更有效的交互。
2022-03-15 cs.CV cs.LG stat.ML
Linking vision and motion for self-supervised object-centric perception
UC Berkeley（加州大学伯克利分校）；Wayve（Wayve公司）
本文提出仅以 RGB 视频和车辆位姿为输入的自监督对象中心感知模型，可融合多相机时序视角并跟踪车辆与行人。
2023-07-14 cs.CV
Beyond Appearance: a Semantic Controllable Self-Supervised Learning Framework for Human-Centric Visual Tasks
Alibaba Group（阿里巴巴集团）
以人为中心的视觉任务由于其广泛的应用而引起了越来越多的研究关注。在本文中，我们的目标是从大量未标记的人类图像中学习一个通用的人类表示，这可以最大限度地有利于下游以人为中心的任务。我们称这种方法为SOLIDER，一个语义可控的自监督学习框架。与现有的自监督学习方法不同，SOLIDER利用人类图像的先验知识来构建伪语义标签，并将更多的语义信息导入到学习的表示中。同时，我们注意到，不同的下游任务总是需要不同的比例的语义信息和外观信息。例如，人类解析需要更多的语义信息，而人的重新识别需要更多的外观信息用于识别目的。因此，单一的学习表示不能满足所有要求。为了解决这个问题，SOLIDER引入了一个带有语义控制器的条件网络。在模型被训练之后，用户可以将值发送到控制器以产生具有不同语义信息比率的表示，这可以适应下游任务的不同需求。最后，SOLIDER在六个下游以人为中心的视觉任务上进行了验证。它超越了最先进的技术，并为这些任务建立了新的基准。代码发布在https://github.com/tinyvision/SOLIDER上。
2023-03-30 cs.CV
Towards Self-Supervised Learning of Global and Object-Centric Representations
KTH - Royal Institute of Technology（KTH皇家理工学院）
自我监督允许学习自然图像的有意义的表示，通常包含一个中心对象。它如何很好地转移到多实体场景？我们讨论了学习结构化的以对象为中心的表示与自我监督的关键方面，并通过CLEVR数据集上的几个实验来验证我们的见解。关于架构，我们确认竞争的重要性，注意力为基础的对象发现，其中每个图像补丁是专门参加一个对象。对于训练，我们表明，配备匹配的对比损失可以直接应用于潜在空间，避免基于像素的重建。然而，这样的优化目标对假阴性（重复出现的对象）和假阳性（匹配错误）敏感。因此，需要仔细考虑数据增强和负样本选择。
2022-04-13 cs.CV
Semi-Supervised Vision-Centric 3D Occupancy World Model for Autonomous Driving
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对自动驾驶3D占用世界模型依赖高成本3D标签的问题，提出半监督视觉中心模型PreWorld，通过自监督预训练（利用2D标签）和全监督微调两阶段训练，在nuScenes数据集上的多任务中取得竞争力性能。
2025-02-11 cs.CV
Distributionally Robust Semi-Supervised Learning for People-Centric Sensing
University of New South Wales（新南威尔士大学）；Monash University（莫纳什大学）；University of Technology Sydney（悉尼科技大学）；Griffith University（格里菲斯大学）
半监督学习对于减轻以人为中心的感知中的标签负担至关重要。然而，由于人类的不同生物条件和行为模式，人类生成的数据固有地遭受半监督学习中的分布偏移。为了解决这个问题，我们提出了一个通用的分布鲁棒模型的半监督学习分布移位数据。考虑到标记数据和未标记数据之间的差异性和一致性，我们学习潜在特征，减少特定于人的差异和保持特定于任务的一致性。我们在现实世界数据集上的各种以人为本的识别任务中评估了我们的模型，包括意图识别，活动识别，肌肉运动识别和手势识别。实验结果表明，该模型优于现有的方法。
2018-11-12 cs.CV cs.HC
CLIP-Guided Adaptable Self-Supervised Learning for Human-Centric Visual Tasks
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS), and University of Chinese Academy of Sciences（智能信息处理重点实验室，计算技术研究所（ICT），中国科学院（CAS）及中国科学院大学）
CLASP通过CLIP生成多级语义伪标签，并结合Prompt-Controlled MoE模块提升迁移性，实现人类中心视觉任务的高效预训练。
2026-01-19 cs.CV
Self-supervised Object-Centric Learning for Videos
Koç University（科奇大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；KUIS AI Center（KUIS人工智能中心）
提出首个完全无监督的视频多对象分割方法，通过对象中心学习框架在帧内绑定对象到槽并跨帧关联，以重建中间帧特征为目标，采用掩码策略和槽合并，成功分割YouTube视频中的复杂对象。
2023-10-10 cs.CV
A data-centric approach for improving ambiguous labels with combined semi-supervised classification and clustering
Kiel University（基尔大学）；Sorbonne Université（索邦大学）；University of Bonn（波恩大学）
一致的高数据质量对于深度学习领域的新型损失函数和架构的开发至关重要。这些数据和标签的存在通常是假定的，而在许多情况下，获取高质量的数据集仍然是一个主要问题。在现实世界的数据集中，我们经常遇到由于注释者的主观注释而导致的模糊标签。在我们以数据为中心的方法中，我们提出了一种方法来重新标记这种模糊的标签，而不是在神经网络中实现对这个问题的处理。根据定义，硬分类不足以捕获数据的真实世界模糊性。因此，我们提出了我们的方法“以数据为中心的分类和聚类（DC3）”，它结合了半监督分类和聚类。它自动估计图像的模糊性，并根据该模糊性执行分类或聚类。DC3本质上是通用的，因此它可以与许多半监督学习（SSL）算法一起使用。平均而言，这导致分类的F1分数提高了7.6%，并且在多个评估的SSL算法和数据集上聚类的内部距离降低了7.9%。最重要的是，我们给出了一个概念证明，DC3的分类和聚类是有益的，建议手动细化这种模糊的标签。总的来说，SSL与我们的方法DC3的组合可以在注释过程中更好地处理模糊标签。
2022-10-06 cs.CV
Object-Centric Multiple Object Tracking
Amazon Web Services（亚马逊云科技）；The Chinese University of Hong Kong（香港中文大学）；Fudan University（复旦大学）
本文提出一种以对象为中心的视频多目标跟踪模型，通过索引合并和对象记忆模块，仅需稀疏检测标签且无需ID标签，显著缩小了与全监督方法的差距并优于无监督跟踪器。
2023-09-05 cs.CV
Rethinking Amodal Video Segmentation from Learning Supervised Signals with Object-centric Representation
Fudan University（复旦大学）；Amazon Web Service（亚马逊云科技）
本文提出EoRaS方法，通过以对象为中心的监督信号、BEV投影引入3D信息以及多视角融合时间模块，有效解决视频非模态分割中运动流受相机移动和对象形变限制的问题，并在多个基准上取得最优性能。
2023-09-23 cs.CV
Oh-A-DINO: Understanding and Enhancing Attribute-Level Information in Self-Supervised Object-Centric Representations
Heinrich Heine University（海因里希·海涅大学）；Technical University of Dortmund（多特蒙德工业大学）
该研究发现自监督视觉模型及基于槽的物体表征难以保留颜色、材质等非几何表面属性，通过在分割块上学习经VAE正则化的辅助潜空间可恢复这些属性，提升多物体实例检索效果。
2025-10-01 cs.CV cs.LG
BINO: Encoder Centric Self Supervised Stereo With Native Pair Input
Imperial College London（伦敦帝国学院）
BINO通过在输入阶段融合校正对，生成立体微细胞标记，并使用行感知的补丁相位位置编码，探索在紧凑编码器中学习强立体结构的可能性，在低资源条件下表现优异。
2026-03-29 cs.CV
An Effective Motion-Centric Paradigm for 3D Single Object Tracking in Point Clouds
the Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Westlake University（西湖大学）
提出一种运动中心范式M^2-Track，通过运动变换与形状补全实现无匹配的三维点云单目标跟踪，在三个数据集上显著超越现有方法，并支持半监督学习。
2023-10-12 cs.CV
Self-supervised Scene Text Segmentation with Object-centric Layered Representations Augmented by Text Regions
University of Science and Technology of China（中国科学技术大学）；Suzhou Institute for Advanced Research, University of Science and Technology of China（中国科学技术大学苏州高等研究院）
针对文本分割像素级标签成本高、合成数据与真实场景分布差异大的问题，提出带区域查询模块和表示一致性约束的自监督场景文本分割算法，无需像素标注和合成预训练，性能优于现有无监督SOTA。
2023-08-25 cs.CV
VESSA: Video-based objEct-centric Self-Supervised Adaptation for Visual Foundation Models
Departamento de Ciência da Computação, Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院计算机科学系（UFMG））；Recod.ai, Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)（Recod.ai，计算机学院，坎皮纳斯州立大学（UNICAMP））；Google DeepMind（谷歌DeepMind）
VESSA提出一种基于视频的以对象为中心的自监督适应方法，利用短时多视角视频和自蒸馏，无需标注即可适应新领域，在分类任务上优于基础模型和先前方法。
2025-10-23 cs.AI cs.CV cs.LG
3D-DLP: Self-Supervised 3D Object-Centric Scene Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
提出3D-DLP模型，通过自监督学习将场景级RGB-D或体素观测分解为3D潜在粒子，每个粒子编码解耦属性，实现可解释的逐粒子分割图，并支持场景操控和下游机器人操作。
2026-06-19 cs.CV cs.LG cs.RO
Analysis of Spatial augmentation in Self-supervised models in the purview of training and test distributions
KU Leuven（鲁汶大学）；ESAT-PSI
本文分析了自监督模型中随机裁剪和剔除等空间增强技术，提出将随机裁剪分离为重叠和图像块，并引入基于距离的边界改进不变性损失，以提升场景中心表示在对象中心下游任务中的性能。
2024-09-26 cs.CV
ParticleSplat: Self-supervised Object-centric Latent Particle Splatting
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
ParticleSplat提出一种自监督的以对象为中心的3D潜在粒子泼溅方法，通过将多视图编码为3D高斯粒子来克服DLP的2D限制，实现无监督对象掩码和可控3D编辑，并提升机器人操作性能。
2026-09-18 cs.CV cs.RO
Advancing human-centric AI for robust X-ray analysis through holistic self-supervised learning
FAIR at Meta（Meta FAIR研究院）；Hôpital Cochin, AP-HP.Centre Université Paris Cité（科钦医院、巴黎大学中心公共医疗援助系统）；Université Paris Cité（巴黎大学）；CentraleSupélec, Université Paris-Saclay（巴黎萨克雷大学中央理工学院）
本文提出在873k张胸部X光片上自监督训练的大型视觉编码器RayDINO，在九项放射学任务中达到最先进性能，同时提升对未见群体的泛化能力并减轻群体、年龄和性别偏差。
2024-05-02 cs.AI cs.CV
Representation-Centric Survey of Supervised Skeletal Action Recognition and the New Benchmark
School of Computing, Australian National University（澳大利亚国立大学计算学院）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；OPPO US Research Center（OPPO美国研究中心）；Carnegie Mellon University（卡内基梅隆大学）；University of Western Australia（西澳大利亚大学）；Curtin University（Curtin大学）；School of Engineering and Built Environment, Griffith University（格里菲斯大学工程与环境学院）；School of Medicine, Yale University（耶鲁大学医学院）
本文以输入表示类型（关节坐标、骨骼向量、运动流及扩展表示）为中心，系统综述了监督式3D骨骼动作识别方法，并提出了包含多视角、复杂多人交互等挑战的大规模数据集ANUBIS，通过实验揭示了动作-特征依赖关系及多表示融合的局限性。
2026-05-30 cs.CV
Efficient Object-centric Representation Learning with Pre-trained Geometric Prior
Dublin City University（都柏林城市大学）
提出一种利用预训练几何先验的弱监督框架，通过高效槽解码器实现无需深度信息的多对象场景表示，在合成视频基准上达到与监督方法相当的性能且保持计算效率。
2024-12-16 cs.CV cs.MM
SSL-R1: Self-Supervised Visual Reinforcement Post-Training for Multimodal Large Language Models
Max Planck Institute for Informatics, SIC（马克斯·普朗克信息研究所，SIC）；VIA Research Center（VIA研究中心）；Google（谷歌）
SSL-R1通过自监督学习生成可验证奖励，提升多模态大语言模型的推理能力，无需人工或外部监督，有效增强视觉理解。
2026-04-22 cs.CV
Weakly Supervised Concept Learning for Object-centric Visual Reasoning
University of Lübeck（吕贝克大学）；University of Bamberg（巴马克大学）；University of Ulm（乌尔姆大学）
本文提出一种高效的弱监督方案，结合槽式架构和VAE实现对象中心推理任务中的符号 grounding，减少监督至1%并提升域泛化能力。
2026-05-05 cs.AI cs.CV cs.LG
Coarse Is Better? A New Pipeline Towards Self-Supervised Learning with Uncurated Images
State Key Laboratory for Novel Software Technology（计算机软件新技术国家重点实验室）；Nanjing University（南京大学）
针对未筛选场景图像不满足以对象为中心假设的问题，提出先裁剪粗糙对象区域再进行 SSL 的新流程及对象框生成策略，在多任务上优于 MoCo-v2、DenseCL 和 MAE。
2023-09-29 cs.CV
End-to-End Supervised Multilabel Contrastive Learning
University of Toronto（多伦多大学）
本文提出端到端多标签对比学习框架KMCL，通过核表示重建、非对称分类和对比损失同时解决标签依赖与样本不平衡问题，并在图像分类上优于SOTA方法。
2023-07-08 cs.CV
Finding Distributed Object-Centric Properties in Self-Supervised Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Queensland（昆士兰大学）；UC Merced（加州大学默塞德分校）
本文分析了自监督视觉变压器中对象中心属性的分布式编码机制，提出Object-DINO方法通过聚类注意力头提升无监督对象发现和多模态大语言模型的视觉 grounding。
2026-03-27 cs.AI cs.CL cs.CV
H-MoRe: Learning Human-centric Motion Representation for Action Analysis
Michigan State University（密歇根州立大学）
本文提出H-MoRe，一种自监督学习的以人为中心的运动表示管道，通过世界-局部流捕捉人体运动细节，在步态识别等下游任务中显著提升性能且推理高效。
2025-04-14 cs.CV
HM3D-ABO: A Photo-realistic Dataset for Object-centric Multi-view 3D Reconstruction
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
三维物体重建是计算机视觉的一项重要任务，在增强现实/虚拟现实中有着广泛的应用。为此任务开发的深度学习算法通常依赖于不切实际的合成数据集，例如ShapeNet和Things 3D。另一方面，现有的真实捕获的以对象为中心的数据集通常没有足够的注释来进行监督训练或可靠的评估。在本技术报告中，我们介绍了一个照片级逼真的以对象为中心的数据集HM 3D-ABO。它是由真实感的室内场景和真实感的物体组合而成。对于每种配置，我们提供多视图RGB观察，对象的防水网格模型，地面真实深度图和对象掩码。所提出的数据集也可以用于相机姿态估计和新颖视图合成等任务。数据集生成代码在https://github.com/zhenpeiyang/HM3D-ABO上发布。
2022-06-24 cs.CV
YOLOv8 for Defect Inspection of Hexagonal Directed Self-Assembly Patterns: A Data-Centric Approach
Faculty of Science, KU Leuven（KU Leuven理学院）；Interuniversity Microelectronics Centre (imec)（校际微电子中心）；Politecnico di Milano（米兰理工大学）
针对半导体六边形定向自组装图案缺乏高质量标注数据集的问题，提出一种仅需专家最少质控的标注方法，并验证YOLOv8在最终数据集上实现了超过0.9 mAP的缺陷检测精度。
2023-07-28 cs.CV
CrIBo: Self-Supervised Learning via Cross-Image Object-Level Bootstrapping
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）；CHUV（洛桑大学医院）
本文提出CrIBo，一种跨图像对象级自举的自监督方法，通过训练中的对象级最近邻自举增强密集表示学习，并在上下文学习及下游分割任务中取得优异性能。
2024-03-03 cs.CV cs.LG
Test-time Adaptation with Slot-Centric Models
Carnegie Mellon University（卡内基梅隆大学）；Mila（米拉研究所）；DeepMind（深度思维）；Google Research（谷歌研究院）
针对视觉检测器在分布外场景分解能力不足的问题，提出半监督的以槽为中心的模型Slot-TTA，通过在测试时对重建或跨视图合成目标进行梯度下降适应，显著提升了图像和3D点云的分布外泛化性能。
2023-06-27 cs.AI cs.CV cs.LG
SSR: Similarity-Shift Refinement for Training-Free Object-Centric Masks
针对以物体为中心模型生成掩码的缺陷，提出无训练后处理方法SSR，借助冻结自监督视觉Transformer优化掩码，在多类基准测试中显著提升全像素调整兰德指数，为掩码优化提供可迁移信号。
2026-08-04 cs.CV
Use of Affective Visual Information for Summarization of Human-Centric Videos
Koç University（科奇大学）
越来越多的用户生成的以人为中心的视频内容及其应用，如视频检索和浏览，需要紧凑的表示，解决了视频摘要文献。目前的监督研究将视频摘要描述为一个序列到序列的学习问题，现有的解决方案往往忽略了以人为中心的观点，其中固有的情感内容的激增。在这项研究中，我们研究了情感信息丰富的监督视频摘要任务，以人为中心的视频。首先，我们在RECOLA数据集上训练一个视觉输入驱动的最先进的连续情感识别模型（CER-NET）来估计情感属性。然后，我们将估计的情感属性和高级表示从CER-NET与视觉信息，以定义建议的情感视频摘要架构（AVSUM）。此外，我们调查使用的注意力，以改善AVSUM架构，并提出了两个新的架构，基于时间的注意力（TA-AVSUM）和空间的注意力（SA-AVSUM）。我们在TvSum数据库上进行视频摘要实验。所提出的AVSUM-GRU架构与早期融合的高级别GRU嵌入和基于时间注意力的TA-AVSUM架构，通过为以人为中心的视频带来强大的性能改进，实现了具有竞争力的视频摘要性能相比，最先进的F分数和自定义的人脸召回指标。
2021-07-08 cs.CV cs.HC
Care about you: towards large-scale human-centric visual relationship detection
The University of Adelaide（阿德莱德大学）
视觉关系检测旨在捕捉图像中对象对之间的相互作用。对象和人之间的关系代表了这个问题的一个特别重要的子集，涉及到诸如理解人类行为和识别启示等挑战。为了解决这个问题，我们首先构建了一个大规模的以人为中心的视觉关系检测数据集（HCVRD），它提供了比以前发布的数据集更多类型的关系注释（近10K类别）。这个大的标签空间更好地反映了人与对象交互的现实，但会产生长尾分布问题，这反过来又需要一种zero-shot方法来处理只出现在测试集中的标签。这是第一次讨论这个问题。我们提出了一个网络监督的方法来解决这些问题，并证明了所提出的模型提供了一个强大的基线上我们的HCVRD数据集。
2017-05-28 cs.CV
Is one annotation enough? A data-centric image classification benchmark for noisy and ambiguous label estimation
Kiel University（基尔大学）；Friedrich-Loeffler-Institut（弗里德里希·勒夫勒研究所）；Sorbonne Université（索邦大学）；Rzeszow University of Technology（热舒夫理工大学）；University Bonn（波恩大学）；University of Helsinki（赫尔辛基大学）；Natural Resources Institute Finland（芬兰自然资源研究所）；University of Veterinary Medicine Hannover（汉诺威兽医大学）
高质量的数据是现代机器学习的必要条件。然而，由于人类的嘈杂和模糊的注释，这种数据的获取是困难的。聚集这些注释以确定图像的标签导致较低的数据质量。我们提出了一个以数据为中心的图像分类基准，每个图像有十个真实世界的数据集和多个注释，使研究人员能够调查和量化这些数据质量问题的影响。使用基准测试，我们可以通过将一种新的方法应用于一系列不同的算法和不同的数据集，来研究注释成本和（半）监督方法对图像分类数据质量的影响。我们的基准测试使用两个阶段的方法，通过在第一阶段的数据标签改进方法和固定的评估模型在第二阶段。因此，我们给出了输入标记工作与（半）监督算法性能之间关系的度量，以便更深入地了解如何创建标签以进行有效的模型训练。在成千上万的实验中，我们表明，一个注释是不够的，包括多个注释可以更好地近似真实的底层类分布。我们发现，硬标签不能捕捉数据的模糊性，这可能会导致过度自信的模型的共同问题。基于所提出的数据集，基准方法和分析，我们为未来创造了多个研究机会，旨在改进标签噪声估计方法，数据注释方案，逼真的（半）监督学习或更可靠的图像收集。
2022-11-04 cs.CV
Cross-view and Cross-pose Completion for 3D Human Understanding
NAVER LABS Europe（NAVER欧洲实验室）
针对人体视觉预训练的域偏移和标注难问题，提出基于跨视角、跨姿态人体图像对遮挡重建的自监督预训练方法，在多类人体下游任务上性能超越现有方法。
2024-04-18 cs.CV
Mask-supervised Object-centric Representation Learning with LeJEPA
Biomedical Image Computing Group, ETH Zurich（苏黎世联邦理工学院生物医学图像计算组）
提出以对象为中心的LeJEPA方法，通过使用SAM提供的对象掩码，在对象级别对齐表示，避免场景级自监督方法的数据低效和不稳定性，在跟踪、分类、分割和重识别任务上优于图像级LeJEPA。
2026-10-06 cs.CV cs.LG
Entity-Centric World Models: Interaction-Aware Masking for Causal Video Prediction
Genentech, Inc.（基因泰克公司）
本文提出IA-JEPA，通过运动中心的自监督掩码策略，优先捕捉物理交互，提升因果推理任务的准确性，并在真实世界动作和物理谜题中验证了其泛化能力。
2026-06-08 cs.CV
Self-Supervised Ranking for Representation Learning
KU Leuven（鲁汶大学）；ETH Zurich（苏黎世联邦理工学院）
我们提出了一个新的框架，自监督表示学习，制定它作为一个排名问题，在图像检索上下文中的大量随机视图（增强）从图像中获得。我们的工作是基于两个直觉：第一，一个良好的图像表示必须产生一个高质量的图像排名在检索任务;第二，我们希望随机视图的图像排名更接近该图像的参考视图比其他图像的随机视图。因此，我们将表示学习建模为图像检索的学习排序问题。我们训练表示编码器通过最大化平均精度（AP）的排名，其中图像的随机视图被认为是正相关的，而其他图像被认为是负相关的。新的框架，被称为S2 R2，能够计算多个视图的全局目标，相比之下，在流行的对比学习框架，这是对视图计算的本地目标。原则上，通过使用排名标准，我们消除了对以对象为中心的策展数据集的依赖。当在STL 10和MS-COCO上训练时，S2 R2的性能优于Simplified和基于聚类的对比学习模型SwAV，同时在概念和实现上都要简单得多。在MS-COCO上，S2 R2的性能优于SwAV和Simplified，其裕度大于ST 110。这表明S2 R2在不同的场景中更有效，并且可以消除对以对象为中心的大型训练数据集的需求，以用于自监督表示学习。
2020-11-20 cs.CV
Actor-Centric Relation Network
Google Research（谷歌研究院）
目前最先进的时空动作定位方法依赖于帧级的检测和3D ConvNets的时间上下文模型。在这里，我们更进一步，对时空关系进行建模，以捕获人类演员，相关对象和场景元素之间的交互，这些元素对于区分类似的人类行为至关重要。我们的方法是弱监督和挖掘相关元素自动与演员为中心的关系网络（ACRN）。ACRN计算和积累成对的关系信息，从演员和全局场景的功能，并产生的关系特征的动作分类。它被实现为神经网络，并且可以与现有的动作检测系统联合训练。我们表明，ACRN优于其他方法，捕捉关系信息，并建议的框架提高了国家的最先进的性能JHMDB和AVA。可视化的学习关系的功能，证实了我们的方法是能够参加到每个动作的相关关系。
2018-07-28 cs.CV
Object-Centric Representation Learning from Unlabeled Videos
University of Texas at Austin（德克萨斯大学奥斯汀分校）
监督（预）训练目前为视觉识别的表示学习提供了最先进的性能，但它的代价是（1）密集的手动注释和（2）与学习相关的数据范围的固有限制。在这项工作中，我们探索了从未标记视频中进行无监督特征学习。我们介绍了一种新的以对象为中心的方法，时间的连贯性，鼓励类似的表示学习对象从附近的帧分割的区域。我们的框架依赖于Siamese-triplet网络来训练深度卷积神经网络（CNN）表示。与现有的时间相干性方法相比，我们的想法具有未标记视频的轻量级预处理（不需要跟踪）的优点，同时仍然能够提取从中学习不变性的对象级区域。此外，正如我们在几个标准数据集上的结果所示，我们的方法通常在图像分类和检索任务的竞争无监督方法上实现了实质性的准确性增益。
2016-12-01 cs.CV
Canonical Capsules: Self-Supervised Capsules in Canonical Pose
University of British Columbia（不列颠哥伦比亚大学）；University of Victoria（维多利亚大学）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）
我们提出了一个自监督胶囊架构的三维点云。我们通过置换等变注意力计算对象的胶囊分解，并通过随机旋转对象对的训练来自我监督过程。我们的主要思想是将注意力掩码聚合成语义关键点，并使用这些来监督满足胶囊不变性/等变性属性的分解。这不仅可以训练语义一致的分解，还可以让我们学习规范化操作，从而实现以对象为中心的推理。为了训练我们的神经网络，我们既不需要分类标签，也不需要手动对齐的训练数据集。然而，通过以自我监督的方式学习以对象为中心的表示，我们的方法在3D点云重建，规范化和无监督分类方面优于最先进的方法。
2021-11-24 cs.CV cs.LG
Cycle Consistency in Video Object-Centric Learning
Department of Electrical Engineering and Automation, Aalto University, Espoo, Finland（艾洛大学电气工程与自动化系，芬兰 Espoo）；School of Artificial Intelligence and Automation, Huazhong University of Science and Technology, Wuhan, China（华中科技大学人工智能与自动化学院，中国 Wuhan）；Department of Computer Science, Aalto University, Espoo, Finland（艾洛大学计算机科学系，芬兰 Espoo）；Center for Machine Vision and Signal Analysis, University of Oulu, Oulu, Finland（奥卢大学机器视觉与信号分析中心，芬兰 Oulu）
针对视频目标中心学习中潜在槽空间难以直接应用循环一致性的问题，提出隐式循环一致性（ICC），将约束从槽空间转移到连续重建流形，避免特征坍塌并提升性能。
2026-05-28 cs.CV
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University（阿尔托大学）
随着最近成功的Transformers的视觉域的适应，特别是当训练在一个自我监督的方式，它已被证明，视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务，在图像中的对象分割。在本文中，我们建立在掩蔽自动编码的自我监督任务的基础上，并探索其有效性，以明确学习以对象为中心的表示与Transformers。为此，我们设计了一个以对象为中心的自编码器，只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明，该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
V-GIFT: Boosting Visual Instruction Tuning with Self-Supervised Guidance
Sorbonne Universite, CNRS, ISIR, F-75005 Paris, France（索邦大学、国家科学研究中心、ISIR、法国巴黎75005）；Institut universitaire de France (IUF)（法国国家科学院（IUF））
本文提出一种轻量方法，通过加入少量视觉基础自监督任务提升MLLMs的视觉推理能力，无需人工标注或架构修改，有效提升视觉中心评估性能。
2026-10-16 cs.CV
Benchmarking and Learning Object-Centric Procedural Understanding in Instructional Videos
Michigan State University（密歇根州立大学）
本文提出ProcObject-10K，首个评估教学视频中以对象为中心推理和时间证据定位的基准，涵盖137个任务和五种推理类型，揭示模型在对象动态理解上的不足。
2026-10-30 cs.CV
SlotVTG: Object-Centric Adapter for Generalizable Video Temporal Grounding
Kyung Hee University（庆熙大学）；University of Southern California（南加州大学）
SlotVTG通过引入轻量级槽适配器，使MLLMs在最小成本下实现对象中心的输入关联视觉推理，提升跨域鲁棒性的同时保持领域内性能。
2026-03-26 cs.CV
OTAS: Unsupervised Boundary Detection for Object-Centric Temporal Action Segmentation
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai AI Lab（上海人工智能实验室）
本文提出无监督框架OTAS，利用自监督全局与局部特征融合进行时序动作分割的边界检测，实验显示其F1分数较先前最优方法平均提升41%，并支持实时推理。
2023-09-12 cs.CV
