Self-supervised learning of a facial attribute embedding from video
University of Oxford（牛津大学）
我们提出了一个自我监督的框架，通过简单地观看人脸说话，大笑和移动的视频来学习面部属性。为了执行这项任务，我们引入了一个网络，面部属性网（FAb-Net），它被训练成将来自同一视频面部跟踪的多个帧嵌入到一个公共的低维空间中。通过这种方法，我们做出了三个贡献：首先，我们表明网络可以通过预测每个帧的置信度/注意力掩码来利用来自多个源帧的信息;其次，我们证明使用课程学习制度可以提高学习的嵌入;最后，我们证明了网络学习一个有意义的人脸嵌入，编码有关头部姿势，面部标志和面部表情的信息，即面部属性，而没有用任何标记的数据进行监督。在这些任务上，我们与最先进的自监督方法相当或优于自监督方法，并接近监督方法的性能。
2018-08-21 cs.CV
Self-supervised Learning of Pose Embeddings from Spatiotemporal Relations in Videos
Heidelberg Collaboratory for Image Processing（海德堡图像处理合作实验室）；IWR, Heidelberg University（海德堡大学跨学科科学计算中心）
人体姿势分析目前由深度卷积网络主导，该网络通过对关节位置及其他位置的大量手动注释进行训练。为了避免昂贵的标签的需要，我们利用时空关系的训练视频的姿态嵌入的自监督学习。其关键思想是将时间排序和空间位置估计相结合，作为学习Siamese卷积网络中姿势相似性的辅助任务。由于从自然视频中对两个任务进行自监督采样可能会导致模糊和不正确的训练标签，因此我们的方法采用了课程学习的思想，即从最可靠的数据样本开始训练，并逐渐增加难度。为了进一步完善训练过程，我们挖掘了单个视频中的重复姿势，这些姿势提供了可靠的标签，同时消除了不一致。我们的姿势嵌入捕捉人体姿势的视觉特征，可以提高现有的监督表示在人体姿势估计和检索。我们在奥林匹克运动会，利兹姿势运动和MPII人体姿势数据集中报告了这些任务的定量和定性结果。
2017-08-07 cs.CV
Weakly Supervised Deep Image Hashing through Tag Embeddings
Arizona State University（亚利桑那州立大学）
许多语义图像散列的方法已经被公式化为利用图像和标签信息来学习二进制散列码的监督学习问题。然而，大规模的标记图像数据是昂贵的获得，从而施加限制，这样的算法的使用。另一方面，未标记的图像数据是丰富的，由于存在许多Web图像库。这样的Web图像可能经常带有包含有用信息的图像标签，尽管原始标签通常不容易导致语义标签。在这种情况下，我们制定的语义图像散列的问题作为一个弱监督学习问题。我们利用用户生成的与图像相关的标签中包含的信息来学习哈希码。更具体地说，我们提取标签的word2vec语义嵌入，并使用其中包含的信息来约束学习。因此，我们将我们的模型命名为使用标签嵌入的弱监督深度哈希（WDHT）。WDHT的语义图像检索的任务进行了测试，并对几个国家的最先进的模型进行了比较。结果表明，我们的方法在每周监督图像散列领域开创了一个新的领域。
2019-01-28 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens（雅典国立技术大学）
检测视觉关系，即<Subject，Predicate，Object>三元组，是一个具有挑战性的场景理解任务，过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构，多模态注意翻译嵌入，其中每个分支的视觉特征由多模态注意机制驱动，该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中，以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明，所提出的方法明显优于所有其他方法，同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
Deep Reinforcement Learning with Label Embedding Reward for Supervised Image Hashing
Nanyang Technological University（南洋理工大学）；Ant Financial Services Group, Alibaba Inc.（蚂蚁金融服务集团，阿里巴巴公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
深度哈希在图像检索和识别方面显示出了很好的效果。尽管它的成功，大多数现有的深度哈希方法是相当相似的：无论是多层感知器或CNN应用于提取图像特征，其次是不同的二进制激活函数，如sigmoid，tanh或自动编码器生成二进制代码。在这项工作中，我们介绍了一种新的深度监督哈希决策方法。我们将散列问题描述为遍历二进制代码空间中的顶点，并学习一个深度Q网络，该网络具有由Bose-Chaudhuri-Hocquenghem（BCH）代码定义的新型标签嵌入奖励，以探索最佳路径。在CIFAR-10和NUS-WIDE数据集上进行的大量实验和分析表明，我们的方法在各种代码长度下的性能优于最先进的监督散列方法。
2020-08-10 cs.CV
Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud
Saint Mary’s University（圣玛丽大学）
本文提出Point-JEPA，一种针对点云的自监督联合嵌入预测架构，通过排序器高效利用块嵌入邻近性，在避免输入空间重建和额外模态的同时取得与最先进方法相当的性能。
2025-02-09 cs.CV
Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室）
该研究针对联合嵌入自监督学习提出小批量外数据集级正则化，在SimCLR、SIGReg等方法上提升了小批量下多任务性能，且使批量大小不再影响正则化器几何结构。
2026-10-14 cs.CV
3D Weakly Supervised Semantic Segmentation with 2D Vision-Language Guidance
College of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机与软件学院）；Meituan Inc.（美团公司）；University of Trento（特伦托大学）；Peking University（北京大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出3DSS-VLG方法，通过2D视觉-语言模型中的图像与文本嵌入对3D点云进行弱监督语义分割，在S3DIS和ScanNet上取得领先性能并保持强泛化能力。
2024-08-30 cs.CV
Flow Based Self-supervised Pixel Embedding for Image Segmentation
CuraCloud（库拉云）
我们提出了一种新的自监督的方法，从运动线索的图像特征学习。这种新方法在两个方向上利用了深度学习的最新进展：1）训练深度神经网络在使用合成流数据估计真实数据中的光流方面的成功;以及2）从运动线索（如光流）学习图像特征的新兴工作。在此基础上，我们证明了图像特征可以通过首先用合成流数据训练光流估计器，然后从真实运动数据中的估计流学习图像特征来学习自我监督。我们演示和评估这种方法的图像分割任务。使用学习的图像特征表示，该网络在Few-Shot分割任务中的表现明显优于从头开始训练的网络。
2019-01-08 cs.CV
Semi-TCL: Semi-Supervised Track Contrastive Representation Learning
Amazon AWS AI（亚马逊AWS人工智能）
视频中多个目标的在线跟踪需要很强的建模和匹配能力。以往的外观嵌入学习方法大多依赖于实例级匹配，而没有考虑视频提供的时间连续性。我们设计了一个新的实例到跟踪匹配目标来学习外观嵌入，将候选检测与跟踪器中持久化的跟踪嵌入进行比较。它使我们不仅可以从标记有完整曲目的视频中学习，还可以从未标记或部分标记的视频中学习。我们遵循“主动放弃”的精神，以统一的形式实现这一学习目标。在多个目标跟踪数据集上的实验表明，我们的方法可以有效地学习有区别的外观嵌入在一个半监督的方式，并优于最先进的方法在代表性的基准。
2021-07-06 cs.CV
Self-supervised Learning of Contextualized Local Visual Embeddings
Institute of Computing（计算研究所）；University of Campinas（坎皮纳斯大学）；Department of Informatics（信息学系）；University of Oslo（奥斯陆大学）
提出自监督卷积方法 CLoVE，通过归一化多头自注意力层学习上下文局部嵌入，在 4 项密集预测任务中实现 CNN 架构的 SOTA 性能。
2023-10-04 cs.CV
Self-Supervised Knowledge Transfer via Loosely Supervised Auxiliary Tasks
VisionAI, hutom；KAIST（韩国科学技术院）
使用卷积神经网络（CNN）的知识传递可以帮助有效地训练具有较少参数的CNN，或者在有限的监督下最大化泛化性能。为了在宽松的条件下更有效地传输预训练的知识，我们提出了一种简单而强大的知识传输方法，对所使用的网络结构或数据集没有任何限制，即自监督知识传输（SSKT），通过松散的监督辅助任务。为此，我们设计了一种训练方法，将以前学到的知识转移到当前的训练过程中，作为目标任务的辅助任务，通过使用软标签的自我监督。SSKT独立于网络结构和数据集，并且与现有的知识转移方法不同地训练;因此，它的优势在于从各种任务中获得的先验知识可以在训练过程中自然地转移到目标任务。此外，它可以通过多源网络中不同问题域之间的知识转移来提高大多数数据集的泛化性能。SSKT优于其他迁移学习方法（KD，DML和MAXL），通过各种知识迁移设置下的实验。源代码将向公众开放。
2021-10-25 cs.CV
Self-supervised learning of visual features through embedding images into text topic spaces
Computer Vision Center, UAB（巴塞罗那自治大学计算机视觉中心）；CVIT, KCIS, IIIT Hyderabad（海得拉巴国际信息技术学院视觉信息技术中心）
针对新的计算机视觉问题的当前深度架构的从头开始的端到端训练将需要ImageNet规模的数据集，而这并不总是可能的。在本文中，我们提出了一种方法，能够利用免费提供的多模态内容的训练计算机视觉算法没有人的监督。我们提出了通过挖掘大规模的多模态（文本和图像）文档语料库来执行视觉特征的自监督学习的思想。我们表明，通过训练CNN来预测特定图像更有可能作为插图出现的语义上下文，可以有效地学习有区别的视觉特征。为此，我们利用隐藏的语义结构中发现的文本语料库与一个众所周知的主题建模技术。我们的实验表明，最先进的性能在图像分类，目标检测，和多模态检索相比，最近的自我监督或自然监督的方法。
2017-05-24 cs.CV
Self-supervised speaker embeddings
Omilia - Conversational Intelligence（Omilia对话智能公司）；Brno University of Technology（布尔诺理工大学）
与i向量相反，诸如x向量的说话人嵌入由于训练说话人的分类损失而不能利用未标记的话语。在本文中，我们探索了一种替代的训练策略，使未标记的话语在训练中使用。我们建议训练扬声器嵌入提取器通过重建的目标语音段的帧，给定的推断嵌入的另一个语音段的同一话语。我们通过将解码器网络附加到标准扬声器嵌入提取器来实现这一点，我们不仅提供扬声器嵌入，而且还提供目标帧序列的估计音素序列。重建损失可以作为一个单一的目标，或与标准的扬声器分类损失相结合。在后一种情况下，它充当正则化器，鼓励对训练期间未见过的说话者的泛化。在所有情况下，所提出的架构都是从头开始以端到端的方式进行训练的。我们展示了所提出的方法在VoxCeleb和扬声器在野外的好处，我们报告了显着的改善基线。
2019-04-23 cs.CV
Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）；Baidu VIS（百度视觉技术部）
本文的目标是视频对象分割的自监督学习。我们开发了一个统一的框架，同时模型跨帧密集对应的局部判别特征学习和嵌入目标掩码解码的对象级上下文。因此，它能够直接学习从未标记的视频中执行掩模引导的顺序分割，而不是以前的努力通常依赖于倾斜解决方案-根据像素相关性廉价地“复制”标签。具体地说，我们的算法交替i）聚类视频像素，用于创建伪分割标签，从无到有;和ii）利用伪标签来学习VOS的掩码编码和解码。无监督的对应学习进一步纳入这个自学，掩模嵌入方案，以确保学习表示的通用性，避免集群退化。我们的算法在两个标准基准上设置了最先进的技术（即，DAVIS 17和YouTube-VOS），在性能和网络架构设计方面缩小了自监督和全监督VOS之间的差距。
2023-03-17 cs.CV
Joint-Embedding Predictive Architecture for Self-Supervised Learning of Mask Classification Architecture
VUNO Inc.（VUNO公司）；POSTECH（浦项科技大学）
本研究提出专为掩码分类架构定制的自监督学习框架Mask-JEPA，结合联合嵌入预测架构解决自监督分割的两大关键挑战，在多个数据集上取得有竞争力的结果且具备良好通用性与鲁棒性。
2024-07-15 cs.CV
CELESTIAL: Classification Enabled via Labelless Embeddings with Self-supervised Telescope Image Analysis Learning
Carnegie Mellon University（卡内基梅隆大学）
遥感中常见的一类问题是场景分类，这是自然灾害识别、地理图像检索和环境监测的一项根本性重要任务。这一领域的最新发展依赖于标签依赖的监督学习技术，这与NASA GIBS中35 PB的未标记卫星图像相反。为了解决这个问题，我们建立了CELESTIAL-一个自监督学习管道，有效地利用稀疏标记的卫星图像。这个管道成功地适应了Simplified，这是一种算法，它首先在未标记的数据上学习图像表示，然后在提供的标签上微调这些知识。我们的结果表明，CELESTIAL只需要监督方法在实验数据集上达到相同精度所需的标签的三分之一。第一个无监督层可以实现应用程序，例如NASA Worldview的反向图像搜索（即以最少的样本在多年的未标记数据中搜索类似的大气现象），第二个有监督层可以显着降低昂贵的数据注释的必要性。将来，我们希望能够将CELESTIAL管道推广到其他数据类型、算法和应用程序。
2022-01-20 cs.CV
KD-MVS: Knowledge Distillation Based Self-supervised Learning for Multi-view Stereo
Megvii Research（旷视研究院）；Tsinghua University（清华大学）
针对有监督多视图立体方法需大量真实深度数据的难题，提出基于知识蒸馏的自监督训练框架KD-MVS，经自监督教师训练与概率知识迁移，学生模型性能超越教师及有监督方法。
2023-08-20 cs.CV
Self-Supervised Longitudinal Neighbourhood Embedding
Stanford University（斯坦福大学）；SRI International（斯坦福国际研究院）
纵向MRI通常用于捕获由衰老或神经系统疾病引起的大脑结构和功能的逐渐恶化。通过机器学习分析这些数据通常需要大量的地面实况标签，这些标签通常是缺失的或获取成本很高。为了减少对标签的需求，我们提出了一种自监督的表示学习策略，称为纵向邻域嵌入（LNE）。受对比学习中概念的启发，LNE明确地对不同受试者之间的轨迹向量之间的相似性进行建模。我们通过在每个训练迭代中构建一个图来定义潜在空间中的邻域，以便主题的进展方向遵循其邻居的方向。这导致在捕获大脑的全局形态变化的同时保持局部连续性的平滑轨迹场。我们将LNE应用于两项神经成像研究的纵向T1w MRI：由274名健康受试者组成的数据集和阿尔茨海默病神经成像倡议（ADNI，N=632）。平滑轨迹向量场的可视化和对下游任务的优异性能证明了所提出的方法在提取与正常衰老相关的信息和揭示神经退行性疾病的影响方面优于现有的自监督方法的优势。代码可在\url{https://github.com/ouyangjiahong/longitudinal-neighbourhood-embedding.git}上获得。
2021-06-17 cs.CV
Hierarchical Self-supervised Augmented Knowledge Distillation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
知识蒸馏通常涉及如何有效地定义知识并将知识从教师转移到学生。虽然最近的自监督对比知识实现了最佳性能，但强迫网络学习此类知识可能会损害原始类别识别任务的表示学习。因此，我们采用一种替代的自监督增强任务来引导网络学习原始识别任务和自监督辅助任务的联合分布。它被证明是一个更丰富的知识，以提高表示能力，而不失去正常的分类能力。此外，它是不完整的，以前的方法只传递的概率知识之间的最后层。我们建议将几个辅助分类器添加到分层中间特征映射中，以生成各种自监督知识，并执行一对一的传输以彻底教授学生网络。我们的方法显著超过了之前的SOTA SSKD，在CIFAR-100上平均提高了2.56\%，在广泛使用的网络对上ImageNet上提高了0.77\%。代码可在https://github.com/winycg/HSAKD上获得。
2022-07-23 cs.CV
Self-Supervised Learning from Web Data for Multimodal Retrieval
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
多模态图像和文本数据的自监督学习允许深度神经网络学习强大的特征，而无需人工注释数据。网络和社交媒体平台提供了几乎无限数量的这种多模态数据。在这项工作中，我们建议利用这些免费的可用数据来学习多模态图像和文本嵌入，旨在利用在文本域中学习的语义知识，并将其转移到语义图像检索的视觉模型。我们证明了所提出的流水线可以从具有相关texý out监督的图像中学习，并分析学习的联合图像和文本嵌入空间的语义结构。我们在三个不同的基准测试中对五种不同的最先进的文本嵌入进行了深入的分析和性能比较。我们表明，在基于文本的图像检索任务中，使用Web和社交媒体数据学习的嵌入与监督方法相比具有竞争力的性能，并且在目标数据中进行训练时，我们在MIRFlickr数据集中的表现明显优于最先进的技术。此外，我们展示了如何语义多模态图像检索可以使用学习嵌入，超越经典的实例级检索问题。最后，我们提出了一个新的数据集InstaCities 1 M，由Instagram图像及其相关文本组成，可用于图像-文本嵌入的公平比较。
2019-01-07 cs.CV
TextTopicNet - Self-Supervised Learning of Visual Features Through Embedding Images on Semantic Text Spaces
Carnegie Mellon University（卡内基梅隆大学）；IIIT Hyderabad（海得拉巴国际信息技术学院）；Computer Vision Center, Universitat Autonoma de Barcelona（巴塞罗那自治大学计算机视觉中心）；Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心 Eurecat）
基于深度学习的方法在计算机视觉中的巨大成功在很大程度上依赖于大规模训练数据集。这些注释丰富的数据集帮助网络学习有区别的视觉特征。收集和注释这些数据集需要大量的人力，并且注释仅限于流行的类集。作为替代方案，通过设计利用免费可用的自我监督的辅助任务来学习视觉特征在计算机视觉社区中变得越来越流行。本文提出了一种利用多模态上下文为计算机视觉算法训练提供自我监督的思想。我们表明，通过训练CNN来预测特定图像更有可能作为插图出现的语义文本上下文，可以有效地学习足够的视觉特征。更具体地说，我们使用流行的文本嵌入技术为深度CNN的训练提供自我监督。我们的实验表明，国家的最先进的性能相比，最近的自我监督或自然监督的方法在图像分类，目标检测，和多模态检索。
2018-07-04 cs.CV
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；National University of Singapore（新加坡国立大学）
单纯形嵌入（SEM）是通过自监督学习（SSL）学习的表示，其中表示被投影到$V$维度的$L$单纯形中，每个都使用softmax操作。该过程在预训练期间将表示条件化到受约束的空间上，并赋予组稀疏性的归纳偏差。对于下游分类，我们正式证明了SEM表示导致更好的泛化比未规范化的表示。此外，我们通过经验证明，使用SEM训练的SSL方法在自然图像数据集（如CIFAR-100和ImageNet）上的泛化能力有所提高。最后，当在下游分类任务中使用时，我们表明SEM特征表现出紧急语义一致性，其中小组学习特征明显预测语义相关类。
2022-09-30 cs.CV cs.LG
Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning
National Cancer Center（国家癌症中心）
提出Retro方法，通过为学生模型重用教师投影头解决嵌入蒸馏中的尺寸不匹配问题，在轻量级模型上显著优于现有技术并减少参数量。
2024-08-24 cs.AI cs.CV
S-JEA: Stacked Joint Embedding Architectures for Self-Supervised Visual Representation Learning
University of Aberdeen（阿伯丁大学）
针对自监督学习难以学习可分离分层语义表示的问题，提出堆叠联合嵌入架构（S-JEA），通过堆叠JEA使高层输入低层表示，学习可分离的语义层次，并在参数相当下达到传统JEA性能，可视化验证层次结构。
2024-11-04 cs.CV cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University（延世大学）；Bank of Korea（韩国银行）
本文提出单纯形到单纯形嵌入模型（SSEM）作为理论框架，分析监督对比学习中超参数对表示的影响，并给出防止类别坍缩的实用指导，且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Out-of-sample generalizations for supervised manifold learning for classification
Centre de recherche INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心）
用于数据分类的监督流形学习方法以结构保持的方式将驻留在高维环境空间中的数据样本映射到低维域，同时增强学习嵌入中不同类别之间的分离。大多数非线性监督流形学习方法只在最初可用的训练点上计算流形的嵌入，而嵌入到新点的泛化（称为流形学习中的样本外扩展问题）在分类应用中变得特别重要。在这项工作中，我们提出了一个半监督的方法来建立一个插值函数，提供了一个一般的监督流形学习算法的背景下，分类研究的样本外扩展。所提出的算法计算径向基函数（RBF）最小化的目标函数，由未标记的测试样本的总嵌入误差，定义为他们的距离嵌入自己的类的流形，以及一个正则化项，控制平滑的插值函数的方向依赖的方式。采用逐步逼近的方法，对测试数据的类标号和插值函数参数进行联合估计。人脸和目标图像上的实验结果表明，所提出的样本外扩展算法的分类流形建模的数据集的潜力。
2015-02-09 cs.CV cs.LG
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域，它将集群与深度神经网络（DNN）架构联系起来。深度聚类方法对高维数据进行下采样，这也可能与聚类损失有关。深度聚类也被引入到半监督学习（SSL）中。大多数SSL方法依赖于成对约束信息，这是一个矩阵，包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder，下采样高维数据的聚类嵌入点。据我们所知，这是第一个与传统分类器DNN架构相关的研究工作，具有成对损失减少技术。训练过程是半监督的，并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法，这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification
在训练用于土地覆盖语义分割的机器学习模型时，用作输入的卫星图像的可用性与支持监督学习的地面实况数据之间存在鲜明的对比。虽然每天都有数千张新的卫星图像免费提供，但获取地面实况数据仍然非常具有挑战性，耗时且成本高昂。在本文中，我们提出了嵌入地球的自我监督对比预训练方法，利用卫星图像的大量可用性，以提高下游密集土地覆盖分类任务的性能。在四个国家和两大洲进行了广泛的实验评估，我们使用我们提出的方法预训练的模型作为监督土地覆盖语义分割的初始化点，并观察到高达25%的绝对mIoU的显着改善。在测试的每一种情况下，我们都优于随机初始化，特别是当地面真实数据稀缺时。通过一系列的消融研究，我们探索了所提出的方法的质量，并发现学习功能可以在不同的区域之间推广，从而有可能使用所提出的预训练方案作为对地观测任务随机初始化的替代方案。代码将很快上传到https://github.com/michaeltrs/DeepSatModels。
2022-03-11 cs.CV cs.LG
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd（广州虎牙科技有限公司）；University of Oxford（牛津大学）
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能，他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发，我们提出了两个一般原则：1）单调递减和2）边际概率惩罚，用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同，我们提供了一个新的视角，将开集人脸识别视为一个信息传输问题。同时，该算法在保证更多干净信息的前提下，具有较好的泛化能力。提出了一种称为线性自动TS编码器（LASSE）的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明，LASSE有助于人脸嵌入获得更强的泛化能力，并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification
Key Laboratory of Intelligent Perception and Image Understanding of the Ministry of Education（教育部智能感知与图像理解重点实验室）；International Research Center for Intelligent Perception and Computation（国际智能感知与计算研究中心）；School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院）
提出不依赖模型预测的分层动态标注算法HDL，利用图像embeddings生成标签并与CLIP等编码器结合，验证了表示网络比分类网络更可靠，提升了半监督学习模型性能。
2024-04-26 cs.AI cs.CV
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple（苹果公司）
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征，这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中，我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹，以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量，称为可达性摘要，瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示，称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示，作为监督语义分割问题，我们定量地证明了可达性嵌入是语义上有意义的表示，并导致4-23%的性能增益，同时使用高达67%的轨迹数据，如使用精确度-召回曲线下的面积（AUPRC）度量所测量的，当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示，这些张量表示可以与其他图像源相结合，并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Locally Linear Embedding and its Variants: Tutorial and Survey
University of Waterloo（滑铁卢大学）
这是一篇关于局部线性嵌入（LLE）及其变体的教程和调查论文。LLE的思想是在嵌入空间中拟合流形的局部结构。在本文中，我们首先涵盖LLE，核LLE，逆LLE，和LLE的特征融合。然后，我们使用线性重构，特征函数和核映射来覆盖样本外嵌入。增量LLE被解释用于嵌入流数据。使用Nystrom近似和局部线性地标的地标LLE方法被解释用于大数据嵌入。我们介绍了使用残差方差，Procrustes统计量，保持邻域误差和局部邻域选择的邻居数的参数选择的方法。之后，监督LLE（SLLE），增强SLLE，SLLE投影，概率SLLE，监督引导LLE（使用Hilbert-Schmidt独立性准则）和半监督LLE解释监督和半监督嵌入。鲁棒LLE方法使用最小二乘问题和惩罚函数也被引入嵌入存在离群值和噪声。然后，我们介绍LLE与其他流形学习方法的融合，包括Isomap（即，ISOLLE）、主成分分析、Fisher判别分析、判别LLE和Isotop。最后，我们解释加权LLE中的距离，重建权重，或嵌入调整更好的嵌入，我们覆盖加权LLE变形分布数据，加权LLE使用发生概率，SLLE调整权重，修改LLE，迭代LLE。
2020-11-22 cs.CV cs.LG stat.ML
von Mises-Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning
University of Colorado, Boulder（科罗拉多大学博尔德分校）；Google Research（谷歌研究院）
最近的研究表明，利用softmax交叉熵的分类损失不仅对于固定集分类任务更优越，而且还优于专门为开放集任务开发的损失，包括少样本学习和检索。Softmax分类器已经使用不同的嵌入几何进行了研究-欧几里德，双曲和球形-并且已经声称一个或另一个的优越性，但它们没有系统地与仔细的对照进行比较。我们对各种固定集分类和图像检索任务的嵌入几何对softmax损失进行了实证调查。一个有趣的属性观察到的球形损失导致我们提出了一个概率分类的基础上的冯米塞斯-费舍尔分布，我们表明，它是竞争力与国家的最先进的方法，同时产生改进的开箱即用校准。我们要引导他们，引导他们。
2021-12-03 cs.CV cs.LG
ScribbleVC: Scribble-supervised Medical Image Segmentation with Vision-Class Embedding
Xiamen University（厦门大学）；University of Washington（华盛顿大学）；University of Electronic Science and Technology of China（电子科技大学）
提出ScribbleVC框架，通过多模态信息增强机制结合视觉与类别嵌入，并统一利用CNN和Transformer特征，在涂鸦监督下实现了优于现有方法的医学图像分割性能。
2023-07-30 cs.CV cs.MM
Uncertainty-aware Self-supervised 3D Data Association
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；Honda Research Institute（本田研究院）
3D对象跟踪器通常需要在大量带注释的数据上进行训练，这是昂贵且耗时的。相反，我们建议通过3D对象跟踪器的自监督度量学习来利用大量未标记的数据集，重点是数据关联。通过跨帧的自动目标检测和关联，廉价地获得未标记数据的大规模注释。我们展示了如何以原则性的方式使用这些自监督注释来学习对3D跟踪有效的点云嵌入。我们估计并将不确定性纳入自监督跟踪中，以学习更强大的嵌入，而不需要任何标记数据。我们设计嵌入来区分帧间的对象，并使用不确定性感知的自我监督训练来学习它们。最后，我们展示了他们跨帧执行准确数据关联的能力，以实现有效和准确的3D跟踪。项目视频和代码在https://jianrenw.github.io/Self-Supervised-3D-Data-Association。
2020-08-18 cs.CV cs.RO
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech（基因泰克）；Brown University（布朗大学）；Meta AI, FAIR（Meta AI，FAIR）
本文通过闭式解分析，证明在自监督学习中，当不相关特征幅度较大时，联合嵌入方法因对齐条件更弱而优于重建方法，并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Courant Institute, New York University（纽约大学柯朗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
提出MC-JEPA联合嵌入预测架构，通过共享编码器联合学习光流与内容特征，实现两类任务性能比肩现有方法，得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
CoMatch: Semi-supervised Learning with Contrastive Graph Regularization
Salesforce Research（Salesforce研究院）
半监督学习是利用未标记数据减少对标记数据依赖的有效范例。我们提出了CoMatch，一种新的半监督学习方法，它统一了主流方法并解决了它们的局限性。CoMatch联合学习训练数据的两种表示，它们的类概率和低维嵌入。这两种表征相互作用，共同进化。嵌入对类概率施加平滑约束以改进伪标签，而伪标签通过基于图的对比学习来正则化嵌入的结构。CoMatch在多个数据集上实现了最先进的性能。它在标签稀缺的CIFAR-10和STL-10上实现了实质性的精度改进。在标签数为1%的ImageNet上，CoMatch达到了66.0%的top-1准确率，比FixMatch高出12.6%。此外，CoMatch在下游任务上实现了更好的表示学习性能，优于监督学习和自监督学习。代码和预训练模型可在www.example.com上获得。
2021-03-03 cs.CV cs.LG
AdaEmbed: Semi-supervised Domain Adaptation in the Embedding Space
Stanford University（斯坦福大学）；Intuitive Surgical Inc.（直觉外科公司）
本文提出 AdaEmbed，通过学习源域与目标域共享嵌入空间并生成准确一致的伪标签，提升半监督域适应性能，在多个基准上达到新的最优水平。
2024-01-23 cs.AI cs.CV
Self-supervised regression learning using domain knowledge: Applications to improving self-supervised denoising in imaging
Sungkyunkwan University（成均馆大学）；Ulsan National Institute of Science and Technology（蔚山科学技术院）；Shanghai Jiao Tong University（上海交通大学）；Seoul National University（首尔国立大学）
预测连续量的回归是使用计算成像和计算机视觉技术的应用的核心部分。然而，研究和理解回归任务的自监督学习-除了特定的回归任务，图像去噪-已经落后了。本文提出了一种通用的自监督回归学习（SSRL）框架，该框架通过使用封装特定应用领域知识的可设计伪预测器，仅使用输入数据（但没有地面实况目标数据）来学习回归神经网络。本文强调了使用领域知识的重要性，表明在不同的设置下，更好的伪预测器可以导致SSRL的属性更接近普通的监督学习。低剂量计算断层成像去噪和摄像机图像去噪的数值实验表明，与现有的几种自监督去噪方法相比，该方法显著提高了去噪质量.
2022-05-10 cs.CV eess.IV
Temporally Coherent Embeddings for Self-Supervised Video Representation Learning
Data61 CSIRO（联邦科学与工业研究组织 Data61）
本文提出了TCE：时间相干嵌入的自我监督视频表示学习。所提出的方法利用未标记视频数据的固有结构来明确地在嵌入空间中执行时间相干性，而不是通过排名或预测代理任务间接地学习它。就像世界中的高级视觉信息变化平滑一样，我们相信学习表征中的邻近帧将从展示类似属性中受益。使用这个假设，我们训练我们的TCE模型来编码视频，使得相邻帧彼此靠近并且视频彼此分离。使用TCE，我们从大量未标记的视频数据中学习鲁棒的表示。我们使用多个具有挑战性的基准（Kinetics 400，UCF 101，HMDB 51）在视频动作识别的下游任务上彻底分析和评估了我们的自监督学习TCE模型。通过简单但有效的2D-CNN主干和仅RGB流输入，TCE预训练的表示优于之前在UCF 101上预训练的所有自监督2D-CNN和3D-CNN。本文的代码和预训练模型可以从以下网站下载：https://github.com/csiro-robotics/TCE
2020-11-17 cs.CV cs.LG eess.IV
How AI Experiences Art: Emergent Aesthetic Structure in a Self-Supervised Multimodal Embedding Space
Independent Researcher Phoenix AZ USA；Independent Researcher
该研究提出自监督多模态嵌入框架，在无显式标签的情况下发现AI的审美结构，探讨其与人类情感标签的差异，可应用于RAG媒体组织与自动标注等场景。
2026-08-28 cs.CV cs.LG cs.MM
Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos
National Taiwan University（台湾大学）
该研究针对四维点云视频自监督学习的挑战，提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization，通过掩码时空区域的潜在点管预测学习表示，在动作和手势识别任务中取得良好效果。
2026-08-26 cs.CV cs.LG
Multi-Prototype Embedding Refinement for Semi-Supervised Medical Image Segmentation
College of Computer and Information Science, Southwest University（西南大学计算机与信息科学学院）；School of Computer Science, Peking University（北京大学计算机学院）
针对半监督医学图像分割中类内方差研究不足、传统线性分类器难以捕捉精细体素差异的问题，提出基于多原型的嵌入精修方法，通过多原型分类挖掘类内变化并结合一致性约束，在两个基准上取得优于现有方法的性能。
2025-03-18 cs.CV eess.IV
Webly Supervised Joint Embedding for Cross-Modal Image-Text Retrieval
University of California, Riverside（加州大学河滨分校）
视觉数据和自然语言描述之间的跨模态检索一直是多媒体领域的一个挑战。虽然最近的图像-文本检索方法通过学习跨模态对齐的深度表示提供了很大的希望，但这些方法中的大多数都受到小规模数据集的训练问题的困扰，这些小规模数据集覆盖了有限数量的具有地面真理句子的图像。此外，通过用句子注释数百万张图像来创建更大的数据集是非常昂贵的，并且可能导致有偏见的模型。受最近深度神经网络中Web监督学习的成功启发，我们利用带有噪声注释的现成Web图像来学习鲁棒的图像-文本联合表示。具体来说，我们的主要想法是利用Web图像和相应的标签，以及完全注释的数据集，来训练学习视觉语义联合嵌入。我们提出了一个两阶段的任务，可以增强一个典型的监督成对排序损失为基础的配方与弱注释的网络图像学习更强大的视觉语义嵌入。两个标准的基准数据集上的实验表明，我们的方法实现了显着的性能增益相比，国家的最先进的方法在图像-文本检索。
2018-08-23 cs.CV cs.IR cs.MM
Bag of Image Patch Embedding Behind the Success of Self-Supervised Learning
Meta AI - FAIR（Meta人工智能基础研究实验室）；Center for Data Science, New York University（纽约大学数据科学中心）；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Redwood Center（红杉中心）；UC Berkeley（加州大学伯克利分校）；Courant Institute（柯朗研究所）
本研究揭示联合嵌入类自监督学习本质是学习反映共现关系的图像块表示，提出BagSSL方法，验证了块表示聚合的有效性与局部性保留特性，为理解自监督表示学习提供新视角。
2023-06-13 cs.CV cs.LG
Self-supervised learning of imaging and clinical signatures using a multimodal joint-embedding predictive architecture
Vanderbilt University（范德堡大学）；Vanderbilt University Medical Center（范德堡大学医学中心）
本文提出利用未标注CT与电子健康记录进行JEPA自监督预训练，以改善肺结节多模态诊断，并展示其在内部队列中的优势及外部队列中的局限。
2025-09-18 cs.AI cs.CV
Embedding Space Augmentation for Weakly Supervised Learning in Whole-Slide Images
University College London（伦敦大学学院）；Brigham and Women's Hospital（布莱根妇女医院）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）；Broad Institute of Harvard and MIT（哈佛-麻省理工博德研究所）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；University of Warwick（华威大学）；University Hospitals Coventry and Warwickshire NHS Trust（考文垂与沃里克郡国民保健服务信托大学医院）；The Alan Turing Institute（艾伦·图灵研究所）
多实例学习（MIL）是一种广泛使用的框架，用于从WSI级别的注释中学习千兆像素的全载玻片图像（WSI）。在用于WSI级分析的大多数基于MIL的分析管道中，WSI通常被划分为补丁和补丁的深度特征（即，补丁嵌入）在训练之前被提取，以降低总体计算成本并应对GPU的有限RAM。为了克服这一限制，我们提出了EmbAugmenter，一个数据增强生成对抗网络（DA-GAN），可以在嵌入空间而不是像素空间中合成数据增强，从而显着降低计算要求。在SICAPv 2数据集上的实验表明，我们的方法在没有增强的情况下优于MIL，并且与传统的MIL训练补丁级增强相当，同时速度更快。
2022-10-31 cs.AI cs.CV
S2Vec: Self-Supervised Geospatial Embeddings for the Built Environment
S2Vec通过自监督学习生成通用的地理空间嵌入，适用于建成环境特征的表示，并在社会经济任务中表现优异，同时支持多模态融合提升性能。
2026-01-07 cs.AI cs.CV cs.SI
Rank Flow Embedding for Unsupervised and Semi-Supervised Manifold Learning
State University of São Paulo（圣保罗州立大学）；Temple University（天普大学）
本文提出 Rank Flow Embedding（RFE）流形学习算法，利用超图、笛卡尔积和连通分量生成上下文嵌入，用于无监督检索与基于 GCN 的半监督分类，并在 10 个集合上验证其先进性能。
2023-04-24 cs.CV cs.IR cs.LG
Benchmarking Image Embeddings for E-Commerce: Evaluating Off-the Shelf Foundation Models, Fine-Tuning Strategies and Practical Trade-offs
Adevinta（阿德温塔公司）
本文系统评测了电子商务场景下多种基础模型图像嵌入在分类与检索任务中的表现，发现全量微调稳健但top-tuning能以更低计算成本达到相近性能，并为嵌入选择与微调策略提供了实用指南。
2025-04-10 cs.AI cs.CE cs.CV
Understanding Dimensional Collapse in Contrastive Self-supervised Learning
Facebook AI Research（脸书人工智能研究院）
自监督视觉表示学习的目标是在不依赖于人类注释的情况下学习有用的表示。联合嵌入方法的基础是最大限度地提高来自同一图像的不同视图的嵌入向量之间的一致性。已经提出了各种方法来解决所有嵌入向量坍缩到平凡常数解的坍缩问题。在这些方法中，对比学习通过负样本对防止崩溃。已经表明，非对比方法遭受不同性质的较小崩溃问题：维度崩溃，其中嵌入向量最终跨越较低维度的子空间而不是整个可用的嵌入空间。在这里，我们表明，维度崩溃也发生在对比学习。在本文中，我们揭示了对比学习中导致维度崩溃的动态。受我们理论的启发，我们提出了一种新的对比学习方法，称为DirectRank，它直接优化表示空间，而不依赖于显式的可训练投影。实验表明，DirectMap在ImageNet上使用可训练线性投影仪的性能优于Simplane。
2022-04-23 cs.AI cs.CV cs.LG
