Embedding Earth: Self-supervised contrastive pre-training for dense land cover classification
在训练用于土地覆盖语义分割的机器学习模型时，用作输入的卫星图像的可用性与支持监督学习的地面实况数据之间存在鲜明的对比。虽然每天都有数千张新的卫星图像免费提供，但获取地面实况数据仍然非常具有挑战性，耗时且成本高昂。在本文中，我们提出了嵌入地球的自我监督对比预训练方法，利用卫星图像的大量可用性，以提高下游密集土地覆盖分类任务的性能。在四个国家和两大洲进行了广泛的实验评估，我们使用我们提出的方法预训练的模型作为监督土地覆盖语义分割的初始化点，并观察到高达25%的绝对mIoU的显着改善。在测试的每一种情况下，我们都优于随机初始化，特别是当地面真实数据稀缺时。通过一系列的消融研究，我们探索了所提出的方法的质量，并发现学习功能可以在不同的区域之间推广，从而有可能使用所提出的预训练方案作为对地观测任务随机初始化的替代方案。代码将很快上传到https://github.com/michaeltrs/DeepSatModels。
2022-03-11 cs.CV cs.LG
Weakly-supervised Discovery of Visual Pattern Configurations
University of California, Berkeley（加州大学伯克利分校）
随着弱标记数据的日益突出，对能够应对最小监督的目标检测方法的需求不断增长。我们提出了一种方法，自动识别的视觉模式的特征是一个给定的对象类的歧视性配置。我们制定的问题作为一个受约束的子模块优化问题，并证明了发现的配置在纠正错误定位和寻找信息丰富的积极和消极的训练样本的好处。总之，这些导致了具有挑战性的PASCAL VOC数据集上最先进的弱监督检测结果。
2014-06-25 cs.CV cs.LG
Weakly-Supervised Learning of Visual Relations in Multimodal Pretraining
Google DeepMind（谷歌DeepMind）；University of Copenhagen（哥本哈根大学）
本文提出两种预训练方法，利用小规模视觉关系数据的监督信号，通过语言化场景图和掩码关系预测在多模态设置中情境化视觉实体，在零样本评估中有效提升了多模态表示学习能力。
2023-10-19 cs.CL cs.CV
Reachability Embeddings: Scalable Self-Supervised Representation Learning from Mobility Trajectories for Multimodal Geospatial Computer Vision
Apple（苹果公司）
自监督表示学习技术利用没有语义注释的大型数据集来学习有意义的通用特征，这些特征可以方便地转移以解决各种各样的下游监督任务。在本文中，我们提出了一种自监督的方法来学习表示的地理位置从未标记的GPS轨迹，以解决下游的地理空间计算机视觉任务。由地球表面的光栅表示产生的瓦片被建模为图形上的节点或图像的像素。GPS轨迹被建模为允许马尔可夫路径在这些节点上。一个可扩展的和分布式的算法来计算图像一样的张量，称为可达性摘要，瓷砖和他们的邻居之间的空间连接模式所观察到的马尔可夫路径暗示。训练卷积压缩自动编码器来学习每个图块的可达性摘要的压缩表示，称为可达性嵌入。可达性嵌入作为任务不可知的地理位置的特征表示。使用可达性嵌入作为五个不同的下游地理空间任务的像素表示，作为监督语义分割问题，我们定量地证明了可达性嵌入是语义上有意义的表示，并导致4-23%的性能增益，同时使用高达67%的轨迹数据，如使用精确度-召回曲线下的面积（AUPRC）度量所测量的，当与使用不考虑图块之间的空间连接性的像素表示的基线模型相比时。可达性嵌入将连续的时空移动数据转换为语义上有意义的图像状张量表示，这些张量表示可以与其他图像源相结合，并且旨在促进地理空间计算机视觉中的多模态学习。
2022-07-15 cs.AI cs.CV cs.LG
Self-supervised Semantic Segmentation Grounded in Visual Concepts
Robert Bosch Research and Technology Center North America（北美罗伯特·博世研究与技术中心）；Robert Bosch GmbH（罗伯特·博世有限公司）
无监督的语义分割需要为每个像素分配一个标签，而不需要任何人工注释。尽管最近在个体图像的自监督表示学习方面取得了进展，但具有像素级表示的无监督语义分割仍然是一项具有挑战性的任务，并且仍然未得到充分探索。在这项工作中，我们提出了一个自我监督的像素表示学习方法的语义分割通过使用视觉概念（即，具有语义含义的像素组，例如部件、对象和场景）。为了指导自监督学习，我们利用像素和概念之间的三种类型的关系，包括像素和局部概念之间的关系，局部和全局概念之间的关系，以及概念的同现。我们在三个数据集上评估了学习的像素嵌入和视觉概念，包括PASCAL VOC 2012，COCO 2017和DAVIS 2017。我们的研究结果表明，该方法获得了一致的和实质性的改进，最近的无监督语义分割方法，也表明，视觉概念可以揭示图像数据集的见解。
2022-07-26 cs.AI cs.CV
ScribbleVC: Scribble-supervised Medical Image Segmentation with Vision-Class Embedding
Xiamen University（厦门大学）；University of Washington（华盛顿大学）；University of Electronic Science and Technology of China（电子科技大学）
提出ScribbleVC框架，通过多模态信息增强机制结合视觉与类别嵌入，并统一利用CNN和Transformer特征，在涂鸦监督下实现了优于现有方法的医学图像分割性能。
2023-07-30 cs.CV cs.MM
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Courant Institute, New York University（纽约大学柯朗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
提出MC-JEPA联合嵌入预测架构，通过共享编码器联合学习光流与内容特征，实现两类任务性能比肩现有方法，得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
Self-Supervised Learning of Audio-Visual Objects from Video
University of Oxford（牛津大学）；University of Michigan（密歇根大学）；Naver Corporation（Naver 公司）
我们的目标是使用自监督学习将视频转换为一组离散的视听对象。为此，我们引入了一个模型，使用注意定位和组声源，和光流随着时间的推移聚合信息。我们证明了视听对象嵌入的有效性，我们的模型通过将它们用于四个下游面向语音的任务来学习：（a）多扬声器声音声源分离，（b）定位和跟踪扬声器，（c）校正未对齐的视听数据，以及（d）活动扬声器检测。使用我们的表示，这些任务可以完全通过在未标记的视频上进行训练来解决，而无需对象检测器的帮助。我们还证明了我们的方法的通用性，通过将其应用到非人类的扬声器，包括卡通和puppets.我们的模型显着优于其他自监督的方法，并获得性能与使用监督人脸检测的方法相竞争。
2020-08-10 cs.CV cs.SD eess.AS
Nonlinear Supervised Dimensionality Reduction via Smooth Regular Embeddings
Department of Electrical and Electronics Engineering, METU（中东技术大学（METU）电气工程系）
恢复数据汇集的内在几何结构是数据分析中的一个重要问题。近年来，已经提出了几种流形学习方法的监督扩展。同时，现有的方法主要集中在训练数据的嵌入，而嵌入到最初看不见的测试数据的推广是相当忽视的。在这项工作中，我们建立在监督流形学习算法的泛化性能的最新理论成果。受这些性能界限的影响，我们提出了一种监督流形学习方法，该方法在计算非线性嵌入的同时，构造一个平滑且规则的插值函数，将嵌入扩展到整个数据空间，以实现令人满意的泛化。嵌入和嵌入是共同学习的，使得嵌入的Lipschitz正则性被施加，同时确保不同类之间的分离。在多个图像数据集上的实验结果表明，该方法在大多数情况下的分类精度优于传统分类器和监督降维算法.
2018-05-28 cs.CV
Self-supervised learning of class embeddings from video
University of Oxford（牛津大学）
这项工作探讨了如何在视频上使用自监督学习来学习对姿势和形状信息进行编码的特定于类的图像嵌入。在训练时间，提取对象类（例如，人类上身）的相同视频的两个帧，并且每个帧被编码为嵌入。在这些嵌入的条件下，解码器网络的任务是将一帧转换为另一帧。为了成功地执行长距离变换（例如，一个图像中降低的手腕应该映射到另一个图像中升高的相同手腕），我们引入了分层概率网络解码器模型。一旦经过训练，嵌入可以用于各种下游任务和领域。我们在三个不同的可变形对象类别上定量地展示了我们的方法-人类全身，上身，面部-并通过实验表明，学习的嵌入确实具有普遍性。与在相同数据集上训练的其他自监督方法相比，它们实现了最先进的性能，并接近完全监督方法的性能。
2019-10-28 cs.CV
SHOE: Supervised Hashing with Output Embeddings
University of Maryland（马里兰大学）
我们提出了一个监督的二进制编码方案的图像检索，学习投影考虑到从输出嵌入获得的类之间的相似性。我们的动机是，以这种方式学习的二进制哈希码提高了检索结果和现有监督哈希方案的视觉质量。我们采用了顺序贪婪优化，通过最小化二进制代码和输出嵌入向量的内积之间的差异来学习关系感知投影。我们开发了一个联合优化框架来学习预测，从而提高了监督哈希在标准和兄弟评估指标方面的准确性。我们通过在核化输入CNN特征上应用监督降维技术来进一步提高性能。实验在三个数据集上进行：CUB-2011，SUN-Attribute和ImageNet ILSVRC 2010。作为我们方法的副产品，我们表明，使用简单的k-nn池分类器和我们的判别码，可以在细粒度数据集（如CUB）上改进复杂的分类模型，并在CNN特征上提供令人印象深刻的1024压缩比。
2015-01-30 cs.CV
Self-supervised learning of a facial attribute embedding from video
University of Oxford（牛津大学）
我们提出了一个自我监督的框架，通过简单地观看人脸说话，大笑和移动的视频来学习面部属性。为了执行这项任务，我们引入了一个网络，面部属性网（FAb-Net），它被训练成将来自同一视频面部跟踪的多个帧嵌入到一个公共的低维空间中。通过这种方法，我们做出了三个贡献：首先，我们表明网络可以通过预测每个帧的置信度/注意力掩码来利用来自多个源帧的信息;其次，我们证明使用课程学习制度可以提高学习的嵌入;最后，我们证明了网络学习一个有意义的人脸嵌入，编码有关头部姿势，面部标志和面部表情的信息，即面部属性，而没有用任何标记的数据进行监督。在这些任务上，我们与最先进的自监督方法相当或优于自监督方法，并接近监督方法的性能。
2018-08-21 cs.CV
Self-supervised Contrastive Learning for Audio-Visual Action Recognition
Sun Yat-sen University（中山大学）
音频和视觉模态之间的潜在相关性可以用于学习未标记视频的监督信息。在本文中，我们提出了一个端到端的自我监督框架，名为视听对比学习（AVCL），学习有区别的视听表示动作识别。具体来说，我们设计了一个基于注意力的多模态融合模块（AMFM）融合音频和视觉模态。为了对齐异构视听模态，我们构建了一个新的相关引导表示对齐模块（CGRA）。为了从未标记的视频中学习监督信息，我们提出了一种新的自监督对比学习模块（SelfCL）。此外，我们建立了一个新的视听动作识别数据集，名为Kinetics-Sounds 100。在Kinetics-Sounds 32和Kinetics-Sounds 100数据集上的实验结果表明，我们的AVCL在大规模动作识别基准上优于最先进的方法。
2023-03-20 cs.CV
Weakly Supervised Deep Image Hashing through Tag Embeddings
Arizona State University（亚利桑那州立大学）
许多语义图像散列的方法已经被公式化为利用图像和标签信息来学习二进制散列码的监督学习问题。然而，大规模的标记图像数据是昂贵的获得，从而施加限制，这样的算法的使用。另一方面，未标记的图像数据是丰富的，由于存在许多Web图像库。这样的Web图像可能经常带有包含有用信息的图像标签，尽管原始标签通常不容易导致语义标签。在这种情况下，我们制定的语义图像散列的问题作为一个弱监督学习问题。我们利用用户生成的与图像相关的标签中包含的信息来学习哈希码。更具体地说，我们提取标签的word2vec语义嵌入，并使用其中包含的信息来约束学习。因此，我们将我们的模型命名为使用标签嵌入的弱监督深度哈希（WDHT）。WDHT的语义图像检索的任务进行了测试，并对几个国家的最先进的模型进行了比较。结果表明，我们的方法在每周监督图像散列领域开创了一个新的领域。
2019-01-28 cs.CV
Deeply Supervised Multimodal Attentional Translation Embeddings for Visual Relationship Detection
National Technical University of Athens（雅典国立技术大学）
检测视觉关系，即<Subject，Predicate，Object>三元组，是一个具有挑战性的场景理解任务，过去通过单个特征分支中的语言先验或空间信息来实现。我们引入了一种新的深度监督的两分支架构，多模态注意翻译嵌入，其中每个分支的视觉特征由多模态注意机制驱动，该机制利用低维空间中的空间语言相似性。我们提出了各种各样的实验比较对所有相关的方法在文献中，以及通过重新实施和微调其中几个。在常用的VRD数据集[1]上的结果表明，所提出的方法明显优于所有其他方法，同时我们也在定量和定性上证明了我们的主张。
2019-02-15 cs.CV
Deep Reinforcement Learning with Label Embedding Reward for Supervised Image Hashing
Nanyang Technological University（南洋理工大学）；Ant Financial Services Group, Alibaba Inc.（蚂蚁金融服务集团，阿里巴巴公司）；State University of New York at Buffalo（纽约州立大学布法罗分校）
深度哈希在图像检索和识别方面显示出了很好的效果。尽管它的成功，大多数现有的深度哈希方法是相当相似的：无论是多层感知器或CNN应用于提取图像特征，其次是不同的二进制激活函数，如sigmoid，tanh或自动编码器生成二进制代码。在这项工作中，我们介绍了一种新的深度监督哈希决策方法。我们将散列问题描述为遍历二进制代码空间中的顶点，并学习一个深度Q网络，该网络具有由Bose-Chaudhuri-Hocquenghem（BCH）代码定义的新型标签嵌入奖励，以探索最佳路径。在CIFAR-10和NUS-WIDE数据集上进行的大量实验和分析表明，我们的方法在各种代码长度下的性能优于最先进的监督散列方法。
2020-08-10 cs.CV
Point-JEPA: A Joint Embedding Predictive Architecture for Self-Supervised Learning on Point Cloud
Saint Mary’s University（圣玛丽大学）
本文提出Point-JEPA，一种针对点云的自监督联合嵌入预测架构，通过排序器高效利用块嵌入邻近性，在避免输入空间重建和额外模态的同时取得与最先进方法相当的性能。
2025-02-09 cs.CV
UniMoCo: Unsupervised, Semi-Supervised and Full-Supervised Visual Representation Learning
Tencent Wechat AI（腾讯微信AI）；South China University of Technology（华南理工大学）
动量对比度（MoCo）在无监督视觉表示方面取得了巨大的成功。然而，有很多监督和半监督数据集已经被标记。为了充分利用标签注释，我们提出了统一动量对比（UniMoCo），它扩展了MoCo以支持任意比例的标记数据和未标记数据训练。与MoCo相比，UniMoCo有以下两个改进：（1）与MoCo中的单个正对不同，我们通过将查询标签与标签队列进行比较来动态维护多个正对。(2)我们提出了一个统一的对比（UniCon）损失，以支持任意数量的积极和消极的统一成对优化的角度。我们的UniCon算法在理论和实践上都比监督对比损失算法更加合理和有效。在我们的实验中，我们使用不同比例的ImageNet标签预训练多个UniMoCo模型，并评估各种下游任务的性能。实验结果表明，UniMoCo对无监督、半监督和有监督的视觉表示学习都有很好的泛化能力。
2021-03-19 cs.CV
Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室）
该研究针对联合嵌入自监督学习提出小批量外数据集级正则化，在SimCLR、SIGReg等方法上提升了小批量下多任务性能，且使批量大小不再影响正则化器几何结构。
2026-10-14 cs.CV
Can Semantic Labels Assist Self-Supervised Visual Representation Learning?
University of Science and Technology of China（中国科学技术大学）；Huawei Inc.（华为公司）
近年来，对比学习极大地推动了无监督视觉表示学习的发展。在ImageNet上进行预训练后，与完全监督的方法相比，一些自监督算法报告了更高的迁移学习性能，似乎传递了这样一个信息，即人类标签几乎无助于学习可迁移的视觉特征。在本文中，我们为语义标签的有用性辩护，但指出全监督和自监督方法追求不同类型的特征。为了缓解这个问题，我们提出了一个新的算法命名为监督对比调整邻域（SCAN），最大限度地防止语义指导破坏外观特征嵌入。在一系列的下游任务中，SCAN实现了比以前的全监督和自监督方法更优越的性能，有时增益是显著的。更重要的是，我们的研究表明，语义标签在辅助自我监督方法方面很有用，为社区开辟了一个新的方向。
2020-11-17 cs.CV
Self-supervised Visual Feature Learning with Deep Neural Networks: A Survey
The Graduate Center, The City University of New York（纽约市立大学研究生中心）
大规模标记数据通常需要训练深度神经网络，以便在从图像或视频学习视觉特征以用于计算机视觉应用中获得更好的性能。为了避免采集和标注大规模数据集的巨大成本，作为无监督学习方法的一个子集，自监督学习方法被提出来从大规模未标注数据中学习一般图像和视频特征，而不使用任何人工标注的标签。本文对基于深度学习的图像或视频自监督一般视觉特征学习方法进行了广泛的回顾。首先，该领域的动机，一般管道，和术语进行了描述。然后总结了用于自监督学习的常用深度神经网络结构。接下来，回顾了自监督学习方法的主要组成部分和评价指标，然后是常用的图像和视频数据集以及现有的自监督视觉特征学习方法。最后，对基准数据集上的评价方法的定量性能比较进行了总结和讨论，用于图像和视频特征学习。最后，对本文进行了总结，并提出了自监督视觉特征学习的未来发展方向。
2019-02-16 cs.CV
Revisiting Weakly Supervised Pre-Training of Visual Perception Models
Meta AI
模型预训练是现代视觉识别系统的基石。虽然像ImageNet这样的数据集上的完全监督预训练仍然是事实标准，但最近的研究表明，大规模弱监督预训练可以优于完全监督方法。本文使用带有现代版本的残差网络和有史以来最大的图像数据集以及相应的主题标签，重新审视了使用主题标签监督的模型的弱监督预训练。我们研究了所得到的模型在各种迁移学习设置，包括zero-shot传输的性能。我们还将我们的模型与通过大规模自监督学习获得的模型进行了比较。我们发现我们的弱监督模型在所有环境中都非常有竞争力，并且发现它们的表现大大优于自监督模型。我们还调查了我们的模型是否学到了潜在的令人不安的联想或刻板印象。总的来说，我们的研究结果提供了一个令人信服的论据弱监督学习在视觉识别系统的发展。我们的模型，通过hashtAGs弱监督（SWAG），是公开的。
2022-04-02 cs.CV
Embedding Task Knowledge into 3D Neural Networks via Self-supervised Learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；Tencent Jarvis Lab（腾讯Jarvis实验室）
深度学习高度依赖于注释数据的数量。然而，注释医学图像是极其费力和昂贵的。为此，自监督学习（SSL），作为一个潜在的解决方案，缺乏注释的数据，吸引了越来越多的关注，从社区。然而，SSL方法通常设计一个不一定与目标任务相关的代理任务。在本文中，我们提出了一种新的SSL方法的三维医学图像分类，即任务相关的对比预测编码（TCPC），它嵌入到训练三维神经网络的任务知识。建议TCPC首先定位初始候选病变通过超体素估计使用简单的线性迭代聚类。然后，我们从潜在的病变区域周围裁剪的子体积中提取特征，并构建一个校准的对比预测编码方案用于自监督学习。在公共和私人数据集上进行了广泛的实验。实验结果表明，将病变相关先验知识嵌入到神经网络中用于三维医学图像分类是有效的。
2020-06-10 cs.CV
Self-supervised Visual-LiDAR Odometry with Flip Consistency
Zhejiang University（浙江大学）；Zhejiang Lab（之江实验室）
大多数基于学习的方法通过利用视觉传感器来估计自我运动，这会受到剧烈的照明变化和无纹理场景的影响。在本文中，我们将稀疏但准确的深度测量激光雷达获得克服视觉方法的局限性。为此，我们设计了一个自我监督的视觉激光雷达测距（Self-VLO）框架。它将单目图像和从3D激光雷达点投影的稀疏深度图作为输入，并以端到端学习的方式产生姿态和深度估计，而不使用任何地面实况标签。为了有效地融合两种模式，我们设计了一个双通道编码器，从视觉和深度图像中提取特征，并通过我们的融合模块将编码特征与解码器中的特征在多个尺度上融合。我们还采用了连体结构，并设计了一个自适应加权翻转一致性损失，以促进我们的VLO的自监督学习。在KITTI里程计基准上的实验表明，该方法优于所有自监督视觉或激光雷达里程计。它的性能也优于完全监督的VO，展示了融合的力量。
2021-01-05 cs.CV
Revisiting Self-Supervised Visual Representation Learning
Google Brain（谷歌大脑）
无监督视觉表示学习是计算机视觉研究中一个尚未解决的问题。在最近提出的大量视觉表征的无监督学习方法中，一类自监督技术在许多具有挑战性的基准测试中取得了优异的性能。已经研究了大量的自监督学习的借口任务，但其他重要方面，如卷积神经网络（CNN）的选择，并没有得到同等的关注。因此，我们重新审视了许多以前提出的自监督模型，进行了彻底的大规模研究，从而发现了多个关键的见解。我们挑战了自监督视觉表征学习中的一些常见做法，并观察到CNN设计的标准配方并不总是转化为自监督表示学习。作为我们研究的一部分，我们大大提高了以前提出的技术的性能，并大大优于以前发表的最先进的结果。
2019-01-25 cs.CV
Semi-TCL: Semi-Supervised Track Contrastive Representation Learning
Amazon AWS AI（亚马逊AWS人工智能）
视频中多个目标的在线跟踪需要很强的建模和匹配能力。以往的外观嵌入学习方法大多依赖于实例级匹配，而没有考虑视频提供的时间连续性。我们设计了一个新的实例到跟踪匹配目标来学习外观嵌入，将候选检测与跟踪器中持久化的跟踪嵌入进行比较。它使我们不仅可以从标记有完整曲目的视频中学习，还可以从未标记或部分标记的视频中学习。我们遵循“主动放弃”的精神，以统一的形式实现这一学习目标。在多个目标跟踪数据集上的实验表明，我们的方法可以有效地学习有区别的外观嵌入在一个半监督的方式，并优于最先进的方法在代表性的基准。
2021-07-06 cs.CV
Self-Supervised Visual Representation Learning from Hierarchical Grouping
University of Chicago（芝加哥大学）
我们创建了一个框架，引导视觉表示学习从一个原始的视觉分组能力。我们通过轮廓检测器将图像划分为多个区域，然后将这些区域合并为一个树形层次结构来实现分组。一个小的监督数据集足以训练这个分组原语。在一个大型的未标记数据集上，我们应用这个学习过的原语来自动预测分层区域结构。这些预测可作为自监督对比特征学习的指导：我们让深度网络产生每像素嵌入，其成对距离尊重区域层次结构。实验表明，我们的方法可以作为最先进的通用预训练，有利于下游任务。我们还探讨了语义区域搜索和基于视频的对象实例跟踪的应用程序。
2020-12-05 cs.CV
Visually Aligned Word Embeddings for Improving Zero-shot Learning
零样本学习（Zero-shot learning，简称ZRL）高度依赖于一个良好的语义嵌入来连接可见类和不可见类。最近，从大型文本语料库中预训练的分布式词嵌入（DWE）已成为绘制这种连接的流行选择。与人类定义的属性相比，DWE具有更好的可扩展性和更容易获得。然而，它们被设计为反映语义相似性而不是视觉相似性，因此在CNOL中使用它们通常会导致较差的性能。为了克服这种视觉语义差异，这项工作提出了一个目标函数，通过学习神经网络将其映射到一个新的表示，称为视觉对齐的词嵌入（VAWE）的视觉信息重新对齐的分布式词嵌入。因此，VAWE的邻域结构变得类似于视觉域中的邻域结构。请注意，在这项工作中，我们没有设计一个将视觉特征和语义嵌入投影到共享空间上的方法，而只是对映射的词嵌入的结构提出了要求。该策略允许学习的VAWE推广到各种可编程语言方法和视觉特征。在四个基准数据集上通过四种最先进的VAWE方法进行评估，VAWE表现出一致的性能改善。
2017-07-18 cs.CV
Learning Visual Features from Large Weakly Supervised Data
Facebook AI Research（脸书人工智能研究院）
在大型监督数据集上训练的卷积网络产生的视觉特征构成了许多计算机视觉问题的基础。这些视觉特征的进一步改进可能需要更大的手动标记数据集，这严重限制了取得进展的速度。在本文中，我们探讨了利用大量弱标记图像集合来学习良好视觉特征的潜力。我们在包含1亿张Flickr照片和字幕的数据集上训练卷积网络，并表明这些网络产生的功能在一系列视觉问题上表现良好。我们还表明，网络适当地捕捉单词相似性，并学习不同语言之间的对应关系。
2015-11-06 cs.CV
Self-supervised speaker embeddings
Omilia - Conversational Intelligence（Omilia对话智能公司）；Brno University of Technology（布尔诺理工大学）
与i向量相反，诸如x向量的说话人嵌入由于训练说话人的分类损失而不能利用未标记的话语。在本文中，我们探索了一种替代的训练策略，使未标记的话语在训练中使用。我们建议训练扬声器嵌入提取器通过重建的目标语音段的帧，给定的推断嵌入的另一个语音段的同一话语。我们通过将解码器网络附加到标准扬声器嵌入提取器来实现这一点，我们不仅提供扬声器嵌入，而且还提供目标帧序列的估计音素序列。重建损失可以作为一个单一的目标，或与标准的扬声器分类损失相结合。在后一种情况下，它充当正则化器，鼓励对训练期间未见过的说话者的泛化。在所有情况下，所提出的架构都是从头开始以端到端的方式进行训练的。我们展示了所提出的方法在VoxCeleb和扬声器在野外的好处，我们报告了显着的改善基线。
2019-04-23 cs.CV
Weakly Supervised Visual Semantic Parsing
Columbia University（哥伦比亚大学）
场景图生成（SGG）的目的是从图像中提取实体、谓词及其语义结构，实现对视觉内容的深入理解，具有视觉推理和图像检索等多种应用。然而，现有的SGG方法需要数百万个手动注释的边界框来进行训练，并且计算效率低下，因为它们穷尽地处理所有对的对象建议以检测谓词。在本文中，我们首先提出了一个广义的SGG，即视觉语义解析，它解开实体和谓词识别，并使次二次性能的制定解决这两个限制。然后，我们提出了视觉语义解析网络，VSPNet，基于一个动态的，基于注意力的，二分消息传递框架，共同推断图形节点和边缘，通过迭代过程。此外，我们提出了第一个基于图的弱监督学习框架，基于一种新的图对齐算法，它使训练没有限界框注释。通过大量的实验，我们证明了VSPNet的性能显著优于弱监督基线，接近完全监督性能，同时速度快了好几倍。我们公开发布我们方法的源代码。
2020-03-31 cs.CV
AlignCAT: Visual-Linguistic Alignment of Category and Attribute for Weakly Supervised Visual Grounding
Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；University of Trento（特伦托大学）
AlignCAT通过粗粒度和细粒度对齐模块，利用类别与属性信息增强视觉-语言匹配，在三个基准上超越现有弱监督视觉定位方法。
2025-10-27 cs.CV
Unified Mask Embedding and Correspondence Learning for Self-Supervised Video Segmentation
Zhejiang University（浙江大学）；ETH Zurich（苏黎世联邦理工学院）；Beijing Institute of Technology（北京理工大学）；Baidu VIS（百度视觉技术部）
本文的目标是视频对象分割的自监督学习。我们开发了一个统一的框架，同时模型跨帧密集对应的局部判别特征学习和嵌入目标掩码解码的对象级上下文。因此，它能够直接学习从未标记的视频中执行掩模引导的顺序分割，而不是以前的努力通常依赖于倾斜解决方案-根据像素相关性廉价地“复制”标签。具体地说，我们的算法交替i）聚类视频像素，用于创建伪分割标签，从无到有;和ii）利用伪标签来学习VOS的掩码编码和解码。无监督的对应学习进一步纳入这个自学，掩模嵌入方案，以确保学习表示的通用性，避免集群退化。我们的算法在两个标准基准上设置了最先进的技术（即，DAVIS 17和YouTube-VOS），在性能和网络架构设计方面缩小了自监督和全监督VOS之间的差距。
2023-03-17 cs.CV
VGSE: Visually-Grounded Semantic Embeddings for Zero-Shot Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；University of Chinese Academy of Sciences（中国科学院大学）；Aerospace Information Research Institute, CAS（中国科学院空天信息创新研究院）；ETH Zurich（苏黎世联邦理工学院）；City University of Hong Kong（香港城市大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；University of Tübingen（图宾根大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文提出视觉基语义嵌入VGSE，通过无人工标注的视觉聚类与类别关系发现，为已见和未见类别建模判别性视觉属性，在三个基准上显著提升多种零样本学习模型的性能。
2023-05-26 cs.CV
CELESTIAL: Classification Enabled via Labelless Embeddings with Self-supervised Telescope Image Analysis Learning
Carnegie Mellon University（卡内基梅隆大学）
遥感中常见的一类问题是场景分类，这是自然灾害识别、地理图像检索和环境监测的一项根本性重要任务。这一领域的最新发展依赖于标签依赖的监督学习技术，这与NASA GIBS中35 PB的未标记卫星图像相反。为了解决这个问题，我们建立了CELESTIAL-一个自监督学习管道，有效地利用稀疏标记的卫星图像。这个管道成功地适应了Simplified，这是一种算法，它首先在未标记的数据上学习图像表示，然后在提供的标签上微调这些知识。我们的结果表明，CELESTIAL只需要监督方法在实验数据集上达到相同精度所需的标签的三分之一。第一个无监督层可以实现应用程序，例如NASA Worldview的反向图像搜索（即以最少的样本在多年的未标记数据中搜索类似的大气现象），第二个有监督层可以显着降低昂贵的数据注释的必要性。将来，我们希望能够将CELESTIAL管道推广到其他数据类型、算法和应用程序。
2022-01-20 cs.CV
Learning Structured Semantic Embeddings for Visual Recognition
Tsinghua University（清华大学）；Virginia Tech（弗吉尼亚理工大学）；University of California, Merced（加利福尼亚大学默塞德分校）
许多嵌入模型已被探索，将语义知识的视觉识别。现有的方法通常专注于最小化嵌入空间中相应图像和文本之间的距离，但没有显式地优化底层结构。我们的关键观察是，成对的图像-图像关系的建模提高了嵌入模型的辨别能力。在本文中，我们提出了结构化的区别和差异的限制来学习视觉语义嵌入。首先，我们利用歧视性的约束来捕捉图像嵌入的类内和类间关系。区别性约束鼓励不同类别的图像实例的可分离性。其次，我们将一对图像嵌入之间的差向量与对应的词嵌入的差向量对齐。差异约束有助于正则化图像嵌入，以保持词嵌入之间的语义关系。广泛的评估表明，所提出的结构化嵌入的单标签分类，多标签分类，和zero-shot识别的有效性。
2017-06-05 cs.CV
SRA: A Novel Method to Improve Feature Embedding in Self-supervised Learning for Histopathological Images
University of Utah（犹他大学）；Scientific Computing and Imaging Institute（科学计算与成像研究所）
针对传统图像增强未适配组织病理图像特性的问题，提出染色重建增强SRA方法，结合MoCo v3与额外对比损失构建SRA-MoCo v3模型，在下游任务中性能优于标准MoCo v3，可媲美甚至超越更大数据集预训练的基础模型。
2024-10-31 cs.CV
Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization
The School of Computer Science, Tel Aviv University（特拉维夫大学计算机科学学院）
神经网络可视化技术通过图像位置与网络分类的相关性来标记图像位置。现有的方法是有效的，在突出显示的区域，最影响所得的分类。然而，正如我们所展示的，这些方法在识别替代分类的支持方面能力有限，我们将这种效果命名为{ \em显着性偏差}假设。在这项工作中，我们整合了两条研究路线：基于梯度的方法和基于属性的方法，并开发了一种算法，提供每类的可解释性。该算法以由局部属性指导的方式反向投影每像素局部影响，同时校正否则会使解释产生偏差的显著特征。在一系列广泛的实验中，我们展示了我们的方法对特定类别的可视化的能力，而不仅仅是预测的标签。值得注意的是，该方法在通常应用于基于梯度的方法的基准以及主要用于评估归因方法的基准中获得了最先进的结果。使用一个新的无监督程序，我们的方法也成功地证明了自监督方法学习语义信息。
2020-12-03 cs.CV
Self-Supervised Steering Angle Prediction for Vehicle Control Using Visual Odometry
Technical University of Munich（慕尼黑工业大学）；Artisense（阿蒂森斯公司）
用于自动驾驶汽车的基于视觉的学习方法主要使用监督方法，这些方法需要大量的标签进行训练。然而，这些标签通常很难获得，而且价格昂贵。在本文中，我们演示了如何训练一个模型，以控制车辆的轨迹，使用摄像头的姿态估计通过视觉里程计方法在一个完全自我监督的方式。我们提出了一个可扩展的框架，利用轨迹信息从几个不同的运行使用摄像头设置在汽车的前面。CARLA模拟器上的实验结果表明，我们提出的方法与监督训练的模型表现相当。
2021-03-20 cs.CV
Harmonizing Visual and Textual Embeddings for Zero-Shot Text-to-Image Customization
Seoul National University（首尔大学）
针对零样本文本到图像定制中视觉嵌入冗余姿态信息干扰文本嵌入导致姿态固化与身份退化的问题，提出正交视觉嵌入与自注意力交换方法，实现灵活生成并保持主体身份。
2024-03-21 cs.CV
Self-Supervised Video Forensics by Audio-Visual Anomaly Detection
University of Michigan（密歇根大学）
被操纵的视频通常在其视觉和音频信号之间包含微妙的不一致。我们提出了一种基于异常检测的视频取证方法，可以识别这些不一致，并且可以单独使用真实的未标记数据进行训练。我们训练一个自回归模型来生成视听特征序列，使用特征集来捕获视频帧和声音之间的时间同步。在测试时，我们标记模型分配低概率的视频。尽管完全在真实视频上训练，我们的模型在检测操纵语音视频的任务上获得了很好的性能。项目网址：https://cfeng16.github.io/audio-visual-forensics
2023-03-27 cs.CV
Distilling Knowledge from Self-Supervised Teacher by Embedding Graph Alignment
University of Tübingen（蒂宾根大学）；MPI for Informatics（马克斯·普朗克信息学研究所）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Heidelberg（海德堡大学）
最近的进展表明，自我监督预训练的优势，以改善下游任务的表示学习。现有的工作通常通过对下游任务进行微调来利用自我监督的预训练模型。然而，当需要构建不同于自监督模型的自定义模型架构时，微调并不能推广到这种情况。在这项工作中，我们制定了一个新的知识蒸馏框架，通过一种名为嵌入图对齐的新方法将知识从自监督预训练模型转移到任何其他学生网络。具体而言，受自监督学习中实例区分的精神的启发，我们在特征嵌入空间中通过图公式化来建模实例-实例关系，并通过对齐教师图和学生图来将自监督教师知识提取到学生网络。我们的蒸馏方案可以灵活地应用于传输自监督知识，以增强各种学生网络上的表示学习。我们证明了我们的模型优于三个基准数据集，包括CIFAR 100，STL 10和TinyImageNet的多个代表性的知识蒸馏方法。代码在这里：https://github.com/yccm/EGA。
2022-11-23 cs.CV cs.LG
Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；National University of Singapore（新加坡国立大学）
单纯形嵌入（SEM）是通过自监督学习（SSL）学习的表示，其中表示被投影到$V$维度的$L$单纯形中，每个都使用softmax操作。该过程在预训练期间将表示条件化到受约束的空间上，并赋予组稀疏性的归纳偏差。对于下游分类，我们正式证明了SEM表示导致更好的泛化比未规范化的表示。此外，我们通过经验证明，使用SEM训练的SSL方法在自然图像数据集（如CIFAR-100和ImageNet）上的泛化能力有所提高。最后，当在下游分类任务中使用时，我们表明SEM特征表现出紧急语义一致性，其中小组学习特征明显预测语义相关类。
2022-09-30 cs.CV cs.LG
Retro: Reusing teacher projection head for efficient embedding distillation on Lightweight Models via Self-supervised Learning
National Cancer Center（国家癌症中心）
提出Retro方法，通过为学生模型重用教师投影头解决嵌入蒸馏中的尺寸不匹配问题，在轻量级模型上显著优于现有技术并减少参数量。
2024-08-24 cs.AI cs.CV
Virtual embeddings and self-consistency for self-supervised learning
Technical University of Munich（慕尼黑工业大学）；Whiting School of Engineering, Johns Hopkins University（约翰斯·霍普金斯大学怀廷工程学院）；University Hospital Bonn（波恩大学医院）；Helmholtz Zentrum München（亥姆霍兹慕尼黑中心）
自监督学习（Self-supervised Learning，SSL）由于训练监督学习模型的高成本和数据限制而受到广泛关注。SSL中的当前范例是利用输入空间处的数据增强来创建相同图像的不同视图，并训练模型以最大化相似图像之间的表示并最小化不同图像之间的表示。虽然这种方法在各种下游任务中实现了最先进的（SOTA）结果，但它仍然有机会研究潜在的空间增强。本文提出了TriMix，SSL的一个新概念，通过线性插值的数据生成虚拟嵌入，从而提供了新的表示模型。我们的策略侧重于训练模型从虚拟嵌入中提取原始嵌入，从而更好地进行表示学习。此外，我们提出了一个自我一致性术语，提高了虚拟和实际嵌入之间的一致性。我们验证了TriMix的8个基准数据集组成的自然和医学图像与2.71%和0.41%的改善优于第二个最好的模型为两个数据类型。此外，我们的方法在半监督学习中优于当前的方法，特别是在低数据状态下。此外，我们的预训练模型表现出更好的转移到其他数据集。
2022-06-15 cs.AI cs.CV
BASIC: Boosting Visual Alignment with Intrinsic Refined Embeddings in Multimodal Large Language Models
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）
提出BASIC方法，利用LLM内部精炼的视觉嵌入作为直接监督指导投影器生成初始视觉嵌入，通过优化嵌入方向和语义匹配，无需额外标注即显著提升了MLLMs在多基准上的性能。
2025-08-09 cs.AI cs.CV
ViCo: Word Embeddings from Visual Co-occurrences
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们建议从视觉同现中学习词嵌入。如果两个词应用于相同的图像或图像区域，则两个词在视觉上共同出现。具体来说，我们从VisualGenome和ImageNet等大规模文本注释的视觉数据库中提取了对象和属性词之间的四种视觉同现。然后，我们训练一个多任务日志双线性模型，压缩编码词的“含义”表示的每个共现类型到一个单一的视觉词向量。通过无监督聚类，监督分区，和一个zero-shot样的泛化分析，我们表明，我们的词嵌入补充纯文本嵌入，如GloVe更好地代表视觉概念之间的相似性和差异，很难单独从文本语料库。我们进一步评估了五个下游应用程序的嵌入，其中四个是视觉语言任务。使用我们的嵌入增强GloVe可以在所有任务上获得收益。我们还发现，随机嵌入在所有有监督的视觉语言任务中执行学习嵌入，这与传统观点相反。
2019-08-22 cs.CL cs.CV
Visual Word2Vec (vis-w2v): Learning Visually Grounded Word Embeddings Using Abstract Scenes
Carnegie Mellon University（卡内基梅隆大学）；Virginia Tech（弗吉尼亚理工大学）
我们提出了一个模型来学习视觉接地词嵌入（vis-w2 v），以捕捉视觉概念的语义相关性。虽然使用文本训练的词嵌入非常成功，但它们无法揭示我们视觉世界中隐含的语义相关性概念。例如，虽然“eats”和“stares at”在文本中看起来不相关，但它们在视觉上共享语义。当人们吃东西时，他们也倾向于盯着食物。尽管最近在视觉方面取得了进展，但将“吃”和“盯着看”等不同关系植入视觉仍然具有挑战性。我们注意到，单词的视觉基础取决于语义，而不是字面像素。因此，我们使用从剪贴画创建的抽象场景来提供视觉基础。我们发现，我们学习的嵌入捕捉细粒度的，视觉上接地的语义相关性的概念。我们在三个任务上展示了纯文本词嵌入（word 2 vec）的改进：常识断言分类，视觉释义和基于文本的图像检索。我们的代码和数据集可在线获取。
2016-06-29 cs.CL cs.CV
S-JEA: Stacked Joint Embedding Architectures for Self-Supervised Visual Representation Learning
University of Aberdeen（阿伯丁大学）
针对自监督学习难以学习可分离分层语义表示的问题，提出堆叠联合嵌入架构（S-JEA），通过堆叠JEA使高层输入低层表示，学习可分离的语义层次，并在参数相当下达到传统JEA性能，可视化验证层次结构。
2024-11-04 cs.CV cs.LG
A Theoretical Framework for Preventing Class Collapse in Supervised Contrastive Learning
Yonsei University（延世大学）；Bank of Korea（韩国银行）
本文提出单纯形到单纯形嵌入模型（SSEM）作为理论框架，分析监督对比学习中超参数对表示的影响，并给出防止类别坍缩的实用指导，且通过合成与真实数据集实验验证了理论结论。
2025-03-11 cs.CV cs.LG
Out-of-sample generalizations for supervised manifold learning for classification
Centre de recherche INRIA Rennes - Bretagne Atlantique（法国国家信息与自动化研究所雷恩-布列塔尼大西洋研究中心）
用于数据分类的监督流形学习方法以结构保持的方式将驻留在高维环境空间中的数据样本映射到低维域，同时增强学习嵌入中不同类别之间的分离。大多数非线性监督流形学习方法只在最初可用的训练点上计算流形的嵌入，而嵌入到新点的泛化（称为流形学习中的样本外扩展问题）在分类应用中变得特别重要。在这项工作中，我们提出了一个半监督的方法来建立一个插值函数，提供了一个一般的监督流形学习算法的背景下，分类研究的样本外扩展。所提出的算法计算径向基函数（RBF）最小化的目标函数，由未标记的测试样本的总嵌入误差，定义为他们的距离嵌入自己的类的流形，以及一个正则化项，控制平滑的插值函数的方向依赖的方式。采用逐步逼近的方法，对测试数据的类标号和插值函数参数进行联合估计。人脸和目标图像上的实验结果表明，所提出的样本外扩展算法的分类流形建模的数据集的潜力。
2015-02-09 cs.CV cs.LG
AutoEmbedder: A semi-supervised DNN embedding system for clustering
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）
聚类是处理无标记数据的无监督学习方法中广泛使用的一种。深度集群已成为一个流行的研究领域，它将集群与深度神经网络（DNN）架构联系起来。深度聚类方法对高维数据进行下采样，这也可能与聚类损失有关。深度聚类也被引入到半监督学习（SSL）中。大多数SSL方法依赖于成对约束信息，这是一个矩阵，包含数据对是否可以在同一个集群中的知识。本文介绍了一种新的嵌入系统AutoEmbedder，下采样高维数据的聚类嵌入点。据我们所知，这是第一个与传统分类器DNN架构相关的研究工作，具有成对损失减少技术。训练过程是半监督的，并使用Siamese网络架构来计算特征学习阶段的成对约束损失。AutoEmbedder优于大多数现有的基于DNN的半监督方法，这些方法在著名的数据集上进行了测试。
2020-07-11 cs.CV cs.LG stat.ML
Semi-supervised Visual Feature Integration for Pre-trained Language Models
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））
整合视觉特征已被证明对于自然语言理解任务是有用的。然而，在大多数现有的多模态语言模型中，视觉和文本数据的对齐是昂贵的。在本文中，我们提出了一种新的半监督视觉集成框架的预训练语言模型。在该框架中，通过可视化和融合机制获得视觉特征。独特性包括：1）通过半监督方法进行整合，其不需要针对每个句子对齐图像2）视觉特征被整合为外部组件，并且可以由预训练的语言模型直接使用。为了验证所提出的框架的有效性，我们进行了实验上的自然语言推理和阅读理解任务。结果表明，我们的机制带来了改善两个强基线模型。考虑到我们的框架只需要一个图像数据库，而不需要进一步的对齐，它提供了一个有效的和可行的方法多模态语言学习。
2020-08-13 cs.CL cs.CV
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd（广州虎牙科技有限公司）；University of Oxford（牛津大学）
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能，他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发，我们提出了两个一般原则：1）单调递减和2）边际概率惩罚，用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同，我们提供了一个新的视角，将开集人脸识别视为一个信息传输问题。同时，该算法在保证更多干净信息的前提下，具有较好的泛化能力。提出了一种称为线性自动TS编码器（LASSE）的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明，LASSE有助于人脸嵌入获得更强的泛化能力，并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
