Concerto: Joint 2D-3D Self-Supervised Learning Emerges Spatial Representations
The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
Concerto通过联合2D-3D自监督学习，产生更连贯的信息空间表示，优于现有SOTA模型并在多个基准上取得新成就。
2026-02-28 cs.CV
Joint-Embedding Prediction of Masked Point Tubes for Self-Supervised Learning on 4D Point Cloud Videos
National Taiwan University（台湾大学）
该研究针对四维点云视频自监督学习的挑战，提出JEPA风格框架结合Sketched Isotropic Gaussian Regularization，通过掩码时空区域的潜在点管预测学习表示，在动作和手势识别任务中取得良好效果。
2026-08-26 cs.CV cs.LG
Joint Data and Feature Augmentation for Self-Supervised Representation Learning on Point Clouds
Nanjing University of Science and Technology（南京理工大学）
针对点云自监督学习中增强可迁移性不足和语义改变问题，提出融合数据与特征增强的对比学习框架，通过图生成和编码器扰动学习鲁棒表示，在分类和分割任务上达到最先进性能。
2022-11-02 cs.CV cs.GR
Adversarial Training of Self-supervised Monocular Depth Estimation against Physical-World Attacks
Purdue University（普渡大学）；Rochester Institute of Technology（罗切斯特理工学院）
提出一种基于视图合成的自监督单目深度估计对抗训练方法，利用L0范数受限扰动提升对物理世界攻击的鲁棒性，在几乎不损失良性性能的情况下优于现有方法。
2023-04-02 cs.AI cs.CV
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Self-Supervised Visual Representation Learning: Pretrain-Finetuning or Joint Training?
University of Kentucky（肯塔基大学）；Kentucky Geological Survey（肯塔基地质调查局）
研究自监督视觉表征学习中预训练-微调与联合训练两种范式，通过在多种任务及不同标记数据比例下评估性能，发现JT在低标记时提高效率且稳健，PFT在专业领域更可靠，为混合自监督半监督学习提供基准和指导。
2026-07-16 cs.CV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
Dataset-Level Regularization for Joint-Embedding Self-Supervised Learning
European Molecular Biology Laboratory (EMBL)（欧洲分子生物学实验室）
该研究针对联合嵌入自监督学习提出小批量外数据集级正则化，在SimCLR、SIGReg等方法上提升了小批量下多任务性能，且使批量大小不再影响正则化器几何结构。
2026-10-14 cs.CV
Joint-task Self-supervised Learning for Temporal Correspondence
University of California, Merced（加州大学默塞德分校）；NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
本文提出了以自监督的方式从视频中学习可靠的密集对应。我们的学习过程集成了两个高度相关的任务：跟踪大图像区域\emph{and}，在连续视频帧之间建立细粒度的像素级关联。我们利用这两个任务之间的协同作用，通过一个共享的帧间亲和矩阵，同时在区域和像素级的视频帧之间的过渡模型。虽然区域级本地化通过缩小搜索区域来帮助减少细粒度匹配中的模糊性，但细粒度匹配提供自下而上的特征以促进区域级本地化。我们的方法在各种视觉对应任务上优于最先进的自监督方法，包括视频对象和部分分割传播，关键点跟踪和对象跟踪。我们的自监督方法甚至超过了在ImageNet上预训练的ResNet-18所获得的完全监督的亲和力特征表示。
2019-09-26 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China（中北大学）
基于深度学习的水下目标检测（UOD）仍然是一个主要挑战，这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题，提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络，强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性，设计了一种基于视角变换的改进空间Transformer网络，自适应地丰富网络中的图像特征。实验结果表明，该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能，优于许多现有的UOD方法，表明该方法更适合UOD。
2022-03-09 cs.CV
Pyramid Self-attention Polymerization Learning for Semi-supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
大多数半监督的基于骨架的动作识别方法旨在仅在关节级别学习骨架动作表示，但忽略了粗粒度身体处的关键运动特征（例如，肢体、躯干）级别，提供丰富的附加语义信息，尽管标记数据的数量是有限的。在这项工作中，我们提出了一种新的金字塔自注意力聚合学习（简称PSP学习）框架，通过覆盖粗到细粒度的对比学习，联合学习包含丰富和互补语义信息的关节和运动数据的身体级，部件级和关节级动作表示。具体来说，为了补充骨架动作中从粗到细粒度的语义信息，我们设计了一种新的金字塔聚合注意力（PPA）机制，该机制首先计算身体级注意力图，部分级注意力图和关节级注意力图，并以逐层的方式聚合这些注意力图（即，从身体水平到部分水平，并且进一步到关节水平）。此外，我们提出了一个新的粗到细对比损失（CCL），包括身体水平的对比损失，部分水平的对比损失，关节水平的对比损失，共同衡量关节和运动数据的身体/部分/关节水平的对比特征之间的相似性。最后，在NTU RGB+D和North-Western UCLA数据集上进行了大量的实验，以证明所提出的PSP学习在半监督的基于动作的动作识别任务中的竞争性能。PSP Learning的源代码可在https://github.com/1xbq1/PSP-Learning上公开获取。
2023-02-05 cs.CV
Bayesian Joint Topic Modelling for Weakly Supervised Object Localisation
Queen Mary, University of London（伦敦玛丽女王大学）
我们解决的问题，在图像中的边界框弱标签的对象的本地化。这种弱监督的对象定位问题在过去已经使用判别模型来解决，其中每个对象类独立于其他类进行定位。我们提出了一个新的框架的基础上贝叶斯联合主题建模。我们的框架有三个显着的优势，比以前的作品：（1）所有的对象类和图像背景一起建模在一个单一的生成模型，使“解释”的推理可以解决歧义，并导致更好的学习和本地化。(2)该模型的贝叶斯公式可以很容易地整合有关对象外观的先验知识，以弥补有限的监督。(3)我们的模型可以通过弱标记和未标记数据的混合来学习，从而可以利用互联网上大量的未标记图像进行学习。在具有挑战性的VOC数据集上进行的大量实验表明，我们的方法优于最先进的竞争对手。
2017-05-09 cs.CV
Joint-Embedding Predictive Architecture for Self-Supervised Learning of Mask Classification Architecture
VUNO Inc.（VUNO公司）；POSTECH（浦项科技大学）
本研究提出专为掩码分类架构定制的自监督学习框架Mask-JEPA，结合联合嵌入预测架构解决自监督分割的两大关键挑战，在多个数据集上取得有竞争力的结果且具备良好通用性与鲁棒性。
2024-07-15 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Self-supervised Vision Transformers for Joint SAR-optical Representation Learning
Remote Sensing Technology Institute, German Aerospace Center (DLR)（德国航空航天中心（DLR）遥感技术研究所）；Technical University of Munich (TUM)（慕尼黑工业大学（TUM））
自监督学习（Self-supervised learning，SSL）由于其无需人工注释就能学习任务无关的表示，在遥感和地球观测领域引起了广泛的兴趣。虽然大多数现有的SSL工程在遥感利用ConvNet骨干，并专注于一个单一的模式，我们探索的潜力视觉Transformer（ViTs）的联合SAR光学表示学习。基于DINO，一种最先进的SSL算法，从输入图像的两个增强视图中提取知识，我们通过将所有通道连接到一个统一的输入来组合SAR和光学图像。随后，我们随机屏蔽一种模态的通道作为数据增强策略。在训练过程中，该模型获得仅光学、仅SAR和SAR光学图像对，学习内部和内部模态表示。采用BigEarthNet-MM数据集的实验结果证明了ViT主干和建议的多模式SSL算法DINO-MM的好处。
2022-06-14 cs.CV
DeepAtlas: Joint Semi-Supervised Learning of Image Registration and Segmentation
University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
深度卷积神经网络（CNN）是语义图像分割的最新技术，但通常需要许多标记的训练样本。获得用于监督训练的医学图像的3D分割是困难且劳动密集的。受联合分割和配准的经典方法的启发，我们因此提出了一个深度学习框架，该框架联合学习图像配准和图像分割的网络。与以前的深度无监督图像配准工作相比，通过图像分割显示了弱监督的好处，我们的方法可以在可用时使用现有的分割，否则通过分割网络计算它们，从而提供相同的配准好处。相反，分割网络训练受益于配准，配准本质上提供了数据增强的现实形式。膝盖和大脑的3D磁共振（MR）图像上的实验表明，我们的方法实现了大的同时提高分割和配准精度（在独立训练的网络），并允许训练高质量的模型非常有限的训练数据。具体来说，在一次拍摄的情况下（只有一个手动标记的图像），我们的方法在膝盖和大脑图像上分别将无监督配准网络的Dice分数（%）提高了2.7和1.8。
2019-07-26 cs.CV
Functional Knowledge Transfer with Self-supervised Representation Learning
Luleå Tekniska Universitet（吕勒奥理工大学）；CCET, Punjab University（旁遮普大学CCET学院）；Kyushu University（九州大学）
本文提出一种联合训练框架，通过同时优化自监督伪任务与监督任务实现功能性知识迁移，在三个小规模公开视觉数据集上验证了分类性能的稳定提升。
2023-07-10 cs.CV
SOLAR: Self-supervised Joint Learning for Symmetric Multimodal Retrieval
Ant Group（蚂蚁集团）
本文提出SOLAR框架，通过自监督学习解决对称多模态检索问题，利用未标记数据提升模型性能，实验显示其在基准测试中优于现有方法。
2026-07-14 cs.CV
Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding
The University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）
磁共振成像（MRI）提供高分辨率的\emph{in vivo}成像以及丰富的功能和解剖多模态组织对比度。然而，在实践中，存在与考虑扫描成本、患者舒适度和扫描时间相关的挑战，这些挑战限制了在临床或研究中可以获取多少数据。在本文中，我们探讨了从低分辨率单模态图像生成高分辨率和多模态图像的可能性。我们提出了弱监督联合卷积稀疏编码，同时解决了超分辨率（SR）和跨模态图像合成的问题。学习过程只需要几个注册的多模态图像对作为训练集。此外，可以使用较大的未配对图像集合来提高联合字典学习的质量。为了组合来自不同图像分辨率/模态的未配对数据，提出了异域图像对准项。通过对整个图像域（与图像块相对）进行操作并使用联合卷积稀疏编码来自然地保留局部图像邻域。配对的图像在联合学习过程中与未配对的数据和一个额外的最大平均差异项，这最大限度地减少了它们的特征分布之间的差异增强。实验表明，该方法优于国家的最先进的技术，在SR重建和同步SR和跨模态合成。
2017-05-07 cs.CV
Joint multi-modal Self-Supervised pre-training in Remote Sensing: Application to Methane Source Classification
针对遥感任务标注数据需求大的问题，本文探究利用多传感器遥感数据的多模态特性开展自监督预训练，评估了联合嵌入方法训练的编码器在甲烷源分类任务上的性能。
2023-06-16 cs.CV
More Synergy, Less Redundancy: Exploiting Joint Mutual Information for Self-Supervised Learning
West Virginia University（西弗吉尼亚大学）
本文基于偏信息分解（PID）将联合互信息分解为唯一、冗余和协同信息，提出一种自监督学习框架，通过最小化视图间冗余信息并最大化协同信息，有效提升了模型性能。
2023-07-02 cs.CV
Joint CNN and Transformer Network via weakly supervised Learning for efficient crowd counting
Chongqing University（重庆大学）；Huazhong University of Science and Technology（华中科技大学）
目前，对于人群计数，基于密度图估计的全监督方法是主流研究方向。然而，这样的方法需要在图像中的人的位置级注释，这是费时费力的。因此，迫切需要一种仅依赖计数级标注的弱监督方法。由于CNN不适合对全局上下文和图像块之间的交互进行建模，因此通过CNN进行弱监督学习的人群计数通常不能表现出良好的性能。提出了基于Transformer的弱监督模型，用于全局上下文建模和对比度特征学习。然而，Transformer直接将人群图像划分为一系列令牌，由于每个行人都是独立的个体，并且网络的参数数量非常大，这可能不是一个很好的选择。因此，我们提出了一个联合CNN和Transformer网络（JCTNet）通过弱监督学习人群计数在本文中。JCTNet由三部分组成：CNN特征提取模块（CFM）、Transformer特征提取模块（TFM）和计数回归模块（CRM）。CFM提取人群的语义信息特征，将其分片发送给TRM进行全局上下文建模，CRM用于预测人群数量。大量的实验和可视化结果表明，JCTNet可以有效地集中在人群区域，并在五个主流数据集上获得优异的弱监督计数性能。与纯Transformer工作相比，该模型的参数数可减少约67%~73%。我们还试图解释仅受计数级注释约束的模型仍然可以聚焦于人群区域的现象。我们相信我们的工作可以促进这一领域的进一步研究。
2022-03-12 cs.CV
Joint Self-Supervised Video Alignment and Action Segmentation
Retrocausal, Inc.（Retrocausal公司）
本文提出了一种统一最优传输框架，用于联合自监督视频对齐与动作分割，实现了高效训练和更优的分割性能。
2025-12-05 cs.CV
JCDNet: Joint of Common and Definite phases Network for Weakly Supervised Temporal Action Localization
Alibaba DAMO Academy（阿里巴巴达摩院）
弱监督时间动作定位的目的是定位动作实例在未经修剪的视频，只有视频级的监督。我们见证了不同的行动记录共同的阶段，例如，跳高和跳远中的助跑。这些不同的动作被定义为联合动作，其其余部分是确定的阶段，例如，在跳高中跳过横杆。相对于普通相位，已有研究中的定相相位更容易局部化。大多数人将此任务表述为多实例学习范式，其中公共阶段往往与背景相混淆，并影响联合动作的本地化完整性。为了应对这一挑战，我们提出了一个共同的和确定的相位网络（JCDNet），通过提高联合行动的特征可辨别性。具体地说，我们设计了一个类感知判别模块，以提高在分类的粗确定相位特征的指导下的共同相位的贡献。此外，我们引入了一个时间注意力模块，通过建模时间依赖性来学习鲁棒的动作性分数，区分公共相位和背景。在三个数据集（THUMOS 14，ActivityNetv1.2和一个联合动作子集）上进行的大量实验表明，JCDNet与最先进的方法相比具有竞争力的性能。关键词：弱监督学习，时间动作局部化，联合动作
2023-03-30 cs.CV
Noise2Recon: Enabling Joint MRI Reconstruction and Denoising with Semi-Supervised and Self-Supervised Learning
Stanford University（斯坦福大学）
深度学习（DL）已经显示出更快，高质量的加速MRI重建的前景。然而，监督DL方法依赖于大量的完全采样（标记）数据，并且对分布外（OOD）偏移敏感，特别是低信噪比（SNR）采集。为了缓解这一挑战，我们提出了Noise2Recon，这是一种用于联合MRI重建和去噪的模型不可知的一致性训练方法，可以在半监督和自监督设置中使用全采样（标记）和欠采样（未标记）扫描。在有限或没有标记训练数据的情况下，Noise2Recon的性能优于压缩感知和深度学习基线，包括监督网络、基于增强的训练、微调的去噪器和自监督方法，并与监督模型的性能相匹配，这些模型是用14倍的全采样扫描训练的。Noise2Recon还优于所有基线，包括最先进的微调和增强技术，在低SNR扫描中以及推广到其他OOD因素时，例如加速因子和不同数据集的变化。与监督方法相比，增强程度和损失加权超参数对Noise2Recon的影响可以忽略不计，这可能表明训练稳定性增加。我们的代码可在https://github.com/ad12/meddlr上获得。
2022-10-07 cs.CV eess.IV
Self-Supervised Joint Encoding of Motion and Appearance for First Person Action Recognition
Politecnico di Torino（都灵理工大学）；Italian Institute of Technology（意大利理工学院）
可穿戴摄像头在多个应用中越来越受欢迎，这增加了研究界对开发从第一人称角度识别动作的方法的兴趣。以自我为中心的动作识别中的一个公开挑战是，视频缺乏关于主要演员姿势的详细信息，因此在专注于操纵任务时往往只记录部分运动。因此，关于动作本身的信息量是有限的，这使得理解被操纵的对象及其上下文变得至关重要。许多以前的作品解决了这个问题与双流架构，其中一个流是专门用于建模的动作中涉及的对象的外观，另一个从光流中提取运动特征。在本文中，我们认为，从这两个信息通道联合学习特征，有利于捕捉两者之间的时空相关性更好。为此，我们提出了一个单流架构，能够做到这一点，由于增加了一个自我监督的块，使用借口运动预测任务，interrupt运动和外观知识。几个公开的数据库上的实验表明，我们的方法的力量。
2020-12-07 cs.CV
Semi-supervised learning for joint SAR and multispectral land cover classification
Politecnico di Torino（都灵理工大学）
半监督学习技术由于其构建有效模型的能力而越来越受欢迎，即使在标记数据稀缺的情况下也是如此。在本文中，我们提出了一个框架和具体任务的自我监督预训练的\textit{multichannel}模型，如多光谱和合成孔径雷达图像的融合。我们表明，所提出的自监督方法在学习与土地覆盖分类标签相关的特征方面非常有效。这是通过预训练任务的明确设计实现的，该任务促进弥合感测模态和利用输入的光谱特性之间的差距。在半监督设置中，当有限的标签可用时，使用所提出的自监督预训练，然后使用SAR和多光谱数据对土地覆盖分类进行监督微调，优于传统方法，如纯监督学习，ImageNet训练初始化和其他最近的自监督方法。
2022-07-28 cs.CV eess.IV
Modelling Neighbor Relation in Joint Space-Time Graph for Video Correspondence Learning
The Chinese University of Hong Kong（香港中文大学）
本文提出了一种自监督的方法，用于从未标记的视频中学习可靠的视觉对应。我们制定的对应寻找路径的联合时空图，其中节点是从帧中采样的网格补丁，并通过两种类型的边缘连接：（i）邻居关系，确定聚集强度从帧内邻居在空间中，和（ii）相似性关系，表明跨时间的帧间路径的转移概率。利用视频中的周期一致性，我们的对比学习目标区分动态对象从其相邻视图和时间视图。与以前的工作相比，我们的方法积极探索中心实例的邻居关系，以学习中心邻居对之间的潜在关联（例如，“hand- arm”），从而提高了实例区分度。在没有微调的情况下，我们学习的表示在各种视觉任务上的表现优于最先进的自监督方法，包括视频对象传播，部分传播和姿势关键点跟踪。我们的自监督方法也超过了一些为特定任务设计的完全监督算法。
2021-09-28 cs.CV
Siamese Learning with Joint Alignment and Regression for Weakly-Supervised Video Paragraph Grounding
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；Guangdong Province Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）
针对现有视频段落定位依赖大量时间标签的问题，提出带权重共享双分支的孪生学习框架SiamGTR，无需时间标注即可联合实现跨模态对齐与时间回归，在弱/半监督场景下性能超越现有最优方法。
2024-05-14 cs.CV
Joint Supervised and Self-Supervised Training with Acquisition-Robust Techniques for Accelerated 4D Flow MRI Reconstruction
University of Texas Southwestern Medical Center（德克萨斯大学西南医学中心）；University of California, San Francisco（加州大学旧金山分校）
本研究提出联合监督与自监督训练及采集鲁棒策略的4D血流MRI重建方法，在主动脉数据集上显著降低误差并提升泛化能力。
2026-10-01 cs.CV eess.IV
ShapeMatcher: Self-Supervised Joint Shape Canonicalization, Segmentation, Retrieval and Deformation
Tsinghua University（清华大学）；Northwestern Polytechnical University（西北工业大学）
针对任意姿态部分观测物体的多形状任务协同处理难题，提出自监督框架ShapeMatcher，联合完成规范化、分割、检索与变形，通过跨任务一致性损失互监督，在多个数据集上性能显著优于现有方法。
2024-03-11 cs.CV
Joint and Progressive Subspace Analysis (JPSA) with Spatial-Spectral Manifold Alignment for Semi-Supervised Hyperspectral Dimensionality Reduction
Remote Sensing Technology Institute（遥感技术研究所）；Helmholtz Association（亥姆霍兹联合会）；German Research Foundation (DFG)（德国研究基金会（DFG））；European Research Council (ERC)（欧洲研究委员会（ERC））；German Federal Ministry of Education and Research (BMBF)（德国联邦教育和研究部（BMBF））；AXA Research Fund（安盛研究基金）
传统的非线性子空间学习技术（例如，流形学习）通常在可解释性（显式映射）和成本有效性（线性化）、泛化能力（样本外）和可表示性（空间-频谱鉴别）方面引入一些缺点。为了克服这些缺点，一种新的线性化子空间分析技术与空间光谱流形对齐开发的半监督高光谱降维（HDR），称为联合和渐进子空间分析（JPSA）。JPSA从高光谱数据中学习一种高层次的、语义上有意义的、联合的空间-光谱特征表示：1）联合学习潜在子空间和线性分类器，以找到有利于分类的有效投影方向; 2）逐步搜索子空间的几个中间状态，以接近从原始空间到潜在的更具区分力的子空间的最佳映射; 3）在空间上和频谱上对齐每个学习的潜在子空间中的流形结构，以便在压缩数据和原始数据之间保持相同或相似的拓扑性质。一个简单但有效的分类器，即，最近邻（NN），探索作为一个潜在的应用程序验证不同的HDR方法的算法性能。在两个广泛使用的高光谱数据集上进行了大量的实验，以证明所提出的JPSA的优越性和有效性：印度松树（92.98%）和休斯顿大学（86.09%）与以前的国家的最先进的HDR方法相比。这一基本工作的演示（即，ECCV 2018）可在www.example.com上公开获取。
2020-09-21 cs.CV
Joint Label Prediction based Semi-Supervised Adaptive Concept Factorization for Robust Data Representation
Soochow University（苏州大学）；Hefei University of Technology（合肥工业大学）；Nanjing University of Information Science and Technology（南京信息工程大学）
约束概念因子分解（CCF）通过引入标签信息作为附加约束，增强了CF的表示能力，但它不能对未标记的数据进行适当的分类和分组。直接最小化原始数据与其重建数据之间的差异可以使CCF能够对小的噪声扰动进行建模，但对粗稀疏误差不鲁棒。此外，CCF不能显式地保持新表示空间中的流形结构，特别是以自适应的方式。本文提出了一种基于联合标签预测的鲁棒半监督自适应概念分解（RS2ACF）框架。为了获得鲁棒的表示，RS2ACF放松因子分解，使其同时稳定的小条目噪声和稀疏错误。为了丰富先验知识以增强区分力，RS2ACF清楚地使用标记数据的类信息，更重要的是通过联合学习未标记数据的显式标签指示符将其传播到未标记数据。RS2ACF通过标签指示器保证了同一预测标签的未标记数据在特征空间中映射到同一类。此外，RS2ACF在标记数据和未标记数据的新表示和预测标签上引入了联合邻域重构误差，使得流形结构能够同时在表示空间和标签空间中显式自适应地保持.由于自适应的方式，棘手的过程中，确定的邻域大小或核宽度可以避免。在公共数据库上的大量结果验证了我们的RS2ACF可以提供最先进的数据表示，与其他相关方法相比。
2019-05-25 cs.CV
Improved Face Representation via Joint Label Classification and Supervised Contrastive Clustering
Tencent（腾讯）
针对人脸识别中聚类知识利用不足的问题，本文提出标签分类与监督对比聚类联合优化框架，通过聚类引导角度间隔和聚类中心对齐提升人脸表征性能。
2023-12-07 cs.AI cs.CV
Unsupervised Joint Learning of Depth, Optical Flow, Ego-motion from Video
Tongji University（同济大学）
从图像中估计深度、摄像机运动和光流等几何元素是机器人视觉感知的重要组成部分。我们使用一个联合的自我监督的方法来估计的三个几何元素。深度网络、光流网络和摄像机运动网络彼此独立，但在训练阶段联合优化。与独立训练相比，联合训练可以充分利用几何元素之间的几何关系，提供场景的动态和静态信息。本文从网络结构、动态对象分割和几何约束三个方面对联合自监督方法进行了改进。在网络结构方面，我们将注意力机制应用到摄像机运动网络中，这有助于利用帧间摄像机运动的相似性。并根据Transformer中的注意力机制，提出了一种即插即用的卷积注意模块。在动态目标方面，根据动态目标在光流自监督框架和深度-姿态自监督框架中的不同影响，提出了一种阈值算法来检测动态区域，并分别在损失函数中对动态区域进行掩模。在几何约束方面，我们使用传统的方法从对应点估计基本矩阵来约束摄像机运动网络。我们在KITTI数据集上证明了我们方法的有效性。与其他联合自监督方法相比，该方法在姿态和光流估计方面达到了最先进的性能，在深度估计方面也取得了有竞争力的结果。代码将提供https://github.com/jianfenglihg/Unsupervised_geometry.
2021-05-30 cs.CV
Robust Self-Supervised Cross-Modal Super-Resolution against Real-World Misaligned Observations
The Univsrsity of Tokyo（东京大学）；RIKEN AIP（理化学研究所）
RobSelf通过自监督方法实现鲁棒的跨模态超分辨率，通过误对齐感知的特征翻译和内容感知的参考滤波器提升性能和效率。
2026-07-13 cs.CV
Weakly-Supervised Stitching Network for Real-World Panoramic Image Generation
Chungnam National University（忠南大学）；Electronics and Telecommunication Research Institute（电子与电信研究院）
最近，基于端到端深度学习的拼接模型受到越来越多的关注。然而，基于深度学习的拼接中最具挑战性的一点是获得具有窄视场的输入图像和从真实世界场景捕获的具有宽视场的地面实况图像对。为了克服这个困难，我们开发了一种弱监督学习机制来训练拼接模型，而不需要真正的地面实况图像。此外，我们提出了一个拼接模型，以多个真实世界的鱼眼图像作为输入，并创建一个360输出图像的等距矩形投影格式。特别是，我们的模型包括颜色一致性校正，扭曲和混合，并通过感知和SSIM损失进行训练。在两个真实的拼接数据集上验证了该算法的有效性。
2022-09-13 cs.CV
H-Flow: Self-supervised Human Scene Flow via Physics-inspired Joint Multi-modal Learning
Michigan State University（密歇根州立大学）；University of North Carolina, Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出H-Flow，一种能够同时捕捉骨骼运动学和表面变形的密集人体场景流方法，通过物理启发的联合多模态学习实现自监督，引入高保真合成基准DynAct4D，并在标准基准和零样本场景中优于现有方法。
2026-05-21 cs.CV
Better Pseudo-label: Joint Domain-aware Label and Dual-classifier for Semi-supervised Domain Generalization
Nanjing University（南京大学）；National Institute of Healthcare Data Science, Nanjing University（南京大学健康医疗大数据国家研究院）；Southeast University（东南大学）
领域泛化（DG）是一种新提出的学习范式，其目标是将训练好的模型直接推广到未知的领域。以往的DG模型在训练过程中通常需要足够数量的来自观测源域的注释样本。在本文中，我们放宽了这一要求，充分的注释和调查半监督领域泛化（SSDG），只有一个源域是完全注释与其他领域完全未标记的训练过程中。为了解决观察到的源域之间的域间隙和预测看不见的目标域的挑战，我们提出了一种新的深度框架，通过联合域感知标签和双分类器来产生高质量的伪标签。具体地说，为了预测准确的伪标签下域移位，域感知的伪标签模块的开发。此外，考虑到泛化和伪标记之间的目标不一致：前者防止过拟合所有源域，而后者可能过拟合未标记的源域以获得高精度，我们采用双分类器在训练过程中独立地执行伪标记和领域泛化。当为未标记的源域生成准确的伪标签时，应用域混合操作来在标记的域和未标记的域之间增加新的域，这有利于提高模型的泛化能力。在公开的DG基准数据集上的广泛结果表明了我们提出的SSDG方法的有效性。
2022-08-17 cs.CV
CNN-JEPA: Self-Supervised Pretraining Convolutional Neural Networks Using Joint Embedding Predictive Architecture
Budapest University of Technology and Economics（布达佩斯技术与经济大学）
本文提出CNN-JEPA，将联合嵌入预测架构成功应用于CNN，通过稀疏编码器、深度可分离卷积预测器和改进掩码策略，在ImageNet-100上以ResNet-50达到73.3%线性top-1准确率，且训练时间比同类方法减少17-35%。
2025-03-11 cs.CV
Joint Self-supervised Depth and Optical Flow Estimation towards Dynamic Objects
Jiangnan University（江南大学）
针对帧间监督深度估计中动态物体的不确定性问题，提出深度与光流联合估计框架，通过自适应运动分割、独立预测合成深度及重合成光流计算误差，在相关数据集上取得更优或有竞争力的性能。
2023-09-07 cs.CV eess.IV
Multi-task Self-Supervised Visual Learning
DeepMind；University of Oxford（牛津大学）
我们研究了结合多个自我监督任务的方法--即，监督任务，其中可以收集数据而无需手动标记--以便训练单个视觉表示。首先，我们使用非常深入的ResNet-101架构对四种不同的自监督任务进行了比较。然后，我们组合任务以联合训练网络。我们还探索了套索正则化，以鼓励网络在其表示中分解信息，以及“协调”网络输入的方法，以学习更统一的表示。我们评估了ImageNet分类，PASCAL VOC检测和NYU深度预测的所有方法。我们的研究结果表明，更深的网络工作得更好，并且组合任务-即使是通过简单的多头架构-总是可以提高性能。我们最好的联合网络几乎与ImageNet分类预训练模型的PASCAL性能相匹配，并与纽约大学深度预测的ImageNet网络相匹配。
2017-08-25 cs.CV
Blind-Spot Guided Diffusion for Self-supervised Real-World Denoising
Dexmal；UESTC；Tele AI；SJTU
本文提出盲点引导扩散（BSGD）框架，通过双分支扩散结合盲点网络与常规扩散，在无配对数据条件下实现真实世界图像的自监督去噪，并在SIDD和DND数据集上取得最先进性能。
2025-09-19 cs.CV
Towards Universal Vision-language Omni-supervised Segmentation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
现有的开放世界通用分割方法通常利用CLIP和预先计算的提案掩码将开放世界分割任务视为提案分类。然而，1）这些工作不能以端到端的方式处理通用分割，以及2）全景数据集的有限规模限制了事物类上的开放世界分割能力。在本文中，我们提出了视觉语言全监督分割（VLOSS）。VLOSS从带有CLIP文本编码器的Mask 2Former通用分割框架开始。为了提高开放世界分割能力，我们利用全监督数据（即，全景分割数据、目标检测数据和图像-文本对数据）进行训练，从而丰富了开放世界分割能力并实现了更好的分割精度。为了更好地提高训练效率，充分释放全监督数据的力量，我们提出了几种先进的技术，即，FPN风格的编码器，可切换的训练技术和正分类损失。受益于端到端的训练方式与所提出的技术，VLOSS可以应用于各种开放世界的分割任务，而无需进一步调整。在不同的开放世界全景和实例分割基准上的实验结果证明了VLOSS的有效性。值得注意的是，在参数较少的情况下，我们使用Swin-Tiny主干的VLOSS在LVIS v1数据集上的掩码AP方面超过MaskCLIP约2%。
2023-03-12 cs.CV
Joint Spatial-Temporal Modeling and Contrastive Learning for Self-supervised Heart Rate Measurement
School of Artificial Intelligence, Hefei University of Technology (HFUT)（合肥工业大学人工智能学院）；Key Laboratory of Knowledge Engineering with Big Data (HFUT), Ministry of Education（大数据知识工程教育部重点实验室）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；Anhui University（安徽大学）；Zhejiang University（浙江大学）；Anhui Zhonghuitong Technology Co., Ltd.（安徽中汇通科技有限公司）
本文提出两种自监督心率估计方案，分别基于时空建模和对比学习，并通过集成策略融合二者优势，在 IJCAI 2024 RePSS 挑战赛赛道 1 中以 RMSE 8.85277 获得第二名。
2024-06-07 cs.CV
Learning to diagnose cirrhosis from radiological and histological labels with joint self and weakly-supervised pretraining strategies
Guerbet Research（盖尔贝特研究中心）；Télécom Paris, Institut Polytechnique de Paris（巴黎理工学院巴黎电信学院）；Sorbonne Université（索邦大学）
识别肝硬化是正确评估肝脏健康的关键。然而，肝硬化的金标准诊断需要医疗干预以获得组织学确认，例如METAVIR评分，因为放射学表现可能不明确。在这项工作中，我们建议利用来自放射科医生注释的大型数据集的迁移学习（我们认为这是弱注释）来预测小型附件数据集上可用的组织学评分。为此，我们建议比较不同的预训练方法，即弱监督和自监督方法，以提高对肝硬化的预测。最后，我们引入了一个损失函数，它结合了监督和自监督框架来进行预训练。该方法优于METAVIR评分的基线分类，达到0.84的AUC和0.75的平衡准确度，而基线分类器为0.77和0.72。
2023-02-16 cs.AI cs.CV
Harmony: A Joint Self-Supervised and Weakly-Supervised Framework for Learning General Purpose Visual Representations
Harvard University（哈佛大学）；KAUST（王国立人工智能科技大学）
Harmony框架结合视觉-语言训练与自监督学习，通过多目标优化和软CLIP目标，在多种下游视觉任务上显著超越CLIP及现有联合方法。
2025-06-23 cs.CV cs.LG
SCAPO: Self-Supervised Category-Level Articulated Pose Estimation from a Single 3D Observation
Department of Computer Science, National University of Singapore（新加坡国立大学计算机科学系）
提出SCAPO框架，通过自监督方式从单张RGB-D图像中估计关节物体的规范几何、刚性部件分割和关节参数，无需真实标签或类别特定模型。
2026-06-01 cs.CV
Semi-Supervised Vision-Centric 3D Occupancy World Model for Autonomous Driving
Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
针对自动驾驶3D占用世界模型依赖高成本3D标签的问题，提出半监督视觉中心模型PreWorld，通过自监督预训练（利用2D标签）和全监督微调两阶段训练，在nuScenes数据集上的多任务中取得竞争力性能。
2025-02-11 cs.CV
Mediffusion: Joint Diffusion for Self-Explainable Semi-Supervised Classification and Medical Image Generation
Warsaw University of Technology（华沙理工大学）；Sano Centre for Computational Medicine（萨诺计算医学中心）；IDEAS NCBR
提出 Mediffusion 方法，通过单一共享参数化的联合扩散模型，将标准分类与基于扩散的生成任务相结合，有效利用有标签和无标签数据进行医学图像半监督分类，并通过反事实示例提供准确可靠的解释。
2024-11-12 cs.CV cs.LG
Show, Match and Segment: Joint Weakly Supervised Learning of Semantic Matching and Object Co-segmentation
Research Center for Information Technology Innovation, Academia Sinica（中央研究院资讯科技创新研究中心）；National Chiao Tung University（国立交通大学）；University of California, Merced（加州大学默塞德分校）；Google Research（谷歌研究院）；Yonsei University（延世大学）；Virginia Tech（弗吉尼亚理工学院暨州立大学）
我们提出了一种方法，用于联合匹配和分割同一类别的图像集合内的对象实例。与现有的孤立地处理语义匹配和对象共分割任务的算法相比，我们的方法利用了这两项任务的互补性。我们的方法的关键见解是双重的。首先，从语义匹配估计的密集对应字段提供监督对象共同分割，通过执行从一对图像的预测掩模之间的一致性。其次，从对象共分割的预测对象掩模反过来又允许我们减少由于背景杂波的不利影响，以提高语义匹配。我们的模型是端到端可训练的，不需要手动注释的对应关系和对象掩码的监督。我们在五个基准数据集上验证了我们的方法的有效性：TSS，Internet，PF-PASCAL，PF-WILLOW和SPair-71 k，并表明我们的算法在语义匹配和对象共分割任务上都优于最先进的方法。
2020-03-29 cs.CV
Triply Supervised Decoder Networks for Joint Detection and Segmentation
Tianjin University（天津大学）；Xi’an Institute of Optics and Precision Mechanics, Chinese Academy of Sciences（中国科学院西安光学精密机械研究所）
联合目标检测和语义分割可以应用于许多领域，例如自动驾驶汽车和无人水面船只。通过简单地共享两个任务的深度卷积特征，实现了这一目标的初步和重要进展。然而，这种简单的方案无法充分利用检测和分割是互利的这一事实。为了克服这个缺点，我们提出了一个框架，称为TripleNet的三重监督，包括面向检测的监督，类感知的分割监督，和类不可知的分割监督施加在解码器网络的每一层。类无关的分割监督为语义分割和目标检测提供对象性先验知识。除了三种类型的监督，两个轻量级模块（即，内连接模块和注意力跳过层融合）也被结合到解码器的每一层中。在所提出的框架中，检测和分割可以充分地相互促进。此外，在测试阶段不执行每个解码器层上的类不可知和类感知分段。因此，在测试阶段不会引入额外的计算成本。在VOC2007和VOC2012数据集上的实验结果表明，所提出的TripleNet能够在不增加额外计算成本的情况下提高检测和分割精度。
2018-09-25 cs.CV
Self2Seg: Single-Image Self-Supervised Joint Segmentation and Denoising
University of Innsbruck（因斯布鲁克大学）；VASCage-Research Centre on Vascular Ageing and Stroke（VASCage血管衰老与中风研究中心）；MRC Laboratory of Molecular Biology（医学研究委员会分子生物学实验室）；Institut Pascal（帕斯卡尔研究所）；Université Clermont Auvergne（克莱蒙奥弗涅大学）；Institut de Mathématiques de Bordeaux（波尔多数学研究所）
本文提出自监督方法Self2Seg，通过引入耦合去噪与分割的自监督能量泛函和统一优化策略，无需训练数据即可实现单图像联合分割与去噪，且在含噪显微图像上优于顺序方法及单一任务方法。
2024-04-29 cs.CV cs.LG math.OC
Semantics-Depth-Symbiosis: Deeply Coupled Semi-Supervised Learning of Semantics and Depth
OPPO US Research Center（OPPO美国研究中心）；State University of New York at Buffalo（纽约州立大学布法罗分校）
多任务学习（MTL）范式关注于联合学习两个或多个任务，旨在显著提高模型的泛化能力，性能和训练/推理记忆足迹。在视觉相关{ \bf dense}预测任务的联合训练中，上述优势变得不可或缺。在这项工作中，我们解决了两个密集任务的MTL问题，即，语义分割和深度估计，并提出了一种新的注意力模块，称为跨通道注意力模块（{CCAM}），它有助于两个任务之间沿每个通道的有效特征共享，从而在可训练参数增加可忽略不计的情况下获得相互的性能增益。在一个真正的共生精神，然后，我们制定了一个新的数据增强的语义分割任务使用预测的深度称为{AffineMix}，和一个简单的深度增强使用预测的语义称为{ColorAug}。最后，我们在Cityscapes和ScanNet数据集上验证了所提出的方法的性能增益，这有助于我们实现基于深度和语义分割的半监督联合模型的最新结果。
2022-10-25 cs.CV
