Socially Supervised Representation Learning: the Role of Subjectivity in Learning Efficient Representations
Inria（法国国家信息与自动化研究所）；Université de Bordeaux（波尔多大学）；ENSTA ParisTech（巴黎高等先进技术学院）
尽管自监督学习已经成为解决当今机器学习模型数据效率低下的一个突出解决方案，但它还没有从纯粹的多智能体角度进行研究。在这项工作中，我们提出，对齐内部主观表示，这自然会出现在多代理设置，代理接收相同的底层环境状态的部分观察，可以导致更有效的数据表示。我们建议，多代理环境，代理人没有访问他人的意见，但可以在有限的范围内进行通信，保证一个共同的背景下，可以利用在个人表示学习。原因在于，主观观察必然涉及潜在环境状态的相同子集，并且关于这些状态的通信可以自由地提供监督信号。为了强调沟通的重要性，我们将我们的设置称为\textit{socially supervised representation learning}。我们提出了一个最小的架构组成的人口的自动编码器，在那里我们定义损失函数，捕捉不同方面的有效沟通，并检查其效果的学习表示。我们表明，我们提出的架构允许对齐表示的出现。通过呈现具有环境状态的不同视角的代理所引入的主观性有助于学习抽象表示，这些抽象表示优于由单个自动编码器和一群自动编码器所学习到的抽象表示，这些自动编码器以相同的环境状态视角呈现。总之，我们的研究结果表明，从主观角度的通信可以导致收购更抽象的表示在多智能体系统，开放的前景为未来的研究在交叉点的表示学习和紧急通信。
2022-09-22 cs.AI
Distill on the Go: Online knowledge distillation in self-supervised learning
Advanced Research Lab NavInfo Europe（四维图新欧洲高级研究实验室）
自监督学习解决了不需要注释来学习特征表示的借口预测任务。对于视觉任务，仅从输入数据创建诸如预测旋转、解决拼图的借口任务。然而，预测这些已知信息有助于学习对下游任务有用的表示。然而，最近的研究表明，更广泛和更深入的模型比更小的模型更受益于自监督学习。为了解决较小模型的自监督预训练问题，我们提出了Distill-on-the-Go（DoGo），这是一种自监督学习范式，使用单阶段在线知识蒸馏来提高较小模型的表示质量。我们采用深度相互学习策略，其中两个模型相互协作学习以改进彼此。具体来说，每个模型都是使用自监督学习和蒸馏来训练的，蒸馏将每个模型的相似性分数的softmax概率与对等模型的相似性分数对齐。我们在多个基准数据集，学习目标和架构上进行了广泛的实验，以证明我们所提出的方法的潜力。我们的研究结果表明，在存在噪声和有限的标签和泛化到分布外的数据显着的性能增益。
2021-06-30 cs.AI cs.CV cs.LG
Provable Optimization for Adversarial Fair Self-supervised Contrastive Learning
The University of Iowa（爱荷华大学）；Texas A&M University（德克萨斯农工大学）
本文针对自监督学习中仅少量数据带敏感属性标注的场景，提出可证明收敛的随机算法 SoFCLR，通过求解非凸非凹极小极大博弈实现对抗性公平表示学习，并在八种公平性概念的下游分类中验证其有效性。
2024-06-09 cs.CV cs.CY cs.LG
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research（脸书人工智能研究院）
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为，相反，语义表示在这种变换下应该是不变的。具体来说，我们开发了Pretext-Invariant表示学习（PIRL，发音为“pearl”），它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务，包括解决拼图游戏。我们发现，PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的，但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之，我们的研究结果表明，自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Predict, Cluster, Refine: A Joint Embedding Predictive Self-Supervised Framework for Graph Representation Learning
Vellore Institute of Technology, India（维洛雷理工学院，印度）
针对图自监督学习的计算低效、依赖对比目标、表示坍塌等问题，提出无对比、抗坍塌的联合嵌入预测框架，结合GMM伪标签提升节点区分度，在基准上性能优于现有方法。
2025-09-03 cs.AI cs.LG cs.SI
Self-Supervised Learning for Fine-Grained Image Classification
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
细粒度图像分类涉及识别具有非常微妙的区分特征的类的不同子类别。细粒度数据集通常提供限界框注释以及类标签，以帮助分类过程。然而，构建具有此类注释的大规模数据集是一项艰巨的任务。此外，这种广泛的注释非常耗时，并且通常需要专业知识，这是构建大型数据集的巨大瓶颈。另一方面，自监督学习（SSL）利用免费提供的数据来生成充当标签的监督信号。通过对大量未标记数据执行一些借口任务来学习的特征被证明对多个下游任务非常有帮助。我们的想法是利用自我监督，使模型学习细粒度图像类的有用表示。实验采用了3种模型：以拼图为借口的任务、对抗学习（SRGAN）和基于对比学习（Simplified）的模型。学习的特征用于下游任务，例如细粒度图像分类。我们的代码可在http://github.com/rush2406/Self-Supervised-Learning-for-Fine-grained-Image-Classification上获得
2021-07-29 cs.AI cs.CV cs.LG
Survey on Self-Supervised Multimodal Representation Learning and Foundation Models
New Mexico Tech（新墨西哥理工学院）
近年来，深度学习一直是人们越来越感兴趣的主题。具体而言，一种称为多模态学习的特定类型已经显示出解决语言，视觉，音频等领域中广泛问题的巨大潜力。一个有前途的研究方向是进一步改善这一点，在互联网上存在的大规模数据集的帮助下，学习高维世界的丰富而强大的低维数据表示。由于它有可能避免注释大规模数据集的成本，自监督学习近年来一直是这项任务的事实标准。本文总结了一些具有里程碑意义的研究论文，这些论文直接或间接地为当今表征的多模态自监督学习奠定了基础。本文回顾了表示学习在过去几年中的发展，以及它们是如何结合起来得到一个多模态代理。
2022-11-29 cs.AI cs.CV cs.GT
Augmentation-aware Self-supervised Learning with Conditioned Projector
Jagiellonian University（雅盖隆大学）；IDEAS NCBR；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Computer Vision Center（计算机视觉中心）
本文提出条件增强感知自监督学习 CASSLE，通过向投影器注入增强信息促使特征提取器保留增强特征，从而在多个下游任务中提升多种 SSL 方法并达到最先进性能。
2024-10-19 cs.CV cs.LG
Self-supervised Video Object Segmentation
Fudan University（复旦大学）；University of Oxford（牛津大学）；West Virginia University（西弗吉尼亚大学）
本文的目标是自监督的表示学习，目标是解决半监督视频对象分割（a.k.a.密集跟踪）。本文的主要贡献如下：（1）改进了现有的自监督匹配方法，提出了一种简单有效的长时匹配记忆机制，解决了对象消失和再现带来的挑战;（ii）通过用在线自适应模块增强自监督方法，我们的方法成功地消除了由时空不连续性引起的跟踪器漂移，例如，遮挡或不遮挡，快速运动;（iii）我们探索了自监督表示学习用于密集跟踪的效率，令人惊讶的是，我们证明了一个强大的跟踪模型可以用少至100个原始视频剪辑来训练（相当于11分钟的持续时间），表明低级别的统计数据已经对跟踪任务有效;（iv）我们在DAVIS-2017和YouTube-VOS上展示了自监督方法的最新结果，并超越了使用数百万手动分割注释训练的大多数方法，进一步弥合了自监督学习和监督学习之间的差距。发布代码以促进任何进一步的研究（https：//github.com/fangruizhu/self_sup_semiVOS）。
2020-06-22 cs.CV cs.LG
MS$^2$L: Multi-Task Self-Supervised Learning for Skeleton Based Action Recognition
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机技术研究所）
在本文中，我们解决了自监督表示学习从人体骨骼动作识别。以前的方法，通常从一个单一的重建任务学习的特征表示，可能会遇到过拟合问题，和功能是不可推广的动作识别。相反，我们建议整合多个任务，以自我监督的方式学习更一般的表示。为了实现这一目标，我们集成了运动预测，拼图识别，和对比学习从不同的角度学习骨架特征。骨架动态可以通过预测未来序列的运动预测来建模。而对于动作识别至关重要的时间模式是通过解决拼图游戏来学习的。通过对比学习进一步正则化特征空间。此外，我们还探索了不同的训练策略，以利用自监督任务的知识进行动作识别。我们评估了我们的多任务自监督学习方法，在不同的配置下训练的动作分类器，包括无监督，半监督和全监督设置。我们在NW-UCLA，NTU RGB+D和PKUMMD数据集上的实验显示了动作识别的显着性能，证明了我们的方法在学习更具鉴别力和一般特征方面的优越性。我们的项目网站是https://langlandslin.github.io/projects/MSL/。
2020-10-14 cs.AI cs.CV
A Framework For Contrastive Self-Supervised Learning And Designing A New Approach
New York University（纽约大学）；Lightning Labs（闪电实验室）
对比自监督学习（CSL）是一种通过解决从未标记数据集中选择和比较锚、负和正（APN）特征的借口任务来学习有用表示的方法。我们提出了一个概念框架，在五个方面（1）数据增强管道，（2）编码器选择，（3）表示提取，（4）相似性度量，（5）损失函数的CSL方法的特点。我们分析了三个领先的CSL方法-AMDIM，CPC和Simplified-，并表明，尽管不同的动机，他们在这个框架下的特殊情况。我们通过设计Yet Another DIM（YADIM）来展示我们框架的实用性，YADIM在CIFAR-10，STL-10和ImageNet上取得了有竞争力的结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的CSL研究，我们发布了这个概念框架的PyTorch实现，以及AMDIM、CPC（V2）、Simplified、BYOL、Moco（V2）和YADIM的标准化实现。
2020-08-31 cs.CV cs.LG
Geometric Algorithms for Neural Combinatorial Optimization with Constraints
MIT（麻省理工学院）；NYU（纽约大学）；UCSD（加州大学圣迭戈分校）；TUM（慕尼黑技术大学）
本文提出了一种基于几何算法的神经组合优化方法，通过分解神经网络输出为凸组合，解决具有离散约束的优化问题，并在多种组合优化任务中取得优于基线的表现。
2026-01-14 cs.AI cs.LG
Self-Supervised Deep Learning on Point Clouds by Reconstructing Space
Hasso Plattner Institute（哈索·普拉特纳研究所）
点云提供了灵活而自然的表示，可用于机器人或自动驾驶汽车等无数应用。最近，在原始点云数据上运行的深度神经网络在对象分类和语义分割等监督学习任务上显示出了很好的结果。虽然可以使用现代扫描技术捕获大量点云数据集，但手动标记这种大型3D点云以用于监督学习任务是一个繁琐的过程。这就需要能够从未标记的数据中学习的方法，以显著减少监督学习中所需的注释样本的数量。我们提出了一个自监督学习任务，用于对原始点云数据进行深度学习，其中训练神经网络以重建其部分已被随机重新排列的点云。在解决这个任务时，学习捕获点云的语义属性的表示。我们的方法是不可知的网络架构，并优于当前的无监督学习方法在下游对象分类任务。我们通过实验证明，在监督训练之前使用我们的方法进行预训练可以提高最先进模型的性能，并显着提高样本效率。
2019-06-02 cs.CV cs.LG stat.ML
Yet Another Algorithm for Supervised Principal Component Analysis: Supervised Linear Centroid-Encoder
Colorado State University（科罗拉多州立大学）
本文提出监督线性质心编码器SLCE，通过线性投影将同类样本映射至类别质心并最小化质心重构损失，以特征分解获得闭式解，实验证明其优于其他监督降维方法。
2023-06-07 cs.CV cs.LG
Self-supervised classification of dynamic obstacles using the temporal information provided by videos
VEDECOM Institute（VEDECOM研究所）；L2S-CNRS（L2S-法国国家科学研究中心）；CentraleSupelec（巴黎中央理工-高等电力学院）；Univ Paris-Sud（巴黎南大学）；Univ Paris-Saclay（巴黎萨克雷大学）
如今，自动驾驶系统可以使用单目摄像机检测，分割和分类周围的障碍物。然而，解决这些任务的现有技术方法通常执行完全监督学习过程，并且需要大量的训练标记数据。另一方面，一些自监督学习方法可以使用视频序列中可用的时间信息来处理动态障碍物的检测和分割。在这项工作中，我们建议根据它们的运动模式对检测到的障碍物进行分类。我们提出了一种新的自监督框架，包括学习离线集群的时间补丁序列，并考虑这些集群标记集训练实时图像分类器。该模型在大规模多样化驾驶视频数据集BDD 100 K上的性能优于最先进的无监督图像分类方法。
2020-06-07 cs.CV cs.LG cs.RO
GraFN: Semi-Supervised Node Classification on Graph with Few Labels via Non-Parametric Distribution Assignment
KAIST（韩国科学技术院）；POSTECH（浦项科技大学）
尽管图神经网络（GNN）在各种应用上取得了成功，但当监督信号的量（即，标记节点的数量是有限的，这是预期的，因为GNN仅基于从标记节点获得的监督来训练。另一方面，最近的自监督学习范式旨在通过解决不需要任何标记节点的借口任务来训练GNN，并且已经证明它甚至优于用很少标记节点训练的GNN。然而，自监督方法的一个主要缺点是，由于在训练期间没有利用标记信息，因此它们无法学习类判别节点表示。为此，我们提出了一种新的图的半监督方法GraFN，它利用很少的标记节点来确保属于同一类的节点被分组在一起，从而实现半监督和自监督方法的最佳效果。具体来说，GraFN从整个图中的标记节点和锚节点中随机抽取支持节点。然后，它最小化两个预测类分布之间的差异，这是非参数化分配的锚支持相似性从两个不同的增强图。我们的实验表明，GraFN超越了半监督和自我监督的方法在现实世界的图中的节点分类。GraFN的源代码可在https://github.com/Junseok0207/GraFN上获得。
2022-04-27 cs.AI cs.LG
Analogical and Relational Reasoning with Spiking Neural Networks
瑞文推理测验已被广泛用于测量人类的抽象推理和智力。然而，对于人工学习系统，抽象推理仍然是一个具有挑战性的问题。在本文中，我们研究如何增强生物启发尖峰模块的神经网络在解决这个问题中获得显着的优势。为了说明这一点，我们首先研究了我们的网络的性能与监督学习，然后与无监督学习。在RAVEN数据集上的实验表明，我们的监督网络的整体准确性超过了人类水平的性能，而我们的无监督网络则明显优于现有的无监督方法。最后，我们从监督和无监督学习的结果表明，与非增强的对应物不同，具有尖峰模块的网络能够在没有任何明确指令的情况下提取和编码时间特征，不严重依赖于训练数据，并且更容易推广到新问题。总之，这里报告的结果表明，具有尖峰模块的人工神经网络非常适合解决抽象推理。
2021-08-17 cs.AI cs.LG cs.NE
W2v-BERT: Combining Contrastive Learning and Masked Language Modeling for Self-Supervised Speech Pre-Training
Google Brain（谷歌大脑）
受MLM在预训练自然语言处理模型中的成功启发，我们提出了w2 v-BERT，它探索了用于自监督语音表示学习的MLM。w2 v-BERT是一个结合了对比学习和MLM的框架，其中前者训练模型将输入的连续语音信号离散化为有限的一组有区别的语音标记，后者训练模型通过求解消耗离散化标记的掩蔽预测任务来学习上下文化的语音表示。与现有的基于MLM的语音预训练框架相比，例如HuBERT，它依赖于迭代的重新聚类和重新训练过程，或vq-wav 2 vec，它连接了两个单独训练的模块，w2 v-BERT可以通过同时解决两个自监督任务（对比任务和MLM）来以端到端的方式进行优化。我们的实验表明，当使用Libri-Light~ 60 k语料库作为无监督数据时，与LibriSpeech基准测试中当前最先进的预训练模型相比，w2 v-BERT取得了有竞争力的结果。特别是，当与已发布的模型（如基于一致性的wav 2 vec ~2.0和HuBERT）相比时，我们的模型在测试干净和测试其他子集上显示出~5\%至~10\%的相对WER降低。当应用于Google的语音搜索流量数据集时，w2 v-BERT相对于我们内部基于一致性的wav 2 vec ~2.0的性能要好30%以上。
2021-09-13 cs.LG cs.SD eess.AS
Self-Supervised Combinatorial Optimization with Constraints via Frank-Wolfe
NYU（纽约大学）；MIT（麻省理工学院）
提出一种基于Frank-Wolfe的通用框架，允许神经网络预测可行域外的连续向量，通过几何分解近似为可行解的稀疏凸组合，实现自监督训练和自动舍入，在多个组合优化问题上表现优异。
2026-09-23 cs.AI cs.LG
Image Enhanced Rotation Prediction for Self-Supervised Learning
NTT Software Innovation Center（NTT软件创新中心）；NTT Media Intelligence Laboratories（NTT媒体智能实验室）
旋转预测（Rotation）是自监督学习（SSL）的一个简单的预文本任务，其中模型通过解决预文本任务来学习目标视觉任务的有用表示。虽然旋转捕获对象的形状信息，但它几乎不能捕获纹理信息。为了解决这个问题，我们引入了一种新的预文本任务，称为图像增强旋转预测（IE-Rot）的SSL。IE-Rot同时解决旋转和另一个基于图像增强的预文本任务（例如，锐化和日晒），同时保持简单性。通过旋转和图像增强的同时预测，模型学习表示来捕获对象形状和纹理的信息。我们的实验结果表明，IE-Rot模型在各种标准基准测试中的表现优于Rotation，包括ImageNet分类，PASCAL-VOC检测和COCO检测/分割。
2021-06-04 cs.CV cs.LG stat.ML
Equivariance-based self-supervised learning for audio signal recovery from clipped measurements
CNRS（法国国家科学研究中心）；ENS de Lyon（里昂高等师范学院）；UCLouvain（天主教鲁汶大学）
针对从削波测量中恢复音频信号的非线性逆问题，提出一种基于等变性的自监督学习方法，仅需削波数据训练即可取得媲美全监督学习的性能。
2024-09-03 cs.IR cs.LG cs.SD
EH-MAM: Easy-to-Hard Masked Acoustic Modeling for Self-Supervised Speech Representation Learning
University of Maryland, College Park（马里兰大学帕克分校）
本文提出由易到难自适应掩码声学建模方法 EH-MAM，利用教师模型预测逐帧损失并选择性掩码困难区域，以提升自监督语音表征学习效果，在低资源语音识别和 SUPERB 基准上超越现有方法 5%-10%。
2024-10-17 cs.AI cs.CL cs.LG
Self-supervised Regularization for Text Classification
Shanghai Jiao Tong University（上海交通大学）；Northeastern University（东北大学）；UC San Diego（加利福尼亚大学圣迭戈分校）
文本分类是一个被广泛研究的问题，有着广泛的应用。在许多现实问题中，用于训练分类模型的文本数量是有限的，这使得这些模型容易过拟合。为了解决这个问题，我们提出了SSL-Reg，一种基于自监督学习（SSL）的数据依赖正则化方法。SSL是一种无监督学习方法，它在输入数据上定义辅助任务，而不使用任何人类提供的标签，并通过解决这些辅助任务来学习数据表示。在SSL-Reg中，监督分类任务和无监督SSL任务同时执行。SSL任务是无监督的，它纯粹是在输入文本上定义的，不使用任何人工提供的标签。使用SSL任务训练模型可以防止模型过度拟合到分类任务中有限数量的类标签。在17个文本分类数据集上的实验证明了该方法的有效性。
2021-03-24 cs.CL cs.LG
Supervised Prototypical Contrastive Learning for Emotion Recognition in Conversation
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Alibaba Group（阿里巴巴集团）；University of Chinese Academy of Sciences（中国科学院大学）
捕捉会话中的情感在现代对话系统中起着至关重要的作用。然而，情感和语义之间的弱相关性给会话中的情感识别带来了许多挑战。即使是语义相似的话语，情感也可能因语境或说话者而大不相同。在本文中，我们提出了一个有监督的原型对比学习（SPCL）的ERC任务的损失。利用原型网络，SPCL的目标是通过对比学习来解决不平衡分类问题，并且不需要大批量。同时，设计了基于类间距离的难度度量函数，并引入课程学习来缓解极端样本的影响。我们在三个广泛使用的基准测试中取得了最先进的结果。此外，我们进行分析实验，以证明我们提出的SPCL和课程学习策略的有效性。我们在www.example.com上发布代码。
2022-10-19 cs.AI
Pretext Tasks selection for multitask self-supervised speech representation learning
Avignon Université（阿维尼翁大学）；Télécom Paris（巴黎电信学院）；Université Paul Sabatier（保罗·萨巴蒂埃大学）；CNRS（法国国家科学研究中心）
通过解决借口任务，自监督学习利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。在音频/语音信号处理中，通过几十年的研究工作设计出了各种各样的特征。事实证明，学习预测这些特征（也称为伪标签）已被证明是一个特别相关的借口任务，导致有用的自我监督表示，这些表示被证明对下游任务有效。然而，用于组合这些借口任务以更好地执行下游任务的方法和常见实践尚未被适当地探索和理解。事实上，这个过程几乎完全依赖于一个计算量很大的实验过程，随着借口任务数量的增加，这个过程变得很棘手。本文介绍了一种从候选任务集中选择一组任务的方法。我们提出的方法估计校准权的部分损失所考虑的借口任务在自我监督的训练过程中。在自动语音识别、说话人和情感识别上进行的实验验证了我们的方法，因为用我们的方法选择和加权的组比经典的基线表现得更好，从而便于选择和组合相关的伪标签进行自监督表示学习。
2022-11-11 cs.LG cs.SD eess.AS
Conditional independence for pretext task selection in Self-supervised speech representation learning
通过解决借口任务，自监督学习（SSL）利用未标记的数据来提取有用的潜在表示，以取代下游任务中的传统输入特征。一个常见的借口任务包括在从原始信号中导出的伪标签上预训练SSL模型。该技术特别与语音数据相关，其中各种有意义的信号处理特征可以用作伪标签。然而，为语音或其他类型的数据选择伪标签的过程仍然是未开发的，目前依赖于观察最终下游任务的结果。然而，由于大量的计算（因此碳）成本，这种方法在规模上是不可持续的。因此，本文介绍了一个实用的和理论的框架来选择相关的伪标签相对于一个给定的下游任务。更确切地说，我们提出了一个基于条件独立理论的伪标签效用函数估计器，它不需要任何训练。对说话人识别和自动语音识别进行的实验验证了我们的估计器，显示出在下游任务上观察到的性能与我们的方法获得的效用估计之间的显着相关性，促进了自监督语音表示学习的相关伪标签的前景。
2021-07-01 cs.LG cs.SD eess.AS
Self-Supervised Monocular Depth Estimation: Solving the Dynamic Object Problem by Semantic Guidance
Technische Universität Braunschweig（布伦瑞克工业大学）
自监督单目深度估计提出了一种从单个相机图像获得3D场景信息的强大方法，其可在任意图像序列上训练而不需要深度标签，例如，从激光雷达传感器。在这项工作中，我们提出了一种新的自监督语义引导的深度估计（SGDepth）方法来处理移动的动态类（DC）对象，如移动的汽车和行人，这违反了静态世界的假设，通常在训练这些模型。具体而言，我们提出了（i）（监督）语义分割和自监督深度估计与特定任务的网络头的互利跨域训练，（ii）语义掩蔽方案提供指导，以防止移动DC对象污染的光度损失，以及（iii）检测方法与非移动DC对象的帧，从其中可以学习DC对象的深度。我们展示了我们的方法在几个基准上的性能，特别是在本征分裂上，我们超过了所有的基线，而没有测试时的改进。
2020-07-21 cs.CV
Domain Generalization by Solving Jigsaw Puzzles
Huawei（华为）；University of Rome Sapienza（罗马第一大学）；Italian Institute of Technology（意大利技术研究院）；Politecnico di Torino（都灵理工大学）
人类的适应能力主要依赖于学习和融合来自监督学习和无监督学习的知识的能力：父母指出一些重要的概念，但孩子们自己填补空白。这是特别有效的，因为监督学习永远不会是穷尽的，因此自主学习允许发现有助于概括的不变性和不变性。在本文中，我们提出将类似的方法应用于跨领域的对象识别任务：我们的模型以监督的方式学习语义标签，并通过从自监督信号中学习如何解决相同图像上的拼图游戏来扩展其对数据的理解。这个次要任务帮助网络学习空间相关性的概念，同时充当分类任务的正则化器。在PACS、VLCS、E-Home和digits数据集上的多个实验证实了我们的直觉，并表明这种简单的方法优于以前的领域泛化和自适应解决方案。消融研究进一步说明了我们方法的内部工作原理。
2019-04-14 cs.CV cs.LG
Solving Raven's Progressive Matrices with Neural Networks
National University of Singapore（新加坡国立大学）
瑞文推理测验（RPM）已被广泛应用于人类智商（IQ）测试。在本文中，我们的目标是解决RPM与神经网络在监督和无监督的方式。首先，我们研究了在监督学习中减少过拟合的策略。我们建议使用具有深层的神经网络，并在大规模数据集上进行预训练，以提高模型的泛化能力。在RAVEN数据集上的实验表明，我们的监督方法的整体准确性超过了人类水平的性能。其次，作为一个智能代理需要自动学习新的技能来解决新的问题，我们提出了第一个无监督的方法，多标签分类与伪目标（MCPT），RPM问题。基于伪目标的设计，MCPT将无监督学习问题转化为有监督的任务。实验表明，MCPT的测试准确率是随机猜测的两倍，例如28.50%对12.5%。最后，我们讨论了在未来解决RPM的无监督和可解释的策略的问题。
2020-02-06 cs.CV
From A to Z: Supervised Transfer of Style and Content Using Deep Neural Network Generators
Cornell University（康奈尔大学）
我们提出了一种新的神经网络架构，解决单图像类比-生成一整套风格相似的图像，从一个单一的输入图像。解决这个问题需要将图像风格与内容分开。我们的网络是一个修改后的变分自编码器（VAE），它支持单图像类比的监督训练和输出的网络内评估，具有捕获像素协方差的结构化相似性目标。在从单个示例字母生成62个字母的字体的挑战性任务中，我们生成的图像与最新技术相比，与地面真实值的差异性降低了22.4%。
2016-03-07 cs.CV
Supervised Descent Method for Solving Nonlinear Least Squares Problems in Computer Vision
许多计算机视觉问题（例如，摄像机校准、图像对准、运动恢复结构运动恢复结构）。一般认为二阶下降法是求解一般光滑函数的非线性优化问题的最稳健、最快速、最可靠的方法。然而，在计算机视觉的背景下，二阶下降方法具有两个主要缺点：（1）函数可能不是解析可微的并且数值近似是不切实际的，以及（2）Hessian可能很大并且不是正定的。为了解决这些问题，本文提出了通用的下降图，这是平均的“下降方向”和重新调整的因素，在监督的方式学习。使用一般下降映射，我们得到了一个实用的算法-监督下降法（SDM）-最小化非线性最小二乘（NLS）问题。在训练过程中，SDM学习一系列适当的映射，使NLS最小化。在测试中，SDM使用学习的下降映射最小化NLS目标，而不计算雅可比矩阵或海森矩阵。我们证明的条件下，SDM是保证收敛。我们说明了SDM的有效性和准确性在三个计算机视觉问题：刚性图像对齐，非刚性图像对齐，三维姿态估计。特别是，我们将展示SDM如何在面部特征检测问题中实现最先进的性能。该守则已在www.humansensing.cs.cmu.edu/intraface上公布。
2014-05-03 cs.CV
SemanticFlow: A Self-Supervised Framework for Joint Scene Flow Prediction and Instance Segmentation in Dynamic Environments
针对自动驾驶动态场景感知中运动估计与分割任务分离的缺陷，提出自监督多任务框架SemanticFlow，通过由粗到细的共享特征方案、一致性损失与自监督标签生成，在多数据集上实现了性能与效率的提升。
2025-03-19 cs.CV cs.RO
Solving Semi-Supervised Few-Shot Learning from an Auto-Annotation Perspective
Texas A\&M University（德克萨斯A&M大学）；University of Macau（澳门大学）；Institute of Collaborative Innovation（协同创新研究院）
提出SWIFT方法，通过温度锐化softmax输出和分阶段训练，利用视觉语言模型和开放数据，在半监督少样本学习中显著提升性能，接近监督学习水平。
2026-06-26 cs.CV cs.LG
Self-Supervised Scene Flow Estimation with Point-Voxel Fusion and Surface Representation
Harbin Engineering University（哈尔滨工程大学）；Guangdong University of Petrochemical Technology（广东石油化工学院）
提出点-体素融合与表面特征提取的自监督场景流估计方法，在FlyingThings3D和KITTI上优于现有自监督方法，EPE分别降低8.51%和10.52%。
2025-01-18 cs.CV
Mask What Matters: Controllable Text-Guided Masking for Self-Supervised Medical Image Analysis
Beijing Normal–Hong Kong Baptist University（北京师范大学-香港 Baptist大学）
针对医学影像标注稀缺及现有自监督掩码图像建模效率低、语义对齐差的问题，提出可控文本引导掩码框架Mask What Matters，用视觉语言模型定位区域实现差异化掩码，在多模态医学任务上以更低掩码比例超越现有方法。
2025-10-04 cs.CV
Self Semi Supervised Neural Architecture Search for Semantic Segmentation
Université Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；ATOS（源讯集团）
在本文中，我们提出了一种基于自我监督和半监督学习的神经结构搜索策略的语义分割任务。我们的方法建立了一个优化的神经网络（NN）模型，通过共同解决一个拼图借口任务发现与自监督学习的无标记的训练数据，并利用结构的无标记的数据与半监督学习。NN模型结构的搜索是通过使用梯度下降算法的动态路由来执行的。在Cityscapes和PASCAL VOC 2012数据集上的实验表明，所发现的神经网络比最先进的手工NN模型更有效，浮点运算少四倍。
2022-02-01 cs.CV cs.LG
Supervised Learning of Sparsity-Promoting Regularizers for Denoising
Michigan State University（密歇根州立大学）
我们提出了一种方法监督学习稀疏促进正则化图像去噪。稀疏促进正则化是解决现代图像重建问题的一个关键因素;然而，这些正则化器背后的运算符通常是手工设计的，或者是以无监督的方式从数据中学习的。最近监督学习（主要是卷积神经网络）在解决图像重建问题方面的成功表明，它可能是设计正则化器的一种富有成效的方法。作为在这个方向上的第一个实验，我们建议使用变分公式与参数，稀疏促进正则化，学习正则化的参数，以尽量减少重建的训练集（地面实况图像，测量）对的均方误差的图像去噪。训练包括解决具有挑战性的双层最佳化问题我们使用Karush-Kuhn-Tucker条件推导出训练损失梯度的表达式，并提供了一个伴随的梯度下降算法来最小化它。我们在一个简单的合成去噪问题上的实验表明，所提出的方法可以学习一个性能优于已知正则化器的算子（全变差，DCT稀疏性和无监督字典学习）和协同过滤。虽然我们提出的方法是特定的去噪，我们相信，它可以适应整个类的线性测量模型的逆问题，使其适用于广泛的图像重建问题。
2020-06-09 cs.CV eess.IV
Policy Pre-training for Autonomous Driving via Self-supervised Geometric Modeling
Shanghai AI Laboratory（上海人工智能实验室）；University of California at San Diego（加州大学圣迭戈分校）；Shanghai Jiao Tong University（上海交通大学）
在计算机视觉和自然语言处理领域，大规模数据预训练技术取得了令人印象深刻的成就，我们想知道这个想法是否可以适应抓着就走的精神，并减轻视觉驱动的样本效率低下的问题。鉴于输入的高度动态性和可变性，视觉驾驶任务固有地缺乏视图和平移不变性，并且视觉输入包含大量与决策无关的信息，导致来自一般视觉的主要预训练方法不太适合自动驾驶任务。为此，我们提出了PPGeo（通过几何建模进行策略预训练），这是一个直观简单的完全自监督框架，用于可视化驾驶中的策略预训练。我们的目标是通过在大规模未标记和未校准的YouTube驾驶视频上建模3D几何场景来学习策略表示作为一个强大的抽象。建议的PPGeo分两个阶段进行，以支持有效的自我监督训练。在第一阶段中，几何建模框架同时生成姿态和深度预测，其中两个连续帧作为输入。在第二阶段，视觉编码器学习驾驶策略表示预测未来的自我运动和优化与光度误差的基础上，当前的视觉观察。因此，预先训练的视觉编码器配备有丰富的驾驶策略相关表示，从而能够胜任多个视觉驾驶任务。广泛的实验，涵盖了广泛的挑战性的情况下，已经证明了我们提出的方法的优越性，其中改进范围从2%到甚至超过100%，非常有限的数据。
2023-03-15 cs.CV
Improving Few-Shot Learning with Auxiliary Self-Supervised Pretext Tasks
University of Montreal（蒙特利尔大学）；Mila – Quebec Artificial Intelligence Institute（米拉——魁北克人工智能研究所）
最近的工作少样本学习\cite{tian2020rethinking}表明，学习表示的质量起着重要的作用，在Few-Shot分类性能。另一方面，自监督学习的目标是在不使用类别标签的情况下恢复数据的有用语义信息。在这项工作中，我们利用这两种模式的互补性，通过多任务框架，我们利用最近的自我监督的方法作为辅助任务。我们发现，将多个任务结合起来通常是有益的，同时解决它们可以有效地完成。我们的研究结果表明，自我监督的辅助任务是有效的数据依赖的正则化表示学习。我们的代码可在：\url{https://github.com/nathanielsimard/improving-fs-ssl} .
2021-01-24 cs.CV cs.LG
DRESS: Disentangled Representation-based Self-Supervised Meta-Learning for Diverse Tasks
Layer 6 AI
本文提出DRESS，一种基于解耦表示的自监督元学习方法，通过生成自监督任务加速模型在多样化少样本任务上的适应，验证了其在多个数据集上的优越性。
2026-06-29 cs.CV cs.LG
Frequency-Aware Self-Supervised Monocular Depth Estimation
Peking University（北京大学）；Advanced Institute of Information Technology, Peking University（北京大学信息工程高等研究院）；Information Technology R&D Innovation Center of Peking University（北京大学信息技术研发创新中心）
我们提出了两种通用的方法，一般增强自我监督的单眼深度估计（MDE）模型。我们的方法是通过解决光度损失函数中的基本和普遍存在的问题来实现的。特别是，从空间频率的角度来看，我们首先提出模糊掩蔽抑制不正确的监督下，光度损失在特定的对象边界，其原因可以追溯到像素级的模糊。其次，我们提出了一种新的频率自适应高斯低通滤波器，旨在鲁棒的光度损失在高频区域。我们是第一个提出模糊图像，以提高深度估计与可解释的分析。这两个模块都是轻量级的，不添加任何参数，也不需要手动更改网络结构。实验表明，我们的方法为大量现有模型提供了性能提升，包括那些声称最先进的模型，同时根本没有引入额外的推理计算。
2022-10-14 cs.AI cs.CV cs.LG
Semi-supervised binary classification with latent distance learning
Pusan National University（釜山国立大学）
二进制分类（BC）是一项在现实世界中普遍存在的实际任务，例如在生物医学诊断中区分健康和不健康的对象，以及在制造检查中区分有缺陷和无缺陷的产品。尽管如此，通常需要完全注释的数据来有效地解决这个问题，并且由领域专家收集它们是一个繁琐且昂贵的过程。与BC相比，已经设计了几种重要的半监督学习技术来解决多类分类问题，这些技术严重依赖于随机数据增强技术。在这项研究中，我们证明了随机数据增强技术不太适合解决典型的BC问题，因为它可以忽略严格区分阳性和阴性样本的关键特征。为了解决这个问题，我们提出了一种新的学习表示，以解决BC问题，使用随机k对交叉远程学习机制的一些标签。首先，通过利用一些标记样本，编码器网络学习正样本和负样本在角空间中的投影，以分别最大化和最小化它们的类间和类内距离。其次，分类器学习使用基于角度空间和标记样本生成的动态标签来区分正样本和负样本，以解决BC任务。使用四个真实世界公开的BC数据集进行了广泛的实验。该方法具有较少的标签，没有任何数据增强技术，性能优于最先进的半监督和自监督学习方法。此外，与完全监督设置相比，使用10%的标记，我们的半监督分类器可以获得具有竞争力的准确性。
2022-11-28 cs.CV
Learning Online Visual Invariances for Novel Objects via Supervised and Self-Supervised Training
University of Bristol（布里斯托大学）
人类可以识别物体的各种空间变换，如规模和观点。这延伸到新颖的对象，在单个姿势的单个呈现之后，有时被称为在线不变性。CNN已经被提出作为人类视觉的一种引人注目的模型，但它们识别跨转换对象的能力通常是在经过广泛的数据增强后，在训练类别的保持样本上进行测试的。本文评估了标准CNN是否可以通过训练模型来识别经历几种变换的合成3D对象的图像来支持类似人类的在线不变性：旋转，缩放，平移，亮度，对比度和视点。通过分析模型的内部表示，我们表明，在变换对象上训练的标准监督CNN可以在新类上获得强不变性，即使在训练时只需要从10个类中选取50个对象。这扩展到真实物体照片的不同数据集。我们还表明，这些不变性可以获得在一个自我监督的方式，通过解决相同/不同的任务。我们认为，后者的方法可能类似于人类如何获得不变性。
2022-01-14 cs.AI cs.CV
Image Deconvolution via Noise-Tolerant Self-Supervised Inversion
Chan-Zuckerberg Biohub（陈-扎克伯格生物中心）
我们提出了一个通用的框架，用于解决逆问题的存在噪声，需要没有信号先验，没有噪声估计，没有干净的训练数据。我们只要求前向模型可用，并且噪声在测量维度上统计独立。我们建立在$\mathcal{J}$不变函数的理论基础上（Batson & Royer 2019，arXiv：1901.11365），并展示了自监督去噪\emph{à la} Noise 2Self是学习身份的噪声容忍伪逆的特殊情况。我们通过展示如何以自我监督的方式训练卷积神经网络来对图像进行去卷积并在图像质量上超越经典反演方案（例如Lucy-Richardson去卷积）来展示我们的方法。
2020-06-11 cs.CV cs.LG eess.IV
Better and Faster: Knowledge Transfer from Multiple Self-supervised Learning Tasks via Graph Distillation for Video Classification
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
视频表示学习是视频分类中的一个重要问题。近年来出现了一种很有前途的无监督学习范式--自监督学习，它通过解决辅助任务来挖掘隐含在海量数据中的内在监督信号，进行特征学习。然而，在这方面的现有方法在扩展到视频分类时受到两个限制。首先，它们只关注单个任务，而忽略了不同任务特定特征之间的互补性，从而导致次优的视频表示。其次，高计算和内存成本阻碍了它们在现实世界场景中的应用。在本文中，我们提出了一个基于图的蒸馏框架来解决这些问题：（1）我们提出了Logits图和表示图来传递来自多个自监督任务的知识，其中前者通过解决多分布联合匹配问题来提取分类器级知识，后者从成对组合表示中提取内部特征知识，解决不同特征之间的异质性挑战。特征;（2）采用教师-学生框架的建议可以大大减少从教师那里学到的知识的冗余，从而导致更轻的学生模型，更有效地解决分类任务。在3个视频数据集上的实验结果验证了我们的建议不仅有助于学习更好的视频表示，而且还可以压缩模型以加快推理。
2018-04-26 cs.CV
ECP-Mamba: An Efficient Multi-scale Self-supervised Contrastive Learning Method with State Space Model for PolSAR Image Classification
School of Information and Communications Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院）；Department of Mathematics and Fundamental Research, Peng Cheng Laboratory（鹏城实验室数学与基础研究部）；School of Mathematics and Statistics, Xi’an Jiaotong University（西安交通大学数学与统计学院）
本文提出ECP-Mamba，通过多尺度自监督对比学习缓解标注依赖，并利用定制螺旋扫描的Mamba状态空间模型提升PolSAR图像分类的计算效率与精度。
2025-06-01 cs.CV
Data Efficient Language-supervised Zero-shot Recognition with Optimal Transport Distillation
Meta Reality Labs（Meta现实实验室）；UC Berkeley（加州大学伯克利分校）
针对 CLIP 依赖超 400M 噪声图文对的问题，本文提出 OTTER，利用在线熵正则化最优传输生成软匹配标签进行对比蒸馏，仅用 3M 图文对就在多个大规模零样本基准上显著优于基线。
2023-12-17 cs.CV
Unsupervised Multi-Parameter Inverse Solving for Reducing Ring Artifacts in 3D X-Ray CBCT
本文提出无监督方法Riner，将CBCT环形伪影减少建模为多参数逆问题，通过可微分前向模型联合学习无伪影图像的隐式神经表示并直接从测量数据估计探测器物理参数，无需外部训练数据且内存友好，在模拟和真实数据上优于现有监督方法。
2025-11-08 cs.CV eess.IV
Graph Laplacian for Semi-Supervised Learning
Technion - Israel Institute of Technology（以色列理工学院）
本文提出一种结合密度与对比度量、可直接编码标记数据的新型图拉普拉斯算子，实现无监督聚类与低监督分类的平滑过渡，并成功用于半监督谱聚类。
2023-04-19 cs.CV cs.LG eess.SP
Supervised Contrastive Learning and Feature Fusion for Improved Kinship Verification
Ecole Nationale Supérieure d’Informatique Algiers（阿尔及尔国立高等计算机学院）
人脸亲属关系验证是确定两张人脸图像之间的亲属关系程度的任务。它最近在法医学，社交媒体和人口统计学研究的各种应用中获得了很大的兴趣。在过去的十年中，基于深度学习的方法已经成为解决这个问题的一个有前途的解决方案，实现了最先进的性能。在本文中，我们提出了一种新的方法来解决亲属关系验证，通过使用监督对比学习，训练模型，以最大限度地提高相关个体之间的相似性，并最小化它之间的无关个体。我们的实验显示了最先进的结果，并在野生家族（FIW）数据集中达到了81.1%的准确率。
2023-02-19 cs.CV eess.IV
Planning to Explore via Self-Supervised World Models
University of Pennsylvania（宾夕法尼亚大学）；UC Berkeley（加州大学伯克利分校）；Google（谷歌）；Facebook AI Research（Facebook AI研究院）
强化学习可以解决复杂的任务，然而，学习往往是特定于任务的，样本效率仍然是一个挑战。我们提出了Plan2Explore，一个自监督强化学习代理，通过一种新的自监督探索方法和快速适应新任务来应对这些挑战，这些任务在探索过程中不需要知道。在探索过程中，与先前的方法不同，这些方法在智能体已经到达观察结果之后回顾性地计算观察结果的新颖性，我们的智能体通过利用规划来寻找预期的未来新颖性来有效地行动。在探索之后，智能体以零或Few-Shot的方式快速适应多个下游任务。我们评估具有挑战性的控制任务，从高维图像输入。在没有任何训练监督或特定于任务的交互的情况下，Plan2Explore的表现优于之前的自我监督探索方法，事实上，几乎与可以获得奖励的Oracle的表现相匹配。https://ramanans1.github.io/plan2explore/上的视频和代码
2020-06-30 cs.AI cs.CV cs.LG
Markerless Camera-to-Robot Pose Estimation via Self-supervised Sim-to-Real Transfer
University of California, San Diego（加州大学圣地亚哥分校）
解决摄像机到机器人的姿态是基于视觉的机器人控制的基本要求，并且是一个需要相当大的努力和关心以使其准确的过程。传统方法需要通过标记来修改机器人，随后的深度学习方法实现了无标记特征提取。主流的深度学习方法只使用合成数据，并依赖于域随机化来填补模拟到真实的差距，因为获取3D注释是劳动密集型的。在这项工作中，我们超越了现实世界数据的3D注释的限制。我们提出了一个端到端的姿态估计框架，该框架能够进行在线摄像机到机器人校准，并采用自监督训练方法将训练扩展到未标记的真实世界数据。我们的框架结合了深度学习和几何视觉来求解机器人姿态，并且管道是完全可微的。为了训练摄像机到机器人姿态估计网络（CtRNet），我们利用前景分割和可区分渲染进行图像级自我监督。姿态预测通过渲染器可视化，并且输入图像的图像损失被反向传播以训练神经网络。我们在两个公共真实数据集上的实验结果证实了我们的方法对现有作品的有效性。我们还将我们的框架集成到一个视觉伺服系统中，以证明自动化任务的实时精确机器人姿态估计的承诺。
2023-03-21 cs.CV
Pruning Convolutional Neural Networks with Self-Supervision
Facebook AI Research（脸书人工智能研究院）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
在没有监督的情况下训练的卷积神经网络接近于有监督的预训练的性能，但有时会以更高数量的参数为代价。从这些大型无监督convnets中提取子网络并保持性能是特别感兴趣的，以使它们的计算强度更低。典型的修剪方法在任务的训练期间操作，同时试图保持修剪后的网络在同一任务上的性能。然而，在自监督特征学习中，训练目标对下游任务的表示可转移性是不可知的。因此，为这个目标保留性能并不能确保修剪后的子网络仍然有效地解决下游任务。在这项工作中，我们研究了使用标准的修剪方法，主要是为监督学习，网络训练没有标签（即自我监督任务）。我们发现，在标签上重新训练时，使用或不使用标签获得的修剪掩码达到了相当的性能，这表明修剪对于自监督学习和监督学习的操作类似。有趣的是，我们还发现修剪保留了自监督子网络表示的传输性能。
2020-01-10 cs.CV cs.LG cs.NE
Jigsaw-ViT: Learning Jigsaw Puzzles in Vision Transformer
KU Leuven（鲁汶大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Trento（特伦托大学）
视觉Transformer（ViT）在各种计算机视觉任务中的成功促进了这种无卷积网络的日益普及。ViT对图像块起作用的事实使其可能与拼图游戏解决问题相关，拼图游戏解决问题是一种经典的自我监督任务，旨在将混洗的序列图像块重新排序回其自然形式。尽管它很简单，但解决拼图游戏已被证明有助于使用卷积神经网络（CNN）的各种任务，例如自监督特征表示学习，领域泛化和细粒度分类。在本文中，我们探索解决拼图作为一个自我监督的辅助损失的图像分类，Jigsaw-ViT。我们展示了两个修改，可以使Jigsaw-ViT优于标准ViT：丢弃位置嵌入和屏蔽补丁随机。然而，简单的，我们发现，Jigsaw-ViT是能够提高泛化和鲁棒性的标准ViT，这通常是一个权衡。实验表明，在ImageNet上的大规模图像分类中，添加拼图分支比ViT提供了更好的泛化能力。此外，辅助任务还提高了对Animal-10 N、Food-101 N和Clothing 1 M上的噪声标签以及对抗性示例的鲁棒性。我们的实现可以在https://yingyichen-cyy.github.io/Jigsaw-ViT/上获得。
2023-01-05 cs.CV
