Joint Self-Supervised and Supervised Contrastive Learning for Multimodal MRI Data: Towards Predicting Abnormal Neurodevelopment
University of Cincinnati（辛辛那提大学）；University of Cincinnati College of Medicine（辛辛那提大学医学院）；Perinatal Institute（围产期研究所）
针对多模态MRI特征简单融合存在信息捕捉不足、冗余等问题，提出联合自监督与监督对比学习方法，将异构特征投影到共享空间融合信息，在两个独立数据集上的异常神经发育预测效果优于现有深度多模态方法，可助力临床计算机辅助诊断。
2023-12-22 cs.AI cs.CV cs.LG
AETv2: AutoEncoding Transformations for Self-Supervised Representation Learning by Minimizing Geodesic Distances in Lie Groups
University of Science and Technology of China（中国科学技术大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Research America（华为美国研究院）
通过预测变换的自监督学习在无监督和（半）监督任务中都表现出了出色的性能。其中最先进的方法是自动编码变换（AET），通过解码原始图像和变换图像的学习表示的变换。确定性和概率性的Aesthetics都依赖于欧几里得距离来测量估计的转换与其地面真实对应物的偏差。然而，这个假设是有问题的，因为一组变换通常驻留在弯曲的流形上，而不是停留在平坦的欧几里得空间中。为此，我们应该用测地线来描述图像如何沿着变换群的流形变换，并采用其长度来度量变换之间的偏差。特别地，我们提出自动编码单应性变换PG（2）的李群来学习图像表示。为此，我们通过将PG（2）投影到旋转变换SO（3）的一个子群来估计难以处理的黎曼对数，该子群允许测地距离的封闭形式表达。实验表明，所提出的AETv2模型优于以前的版本，以及其他国家的最先进的自监督模型在多个任务。
2019-11-16 cs.CV cs.LG cs.NE
Survey on Self-supervised Representation Learning Using Image Transformations
Mohamed Bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
深度神经网络需要大量的训练数据，而在现实世界中，可用于训练目的的数据稀缺。为了解决这些问题，自监督学习（SSL）方法被使用。SSL使用几何变换（GT）是一种简单而强大的技术，用于无监督表示学习。虽然多篇调查论文已经回顾了SSL技术，但没有一篇只关注使用几何变换的技术。此外，这些方法没有在审查它们的文件中深入讨论。我们提出这项工作的动机是几何变换已被证明是无监督表示学习中强大的监督信号。此外，许多这样的作品取得了巨大的成功，但没有得到太多的关注。我们提出了一个简洁的调查SSL的方法，使用几何变换。我们列出了六个使用图像变换的代表性模型，包括基于预测和自动编码变换的模型。我们回顾他们的架构以及学习方法。我们还比较了这些模型在CIFAR-10和ImageNet数据集上的对象识别任务中的性能。我们的分析表明，AETv 2在大多数设置中表现最佳。在某些设置中，具有特征解耦的旋转也表现良好。然后，我们从观察到的结果中获得见解。最后，我们总结的结果和见解，以及突出开放的问题要解决，并指出各种未来的方向。
2022-02-17 cs.CV cs.LG
Predicting What You Already Know Helps: Provable Self-Supervised Learning
Princeton University（普林斯顿大学）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
自监督表示学习解决了辅助预测任务（称为借口任务），而不需要标记数据来学习有用的语义表示。这些借口任务仅使用输入特征来创建，例如预测丢失的图像块，从上下文恢复图像的颜色通道，或预测文本中丢失的单词;然而，预测此\textit{known}信息有助于学习对下游预测任务有效的表示。我们建立了一种机制，利用某些{ \em重建为基础}的借口任务，保证学习一个良好的表示之间的统计连接。形式上，我们量化了借口任务的组件之间的近似独立性（以标签和潜在变量为条件）如何使我们能够通过在学习的表示之上训练线性层来学习可以解决下游任务的表示。我们证明了线性层即使对于复杂的地面真值函数类也会产生很小的近似误差，并且会大大降低标记样本的复杂度。接下来，我们展示了我们的方法的一个简单的修改导致非线性CCA，类似于流行的SimSiam算法，并显示类似的保证非线性CCA。
2021-11-14 cs.LG stat.ML
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments
Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague（布拉格捷克技术大学捷克信息学、机器人与控制论研究所）；Czech Technical University in Prague（布拉格捷克技术大学）；University of Crete（克里特大学）；IACM-Forth（希腊研究与技术基金会伊阿基莫斯研究所）；Archimedes/Athena RC（阿基米德/雅典娜研究中心）
MOCA是一种单阶段自监督方法，通过预测掩码在线码本分配统一掩码图像建模与对比学习，实现低样本最先进性能且训练快3倍。
2024-07-16 cs.AI cs.CV cs.LG
TiCo: Transformation Invariance and Covariance Contrast for Self-Supervised Visual Representation Learning
New York University（纽约大学）；Viasat, Inc.（Viasat公司）；Facebook AI Research（脸书人工智能研究院）
我们提出了自监督视觉表示学习的变换不变性和协方差对比（TiCo）。与其他最近的自监督学习方法类似，我们的方法是基于最大化同一图像的不同失真版本的嵌入之间的一致性，这推动编码器产生变换不变表示。为了避免编码器生成恒定向量的平凡解，我们通过惩罚低秩解来正则化来自不同图像的嵌入的协方差矩阵。通过联合最小化变换不变性损失和协方差对比度损失，我们得到了一个能够为下游任务产生有用表示的编码器。我们分析了我们的方法，并表明，它可以被看作是一个变种的MoCo与隐式存储体的无限大小，没有额外的内存成本。这使得我们的方法在使用小批量时比其他方法表现更好。TiCo也可以被视为巴洛双胞胎的修改。通过将对比和冗余减少方法连接在一起，TiCo为我们提供了关于联合嵌入方法如何工作的新见解。
2022-06-23 cs.AI cs.CV cs.LG
In-Context Symmetries: Self-Supervised Learning through Contextual World Models
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；TU Munich（慕尼黑工业大学）
本文提出上下文自监督学习（ContextSSL），利用世界模型和上下文记忆，学习对所有变换等变的通用表示，以适应任务特定对称性，在等变性任务上显著优于现有方法。
2024-05-28 cs.CV cs.LG
Self-supervised Transformation Learning for Equivariant Representations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院(KAIST)）
针对现有等变表示学习依赖变换标签、难处理复杂变换的问题，提出自监督变换学习STL，用图像对的变换表示替代标签，实现图像不变的变换表示与等变变换学习，在多类视觉任务上性能优于现有方法且适配性强。
2025-01-15 cs.AI cs.CV cs.LG
Explicit homography estimation improves contrastive self-supervised learning
School of Computer Science and Applied Mathematics（计算机科学与应用数学学院）；University of the Witwatersrand（金山大学）
典型的对比自监督算法通过直接或间接地对比正像和负像，使用潜在空间中的相似性度量作为监督信号。尽管自监督算法的实用性最近有所提高，但仍然存在阻碍其广泛使用的瓶颈，例如所需的计算。在本文中，我们提出了一个模块，作为一个额外的目标，在自我监督的对比学习范例。我们展示了如何包含这个模块来回归仿射变换或单应性的参数，除了原始的对比目标，提高了性能和学习速度。重要的是，我们确保这个模块不会强制仿射变换的各个分量具有不变性，因为这并不总是理想的。我们证明了两个最近，流行的自我监督算法的额外目标的有效性。我们对所提出的方法进行了广泛的实验分析，并对所有考虑的数据集的性能进行了改进。此外，我们发现，虽然一般的单应性和仿射变换都足以提高性能和收敛性，仿射变换在所有情况下都表现得更好。
2021-01-12 cs.CV cs.LG
Yet Another Algorithm for Supervised Principal Component Analysis: Supervised Linear Centroid-Encoder
Colorado State University（科罗拉多州立大学）
本文提出监督线性质心编码器SLCE，通过线性投影将同类样本映射至类别质心并最小化质心重构损失，以特征分解获得闭式解，实验证明其优于其他监督降维方法。
2023-06-07 cs.CV cs.LG
Self-supervised Label Augmentation via Input Transformations
KAIST（韩国科学技术院）；AITRICS
自监督学习通过仅给定输入信号来构造人工标签来学习，近来对于学习具有未标记数据集的表示获得了相当大的关注，即，在没有任何人类注释监督的情况下学习。在本文中，我们证明了即使在完全标记的数据集下，这种技术也可以显着提高模型的准确性。我们的方案训练模型学习原始任务和自监督任务，但与传统的多任务学习框架不同，传统的多任务学习框架优化了相应损失的总和。我们的主要思想是学习一个关于原始标签和自监督标签的联合分布的统一任务，即，我们通过输入变换的自我监督来增强原始标签。这种简单而有效的方法允许通过在同时学习原始任务和自监督任务期间放松某个不变约束来更容易地训练模型。它还支持聚合推理，该聚合推理结合来自不同增强的预测以提高预测准确性。此外，我们提出了一种新的知识转移技术，我们称之为自蒸馏，具有聚合推理在一个单一的（更快）的推理效果。我们证明了我们的框架在各种全监督设置上的大精度改进和广泛适用性，例如，Few-Shot和不平衡分类场景。
2020-06-29 cs.CV cs.LG stat.ML
Revisiting Rubik's Cube: Self-supervised Learning with Volume-wise Transformation for 3D Medical Image Segmentation
Hangzhou Dianzi University（杭州电子科技大学）；Tencent Jarvis Lab（腾讯Jarvis实验室）
深度学习高度依赖于注释数据的数量。然而，3D体积医学数据的注释需要有经验的医生花费数小时甚至数天的时间进行研究。自监督学习是通过深入挖掘原始数据信息来摆脱对训练数据的强烈需求的潜在解决方案。在本文中，我们提出了一种新的自监督学习框架的体积医学图像。具体来说，我们提出了上下文恢复任务，即，Rubik's cube++，用于预训练3D神经网络。与现有的基于上下文恢复的方法不同，我们采用了一种基于体积的上下文置换变换，这有助于网络更好地利用器官的固有3D解剖信息。相比从头开始训练的策略，从魔方++预训练权重进行微调，可以在胰腺分割和脑组织分割等各种任务中实现更好的性能。实验结果表明，我们的自监督学习方法可以显着提高三维深度学习网络在体积医学数据集上的准确性，而无需使用额外的数据。
2020-07-17 cs.CV cs.LG eess.IV
Reproducing BowNet: Learning Representations by Predicting Bags of Visual Words
University of Waterloo（滑铁卢大学）
这项工作旨在重现Gidaris等人的CVPR 2020论文的结果。自监督学习（SSL）用于使用未标记数据集学习图像的特征表示。这项工作提出使用词袋（BoW）深度特征描述符作为自监督学习目标来学习鲁棒的深度表示。BowNet被训练来重建视觉单词的直方图（即。深度BoW描述符）。因此，该方法的目的是学习扰动不变和上下文感知的图像特征，可以用于Few-Shot任务或监督下游任务。在本文中，作者将BowNet描述为一个由卷积特征提取器$Φ(\cdot)$和经过训练以预测图像中的BoW特征的Dense-softmax层$Ω(\cdot)$组成的网络。在BoW训练之后，在下游任务中使用$Φ$的特征。为了应对这一挑战，我们试图构建并训练一个网络，该网络可以重现原始论文中报告的CIFAR-100精度改进。然而，我们没有成功地复制与作者提到的准确性提高。这可能是各种因素造成的，我们认为时间限制是主要瓶颈。
2022-01-14 cs.CV cs.LG
Self-Supervised Learning of Pretext-Invariant Representations
Facebook AI Research（脸书人工智能研究院）
从图像中进行自监督学习的目标是通过不需要对大型图像训练集进行语义注释的借口任务来构建语义上有意义的图像表示。许多借口任务导致与图像变换协变的表示。我们认为，相反，语义表示在这种变换下应该是不变的。具体来说，我们开发了Pretext-Invariant表示学习（PIRL，发音为“pearl”），它基于借口任务学习不变表示。我们将PIRL用于一个常用的借口任务，包括解决拼图游戏。我们发现，PIRL大大提高了学习的图像表示的语义质量。我们的方法设置了一个新的国家的最先进的自监督学习从图像上的几个流行的基准自监督学习。尽管是无监督的，但PIRL在学习目标检测的图像表示方面优于有监督的预训练。总之，我们的研究结果表明，自监督学习的图像表示具有良好的不变性的潜力。
2019-12-04 cs.CV cs.LG
Distill on the Go: Online knowledge distillation in self-supervised learning
Advanced Research Lab NavInfo Europe（四维图新欧洲高级研究实验室）
自监督学习解决了不需要注释来学习特征表示的借口预测任务。对于视觉任务，仅从输入数据创建诸如预测旋转、解决拼图的借口任务。然而，预测这些已知信息有助于学习对下游任务有用的表示。然而，最近的研究表明，更广泛和更深入的模型比更小的模型更受益于自监督学习。为了解决较小模型的自监督预训练问题，我们提出了Distill-on-the-Go（DoGo），这是一种自监督学习范式，使用单阶段在线知识蒸馏来提高较小模型的表示质量。我们采用深度相互学习策略，其中两个模型相互协作学习以改进彼此。具体来说，每个模型都是使用自监督学习和蒸馏来训练的，蒸馏将每个模型的相似性分数的softmax概率与对等模型的相似性分数对齐。我们在多个基准数据集，学习目标和架构上进行了广泛的实验，以证明我们所提出的方法的潜力。我们的研究结果表明，在存在噪声和有限的标签和泛化到分布外的数据显着的性能增益。
2021-06-30 cs.AI cs.CV cs.LG
SCMPPI: Supervised Contrastive Multimodal Framework for Predicting Protein-Protein Interactions
Cuiying Honors College（萃英学院）；Lanzhou University（兰州大学）；City University of Hong Kong（香港城市大学）；School of Mathematics and Statistics（数学与统计学院）
SCMPPI是一种监督对比多模态框架，通过融合序列特征与网络拓扑并引入负样本过滤的对比学习策略，在8个基准数据集上实现了98.13%的准确率和99.69%的AUC，展现出卓越的跨物种泛化能力与疾病靶点发现潜力。
2025-04-27 cs.AI cs.LG q-bio.QM
Text Transformations in Contrastive Self-Supervised Learning: A Review
Arizona State University（亚利桑那州立大学）
对比自监督学习已成为表示学习中的一种重要技术。这些方法的主要步骤是对比语义相似和不相似的样本对。然而，在自然语言处理（NLP）领域，用于创建关于对比学习（CL）假设的相似对的增强方法具有挑战性。这是因为，即使简单地修改输入中的单词也可能改变句子的语义含义，因此违反了分布假设。在这篇综述论文中，我们形式化的对比学习框架，强调需要解决的数据转换步骤中的考虑因素，并审查国家的最先进的方法和评价的对比表示学习在自然语言处理。最后，我们描述了使用对比方法学习更好的文本表示的一些挑战和潜在方向。
2022-06-06 cs.CL cs.LG
Self-Supervised Graph Representation Learning via Topology Transformations
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；Futurewei Seattle Cloud Lab（Futurewei西雅图云实验室）
我们提出了拓扑变换等变表示学习，自监督学习的一般范式的节点表示的图形数据，使图卷积神经网络（GCNN）的广泛适用性。我们正式提出的模型从信息理论的角度来看，通过最大限度地提高互信息之间的拓扑变换和节点表示之前和之后的转换。我们得出，最大化这样的互信息可以放宽到最小化的交叉熵之间的应用拓扑变换和它的估计从节点表示。特别地，我们试图从原始图中采样节点对的子集，并翻转每个对之间的边连接以转换图拓扑。然后，我们自训练一个表示编码器，通过从原始图和变换图的特征表示重建拓扑变换来学习节点表示。在实验中，我们将所提出的模型应用于下游节点分类、图分类和链接预测任务，结果表明，所提出的方法优于现有的无监督方法。
2021-12-02 cs.LG cs.SI eess.SP
InferCode: Self-Supervised Learning of Code Representations by Predicting Subtrees
Singapore Management University（新加坡管理大学）；The Open University（开放大学）
在源代码上构建深度学习模型已经在许多软件工程应用中取得了成功，如代码搜索、代码注释生成、bug检测、代码迁移等，然而，当前的学习技术存在一个主要缺点，即这些模型大多是在标记为特定下游任务的数据集上训练的，代码表示可能不适合其他任务。虽然一些技术从未标记的代码中产生表示，但当应用于下游任务时，它们远远不能令人满意。尽管某些技术在应用于下游任务时从未标记的代码生成表示，但它们远不能令人满意。本文提出的InferCode通过采用自监督学习机制来建立源代码模型，以克服这一局限性。关键的新颖之处在于通过预测自动识别的子树从AST的上下文中训练代码表示。AST中的子树被InferCode视为训练代码表示的标签，而无需任何人工标记工作或昂贵的图形构造开销，并且训练的表示不再与任何特定的下游任务或代码单元绑定。我们使用基于树的CNN作为大量Java代码的编码器训练了一个InferCode模型实例，并将其应用于下游无监督任务，如代码聚类，代码克隆检测，跨语言代码搜索或在迁移学习方案下重用，以继续训练有监督任务的模型权重，如代码分类和方法名称预测。与以前的代码学习技术应用于相同的下游任务，如Code2Vec，Code2Seq，ASTNN相比，使用我们的预训练的InferCode模型实现了更高的性能结果，对于大多数任务，包括涉及不同程序设计语言的任务，具有显着的裕度。
2020-12-15 cs.AI cs.LG cs.PL
Predicting the Energy Landscape of Stochastic Dynamical System via Physics-informed Self-supervised Learning
Shenzhen International Graduate School（深圳国际研究生院）；Tsinghua University（清华大学）；BNRist, Tsinghua University（清华大学BNRist）
提出物理信息自监督学习方法，通过自适应码本和图神经Fokker-Planck方程从演化轨迹联合学习能量估计与演化预测，解决无真实能量值时的能量景观推断难题，相关系数超0.9且预测精度平均提升17.65%。
2025-02-24 cs.AI cs.CE cs.LG
The Efficacy of Semantics-Preserving Transformations in Self-Supervised Learning for Medical Ultrasound
Cheriton School of Computer Science, University of Waterloo（滑铁卢大学计算机科学学院）；Department of Systems Design Engineering, University of Waterloo（滑铁卢大学系统设计工程系）；Schulich School of Medicine and Dentistry, Western University（西部大学施乐希医学与牙科学校）
本文针对肺部超声自监督学习，系统比较基线、语义保持及提炼式增强流程，发现全局诊断任务适合语义保持增强，局部目标任务适合裁剪方法，并给出预处理指导。
2025-06-10 cs.CV cs.LG eess.IV
MT-SLVR: Multi-Task Self-Supervised Learning for Transformation In(Variant) Representations
University of Edinburgh（爱丁堡大学）；Thales UK RTI（泰雷兹英国研究与技术研究所）
针对不同下游任务所需的特征不变性存在差异的问题，提出多任务自监督框架MT-SLVR，以参数高效的方式学习变体与不变特征，在多个音频领域少样本分类任务上实现性能提升。
2024-01-26 cs.LG cs.SD eess.AS
TAGA: Text-Attributed Graph Self-Supervised Learning by Synergizing Graph and Text Mutual Transformations
Emory University（埃默里大学）
本文提出TAGA框架，通过图-文本相互转换构建多视图对齐，实现文本属性图的自监督学习，在零样本和少样本场景中表现优异。
2024-05-27 cs.AI cs.LG
Self-Supervised Contrastive Learning for Code Retrieval and Summarization via Semantic-Preserving Transformations
Huawei Ireland Research Center（华为爱尔兰研究中心）；The Open University（开放大学）；Singapore Management University（新加坡管理大学）
我们提出了Corder，一个自监督的对比学习框架的源代码模型。Corder旨在减轻代码检索和代码摘要任务对标记数据的需求。Corder的预训练模型可以以两种方式使用：（1）它可以产生代码的矢量表示，可以应用于没有标记数据的代码检索任务;（2）它可以用于可能仍然需要标记数据的任务的微调过程，例如代码摘要。关键的创新是我们通过对比学习目标要求源代码模型识别相似和不相似的代码片段来训练源代码模型。为此，我们使用一组语义保持转换操作符来生成语法上不同但语义上等效的代码片段。通过大量的实验，我们已经证明，Corder预训练的代码模型在代码到代码检索、文本到代码检索和代码到文本摘要任务中的表现大大优于其他基线。
2021-05-23 cs.AI cs.LG cs.PL
Exploring the Task-agnostic Trait of Self-supervised Learning in the Context of Detecting Mental Disorders
Indian Institute of Technology Guwahati（印度古瓦哈蒂理工学院）
本研究在检测MDD和PTSD背景下，利用音频和视频数据探索SSL生成的任务无关表示，通过提出固定目标列表和修改SSL编码器超参数生成全局表示，提升了精神障碍检测性能并验证了任务无关特性。
2024-03-22 cs.AI cs.LG eess.SP
Self-supervised ECG Representation Learning for Emotion Recognition
我们开发了一个自我监督的深度多任务学习框架，用于基于心电图（ECG）的情感识别。所提出的解决方案包括两个学习阶段：a）学习ECG表示和b）学习对情绪进行分类。ECG表示由信号变换识别网络学习。该网络从未标记的ECG数据中学习高级抽象表示。六种不同的信号变换被应用到ECG信号，并且变换识别被执行为借口任务。在借口任务上训练模型可以帮助网络学习时空表示，这些时空表示可以很好地概括不同的数据集和不同的情感类别。我们将自监督网络的权重转移到情感识别网络，其中卷积层保持冻结，密集层使用标记的ECG数据进行训练。我们表明，与使用全监督学习训练的网络相比，所提出的解决方案大大提高了性能。新的国家的最先进的结果设置在分类的唤醒，效价，情感状态，和压力的四个利用的数据集。进行了大量的实验，提供了有趣的见解的影响，使用多任务的自我监督结构，而不是一个单一的任务模型，以及所需的借口自我监督任务的最佳难度水平。
2020-08-10 cs.LG eess.SP stat.ML
Attention-wise masked graph contrastive learning for predicting molecular property
Nanjing Tech University（南京工业大学）；Central South University（中南大学）
准确、高效地预测药物的分子性质是药物研究和开发的基本问题之一。表征学习的最新进展已被证明可以大大提高分子性质预测的性能。然而，由于有限的标记数据，基于监督学习的分子表示算法只能搜索有限的化学空间，导致泛化能力差。在这项工作中，我们提出了一个大规模的未标记分子的自监督表示学习框架。我们开发了一种新的分子图增强策略，称为attention-wise graph mask，以生成具有挑战性的阳性样本进行对比学习。我们采用图注意力网络（GAT）作为分子图编码器，并利用学习的注意力分数作为掩蔽指导来生成分子增强图。通过最小化原始图和掩码图之间的对比损失，我们的模型可以捕获重要的分子结构和高阶语义信息。大量的实验表明，我们的注意力图形掩码对比学习在几个下游分子性质预测任务中表现出最先进的性能。
2022-05-02 cs.LG q-bio.BM
Self-Supervised Embeddings for Detecting Individual Symptoms of Depression
Dalhousie University（达尔豪斯大学）；Vector Institute（向量研究所）；McMaster University（麦克马斯特大学）；Nova Scotia Health（新斯科舍卫生机构）
本研究利用基于自监督学习的语音模型提取SSL嵌入，不仅预测抑郁症严重程度，还识别个体症状，并发现其优于常规特征，同时验证了多任务学习的重要性。
2024-06-25 cs.LG cs.SD eess.AS
Toward Fully Self-Supervised Multi-Pitch Estimation
University of Rochester（罗切斯特大学）
本文提出一套自监督学习目标，训练全卷积自编码器直接从合成单音符音频中学习多基音估计，无需标注即可泛化到复调音乐并达到与监督模型相当的性能。
2024-02-23 cs.LG cs.SD eess.AS
Self-supervised Learning for ECG-based Emotion Recognition
Queen's University（女王大学）
我们提出了一个基于心电图（ECG）的情感识别系统，使用自监督学习。我们提出的架构包括两个主要的网络，信号转换识别网络和情感识别网络。首先，未标记的数据被用来成功地训练前网络，以检测特定的预定信号变换的自监督学习步骤。接下来，该网络的卷积层的权重被转移到情感识别网络，并训练两个密集层以分类唤醒和效价分数。我们表明，我们的自监督方法可以帮助模型学习情感识别所需的心电图特征流形，其性能等于或优于模型的全监督版本。我们提出的方法优于最先进的心电图为基础的情感识别与两个公开可用的数据集，SWELL和AMIGOS。进一步的分析强调了我们的自我监督方法的优势，即需要更少的数据来实现可接受的结果。
2020-04-05 cs.AI cs.LG eess.SP
Contrastive Separative Coding for Self-supervised Representation Learning
Tencent AI Lab（腾讯人工智能实验室）
为了从语音数据的长序列建模中提取鲁棒的深度表示，我们提出了一种自监督学习方法，即对比分离编码（CSC）。我们的关键发现是通过将目标信号与对比干扰信号分离来学习这种表示。首先，构建了一个多任务分离编码器来提取共享的可分离和可区分的嵌入;其次，我们提出了一个强大的交叉注意机制，在各种干扰条件下对说话人表示执行，允许模型关注并全局聚合最关键的信息来回答“查询”（当前自下而上嵌入），同时较少关注干扰、噪声或无关部分;最后，我们构造了一种新的概率对比损失，它估计并最大化了表示与全局说话人向量之间的互信息。虽然大多数先前的无监督方法都专注于预测未来，相邻或缺失的样本，但我们对预测干扰样本采取了不同的观点。此外，我们的对比分离损失是免费的负采样。实验表明，我们的方法可以学习有用的表示，在不利条件下实现强大的说话者验证性能。
2021-03-01 cs.AI cs.LG cs.SD
Adversarial Transformations for Semi-Supervised Learning
DENSO IT LABORATORY, INC.（电装IT实验室有限公司）
我们提出了一个正则化框架的基础上对抗变换（RAT）的半监督学习。RAT的目的是提高对输入扰动的给定数据的类预测的输出分布的鲁棒性。RAT是虚拟对抗训练（VAT）的扩展，RAT通过一组丰富的数据转换函数沿着底层数据分布对抗性地转换数据，这些函数保持类标签不变，而VAT只是产生对抗性的加性噪声。此外，我们验证了扰动区域逐渐增大的技术进一步提高了鲁棒性。在实验中，我们表明，RAT显着提高分类性能CIFAR-10和SVHN相比，现有的正则化方法在标准的半监督图像分类设置。
2019-11-18 cs.CV cs.LG
Semi-Supervised Multitask Learning on Multispectral Satellite Images Using Wasserstein Generative Adversarial Networks (GANs) for Predicting Poverty
Stanford University（斯坦福大学）
要获得可靠的数据，详细描述当地的贫困指标，为决策者提供信息，就需要进行昂贵和后勤困难的调查，特别是在发展中国家。毫不奇怪，贫困地区也很可能成为战区，基础设施薄弱，有时政府不与国际资助的发展努力合作。我们对CNN进行训练，利用Landsat 7提供的非洲大陆免费和公开的日间卫星图像，建立一个预测当地经济生计的模型。只有5%的卫星图像可以与标签（从DHS调查中获得）相关联，因此使用GAN的半监督方法（类似于Salimans等人的方法（2016）），尽管使用了更稳定的GANs训练风格，称为Wasserstein GAN，使用梯度惩罚正则化（Gulrajani等人（2017））。采用多任务学习的方法来规范网络，并创建用于预测多个贫困指标的端到端模型。
2019-04-25 cs.CV cs.LG
Predicting the Politics of an Image Using Webly Supervised Data
University of Pittsburgh（匹兹堡大学）
新闻媒体塑造了公众舆论，通常，它们所包含的视觉偏见对人类观察者来说是显而易见的。这种偏见可以从不同的媒体来源如何描绘不同的主题或话题中推断出来。在本文中，我们模型视觉政治偏见在当代媒体来源的规模，使用网络监督数据。我们从左倾和右倾新闻来源收集了超过一百万张独特图像和相关新闻文章的数据集，并开发了一种预测图像政治倾向的方法。这个问题特别具有挑战性，因为我们的数据具有巨大的类内视觉和语义多样性。我们提出了一个两阶段的方法来解决这个问题。在第一阶段，模型被迫学习相关的视觉概念，当这些概念与从与图像配对的文章中计算出的文档嵌入相结合时，使模型能够预测偏差。在第二阶段，我们去除了对文本域的要求，并从前一个模型的特征中训练一个视觉分类器。我们表明，这种两阶段的方法有助于学习，并优于几个强大的基线。我们还提出了大量的定性结果，证明了数据的细微差别。
2019-10-31 cs.CV cs.LG
Semi-Supervised Medical Image Segmentation via Learning Consistency under Transformations
Erasmus MC（伊拉斯谟医学中心）；COSMONiO；University of Copenhagen（哥本哈根大学）
标记数据的稀缺往往限制了监督式深度学习技术在医学图像分割中的应用。这激发了半监督技术的发展，该技术从标记和未标记图像的混合中学习。在本文中，我们提出了一种新的半监督的方法，除了监督学习标记的训练图像，学习预测分割一致下一个给定的类的转换标记和未标记的图像。更具体地说，在这项工作中，我们探索学习弹性变形的等变性。我们通过以下方式实现这一目标：1）具有两个相同分支的连体结构，每个分支接收不同变换的图像，以及2）具有监督分割损失项和非监督项的复合损失函数，该复合损失函数鼓励两个分支的预测之间的分割一致性。我们使用5折交叉验证在具有解剖结构分割的胸片的公共数据集上评估该方法。与监督学习相比，该方法达到了更高的分割精度。这是由于在标记和未标记图像上学习变换一致性，后者贡献最大。我们实现的性能与最先进的胸部X射线分割方法相当，同时使用更少的标记图像。
2019-11-04 cs.CV cs.LG
Semi-Supervised Learning of Visual Features by Non-Parametrically Predicting View Assignments with Support Samples
Facebook AI Research（脸书人工智能研究院）；Mila – Quebec AI Institute（米拉——魁北克人工智能研究所）；McGill University（麦吉尔大学）；Inria（法国国家信息与自动化研究所）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
本文提出了一种新的学习方法预测视图分配与支持样本（PAWS）。该方法训练模型以最小化一致性损失，这确保相同未标记实例的不同视图被分配类似的伪标签。通过将图像视图的表示与一组随机采样的标记图像的表示进行比较，非参数化地生成伪标签。视图表示和标记表示之间的距离用于提供类标签的权重，我们将其解释为软伪标签。通过以这种方式非参数化地合并标记样本，PAWS将BYOL和SwAV等自监督方法中使用的距离度量损失扩展到半监督设置。尽管这种方法很简单，但PAWS在架构上优于其他半监督方法，为ImageNet上的ResNet-50设置了一个新的最先进的水平，使用10%或1%的标签进行训练，分别达到75.5%和66.5%的top-1。PAWS需要的训练比以前的最佳方法少4倍到12倍。
2021-07-30 cs.AI cs.CV cs.LG
Semi-Supervised Learning for hyperspectral images by non parametrically predicting view assignment
Indian Institute of Technology Bombay（印度理工学院孟买分校）；German Aerospace Center (DLR)（德国航空航天中心（DLR））；Technical University of Munich（慕尼黑工业大学）
本文提出一种半监督方法，通过非参数预测视图分配，为无标记高光谱图像生成伪标签，辅助自监督预训练，并在休斯顿和帕维亚大学数据集上优于自监督和监督训练。
2023-06-19 cs.CV
Oops! Predicting Unintentional Action in Video
Columbia University（哥伦比亚大学）
仅仅从一个简短的视频一瞥，我们往往可以判断一个人的行为是故意的还是无意的。我们能训练一个模型来识别这个吗？我们介绍了一个数据集的野生视频无意的行动，以及一套任务，识别，定位，并预测其发作。我们训练一个监督神经网络作为基线，并分析其性能相比，人类的一致性的任务。我们还研究了利用数据集中自然信号的自监督表示，并展示了使用视频固有速度的方法的有效性，该方法在高度监督的预训练中具有竞争力。然而，机器和人类的性能之间仍然存在巨大差距。该项目的网站是https://oops.cs.columbia.edu
2019-11-25 cs.CV cs.LG eess.IV
Polar Transformation Based Multiple Instance Learning Assisting Weakly Supervised Image Segmentation With Loose Bounding Box Annotations
Delta Micro Technology, Inc.（达美微科技公司）；Shenzhen SiBright Co. Ltd.（深圳硅基仿生科技有限公司）
本文研究了基于松散限界框监督的弱监督图像分割。提出了一种基于极坐标变换的多示例学习策略，以辅助松散包围盒作为监督的图像分割。在该策略中，引入加权平滑最大值近似，以结合观察到的像素更接近极坐标变换的原点更可能属于限界框中的对象。在公共医疗数据集上使用Dice系数对所提出的方法进行了评估。结果表明其优越的性能。代码可在\url{https://github.com/wangjuan313/wsis-polartransform}上获得。
2022-03-03 cs.CV cs.LG eess.IV
Combining unsupervised and supervised learning for predicting the final stroke lesion
University of Minho（米尼奥大学）；Bern University Hospital（伯尔尼大学医院）
预测最终的缺血性卒中病变提供了关于可挽救的低灌注组织体积的关键信息，这有助于医生在治疗计划和干预的艰难决策过程中。治疗选择受临床诊断的影响，这需要描绘中风病变，以及使用神经影像采集表征脑血流动力学。尽管如此，由于缺血性卒中发生后病变大小、形状、位置和潜在脑血流动力学过程的可变性，预测最终卒中病变是一项复杂的任务。此外，由于中风和治疗之间的经过时间与脑组织的损失有关，因此需要在短时间内评估和预测最终的中风病变，这使得任务更加复杂。因此，需要一种自动方法来预测最终的中风病变并在治疗决策过程中支持医生。我们提出了一种基于无监督和监督学习的全自动深度学习方法，以预测90天后的最终中风病变。我们的目的是预测最终的中风病变部位和程度，考虑到潜在的脑血流动力学，可以影响预测。为了实现这一点，我们提出了一个两个分支的限制玻尔兹曼机，它提供了专门的数据驱动的功能，从不同的标准参数磁共振成像地图集。这些数据驱动的特征图然后与参数磁共振成像图相结合，并馈送到卷积和递归神经网络架构。我们在公开的ISLES 2017测试数据集上评估了我们的提案，Dice得分为0.38，Hausdorff距离为29.21 mm，平均对称表面距离为5.52 mm。
2021-01-02 cs.CV cs.LG eess.IV
Self-Supervised Learning via multi-Transformation Classification for Action Recognition
National Central University（国立中央大学）；University of Arkansas（阿肯色大学）
自我监督任务已被用来构建有用的表示，可以在下游任务时，注释不可用。在本文中，我们介绍了一种自监督视频表示学习方法的基础上，多变换分类，有效地分类人类的行动。对各种变换的自监督学习不仅提供了更丰富的上下文信息，而且使视觉表示对变换更鲁棒。通过对七种不同的变换进行分类，即旋转、剪辑反转、置换、分裂、连接变换、颜色切换、帧替换、噪声添加，以自监督的方式学习视频的时空表示。首先，对视频剪辑应用七种不同的视频变换。然后利用三维卷积神经网络提取片段的特征，并对这些特征进行处理以分类伪标签。我们使用在借口任务中学习的模型作为预先训练的模型，并对其进行微调，以识别下游任务中的人类行为。我们在UCF 101和HMDB 51数据集上进行了实验，并将C3 D和3D Resnet-18作为骨干网络。实验结果表明，我们提出的框架优于其他SOTA自监督动作识别方法。该代码将公开提供。
2021-02-20 cs.CV
Affine transformation estimation improves visual self-supervised learning
School of Computer Science and Applied Mathematics（计算机科学与应用数学学院）；University of the Witwatersrand（威特沃特斯兰德大学）
本研究提出一种与基础模型无关的附加模块，通过约束表示预测仿射变换来提升视觉自监督学习的性能与效率，并在多种模型上验证了其有效性。
2024-02-14 cs.CV
Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation
University of Cambridge（剑桥大学）
标记数据的稀缺性促使半监督学习方法的发展，该方法从大部分未标记数据以及少量标记样本中学习。一致性在不同输入扰动下模型预测之间的正则化，特别是已经证明可以在半监督框架中提供最先进的结果。然而，这些方法中的大多数已被限制在分类和分割应用。我们提出了变换一致性正则化，它深入研究了更具挑战性的图像到图像的翻译设置，这仍然是半监督算法尚未探索的。该方法引入了一组不同的几何变换，并强制模型对未标记数据的预测对这些变换保持不变。我们评估了我们的算法在三个不同的应用程序：图像着色，去噪和超分辨率的功效。我们的方法具有显著的数据效率，只需要大约10 - 20%的标记样本就可以实现与完全监督对应的图像重建。此外，我们展示了我们的方法在视频处理应用中的有效性，其中可以利用来自几帧的知识来提高电影其余部分的质量。
2020-07-15 cs.CV
STDepthFormer: Predicting Spatio-temporal Depth from Video with a Self-supervised Transformer Model
CNRS-I3S（法国国家科学研究中心-蔚蓝海岸大学信息、信号与系统实验室）；Côte d’Azur University（蔚蓝海岸大学）；Renault Software Factory（雷诺软件工厂）
在本文中，提出了一种自监督模型，同时预测一系列的未来帧的视频输入与一种新的时空注意力（ST）网络。ST Transformer网络允许约束跨未来帧的时间一致性，同时约束跨图像中不同尺度的空间对象的一致性。这在先前的深度预测工作中不是这样的，其专注于预测单个帧作为输出。所提出的模型利用先验场景知识，如物体形状和纹理类似于单图像深度推理方法，同时还约束输入图像序列的运动和几何形状。除了Transformer架构之外，相对于先前工作的主要贡献之一在于目标函数，该目标函数在输出帧序列而不是单个输出帧上强制时空一致性。如将示出的，这导致更准确和鲁棒的深度序列预测。该模型实现了高度准确的深度预测结果，优于KITTI基准的现有基线。进行了广泛的消融研究，以评估所提出的技术的有效性。所提出的模型的一个显着的结果是，它是隐式地能够预测场景中的对象的运动，而不是需要复杂的模型，涉及多目标检测，分割和跟踪。
2023-03-02 cs.CV
Self-supervision of Feature Transformation for Further Improving Supervised Learning
University of Electronic Science and Technology of China（电子科技大学）
自监督学习通过预先设计的任务自动构造标签，近年来被应用于加强监督学习。由于以前的自我监督借口任务是基于输入的，它们可能会产生巨大的额外训练开销。在本文中，我们发现CNN中的特征也可以用于自我监督。因此，我们创造性地设计了\emph{feature-based pretext task}，它只需要少量的额外的训练开销。在我们的任务中，我们丢弃不同的特定区域的特征，然后训练模型来区分这些不同的特征。为了充分应用我们的基于特征的借口任务在监督学习，我们还提出了一个新的学习框架，包含多分类器进一步改进。原始标签将通过特征转换的自我监督扩展为联合标签。通过我们的自监督任务提供更多的语义信息，这种方法可以更有效地训练CNN。在各种监督学习任务上的大量实验证明了该方法的准确性和广泛的适用性。
2021-06-09 cs.CV
EnAET: A Self-Trained framework for Semi-Supervised and Supervised Learning with Ensemble Transformations
Purdue University（普渡大学）；University of Rochester（罗切斯特大学）；Futurewei Seattle Cloud Lab（华为西雅图云实验室）
深度神经网络已成功应用于许多现实世界的应用。然而，这样的成功在很大程度上依赖于大量的标记数据，而这些数据的获取成本很高。近年来，人们提出了许多半监督学习的方法，并取得了很好的效果。在这项研究中，我们提出了一个新的EnAET框架，以进一步改善现有的半监督方法与自我监督的信息。据我们所知，目前所有的半监督方法都通过预测一致性和置信度来提高性能。我们是第一个探索{ \bf自我监督}表示在{ \bf半监督}学习中的作用的丰富的家庭的转换。因此，我们的框架可以集成自监督信息作为正则化项，以进一步改进{ \it all}当前的半监督方法。在实验中，我们使用MixMatch，这是当前最先进的半监督学习方法，作为基线来测试所提出的EnAET框架。在不同的数据集上，我们采用相同的超参数，这大大提高了EnAET框架的泛化能力。在不同数据集上的实验结果表明，所提出的EnAET框架大大提高了现有半监督算法的性能.此外，该框架还可以大幅提高{ \bf监督学习}，包括每个类只有10张图像的极具挑战性的场景。代码和实验记录可在\url{https://github.com/maple-research-lab/EnAET}中获得。
2021-02-01 cs.CV
Contrastive Transformation for Self-supervised Correspondence Learning
University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）
在本文中，我们专注于自监督学习的视觉对应使用未标记的视频在野外。我们的方法同时考虑帧内和帧间视频表示关联可靠的对应估计。视频内学习通过帧成对亲和度在单个视频内跨帧变换图像内容。为了获得实例级分离的判别表示，我们超越了视频内分析，并构建了视频间亲和力，以促进不同视频之间的对比变换。通过强制视频层内和视频层间的变换一致性，很好地保留了细粒度的对应关系，并有效地增强了实例级特征区分。我们的简单框架在一系列视觉任务上优于最近的自监督对应方法，包括视频对象跟踪（VOT），视频对象分割（VOS），姿势关键点跟踪等。值得一提的是，我们的方法也优于完全监督的亲和力表示（例如，ResNet），并与最近为特定任务设计的全监督算法（例如，VOT和VOS）。
2020-12-09 cs.CV
Self-supervised Spatio-temporal Representation Learning for Videos by Predicting Motion and Appearance Statistics
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；South China University of Technology（华南理工大学）；University of Oxford（牛津大学）
我们解决了没有人类注释标签的视频表示学习的问题。虽然以前的努力通过使用视频数据设计新颖的自监督任务来解决这个问题，但学习的特征仅仅是逐帧的，这不适用于时空特征占主导地位的许多视频分析任务。在本文中，我们提出了一种新的自我监督的方法来学习时空特征的视频表示。受双流方法在视频分类中的成功的启发，我们提出通过沿着空间和时间维度回归运动和外观统计来学习视觉特征，仅给出输入视频数据。具体来说，我们提取统计概念（快速运动区域和相应的主导方向，时空颜色多样性，主导颜色等）。从空间和时间域的简单模式中。与之前人类甚至很难解决的难题不同，所提出的方法符合人类固有的视觉习惯，因此很容易回答。我们进行了广泛的实验与C3D验证我们所提出的方法的有效性。实验结果表明，该方法可以显着提高C3D的性能时，应用于视频分类任务。代码可在https://github.com/laura-wang/video_repres_mas上获得。
2019-04-07 cs.CV
FeatMatch: Feature-Based Augmentation for Semi-Supervised Learning
Georgia Tech（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
最新的半监督学习（SSL）方法使用基于图像的变换和一致性正则化的组合作为核心组件。然而，这样的方法限于简单的变换，例如传统的数据增强或两个图像的凸组合。在本文中，我们提出了一种新的学习基于特征的细化和增强方法，产生一组不同的复杂变换。重要的是，这些转换还使用了我们通过聚类提取的类内和跨类原型表示的信息。我们使用已经在迭代中计算的特征，将它们存储在存储体中，从而避免了大量额外计算的需要。这些变换与传统的基于图像的增强相结合，然后用作基于一致性的正则化损失的一部分。我们证明，我们的方法与当前较小数据集（CIFAR-10和SVHN）的最新技术水平相当，同时能够扩展到更大的数据集，如CIFAR-100和mini-Imagenet，我们在最新技术水平上实现了显着的增益（\textit{e.g.,}在mini-Imagenet上的绝对增益为17.44\%）。我们进一步在DomainNet上测试了我们的方法，证明了对域外未标记数据的更好的鲁棒性，并进行了严格的消融和分析来验证该方法。
2020-07-16 cs.CV cs.LG
Learning image transformations without training examples
Harik Shazeer Labs（Harik Shazeer实验室）
图像变换的使用对于有效建模和学习视觉数据至关重要。但类的相关变换是大的：仿射变换，投影变换，弹性变形，.因此，学习这些转换，而不是手工编码它们，具有很大的概念意义。据我们所知，到目前为止，所有相关的工作都与监督学习或弱监督学习（从相关序列，视频流或图像变换对）有关。在本文中，相反，我们提出了一个简单的方法来学习仿射和弹性变换时，没有明确给出这些变换的例子，也没有空间的先验知识（如像素的排序）。该系统只能访问一个不按特定顺序排列的中等规模的自然图像数据库。
2011-10-01 cs.CV cs.LG
Predicting Vegetation Stratum Occupancy from Airborne LiDAR Data with Deep Learning
LASTIG, Univ. Gustave Eiffel, IGN-ENSG（古斯塔夫·埃菲尔大学LASTIG实验室，法国国家地理与林业信息学院）；INRAE, UMR 1202 BIOGECO, Université de Bordeaux（法国国家农业食品与环境研究院，波尔多大学生物地球化学与生态学联合研究中心）；EA G&E Bordeaux INP, Université Bordeaux Montaigne（波尔多蒙田大学，波尔多国立高等电子、计算机、电信、数学与机械学院环境与地理空间工程研究团队）
我们提出了一种新的基于深度学习的方法，用于从机载3D LiDAR点云估计植被层的占用率。我们的模型预测栅格化的占用地图对应于低，中，高覆盖的三个植被层。我们的弱监督训练方案允许我们的网络仅使用包含数千个点的圆柱形地块上聚合的植被占用值进行监督。这样的地面实况比逐像素或逐点注释更容易产生。我们的方法在精度方面优于手工制作和深度学习基线高达30%，同时提供可视化和可解释的预测。我们提供了一个开放源代码的实现，以及199个农业地块的数据集，以训练和评估弱监督占用回归算法。
2022-01-20 cs.CV
Predicting the Future with Transformational States
University of Pennsylvania（宾夕法尼亚大学）；Ryerson University（瑞尔森大学）
一个聪明的观察者观察世界，不仅看到什么，而且看到什么在移动，什么可以移动。换句话说，观察者看到了世界的现状在未来会如何变化。我们提出了一个模型，预测未来的图像，通过学习代表目前的状态和它的转换只给出了一个序列的图像。为此，我们引入了一个体系结构，该体系结构具有由两个组件组成的潜在状态，这两个组件分别用于捕获（i）当前图像状态和（ii）当前和未来状态之间的转换。我们将这种潜在状态与递归神经网络（RNN）核心耦合，该核心通过使用学习算子应用累积状态转换将过去状态转换为未来状态来预测未来帧。我们描述了如何将该模型集成到编码器-解码器卷积神经网络（CNN）架构中，该架构使用加权残差连接来整合过去的表示与未来的表示。从质量上讲，我们的方法生成的图像序列是稳定的，并在多个预测帧上捕捉逼真的运动，而不需要对抗性训练。从定量上看，我们的方法实现的预测结果与标准图像预测基准（Moving MNIST、KTH和UCF 101）的最新结果相当。
2018-03-26 cs.AI cs.CV cs.LG
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University（卡内基梅隆大学）
弱监督目标检测（WSOD）已经成为一种有效的工具，训练对象检测器使用的图像级类别标签。然而，如果没有对象级别的标签，WSOD检测器很容易检测到显着的对象，聚类对象和歧视性的对象部分的边界框。此外，图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题，我们提出了一个全面的注意力自我蒸馏（CASD）训练方法的WSOD。为了平衡所有对象实例之间的特征学习，CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督，CASD在WSOD网络上进行自蒸馏，使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
