Semi-Supervised Learning by Disentangling and Self-Ensembling Over Stochastic Latent Space
Rochester Institute of Technology（罗切斯特理工学院）
深度学习在医学成像中的成功主要是以大量标记数据集为代价的。半监督学习（SSL）通过利用未标记数据的结构来改进从一小组标记数据的学习，提供了一种有前途的解决方案。自集成是SSL中使用的一种简单方法，用于鼓励未知标签的集成预测之间的共识，通过使其对潜在空间更不敏感来提高模型的泛化能力。目前，这样的集合是通过随机化（诸如丢弃正则化和随机数据增强）来获得的。在这项工作中，我们假设-从泛化的角度来看-可以通过利用解开的潜在空间的随机性来提高自我集成。为此，我们提出了一个堆栈SSL模型，利用无监督的解纠缠表示学习作为随机嵌入的自集成。我们评估了所提出的模型，使用胸部X射线图像的多标签分类，证明其性能优于相关的SSL模型，以及其解纠缠表示的可解释性。
2019-07-22 cs.LG stat.ML
Weakly Supervised Representation Learning with Sparse Perturbations
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
表示学习的理论旨在建立一种方法，这种方法可以用最少的领域知识或任何监督源来证明数据生成过程的反转。大多数先前的方法需要强分布假设的潜在变量和弱监督（辅助信息，如时间戳），以提供可证明的识别保证。在这项工作中，我们表明，如果一个人有微弱的监督，从观察所产生的稀疏扰动的潜变量-例如图像在强化学习环境中的行动移动个人精灵-识别是可以实现的未知的连续潜在分布。我们表明，如果扰动只适用于互斥块的潜伏期，我们确定的潜伏期到这些块。我们还表明，如果这些扰动块重叠，我们确定潜在的跨扰动共享的最小块。因此，如果存在仅在一个潜在变量中相交的块，则这样的潜在变量被识别为置换和缩放。我们提出了一个自然的估计过程，基于这一理论，并说明它的低维合成和基于图像的实验。
2022-06-02 cs.LG stat.ML
CLA: Latent Alignment for Online Continual Self-Supervised Learning
University of Pisa（意大利比萨大学）；Computer Vision Center (CVC)（计算机视觉中心）
针对在线持续学习缺乏SSL技术的问题，提出CLA策略，通过将当前与过去表示对齐来缓解遗忘，加速收敛并在同等预算下超越SOTA，且作为早期预训练协议优于完全i.i.d.预训练。
2025-07-15 cs.CV cs.LG
LatentCLR: A Contrastive Learning Approach for Unsupervised Discovery of Interpretable Directions
EPFL（洛桑联邦理工学院）；Technical University of Munich（慕尼黑工业大学）；Boğaziçi University（博阿齐奇大学）
最近的研究表明，在预训练的生成对抗网络（GANs）的潜在空间中找到可解释的方向是可能的。这些方向实现了可控的图像生成，并支持广泛的语义编辑操作，如缩放或旋转。这种方向的发现通常以监督或半监督的方式进行，并且需要手动注释，这限制了它们在实践中的使用。相比之下，无监督发现允许发现难以先验检测的微妙方向。在这项工作中，我们提出了一种基于对比学习的方法，以自我监督的方式在预训练的GANs的潜在空间中发现语义方向。我们的方法发现语义上有意义的尺寸与国家的最先进的方法。
2021-10-06 cs.CV cs.LG
NodeJEPA: Structure-Conditioned Latent Prediction for Node-Level Graph Self-Supervised Learning
Northeastern University（东北大学）
本文提出NodeJEPA，一种节点级图自监督学习的联合嵌入预测架构，通过结构条件隐式预测避免依赖输入重构，经节点分类基准评估有效，为相关研究提供实用方案。
2026-08-06 cs.AI cs.LG
Self-supervised Latent Space Optimization with Nebula Variational Coding
本文提出星云变分编码（NVC），通过在潜空间引入星云锚点并结合变分约束与自监督度量学习，使潜变量形成语义明确的簇，从而提升分类、分割、补全和重建等多类任务的性能。
2025-06-02 cs.IT cs.LG math.IT
Bootstrap your own latent: A new approach to self-supervised Learning
DeepMind；Imperial College（帝国理工学院）
我们介绍Bootstrap Your Own Latent（BYOL），一种新的自监督图像表示学习方法。BYOL依赖于两个神经网络，称为在线网络和目标网络，它们相互作用并相互学习。从图像的增强视图，我们训练在线网络来预测同一图像在不同增强视图下的目标网络表示。同时，我们用在线网络的缓慢移动平均值更新目标网络。虽然最先进的方法依赖于负对，但BYOL在没有负对的情况下达到了新的技术水平。BYOL在ImageNet上使用ResNet-50架构的线性评估和更大ResNet的$79.6\%$达到了$74.3\%$ top-1分类精度。我们表明，BYOL在传输和半监督基准测试中的表现与当前最先进的技术相当或更好。我们的实现和预训练模型在GitHub上提供。
2020-09-10 cs.CV cs.LG stat.ML
Semi-supervised Grasp Detection by Representation Learning in a Vector Quantized Latent Space
Indian Institute of Information Technology, Allahabad（阿拉哈巴德印度信息技术学院）
机器人要完成复杂的操作任务，必须具有良好的抓取能力。然而，视觉为基础的机器人把握检测阻碍了足够的标记数据的不可用性。此外，半监督学习技术在抓取检测中的应用还有待进一步研究。本文提出了一种基于半监督学习的抓取检测方法，该方法采用矢量量化变分自编码器（VQ-VAE）对离散的潜在空间进行建模。据我们所知，这是第一次变分自编码器（VAE）已被应用于机器人抓取检测领域。VAE帮助模型在Cornell抓取数据集（CGD）之外进行推广，尽管通过利用未标记的数据，标记的数据量有限。这一声明已通过在图像上测试模型得到验证，而图像在CGD中不可用。与此同时，我们用VQ-VAE模型中使用的解码器结构增强了生成抓取卷积神经网络（GGCNN）架构，直觉上它应该有助于在矢量量化的潜在空间中回归。随后，该模型的性能显着优于现有的方法，不使用未标记的图像，以提高把握。
2020-01-30 cs.LG cs.RO stat.ML
Predictive Self-Supervised Learning Provably Identifies Stochastic Signals under Nuisance
Friedrich Miescher Institute for Biomedical Research（弗里德里希·米舍尔生物医学研究所）；University of Basel（巴塞尔大学）
本文证明预测性自监督学习通过预测互信息最大化和潜在分布匹配两个原则，能在干扰下识别随机信号，并在模拟中验证了其可识别性。
2026-09-30 cs.AI cs.LG
Operational Latent Spaces
Belmont University（贝尔蒙特大学）；Hyperstate AI（海珀州人工智能公司）
本文提出可运算潜在空间（OpLaS）概念，通过自监督学习构建不仅具有语义聚类、还能支持有意义变换的潜在空间，并引入FiLMR层实现旋转算子以支持音乐中的环状对称结构。
2024-06-04 cs.LG cs.SD eess.AS
Joint Embedding vs Reconstruction: Provable Benefits of Latent Space Prediction for Self Supervised Learning
Genentech（基因泰克）；Brown University（布朗大学）；Meta AI, FAIR（Meta AI，FAIR）
本文通过闭式解分析，证明在自监督学习中，当不相关特征幅度较大时，联合嵌入方法因对齐条件更弱而优于重建方法，并解释了其经验成功。
2025-10-14 cs.AI cs.CV cs.LG
Trajectory Dynamics in Self-Supervised Learning Latent Space for Audio Deepfake Detection
Barcelona Supercomputing Center (BSC)（巴塞罗那超级计算中心）
该研究利用自监督学习隐空间的轨迹动力学检测音频深度伪造，通过LSTM预测器与MLP结合的系统在多基准测试中达到最优性能，验证了生理约束可作为检测信号。
2026-08-17 cs.LG cs.SD eess.AS
SelfMatch: Combining Contrastive Self-Supervision and Consistency for Semi-Supervised Learning
Samsung SDS（三星数据系统）
本文介绍了SelfMatch，一种结合对比自监督学习和一致性正则化的半监督学习方法。SelfMatch包括两个阶段：（1）基于对比学习的自监督预训练和（2）基于增强一致性正则化的半监督微调。我们通过经验证明，SelfMatch在标准基准数据集（如CIFAR-10和SVHN）上实现了最先进的结果。例如，对于包含40个标记示例的CIFAR-10，SelfMatch实现了93.19%的准确率，优于MixMatch（52.46%），UDA（70.95%），ReMixMatch（80.9%）和FixMatch（86.19%）等强大的先前方法。我们注意到，SelfMatch可以缩小监督学习（95.87%）和半监督学习（93.19%）之间的差距，因为每个类只使用几个标签。
2021-01-16 cs.CV cs.LG
3D-DLP: Self-Supervised 3D Object-Centric Scene Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
提出3D-DLP模型，通过自监督学习将场景级RGB-D或体素观测分解为3D潜在粒子，每个粒子编码解耦属性，实现可解释的逐粒子分割图，并支持场景操控和下游机器人操作。
2026-06-19 cs.CV cs.LG cs.RO
S4L: Self-Supervised Semi-Supervised Learning
Google Research（谷歌研究院）
这项工作解决了图像分类器的半监督学习问题。我们的主要观点是，半监督学习领域可以受益于快速发展的自监督视觉表示学习领域。结合这两种方法，我们提出了自监督半监督学习的框架，并使用它来获得两个新的半监督图像分类方法。我们证明了这些方法的有效性相比，精心调整的基线，和现有的半监督学习方法。然后，我们证明了我们的方法和现有的半监督方法可以联合训练，在半监督ILSVRC-2012上产生了一个新的最先进的结果，标签数为10%。
2019-07-23 cs.CV cs.LG
Midway Network: Learning Representations for Recognition and Motion from Latent Dynamics
New York University（纽约大学）
中途网络是一种自监督架构，通过潜在动态建模从自然视频中同时学习识别与运动表示，在语义分割和光流任务上优于先前方法。
2025-10-07 cs.CV cs.LG
CompRess: Self-Supervised Learning by Compressing Representations
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
自监督学习的目的是学习未标记数据的良好表示。最近的研究表明，较大的模型比较小的模型从自监督学习中受益更多。因此，对于较大的模型，监督学习和自监督学习之间的差距已经大大缩小。在这项工作中，我们没有为自监督学习设计新的伪任务，而是开发了一种模型压缩方法，将已经学习的深度自监督模型（教师）压缩为较小的模型（学生）。我们对学生模型进行训练，使其模仿教师嵌入空间中数据点之间的相对相似性。对于AlexNet，我们的方法优于所有以前的方法，包括ImageNet线性评估（59.0%与56.5%相比）和最近邻评估（50.7%与41.4%相比）的完全监督模型。据我们所知，这是自监督AlexNet首次在ImageNet分类上优于监督AlexNet。我们的代码可以在这里找到：https://github.com/UMBCvision/CompRess
2020-10-28 cs.CV cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
最近，基于变换的自监督学习已被应用于生成对抗网络（GANs），以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而，在现有的自监督GANs中，单独的自监督任务会导致与生成建模不一致的目标，因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题，我们提出了一种新的自监督GAN，它通过自监督数据转换来增强GAN标签（真实或虚假），从而将GAN任务与自监督任务相结合。具体地说，原始的分类器和自监督分类器被统一成一个标签增强的分类器，该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布，然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲，我们表明，所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Leveraging Hidden Structure in Self-Supervised Learning
KU Leuven（鲁汶大学）
这项工作考虑了使用自监督学习从原始图像中学习结构化表示的问题。我们提出了一个原则性框架的基础上的互信息的目标，它集成了自监督和结构学习。此外，我们设计了一个事后的程序来解释的意义的学习表示。在CIFAR-10上的初步实验表明，与传统的自监督学习相比，该框架在下游分类任务中实现了更高的泛化性能，并提供了更多可解释的表示。
2021-06-30 cs.CV cs.LG
Self-Supervised Speaker Verification with Simple Siamese Network and Self-Supervised Regularization
The University of Texas at Dallas（德克萨斯大学达拉斯分校）；Amazon AWS AI（亚马逊云科技人工智能）
在没有说话者标签的情况下训练说话者区分和鲁棒的说话者验证系统仍然具有挑战性，值得探索。在这项研究中，我们提出了一个有效的自监督学习框架和一个新的正则化策略，以促进自监督说话人表征学习。与基于对比学习的自监督学习方法不同，所提出的自监督正则化（SSReg）只关注正数据对的潜在表示之间的相似性。我们还探讨了其他在线数据增强策略在时域和频域上的有效性。通过我们强大的在线数据增强策略，所提出的SSReg在不使用负对的情况下显示了自监督学习的潜力，并且可以显着提高具有简单Siamese网络架构的自监督说话人表示学习的性能。在VoxCeleb数据集上的综合实验表明，通过添加有效的自监督正则化，我们提出的自监督方法获得了23.4%的相对改进，并且优于其他以前的工作。
2022-02-01 cs.LG cs.SD eess.AS
A Brief Summary of Interactions Between Meta-Learning and Self-Supervised Learning
本文简要回顾了元学习和自监督学习之间的联系。元学习可用于提高模型泛化能力和构造通用的人工智能算法。自监督学习利用原始数据的自监督，通过无监督的预训练或对比损失目标的优化来提取更高级别的可概括特征。在自监督学习中，数据增强技术被广泛应用，并且不需要数据标签，因为可以从类似任务的训练模型中估计伪标签。元学习旨在调整训练的深度模型以解决各种任务并开发通用AI算法。我们回顾了元学习与生成和对比自监督学习模型的关联。来自多个源的未标记数据可以联合考虑，即使数据源非常不同。我们表明，整合元学习和自监督学习模型可以最好地提高模型的泛化能力。由元学习者引导的自监督学习和在自监督下的一般元学习算法都是可能的组合的示例。
2021-11-16 cs.AI cs.LG
Homomorphic Self-Supervised Learning
Apple（苹果公司）
在这项工作中，我们观察到，许多现有的自监督学习算法可以统一和推广时，通过等变表示的镜头。具体来说，我们介绍了一个一般的框架，我们称之为同态自监督学习，并从理论上展示了它如何可能substrate的使用输入增强提供了一个增强同态特征提取器。我们验证了这个理论的实验简单的增强，演示了框架失败时，代表性结构被删除，并进一步实证探索如何这个框架的参数与传统的基于增强的自监督学习。最后，我们讨论了这种新的视角对自监督学习的潜在好处。
2022-11-15 cs.AI cs.LG
Neural Modes: Self-supervised Learning of Nonlinear Modal Subspaces
ETH Zürich（苏黎世联邦理工学院）
提出一种自监督方法，通过在训练中直接最小化系统机械能来学习基于物理的子空间，解决了现有方法高能量、潜在空间纠缠及泛化差的问题，获得了反映物理平衡且具可解释性的子空间。
2024-04-26 cs.CV cs.GR cs.LG
Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style
Max Planck Institute for Intelligent Systems Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））；University of Cambridge（剑桥大学）；Tübingen AI Center, University of Tübingen（蒂宾根大学蒂宾根人工智能中心）；IMPRS for Intelligent Systems（智能系统国际马克斯·普朗克研究学院）；Amazon（亚马逊）
自监督表示学习在许多领域都取得了显着的成功。一种常见的做法是通过手工制作的转换来执行数据扩充，目的是保持数据的语义不变。我们试图从理论的角度来理解这种方法的经验成功。我们制定的增强过程作为一个潜在的变量模型，通过假设一个分区的潜在表示成一个内容组件，这是假设不变的增强，和一个样式组件，这是允许改变。不像以前的工作，解开和独立成分分析，我们允许在潜在空间的非平凡的统计和因果依赖关系。我们研究的可识别性的潜在表示的基础上对意见的意见，并证明了充分的条件，使我们能够确定不变的内容分区可逆的映射生成和歧视设置。我们发现数值模拟与相关的潜变量与我们的理论是一致的。最后，我们介绍了Cause3DIdent，这是一个具有丰富因果依赖关系的高维视觉复杂图像数据集，我们使用它来研究在实践中进行的数据增强的效果。
2022-01-14 cs.AI cs.CV cs.LG
A survey on Self Supervised learning approaches for improving Multimodal representation learning
Columbia University（哥伦比亚大学）
最近，自监督学习在各种机器学习任务中出现了爆炸性增长和使用，因为它能够避免注释大规模数据集的成本。本文综述了多模态学习的最佳自监督学习方法。所提出的方法已经聚集了广泛的研究文献，并以不同的方式解决了自监督学习的应用。讨论的方法是跨模态生成，跨模态预训练，循环翻译和以自监督方式生成单峰标签。
2022-10-20 cs.AI cs.CV cs.LG
Understanding Self-supervised Learning with Dual Deep Networks
Facebook AI Research（脸书人工智能研究院）；Stanford University（斯坦福大学）
我们提出了一个新的理论框架来理解对比自监督学习（SSL）方法，该方法采用双对深度ReLU网络（例如，Simplified）。首先，我们证明，在每个SGD更新Simplified与各种损失函数，包括简单的对比损失，软三重损失和InfoNCE损失，在每一层的权重更新的\emph{covariance operator}，专门放大初始随机选择性，不同的数据样本，但生存的平均值超过数据增强。为了进一步研究协方差算子扮演的角色以及在这样的过程中学习到的特征，我们通过\emph{hierarchical latent tree model}（HLTM）对数据生成和增强过程进行建模，并证明深度ReLU网络的隐藏神经元可以学习HLTM中的潜变量，尽管网络从这些未观察到的潜变量中接收\emph{no direct supervision}。这导致通过对比SSL放大最初的随机选择性来证明分层特征的出现。大量的数值研究证明了我们的理论发现。代码发布在https://github.com/facebookresearch/luckmatters/tree/master/ssl。
2021-02-15 cs.AI cs.LG stat.ML
On the surprising similarities between supervised and self-supervised models
University of Tübingen（图宾根大学）；IMPRS-IS（国际马克斯·普朗克研究所以及系统生物学研究所(IMPRS-IS) (注：IMPRS-IS通常指Max Planck Institute for Intelligent Systems, 即马克斯·普朗克智能系统研究所，但根据常见中文译法及上下文，此处保留缩写更准确)）
人类如何学习获得强大、灵活和健壮的对象表示？虽然这个过程的大部分仍然未知，但很明显，人类不需要数百万个对象标签。令人兴奋的是，自监督学习的最新算法进步现在使卷积神经网络（CNN）能够在没有监督标签的情况下学习有用的视觉对象表示。鉴于最近的这一突破，我们在这里将自监督网络与监督模型和人类行为进行比较。我们在15个概括数据集上测试了模型，这些数据集有大规模的人类行为数据（130 K高度受控的心理物理试验）。令人惊讶的是，目前的自监督CNN具有监督CNN的四个关键特征：（1）相对较差的噪声鲁棒性（Simplified的显著例外），（2.）非人类类别级错误模式，（3.）非人类图像级错误模式（与监督模型错误的高度相似性）和（4.）对质地的偏爱总的来说，这些结果表明，通过今天的监督和自我监督训练目标学习的策略最终惊人地相似，但与人类行为相去甚远。话虽如此，我们显然只是处于所谓的机器视觉自监督革命的开始，我们希望未来的自监督模型与监督模型的行为不同，并且-也许-更类似于强大的人类对象识别。
2020-10-16 cs.AI cs.CV cs.LG
Adversarial Contrastive Self-Supervised Learning
Kuaishou Technology（快手科技）
近年来，从大量未标记数据中学习，特别是自监督学习，逐渐兴起并受到广泛关注。自监督学习，然后对一些标记的示例进行监督微调，可以显着提高标记效率，并优于使用完全注释数据的标准监督训练。在这项工作中，我们提出了一种新的自我监督的深度学习范式的基础上在线硬负对挖掘。具体来说，我们设计了一个学生-教师网络来生成自监督学习数据的多视图，并将硬负对挖掘集成到训练中。然后，我们推导出一个新的三重样损失考虑积极的样本对和挖掘的硬负样本对。在ILSVRC-2012上的大量实验证明了该方法及其组件的有效性。
2022-02-26 cs.AI cs.CV cs.LG
Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（斯蒂文斯理工学院）
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上，该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合，使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中，符号向量耦合，生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域，如图像，文本和表格数据。实验结果表明，该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
Supervised Latent Restructuring for Small-Data Quantum Learning in Plant Phenomics
Nebraska Water Center, IANR University of Nebraska–Lincoln（内布拉斯加水中心，IA NR 内布拉斯加大学林肯分校）；Adaptive Cropping Systems Laboratory USDA-ARS（适应性种植系统实验室 USDA-ARS）；Nebraska Water Center, DWFI University of Nebraska–Lincoln（内布拉斯加水中心，DWFI 内布拉斯加大学林肯分校）
本文研究了在小数据条件下，通过监督潜在重构提升植物表型数据中高维特征压缩的几何分离性，提出混合工作流程结合PCA和LDA进行潜在空间重构，并利用GPU加速的量子核对齐方法，发现潜在几何结构在小数据量子学习中是关键设计变量。
2026-05-19 cs.LG
The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models
University of Cambridge（剑桥大学）；IST Austria（奥地利科学技术研究所）；Stanford University（斯坦福大学）
我们提出了一个概率模型，从观测数据中推断汉明空间中的监督潜变量。我们的模型允许同时推断的二进制潜变量的数量，以及它们的值。潜变量保持数据的邻域结构，在某种意义上，相同语义概念中的对象具有相似的潜值，而不同概念中的对象具有不同的潜值。我们制定了监督无限潜变量问题的基础上，一个直观的原则，拉在一起的对象，如果他们是相同的类型，并推动他们分开，如果他们不是。然后，我们结合这一原则与一个灵活的印度自助餐过程之前的潜在变量。我们表明，推断的监督潜变量可以直接用于执行最近邻搜索检索的目的。我们介绍了一个新的应用程序的动态扩展哈希码，并展示了如何有效地耦合结构的哈希码与不断增长的结构的邻域保持无限的潜在特征空间。
2013-09-26 cs.LG stat.ML
Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling
Carnegie Mellon University（卡内基梅隆大学）；UT Austin（德克萨斯大学奥斯汀分校）；Brown University（布朗大学）；Lambda；Technion（技术学院）
LPWM通过自监督学习实现现实世界多对象数据的随机动态建模，并在决策制定中展现卓越性能。
2026-03-04 cs.LG
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足，提出CASL-VAE模型，它能从不配对数据学习结构化潜在因子，经变分推理实现相关优化，在半合成神经影像数据验证中表现良好，可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation
Durham University（杜伦大学）
本文提出VSAR与DDL结合的半监督复述生成模型，并引入KRL两阶段训练方案解决冷启动问题，在标记数据稀缺时显著优于强监督基线。
2023-09-08 cs.CL cs.LG
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Self-supervised Enhancement of Latent Discovery in GANs
TCS Research（塔塔咨询服务研究部）；Flytxt Mobile Solutions（Flytxt 移动解决方案公司）；Indian Institute of Space Science and Technology（印度空间科学技术研究所）
已经提出了几种用于在预训练的GANs的潜在空间中发现可解释方向的方法。由无监督方法发现的潜在语义比监督方法相对较少，因为它们不使用预先训练的属性分类器。我们提出了规模排名估计（SRE），这是使用自我监督训练。SRE增强了现有的无监督解缠技术获得的方向上的解缠。这些方向被更新以保持潜在空间中每个方向内的变化的顺序。定性和定量评估发现的方向表明，我们提出的方法显着提高了各种数据集的解纠缠。我们还表明，学习SRE可以用来执行基于属性的图像检索任务，而无需进一步的训练。
2021-12-16 cs.CV cs.LG
Latent Graphs for Semi-Supervised Learning on Biomedical Tabular Data
Jožef Stefan Institute（约热夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）
针对半监督学习忽视实例间关系的问题，提出推断潜在图以捕捉数据内在关系，通过图传播整合全局与局部知识，在三个生物医学数据集上超越现有最先进方法。
2023-10-14 cs.AI cs.LG
Watermarking Images in Self-Supervised Latent Spaces
Meta AI；Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩高等信息科学与应用数学研究院）
我们根据自监督方法重新审视基于预训练深度网络的水印技术。我们提出了一种方法来嵌入标记和二进制消息到他们的潜在空间，利用数据增强标记时。我们的方法可以在任何分辨率下操作，并创建对各种变换（旋转，裁剪，JPEG，对比度等）鲁棒的水印。它显著优于以前的零比特方法，并且其在多比特水印上的性能与最先进的端到端训练的编码器-解码器架构相当。代码可在github.com/facebookresearch/ssl_watermarking上获得
2022-03-23 cs.CV cs.LG
Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
针对现有深度聚类算法精度偏低的问题，提出结合自监督预训练模型微调、k近邻距离压缩与聚类质心距离优化的图像聚类算法，在多数据集上取得SOTA结果，小类别数据集上精度接近监督方法。
2024-08-10 cs.CV cs.LG
Indian Buffet Process Deep Generative Models for Semi-Supervised Classification
Cyprus University of Technology（塞浦路斯理工大学）
深度生成模型（DGMs）在生成潜变量模型中带来了重大突破，并重新引起了人们的兴趣。然而，DGM不允许对表示观察到的数据所需的潜在特征的数量执行数据驱动的推断。传统的线性公式通过诉诸非参数统计领域的工具来解决这个问题。事实上，施加印度巴菲特过程（IBP）先验的线性潜变量模型已经被机器学习社区广泛研究;这些模型的推断可以通过精确采样或通过近似变分技术来执行。基于这种灵感，在本文中，我们研究是否可以利用现代DGMs的背景下，以解决潜在变量的维数推断问题的贝叶斯nonparametrics领域的类似想法。为此，我们提出了一种新的DGM配方，施加的IBP之前的基础上。我们设计了一个有效的黑盒变分推理算法，我们的模型，并显示其有效性在一些半监督分类实验。在所有情况下，我们使用流行的基准数据集，并与最先进的DGMs进行比较。
2018-03-31 cs.LG
Hub for Outliers, Spokes for Inliers: Uniform Latent Space Construction for Dual-Mismatched Semi-Supervised Learning
Southeast University（东南大学）；Shandong Fundamental Research Center for Computer Science（山东基础计算机科学研究中心）；Saint Francis University（圣方济各大学）
针对半监督学习中类别分布与标签空间双重不匹配问题，提出枢纽-辐条潜在几何结构，通过中心枢纽锚定未知类样本并均匀分布已知类，结合证据分类器提升特征判别性，实验最大提升3.25%。
2026-10-07 cs.LG
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK（华威大学工程学院，英国）；Warwick Center for Predictive Modelling, University of Warwick, UK（华威大学预测建模中心，英国）；Department of Statistics, University of Warwick, UK（华威大学统计系，英国）；Division of Translational Medicine, Warwick Medical School, UK（华威医学院转化医学部，英国）；Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK（考文垂和华威郡大学医院病理学部临床生物化学系，考文垂，英国）
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性，通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链，探索超参数的后验。我们演示了模拟和真实的例子，显示其捕获的超参数和改进的不确定性量化预测相比，变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Self-Supervised Annotation of Seismic Images using Latent Space Factorization
由于地震解释员需要多年的时间才能熟练地进行解释，因此对地震数据进行注释是昂贵的、费力的和主观的。在本文中，我们开发了一个框架，自动标注地震图像的像素，以描绘地质结构元素的图像级标签分配给每个图像。我们的框架通过将潜在空间投影到学习的子空间来分解深度编码器-解码器网络的潜在空间。使用像素空间中的约束，地震图像被进一步分解以揭示与感兴趣的地质元素相关联的像素上的置信度值。提供了注释图像的细节以供分析，并与类似的框架进行了定性比较。
2020-09-26 cs.LG eess.IV
Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes
Inferentia Limited（Inferentia有限公司）；University of Sheffield（谢菲尔德大学）
通常在机器学习中，数据被收集为多个条件的组合，例如，多个人的语音记录，每个人都有一个ID。我们如何建立一个模型，捕捉与这些条件相关的潜在信息，并推广到一个新的数据很少？我们提出了一个新的模型，称为潜在变量多输出高斯过程（LVMOGP），并允许联合建模多个条件的回归和推广到一个新的条件与测试时的几个数据点。LVMOGP推断高斯过程的后验以及表示关于不同条件的信息的潜在空间。我们推导出一种有效的变分推断方法LVMOGP，其计算复杂度与稀疏高斯过程一样低。我们表明，LVMOGP显着优于相关的高斯过程方法在各种任务的合成和真实数据。
2017-05-27 cs.LG stat.ML
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology（北京理工大学）
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理，以自监督的方式学习不同视图之间的共同信息，并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类（SIB-MSC）。继承了信息瓶颈的优点，SIB-MSC可以为每个视图学习潜在空间，通过从视图本身去除多余的信息，同时为其他视图的潜在表示保留足够的信息，来捕获不同视图的潜在表示之间的公共信息。实际上，每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外，SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息，通过引入互信息为基础的正则化条款，以便进一步提高多视图子空间聚类的性能。据我们所知，这是第一个工作，探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明，我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Self-Supervised Interpretable End-to-End Learning via Latent Functional Modularity
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出功能模块化网络MoNet，通过潜在引导对比损失实现无需任务级监督的自监督端到端学习，并结合在线事后可解释性方法，在真实室内导航任务中显著超越基线模型，提升了机器人学习的感知与行为可解释性。
2024-06-05 cs.LG cs.RO
Data Augmentation for Supervised Graph Outlier Detection via Latent Diffusion Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Notre Dame（圣母大学）
本文提出GODM，利用隐空间扩散模型为监督式图异常检测生成合成异常样本以缓解类别不平衡，实验验证其有效性和效率，并发布为即插即用软件包。
2024-11-23 cs.LG cs.SI
Structurally Separated Uncertainty in Supervised Latent Variable Models
CRIL UMR 8188, Univ Artois, CNRS, France（CRIL UMR 8188，阿维尼翁大学，法国国家科学研究中心）
本文提出了一种可信概念瓶颈模型，通过结构分离epistemic和aleatoric不确定性，显著降低两者相关性并提升预测误差与真实模糊度的一致性。
2026-07-30 cs.AI cs.LG
LoGAN: Latent Graph Co-Attention Network for Weakly-Supervised Video Moment Retrieval
Boston University（波士顿大学）；University of California, Berkeley（加州大学伯克利分校）
弱监督视频矩检索的目标是定位与给定自然语言查询最相关的视频片段，而无需在训练期间访问时间注释。之前的强监督和弱监督方法通常利用共同注意力机制来学习用于本地化的视觉语义表示。然而，虽然这样的方法倾向于集中于识别视频的元素和语言模态之间的关系，但在给定查询的语义上下文的情况下，对视频帧之间的关系上下文建模的强调较少。因此，建立在局部框架特征上的上述视觉语义表示不包含太多上下文信息。为了解决这一限制，我们提出了一个潜在的图形共同注意力网络（LoGAN），利用细粒度的逐词交互帧之间的对应关系的原因，给定的语义上下文的查询。在两个数据集DiDeMo和Charades-Sta上进行的综合实验证明了我们提出的潜在共同注意力模型的有效性，它比当前最先进的（SOTA）弱监督方法有很大的优势。值得注意的是，它甚至比DiDeMo上的强监督SOTA方法的Recall@1准确率提高了11%。
2020-03-28 cs.CV cs.LG eess.IV
SW-VAE: Weakly Supervised Learn Disentangled Representation Via Latent Factor Swapping
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
表示解纠缠是表示学习的一个重要目标，它有利于各种下游任务。为了实现这一目标，许多无监督学习表示解纠缠方法已经被开发出来。然而，不利用任何监督信号的训练过程已被证明是不足以用于解纠缠表示学习。因此，我们提出了一种新的弱监督训练方法，命名为SW-VAE，它通过使用数据集的生成因子将输入观测对作为监督信号。此外，我们还引入了在训练过程中逐步增加学习难度的策略，以使训练过程更加顺利。如在几个数据集上所示，我们的模型在表示解纠缠任务上比最先进的（SOTA）方法有了显着的改进。
2022-09-21 cs.AI cs.LG
Semi-Supervised Generative Learning via Latent Space Distribution Matching
School of Computing & Data Science, University of Hong Kong（香港大学计算与数据科学学院）
LSDM通过潜在空间分布匹配实现半监督生成学习，利用非配对数据提升生成质量。
2026-03-04 cs.LG stat.ML
SCADI: Self-supervised Causal Disentanglement in Latent Variable Models
Yonsei University（延世大学）
针对无监督解缠不可识别和弱监督成本高的问题，提出SCADI模型，结合掩码结构因果模型与伪标签生成器，实现无需监督的语义因素发现与因果关系学习。
2023-11-11 cs.AI cs.CV cs.LG
Semi-supervised Neural Chord Estimation Based on a Variational Autoencoder with Latent Chord Labels and Features
Kyoto University（京都大学）；IRCAM（法国声学/音乐协调研究所）
本文介绍了一种自动和弦估计（ACE），可以有效地利用音乐信号的和弦注释的可用性，无论原则上的半监督方法。ACE的典型方法是通过仅使用注释的音乐信号以监督的方式训练深度分类模型（神经和弦估计器）。在这种判别方法中，关于和弦标签序列（模型输出）的先验知识几乎没有被考虑在内。相比之下，我们提出了一个统一的生成和歧视性的方法在摊销变分推理的框架。更具体地说，我们制定了一个深度生成模型，该模型表示来自离散标签和连续特征（潜在变量）的色度向量（观察变量）的生成过程，这些特征被假设分别遵循有利于自转换的马尔可夫模型和标准高斯分布。以色度向量作为观测数据，分别利用深度分类模型和识别模型近似计算潜在标签和特征的后验分布。这三个模型形成变分自编码器，并且可以以半监督的方式联合训练。实验结果表明，基于和弦标签马尔可夫先验的正则化分类模型和色度向量生成模型，即使在有监督的情况下，也能提高ACE的性能。使用额外的未标注数据的半监督学习可以进一步提高性能。
2020-09-08 cs.LG cs.SD eess.AS
Modeling Complex Disease Trajectories using Deep Generative Models with Semi-Supervised Latent Processes
University of Zurich（苏黎世大学）；ETH AI Center（苏黎世联邦理工学院人工智能中心）；Oslo University Hospital（奥斯陆大学医院）；University of Oslo（奥斯陆大学）；University Hospital Zurich（苏黎世大学医院）；Bogomolets National Medical University（博戈莫列茨国立医科大学）
本研究提出带半监督潜过程的深度生成时间序列方法，结合医学知识解耦潜空间以提升可解释性，可用于疾病轨迹建模、患者匹配、亚型聚类及个性化监测预测，在系统性硬化症中验证了有效性。
2024-01-29 cs.LG stat.ML
