Semi-supervised Learning by Latent Space Energy-Based Model of Symbol-Vector Coupling
University of California, Los Angeles（加州大学洛杉矶分校）；Stevens Institute of Technology（斯蒂文斯理工学院）
提出了一种基于潜在空间能量的半监督学习先验模型。该模型建立在一个生成器网络上，该网络将一个潜在向量映射到观察到的示例。先验模型的能量项将潜在向量和符号独热向量耦合，使得分类可以基于从观察到的示例推断的潜在向量。在我们的学习方法中，符号向量耦合，生成器网络和推理网络联合学习。我们的方法适用于半监督学习在各种数据域，如图像，文本和表格数据。实验结果表明，该方法在半监督学习任务中表现良好。
2020-10-19 cs.LG
World-as-Graph: Relational World Modeling Through Latent Space Graphs
RMIT University（皇家墨尔本理工大学）；Monash University（莫纳什大学）；KStelrix（KStelrix公司）；The University of Melbourne（墨尔本大学）
提出世界即图（WAG），一种基于图的对象中心世界模型，通过关系感知结构归纳和对象中心记忆转换，在JEPA框架中引入关系归纳偏置，实现显式关系建模与自回归预测，在视觉推理和机器人操作任务中表现优越。
2026-10-01 cs.CV cs.LG
Object-centric architectures enable efficient causal representation learning
Mila – Quebec AI Institute（魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）；Samsung - SAIT AI Lab, Montreal（三星SAIT人工智能实验室（蒙特利尔））
本文针对多对象观测下单射假设失效导致解耦失败的问题，提出一种修改 Slot Attention 的以对象为中心架构，利用稀疏扰动弱监督高效解耦各对象属性，并通过图像实验验证其数据效率和有效性。
2023-10-29 cs.LG
Semi-Supervised Graph Representation Learning with Human-centric Explanation for Predicting Fatty Liver Disease
Ajou University（亚洲大学）；Seoul National University Hospital Healthcare System Gangnam Center（首尔大学医院保健体系江南中心）
针对脂肪肝预测中临床标记数据不足的问题，提出基于图神经网络的半监督图表示学习方法，构建受试者相似图挖掘风险模式，结合可解释GNN提供以人为中心的个性化解释，提升临床可用性。
2024-03-05 cs.AI cs.LG
A Hybrid Supervised and Self-Supervised Graph Neural Network for Edge-Centric Applications
Research institute for signals, systems and computational intelligence (sinc(i))（信号、系统与计算智能研究机构）
本文提出一种混合监督与自监督学习的图神经网络，结合节点与边特征的注意力机制，用于边中心任务，在蛋白质相互作用和基因本体预测中达到或超过现有方法，并解决了未知结构化合物相似性预测问题。
2025-07-04 cs.LG q-bio.MN
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations
University of Oxford（牛津大学）
生成式潜变量模型正在成为机器人和强化学习中很有前途的工具。然而，即使在这些领域的任务通常涉及不同的对象，最先进的生成模型没有明确捕捉视觉场景的组成性质。最近的两个例外，MONet和IODINE，以无监督的方式将场景分解为对象。然而，它们的基本生成过程并不考虑组件的相互作用。因此，它们都不允许对小说场景进行有原则的采样。在这里，我们提出了GENESIS，第一个以对象为中心的生成模型的3D视觉场景能够分解和生成场景捕捉场景组件之间的关系。GENESIS参数化的空间GMM的图像是从一组以对象为中心的潜在变量，要么推断顺序摊销的方式或从自回归先验采样解码。我们训练GENESIS几个公开可用的数据集，并评估其性能的场景生成，分解，和半监督学习。
2020-11-23 cs.CV cs.LG cs.NE
Oh-A-DINO: Understanding and Enhancing Attribute-Level Information in Self-Supervised Object-Centric Representations
Heinrich Heine University（海因里希·海涅大学）；Technical University of Dortmund（多特蒙德工业大学）
该研究发现自监督视觉模型及基于槽的物体表征难以保留颜色、材质等非几何表面属性，通过在分割块上学习经VAE正则化的辅助潜空间可恢复这些属性，提升多物体实例检索效果。
2025-10-01 cs.CV cs.LG
SOLD: Slot Object-Centric Latent Dynamics Models for Relational Manipulation Learning from Pixels
University of Bonn（波恩大学）
本文提出 SOLD 算法，通过无监督学习像素输入中的对象中心潜在动力学模型，提升基于模型的强化学习在关系推理与操作任务上的可解释性和性能，并优于 DreamerV3 和 TD-MPC2。
2025-02-07 cs.AI cs.LG cs.RO
DSAI: Unbiased and Interpretable Latent Feature Extraction for Data-Centric AI
KAIST AI（韩国科学技术院人工智能学院）；NAVER AI Platform（NAVER人工智能平台）
针对 LLM 依赖预训练知识、难以客观发现数据潜在特征的问题，提出 DSAI 多阶段无偏可解释特征提取框架，并在合成与真实数据集上验证其高召回率和实用价值。
2025-02-18 cs.AI cs.LG
Data-Centric Learning from Unlabeled Graphs with Diffusion Model
University of Notre Dame（圣母大学）；Snap Inc.（Snap公司）
本文提出用扩散模型从大规模未标注图中生成任务特定标注样本，以数据为中心增强图属性预测，在十五个任务上优于十五种现有方法。
2023-10-12 cs.LG
VESSA: Video-based objEct-centric Self-Supervised Adaptation for Visual Foundation Models
Departamento de Ciência da Computação, Universidade Federal de Minas Gerais (UFMG)（巴西联邦大学矿务学院计算机科学系（UFMG））；Recod.ai, Instituto de Computação, Universidade Estadual de Campinas (UNICAMP)（Recod.ai，计算机学院，坎皮纳斯州立大学（UNICAMP））；Google DeepMind（谷歌DeepMind）
VESSA提出一种基于视频的以对象为中心的自监督适应方法，利用短时多视角视频和自蒸馏，无需标注即可适应新领域，在分类任务上优于基础模型和先前方法。
2025-10-23 cs.AI cs.CV cs.LG
Self-Supervised Representation Learning via Latent Graph Prediction
Texas A&M University（德克萨斯农工大学）
图神经网络的自监督学习（SSL）正在成为利用未标记数据的一种有前途的方法。目前，大多数方法都是基于从图像域适应的对比学习，这需要视图生成和足够数量的负样本。相比之下，现有的预测模型不需要负采样，但缺乏理论指导的借口训练任务的设计。在这项工作中，我们提出了LaGraph，一个理论上接地预测SSL框架的基础上潜图预测。LaGraph的学习目标是作为预测未观察到的潜在图的目标的自监督上界。除了改进性能外，LaGraph还解释了包括基于不变性目标的预测模型最近的成功。我们提供了理论分析比较LaGraph在不同领域的相关方法。我们的实验结果表明，LaGraph在性能上的优越性和鲁棒性的减少训练样本大小的图级和节点级的任务。
2022-07-09 cs.LG
RiskWorld: Object-Centric Latent World Modeling for Autonomous Driving Risk Identification
提出 RiskWorld 模型，以对象为中心的潜在世界建模，结合预训练视频表示与自车-对象历史，在 RiskBench 上实现 63.0% F1 和 2.1% 误报率，可有效识别自动驾驶风险。
2026-08-25 cs.LG cs.RO
3D-DLP: Self-Supervised 3D Object-Centric Scene Representation Learning
Carnegie Mellon University（卡内基梅隆大学）
提出3D-DLP模型，通过自监督学习将场景级RGB-D或体素观测分解为3D潜在粒子，每个粒子编码解耦属性，实现可解释的逐粒子分割图，并支持场景操控和下游机器人操作。
2026-06-19 cs.CV cs.LG cs.RO
PirouNet: Creating Dance through Artist-Centric Deep Learning
University of California Santa Barbara（加州大学圣巴巴拉分校）；Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
使用人工智能（AI）创建有意图的舞蹈编排仍处于早期阶段。有条件地生成舞蹈序列的方法在遵循编舞者特定的创作方向的能力方面仍然有限，通常依赖于外部提示或监督学习。同样，完全注释的舞蹈数据集是罕见的和劳动密集型的。为了填补这一空白，并帮助利用深度学习作为一个有意义的工具，编舞，我们提出了“PirouNet”，一个半监督的条件递归变分自编码器连同舞蹈标签的Web应用程序。PirouNet允许舞蹈专业人士用他们自己的主观创意标签来注释数据，然后根据他们的审美标准生成新的编舞。由于提出了半监督方法，PirouNet只需要标记数据集的一小部分，通常大约为1%。我们展示了PirouNet的能力，因为它产生了原始的编舞的基础上“拉班时间的努力”，一个既定的舞蹈概念，描述意图的运动的时间动态。我们通过一系列定性和定量指标对PirouNet的舞蹈创作进行了广泛的评估，验证了其作为编舞者工具的适用性。
2022-10-14 cs.LG
Object-Centric Slot Diffusion
Rutgers University（罗格斯大学）；KAIST（韩国科学技术院）
针对扩散模型与以物体为中心的学习融合不足的问题，提出Latent Slot Diffusion模型，用潜在扩散模型替代传统槽位解码器，实现无监督组合生成，性能优于现有Transformer解码器，还可结合预训练模型用于真实场景图像任务。
2023-11-03 cs.CV cs.LG
Supervised Latent Restructuring for Small-Data Quantum Learning in Plant Phenomics
Nebraska Water Center, IANR University of Nebraska–Lincoln（内布拉斯加水中心，IA NR 内布拉斯加大学林肯分校）；Adaptive Cropping Systems Laboratory USDA-ARS（适应性种植系统实验室 USDA-ARS）；Nebraska Water Center, DWFI University of Nebraska–Lincoln（内布拉斯加水中心，DWFI 内布拉斯加大学林肯分校）
本文研究了在小数据条件下，通过监督潜在重构提升植物表型数据中高维特征压缩的几何分离性，提出混合工作流程结合PCA和LDA进行潜在空间重构，并利用GPU加速的量子核对齐方法，发现潜在几何结构在小数据量子学习中是关键设计变量。
2026-05-19 cs.LG
Structured Latent Modeling for Supervised Multimodal Information Decomposition
University of Iowa（爱荷华大学）
提出一种结构化潜在建模框架，通过中间层对比/掩蔽目标、逐源归一化流和低秩潜在变量模型，分解多模态信息为共享、模态特定和无关部分，提升预测性能。
2026-09-29 cs.LG
Vision-Language Models Unlock Task-Centric Latent Actions
Innopolis University（因诺波利斯大学）；Research Center for Trusted Artificial Intelligence, ISP RAS（可信人工智能研究所以及ISP俄罗斯科学院）
本文提出利用视觉-语言模型的常识推理能力，通过可提示的表示分离可控变化与噪声，提升潜在动作质量，从而提高下游任务性能。
2026-01-30 cs.AI cs.CV cs.LG
The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models
University of Cambridge（剑桥大学）；IST Austria（奥地利科学技术研究所）；Stanford University（斯坦福大学）
我们提出了一个概率模型，从观测数据中推断汉明空间中的监督潜变量。我们的模型允许同时推断的二进制潜变量的数量，以及它们的值。潜变量保持数据的邻域结构，在某种意义上，相同语义概念中的对象具有相似的潜值，而不同概念中的对象具有不同的潜值。我们制定了监督无限潜变量问题的基础上，一个直观的原则，拉在一起的对象，如果他们是相同的类型，并推动他们分开，如果他们不是。然后，我们结合这一原则与一个灵活的印度自助餐过程之前的潜在变量。我们表明，推断的监督潜变量可以直接用于执行最近邻搜索检索的目的。我们介绍了一个新的应用程序的动态扩展哈希码，并展示了如何有效地耦合结构的哈希码与不断增长的结构的邻域保持无限的潜在特征空间。
2013-09-26 cs.LG stat.ML
Africa-Centric Self-Supervised Pre-Training for Multilingual Speech Representation in a Sub-Saharan Context
Orange Innovation France（法国奥兰治创新中心）
首个完全基于非洲语音训练的自监督多语言模型，使用60000小时21种语言数据，基于HuBERT架构在ASR任务上媲美大模型，LID任务准确率超基线22%以上。
2024-04-22 cs.CL cs.LG cs.SD
UniVLA: Learning to Act Anywhere with Task-centric Latent Actions
提出 UniVLA 框架，通过潜在动作模型从互联网视频中提取以任务为中心的动作表示，学习跨具身形态的 VLA 策略，以极低的预训练计算量和下游数据实现最优性能，促进可扩展的机器人学习。
2025-11-03 cs.AI cs.LG cs.RO
CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation
针对缺乏配对数据及目标变异异质时现有方法的不足，提出CASL-VAE模型，它能从不配对数据学习结构化潜在因子，经变分推理实现相关优化，在半合成神经影像数据验证中表现良好，可用于半监督聚类、配对样本生成及揭示疾病异质性。
2026-07-10 cs.LG
HCLSM: Hierarchical Causal Latent State Machines for Object-Centric World Modeling
RightNow AI
HCLSM通过分层时序动态和因果结构学习，改进了基于视频预测未来状态的世界模型，实现了更精确的对象中心化表示和事件边界学习。
2026-03-31 cs.CV cs.LG cs.RO
Time-Conditioned Generative Modeling of Object-Centric Representations for Video Decomposition and Prediction
School of Computer Science, Fudan University（复旦大学计算机科学学院）
本文提出时间条件生成模型，通过Transformer与Slot Attention序列扩展增强物体和视角表示解耦，并利用高斯过程先验实现无视角标注的视频分解、遮挡物体完整形状重建和新视角预测。
2023-10-26 cs.CV cs.LG
Weakly Supervised Concept Learning for Object-centric Visual Reasoning
University of Lübeck（吕贝克大学）；University of Bamberg（巴马克大学）；University of Ulm（乌尔姆大学）
本文提出一种高效的弱监督方案，结合槽式架构和VAE实现对象中心推理任务中的符号 grounding，减少监督至1%并提升域泛化能力。
2026-05-05 cs.AI cs.CV cs.LG
Language as a Latent Sequence: deep latent variable models for semi-supervised paraphrase generation
Durham University（杜伦大学）
本文提出VSAR与DDL结合的半监督复述生成模型，并引入KRL两阶段训练方案解决冷启动问题，在标记数据稀缺时显著优于强监督基线。
2023-09-08 cs.CL cs.LG
Causal Object-Centric Models for Planning with Monte Carlo Tree Search
MIRAI；CogAILab
提出COMET算法，结合无监督对象中心编码器和Transformer世界模型，通过动作-槽融合机制和对象因果注意力实现高效规划，在多个基准上优于基线方法。
2026-06-15 cs.AI cs.LG cs.RO
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University（卡内基梅隆大学）
语义解析是将自然语言（NL）话语转换为形式意义表示（MR）的任务，其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的，因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE，变分自动编码模型的半监督语义解析，学习既从有限数量的并行数据，并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明，使用额外的未标记数据，StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Finding Distributed Object-Centric Properties in Self-Supervised Transformers
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Queensland（昆士兰大学）；UC Merced（加州大学默塞德分校）
本文分析了自监督视觉变压器中对象中心属性的分布式编码机制，提出Object-DINO方法通过聚类注意力头提升无监督对象发现和多模态大语言模型的视觉 grounding。
2026-03-27 cs.AI cs.CL cs.CV
Self-supervised Enhancement of Latent Discovery in GANs
TCS Research（塔塔咨询服务研究部）；Flytxt Mobile Solutions（Flytxt 移动解决方案公司）；Indian Institute of Space Science and Technology（印度空间科学技术研究所）
已经提出了几种用于在预训练的GANs的潜在空间中发现可解释方向的方法。由无监督方法发现的潜在语义比监督方法相对较少，因为它们不使用预先训练的属性分类器。我们提出了规模排名估计（SRE），这是使用自我监督训练。SRE增强了现有的无监督解缠技术获得的方向上的解缠。这些方向被更新以保持潜在空间中每个方向内的变化的顺序。定性和定量评估发现的方向表明，我们提出的方法显着提高了各种数据集的解纠缠。我们还表明，学习SRE可以用来执行基于属性的图像检索任务，而无需进一步的训练。
2021-12-16 cs.CV cs.LG
Latent Graphs for Semi-Supervised Learning on Biomedical Tabular Data
Jožef Stefan Institute（约热夫·斯特凡研究所）；Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）
针对半监督学习忽视实例间关系的问题，提出推断潜在图以捕捉数据内在关系，通过图传播整合全局与局部知识，在三个生物医学数据集上超越现有最先进方法。
2023-10-14 cs.AI cs.LG
Watermarking Images in Self-Supervised Latent Spaces
Meta AI；Inria（法国国家信息与自动化研究所）；Univ. Rennes（雷恩大学）；CNRS（法国国家科学研究中心）；IRISA（雷恩高等信息科学与应用数学研究院）
我们根据自监督方法重新审视基于预训练深度网络的水印技术。我们提出了一种方法来嵌入标记和二进制消息到他们的潜在空间，利用数据增强标记时。我们的方法可以在任何分辨率下操作，并创建对各种变换（旋转，裁剪，JPEG，对比度等）鲁棒的水印。它显著优于以前的零比特方法，并且其在多比特水印上的性能与最先进的端到端训练的编码器-解码器架构相当。代码可在github.com/facebookresearch/ssl_watermarking上获得
2022-03-23 cs.CV cs.LG
Image Clustering Algorithm Based on Self-Supervised Pretrained Models and Latent Feature Distribution Optimization
School of Communication and Information Engineering, Shanghai University（上海大学通信与信息工程学院）
针对现有深度聚类算法精度偏低的问题，提出结合自监督预训练模型微调、k近邻距离压缩与聚类质心距离优化的图像聚类算法，在多数据集上取得SOTA结果，小类别数据集上精度接近监督方法。
2024-08-10 cs.CV cs.LG
CrIBo: Self-Supervised Learning via Cross-Image Object-Level Bootstrapping
KU Leuven（鲁汶大学）；EPFL（洛桑联邦理工学院）；CHUV（洛桑大学医院）
本文提出CrIBo，一种跨图像对象级自举的自监督方法，通过训练中的对象级最近邻自举增强密集表示学习，并在上下文学习及下游分割任务中取得优异性能。
2024-03-03 cs.CV cs.LG
Pseudo-marginal Bayesian inference for supervised Gaussian process latent variable models
School of Engineering, University of Warwick, UK（华威大学工程学院，英国）；Warwick Center for Predictive Modelling, University of Warwick, UK（华威大学预测建模中心，英国）；Department of Statistics, University of Warwick, UK（华威大学统计系，英国）；Division of Translational Medicine, Warwick Medical School, UK（华威医学院转化医学部，英国）；Dept of Clinical Biochemistry, Division of Pathology, University Hospital Coventry and Warwickshire, Coventry, UK（考文垂和华威郡大学医院病理学部临床生物化学系，考文垂，英国）
我们引入了一个贝叶斯框架的推理与监督版本的高斯过程潜变量模型。该框架克服了隐变量和超参数之间的高度相关性，通过使用无偏伪估计的边缘似然近似集成的潜变量。这是用来构建一个马尔可夫链，探索超参数的后验。我们演示了模拟和真实的例子，显示其捕获的超参数和改进的不确定性量化预测相比，变分推断的不确定性和多模态的能力的过程。
2018-03-28 cs.LG stat.ML
Self-Supervised Annotation of Seismic Images using Latent Space Factorization
由于地震解释员需要多年的时间才能熟练地进行解释，因此对地震数据进行注释是昂贵的、费力的和主观的。在本文中，我们开发了一个框架，自动标注地震图像的像素，以描绘地质结构元素的图像级标签分配给每个图像。我们的框架通过将潜在空间投影到学习的子空间来分解深度编码器-解码器网络的潜在空间。使用像素空间中的约束，地震图像被进一步分解以揭示与感兴趣的地质元素相关联的像素上的置信度值。提供了注释图像的细节以供分析，并与类似的框架进行了定性比较。
2020-09-26 cs.LG eess.IV
Test-time Adaptation with Slot-Centric Models
Carnegie Mellon University（卡内基梅隆大学）；Mila（米拉研究所）；DeepMind（深度思维）；Google Research（谷歌研究院）
针对视觉检测器在分布外场景分解能力不足的问题，提出半监督的以槽为中心的模型Slot-TTA，通过在测试时对重建或跨视图合成目标进行梯度下降适应，显著提升了图像和3D点云的分布外泛化性能。
2023-06-27 cs.AI cs.CV cs.LG
Understanding Self-Supervised Learning via Latent Distribution Matching
Friedrich Miescher Institute for Biomedical Research, 4056 Basel, Switzerland（弗里德里希·迈斯彻生物医学研究所）；Faculty of Science, University of Basel, 4033 Basel, Switzerland（巴塞尔大学科学学院）
本文将自监督学习形式化为潜在分布匹配（LDM），通过对齐和均匀性最大化潜在表示的对数概率和熵，统一了多种SSL方法，并推导出用于高维时间序列的非线性无采样贝叶斯滤波模型。
2026-07-22 cs.LG stat.ML
Latent Multi-view Semi-Supervised Classification
Glasgow College, University of Electronic Science and Technology of China（电子科技大学格拉斯哥学院）；School of Computer Science and Engineering, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院）；School of Foreign Languages, University of Electronic Science and Technology of China（电子科技大学外国语学院）
为了从多个视图中挖掘潜在的互补信息，本文提出了一种新的潜在多视图半监督分类（LMSSC）方法。与大多数现有的使用原始特征学习图的多视图半监督分类方法不同，我们的方法寻求一个潜在的潜在表示，并根据学习到的潜在表示进行图学习和标签传播。由于多视图的互补性，潜在表示比单个视图更能全面地描述数据，从而使图更准确、更鲁棒。最后，LMSSC将潜在表示学习、图构造和标签传播集成到一个统一的框架中，使每个子任务都得到优化。在真实基准数据集上的实验结果验证了该方法的有效性。
2019-09-09 cs.AI cs.CV cs.LG
Mask-supervised Object-centric Representation Learning with LeJEPA
Biomedical Image Computing Group, ETH Zurich（苏黎世联邦理工学院生物医学图像计算组）
提出以对象为中心的LeJEPA方法，通过使用SAM提供的对象掩码，在对象级别对齐表示，避免场景级自监督方法的数据低效和不稳定性，在跟踪、分类、分割和重识别任务上优于图像级LeJEPA。
2026-10-06 cs.CV cs.LG
Efficient Modeling of Latent Information in Supervised Learning using Gaussian Processes
Inferentia Limited（Inferentia有限公司）；University of Sheffield（谢菲尔德大学）
通常在机器学习中，数据被收集为多个条件的组合，例如，多个人的语音记录，每个人都有一个ID。我们如何建立一个模型，捕捉与这些条件相关的潜在信息，并推广到一个新的数据很少？我们提出了一个新的模型，称为潜在变量多输出高斯过程（LVMOGP），并允许联合建模多个条件的回归和推广到一个新的条件与测试时的几个数据点。LVMOGP推断高斯过程的后验以及表示关于不同条件的信息的潜在空间。我们推导出一种有效的变分推断方法LVMOGP，其计算复杂度与稀疏高斯过程一样低。我们表明，LVMOGP显着优于相关的高斯过程方法在各种任务的合成和真实数据。
2017-05-27 cs.LG stat.ML
Self-Supervised Information Bottleneck for Deep Multi-View Subspace Clustering
Beijing Institute of Technology（北京理工大学）
本文从信息论的角度探讨了深度多视点子空间聚类框架问题。我们扩展了传统的信息瓶颈原理，以自监督的方式学习不同视图之间的共同信息，并相应地建立了一个新的框架称为自监督信息瓶颈的多视图子空间聚类（SIB-MSC）。继承了信息瓶颈的优点，SIB-MSC可以为每个视图学习潜在空间，通过从视图本身去除多余的信息，同时为其他视图的潜在表示保留足够的信息，来捕获不同视图的潜在表示之间的公共信息。实际上，每个视图的潜在表示为训练其他视图的潜在表示提供了一种自监督信号。此外，SIB-MSC尝试学习其他潜在空间为每个视图捕捉视图特定的信息，通过引入互信息为基础的正则化条款，以便进一步提高多视图子空间聚类的性能。据我们所知，这是第一个工作，探讨多视图子空间聚类的信息瓶颈。对真实世界多视图数据的大量实验表明，我们的方法比相关的国家的最先进的方法取得了优越的性能。
2022-04-29 cs.AI cs.LG
Self-Supervised Interpretable End-to-End Learning via Latent Functional Modularity
Korea Advanced Institute of Science and Technology（韩国科学技术院）
提出功能模块化网络MoNet，通过潜在引导对比损失实现无需任务级监督的自监督端到端学习，并结合在线事后可解释性方法，在真实室内导航任务中显著超越基线模型，提升了机器人学习的感知与行为可解释性。
2024-06-05 cs.LG cs.RO
Beyond Spatial Compression: Interface-Centric Generative States for Open-World 3D Structure
DSC ScaDS.AI, Leipzig University（DSC ScaDS.AI，莱比锡大学）；Institute for Cancer Genetics and Informatics (ICGI), Oslo, Norway（癌症遗传学与信息学研究所（ICGI），奥斯陆，挪威）；ICT Cluster, Singapore Institute of Technology, Singapore（信息科技集群，新加坡理工学院，新加坡）
本文提出接口中心生成状态，通过构建操作状态而非压缩代码，解决开放世界3D结构中组件所有权和连接有效性问题，提升结构鲁棒性。
2026-05-11 cs.CV cs.LG
Data Augmentation for Supervised Graph Outlier Detection via Latent Diffusion Models
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；University of Notre Dame（圣母大学）
本文提出GODM，利用隐空间扩散模型为监督式图异常检测生成合成异常样本以缓解类别不平衡，实验验证其有效性和效率，并发布为即插即用软件包。
2024-11-23 cs.LG cs.SI
Evaluating Fairness in Self-supervised and Supervised Models for Sequential Data
Nokia Bell Labs（诺基亚贝尔实验室）；Aristotle University of Thessaloniki（塞萨洛尼基亚里士多德大学）
本研究探讨预训练与微调策略对序列数据模型公平性的影响，发现自监督学习在性能损失仅1%的情况下可将公平性提升高达27%，凸显其在医疗等高风险数据稀缺领域的应用潜力。
2024-01-03 cs.CY cs.LG
Canonical Capsules: Self-Supervised Capsules in Canonical Pose
University of British Columbia（不列颠哥伦比亚大学）；University of Victoria（维多利亚大学）；University of Toronto（多伦多大学）；Google Research（谷歌研究院）
我们提出了一个自监督胶囊架构的三维点云。我们通过置换等变注意力计算对象的胶囊分解，并通过随机旋转对象对的训练来自我监督过程。我们的主要思想是将注意力掩码聚合成语义关键点，并使用这些来监督满足胶囊不变性/等变性属性的分解。这不仅可以训练语义一致的分解，还可以让我们学习规范化操作，从而实现以对象为中心的推理。为了训练我们的神经网络，我们既不需要分类标签，也不需要手动对齐的训练数据集。然而，通过以自我监督的方式学习以对象为中心的表示，我们的方法在3D点云重建，规范化和无监督分类方面优于最先进的方法。
2021-11-24 cs.CV cs.LG
Semi-Supervised Learning by Disentangling and Self-Ensembling Over Stochastic Latent Space
Rochester Institute of Technology（罗切斯特理工学院）
深度学习在医学成像中的成功主要是以大量标记数据集为代价的。半监督学习（SSL）通过利用未标记数据的结构来改进从一小组标记数据的学习，提供了一种有前途的解决方案。自集成是SSL中使用的一种简单方法，用于鼓励未知标签的集成预测之间的共识，通过使其对潜在空间更不敏感来提高模型的泛化能力。目前，这样的集合是通过随机化（诸如丢弃正则化和随机数据增强）来获得的。在这项工作中，我们假设-从泛化的角度来看-可以通过利用解开的潜在空间的随机性来提高自我集成。为此，我们提出了一个堆栈SSL模型，利用无监督的解纠缠表示学习作为随机嵌入的自集成。我们评估了所提出的模型，使用胸部X射线图像的多标签分类，证明其性能优于相关的SSL模型，以及其解纠缠表示的可解释性。
2019-07-22 cs.LG stat.ML
Weakly Supervised Representation Learning with Sparse Perturbations
Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）；Université de Montréal（蒙特利尔大学）
表示学习的理论旨在建立一种方法，这种方法可以用最少的领域知识或任何监督源来证明数据生成过程的反转。大多数先前的方法需要强分布假设的潜在变量和弱监督（辅助信息，如时间戳），以提供可证明的识别保证。在这项工作中，我们表明，如果一个人有微弱的监督，从观察所产生的稀疏扰动的潜变量-例如图像在强化学习环境中的行动移动个人精灵-识别是可以实现的未知的连续潜在分布。我们表明，如果扰动只适用于互斥块的潜伏期，我们确定的潜伏期到这些块。我们还表明，如果这些扰动块重叠，我们确定潜在的跨扰动共享的最小块。因此，如果存在仅在一个潜在变量中相交的块，则这样的潜在变量被识别为置换和缩放。我们提出了一个自然的估计过程，基于这一理论，并说明它的低维合成和基于图像的实验。
2022-06-02 cs.LG stat.ML
Learning Explicit Object-Centric Representations with Vision Transformers
Aalto University（阿尔托大学）
随着最近成功的Transformers的视觉域的适应，特别是当训练在一个自我监督的方式，它已被证明，视觉Transformer可以学习令人印象深刻的对象推理的行为和功能表示的任务，在图像中的对象分割。在本文中，我们建立在掩蔽自动编码的自我监督任务的基础上，并探索其有效性，以明确学习以对象为中心的表示与Transformers。为此，我们设计了一个以对象为中心的自编码器，只使用Transformers和训练它端到端重建完整的图像从未掩蔽的补丁。我们表明，该模型有效地学习分解简单的场景测量的分割指标在几个多对象的基准。
2022-10-25 cs.CV cs.LG
Structurally Separated Uncertainty in Supervised Latent Variable Models
CRIL UMR 8188, Univ Artois, CNRS, France（CRIL UMR 8188，阿维尼翁大学，法国国家科学研究中心）
本文提出了一种可信概念瓶颈模型，通过结构分离epistemic和aleatoric不确定性，显著降低两者相关性并提升预测误差与真实模糊度的一致性。
2026-07-30 cs.AI cs.LG
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley（加州大学伯克利分校）；Panasonic（松下）
在这项工作中，我们提出了基于补丁的以对象为中心的视频Transformer（POVT），一种新的基于区域的视频生成架构，利用以对象为中心的信息，有效地模拟视频中的时间动态。我们建立在以前的工作，通过自回归Transformer在压缩视频的离散潜在空间的视频预测，与添加修改模型对象为中心的信息，通过边界框。由于以对象为中心的表示具有更好的可压缩性，我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时，我们的方法与其他视频生成模型相比具有更好或相同的性能，同时保持计算上更高效和可扩展性。此外，我们表明，我们的方法是能够执行以对象为中心的可控性，通过限界框操纵，这可能有助于下游任务，如视频编辑，或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
SW-VAE: Weakly Supervised Learn Disentangled Representation Via Latent Factor Swapping
USC Ming Hsieh Department of Electrical and Computer Engineering（南加州大学明谢电气与计算机工程系）；USC Information Sciences Institute（南加州大学信息科学研究所）；Visual Intelligence and Multimedia Analytics Laboratory（视觉智能与多媒体分析实验室）
表示解纠缠是表示学习的一个重要目标，它有利于各种下游任务。为了实现这一目标，许多无监督学习表示解纠缠方法已经被开发出来。然而，不利用任何监督信号的训练过程已被证明是不足以用于解纠缠表示学习。因此，我们提出了一种新的弱监督训练方法，命名为SW-VAE，它通过使用数据集的生成因子将输入观测对作为监督信号。此外，我们还引入了在训练过程中逐步增加学习难度的策略，以使训练过程更加顺利。如在几个数据集上所示，我们的模型在表示解纠缠任务上比最先进的（SOTA）方法有了显着的改进。
2022-09-21 cs.AI cs.LG
