Generative Representation Learning for Scalable Latent Tokenization
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）；University of Michigan（密歇根大学）
该研究提出用于生成式建模分词器的自监督表示学习方法，可避免维度崩溃等问题，计算效率优于DINOv2、WebSSL等，在ImageNet等数据集上实现更优性能。
2026-10-14 cs.CV cs.LG
Learning Representations and Generative Models for 3D Point Clouds
Stanford University（斯坦福大学）；MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）
三维几何数据为研究表示学习和生成式建模提供了一个很好的领域。在本文中，我们看看几何数据表示为点云。我们引入了一个深度AutoEncoder（AE）网络，具有最先进的重建质量和泛化能力。学习的表示在3D识别任务上优于现有方法，并通过简单的代数操作实现形状编辑，例如语义部分编辑，形状类比和形状插值以及形状完成。我们对不同的生成模型进行了深入的研究，包括在原始点云上运行的GANs，在我们的AE的固定潜在空间中训练的显着改进的GANs，以及高斯混合模型（GAN）。为了定量评估生成模型，我们引入了基于点云集之间匹配的样本保真度和多样性的措施。有趣的是，我们对泛化、保真度和多样性的评估表明，在AE的潜在空间中训练的Gestival总体上产生了最好的结果。
2018-06-12 cs.CV cs.LG
Can Generative Models Improve Self-Supervised Representation Learning?
Vector Institute（矢量研究院）
本文提出利用生成模型生成语义一致的图像增强，以丰富自监督学习数据，实验显示下游任务Top-1准确率最高提升10%。
2024-12-17 cs.CV cs.LG
Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks
indico Research（indico研究公司）；Facebook AI Research（脸书人工智能研究院）
近年来，使用卷积网络（CNN）的监督学习在计算机视觉应用中得到了广泛采用。相比之下，使用CNN的无监督学习受到的关注较少。在这项工作中，我们希望帮助弥合CNN在监督学习和无监督学习中的成功之间的差距。我们介绍了一类称为深度卷积生成对抗网络（DCGAN）的CNN，它们具有一定的架构约束，并证明它们是无监督学习的强有力候选者。在各种图像数据集上进行训练，我们展示了令人信服的证据，证明我们的深度卷积对抗对在生成器和生成器中学习了从对象部分到场景的表示层次。此外，我们将学习到的功能用于新的任务-证明它们作为一般图像表示的适用性。
2016-01-07 cs.CV cs.LG
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Learning Disentangled Representation by Exploiting Pretrained Generative Models: A Contrastive Learning View
HKUST（香港科技大学）；Xi’an Jiaotong University（西安交通大学）；Microsoft Research Asia（微软亚洲研究院）；EIT（欧洲创新与技术学院）
从解纠缠的直观概念来看，不同因素所对应的图像变化应该是彼此不同的，解纠缠的表征应该以不同的维度反映这些变化。为了发现这些因素并学习解纠缠表示，以前的方法通常在学习生成逼真图像时利用额外的正则化项。然而，该术语通常导致解纠缠和生成质量之间的权衡。对于在没有任何解纠缠项的情况下预训练的生成模型，生成的图像在沿着潜在空间中的不同方向遍历时显示出语义上有意义的变化。基于这一观察，我们认为，$(i)$利用具有高生成质量的预训练生成模型来减轻这种权衡是可能的，$(ii)$专注于发现遍历方向作为分解表示学习的因素。为了实现这一目标，我们提出通过对比的解纠缠（DisCo）作为一个框架，根据目标解纠缠表示的变化建模，并对比变化，共同发现解纠缠的方向和学习解纠缠表示。DisCo实现了最先进的解纠缠表示学习和不同的方向发现，给定预训练的非解纠缠生成模型，包括GAN，VAE和Flow。源代码位于https://github.com/xrenaa/DisCo。
2022-02-14 cs.AI cs.CV cs.LG
CM-GANs: Cross-modal Generative Adversarial Networks for Common Representation Learning
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
众所周知，不同模态（如图像和文本）的不一致分布和表示导致异质性差距，这使得将此类异质数据关联起来具有挑战性。生成对抗网络（GANs）具有很强的数据分布建模能力和区分性表示学习能力，现有的基于GANs的工作主要集中在生成问题上，以生成新的数据。我们有不同的目标，旨在通过利用GANs建模跨模态联合分布的能力来关联异构数据。因此，我们提出了跨模态GANs来学习区别性的共同表示，以弥合异质性差距。本文的主要贡献包括：（1）提出了跨模态GANs结构，用于建模不同模态数据的联合分布。生成模型和判别模型可以同时研究通道间和通道内的相关性。两种方法相互作用，促进了跨模态相关学习。(2)提出了一种带权值共享约束的交叉模态卷积自编码器，用于生成模型。它们不仅可以利用跨模态相关性来学习共同的表示，而且还可以保留重构信息以捕获每个模态内的语义一致性。(3)提出了跨通道对抗机制，该机制利用两种识别模型同时进行通道内和通道间的识别。它们可以相互促进，通过对抗训练过程使共同表示更具区分力。据我们所知，我们提出的CM-GANs方法是第一个利用GANs来执行跨模态公共表示学习的方法。在跨模态检索范例上进行了实验，并在3个跨模态数据集上与10种方法进行了比较。
2018-04-26 cs.CV cs.LG cs.MM
Deep Generative Modeling for Scene Synthesis via Hybrid Representations
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Snapchat Inc.（Snapchat公司）
我们提出了一种用于室内环境的深度生成场景建模技术。我们的目标是使用前馈神经网络来训练生成模型，该前馈神经网络映射先验分布（例如，正态分布）到室内场景中的主要对象的分布。我们介绍了一个三维对象排列表示模型的位置和方向的对象，根据它们的大小和形状属性。此外，我们的场景表示适用于从数据库中选择的具有不同多重性（重复计数）的3D对象。我们展示了一个原则性的方法来训练这个模型，通过结合3D对象排列表示和基于2D图像的表示的损失。我们在基准数据集上展示了我们的场景表示和深度学习方法的有效性。我们还展示了这种生成模型在场景插值和场景完成中的应用。
2018-08-06 cs.CV
Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain
Mythic Inc.（Mythic公司）；Freeus, LLC.（Freeus有限责任公司）；University of Rochester（罗切斯特大学）
深度神经网络可以形成输入数据的高级分层表示。各种研究人员已经证明，这些表示可以用于实现各种有用的应用。然而，这样的表示通常基于数据内的统计，并且可能不符合应用可能需要的语义表示。条件模型通常用于克服这一挑战，但它们需要大量带注释的数据集，这些数据集很难获得，创建成本也很高。在本文中，我们表明，语义对齐表示可以生成，而不是与基于物理的引擎的帮助。这是通过创建具有解耦属性的合成数据集，学习合成数据集的编码器，以及用来自真实域的属性来扩充来自合成域的规定属性来实现的。结果表明，所提出的（SYNTH-VAE-GAN）方法可以构建一个条件预测生成模型的人脸属性，而不依赖于真实的数据标签。
2020-02-23 cs.CV cs.LG eess.IV
Discriminative-Generative Representation Learning for One-Class Anomaly Detection
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳人工智能与机器人研究院）；Institute of Robotics and Intelligent Manufacturing, Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）机器人与智能制造研究院）
生成对抗网作为一种生成式自监督学习方法，在异常检测领域得到了广泛的研究。然而，生成器的表示学习能力有限，因为它过于关注像素级的细节，并且生成器很难从标签预测借口任务中学习抽象语义表示。为了提高生成器的表示学习能力，提出了一种结合生成方法和判别方法的自监督学习框架。生成器不再通过重构误差来学习表示，而是通过重构误差的指导来学习表示，并且可以从为判别方法设计的借口任务中受益。我们的判别生成表示学习方法具有接近判别方法的性能，并在速度上有很大的优势。我们在一类异常检测任务中使用的方法在多个基准数据集上的性能明显优于几种最先进的方法，在CIFAR-10上将基于GAN的最佳基线性能提高了6%，在MVSTAR上提高了2%。
2021-07-27 cs.CV
Explaining latent representations of generative models with large multimodal models
Emory University（埃默里大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
提出利用大型多模态模型解释生成模型潜在变量的框架，评估其不确定性、性能和解缠效果，并讨论其能力与局限。
2024-04-18 cs.AI cs.CL cs.CV
Learning a Predictable and Generative Vector Representation for Objects
Carnegie Mellon University（卡内基梅隆大学）；MITRE Corporation（MITRE公司）
什么是一个物体的好的矢量表示？我们认为，它应该是3D生成的，因为它可以产生新的3D对象;以及从2D可预测的，因为它可以从2D图像中感知。我们提出了一种新的架构，称为TL嵌入网络，学习这些属性的嵌入空间。该网络由两个组件组成：（a）自动编码器，确保表示是生成的;（b）卷积网络，确保表示是可预测的。这使得能够处理许多任务，包括从2D图像进行体素预测和3D模型检索。大量的实验分析证明了这种嵌入的实用性和通用性。
2016-08-31 cs.CV
Omni-ID: Holistic Identity Representation Designed for Generative Tasks
Snap Research
本研究提出专为生成任务设计的人脸表示Omni-ID，通过少到多重建训练范式与多解码器框架，以生成目标优化，在多视角数据集训练后于各类生成任务上显著优于传统表示方法。
2025-05-17 cs.CV
GLOWin: A Flow-based Invertible Generative Framework for Learning Disentangled Feature Representations in Medical Images
Technical University of Munich（慕尼黑工业大学）；deepc GmbH（deepc有限公司）；Ludwig Maximilians University Munich（慕尼黑大学）；Kyung Hee University（庆熙大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
解纠缠表示在许多下游任务中非常有用，有助于使深度学习模型更具可解释性，并允许控制合成生成图像的特征，这些特征在训练需要大量标记或未标记数据的其他模型时非常有用。最近，基于流的生成模型已经被提出来通过直接用可逆函数对数据分布建模来生成真实感图像。在这项工作中，我们提出了一个新的基于流的生成模型框架，名为GLOWin，这是端到端可逆的，能够学习解开表示。通过将潜在空间分解为组件，使得每个组件学习一个生成因子的表示来实现特征解纠缠。在公开的脑肿瘤MR数据集上进行了全面的实验，以评估所提出的方法。定量和定性的结果表明，该方法是有效的，从复杂的医学图像的功能。
2021-03-19 cs.CV
Generative Models as a Data Source for Multiview Representation Learning
Massachusetts Institute of Technology（麻省理工学院）
生成模型现在能够生成高度逼真的图像，这些图像看起来几乎无法与它们所训练的数据区分开来。这就提出了一个问题：如果我们有足够好的生成模型，我们还需要数据集吗？我们研究这个问题的设置学习通用的视觉表示从黑盒生成模型，而不是直接从数据。给定一个现成的图像生成器，而不能访问其训练数据，我们从该生成器输出的样本中训练表示。我们比较了几个表示学习的方法，可以应用到这种设置，使用潜在的空间生成器生成多个“视图”相同的语义内容。我们表明，对于对比方法，这种多视图数据可以自然地用于识别正对（潜在空间中的附近）和负对（潜在空间中相距较远）。我们发现，由此产生的表示竞争对手，甚至优于那些直接从真实数据中学习，但良好的性能需要注意的采样策略和训练方法。生成模型可以被视为数据集的压缩和组织副本，我们设想未来会有越来越多的“模型动物园”激增，而数据集变得越来越笨拙，缺失或私有。本文提出了几种技术来处理视觉表示学习在这样的未来。代码可以在我们的项目页面https://ali-design.github.io/GenRep/上找到。
2022-03-16 cs.CV
MAGE: MAsked Generative Encoder to Unify Representation Learning and Image Synthesis
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Google Research（谷歌研究院）；University of Maryland（马里兰大学）
提出MAGE框架，通过在掩码图像建模中使用可变掩码比率，首次统一了SOTA图像生成与自监督表示学习，在ImageNet-1K上以单个ViT-L模型同时取得9.10 FID和78.9%线性探测准确率。
2023-06-29 cs.CV
3DShape2VecSet: A 3D Shape Representation for Neural Fields and Generative Diffusion Models
KAUST（阿卜杜拉国王科技大学）；TU Munich（慕尼黑工业大学）
该研究提出3DShape2VecSet新型3D形状表示方法，基于向量组编码神经场并适配transformer，在形状编码与生成任务中性能提升，支持多种条件生成及点云补全等应用。
2023-05-01 cs.CV cs.GR
Assessing Image Quality Using a Simple Generative Representation
Bar-Ilan University（巴伊兰大学）；NVIDIA（英伟达公司）
提出基于自编码器的 VAE-QA 方法，在存在全参考的情况下预测图像质量，显著提升跨数据集泛化能力，同时减少参数、内存占用并加快运行时间。
2024-04-28 cs.AI cs.CV cs.GR
Self-Supervised Representation-Guided Generative Dataset Distillation
本文提出SRG框架，将SSL几何转化为扩散引导，通过分阶段引导策略实现数据集蒸馏，在多数据集和IPC设置下优于生成式基线，可跨预训练表示空间迁移。
2026-08-05 cs.AI cs.CV
Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds
South China University of Technology（华南理工大学）
针对现有点云表征方法无法真正生成3D形状的问题，提出Point-MGE框架，通过向量量化变分自编码器与滑动掩码率融合表征与生成学习，在多个下游任务取得SOTA并能生成高质量3D形状。
2024-08-15 cs.AI cs.CV
Distilling Generative-Discriminative Representations for Very Low-Resolution Face Recognition
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院）
本文提出生成-判别表示蒸馏方法，通过扩散模型编码器和人脸识别器分别蒸馏学生骨干与头部网络，将通用表示转化为判别表示，从而提升极低分辨率人脸识别准确率。
2024-09-10 cs.AI cs.CV cs.MM
Imaginative Walks: Generative Random Walk Deviation Loss for Improved Unseen Learning Representation
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）
我们提出了一种新的生成模型损失，称为GRaWD（生成随机游走偏差），以改善未探索的视觉空间的学习表示。看不见的类（或样式）的质量学习表示对于促进新颖图像生成和对看不见的视觉类的更好的生成性理解是至关重要的，即，零样本学习。通过基于它们的语义描述来生成不可见类的表示，例如，属性或文本，生成式语法试图区分看不见的类别和看不见的类别。所提出的GRaWD损失是通过构建一个动态图来定义的，该动态图包括所看到的类/样式中心和当前minibatch中生成的样本。我们的损失启动了一个随机行走概率从每个中心通过视觉世代产生的幻觉看不见的类。作为一个偏差信号，我们鼓励随机游走最终在t步之后降落在一个难以分类为任何可见类的特征表示中。我们证明，建议的损失可以提高看不见的类表示质量归纳基于文本的CUL基准CUB和NABIrds数据集和基于属性的CUL基准AWA 2，SUN和aPY数据集。此外，我们调查的能力，拟议的损失，以产生有意义的新的视觉艺术的WikiArt数据集。实验和人工评估的结果表明，所提出的GRaWD损失可以提高StyleGAN 1和StyleGAN 2生成质量，并创建更受欢迎的新艺术。我们的代码可在https://github.com/Vision-CAIR/GRaWD上公开获取。
2021-09-24 cs.AI cs.CV
pi-GAN: Periodic Implicit Generative Adversarial Networks for 3D-Aware Image Synthesis
Stanford University（斯坦福大学）
我们见证了3D感知图像合成的快速进展，利用了生成视觉模型和神经渲染的最新进展。然而，现有的方法在两个方面存在不足：第一，它们可能缺乏底层3D表示或依赖于视图不一致的渲染，因此合成的图像不是多视图一致的;第二，它们通常依赖于表现力不够的表示网络架构，因此它们的结果缺乏图像质量。我们提出了一种新的生成模型，称为周期性隐式生成对抗网络（$π$ -GAN或pi-GAN），用于高质量的3D感知图像合成。$π$ -GAN利用具有周期性激活函数和体积渲染的神经表示来将场景表示为具有精细细节的视图一致的3D表示。所提出的方法获得了国家的最先进的结果，三维感知图像合成与多个真实和合成数据集。
2021-04-05 cs.CV cs.GR
