GH-Feat: Learning Versatile Generative Hierarchical Features from GANs
The Chinese University of Hong Kong（香港中文大学）；Ant Research（蚂蚁研究院）；The Hong Kong University of Science and Technology（香港科技大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
近年来，生成对抗网络（GANs）在合成照片级逼真图像方面取得了巨大成功。GAN生成器学习合成真实的图像并再现真实的数据分布。通过这种方式，一个具有多层次语义的层次视觉特征自然出现。在这项工作中，我们调查，这样的生成功能学习图像合成表现出巨大的潜力，在解决广泛的计算机视觉任务，包括生成的，更重要的是歧视性的。我们首先通过将预训练的StyleGAN生成器视为学习的损失函数来训练编码器。由我们的编码器产生的视觉特征，称为生成层次特征（GH-Feat），与逐层GAN表示高度一致，因此从重建的角度充分描述了输入图像。广泛的实验支持多功能的GH-Feat跨一系列的应用程序，如图像编辑，图像处理，图像协调，人脸验证，地标检测，布局预测，图像检索等，我们进一步表明，通过适当的空间扩展，我们开发的GH-Feat也可以促进细粒度的语义分割，只使用几个注释。定性和定量的结果都证明了GH-Feat的吸引人的性能。
2023-01-12 cs.CV
GANSeg: Learning to Segment by Unsupervised Hierarchical Image Generation
University of British Columbia（不列颠哥伦比亚大学）
将图像分割成各个部分是高级视觉任务（如图像编辑）的常见预处理。然而，为监督训练注释掩码是昂贵的。存在弱监督和无监督方法，但它们依赖于图像对的比较，例如来自多视图、视频帧和图像增强，这限制了它们的适用性。为了解决这个问题，我们提出了一种基于GAN的方法，该方法生成以潜在掩码为条件的图像，从而减轻了以前方法所需的完整或弱注释。我们表明，这样的掩模条件的图像生成可以忠实地学习时，条件的面具在一个层次的方式上的潜在的关键点，明确定义的位置的部分。在不需要监督掩模或点的情况下，该策略增加了对视点和对象位置变化的鲁棒性。它还允许我们生成用于训练分割网络的图像掩码对，该分割网络在已建立的基准上优于最先进的无监督分割方法。
2022-10-09 cs.CV
GAN-Tree: An Incrementally Learned Hierarchical Generative Framework for Multi-Modal Data Distributions
Indian Institute of Science（印度科学学院）
尽管生成对抗网络取得了显著的成功，但对于不同的训练集，它们的性能似乎不那么令人印象深刻，需要学习不连续的映射函数。虽然多模式先验或多发电机模型已被提出来缓解这个问题，这样的方法可能会失败，这取决于经验选择的初始模式分量。与这种自下而上的方法相反，我们提出了GAN-Tree，它遵循分层划分策略来处理这种不连续的多模态数据。GAN-Tree不需要对模式的数量做任何假设，它利用一种新的模式分裂算法将父模式有效地分裂为语义上有凝聚力的子模式，从而促进无监督聚类。此外，它还可以通过仅更新树结构的单个分支，将新的数据模式增量添加到已经训练好的GAN树中。与以前的方法相比，所提出的框架在选择称为GAN-Set的各种互斥和穷举树节点方面提供了更高的灵活性。在包括ImageNet在内的合成和自然图像数据集上进行的大量实验证明了GAN-Tree相对于现有技术的优越性。
2019-09-16 cs.CV cs.LG
Generative Adversarial Image Synthesis with Decision Tree Latent Controller
NTT Communication Science Laboratories, NTT Corporation（日本电信电话公司通信科学实验室）
本文提出了决策树潜在控制器生成对抗网络（DTLC-GAN），一个扩展的GAN，可以学习分层可解释的表示，而不依赖于详细的监督。为了对潜在变量施加层次包含结构，我们将一个新的架构称为DTLC到生成器输入。DTLC具有多层树结构，其中子节点代码的ON或OFF由父结点代码控制。通过分层使用这种结构，我们可以获得潜在的空间，其中低层代码被选择性地使用取决于高层的。为了使潜码捕获图像的显着语义特征，在DTLC分层解开的方式，我们还提出了一个分层的条件互信息正则化，并优化它与一个新定义的课程学习方法，我们提出的。这使得有可能通过仅使用单个DTLC-GAN模型，基于信息增益以逐层的方式发现分层可解释的表示。我们在各种数据集上评估了DTLC-GAN，即，MNIST，CIFAR-10，Tiny ImageNet，3D Faces和CelebA，并证实DTLC-GAN可以在无监督或弱监督设置下学习分层可解释的表示。此外，我们将DTLC-GAN应用于图像检索任务，并显示了其在表示学习中的有效性。
2018-05-27 cs.CV
DCNN-GAN: Reconstructing Realistic Image from fMRI
Shanghai Jiao Tong University（上海交通大学）
通过分析人类功能磁共振成像（fMRI）来可视化感知内容一直是一个活跃的研究领域。然而，由于其高维数，复杂的维结构，和少量的样本，重建逼真的图像从功能磁共振成像仍然是具有挑战性的。近年来，随着卷积神经网络（CNN）和生成对抗网络（GAN）的发展，将多体素fMRI数据映射到复杂、真实的图像已经成为可能。在本文中，我们提出了一个模型，DCNN-GAN，通过结合重建网络和GAN。我们利用CNN进行分层特征提取和DCNN-GAN重建更真实的图像。已经进行了大量的实验，表明我们的方法优于以前的作品，重建质量和计算成本。
2019-01-13 cs.CV eess.IV
DeepI2I: Enabling Deep Hierarchical Image-to-Image Translation by Transferring from GANs
Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
图像到图像的翻译最近取得了显著的成果。但是，尽管目前的成功，它遭受较差的性能时，类之间的翻译需要大的形状变化。我们将此归因于当前最先进的图像到图像方法所使用的高分辨率瓶颈。因此，在这项工作中，我们提出了一种新的深度分层图像到图像翻译方法，称为DeepI2I。我们通过利用分层特征来学习模型：（a）包含在浅层中的结构信息和（b）从深层提取的语义信息。为了能够在小数据集上训练深度I2I模型，我们提出了一种新的迁移学习方法，该方法从预先训练的GANs中转移知识。具体来说，我们利用预训练的GANs（即BigGAN或StyleGAN）来初始化编码器和编码器，并利用预训练的生成器来初始化我们模型的生成器。应用知识转移导致编码器和生成器之间的对准问题。我们引入一个适配器网络来解决这个问题。在三个数据集（动物面孔，鸟类和食物）上的多类图像到图像的转换上，与最先进的方法相比，我们将mFID降低了至少35%。此外，我们定性和定量地证明了迁移学习显著提高了I2I系统的性能，特别是对于小数据集。最后，我们是第一个为超过100个类的域执行I2I翻译的公司。
2020-11-11 cs.CV
Hierarchy of GANs for learning embodied self-awareness model
University of Genova（热那亚大学）；Carlos III University of Madrid（马德里卡洛斯三世大学）
近年来，已经提出了几种体系结构来学习体现代理复杂的自我意识模型。在本文中，提出了动态增量自我意识（SA）模型，允许代理所做的经验，以分层的方式进行建模，从更简单的情况下，更结构化的。每种情况都是从私人代理感知数据的子集中学习的，作为能够预测正常行为和检测异常的模型。已经提出了使用低维感觉输入的分层SA模型。在这项工作中，一个层次模型引入了一个跨模态生成对抗网络（GANs）处理高维视觉数据。使用决策边界的GANs鉴别器以自监督方式检测不同级别的GANs。半自主地面车辆的真实实验。
2018-06-08 cs.CV cs.MM
ForensicsForest Family: A Series of Multi-scale Hierarchical Cascade Forests for Detecting GAN-generated Faces
College of Computer Science and Technology, Ocean University of China（中国海洋大学计算机科学与技术学院）；Shenzhen University（深圳大学）；University at Buffalo, SUNY（纽约州立大学布法罗分校）
本文提出基于森林模型的ForensicsForest Family系列方法，通过多尺度层级级联及CNN集成等技术，有效检测高真实度的GAN生成人脸，并降低训练内存开销。
2024-04-27 cs.CV
Hierarchy Composition GAN for High-fidelity Image Synthesis
针对现有GAN仅在几何或外观单一域工作导致合成伪影的问题，提出端到端HIC-GAN，通过分层组合与注意掩码机制统一两域建模，在多类图像任务上实现更优的高保真合成效果。
2023-04-19 cs.CV
Edge Heuristic GAN for Non-uniform Blind Deblurring
Beijing Jiaotong University（北京交通大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Xpeng Motors（小鹏汽车）
非均匀模糊主要由相机抖动和多个物体的运动引起，是图像质量下降的最常见原因之一。然而，传统的基于模糊核估计的盲去模糊方法对复杂的非匀速运动模糊效果不佳。最近的研究表明，基于GAN的方法在去模糊任务上取得了令人印象深刻的性能。在这封信中，为了进一步提高基于GAN的方法在去模糊任务上的性能，我们提出了一种边缘启发式多尺度生成对抗网络（GAN），它使用“从粗到精”的方案以端到端的方式恢复清晰图像。特别地，边缘增强网络被设计为生成尖锐边缘作为辅助信息来指导去模糊过程。此外，我们提出了一个分层的内容损失函数去模糊任务。在不同数据集上的大量实验表明，该方法在动态场景去模糊方面取得了最好的效果。
2019-07-11 cs.CV eess.IV
Towards Ghost-free Shadow Removal via Dual Hierarchical Aggregation Network and Shadow Matting GAN
University of Macau（澳门大学）；Xi’an University of Technology（西安理工大学）
阴影去除是场景理解的一项重要任务。许多研究只考虑图像内容的匹配，这通常会导致两种类型的重影：阴影区域的颜色干扰或阴影边界上的伪影。在本文中，我们从两个方面来解决这些问题。首先，为了仔细学习无边界伪影的图像，我们提出了一种新的网络结构，称为双层次聚合网络~（DHAN）。它包含一系列增长扩张卷积作为骨干，没有任何下采样，我们分层聚合多上下文特征，分别用于注意和预测。其次，我们认为，在有限的数据集上训练限制了网络的纹理理解，这导致了阴影区域的颜色不一致。目前，最大的数据集包含2k+阴影/无阴影图像对。然而，它只有0.1k+个独特的场景，因为许多样本共享具有不同阴影位置的完全相同的背景。因此，我们设计了一个阴影抠图生成对抗网络~（SMGAN），从给定的阴影掩模和无阴影图像合成逼真的阴影抠图。借助新的掩模或场景，我们使用合成的阴影图像增强当前数据集。实验表明，我们的DHAN可以消除阴影，并产生高质量的无重影图像。在对合成数据集和真实数据集进行训练后，我们的网络的性能大大优于其他最先进的方法。代码可在以下网址获得：http://github.com/vinthony/ghost-free-shadow-removal/
2019-11-21 cs.CV
PUFA-GAN: A Frequency-Aware Generative Adversarial Network for 3D Point Cloud Upsampling
Shandong University（山东大学）；City University of Hong Kong（香港城市大学）；De Montfort University（德蒙福特大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
提出了一种用于点云上采样的生成对抗网络，该网络不仅可以使上采样点均匀分布在底层表面上，而且可以有效地生成干净的高频区域。我们的网络的生成器包括一个动态图分层残差聚合单元和一个分层残差聚合单元，分别用于点特征提取和上采样。前者提取多尺度逐点描述性特征，而后者则利用层次残差捕获丰富的特征细节。为了生成整齐的边缘，我们的算法使用图形过滤器来提取和保留高频点。生成的高分辨率点云和对应的高频点帮助机器学习器学习点云的全局和高频属性。我们还提出了一个身份分布损失函数，以确保上采样点保持在输入低分辨率点云的底层表面上。为了评估高频区域中上采样点的规律性，我们引入了两个评估指标。客观和主观的结果表明，我们的方法产生的上采样点云的视觉质量优于国家的最先进的方法。
2022-03-02 cs.CV cs.MM eess.IV
Interaction Mix and Match: Synthesizing Close Interaction using Conditional Hierarchical GAN with Multi-Hot Class Embedding
University of Oxford（牛津大学）；University of Glasgow（格拉斯哥大学）
由于角色之间的交互复杂多样，合成多角色交互是一项具有挑战性的任务。特别是，角色之间的精确时空对齐需要产生紧密的互动，如舞蹈和战斗。在生成多角色交互中的现有工作集中于针对给定序列生成单一类型的反应性运动，这导致合成运动缺乏多样性。在本文中，我们提出了一种新的方法来创建现实的人类反应运动，这是不存在于给定的数据集混合和匹配不同类型的密切的相互作用。我们提出了一个条件层次生成对抗网络与多热类嵌入生成混合和匹配反应运动的追随者从一个给定的运动序列的领导者。实验进行噪声（基于深度）和高质量（MoCap为基础的）的相互作用数据集。定量和定性的结果表明，我们的方法优于国家的最先进的方法在给定的数据集。我们还提供了一个增强的数据集与现实的反应运动，以刺激未来在这一领域的研究。代码可在https://github.com/Aman-Goel1/IMM上获得
2022-08-04 cs.CV cs.GR
Variational Hetero-Encoder Randomized GANs for Joint Image-Text Modeling
Xidian University（西安电子科技大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
对于双向联合图像-文本建模，我们开发了变分异构编码器（VHE）随机生成对抗网络（GAN），这是一种通用的深度生成模型，将概率文本解码器，概率图像编码器和GAN集成到一个连贯的端到端多模态学习框架中。VHE随机化GAN（VHE-GAN）对图像进行编码以解码其相关联的文本，并且将变分后验作为随机性的源馈送到GAN图像生成器中。我们将三个现成的模块，包括深度主题模型，梯形结构的图像编码器和StackGAN++插入VHE-GAN，它已经达到了具有竞争力的性能。这进一步推动了VHE光栅扫描GAN的发展，VHE光栅扫描GAN不仅以多尺度低到高分辨率的方式生成照片级逼真的图像，而且还以分层语义粗到细的方式生成照片级逼真的图像。通过捕获分层语义和视觉概念并将其与端到端训练相关联，VHE-raster-scan-GAN在各种图像-文本多模态学习和生成任务中实现了最先进的性能。
2020-01-07 cs.CL cs.CV cs.LG
Top-Down Deep Clustering with Multi-generator GANs
Department of Computer Science, Universidade Federal de Minas Gerais（米纳斯吉拉斯联邦大学计算机科学系）；ESRI Inc.（环境系统研究所公司）
深度聚类（DC）利用深度架构的表示能力来学习最适合聚类分析的嵌入空间。这种方法过滤掉了与聚类无关的低级信息，并已被证明在高维数据空间中非常成功。一些DC方法采用生成对抗网络（GANs），其动机是这些模型能够隐式学习的强大潜在表示。在这项工作中，我们提出了HC-MGAN，这是一种基于具有多个生成器（MGANs）的GANs的新技术，尚未探索用于聚类。我们的方法的灵感来自于观察，每个生成器的MGAN往往生成的数据，与子区域的真实数据分布。我们使用这个集群生成训练分类器，用于推断给定图像来自哪个生成器，从而为真实分布提供语义上有意义的聚类。此外，据我们所知，我们设计了我们的方法，以便在自上而下的分层聚类树中执行，从而提出了第一个分层DC方法。我们进行了几个实验，以评估所提出的方法对最近的DC方法，获得竞争力的结果。最后，我们进行了探索性分析的层次聚类树，突出如何准确地组织数据的层次结构的语义连贯的模式。
2021-12-24 cs.CV cs.LG
Diagonal Attention and Style-based GAN for Content-Style Disentanglement in Image Generation and Translation
Korea Advanced Institute of Science & Technology (KAIST)（韩国高等科学技术研究院（KAIST））
图像生成模型的一个重要研究课题是将空间内容和空间风格分离，分别控制。虽然StyleGAN可以从随机噪声中生成内容特征向量，但由此产生的空间内容控制主要用于较小的空间变化，并且全局内容和样式的分离绝不是完全的。受归一化和注意力的数学理解的启发，在这里，我们提出了一种新的分层自适应对角线空间注意力（DAT）层，以分层的方式分别操纵空间内容的样式。使用DAT和AdaIN，我们的方法使粗到细的空间内容和风格的层次解开。此外，我们的生成器可以很容易地集成到GAN反演框架中，以便可以灵活地控制来自多域图像翻译任务的翻译图像的内容和风格。通过使用各种数据集，我们证实，所提出的方法不仅优于现有的模型在解纠缠分数，但也提供了更灵活的控制空间特征生成的图像。
2021-07-23 cs.CV
A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）；KAIST（韩国科学技术院）
通过只改变我们想要的内容来编辑面部表情是用于图像处理的生成对抗网络（GANs）中的一个长期研究问题。大多数现有的方法，只依赖于一个全局生成器通常遭受改变不必要的属性以及目标属性。最近，由处理整个图像的全局网络和关注局部部分的多个局部网络组成的分层网络显示出成功。然而，这些方法提取局部区域的边界框周围的稀疏的面部关键点，这是不可微的，不准确的和不切实际的。因此，该解决方案变得次优，引入了不想要的伪影，降低了合成图像的整体质量。此外，最近的一项研究表明，面部属性和局部语义区域之间有很强的相关性。为了利用这种关系，我们设计了语义分割和分层GANs的统一架构。我们的框架的一个独特优势是，在向前传递时，语义分割网络调节生成模型，在向后传递时，来自分层GANs的梯度被传播到语义分割网络，这使得我们的框架成为端到端的可区分架构。这使得两种架构能够相互受益。为了证明其优势，我们评估我们的方法上两个具有挑战性的面部表情翻译基准，AffectNet和RaFD，和一个语义分割基准，CelebAMask-HQ在两个流行的架构，BiSeNet和UNet。我们对人脸语义分割和人脸表情处理任务进行了广泛的定量和定性评估，验证了我们的工作对现有最先进方法的有效性。
2021-12-08 cs.CV
Level Up the Deepfake Detection: a Method to Effectively Discriminate Images Generated by GAN Architectures and Diffusion Models
University of Catania（卡塔尼亚大学）；Banca d'Italia（意大利银行）
图像深度伪造检测任务已被科学界广泛解决，以区分真实图像与人工智能（AI）模型生成的图像：二进制分类任务。在这项工作中，通过收集由9种不同的生成对抗网络（GAN）架构和4种额外的扩散模型（DM）生成的原始图像和假图像的专用数据集来研究deepfake检测和识别任务。然后，引入了一种分层多层次方法来解决三种不同的深度伪造检测和识别任务：（i）生成的真实与AI;（ii）GANs与DM;（iii）AI特定架构识别。实验结果表明，在每种情况下，超过97%的分类准确率，优于最先进的方法。
2023-03-01 cs.CV
Enhancing Gradient Inversion Attacks in Federated Learning via Hierarchical Feature Optimization
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）
本文提出GIFD方法，通过分解GAN模型并搜索中间层的分层特征，提升梯度反向攻击的表达能力和泛化能力，同时引入正则化约束和OOD场景下的标签映射技术，实现像素级重建。
2026-04-01 cs.CV
Image Captioning Based on a Hierarchical Attention Mechanism and Policy Gradient Optimization
Institute of Advanced Artificial Intelligence in Nanjing（南京高级人工智能研究院）；University of Liverpool（利物浦大学）；Xi’an Jiaotong-Liverpool University（西交利物浦大学）
自动生成图像的描述，即，图像描述是人工智能领域的一个重要的基础性课题，它是计算机视觉和自然语言处理之间的桥梁。基于成功的深度学习模型，特别是CNN模型和具有注意力机制的长短期记忆（LSTM）模型，提出了一种层次化注意力模型，该模型综合利用了全局CNN特征和局部对象特征，用于图像描述中更有效的特征表示和推理。将生成对抗网络（GAN）与强化学习（RL）算法相结合，用于解决基于RNN的语言问题监督训练中的暴露偏差问题。此外，通过GAN框架中的语义匹配自动度量生成的字幕与图像内容的一致性，并进行RL优化，使最终生成的句子更加准确自然。综合实验表明，改进的性能的层次注意力机制和基于RL的优化方法的有效性。我们的模型在MSCOCO数据集中的几个重要指标上实现了最先进的结果，只使用贪婪推理。
2019-01-11 cs.CV
CHIMLE: Conditional Hierarchical IMLE for Multimodal Conditional Image Synthesis
School of Computing Science（计算科学学院）；Google（谷歌）；Simon Fraser University（西蒙弗雷泽大学）
条件图像合成中的持续挑战是从相同的输入图像生成不同的输出图像，尽管每个输入图像仅观察到一个输出图像。基于GAN的方法容易发生模式坍塌，这导致低多样性。为了解决这个问题，我们利用隐式最大似然估计（IMLE），它可以从根本上克服模式坍塌。IMLE使用与GANs相同的生成器，但使用不同的非对抗性目标对其进行训练，以确保每个观察到的图像附近都有生成的样本。不幸的是，为了生成高保真图像，现有的基于IMLE的方法需要大量的样本，这是昂贵的。在本文中，我们提出了一种新的方法来绕过这一限制，我们称之为条件分层IMLE（CHIMLE），它可以生成高保真图像，而不需要很多样本。我们表明CHIMLE在四个任务（即夜间到白天，16倍单图像超分辨率，图像着色和图像解压缩）的图像保真度和模式覆盖方面显着优于先前最好的IMLE，GAN和基于扩散的方法。从定量上看，与之前最好的基于IMLE的方法相比，我们的方法将Fréchet Inception Distance（FID）平均提高了36.9%，与最好的非基于IMLE的通用方法相比，平均提高了27.5%。
2023-02-06 cs.CV cs.LG
GSGAN: Adversarial Learning for Hierarchical Generation of 3D Gaussian Splats
Sungkyunkwan University（成均馆大学）
本文提出GSGAN，利用分层多尺度Gaussian表示的生成器架构解决3D GANs训练不稳定和尺度调整问题，在保持生成能力的同时实现百倍渲染提速。
2024-11-15 cs.CV
LTT-GAN: Looking Through Turbulence by Inverting GANs
Johns Hopkins University（约翰斯·霍普金斯大学）
提出LTT-GAN，利用GAN视觉先验和空间周期性上下文距离，结合分层伪连接，实现湍流退化图像的身份保持恢复，显著提升视觉质量与人脸验证精度。
2021-12-04 cs.CV
Generative Fields: Uncovering Hierarchical Feature Control for StyleGAN via Inverted Receptive Fields
本文提出生成场概念，受CNN感受野启发，利用通道级风格潜空间S实现StyleGAN分层特征的解耦控制，提出新的图像编辑流程。
2025-04-24 cs.CV
Exploiting Images for Video Recognition with Hierarchical Generative Adversarial Networks
Beijing Institute of Technology（北京理工大学）；Big Data Research Center, University of Electronic Science and Technology of China（电子科技大学大数据研究中心）
现有的视频识别深度学习方法通常需要大量标记的视频进行训练。但对于一个新的任务，视频往往是无标签的，注释它们也是耗时耗力的。我们尝试利用现有的完全标记的图像来帮助识别这些视频，而不是人工注释。然而，由于域转移和异构特征表示的问题，在图像上训练的分类器的性能可能会显着降低视频识别任务。在本文中，我们提出了一种新的方法，称为分层生成对抗网络（HiGAN），以增强视频中的识别（即，目标域）通过从图像转移知识（即，源域）。HiGAN模型由\emph{low-level}条件GAN和\emph{high-level}条件GAN组成。通过利用这些两级对抗学习，我们的方法能够学习源图像和目标视频的域不变特征表示。在UCF 101和HMDB 51两个视频识别数据集上的实验结果表明，与现有的领域自适应方法相比，该方法是有效的.
2018-05-11 cs.CV
DSS-GAN: Directional State Space GAN with Mamba backbone for Class-Conditional Image Synthesis
Warsaw University of Technology（华沙技术大学）；National Centre for Nuclear Research（国家核物理研究所）
DSS-GAN引入了定向潜在路由机制，通过分解潜在向量并结合类别嵌入，提升图像合成的FID、KID和精度召回率。
2026-03-18 cs.CV cs.LG
Domain invariant hierarchical embedding for grocery products recognition
DISI, University of Bologna（博洛尼亚大学DISI学院(DISI, University of Bologna)（注：DISI是博洛尼亚大学的信息工程与计算机科学系，此处按原文提取））
由于特殊的挑战，仅基于外观识别包装杂货产品对于现代计算机视觉系统仍然是一个悬而未决的问题。首先，要识别的不同项目的数量是巨大的（即，数以千计）并且随时间快速变化。此外，在测试时应该识别的图像（在商店中由廉价相机拍摄）与可用于训练的图像（通常每个产品只有一个或几个工作室质量的图像）之间存在显著的域偏移。我们提出了一种端到端架构，包括一个GAN来解决训练时的域偏移，以及一个在GAN生成的样本上训练的深度CNN，以学习产品图像的嵌入，从而在产品类别之间实施层次结构。在测试时，我们通过K-NN搜索对每个产品只包含一个参考图像的数据库进行识别。针对训练数据集中存在的产品以及训练时看不到的不同产品的识别的实验表明，我们的方法在杂货店识别任务上与最先进的方法相比具有优势，并且可以很好地推广到类似的方法。
2019-02-02 cs.CV
Explaining in Diffusion: Explaining a Classifier Through Hierarchical Semantics with Text-to-Image Diffusion Models
Virginia Tech（弗吉尼亚理工大学）
提出 DiffEx 方法，利用文本到图像 diffusion 模型和视觉-语言模型生成层次化语义列表，支持单概念及多概念复杂场景分类器的决策解释，覆盖语义范围更广且更细粒度。
2024-12-24 cs.CV
Fine-grained Action Segmentation using the Semi-Supervised Action GAN
Queensland University of Technology（昆士兰科技大学）
在本文中，我们解决的问题，连续细粒度的动作分割，其中多个动作存在于一个未分割的视频流。这项任务的挑战在于需要表示动作的层次性质，并检测动作之间的转换，使我们能够有效地定位视频中的动作。提出了一种新的递归半监督生成对抗网络（GAN）模型，用于连续细粒度的人体动作分割。时间上下文信息是通过一个新的门控上下文提取器（GCE）模块，门控注意力单元组成，通过发电机模型，指导排队的上下文信息，增强动作分割。使GAN以半监督方式学习特征，使模型能够与标准的无监督GAN学习过程联合执行动作分类。我们对不同的架构变体进行了广泛的评估，以证明所提出的网络架构的重要性，并表明它能够在三个具有挑战性的数据集上超越当前最先进的技术：50沙拉，MERL购物和佐治亚理工学院自我中心活动数据集。
2019-09-20 cs.CV
Dialectical GAN for SAR Image Translation: From Sentinel-1 to TerraSAR-X
German Aerospace Center (DLR)（德国航空航天中心）；School of Information and Electronics, Beijing Institute of Technology（北京理工大学信息与电子学院）
与光学图像不同，合成孔径雷达（SAR）图像所处的电磁波谱与人类视觉系统所不熟悉的电磁波谱不同。因此，随着越来越多的SAR应用，对增强的高质量SAR图像的需求已经大大增加。然而，由于当前SAR设备及其图像处理资源的限制，高质量的SAR图像需要高成本。为了提高SAR图像的质量和降低其生成成本，我们提出了一种辩证生成对抗网络（辩证GAN）来生成高质量的SAR图像。该方法基于SAR信息的层次分析和GAN框架的“辩证”结构。作为演示，将示出一个典型示例，其中低分辨率SAR图像（例如，具有大的地面覆盖的Sentinel-1图像）被转换成高分辨率SAR图像（例如，a TerraSAR-X图像）。比较了三种传统算法，在辩证法的指导下，结合条件WGAN-GP（Wasserstein Generative Adversarial Network - Gradient Penalty）损失函数和空间Gram矩阵，提出了一种基于网络框架的新算法。实验结果表明，SAR图像的翻译工作非常好，当我们比较我们提出的方法与所选择的传统方法的结果。
2018-07-20 cs.CV cs.LG eess.IV
Comparative clinical evaluation of "memory-efficient" synthetic 3d generative adversarial networks (gan) head-to-head to state of art: results on computed tomography of the chest
Politecnico di Milano（米兰理工大学）；Fondazione IRCCS Policlinico San Matteo Pavia（圣马泰奥基金会IRCCS帕维亚医院）；Università degli studi di Pavia（帕维亚大学）；IULM University（IULM大学）
本研究提出内存高效的CRF-GAN，通过集成条件随机场提升三维医学图像合成质量，在胸部CT上以更低FID/MMD、更低内存和更快训练速度优于HA-GAN，并经放射科医生评估确认其临床适用潜力。
2025-04-20 cs.AI cs.CV eess.IV
Generative Hierarchical Features from Synthesizing Images
The Chinese University of Hong Kong（香港中文大学）
生成对抗网络（GANs）最近通过学习观察数据的底层分布来推进图像合成。然而，从解决图像生成任务中学到的特征如何适用于其他视觉任务仍然很少探索。在这项工作中，我们表明，学习合成图像可以带来显着的分层视觉功能，在广泛的应用中是可推广的。具体来说，我们认为预先训练的StyleGAN生成器作为一个学习的损失函数，并利用其逐层表示训练一个新的分层编码器。我们的编码器产生的视觉特征，称为生成层次特征（GH-Feat），具有很强的可移植性，生成和歧视性的任务，包括图像编辑，图像协调，图像分类，人脸验证，地标检测和布局预测。大量的定性和定量实验结果表明，吸引人的性能GH-Feat。
2021-04-03 cs.CV
Hyperbolic Generative Adversarial Network
Universidad Técnica Federico Santa María（费德里科·圣玛丽亚技术大学）
最近，非欧深度学习背景下的双曲空间由于其表示分层数据的能力而受到欢迎。我们建议，它是可能的，以利用存在于图像中的分层特性，通过使用双曲神经网络的GAN架构。在这项研究中，不同的配置使用全连接双曲层的GAN，CGAN，和WGAN进行了测试，在我们所谓的HGAN，HCGAN，和HW GAN，分别。使用MNIST数据集上的初始得分（IS）和Fréchet初始距离（FID）测量结果。根据不同的配置和空间曲率，更好的结果实现了每个建议的双曲版本比他们的欧几里得对应。
2021-02-10 cs.CV cs.LG stat.ML
Hierarchical Channel Stacking: A Structured Decision Framework for AI-Generated Image Detection
Missouri University of Science & Technology（密苏里科学技术大学）；University of Houston（休斯顿大学）；Cranium AI, Inc.（颅人工智能公司）
本文提出分层通道堆叠（HCS）框架，将CNN中间激活转为结构化60维表示，在涵盖GAN和扩散生成器的基准测试中获86.7%准确率，可用于AI生成图像检测及相关证据整合机制研究。
2026-09-04 cs.CV cs.LG
F3A-GAN: Facial Flow for Face Animation with Generative Adversarial Networks
Zhejiang University（浙江大学）；International Design Institute of Zhejiang University（浙江大学国际设计研究院）
作为一个条件生成问题，人脸动画的目的是合成连续的人脸图像从一个单一的源图像驱动的一组条件的人脸运动。先前的工作主要将面部运动建模为具有1D或2D表示的条件（例如，动作单元、情感代码、地标），这在一些复杂场景中，例如连续生成和大姿态变换，常常导致低质量的结果。为了解决这个问题，条件应该满足两个要求，即，运动信息保持和几何连续性。为此，我们提出了一种新的表示的基础上的3D几何流，称为面部流，表示在任何姿势的人脸的自然运动。与以往的其他条件相比，所提出的面部流很好地控制了面部的连续变化。之后，为了利用人脸流进行人脸编辑，我们建立了一个合成框架，生成具有条件人脸流的连续图像。为了充分利用人脸流的运动信息，设计了一个分层条件框架，以分层的方式将从图像中提取的多尺度外观特征和从流中提取的运动特征相结合。然后，框架将多个融合特征逐步解码回图像。实验结果表明，我们的方法相比，其他国家的最先进的方法的有效性。
2022-05-13 cs.AI cs.CV
Conditional Image Generation by Conditioning Variational Auto-Encoders
University of British Columbia（不列颠哥伦比亚大学）；Montréal Institute for Learning Algorithms（蒙特利尔学习算法研究所）；Inverted AI
我们提出了一个条件变分自动编码器（VAE），为了避免从头开始训练的大量成本，使用能够以预训练的无条件VAE的形式利用基础模型的架构和训练目标。为了训练条件VAE，我们只需要训练一个工件，以执行摊销的推断在无条件VAE的潜变量给定的条件输入。我们在包括图像修补在内的任务上展示了我们的方法，在忠实地表示固有的不确定性方面，它优于最先进的基于GAN的方法。最后，我们描述了我们的修复模型，它是用来执行贝叶斯实验设计的目的，指导传感器的一个可能的应用。
2022-05-28 cs.AI cs.CV
SL-CycleGAN: Blind Motion Deblurring in Cycles using Sparse Learning
NCEPU（华北电力大学）；Portland State University（波特兰州立大学）
本文提出了一种基于稀疏学习的端到端生成对抗网络（GAN），用于单帧图像的盲运动去模糊，我们称之为SL-CycleGAN。在盲运动去模糊中，我们第一次提出了一个稀疏ResNet块，作为稀疏卷积层和基于HTM（分层时间记忆）的可训练空间pokerk-winner的组合，以取代SL-CycleGAN生成器的ResNet块中的非线性，如ReLU。此外，与许多最先进的基于GAN的运动去模糊方法不同，这些方法将运动去模糊视为线性端到端过程，我们从CycleGAN的域到域转换能力中获得灵感，我们证明图像去模糊可以是周期一致的，同时实现最佳的定性结果。最后，我们对流行的图像基准进行了定性和定量的广泛实验，并在GoPro数据集上实现了破纪录的38.087 dB的PSNR，比最新的去模糊方法好5.377 dB。
2021-11-07 cs.CV eess.IV
LegoPET: Hierarchical Feature Guided Conditional Diffusion for PET Image Reconstruction
Rice University（莱斯大学）；The University of Texas MD Anderson Cancer Center（德克萨斯大学 MD 安德森癌症中心）
本文提出LegoPET，一种分层特征引导的条件扩散模型，用于从正弦图重建高质量PET图像，在视觉质量和PSNR/SSIM指标上超越现有深度学习方法。
2024-11-25 cs.CV eess.IV
ForamViT-GAN: Exploring New Paradigms in Deep Learning for Micropaleontological Image Analysis
King Fahd University of Petroleum and Minerals（法赫德石油和矿产大学）；Center for Integrated Petroleum Research（综合石油研究中心）
针对微体古生物学图像标注数据匮乏的问题，提出结合分层视觉变换器与生成对抗网络的新型深度学习工作流程，能高效生成高分辨率逼真合成数据集，并首次实现有孔虫房室的高精度少样本语义分割。
2023-04-09 cs.CV eess.IV
Chinese Typeface Transformation with Hierarchical Adversarial Network
Shanghai Jiao Tong University（上海交通大学）
在本文中，我们探讨了自动生成字体通过图像风格转移，在自然图像生成显示出很大的希望。现有的自然图像风格转换方法通常假设源图像和目标图像具有相似的高频特征。然而，这种假设在字体转换中不再成立。受生成对抗网络（GANs）最新进展的启发，我们提出了一种用于字体转换的分层对抗网络（HAN）。HAN由两个子网络组成：一个传输网络和一个分层对抗网络。传输网络将字符从一种字体映射到另一种字体。字体的一个独特的特点是，即使在同一字体下，相同的偏旁在不同的字符中也可能有完全不同的外观。因此，转移网络采用阶段解码器来利用多个特征层，旨在捕获全局和局部特征。层次对抗性搜索隐式地测量生成的域和目标域之间的数据差异。为了充分利用不同特征层的互补鉴别能力，提出了一种分层结构。实验表明，HAN是一种有效的字体迁移和字符恢复框架。
2017-11-17 cs.CV
Unified Brain MR-Ultrasound Synthesis using Multi-Modal Hierarchical Representations
Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）；King’s College London（伦敦国王学院）；Massachusetts Institute of Technology（麻省理工学院）
本研究提出一种名为MHVAE的深度分层变分自编码器，通过分层潜在结构与概率融合策略结合对抗学习实现多模态缺失图像合成，在脑部术中超声与磁共振联合合成任务上性能超越现有主流方法。
2023-09-19 cs.CV
A One-Shot Texture-Perceiving Generative Adversarial Network for Unsupervised Surface Inspection
Tsinghua University（清华大学）；University of Cincinnati（辛辛那提大学）
由于目标表面和缺陷区域的外观高度多样化，视觉表面检测是一项具有挑战性的任务。以前的尝试严重依赖于大量带有手动注释的训练样本。但是，在一些实际情况下，很难获得大量样品进行检查。为了解决这个问题，我们提出了一个分层的纹理感知生成对抗网络（HTP-GAN），它是从一个无监督的计划中的一次性正常图像中学习的。具体来说，HTP-GAN包含一个卷积GANs金字塔，可以同时捕获图像的全局结构和细粒度表示。这一创新有助于区分缺陷表面区域和正常表面区域。此外，在该算法中，设计了一个纹理感知模块，通过方向卷积捕获正常图像的空间不变表示，使其对缺陷区域更加敏感。在各种数据集上的实验一致地证明了我们的方法的有效性。
2021-06-12 cs.CV
FewGAN: Generating from the Joint Distribution of a Few Images
Tel Aviv University（特拉维夫大学）；University of Copenhagen（哥本哈根大学）
我们介绍FewGAN，一种生成模型，用于生成新颖，高质量和多样化的图像，其补丁分布位于少量N>1训练样本的联合补丁分布中。该方法本质上是一种分层的补丁GAN，它以类似于VQ-GAN的方式在第一个粗略尺度上应用量化，然后是在更精细尺度上的残留完全卷积GANs的金字塔。我们的关键思想是首先使用量化来学习训练图像的固定补丁嵌入集合。然后，我们使用一组单独的侧边图像，使用在训练图像的学习补丁嵌入上训练的自回归模型来对生成图像的结构进行建模。在粗尺度上使用量化允许模型生成有条件和无条件的新图像。随后，patch-GAN渲染细节，从而生成高质量的图像。在一组广泛的实验中，结果表明FewGAN在定量和定性方面都优于基线。
2022-07-18 cs.CV cs.LG
3D-Aware Multi-Class Image-to-Image Translation with NeRFs
Nankai University（南开大学）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；Linkoping University（林雪平大学）；Beijing Jiaotong University（北京交通大学）
3D感知生成模型（3D感知GANs）与神经辐射场（NeRF）相结合的最新进展取得了令人印象深刻的结果。然而，没有先前的作品调查3D感知GANs用于3D一致的多类图像到图像（3D感知I2 I）转换。天真地使用2D-I2 I转换方法会遭受不切实际的形状/身份改变。为了执行3D感知的多类I2 I转换，我们将该学习过程解耦为多类3D感知的GAN步骤和3D感知的I2 I转换步骤。在第一步中，我们提出了两个新的技术：一个新的条件架构和一个有效的训练策略。第二步，基于训练良好的多类3D感知GAN架构，保持视图一致性，我们构建了一个3D感知的I2 I翻译系统。为了进一步减少视图一致性问题，我们提出了几种新的技术，包括一个U-网一样的适配器网络设计，分层表示约束和相对正则化损失。在两个数据集上进行的大量实验中，定量和定性结果表明，我们成功地执行了具有多视图一致性的3D感知I2 I翻译。
2023-03-27 cs.CV
FineGAN: Unsupervised Hierarchical Disentanglement for Fine-Grained Object Generation and Discovery
University of California, Davis（加州大学戴维斯分校）
我们提出了FineGAN，一种新的无监督GAN框架，它将背景，对象形状和对象外观进行分解，分层生成细粒度对象类别的图像。为了在没有监督的情况下解开这些因素，我们的关键思想是使用信息论将每个因素与潜在代码相关联，并以特定的方式调节代码之间的关系，以诱导所需的层次结构。通过大量的实验，我们证明了FineGAN实现了所需的解纠缠，生成了属于鸟类、狗和汽车等细粒度类别的逼真且多样化的图像。使用FineGAN的自动学习功能，我们还对真实图像进行聚类，作为解决无监督细粒度对象类别发现新问题的第一次尝试。我们的代码/模型/演示可以在https://github.com/kkanshul/finegan上找到
2019-04-09 cs.AI cs.CV cs.GR
Conditional Electrocardiogram Generation Using Hierarchical Variational Autoencoders
Sber AI Lab（Sber AI实验室）
本文提出cNVAE-ECG模型，通过生成多病理心电图提升诊断准确性，在迁移学习中实现AUROC提升2%。
2025-04-28 cs.CV cs.LG eess.SP
Divide-and-Conquer Adversarial Learning for High-Resolution Image and Video Enhancement
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
本文介绍了一种用于照片增强的分治启发对抗学习（DACAL）方法。其核心思想是将照片增强过程分解为层次化的多个子问题，自下而上可以更好地解决。在顶层，我们提出了一个基于感知的划分来学习加法和乘法分量，这是将低质量图像或视频转换为高质量图像或视频所需的。在中间层面，我们使用基于频率的划分与生成对抗网络（GAN）来弱监督照片增强过程。在底层，我们设计了一种基于维度的划分，使GAN模型能够更好地近似多个独立一维数据上的分布距离，以训练GAN模型。在考虑所有三个层次的同时，我们开发了多尺度和循环训练方法，以弱监督的方式优化图像和视频增强过程。定量和定性的结果都清楚地表明，所提出的DACAL实现了高分辨率图像和视频增强的最先进的性能。
2019-10-23 cs.CV cs.LG eess.IV
Semantic Hierarchy Emerges in Deep Generative Representations for Scene Synthesis
Department of Information Engineering, The Chinese University of Hong Kong（香港中文大学信息工程学系）
尽管生成对抗网络（GANs）在图像合成方面取得了成功，但人们对生成模型在深度生成表示中学到了什么以及照片般逼真的图像如何能够由最近GANs中引入的逐层随机性组成缺乏足够的理解。在这项工作中，我们表明，高度结构化的语义层次出现的变化因素，从合成场景的生成表示在国家的最先进的GAN模型，如样式GAN和大GAN。通过在不同的抽象层次上探测具有广泛语义集的逐层表示，我们能够量化输出图像中发生的激活和语义之间的因果关系。这样的量化识别了由GANs学习的人类可理解的变化因素来组成场景。定性和定量结果进一步表明，由具有逐层潜在代码的GANs学习的生成表示专门用于合成不同的层次语义：早期层倾向于确定空间布局和配置，中间层控制分类对象，后期层最终呈现场景属性以及配色方案。识别这样一组可操纵的潜在变化因素有助于语义场景操纵。
2020-02-11 cs.CV cs.GR cs.LG
Revisiting the Evaluation of Image Synthesis with GANs
Shanghai AI Laboratory（上海人工智能实验室）；Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
本研究实证调查了基于GANs的图像合成评估，发现CNN和ViT模型是可靠特征提取器，且CKA在跨提取器比较和样本效率上表现更优，与人类判断一致性更高，从而提出了一种新的可靠测量系统。
2023-10-23 cs.CV
ExSinGAN: Learning an Explainable Generative Model from a Single Image
从单个样本生成图像作为图像合成领域的一个新兴分支，受到了广泛的关注。在本文中，我们制定了这个问题的采样从一个单一的图像的条件分布，并提出了一个分层的框架，简化了复杂的条件分布的学习，通过连续学习的分布结构，语义和纹理，使学习和生成的过程可以理解。在此基础上，我们设计了由三个级联的GANs组成的ExSinGAN，用于从给定的图像中学习可解释的生成模型，其中级联的GANs依次对结构、语义和纹理的分布进行建模。ExSinGAN不仅像以前的工作那样从给定图像的内部块学习，而且还从通过GAN反演技术获得的外部先验学习。ExSinGAN将内部信息和外部信息进行了合理的结合，使其具有更强的生成能力和较强的泛化能力。
2022-01-06 cs.CV cs.LG
Hierarchical Semantic Regularization of Latent Spaces in StyleGANs
Indian Institute of Science（印度科学学院）；Google Research（谷歌研究院）；Motive Technologies, Inc（Motive技术公司）
GANs的进步使高分辨率逼真图像的生成成为可能。StyleGAN允许通过对W/W+空间中的潜在样式向量进行数学运算来对此类图像进行引人注目的属性修改，这些数学运算有效地调节了生成器的丰富层次表示。这种操作最近已经被推广到原始StyleGAN论文中的属性交换之外，包括插值。尽管StyleGAN有许多重大改进，但它们仍然被视为生成不自然的图像。生成的图像的质量取决于两个假设：（a）生成器学习的层次表示的丰富性，以及（b）风格空间的线性和平滑度。在这项工作中，我们提出了一个层次语义正则化器（HSR），它将生成器学习的层次表示与预训练网络在大量数据上学习的相应强大功能相匹配。HSR不仅提高了生成器表示，而且还提高了潜在样式空间的线性度和平滑度，从而生成了外观更自然的样式编辑图像。为了证明改进的线性，我们提出了一种新的度量-属性线性得分（ALS）。在不同的标准数据集上，感知路径长度（PPL）指标平均提高了16.19%，同时提高了属性编辑任务中属性变化的线性度，这证实了非自然图像生成的显著减少。
2022-08-07 cs.CV
Cross-scale Aligned Supervision for Training GANs
Sungkyunkwan University（全北大学）
针对GAN多尺度生成中跨尺度轨迹未对齐问题，提出CAT（跨尺度对齐Transformer），通过生成器侧一致性正则化对齐中间输出与最终输出，在ImageNet-256上实现FID-50K为1.56。
2026-05-26 cs.AI cs.CV
Hierarchical Features Matter: A Deep Exploration of Progressive Parameterization Method for Dataset Distillation
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Augusta University（奥古斯塔大学）
针对现有数据集蒸馏参数化方法局限于固定优化空间的问题，提出分层参数化蒸馏方法H-PD，引入类别相关特征距离度量，在相当耗时下显著提升性能，极端压缩比下超越扩散模型生成式蒸馏。
2025-03-19 cs.CV
Hierarchical Cross-Modal Talking Face Generationwith Dynamic Pixel-Wise Loss
University of Rochester（罗切斯特大学）
我们设计了一种级联GAN方法来生成说话人脸视频，该方法对不同的人脸形状，视角，面部特征和嘈杂的音频条件具有鲁棒性。代替学习从音频到视频帧的直接映射，我们提出首先将音频转移到高级结构，即，面部标志，然后生成以该标志为条件的视频帧。与直接的音频到图像的方法相比，我们的级联方法避免了与语音内容无关的视听信号之间的拟合伪相关性。我们人类对视频中的时间不连续性和微妙的伪影很敏感。为了避免这些像素抖动问题，并强制网络专注于视听相关区域，我们提出了一种新的动态可调像素损失与注意力机制。此外，为了生成具有良好同步的面部运动的更清晰的图像，我们提出了一种新的基于回归的序列结构，该结构考虑了序列级信息和帧级信息。在几个数据集和真实世界的样本上进行的实验表明，我们的方法在定量和定性比较方面都比最先进的方法获得了更好的结果。
2019-05-09 cs.CV
