Rank3DGAN: Semantic mesh generation using relative attributes
University of Bath（巴斯大学）
在本文中，我们研究了一个新的问题，使用生成对抗网络的三维形状生成任务根据语义属性。最近的工作将3D形状映射到2D参数域，这使得能够训练生成对抗网络（GANs）用于3D形状生成任务。我们将这些架构扩展到有条件的设置，在那里我们生成3D形状相对于用户定义的主观属性。考虑到3D形状的成对比较，我们的模型执行两个任务：它学习具有受控潜在空间的生成模型，以及基于2D中的多图表表示的3D形状的排名函数。在HumanShape、Basel人脸模型和重建的3DCUB数据集上的实验证明了该模型的性能。我们还提出了各种应用程序，受益于我们的模型，如多属性探索，网格编辑，网格属性转移。
2019-05-28 cs.CV
Boosted GAN with Semantically Interpretable Information for Image Inpainting
The University of Melbourne（墨尔本大学）
图像修补的目的是修复受损图像中的缺失区域，在图像复原、目标去除等方面有着广泛的应用。然而，目前基于GAN的修复模型未能明确考虑恢复图像与原始图像之间的语义一致性。例如，给定一个男性图像，其中一只眼睛的图像区域丢失，当前模型可以用女性眼睛来恢复它。这是由于基于GAN的修复模型的模糊性：这些模型可以在给定缺失区域的情况下生成许多可能的修复。为了解决这一限制，我们的关键见解是，输入图像（缺失区域）的语义可解释信息（如属性和分割信息）可以为修复过程提供必要的指导。基于这一观点，我们提出了一个增强的GAN与语义可解释的信息的图像修补，由一个修复网络和判别网络。修复网络利用两个辅助的预训练网络来发现输入图像的属性和分割信息，并将其纳入修复过程中，以提供明确的语义级指导。判别网络采用多层设计，不仅可以对整体真实性进行正则化，还可以对与原始图像的属性和分割一致性进行正则化。实验结果表明，我们提出的模型可以保持一致性的属性和分割水平，并显着优于国家的最先进的模型。
2019-08-13 cs.AI cs.CV
Ranking CGANs: Subjective Control over Semantic Image Attributes
University of Bath（巴斯大学）
在本文中，我们研究了使用生成对抗网络在图像生成的任务，根据语义属性的主观措施。与从离散分类标签生成图像的标准（CGAN）不同，我们的架构可以处理连续和离散尺度。给定图像的成对比较，我们的模型RankCGAN执行两个任务：它学习使用主观度量对图像进行排名;它学习可以通过该度量控制的生成模型。RankCGAN将每个感兴趣的主观度量与某个潜在空间的不同维度相关联。我们在UT-Zap 50 K，PubFig和OSR数据集上进行了实验，并证明该模型具有足够的表达力和多样性，可以进行双属性探索和图像编辑。
2018-07-24 cs.CV
A comprehensive survey on semantic facial attribute editing using generative adversarial networks
Amirkabir University of Technology（阿米尔卡比尔理工大学）
由于深度卷积神经网络和生成模型的进步，生成随机照片级真实图像在过去几年中经历了巨大的增长。在不同的领域中，人脸照片受到了极大的关注，并提出了大量的人脸生成和处理模型。语义面部属性编辑是改变面部图像的一个或多个属性的值而图像的其他属性不受影响的过程。所请求的修改被提供为属性向量或以驾驶面部图像的形式，并且整个过程由相应的模型执行。本文综述了语义人脸属性编辑的研究现状和进展。我们涵盖了这些模型的所有相关方面，包括相关的定义和概念，架构，损失函数，数据集，评估指标和应用程序。基于它们的体系结构，最先进的模型进行了分类和研究，编码器解码器，图像到图像，和照片引导模型。目前国家的最先进的方法的挑战和限制进行了讨论。
2022-05-21 cs.CV
Shape-aware Generative Adversarial Networks for Attribute Transfer
Kansas State University（堪萨斯州立大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
生成对抗网络（GANs）已成功应用于许多领域的视觉属性传输，包括人脸图像。这一成功部分归因于人脸具有相似的形状以及眼睛，鼻子和嘴巴的位置在不同的人之间是固定的。当源域和目标域共享不同的形状时，属性传递更具挑战性。在本文中，我们介绍了一个形状感知的GAN模型，能够保持形状时，属性转移，并提出其应用到一些现实世界的领域。与其他最先进的基于GAN的图像到图像翻译模型相比，我们提出的模型能够生成更具视觉吸引力的结果，同时保持迁移学习的结果质量。
2020-10-11 cs.CV
GuidedStyle: Attribute Knowledge Guided Style Manipulation for Semantic Face Editing
Shenzhen University（深圳大学）
虽然无条件生成对抗网络（GANs）在合成高质量和视觉逼真的人脸图像方面取得了重大进展，但仍然缺乏对生成过程的控制，以实现语义人脸编辑。此外，在编辑目标属性时保持其他人脸信息不变仍然是非常具有挑战性的。在本文中，我们提出了一个新的学习框架，称为GuidedStyle，通过用知识网络指导图像生成过程，在StyleGAN上实现语义人脸编辑。此外，我们允许在StyleGAN生成器中的注意力机制自适应地选择单个层进行样式操作。因此，我们的方法能够沿着各种属性执行分离和可控的编辑，包括微笑，眼镜，性别，胡子和头发颜色。定性和定量的结果表明，我们的方法优于其他竞争方法的语义人脸编辑。此外，我们表明，我们的模型也可以应用于不同类型的真实和艺术的人脸编辑，表现出很强的泛化能力。
2020-12-22 cs.CV
A Reference-Based 3D Semantic-Aware Framework for Accurate Local Facial Attribute Editing
Carnegie Mellon University（卡内基梅隆大学）
提出一种融合潜变量与参考图像优势的3D语义感知面部属性编辑框架，通过3D GAN反演和从粗到细的修复策略实现精确、3D一致且保持图像完整性的局部属性修改。
2024-07-29 cs.CV
XVerse: Consistent Multi-Subject Control of Identity and Semantic Attributes via DiT Modulation
Intelligent Creation Team, ByteDance（字节跳动智能创造团队）
针对多主体文本生成图像中身份与语义属性控制易导致伪影和属性纠缠的问题，提出模型 XVerse，通过将参考图像转换为特定于 token 的文本流调制偏移量，在不破坏图像潜变量的前提下实现多主体精确独立控制，显著提升了高保真多主体图像合成能力。
2025-06-26 cs.CV
ELEGANT: Exchanging Latent Encodings with GAN for Transferring Multiple Face Attributes
Peking University（北京大学）
近年来，人脸属性迁移的研究取得了很大的成功。许多模型能够将人脸属性与输入图像进行转换。然而，它们遭受三个限制：（1）不能通过样本生成图像;（2）不能同时传输多个人脸属性;（3）生成的图像质量低，例如低分辨率或伪影。为了解决这些限制，我们提出了一种新的模型，它接收两个图像的相反属性作为输入。我们的模型可以完全相同类型的属性从一个图像到另一个通过交换它们的编码的某些部分。所有的属性都以一种非纠缠的方式编码在潜在空间中，这使得我们能够同时操纵多个属性。此外，我们的模型学习残差图像，以便在更高分辨率的图像上进行训练。在对抗训练的多尺度鉴别器的帮助下，它甚至可以生成具有更精细细节和更少伪影的高质量图像。我们证明了我们的模型的有效性，克服上述三个限制，通过与其他方法的CelebA人脸数据库进行比较。pytorch的实现可以在https://github.com/Prinsphield/ELEGANT上找到。
2018-07-25 cs.CV
FacialGAN: Style Transfer and Attribute Manipulation on Synthetic Faces
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学科学计算跨学科中心）；Manchester Metropolitan University（曼彻斯特城市大学）；IMLA, Offenburg University（奥芬堡大学机器学习与分析研究所）
人脸图像处理是一个生成任务，其中输出的脸被移向一个预期的目标方向方面的面部属性和风格。近年来的作品在风格转换、属性翻译等多种编辑技巧上都取得了很大的成功。然而，目前的方法要么专注于纯粹的风格转移，或翻译的预定义的属性集与有限的交互性。为了解决这个问题，我们提出了FacialGAN，这是一个新颖的框架，可以同时进行丰富的风格传输和交互式面部属性操作。在保持源图像的身份的同时，将目标图像的各种风格转移到源图像。然后，我们将分割掩模的几何信息，以提供一个细粒度的面部属性的操作。最后，提出了一种多目标学习策略，以优化每个特定任务的损失。在CelebA-HQ数据集上进行的实验，以CelebAMask-HQ作为语义掩码标签，显示了我们的模型在风格转换，属性操作，多样性和人脸验证方面产生视觉上引人注目的结果的能力。为了重现性，我们提供了一个交互式开源工具来执行面部操作，以及模型的Pytorch实现。
2021-10-18 cs.CV
STGAN: A Unified Selective Transfer Network for Arbitrary Image Attribute Editing
Harbin Institute of Technology（哈尔滨工业大学）；Baidu Inc.（百度公司）；Peng Cheng Laboratory（鹏城实验室）
任意属性编辑通常可以通过结合编码器-解码器和生成对抗网络来解决。然而，编解码器中的瓶颈层通常会导致模糊和低质量的编辑结果。添加跳跃连接以削弱属性操作能力为代价提高了图像质量。此外，现有的方法利用目标属性向量来引导柔性翻译到期望的目标域。在这项工作中，我们建议从选择性迁移的角度来解决这些问题。考虑到特定的编辑任务肯定只与更改的属性而不是所有的目标属性相关，我们的模型选择性地将目标和源属性向量之间的差异作为输入。此外，选择性传输单元与编码器-解码器相结合，以自适应地选择和修改编码器特征，以增强属性编辑。实验表明，我们的方法（即，STGAN）同时提高了属性操作精度以及感知质量，并且在任意面部属性编辑和季节翻译中表现良好。
2019-04-22 cs.CV
Durian: Dual Reference Image-Guided Portrait Animation with Attribute Transfer
Seoul National University（首尔国立大学）
Durian通过双参考图像引导的方法，实现跨身份属性迁移的面部动画生成，利用自重建机制避免显式配对数据，提升模型泛化能力。
2026-04-06 cs.CV
S2FGAN: Semantically Aware Interactive Sketch-to-Face Translation
Australian National University（澳大利亚国立大学）；CSIRO（联邦科学与工业研究组织）；Curtin University（科廷大学）；North South University（北南大学）
交互式面部图像操作尝试使用照片级真实面部和/或语义掩码作为输入来编辑单个和多个面部属性。在没有照片级真实感图像的情况下（只有草图/掩模可用），以前的方法只检索原始面部，但忽略了在翻译过程中辅助模型可控性和多样性的潜力。本文提出了一个草图到图像的生成框架S2 FGAN，旨在提高用户从简单草图到人脸属性编辑的理解能力和灵活性。该框架修改了生成对抗网络（GANs）上训练的约束潜在空间语义。我们采用两个潜在的空间来控制人脸的外观和调整所需的属性生成的脸。代替通过使用参考图像来约束翻译过程，用户可以命令模型通过在生成过程中涉及语义信息来修饰生成的图像。通过这种方式，我们的方法可以通过仅指定要更改的属性来操作单个或多个面属性。在CelebAMask-HQ数据集上的大量实验结果经验性地显示了我们在这项任务上的卓越性能和有效性。我们的方法成功地优于国家的最先进的方法，属性操纵，利用更大的控制属性强度。
2021-10-11 cs.CV
Learning to Generate Images of Outdoor Scenes from Attributes and Semantic Layouts
Hacettepe University（哈西特佩大学）；Max-Planck Institute for Informatics（马克斯·普朗克信息学研究所）
自动图像合成研究一直在快速增长，深度网络变得越来越有表现力。在过去的几年里，我们已经观察到数字，室内场景，鸟类，椅子等的图像被自动生成。通过引入对象名称、句子、限界框和关键点定位等多种形式的条件变量，增强了图像生成器的表达能力。在这项工作中，我们提出了一种新的深度条件生成对抗网络架构，它的优势来自集成为条件变量的语义布局和场景属性。我们表明，我们的架构是能够在不同的条件下，例如白天，夜晚，阳光下，雾，清晰的对象边界生成逼真的户外场景图像。
2016-12-01 cs.CV
Multi-Attribute Balanced Sampling for Disentangled GAN Controls
Lecnam；CNAM（法国国立高等工业与技术学院（CNAM））；CEA（法国原子能与替代能源委员会（CEA））
可以从预训练的GAN的潜在空间中提取对所生成的数据的各种控制，因为它隐式地编码了训练数据的语义。发现的控件允许在生成的图像中改变语义属性，但通常会导致同时影响多个属性的纠缠编辑。监督方法通常对潜在代码的集合进行采样和注释，然后在潜在空间中训练分类器以识别控件。由于GANs生成的数据反映了原始数据集的偏差，因此产生的语义控制也是如此。我们建议通过对生成的数据进行二次采样来消除过度代表的共现属性，从而在训练分类器之前平衡数据集的语义。我们证明了这种方法的有效性，通过提取解纠缠的线性方向上的两个流行的GAN架构，PGGAN和风格GAN，和两个数据集，CelebAHQ和FFHQ的人脸操作。我们表明，这种方法优于国家的最先进的基于分类器的方法，同时避免了需要解开强制后处理。
2022-01-27 cs.AI cs.CV cs.LG
3D Semantic Subspace Traverser: Empowering 3D Generative Model with Shape Editing Capability
Sichuan University（四川大学）
本文提出3D Semantic Subspace Traverser，通过潜空间GAN与线性子空间模型识别语义维度，实现特定类别3D形状的高质量生成与可控语义编辑。
2023-08-16 cs.CV
Continuous, Subject-Specific Attribute Control in T2I Models by Identifying Semantic Directions
LMU Munich（慕尼黑大学）；TU Munich（慕尼黑工业大学）；ENS Paris-Saclay（巴黎萨克雷高等师范学院）
本文发现 CLIP 文本嵌入中的 token 级语义方向可用于 T2I 扩散模型，并提出无需优化与基于学习的两种识别方法，实现对单个主体多属性的连续、细粒度控制。
2025-03-14 cs.AI cs.CV cs.LG
SemanticSlider3D: Training-Free Continuous Semantic Editing for 3D Objects
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Purdue University（普渡大学）；Fujitsu Research of America（富士通美国研究所）
SemanticSlider3D是一种无需训练的3D物体连续语义编辑技术，通过在先进3D生成模型潜空间构建语义编辑方向，在技术验证与用户研究中均表现优于基线方法，可作为现有3D创作工作流的有效补充。
2026-09-01 cs.CV cs.HC
Towards Disentangling Latent Space for Unsupervised Semantic Face Editing
Pengcheng Laboratory（鹏城实验室）；Shenzhen University（深圳大学）；University of Nottingham（诺丁汉大学）
StyleGAN生成的图像中的面部属性在潜在空间中纠缠在一起，这使得在不影响其他属性的情况下独立控制特定属性变得非常困难。受监督的属性编辑需要带注释的训练数据，这很难获得，并且将可编辑属性限制为具有标签的属性。因此，在一个分离的潜在空间中进行无监督的属性编辑是执行整洁和通用的语义人脸编辑的关键。在本文中，我们提出了一种新的技术，称为结构-纹理独立架构与权重分解和正交正则化（STIA-WO）解开潜在的空间无监督语义人脸编辑。将STIA-WO应用到GAN中，提出了一种StyleGAN STGAN-WO。STGAN-WO利用风格向量进行权值分解，构造完全可控的权值矩阵来调节图像合成，并采用正交正则化方法保证风格向量的每一项只控制一个独立的特征矩阵。为了进一步理清面部属性，STGAN-WO引入了结构-纹理独立架构，其利用两个独立且同分布（i.i.d.）潜在的矢量控制的纹理和结构成分的合成在一个解开的方式。无监督语义编辑是通过沿其正交方向移动粗层中的潜在代码来改变纹理相关属性或改变细层中的潜在代码来操纵结构相关属性。我们目前的实验结果表明，我们的新STGAN-WO可以实现更好的属性编辑比最先进的方法。
2021-07-19 cs.CV
SMILE: Semantically-guided Multi-attribute Image and Layout Editing
Computer Vision Lab ETH Zürich（苏黎世联邦理工学院计算机视觉实验室）；KU Leuven（鲁汶大学）
自生成对抗网络（GANs）引入以来，属性图像处理一直是一个非常活跃的话题。由于面部图像的多个和相互包容的性质，在变换中探索解纠缠的属性空间是一项非常具有挑战性的任务，其中不同的标签（眼镜、帽子、头发、身份等）可以同时共存。几项工作解决了这个问题，或者通过利用每个域/属性的模态使用条件随机向量噪声，或从示例性图像中提取模态。然而，现有的方法不能同时处理多个属性的随机和引用转换，这限制了解决方案的通用性。在本文中，我们成功地利用了多模态表示，处理所有属性，无论是随机噪声或样本图像的指导下，而只使用目标域的基础域信息。我们提出了广泛的定性和定量结果的面部数据集和几个不同的属性，显示了我们的方法的优越性。此外，我们的方法能够通过使用图像作为参考或通过探索风格分布空间来添加，删除或更改细粒度或粗粒度属性，并且可以很容易地扩展到头部交换和面部重现应用程序，而无需在视频上进行训练。
2020-10-05 cs.CV
Generating Attribute-Aware Human Motions from Textual Prompt
针对现有文本驱动人体运动生成方法忽略年龄等属性影响的问题，提出基于结构因果模型的解耦框架，实现文本语义预测与属性控制生成，并构建首个属性标注数据集，验证了模型生成属性感知运动的有效性。
2025-11-13 cs.CV cs.MM
Local Facial Attribute Transfer through Inpainting
Fraunhofer ITWM（弗劳恩霍夫工业数学研究所）；IWR, University of Heidelberg（海德堡大学交互计算与可视化研究所）；Fraunhofer Center Machine Learning（弗劳恩霍夫机器学习中心）；Institute for Machine Learning and Analytics, Offenburg University（奥芬堡大学机器学习与分析研究所）
术语属性转移是指以这样的方式改变图像的任务，即给定输入图像的语义解释朝着预期的方向移动，该方向由语义属性量化。突出的示例应用是面部特征和表情的照片逼真变化，例如改变头发颜色，添加微笑，放大鼻子或改变场景的整个背景，例如将夏季景观转换为冬季全景。属性转移的最新进展大多基于生成式深度神经网络，使用各种技术在生成器的潜在空间中操纵图像。在本文中，我们提出了一种新的方法，本地属性传输的共同子任务，只有一个脸的一部分必须改变，以实现语义的变化（例如，删除胡子）。与以前的方法相比，这种局部变化已经通过生成新的（全局）图像来实现，我们建议将局部属性转移作为一个修复问题来制定。我们的属性转移修复生成对抗网络（ATI-GAN）仅删除和重新生成部分图像，能够利用本地上下文信息来关注属性，同时保持背景不变，从而获得视觉上的声音结果。
2020-10-12 cs.CV eess.IV
Conditioning Diffusion Models via Attributes and Semantic Masks for Face Generation
University of Bologna（博洛尼亚大学）
本文提出基于交叉注意力的扩散模型多条件方法，联合属性与语义掩码实现人脸图像的高质量、多样化及细粒度可控生成，并在 CelebA-HQ 上验证有效性。
2023-09-27 cs.CV
Disentangled Face Attribute Editing via Instance-Aware Latent Space Search
Beijing Institute of Technology（北京理工大学）
最近的研究表明，生成对抗网络（GANs）的潜在空间中存在丰富的语义方向集，这使得各种面部属性编辑应用成为可能。然而，现有的方法可能遭受不良的属性变化解开，导致不想要的改变时，改变所需的一个其他属性。现有的方法使用的语义方向是在属性级，这是很难建模复杂的属性相关性，特别是在属性分布的偏见存在于GAN的训练集。在本文中，我们提出了一种新的框架（IALS），执行实例感知的潜在空间搜索，找到语义方向解开属性编辑。实例信息是通过利用一组属性分类器对输入图像进行评估来注入的。我们进一步提出了一个解纠缠转换（DT）度量来量化属性转换和解纠缠效率，并在此基础上找到属性级和实例特定方向之间的最优控制因子。GAN生成的图像和真实世界图像的实验结果共同表明，我们的方法优于最近提出的最先进的方法。代码可在https://github.com/yxuhan/IALS上获得。
2021-05-27 cs.CV
Fine-grained Semantic Constraint in Image Synthesis
Zhejiang University（浙江大学）
在本文中，我们提出了一个多阶段和高分辨率的图像合成模型，使用细粒度的属性和掩模作为输入。该模型具有细粒度的属性，通过属性中丰富而细粒度的语义信息对生成图像的特征进行详细的约束。以掩码为先验，对模型进行约束，使生成的图像符合视觉感受，从而降低了生成对抗网络生成样本的意外多样性。本文还提出了一种方案，以提高生成对抗网络，同时区分总的图像和图像的子区域。此外，我们还提出了一种优化数据集中标记属性的方法，减少了人工标记噪声。大量的定量结果表明，我们的图像合成模型生成更逼真的图像。
2021-01-12 cs.CV
AttDiff-GAN: A Hybrid Diffusion-GAN Framework for Facial Attribute Editing
GuangDong Province Key Lab of Information Security Technology and School of Computer Science and Engineering（广东信息安全技术重点实验室和计算机科学与工程学院）；School of Cyber Science and Technology, Shenzhen Campus（深圳校区网络科学与技术学院）；Guangdong Laboratory of Machine Perception and Intelligent Computing, Faculty of Engineering（广东机器感知与智能计算实验室，工程学院）
本文提出AttDiff-GAN框架，结合GAN属性操控与扩散图像生成，通过特征级对抗学习和PriorMapper、RefineExtractor提升风格-属性对齐，实现更精确的面部属性编辑。
2026-04-23 cs.CV
SemanticAdv: Generating Adversarial Examples via Attribute-conditional Image Editing
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；The Chinese University of Hong Kong（香港中文大学）；Uber ATG（优步先进技术集团）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出 SemanticAdv 算法，通过操纵解耦的语义属性生成无限制对抗样本，可有效欺骗人脸验证等任务，并对真实黑盒服务实现高成功率攻击，同时适用于街景图像，有助于理解 DNN 脆弱性与防御。
2026-09-16 cs.AI cs.CR cs.CV
The GAN that Warped: Semantic Attribute Editing with Unpaired Data
University of Bath（巴斯大学）；Anthropics Technology Ltd.（Anthropics技术有限公司）；University of Sussex（苏塞克斯大学）
本文提出通过平滑扭曲场进行语义图像编辑，利用生成对抗网络在无配对数据下实现高分辨率人脸编辑，有效保持身份特征。
2020-03-05 cs.CV
SCAM! Transferring humans between images with Semantic Cross Attention Modulation
LIGM, Ecole des Ponts, Univ Gustave Eiffel, CNRS（古斯塔夫·埃菲尔大学 桥路学院 信息学、图形与材料实验室 法国国家科学研究中心）；LIX, CNRS, Ecole Polytechnique, IP Paris（巴黎理工学院 巴黎综合理工学院 计算机科学实验室 法国国家科学研究中心）
最近的一个大机构的工作目标语义条件的图像生成。大多数这样的方法集中在姿势转移的较窄的任务，而忽略了主体转移的更具挑战性的任务，该任务不仅包括转移姿势，还包括转移外观和背景。在这项工作中，我们介绍了SCAM（语义交叉注意力调制），一个系统，编码丰富和多样的信息在每个语义区域的图像（包括前景和背景），从而实现精确的生成，强调精细的细节。这是由语义注意力Transformer编码器和相应的生成器实现的，语义注意力编码器为每个语义区域提取多个潜在向量，相应的生成器通过使用语义交叉注意力调制来利用这些多个潜在向量。它仅使用重建设置进行训练，而受试者转移在测试时执行。我们的分析表明，我们提出的架构是成功的编码在每个语义区域的外观的多样性。在iDesigner和CelebAMask-HD数据集上进行的大量实验表明，SCAM的性能优于SEAN和SPADE;此外，它在主题转移方面开创了新的技术水平。
2022-10-10 cs.AI cs.CV cs.LG
SemDiff: Generating Natural Unrestricted Adversarial Examples via Semantic Attributes Optimization in Diffusion Models
Southern University of Science and Technology（南方科技大学）；The Hong Kong Polytechnic University（香港理工大学）
针对现有扩散模型生成无限制对抗样本（UAEs）缺乏自然性和不可感知性的问题，提出SemDiff方法，通过探索扩散模型语义潜在空间并优化多属性，在确保攻击成功率的同时提升UAEs的自然性与不可感知性，实验验证其性能优于现有方法且能规避多种防御。
2025-04-16 cs.CV cs.LG
Semantic Jitter: Dense Supervision for Visual Comparisons via Synthetic Images
University of Texas at Austin（德克萨斯大学奥斯汀分校）
区分属性中的细微差异是有价值的，但学习进行视觉比较仍然是不平凡的。不仅可能的比较的数量是训练图像数量的二次方，而且对充分跨越细粒度视觉差异空间的图像的访问也是有限的。我们建议通过综合生成的图像来克服监督问题的稀疏性。在最先进的图像生成引擎的基础上，我们对训练图像进行了采样，这些图像显示出对单个属性的轻微修改。用这些例子增强真实训练图像对，然后训练属性排序模型来预测新的真实图像对中属性的相对强度。我们在人脸和时尚图像数据集上的研究结果表明，自举不完美图像生成器可以抵消样本稀疏性，从而实现学习排序。
2017-04-27 cs.CV
Language-Grounded Multi-Domain Image Translation via Semantic Difference Guidance
Department of Artificial Intelligence, Chung-Ang University（人工智能系， Chung-Ang 大学）；Hyundai Mobis；Korea Advanced Institute of Science and Technology（韩国科学技术院）
LACE通过语义差异指导实现多领域图像翻译，结合全局语义与局部结构特征融合及多领域控制机制，提升视觉翻译的保真度和可控性。
2026-01-12 cs.CV
SPDiffusion: Semantic Protection Diffusion Models for Multi-concept Text-to-image Generation
University of Chinese Academy of Sciences（中国科学院大学）
针对多概念文本到图像生成中的语义纠缠问题，提出SPDiffusion模型，通过SP-Extraction和SP-Attn机制解决概念纠缠与属性绑定问题，在现有基准上取得最先进结果。
2025-03-01 cs.CV
SCSA: A Plug-and-Play Semantic Continuous-Sparse Attention for Arbitrary Semantic Style Transfer
Zhejiang University（浙江大学）
针对任意风格迁移在相同语义图像上表现不佳的问题，提出即插即用的语义连续-稀疏注意力机制SCSA，通过结合语义连续注意力和语义稀疏注意力，实现对齐语义区域整体风格并迁移生动纹理，生成高质量语义风格化图像。
2025-03-06 cs.CV
ClsGAN: Selective Attribute Editing Model Based On Classification Adversarial Network
Huazhong Agricultural University（华中农业大学）；Stony Brook University（石溪大学）
近年来，由于编码器-解码器结构和生成对抗网络（GAN）的出现，属性编辑取得了显著的进展。然而，它仍然具有挑战性，在生成高质量的图像与准确的属性转换。针对这些问题，该工作提出了一种新的基于分类对抗网络（简称ClsGAN）的选择性属性编辑模型，该模型在属性传输精度和照片级真实感图像之间表现出良好的平衡。考虑到编解码器结构中跳接导致编辑图像容易受到原始属性的影响，提出了一种上卷积残差网络（Tr-resnet）来选择性地提取源图像和目标标签中的信息。此外，为了进一步提高生成图像的迁移准确率，引入属性对抗分类器（Atta-cls），通过学习属性迁移图像的缺陷，从属性的角度指导生成器。在CelebA上的实验结果表明，我们的ClsGAN在图像质量和传输精度方面优于最先进的方法。此外，还设计了消融研究来验证Tr-resnet和Atta-cls的出色性能。
2020-07-29 cs.CV eess.IV
Assembling Semantically-Disentangled Representations for Predictive-Generative Models via Adaptation from Synthetic Domain
Mythic Inc.（Mythic公司）；Freeus, LLC.（Freeus有限责任公司）；University of Rochester（罗切斯特大学）
深度神经网络可以形成输入数据的高级分层表示。各种研究人员已经证明，这些表示可以用于实现各种有用的应用。然而，这样的表示通常基于数据内的统计，并且可能不符合应用可能需要的语义表示。条件模型通常用于克服这一挑战，但它们需要大量带注释的数据集，这些数据集很难获得，创建成本也很高。在本文中，我们表明，语义对齐表示可以生成，而不是与基于物理的引擎的帮助。这是通过创建具有解耦属性的合成数据集，学习合成数据集的编码器，以及用来自真实域的属性来扩充来自合成域的规定属性来实现的。结果表明，所提出的（SYNTH-VAE-GAN）方法可以构建一个条件预测生成模型的人脸属性，而不依赖于真实的数据标签。
2020-02-23 cs.CV cs.LG eess.IV
TISC: A Text-Driven Image Semantic Communication System for Faithful Reconstruction
The Chinese University of Hong Kong（香港中文大学）
本文提出文本驱动图像语义通信框架TISC，通过树结构属性语义提取（TSASE）和初始噪声优化（INO）机制解决现有方法的语义损失与重建忠实度不足问题，经多数据集实验验证了其有效性。
2026-08-18 cs.CV cs.NI
TransZero: Attribute-guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）；Mohamed bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）；University of Chinese Academy of Sciences（中国科学院大学）
零样本学习（Zero-shot learning，ZRL）的目标是通过将语义知识从可见类转移到不可见类来识别新类。语义知识是从不同类别之间共享的属性描述中学习的，这些属性描述充当用于局部化表示有区别的区域特征的对象属性的强先验，从而实现显著的视觉-语义交互。虽然一些基于注意力的模型已经尝试在单个图像中学习这样的区域特征，但是视觉特征的可转移性和区分性属性定位通常被忽略。在本文中，我们提出了一个属性引导的Transformer网络，称为transZero，细化视觉特征和学习属性定位的歧视性视觉嵌入表示在CNOL。具体而言，TransZero采用特征增强编码器来减轻ImageNet和BML基准之间的跨数据集偏差，并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可转移性。为了学习局部增强的视觉特征，TransZero采用视觉语义解码器，在语义属性信息的指导下，对给定图像中与每个属性最相关的图像区域进行局部化。然后，局部增强的视觉特征和语义向量进行有效的视觉语义嵌入网络中的视觉语义交互。大量的实验表明，TransZero在三个测试基准上达到了最新的技术水平。代码可在以下网址获得：\url{https://github.com/shiming-chen/TransZero}。
2021-12-03 cs.AI cs.CV
Semantic Attribute Matching Networks
Yonsei University（延世大学）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Ewha Womans University（梨花女子大学）
我们提出了语义属性匹配网络（SAM-Net），用于在语义相似的图像之间联合建立对应关系和传输属性，它智能地编织了这两项任务的优点，同时克服了它们的局限性。SAM-Net通过建立可靠对应关系的迭代过程来实现这一点，该过程通过减少图像之间的属性差异并使用学习的对应关系合成属性转移图像来实现。为了使用图像对形式的弱监督来学习网络，我们提出了一种基于属性转移源特征和变形目标特征之间的匹配相似度的语义属性匹配损失。SAM-Net在语义匹配和属性传递的几个基准测试中获得了最先进的性能。
2019-04-05 cs.CV
Semantic Adversarial Attacks on Face Recognition through Significant Attributes
Huazhong University of Science and Technology（华中科技大学）；Zagazig University（扎加齐格大学）
众所周知，人脸识别容易受到对抗性人脸图像的影响。现有的作品工艺通过不加区别地改变单个属性而不知道图像的内在属性来面对对抗性图像。为此，我们提出了一种新的语义对抗攻击，称为SAA-StarGAN，篡改每个图像的重要面部属性。我们通过应用余弦相似性或概率得分来预测最重要的属性。概率得分方法基于训练用于属性预测任务的面部验证模型，以获得每个属性的类别概率得分。预测过程将有助于更轻松有效地制作对抗性人脸图像，并提高对抗性可移植性。然后，我们改变最重要的面部属性，在白盒和黑盒设置中使用一个或多个面部属性进行模仿和躲避攻击。实验结果表明，该方法可以生成多样性和真实感的对抗人脸图像，同时不影响人类对人脸识别的感知。SAA-StarGAN对黑盒模型的攻击成功率达到80.5%，在模拟攻击下比现有方法高出35.5%。在黑盒设置方面，SAA-StarGAN在各种型号上都有很高的攻击成功率。实验证实，预测最重要的属性显着影响对抗攻击在白盒和黑盒设置的成功，并可以提高制作的对抗示例的可移植性。
2023-01-28 cs.AI cs.CV
Learning semantic Image attributes using Image recognition and knowledge graph embeddings
BMSCE（BMSCE（班加罗尔管理与科学学院））
从文本中提取结构化知识传统上用于知识库的生成。然而，其他信息来源，如图像，可以利用到这个过程中，以建立更完整和更丰富的知识库。图像内容的结构化语义表示和知识图谱嵌入可以提供图像实体之间的语义关系的唯一表示。在知识图谱中链接已知实体和使用语言模型学习开放世界图像多年来吸引了大量的兴趣。在本文中，我们提出了一种共享学习方法来学习图像的语义属性相结合的知识图谱嵌入模型与图像的识别属性。所提出的模型前提可以帮助我们理解图像实体之间的语义关系，并通过知识图谱嵌入模型隐式地为提取的实体提供链接。在有限的数据使用自定义的用户定义的知识库的限制下，该模型提出了显着的准确性，并提供了一个新的替代早期的方法。所提出的方法是缩小从大量数据中学习的框架与使用有限的谓词集来推断新知识的框架之间的差距的一步。
2020-09-12 cs.AI cs.CV
Person Re-Identification System at Semantic Level based on Pedestrian Attributes Ontology
VNUHCM-University of Science（越南胡志明市国家大学科技大学）
本文提出统一行人重识别系统，结合行人属性本体、局部多任务DCNN和不平衡数据求解器，利用属性语义预过滤候选并解决数据不平衡，在Market1501上取得更高性能。
2025-06-04 cs.AI cs.CV
ASMR: Learning Attribute-Based Person Search with Adaptive Semantic Margin Regularizer
POSTECH（浦项科技大学）；Graduate School of AI POSTECH（浦项科技大学人工智能研究生院）
基于属性的人物搜索是寻找与给定的文本属性集最佳匹配的人物图像的任务。这项任务的主要挑战是属性和图像之间的巨大模态差距。为了减少差距，我们提出了一个新的损失学习跨模态嵌入的背景下，基于属性的人搜索。我们把一组属性看作是一类具有相同特征的人。在两种模态的联合嵌入空间中，我们的损失将图像拉近其人类别以进行模态对齐。更重要的是，它将一对人员类别推开由其语义距离自适应确定的边缘，其中距离度量是端到端学习的，使得损失在关联人员类别时考虑每个属性的重要性。我们的损失引导的自适应语义边缘导致更多的歧视性和语义良好安排的分布的人的图像。因此，它使一个简单的嵌入模型能够在公共基准上实现最先进的记录，而无需花里胡哨。
2021-08-10 cs.AI cs.CV cs.LG
Improving Facial Attribute Prediction using Semantic Segmentation
University of Central Florida（中佛罗里达大学）
属性是语义上有意义的特征，其适用性广泛跨越类别边界。它们在描述和识别没有给出明确训练样本的概念时特别重要，\textit{e.g., zero-shot learning}。此外，由于属性是人类可描述的，因此它们可以用于有效的人机交互。在本文中，我们提出采用语义分割，以改善面部属性预测。其核心思想在于许多面部属性描述了局部属性。换句话说，属性出现在面部图像中的概率在空间域中远非均匀。我们建立我们的面部属性预测模型与深度语义分割网络。这利用由语义分割学习的定位线索来引导属性预测的注意力到不同属性自然出现的区域。由于这种方法，除了识别之外，我们还能够定位属性，尽管在训练期间只能访问图像级标签（弱监督）。我们在CelebA和LFWA数据集上评估了我们提出的方法，并取得了优于现有技术的结果。此外，我们表明，在反向问题，语义人脸解析改善时，面部属性。这再次表明，需要对这两项相互关联的任务进行联合建模。
2017-04-27 cs.CV
A Unified Semantic Embedding: Relating Taxonomies and Attributes
Disney Research（迪士尼研究院）
我们提出了一种方法，学习一个有区别的语义空间的对象分类，在那里我们还嵌入辅助语义实体，如超类别和属性。相反，以前的工作，只利用它们作为边信息，我们显式地嵌入到同一个空间，我们嵌入类别，这使我们能够代表一个类别的线性组合的语义实体。通过利用这样一个统一的语义模型，我们强制每个类别由超类别+稀疏属性组合表示，并使用额外的排他性正则化来学习判别组合。
2014-12-09 cs.CV
Spatial and Semantic Consistency Regularizations for Pedestrian Attribute Recognition
University of Chinese Academy of Sciences（中国科学院大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；CAS Center for Excellence in Brain Science and Intelligence Technology（中国科学院脑科学与智能技术卓越创新中心）
近年来行人属性识别的研究在利用复杂网络和注意力机制方面取得了显著进展，但大多数研究都忽略了图像间的关系和一个重要的先验：监控场景下属性的空间一致性和语义一致性。同一个属性在不同的行人图像中的空间位置应该是一致的，\eg、"帽子”属性和"靴子”属性总是分别位于图片的顶部和底部。此外，无论是棒球帽、贝雷帽还是头盔，"hat”属性的固有语义特征都应该是一致的。为了在模型学习过程中充分利用图像间关系并聚合人类先验知识，我们构建了一个空间和语义一致性（SSC）框架，该框架由两个互补的正则化组成，以实现每个属性的空间和语义一致性。具体来说，我们首先提出了一个空间一致性正则化，专注于可靠和稳定的属性相关区域。基于精确的属性位置，我们进一步提出了一个语义一致性正则化提取内在和歧视性的语义特征。我们对流行的基准测试进行了广泛的实验，包括PA100K，RAP和PETA。实验结果表明，该方法在不增加参数的情况下，与现有方法相比，具有较好的性能。
2021-09-13 cs.CV
Facial Attribute Transformers for Precise and Robust Makeup Transfer
University of Rochester（罗切斯特大学）；Megvii（旷视科技）；Beihang University（北京航空航天大学）
在本文中，我们解决化妆转移的问题，其目的是从参考脸化妆移植到源脸，同时保持源的身份。现有的化妆转移方法在生成逼真的化妆人脸方面取得了显着的进展，但在色彩逼真度和空间变换方面表现不佳。为了解决这些问题，我们提出了一种新的面部属性Transformer（FAT）及其变体空间FAT高质量的化妆转移。受自然语言处理中的Transformer的启发，FAT能够对源人脸和参考人脸之间的语义对应和交互进行建模，进而精确估计和传递人脸属性。为了进一步促进面部部位的形状变形和变换，我们还将薄板样条（TPS）集成到FAT中，从而创建了空间FAT，这是第一种除了颜色和纹理之外还可以传递几何属性的方法。大量的定性和定量实验表明，我们提出的FAT在以下方面的有效性和优越性：（1）确保高保真的颜色转移;（2）允许面部部分的几何变换;（3）处理面部变化（如姿态和阴影）和（4）支持高分辨率的人脸生成。
2021-04-07 cs.AI cs.CV
On Symbiosis of Attribute Prediction and Semantic Segmentation
University of Central Florida（中佛罗里达大学）
在本文中，我们提出采用语义分割，以改善个人相关的属性预测。其核心思想在于，一个属性出现在图像中的概率在空间域中是不均匀的。我们建立我们的属性预测模型与深度语义分割网络。这利用由语义分割学习的定位线索来引导属性预测的注意力到不同属性自然出现的区域。因此，除了预测之外，我们还能够定位属性，尽管在训练期间只能访问图像级标签（弱监督）。我们首先提出了基于语义分割的池化和门控，分别表示为SSP和SSG。在前者中，估计的分割掩模用于从多个语义同质区域汇集属性预测网络的最终激活。在SSG中，同样的想法也适用于网络的中间层。SSP和SSG虽然有效，但由于激活的每个通道都与所有语义分割掩码一起被池化/门控，因此会造成大量的存储器利用。为了解决这个问题，我们提出了共生增强（SA），其中我们每个激活通道只学习一个掩码。SA允许模型选择一个或组合（加权叠加）多个语义映射，以便为每个通道生成适当的掩码。SA同时通过利用属性预测的输出逻辑来指导语义分割任务，将相同的机制应用于反向问题。我们评估了我们提出的方法在CelebA和LFWA数据集上的面部属性，同时对WIDER Attribute和Berkeley Attributes of People的全身属性进行基准测试。我们提出的方法取得了优越的结果相比，以前的作品。
2019-11-23 cs.CV
TransZero++: Cross Attribute-Guided Transformer for Zero-Shot Learning
Huazhong University of Science and Technology（华中科技大学）；Nanjing University of Science and Technology（南京理工大学）；Fudan University（复旦大学）；Institute of North Electronic Equipment（北方电子设备研究所）；Peng Cheng Laboratory（鹏城实验室）；Sea AI Lab（Sea人工智能实验室）；Terminus Group（特斯联集团）
零样本学习（Zero-shot learning，简称ZRL）通过将语义知识从可见的类转移到不可见的类来解决新的类识别问题。现有的基于注意力的模型仅使用单向注意力来学习单个图像中的劣区域特征，这忽略了视觉特征的可转移性和区分性属性定位。在本文中，我们提出了一个跨属性引导的Transformer网络，称为transZero++，细化视觉特征，并学习准确的属性定位语义增强的视觉嵌入表示在CNOL。TransZero++由属性$\rightarrow$可视Transformer子网（AVT）和属性$\rightarrow$可视Transformer子网（VAT）组成。具体而言，AVT首先采用特征增强编码器来缓解跨数据集问题，并通过减少区域特征之间纠缠的相对几何关系来提高视觉特征的可传递性。然后，一个属性$\rightarrow$视觉解码器被用来本地化的图像区域最相关的每个属性在一个给定的图像基于属性的视觉特征表示。类似地，VAT使用相似特征增强编码器来细化视觉特征，其进一步应用于视觉$\rightarrow$属性解码器中以学习基于视觉的属性特征。通过进一步引入语义协作损失，这两个属性引导的Transformers通过语义协作学习来相互学习语义增强的视觉嵌入。大量的实验表明，TransZero++在三个具有挑战性的BTL基准测试中取得了最新的结果。代码可在以下网址获得：\url{https…
2022-12-13 cs.AI cs.CV
AttrSeg: Open-Vocabulary Semantic Segmentation via Attribute Decomposition-Aggregation
Coop. Medianet Innovation Center, Shanghai Jiao Tong University（上海交通大学协同媒体网络创新中心）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出AttrSeg框架，通过将类别名称解耦为属性描述并分层聚合，解决开放词汇语义分割中低质量文本类别名称的问题，实验证明其性能优越。
2024-01-06 cs.AI cs.CV
U-Face: An Efficient and Generalizable Framework for Unsupervised Facial Attribute Editing via Subspace Learning
本文提出U-Face框架，通过子空间学习方法解决无监督面部属性编辑中的解耦难题，引入正交非负约束和属性边界向量提升控制能力，采用AIDC算法实现高效优化。
2026-03-14 cs.AI cs.CV
Attribute Mix: Semantic Data Augmentation for Fine Grained Recognition
Shanghai Jiaotong University（上海交通大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
收集细粒度的标签通常需要专家级的领域知识，并且无法扩展。在本文中，我们提出了属性混合，数据增强策略在属性级扩展细粒度的样本。其原理在于细粒度子类别之间的属性特征是共享的，并且可以无缝地在图像之间传递。为了实现这一目标，我们提出了一种自动属性挖掘方法来发现属于同一个超类别的属性，属性混合是通过混合两个图像的语义有意义的属性特征。属性混合是一种简单而有效的数据增强策略，它可以在不增加推理预算的情况下显著提高识别性能。此外，由于属性可以在来自同一超类别的图像之间共享，因此我们使用来自通用域的图像进一步丰富具有属性级别标签的训练样本。广泛使用的细粒度基准测试的实验证明了我们提出的方法的有效性。
2020-07-09 cs.CV
How to Transfer? Zero-Shot Object Recognition via Hierarchical Transfer of Semantic Attributes
Institute for Anthropomatics and Robotics（拟人学与机器人学研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
基于属性的知识转移在视觉对象分析和学习以前看不见的类中已经被证明是非常成功的。然而，常见的方法学习和传输属性，而不考虑源集中类别之间的嵌入结构。这些信息提供了重要的线索属性内的变化。我们建议捕捉这些变化的分层模型，扩展了知识源与属性的额外抽象级别。我们还提供了一种新的传输方法，可以选择适当的属性与一个看不见的类共享。我们在三个公共数据集上评估了我们的方法：aPascal，具有属性的动物和CUB-200-2011鸟类。实验结果表明，我们的模型的有效性与国家的最先进的显着改善。
2016-04-01 cs.CV
Automatic Discovery, Association Estimation and Learning of Semantic Attributes for a Thousand Categories
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
基于属性的识别模型，由于其令人印象深刻的性能和他们的能力，以及概括的新类别，已被广泛采用的许多计算机视觉应用。然而，通常属性词汇表和类-属性关联都必须由领域专家或大量注释者手动提供。这是非常昂贵的，并且不一定是最佳的识别性能，最重要的是，它限制了基于属性的模型对大规模数据集的适用性。为了解决这个问题，我们提出了一种端到端的无监督属性学习方法。我们利用在线文本语料库自动发现一个突出的和歧视性的词汇，以及与人类的概念的语义属性。此外，我们提出了一个深度卷积模型来优化类属性关联，该模型具有语言先验，可以解释文本中的噪声和缺失数据。在对ImageNet的全面评估中，我们证明了我们的模型能够大规模有效地发现和学习语义属性。此外，我们证明了我们的模型在三个数据集上的零样本学习中表现优于最先进的模型：ImageNet，具有属性的动物和aPascal/aYahoo。最后，我们在ImageNet上启用了基于属性的学习，并将共享属性和关联以供未来研究。
2017-04-12 cs.CV
