AGA-GAN: Attribute Guided Attention Generative Adversarial Network with U-Net for Face Hallucination
Indian Statistical Institute（印度统计研究所）；Østfold University College（东福尔德大学学院）
人脸超分辨率方法的性能依赖于其有效恢复人脸结构和显著特征的能力。尽管基于卷积神经网络和生成对抗网络的方法在面部超分辨率任务上提供了令人印象深刻的性能，但使用与低分辨率图像相关联的属性来提高性能的能力并不令人满意。在本文中，我们提出了一个属性引导注意生成对抗网络，它采用新的属性引导注意（AGA）模块，以识别和集中在图像中的各种面部特征的生成过程。堆叠多个AGA模块能够恢复高级和低级面部结构。我们设计了一个基于高分辨率图像及其相应的面部属性注释之间关系的学习算法来学习判别特征。然后，我们探索使用基于U-Net的架构来改进现有的预测并合成进一步的面部细节。跨多个指标的广泛实验表明，我们的AGA-GAN和AGA-GAN+U-Net框架的性能优于其他几种最先进的人脸幻觉方法。我们还证明了我们的方法的可行性时，每个属性描述符是未知的，从而建立其在现实世界中的应用程序。
2021-11-20 cs.CV
Counterfactual Visual Explanation via Causally-Guided Adversarial Steering
Case Western Reserve University（凯斯西储大学）；New Jersey Institute of Technology（新泽西理工学院）
针对反事实视觉解释忽视因果关系而易产生非预期图像改变的问题，提出 CECAS 框架，用因果引导的对抗性方法避免扰动虚假因素，并在多个基准上取得更优且均衡的解释效果。
2025-09-26 cs.CV
Geometry Guided Adversarial Facial Expression Synthesis
National Laboratory of Pattern Recognition, CASIA（中国科学院自动化研究所模式识别国家重点实验室）；Center for Research on Intelligent Perception and Computing, CASIA（中国科学院自动化研究所智能感知与计算研究中心）；Center for Excellence in Brain Science and Intelligence Technology, CAS（中国科学院脑科学与智能技术卓越创新中心）
人脸表情合成是计算机图形学和模式识别领域的研究热点。它在人脸动画和人脸识别中得到了广泛的应用。然而，它仍然是具有挑战性的，由于高层次的语义存在的大和非线性的面部几何形状的变化。本文提出了一种几何引导的生成对抗网络（G2-GAN），用于照片级真实感和身份保持的面部表情合成。我们采用面部几何形状（基准点）作为可控条件来指导具有特定表情的面部纹理合成。一对生成对抗子网络被联合训练用于相反的任务：表达删除和表达合成。配对网络形成了中性表情和任意表情之间的映射循环，这也促进了其他应用，如人脸传输和表情不变人脸识别。实验结果表明，我们的方法可以产生令人信服的感知结果在各种面部表情合成数据库。一个表情不变的人脸识别实验也进一步显示我们所提出的方法的优点。
2017-12-10 cs.CV
Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal
School of Artificial Intelligence, Nanjing Normal University（南京师范大学人工智能学院）
本文提出语义引导对抗扩散框架，通过SG-GAN生成粗略结果并构建合成配对数据，再用扩散恢复模块细化纹理细节，结合多模态语义提示器提升自监督阴影去除质量。
2024-07-01 cs.CV
Segmentation Guided Image-to-Image Translation with Adversarial Networks
Northeastern University（东北大学）
近年来，图像到图像的翻译受到越来越多的关注，它旨在将一个领域中的图像映射到另一个特定的领域。现有的方法主要通过深度生成模型来解决这个问题，并专注于探索不同领域之间的关系。然而，这些方法忽略了利用更高级别和特定于实例的信息来指导训练过程，导致生成大量不真实的低质量图像。现有的方法在平移期间也缺乏空间可控性。为了解决这些挑战，我们提出了一种新的分割引导的生成对抗网络（SGGAN），它利用语义分割，以进一步提高生成性能，并提供空间映射。特别地，分割器网络被设计为在所生成的图像上施加语义信息。多域人脸图像翻译任务的实验结果表明，我们的空间修改的能力和我们的优越性，在图像质量比几个国家的最先进的方法。
2019-01-23 cs.CV
Matching Thermal to Visible Face Images Using a Semantic-Guided Generative Adversarial Network
Michigan State University（密歇根州立大学）
设计能够将在热光谱中获得的人脸图像与在可见光谱中获得的人脸图像相匹配的人脸识别系统是一个具有挑战性的问题。在这项工作中，我们提出了使用语义引导的生成对抗网络（SG-GAN）自动合成可见的人脸图像从他们的热对应。具体而言，由人脸解析网络提取的语义标签用于计算语义损失函数以在训练期间正则化对抗网络。这些语义线索表示与每个像素相关联的高级面部组件信息。此外，利用身份提取网络来生成多尺度特征以计算身份损失函数。为了实现照片级真实感的结果，在网络训练期间引入感知损失函数，以确保合成的可见人脸在感知上与目标可见人脸图像相似。我们广泛地评估了各个损失函数的好处，并将它们有效地结合起来，学习从热到可见人脸图像的映射。在两个多光谱人脸数据集上的实验表明，该方法在人脸合成和跨光谱人脸匹配方面都取得了良好的效果。
2019-03-03 cs.CV
Reconstructing Perceived Images from Brain Activity by Visually-guided Cognitive Representation and Adversarial Learning
Xidian University（西安电子科技大学）；IIAI；UPenn（宾夕法尼亚大学）
利用功能性磁共振成像（fMRI）测量的人脑活动来重建视觉刺激（图像）是人机协作中一项重要而有意义的任务。然而，fMRI信号与视觉图像之间的不一致分布和表示导致异质性差距。此外，fMRI数据通常是非常高维的，并且包含许多与视觉无关的信息。现有的方法通常遭受这些问题，使得令人满意的重建仍然是具有挑战性的。在本文中，我们表明，这是可能的，以克服这些挑战，通过学习视觉引导的认知潜在表征的功能磁共振成像信号，并逆解码它们的图像刺激。由此产生的框架被称为双变分自编码器/生成对抗网络（D-VAE/GAN），其结合了对抗表示学习与知识蒸馏的优点。此外，我们引入了一种新的三阶段学习方法，使（认知）编码器在学习过程中逐渐从配对（视觉）编码器中提取有用的知识。在人工和自然图像上的大量实验结果表明，我们的方法可以取得令人惊讶的好结果，优于所有其他替代方案。
2019-10-22 cs.CV
SDA-GAN: Unsupervised Image Translation Using Spectral Domain Attention-Guided Generative Adversarial Network
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
这项工作介绍了一种新的GAN架构，用于人脸风格转换任务的无监督图像翻译。一个基于光谱注意力的机制被嵌入到设计中，同时对图像内容进行空间关注。我们证明了神经网络具有在相当大的计算成本内学习复杂变换（如傅立叶变换）的潜力。与仅使用空间注意力的基线模型相比，该模型进行了训练和测试。我们的方法的性能改善是显着的，特别是当源和目标域包括不同的复杂度（减少FID从142.84到49.18）。在平移过程中，由于FFT和频谱注意的实现，引入了频谱填充效应。本文还研究了另一种风格转换任务和真实世界物体翻译。
2021-10-06 cs.CV
DGGAN: Depth-image Guided Generative Adversarial Networks for Disentangling RGB and Depth Images in 3D Hand Pose Estimation
University of California, Irvine（加州大学欧文分校）；Tencent America（腾讯美国）；Amazon（亚马逊）；National Chiao Tung University（国立交通大学）
从RGB图像中估计3D手部姿态对于广泛的潜在应用是必不可少的，但由于从RGB图像中推断深度信息存在大量模糊性，因此具有挑战性。最先进的估计器通过在训练过程中正则化3D手部姿势估计模型来解决这个问题，以加强预测的3D姿势和地面真实深度图之间的一致性。然而，这些估计器在训练过程中依赖于RGB图像和成对的深度图。在这项研究中，我们提出了一种条件生成对抗网络（GAN）模型，称为深度图像引导GAN（DGGAN），以生成基于输入RGB图像的真实深度图，并使用合成的深度图来正则化3D手势估计模型，因此不需要地面真实深度图。在多个基准数据集上的实验结果表明，DGGAN生成的合成深度图在正则化姿态估计模型方面非常有效，获得了新的最先进的结果估计精度，在RHD、STB和MHP数据集上，平均3D端点误差（EPE）分别显著降低了4.7%、16.5%和6.8%。
2020-12-06 cs.CV
Guided Diffusion Model for Adversarial Purification
Shanghai JiaoTong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；Shanghai AI Laboratory（上海人工智能实验室）
随着深度神经网络（DNN）在各种算法和框架中的广泛应用，安全威胁已成为人们关注的问题之一。对抗攻击干扰基于DNN的图像分类器，其中攻击者可以故意在输入图像上添加不可感知的对抗性扰动以欺骗分类器。在本文中，我们提出了一种新的净化方法，被称为引导扩散模型净化（GARCH），以帮助保护分类器免受对抗攻击。该方法的核心是将净化嵌入到去噪扩散概率模型（DDPM）的扩散去噪过程中，使其扩散过程可以用逐渐增加的高斯噪声来消除对抗性扰动，并且这两种噪声可以在引导去噪过程中同时去除。在我们对各种数据集进行的综合实验中，所提出的Gestival将对抗攻击引起的扰动减少到一个较浅的范围，从而显着提高分类的正确性。在CIFAR10数据集上，GARCH将鲁棒准确率提高了5%，在PGD攻击下达到90.1%。此外，Gandhi在具有挑战性的ImageNet数据集上实现了70.94%的鲁棒性。
2022-06-29 cs.AI cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于生成对抗网络的出现，视频合成技术取得了突破性的进展。然而，现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面，人体姿态可以内在地和可解释地表示运动模式，并且施加几何约束而不管外观如何。在本文中，我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式：合理的运动预测和连贯的外观生成。在第一阶段中，姿态序列生成对抗网络（PSGAN）以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中，语义一致的生成对抗网络（SCGAN）从姿势生成视频帧，同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性，我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明，该方法优于其他国家的艺术。
2018-07-30 cs.CV
Data Generation Scheme for Thermal Modality with Edge-Guided Adversarial Conditional Diffusion Model
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；University of Macau（澳门大学）
本文提出边缘引导条件扩散模型ECDM，利用可见光边缘信息生成像素级对齐的伪热图像，并通过两阶段模态对抗训练过滤可见光特有边缘，在LLVIP上取得优于现有方法的图像生成质量。
2024-08-07 cs.CV
EatGAN: An Edge-Attention Guided Generative Adversarial Network for Single Image Super-Resolution
Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
EatGAN通过引入边缘注意力机制，结合边缘先验显式和隐式利用，提升单图像超分辨率的生成质量与稳定性。
2025-11-21 cs.CV
Adversarial Guided Diffusion Models for Adversarial Purification
Tokyo University of Agriculture and Technology（东京农工大学）；RIKEN Center for Advanced Intelligence Project (RIKEN AIP)（理化学研究所先进智能项目中心）；Hangzhou Dianzi University（杭州电子科技大学）
本文提出对抗引导扩散模型AGDM，通过对抗训练得到的辅助网络在潜在表示中建模不含显式扰动的语义引导，在CIFAR-10、CIFAR-100和ImageNet上同时实现语义保持与扰动去除，显著提升现有扩散模型对抗净化的鲁棒性。
2025-03-11 cs.AI cs.CV
Synthetic CT Skull Generation for Transcranial MR Imaging-Guided Focused Ultrasound Interventions with Conditional Adversarial Networks
Vanderbilt University（范德堡大学）
经颅MRI引导聚焦超声（TcMRgFUS）是一种治疗性超声方法，在MRI引导下将声音无创地通过颅骨聚焦到一个小区域。它在临床上被批准用于热消融丘脑区域，并正在探索用于其他疗法，如血脑屏障开放和神经调节。为了准确地通过颅骨定位超声，发射的波必须在目标区域相长干涉。然而，不同个体颅骨中声速、密度和超声衰减的异质性要求对这些参数进行患者特异性估计以用于最佳治疗计划。CT成像目前是在临床程序期间估计个体颅骨的声学特性的金标准，但是CT成像使患者暴露于辐射并增加治疗所需的成像程序的总数。一种无需CT就能估计颅骨声学参数的方法将是可取的。在这里，我们通过使用基于3D补丁的条件性生成对抗网络合成了常规采集的T1加权MRI的CT图像，并评估了经颅聚焦超声治疗计划合成CT图像的性能。我们使用Kranion和k-Wave声学模拟比较了合成CT与真实CT图像的性能。我们的工作证明了用MR合成CT代替真实CT进行TcMRgFUS规划的可行性。
2022-02-22 cs.CV
Language Guided Adversarial Purification
Indraprastha Institute of Information Technology, Delhi, India（印度德里因陀罗普拉斯塔信息技术学院）
本文提出语言引导的对抗净化框架，利用预训练扩散模型和标签生成器提升对抗鲁棒性，无需专门训练即可优于现有方法。
2023-09-19 cs.CR cs.CV cs.LG
SLGAN: Style- and Latent-guided Generative Adversarial Network for Desirable Makeup Transfer and Removal
The University of Tokyo（东京大学）
当使用生成对抗网络对人脸照片进行化妆时，需要考虑五个特征。这些特征包括（1）面部组件，（2）交互式颜色调整，（3）化妆变化，（4）对姿势和表情的鲁棒性，以及（5）使用多个参考图像。已经提出了几个相关的工作，主要是使用生成对抗网络（GAN）。不幸的是，他们都没有同时解决所有五个特点。本文通过一种创新的风格和潜在引导的GAN（SL GAN）来弥补这一差距。我们提供了一种新的，感性的化妆损失和风格不变的解码器，可以转移化妆风格的基础上直方图匹配，以避免身份移位的问题。在我们的实验中，我们表明，我们的SLGAN是优于或相当于国家的最先进的方法。此外，我们表明，我们的建议可以插值面部化妆图像，以确定独特的功能，比较现有的方法，并帮助用户找到理想的化妆配置。
2020-09-24 cs.CV cs.MM
SdCT-GAN: Reconstructing CT from Biplanar X-Rays with Self-driven Generative Adversarial Networks
Jinan University（暨南大学）；Sun Yat-sen Memorial Hospital of Sun Yat-sen University（中山大学孙逸仙纪念医院）；Griffith University（格里菲斯大学）
本文提出SdCT-GAN模型，通过在判别器引入自编码器结构并应用Sobel梯度引导器整合边缘信息，从双平面X射线重建3D CT图像，有效保留纹理细节，提升了临床诊断质量。
2023-09-10 cs.CV eess.IV
FGF-GAN: A Lightweight Generative Adversarial Network for Pansharpening via Fast Guided Filter
Xi'an Jiaotong University（西安交通大学）
全色锐化是一种广泛应用的遥感图像增强技术。其原理是将输入的高分辨率单通道全色（PAN）图像和低分辨率多光谱图像进行融合，得到高分辨率多光谱（HRMS）图像。现有的深度学习泛锐化方法有两个缺点。首先，需要将两个输入图像的特征沿通道维度连接以重建HRMS图像，这使得PAN图像的重要性不突出，并且还导致高计算成本。二是难以通过人工设计的损失函数提取特征的隐含信息。为此，我们提出了一个生成对抗网络，通过快速引导滤波器（FGF）的泛锐化。在生成器中，用FGF代替了传统的通道级联，在减少参数数量的同时更好地保留了空间信息。同时，融合对象可以通过空间注意模块进行高亮显示。此外，通过对抗性训练可以有效地保留特征的潜在信息。大量实验表明，我们的网络生成的高质量HRMS图像可以超过现有方法，并且参数较少。
2021-11-30 cs.CV eess.IV
Attention-Guided Generative Adversarial Network to Address Atypical Anatomy in Modality Transfer
Wayne State University（韦恩州立大学）；Henry Ford Health System（亨利·福特医疗系统）
最近，在放射治疗中，对使用合成CT（synCT）的仅MR治疗计划的兴趣迅速增长。然而，为包含非典型解剖结构的医学图像开发类解决方案仍然是一个主要的限制。在本文中，我们提出了一种新的空间注意力引导的生成对抗网络（attention-GAN）模型，使用T1加权MRI图像作为输入来生成准确的synCT，以解决非典型解剖结构。对15名脑癌患者的实验结果表明，注意力-GAN优于现有的synCT模型，并在整个头部、骨骼和空气区域分别实现了synCT和CT-SIM之间的平均MAE 85.22 $\pm$ 12.08、232.41 $\pm$ 60.86、246.38 $\pm$ 42.67 Hounsfield单位。定性分析表明，attention-GAN能够使用空间聚焦区域来更好地处理离群值、具有复杂解剖结构的区域或手术后区域，从而为支持近实时仅MR治疗规划提供了强大的潜力。
2021-04-14 cs.CV eess.IV
Score-Guided Generative Adversarial Networks
College of Engineering（工程学院）；Korea University（高丽大学）；School of Electrical Engineering（电气工程学院）
我们提出了一种生成对抗网络（GAN），它使用预先训练的网络引入了评估器模块。所提出的模型，称为分数引导的GAN（ScoreGAN），是用GANs的评估度量来训练的，即，Inception评分，作为训练生成器的粗略指南。通过使用另一个预先训练的网络而不是Inception网络，ScoreGAN规避了Inception网络的过拟合，以便生成的样本不对应于Inception网络的对抗性示例。此外，为了防止过拟合，评价指标仅作为辅助作用，而主要使用GANs的常规目标。使用CIFAR-10数据集进行评估，ScoreGAN的Inception评分为10.36 $\pm$ 0.15，这相当于最先进的性能。此外，为了概括ScoreGAN的有效性，使用另一个数据集进一步评估了该模型，即，CIFAR-100;因此，ScoreGAN优于其他现有方法，其中Fréchet Inception Distance（FID）为13.98。
2020-05-27 cs.CV cs.LG eess.IV
MagGAN: High-Resolution Face Attribute Editing with Mask-Guided Generative Adversarial Network
University at Albany, State University of New York, USA（纽约州立大学奥尔巴尼分校）；Microsoft Corporation, Redmond, USA（微软公司雷德蒙德分部）；Samsung Research America AI Center, USA（三星美国研究公司人工智能中心）；University at Buffalo, State University of New York, USA（纽约州立大学布法罗分校）
我们提出了用于高分辨率人脸属性编辑的面具引导生成对抗网络（MagGAN），其中来自预训练人脸解析器的语义面具用于指导细粒度图像编辑过程。通过引入掩模引导的重建损失，MagGAN学习仅编辑与期望的属性变化相关的面部部分，同时保留与属性无关的区域（例如，帽子，围巾修改'秃头'）。此外，一种新的掩码引导的条件反射策略被引入到生成器中的每个属性变化的影响区域。此外，提出了一个多层次的补丁式的缩放结构，我们的模型高分辨率（$1024 \times 1024$）的脸编辑。在CelebA基准测试上的实验表明，该方法在图像质量和编辑性能方面明显优于现有的最先进的方法。
2020-10-03 cs.AI cs.CV cs.MM
Adversarially Guided Diffusion for LiDAR Range Image Synthesis
School of Electrical and Computer Engineering, National Technical University of Athens（雅典国立技术大学电气与计算机工程学院）；Industrial Systems Institute, Athena Research Center（雅典娜研究中心工业系统研究所）
研究针对二维距离图像分割的无限制对抗攻击，提出基于扩散并利用分割损失对抗引导的方法，在SemanticKITTI数据集实验，能跨架构转移，相比基线在有效性与现实性间有独特权衡，实现可控退化。
2026-07-14 cs.CV cs.LG
DE-Net: Dynamic Text-guided Image Editing Adversarial Networks
Nanjing University of Posts and Telecommunications（南京邮电大学）；ETH Zürich（苏黎世联邦理工学院）；Huawei Inc.（华为公司）
文本引导的图像编辑模型已经显示出显著的效果。然而，仍然存在两个问题。首先，它们采用固定的操纵模块用于各种编辑要求（例如，颜色改变、纹理改变、内容添加和移除），这导致过度编辑或编辑不足。第二，它们没有明确区分需要文本的部分和与文本无关的部分，这导致编辑不准确。为了解决这些限制，我们提出：（i）一个动态编辑块（DEBlock），它动态地组成不同的编辑模块，以满足不同的编辑需求。(ii)合成预测器（Comp-Pred），其根据对目标文本和源图像的推断来预测DEBlock的合成权重。(iii)动态文本自适应卷积块（DCBlock），其查询源图像特征以区分文本需要部分和文本无关部分。大量的实验表明，我们的DE-Net取得了优异的性能，更正确，更准确地操纵源图像。代码可在\url{https://github.com/tobran/DE-Net}上获得。
2022-08-20 cs.CV cs.MM
Superresolution and Segmentation of OCT scans using Multi-Stage adversarial Guided Attention Training
Rockefeller Neuroscience Institute（洛克菲勒神经科学研究所）；West Virginia University（西弗吉尼亚大学）
光学相干断层扫描（OCT）是一种非侵入性和易于获取的生物标志物（视网膜层的厚度，在OCT扫描中可以检测到），正在研究用于诊断阿尔茨海默病（AD）。这项工作的目的是自动分割的OCT图像，然而，这是一个具有挑战性的任务，由于各种问题，如斑点噪声，小的目标区域，和不利的成像条件。在我们之前的工作中，我们提出了多阶段和多歧视生成对抗网络（MultiSDGAN）来将OCT扫描转换为高分辨率分割标签。在这项研究中，我们的目标是评估和比较MultiSDGAN架构的通道和空间注意力的各种组合，通过捕获丰富的上下文关系来提取更强大的特征图，以提高分割性能。此外，我们开发和评估了一个引导的多阶段注意力框架，在该框架中，我们通过在专门设计的二进制掩码和生成的注意力地图之间强制L-1损失来引入引导注意力机制。我们在WVU-OCT数据集上进行的五重交叉验证（5-CV）的消融研究结果表明，所提出的具有串行注意力模块的MultiSDGAN提供了最具竞争力的性能，并且通过二进制掩模引导空间注意力特征图进一步提高了我们提出的网络的性能。与基线模型相比，我们的研究结果表明，增加了引导注意的Dice系数和SSIM的相对改善分别为21.44%和19.45%。
2022-06-10 cs.CV eess.IV
Ambient Lighting Generation for Flash Images with Guided Conditional Adversarial Networks
Universidad Católica San Pablo（圣巴勃罗天主教大学）；Université Paris-Est（巴黎东部大学）
为了应对低光条件下在图像中产生的挑战，摄影师倾向于使用相机闪光灯提供的光线来获得更好的照明。然而，使用相机闪光灯可能会产生强烈的阴影和不均匀的照明，特别是在弱光条件下。以前的研究主要集中在闪光灯图像上的照明规范化;然而，据我们所知，没有以前的研究已经检查了侧面阴影去除，过度曝光区域的重建，以及合成环境阴影或场景对象的自然色调的生成。为了在闪光灯图像上提供更自然的照明并确保高频细节，我们提出了一种引导条件模式的生成对抗网络。我们表明，这种方法不仅产生自然照明，但也衰减苛刻的阴影，同时产生合成环境阴影。我们的方法在自定义FAID数据集上取得了令人鼓舞的结果，优于我们的基线研究。我们还分析了我们的提案的组成部分，以及它们如何影响整体性能，并讨论了未来工作的机会。
2020-02-20 cs.CV cs.LG eess.IV
Adversarial Video Compression Guided by Soft Edge Detection
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们提出了一个使用条件生成对抗网络（GANs）的视频压缩框架。我们依赖于两个编码器：一种是部署标准视频编解码器，另一种是通过下采样流水线、新设计的软边缘检测器和新颖的无损压缩方案来生成低级映射。对于解码，我们使用标准视频解码器以及基于神经网络的解码器，该解码器使用条件GAN进行训练。最近的“深度”视频压缩方法需要多个视频来预训练生成网络以进行插值。与此之前的工作相比，我们的方案在从单个视频和相应的低级地图中获取的数量非常有限的关键帧对上训练生成解码器。经过训练的解码器依靠低级映射的指导产生重构帧，而不需要任何插值。对131个视频的实验表明，我们提出的基于GAN的压缩引擎在非常低的比特率下实现了比H.264或HEVC等主流标准编解码器更高质量的重建。
2018-11-26 cs.CV eess.IV
Structure-Guided Adversarial Training of Diffusion Models
Peking University（北京大学）
针对现有扩散模型训练忽略小批次内样本结构信息的问题，提出结构引导对抗训练方法SADM，通过结构判别器与生成器的极小极大博弈学习样本流形结构，在12个数据集的图像生成等任务上刷新SOTA。
2024-03-04 cs.AI cs.CV cs.LG
Image Augmentation Using a Task Guided Generative Adversarial Network for Age Estimation on Brain MRI
University of Nottingham（诺丁汉大学）
基于磁共振成像（MRI）的脑年龄估计是神经退行性疾病（如阿尔茨海默病、帕金森病、亨廷顿病等）早期诊断的一个活跃研究领域。对于老年人或大脑发育不全的年轻人来说。深度学习方法在许多医学图像分析任务中取得了最先进的性能，包括大脑年龄估计。然而，深度学习模型的性能和泛化能力高度依赖于训练数据集的数量和质量。收集和注释大脑MRI数据都非常耗时。为了克服数据稀缺问题，提出了一种基于生成对抗网络（GAN）的图像合成方法。与现有的基于GAN的方法不同，我们在GAN中的生成器末端集成了一个任务引导分支（用于年龄估计的回归模型）。通过在传统的GAN损失中添加任务引导的损失，学习的低维潜在空间和合成的图像更具任务特异性。它通过将合成图像和真实图像结合起来进行模型训练，有助于提高下游任务的性能。该方法进行了评估，对一个公共的大脑MRI数据集的年龄估计。我们提出的方法优于（统计上显著）基于深度卷积神经网络的回归模型和基于GAN的图像合成方法，而没有任务指导分支。更重要的是，它能够识别图像空间中与年龄相关的大脑区域。代码可以在GitHub上找到（https：//github.com/ruizhe-l/tgb-gan）。
2021-08-03 cs.CV eess.IV
GazeCorrection:Self-Guided Eye Manipulation in the wild using Self-Supervised Generative Adversarial Networks
Shandong University（山东大学）；University of Trento（特伦托大学）；Texas State University（德克萨斯州立大学）
凝视校正的目的是通过操纵眼睛区域将人的凝视重新引导到相机中，并且它可以被认为是特定的图像再合成问题。凝视校正在现实生活中有着广泛的应用，例如凝视相机拍照。在本文中，我们提出了一种新的方法，该方法是基于修复模型来学习从人脸图像中填充丢失的眼睛区域与新的内容表示校正眼睛注视。此外，该模型不需要标注特定的头部姿态和眼睛角度信息的训练数据集，因此，训练数据易于收集。为了保留原始输入中眼睛区域的身份信息，我们提出了一种自引导的预训练模型来学习角度不变性特征。实验表明，我们的模型取得了非常引人注目的凝视校正结果在野生数据集，这是从网站上收集，并将详细介绍。代码可在https://github.com/zhangqianhui/GazeCorrection上获得。
2019-06-03 cs.AI cs.CV
Gradient-Guided Conditional Diffusion Models for Private Image Reconstruction: Analyzing Adversarial Impacts of Differential Privacy and Denoising
School of Computer and Big Data, Minjiang University（闽江学院计算机与大数据学院）；School of Information, Renmin University of China（中国人民大学信息学院）；RMIT University（皇家墨尔本理工大学）；Victoria University（维多利亚大学）
本研究提出两种梯度引导的条件扩散模型方法，无需先验知识即可从带差分隐私噪声的梯度重建私有图像，并通过理论分析与实验验证了噪声、模型架构与重建能力的关系，为隐私风险审计提供新方向。
2024-11-05 cs.AI cs.CV
SCGAN: Saliency Map-guided Colorization with Generative Adversarial Network
City University of Hong Kong（香港城市大学）；the Hang Seng University of Hong Kong（香港恒生大学）；TCL Corporate Research Hong Kong（TCL香港企业研究中心）
给定灰度照片，着色系统估计视觉上合理的彩色图像。传统的方法通常使用语义来着色灰度图像。然而，在这些方法中，只有分类语义信息被嵌入，导致语义混乱和颜色出血在最终的彩色图像。为了解决这些问题，我们提出了一个全自动显着地图引导着色与生成对抗网络（SCGAN）框架。它联合预测彩色化和显着性图，以最大限度地减少彩色图像中的语义混乱和颜色溢出。由于来自预训练的VGG-16-Gray网络的全局特征被嵌入到彩色化编码器中，因此所提出的SCGAN可以用比最先进的方法少得多的数据进行训练，以实现感知上合理的彩色化。此外，我们提出了一种新的显着地图为基础的指导方法。着色解码器的分支用于预测作为代理目标的显著图。此外，两个分层鉴别器分别用于生成的着色和显着图，以加强视觉感知性能。该系统在ImageNet验证集上进行了评估。实验结果表明，SCGAN可以产生更合理的彩色图像比国家的最先进的技术。
2020-11-23 cs.CV cs.MM
An Attention-Guided and Wavelet-Constrained Generative Adversarial Network for Infrared and Visible Image Fusion
Central University of Finance and Economics（中央财经大学）
基于GAN的红外与可见光图像融合方法因其有效性和优越性而受到越来越多的关注。然而，现有的方法采用全局像素分布的源图像作为判别的基础，这不能集中的关键模态信息。此外，基于双阈值的方法遭受鉴别器之间的对抗。为此，我们提出了一个注意力引导和小波约束的GAN红外和可见光图像融合（AWF GAN）。在该方法中，两个独特的判别策略的设计，以提高融合性能。具体地说，我们将空间注意力模块（SAM）引入到生成器中，以获得空间注意力图，然后利用注意力图强制红外图像的识别集中在目标区域。此外，我们将可见光信息的判别范围扩展到小波子空间，使生成器能够恢复可见光图像的高频细节。消融实验表明，我们的方法在消除歧视者之间的对抗的有效性。在公共数据集上的比较实验证明了该方法的有效性和优越性。
2022-10-24 cs.CV eess.IV
Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation
University of Oxford（牛津大学）；University of Hong Kong（香港大学）
我们提出了一种新的轻量级生成对抗网络，使用自然语言描述进行有效的图像操作。为了实现这一点，提出了一种新的词级训练器，它为生成器提供了词级的细粒度训练反馈，以便于训练具有少量参数的轻量级生成器，但仍然可以正确地关注图像的特定视觉属性，然后编辑它们而不会影响文本中未描述的其他内容。此外，由于与每个单词相关的显式训练信号，还可以简化训练器以具有轻量结构。与现有技术相比，我们的方法具有更少的参数，但仍然达到了有竞争力的操作性能。大量的实验结果表明，该方法能够更好地将不同的视觉属性分解，并正确地映射到相应的语义词，从而实现更精确的图像修改，并使用自然语言描述。
2020-10-23 cs.CL cs.CV cs.LG
CG-3DSRGAN: A classification guided 3D generative adversarial network for image quality recovery from low-dose PET images
提出CG-3DSRGAN方法，通过分类引导的多任务粗生成器和辅助超分辨率网络Contextual-Net，从低剂量PET图像恢复高质量图像，在所有剂量降低因子上优于现有方法。
2023-04-03 cs.CV eess.IV
Rethinking Robust Adversarial Concept Erasure in Diffusion Models
Beijing University of Posts and Telecommunications（北京邮电大学）；Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University（计算机科学与技术系，人工智能研究院，清华大学）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）
针对扩散模型中概念擦除的对抗训练忽视概念语义导致拟合不足的问题，提出语义引导的鲁棒对抗概念擦除方法S-GRACE，显著提升擦除性能26%并减少90%训练时间。
2026-07-02 cs.CR cs.CV
Attribute-Guided Encryption with Facial Texture Masking
Johns Hopkins University（约翰斯·霍普金斯大学）
本文提出AGE-FTM方法，通过双流形对抗攻击结合GAN修改面部属性与纹理掩蔽，生成高质量加密人脸图像，在保持自然视觉效果的同时实现对未授权人脸识别系统的高黑盒攻击成功率。
2023-05-22 cs.CR cs.CV
AttentionGAN: Unpaired Image-to-Image Translation using Attention-Guided Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）；Hong Kong University of Sciences and Technology (HKUST)（香港科技大学）；University of Oxford（牛津大学）；University of Trento（特伦托大学）
图像到图像转换中的现有技术方法能够利用未配对的图像数据学习从源域到目标域的映射。虽然现有的方法已经取得了可喜的成果，他们仍然产生视觉伪影，能够翻译低层次的信息，但不能输入图像的高层语义。一个可能的原因是生成器没有能力感知源域和目标域之间最有区别的部分，从而使得生成的图像质量低。在本文中，我们提出了一个新的注意引导生成对抗网络（AttentionGAN）的不成对的图像到图像的翻译任务。AttentionGAN可以识别最具区分力的前景对象，并最大限度地减少背景的变化。AttentionGAN中的注意力引导生成器能够生成注意力掩码，然后将生成输出与注意力掩码融合，以获得高质量的目标图像。相应地，我们还设计了一种新的注意力引导算法，它只考虑关注区域。在8个公共数据集上进行了大量的实验，结果表明，与现有的竞争模型相比，该方法可以有效地生成更清晰，更逼真的图像。该代码可在https://github.com/Ha0Tang/AttentionGAN上获得。
2021-08-16 cs.CV cs.LG eess.IV
Cycle In Cycle Generative Adversarial Networks for Keypoint-Guided Image Generation
University of Trento（特伦托大学）；University of Oxford（牛津大学）；Texas State University（得克萨斯州立大学）；EPFL（洛桑联邦理工学院）
在这项工作中，我们提出了一种新的循环中循环生成对抗网络（C $^2$ GAN）的关键点引导图像生成的任务。建议的C $^2$ GAN是一个跨模态的框架，探索联合开发的关键点和图像数据的交互方式。C $^2$ GAN包含两种不同类型的生成器，即，面向关键点生成器和面向图像生成器。它们都以端到端的可学习方式相互连接，并明确形成三个循环子网络，即，一个图像生成周期和两个关键点生成周期。每一个循环不仅旨在重建输入域，而且还产生有用的输出，涉及到另一个循环的生成。通过这样做，周期相互隐含地约束，这提供了来自两种不同模态的互补信息，并带来了跨周期的额外监督，从而促进了整个网络的更鲁棒的优化。在两个公开数据集上的广泛实验结果，即，Radboud Faces和Market-1501，表明我们的方法是有效的，以产生更逼真的图像相比，国家的最先进的模型。
2020-04-16 cs.CV cs.LG eess.IV
FoleyGAN: Visually Guided Generative Adversarial Network-Based Synchronous Sound Generation in Silent Videos
The University of Texas at San Antonio（德克萨斯大学圣安东尼奥分校）
基于深度学习的视觉到声音生成系统本质上需要开发，特别是考虑到视觉和音频特征随时间的同步性方面。在这项研究中，我们引入了一个新的任务，指导类条件生成对抗网络的时间视觉信息的视频输入的视觉到声音生成任务适应视听模态之间的同步性特征。我们提出的FoleyGAN模型能够调节视觉事件的动作序列，从而产生视觉上对齐的逼真音轨。我们扩展了我们之前提出的自动Foley数据集，以使用FoleyGAN进行训练，并通过人类调查评估我们的合成声音，该调查显示出值得注意的（平均81%）视听同步性能。与其他基线模型和视听数据集相比，我们的方法在统计实验中也表现出色。
2021-07-20 cs.AI cs.CV cs.LG
CGGAN: A Context Guided Generative Adversarial Network For Single Image Dehazing
School of Computer Science and Engineering, Xi'an University of Technology（西安理工大学计算机科学与工程学院）
图像去雾是计算机视觉应用中非常需要解决的问题。提出了一种新的上下文引导生成对抗网络（CGGAN）用于单幅图像去雾。其中，一个新的新的编码器-解码器被用作发生器。它依次由特征提取网、上下文提取网和融合网组成。特征提取网络作为编码器，用于提取雾度特征。上下文提取网络是一个多尺度并行金字塔解码器，用于提取编码器的深层特征，生成粗去雾图像。融合网络是一个解码器，用于获得最终的无雾图像。为了获得更好的结果，在上下文提取解码器的解码过程中获得的多尺度信息用于指导融合解码器。CGGAN通过在原有的编解码器中引入额外的粗解码器，可以更好地利用编码器提取的深层特征信息。为了保证CGGAN在不同的雾霾场景下有效工作，两个解码器采用了不同的损失函数。实验结果表明，我们提出的CGGAN的优势和有效性，证据的改善，现有的国家的最先进的方法。
2020-05-28 cs.CV cs.MM eess.IV
Unified Generative Adversarial Networks for Controllable Image-to-Image Translation
University of Trento（特伦托大学）；Shenzhen Graduate School, Peking University（北京大学深圳研究生院）
我们提出了一个统一的生成对抗网络（GAN），用于可控的图像到图像的翻译，即，由可控结构引导将图像从源域转移到目标域。除了对参考图像的调节外，我们还展示了该模型如何生成可控结构的图像，例如，类标签、对象关键点、人体骨架和场景语义图。该模型由一个发生器和一个以条件图像和目标可控结构为输入的控制器组成。以这种方式，条件图像可以提供外观信息，并且可控结构可以提供用于生成目标结果的结构信息。此外，我们的模型通过三种新的损失来学习图像到图像的映射，即，颜色损失、可控结构引导的循环一致性损失和可控结构引导的自我内容保持损失。此外，我们提出了Fréchet ResNet距离（FRD）来评估生成图像的质量。两个具有挑战性的图像翻译任务的实验，即，手势到手势翻译和跨视图图像翻译，表明我们的模型产生令人信服的结果，并显着优于其他国家的最先进的方法在这两个任务。同时，该框架是一个统一的解决方案，因此它可以应用于解决其他可控结构引导的图像翻译任务，如地标引导的面部表情翻译和关键点引导的人物图像生成。据我们所知，我们是第一个让一个GAN框架在所有这些可控结构引导的图像翻译任务上工作的人。代码可在https://github.com/Ha0Tang/GestureGAN上获得。
2020-09-02 cs.CV cs.LG eess.IV
ROIsGAN: A Region Guided Generative Adversarial Framework for Murine Hippocampal Subregion Segmentation
本文提出ROIsGAN，一种基于U-Net的生成对抗网络，用于小鼠海马体亚区分割，通过区域引导的判别器损失提升分割精度，实验表明其在Dice和IoU指标上均优于传统方法。
2025-05-15 cs.CV cs.LG eess.IV
Collaboratively Guided Adversarial Robust Distillation with Teacher-Favorable Examples
Yunnan University（云南大学）；Yunnan Normal University（云南师范大学）
针对现有对抗蒸馏未充分利用扰动邻域内教师偏好监督的问题，提出CGARD方法，联合优化学生对抗样本与教师协同样本，在CIFAR-10/100上的实验显示其鲁棒性优于强基线。
2026-10-09 cs.CV
Adversarial-Robustness-Guided Graph Pruning
Yongyu Wang（独立研究者）
本文提出了一种对抗鲁棒性引导的图剪枝框架，通过谱对抗鲁棒性评估提升图学习的鲁棒性和效率。
2025-12-09 cs.CV
Prior-Guided Adversarial Initialization for Fast Adversarial Training
University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Institute of Information Engineering, CAS（中国科学院信息工程研究所）；Tencent AI Lab（腾讯人工智能实验室）；Beihang University（北京航空航天大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
快速对抗训练（FAT）有效地提高了标准对抗训练（SAT）的效率。然而，初始FAT遇到灾难性的过拟合，即，抵抗对抗攻击的鲁棒准确度突然且显著地降低。虽然一些FAT变体不遗余力地防止过拟合，但它们牺牲了很多计算成本。在本文中，我们探讨了SAT和FAT的训练过程之间的差异，并观察到FAT的对抗性示例（AE）的攻击成功率在训练后期逐渐变差，导致过拟合。AE由快速梯度符号法（FGSM）生成，初始化为零或随机。在此基础上，通过研究几种初始化策略，提出了一种先验引导的FGSM初始化方法，以避免过拟合，提高了整个训练过程中AE的质量。初始化是通过利用历史上生成的AE而形成的，而没有额外的计算成本。我们进一步提供了所提出的初始化方法的理论分析。我们还提出了一个简单而有效的正则化基于先验指导的初始化，即，当前产生的扰动不应偏离先前引导的初始化太多。正则化器采用历史和当前对抗扰动来指导模型学习。四个数据集上的评估表明，该方法可以防止灾难性的过拟合，并优于最先进的FAT方法。该代码在https://github.com/jiaxiaojunQAQ/FGSM-PGI上发布。
2022-07-18 cs.CV
Defense against Adversarial Attacks Using High-Level Representation Guided Denoiser
Tsinghua University（清华大学）
神经网络容易受到对抗性样本的攻击，这对它在安全敏感系统中的应用构成了威胁。我们提出了高层次的表示指导去噪（HGD）作为防御图像分类。标准的去噪算法存在误差放大效应，其中微小的残余对抗性噪声被逐步放大并导致错误的分类。HGD通过使用损失函数克服了这个问题，该损失函数被定义为由干净图像和去噪图像激活的目标模型的输出之间的差。与目前最先进的大规模图像防御方法集成对抗训练相比，HGD具有三大优势。首先，使用HGD作为防御，目标模型对白盒或黑盒对抗攻击都更鲁棒。其次，HGD可以在图像的一个小子集上训练，并且可以很好地推广到其他图像和看不见的类。第三，HGD可以移植到其他模型上，在NIPS对抗对抗攻击的比赛中，我们的HGD方案获得了第一名，并大幅优于其他模型。
2018-05-08 cs.CV
A Generative Adversarial Approach to Adversarial Attacks Guided by Contrastive Language-Image Pre-trained Model
针对对抗攻击易察觉的问题，提出基于CLIP模型引导的生成对抗攻击方法，融合自然语言语义与集中扰动策略，在多目标场景生成视觉隐蔽的对抗样本，黑盒测试中性能优于或媲美现有技术且视觉保真度更高。
2025-11-16 cs.CV
MS-GAGA: Metric-Selective Guided Adversarial Generation Attack
Columbia University New York, USA（哥伦比亚大学）；Singapore Institute of Technology Singapore（新加坡理工学院）；Duke Kunshan University China（杜克-昆山大学）
MS-GAGA提出两阶段框架，通过双流攻击生成候选并用度量感知选择，在黑盒下生成可迁移且不可察觉的对抗样本，错误分类率提升高达27%。
2025-10-14 cs.CV
Target-Guided Adversarial Point Cloud Transformer Towards Recognition Against Real-world Corruptions
Beijing Institute of Technology（北京理工大学）；The Chinese University of Hong Kong（香港中文大学）
针对现有基于Transformer的点云识别模型易过拟合、抗损坏鲁棒性不足的问题，提出集成对抗显著性标识符与目标引导提示器的APCT架构，通过迭代对抗特征擦除增强全局结构捕捉，在多个损坏基准上达SOTA。
2024-11-01 cs.CV
Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对CLIP对抗微调易过拟合的问题，提出PMG-AFT，通过辅助分支对齐对抗样本特征以保留预训练泛化能力，在15个零样本数据集上显著提升鲁棒与干净准确率。
2024-04-10 cs.CV
Attention-Guided Black-box Adversarial Attacks with Large-Scale Multiobjective Evolutionary Optimization
Anhui University（安徽大学）；Anqing Normal University（安庆师范大学）
由于深度神经网络（DNN）的结构先验知识总是未知的，因此使用黑盒优化来欺骗DNN已经成为一种流行的对抗攻击方式。然而，最近的黑盒对抗攻击在处理高分辨率图像时可能难以平衡其攻击能力和生成的对抗示例（AE）的视觉质量。在本文中，我们提出了一个注意力引导的黑盒对抗攻击的基础上大规模多目标进化优化，称为LMOA。通过考虑图像的空间语义信息，我们首先利用注意图来确定扰动像素。利用注意力机制减少受干扰的像素，而不是攻击整个图像，可以帮助避免臭名昭著的维数灾难，从而提高攻击的性能。其次，采用大规模多目标进化算法遍历显著区域中的约简像素。受益于其特性，生成的AE有可能欺骗目标DNN，同时被人类视觉感知。大量的实验结果验证了所提出的LMOA在ImageNet数据集上的有效性。更重要的是，与现有的黑盒对抗攻击相比，它在生成具有更好视觉质量的高分辨率AE方面更具竞争力。
2022-01-13 cs.CV
Fashion-Guided Adversarial Attack on Person Segmentation
TEHTRIS；National Institute of Informatics（国立情报学研究所）；The Graduate University for Advanced Studies, SOKENDAI（综合研究大学院大学）；University of Tokyo（东京大学）
本文提出了第一个基于对抗性实例的方法来攻击人类实例分割网络，简称人分割网络，这比分类网络更难欺骗。我们提出了一种新的时尚引导对抗攻击（FashionAdv）框架，自动识别目标图像中的可攻击区域，以尽量减少对图像质量的影响。它生成从时尚风格图像中学习的对抗性纹理，然后将它们覆盖在原始图像中的服装区域上，使图像中的所有人对人物分割网络不可见。合成的对抗性纹理是不显眼的，对人眼来说看起来很自然。通过鲁棒性训练和联合攻击目标网络的多个组件，增强了所提出方法的有效性。大量的实验证明了FashionAdv在网络空间中图像操作和存储的鲁棒性以及对人眼的自然表现方面的有效性。代码和数据在我们的项目页面https://github.com/nii-yamagishilab/fashion_adv上公开发布
2021-04-20 cs.CV
Adversarial-Prediction Guided Multi-task Adaptation for Semantic Segmentation of Electron Microscopy Images
College of Computer Science and Technology, Huaqiao University（华侨大学计算机科学与技术学院）
语义分割是电子显微镜图像分析的重要步骤。尽管监督模型已经取得了重大进展，但需要劳动密集型像素级注释是一个主要限制。更复杂的是，由于域转移，监督学习模型可能无法在新数据集上很好地推广。在这项研究中，我们引入了一个对抗预测引导的多任务网络来学习一个经过良好训练的模型在一个新的未标记目标域上的适应。由于目标域上没有标签，因此我们学习了一种编码表示，不仅用于源域上的监督分割，而且用于目标数据的无监督重建。为了提高几何线索的区分能力，我们进一步指导表示学习在语义预测空间的多级对抗学习。公共基准的比较和消融研究证明了我们的方法的最先进的性能和有效性。
2020-04-05 cs.CV
