AutoGAN-Distiller: Searching to Compress Generative Adversarial Networks
Rice University（莱斯大学）；Texas A&M University（德克萨斯农工大学）
本文提出AutoGAN-Distiller框架，将AutoML与知识蒸馏结合，在资源约束下端到端搜索高效生成器，实现通用、自动化且无需判别器的GAN压缩，在图像翻译和超分辨率任务上取得优于现有方法的轻量模型。
2025-01-04 cs.CV cs.LG eess.IV
Semantic-guided Adversarial Diffusion Model for Self-supervised Shadow Removal
School of Artificial Intelligence, Nanjing Normal University（南京师范大学人工智能学院）
本文提出语义引导对抗扩散框架，通过SG-GAN生成粗略结果并构建合成配对数据，再用扩散恢复模块细化纹理细节，结合多模态语义提示器提升自监督阴影去除质量。
2024-07-01 cs.CV
RIS-GAN: Explore Residual and Illumination with Generative Adversarial Networks for Shadow Removal
Wuhan University of Science and Technology（武汉科技大学）；Kitware Inc.（Kitware公司）；Wuhan University（武汉大学）
残差图像和光照估计在图像增强中被证明是非常有用的。在本文中，我们提出了一个通用的和新颖的框架RIS-GAN，它利用生成对抗网络来探索残留和照明，以消除阴影。与粗略阴影去除图像相结合，估计的负残差图像和逆照明图可以用于生成间接阴影去除图像，从而以粗略到精细的方式将粗略阴影去除结果细化为精细无阴影图像。设计了三个鉴别器来区分预测的负残差图像、阴影去除图像和逆光照图与相应的地面实况信息相比较是真实的还是假的。据我们所知，我们是第一个探索残留和照明阴影去除。我们在两个基准数据集上评估我们提出的方法，即，SRD和ISTD，和广泛的实验表明，我们提出的方法实现了优越的性能，以国家的最先进的，虽然我们没有特别的阴影感知组件设计在我们的发电机。
2019-12-24 cs.CV eess.IV
Thermal Infrared Colorization via Conditional Generative Adversarial Network
Nanjing University of Science and Technology（南京理工大学）
将热红外图像转换为真实感的RGB图像是一项具有挑战性的任务。在本文中，我们提出了一种深度学习方法来弥合这一差距。我们建议使用保留细节的粗到细生成器来学习变换映射。由于标准的均方损失不能很好地惩罚彩色图像和地面实况图像之间的距离，我们提出了一个复合损失函数，结合内容，对抗，感知和总变化损失。内容损失用于恢复全局图像信息，而后三种损失用于合成局部真实感纹理。定量和定性实验表明，我们的方法显着优于现有的方法。
2018-11-05 cs.CV
TARO: Temporal Adversarial Rectification Optimization Using Diffusion Models as Purifiers
Department of Computer Science（计算机科学系）；University of Illinois Chicago（伊利诺伊大学芝加哥分校）
TARO通过构建时序引导的分数先验，结合多视角去噪，实现对抗样本的鲁棒修正与语义保留，提升零样本下的鲁棒性。
2026-05-08 cs.CV cs.LG
MGAN-CRCM: A Novel Multiple Generative Adversarial Network and Coarse-Refinement Based Cognizant Method for Image Inpainting
Bangladesh University of Professionals（孟加拉国专业大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）；University of New South Wales (UNSW)（新南威尔士大学（UNSW））；Charles Sturt University（查尔斯特大学）
本文提出MGAN-CRCM架构，结合多重GAN与ResNet进行图像修复，通过转置卷积GAN、FR-CNN和Co-Mod GAN分别实现盲修复、目标移除和细化，在多个基准数据集上取得优于现有方法的准确率。
2024-12-25 cs.CV cs.LG eess.IV
Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks
Courant Institute（库朗研究所）；New York University（纽约大学）；Facebook AI Research（Facebook人工智能研究院）
在本文中，我们介绍了一个生成参数模型能够产生高质量的自然图像样本。我们的方法使用拉普拉斯金字塔框架内的卷积网络级联，以粗到细的方式生成图像。在金字塔的每一层，使用生成对抗网络（GAN）方法（Goodfellow等人）训练单独的生成convnet模型。从我们的模型中提取的样本的质量明显高于其他方法。在人类评估人员的定量评估中，我们的CIFAR10样本在大约40%的时间内被误认为是真实图像，而从GAN基线模型中提取的样本只有10%。我们还展示了在LSUN场景数据集的高分辨率图像上训练的模型的样本。
2015-06-18 cs.CV
The Robust Manifold Defense: Adversarial Training using Generative Models
UT Austin（德克萨斯大学奥斯汀分校）；MIT EECS（麻省理工学院电子工程与计算机科学系）
我们提出了一种新的攻击类型，为图像分类器寻找对抗性的例子。我们的方法利用spatial，即深度神经网络，其输入空间是低维的，其输出范围近似于感兴趣的图像集。生成器可以是GANs的生成器或VAE的解码器。我们攻击的关键思想是搜索潜在代码对，以找到生成具有不同分类器输出的附近图像的代码对。我们认为，我们的攻击比搜索真实图像的扰动更强。此外，我们证明了我们更强的攻击可以用于将Defense-GAN的准确率降低到3%，解决了Athalye等人的著名论文中的一个公开问题。我们将我们的攻击与正常的对抗训练相结合，以获得最强大的已知MNIST分类器，显着提高了对抗PGD攻击的最新技术水平。我们的公式涉及到解决一个最小-最大问题，其中最小玩家设置分类器的参数，最大玩家运行我们的攻击，因此正在搜索搜索引擎的{ \em低维}输入空间中的对抗性示例。所有代码和型号均可在\url{https://github.com/ajiljalal/manifold-defense.git}上获得
2019-07-10 cs.CR cs.CV cs.LG
DTSGAN: Learning Dynamic Textures via Spatiotemporal Generative Adversarial Network
University of California San Diego（加州大学圣迭戈分校）；Georgia Institute of Technology（佐治亚理工学院）；Northeastern University（东北大学）；Northern Arizona University（北亚利桑那大学）
提出时空生成对抗网络DTSGAN，通过捕捉运动与内容分布从单一动态纹理学习，并采用多尺度生成与数据更新策略避免模式崩溃，实现了高质量动态纹理与自然运动的生成。
2024-12-22 cs.CV
Frame Interpolation with Multi-Scale Deep Loss Functions and Generative Adversarial Networks
Twitter（推特）
帧内插尝试在给定一个或多个连续视频帧的情况下合成帧。近年来，深度学习方法，特别是卷积神经网络，已经成功地解决了包括帧内插在内的低级和高级计算机视觉问题。这些技术通常解决两个问题，即算法效率和重建质量。在本文中，我们提出了一个多尺度生成对抗网络帧插值（\mbox{FIGAN}）。为了最大限度地提高我们的网络的效率，我们提出了一种新的多尺度残差估计模块，其中预测流和合成帧以粗到细的方式构建。为了提高合成的中间视频帧的质量，我们的网络在不同的级别上与感知损失函数联合监督，感知损失函数由对抗性损失和两个内容损失组成。我们评估所提出的方法，使用60 fps的视频从YouTube-8 m的集合。我们的研究结果提高了最先进的准确性，并提供了主观视觉质量相媲美的最佳性能插值方法在x47更快的运行时间。
2019-02-26 cs.CV
Unsupervised Image-to-Image Translation with Stacked Cycle-Consistent Adversarial Networks
Tencent AI Lab（腾讯人工智能实验室）；Fudan University（复旦大学）
最近关于无监督图像到图像翻译的研究通过训练一对具有周期一致损失的生成对抗网络取得了显着进展。然而，当图像分辨率较高或两个图像域具有显著的外观差异时，例如Cityscapes数据集中语义布局和自然图像之间的转换，这种无监督方法可能会生成较差的结果。在本文中，我们提出了一种新的堆叠循环一致性对抗网络（SCANs），通过将单个翻译分解为多阶段变换，不仅提高了图像翻译质量，而且还以粗到细的方式实现了更高分辨率的图像到图像的翻译。此外，为了适当地利用来自前一级的信息，设计了自适应融合块来学习当前级的输出和前一级的输出的动态积分。在多个数据集上的实验表明，与以前的单阶段无监督方法相比，我们提出的方法可以提高翻译质量。
2018-07-28 cs.CV
Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks
University of Southern California（南加州大学）；US Army Research Laboratory（美国陆军研究实验室）
卷积神经网络的最新进展已经在3D形状完成中显示出有希望的结果。但由于GPU内存的限制，这些方法只能产生低分辨率的输出。为了用语义可扩展性和上下文细节来修补3D模型，我们引入了一个混合框架，该框架结合了3D编码器-解码器生成对抗网络（3D-ED-GAN）和长期递归卷积网络（LRCN）。3D-ED-GAN是一种3D卷积神经网络，采用生成对抗范式进行训练，以低分辨率填充缺失的3D数据。LRCN采用递归神经网络架构来最大限度地减少GPU内存使用，并将编码器-解码器对纳入长短期记忆网络。通过将3D模型处理为2D切片序列，LRCN将粗略的3D形状转换为更完整和更高分辨率的体积。虽然3D-ED-GAN捕获3D形状的全局上下文结构，但LRCN定位细粒度细节。在真实世界和合成数据上的实验结果表明，从损坏的模型重建得到完整和高分辨率的3D对象。
2017-11-17 cs.CV
MsCGAN: Multi-scale Conditional Generative Adversarial Networks for Person Image Generation
Anhui University（安徽大学）
合成具有任意姿态的高质量人物图像具有挑战性。本文提出了一种新的多尺度条件生成对抗网络（MsCGAN），旨在将输入的条件人物图像转换为任意给定目标姿态的合成图像，其外观和纹理与输入图像一致。MsCGAN是一个多尺度对抗网络，由两个生成器和两个鉴别器组成。一个生成器将条件人物图像转换为目标姿态的全局粗图像，另一个是通过局部增强网络来增强合成人物图像的细节质量。然后，两个生成器的输出被合并为合成的、判别式的和高分辨率的图像。另一方面，合成图像被下采样到多个分辨率，作为多尺度小波网络的输入。提出的多尺度生成器和鉴别器处理不同层次的视觉特征，可以有利于合成高分辨率的人与现实的外观和纹理的图像。在Market-1501和DeepFashion数据集上进行了实验，定性和定量结果都证明了所提出的MsCGAN的优越性能。
2020-03-05 cs.CV
Self-Adversarial Training incorporating Forgery Attention for Image Forgery Localization
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；Shenzhen University（深圳大学）
图像编辑技术使人们能够在不留下视觉痕迹的情况下修改图像的内容，因此可能导致严重的安全风险。因此，这些森林的检测和定位变得非常必要和具有挑战性。此外，与其他具有大量数据的任务不同，由于注释困难，通常缺乏用于训练的注释伪造图像。在本文中，我们提出了一种自对抗训练策略和一个可靠的粗到细网络，利用自我注意力机制定位伪造图像中的伪造区域。自注意模块基于逐行高通滤波器块（CW-HPF）。CW-HPF利用特征的通道间关系，并通过高通滤波器提取噪声特征。在CW-HPF的基础上，提出了一种自注意力机制，称为伪造注意力，以捕获丰富的上下文依赖的内在不一致性提取篡改区域。具体来说，我们附加两种类型的注意力模块上的CW-HPF分别在空间维度和通道之间的外部依赖模型的内部相互依赖。我们利用一个由粗到细的网络来增强原始和篡改区域之间的噪声不一致性。更重要的是，针对训练数据不足的问题，我们设计了一种自对抗训练策略，该策略动态地扩展训练数据以实现更鲁棒的性能。具体来说，在每次训练迭代中，我们对我们的网络进行对抗攻击，以生成对抗性示例，并在这些示例上训练我们的模型。大量的实验结果表明，我们提出的算法稳定优于国家的最先进的方法在不同的基准数据集的一个明确的保证金。
2022-02-03 cs.CV cs.MM
Recurrent Semi-supervised Classification and Constrained Adversarial Generation with Motion Capture Data
Polytechnique Montréal（蒙特利尔高等理工学院）；The Montreal Institute for Learning Algorithms（蒙特利尔学习算法研究所）
我们探讨了半监督序列分类和重建的递归编码器多解码器神经网络架构。我们发现，当只有少量标记数据可用时，使用多个重建模块可以帮助模型在分类任务中进行概括，这在实践中经常出现。这样的模型提供了有用的运动的高级表示，允许聚类，搜索和更快地标记新的序列。我们还提出了一个新的，现实的分区一个众所周知的，高质量的运动捕捉数据集更好的评价。我们进一步探索了一种基于条件递归生成对抗网络的未来预测解码器的新配方，为此，我们提出了软约束和硬约束，用于从合成的未来运动和期望的动画目标的所需物理特性中产生的过渡生成。我们发现，使用这样的约束可以稳定用于动画生成的循环对抗架构的训练。
2018-07-11 cs.CV cs.LG
CoFi-UCGen: Coarse-to-Fine Unsupervised Conditional Generation without Label Priors
Department of Electronic Information Engineering, Beihang University（信息工程系，北航）；School of Cyber Science and Technology, Beihang University（网络安全科学与技术学院，北航）；College of Electronic Science, National University of Defense Technology（电子科学学院，国防科技大学）；Institute of Artificial Intelligence, Beihang University（人工智能研究院，北航）
提出粗到细的无监督条件生成框架CoFi-UCGen，通过对抗语义互学习理论和位编码实现无标签条件下的全局与细粒度语义解耦，并利用扩散模型层次调制机制控制生成。
2026-06-04 cs.CV
AdversarialNAS: Adversarial Neural Architecture Search for GANs
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Yitu Technology（依图科技）；Beihang University（北京航空航天大学）；Beijing Forestry University（北京林业大学）
神经结构搜索（Neural Architecture Search，NAS）是一种旨在实现结构设计自动化的方法，在计算机视觉的许多领域都取得了可喜的成果。在本文中，我们提出了一种专门为生成对抗网络（GANs）量身定制的AdversarialNAS方法，以在无条件图像生成任务中搜索更好的生成模型。AdversarialNAS是第一个能够以可区分的方式同时搜索生成器和并行计算器结构的方法。在搜索过程中，所设计的对抗性搜索算法不需要计算任何额外的度量来评估搜索到的网络结构的性能，并且搜索范式考虑了两种网络结构之间的相关性，提高了它们之间的相互平衡性。因此，AdversarialNAS非常高效，仅需1 GPU天即可在建议的大搜索空间（$10^{38}$）中搜索到更优的生成模型。实验证明了该方法的有效性和优越性。所发现的生成模型在CIFAR-10上设置了新的最先进的FID评分$10.87$和极具竞争力的初始评分$8.74$。通过在STL-10上设置新的最先进的FID评分$26.98$和初始评分$9.63$，也证明了其可转移性。代码位于：\url{https://github.com/chengaopro/AdversarialNAS}。
2020-04-08 cs.CV eess.IV
Synthesizing Unrestricted False Positive Adversarial Objects Using Generative Models
ETH Zurich（苏黎世联邦理工学院）；ABB Future Labs（ABB未来实验室）
对抗性示例是被神经网络错误分类的数据点。最初，对抗性示例仅限于向给定图像添加小扰动。最近的工作引入了无限制对抗示例的广义概念，对添加的扰动没有限制。在本文中，我们介绍了一种新的攻击类别，它可以为目标检测创建不受限制的对抗性示例。我们的关键思想是生成与目标对象检测器识别的类无关的对抗对象。与以前的攻击不同，我们使用现成的生成对抗网络（GAN），不需要任何进一步的训练或修改。我们的方法包括搜索潜在的正常空间的GAN的敌对对象被错误地识别的目标对象检测器。我们在常用的Faster R-CNN ResNet-101，Inception v2和SSD Mobilenet v1对象检测器上使用在CIFAR-10上训练的徽标生成iWGAN-LC和SNGAN来评估这种方法。实验结果表明，生成的对抗对象与GANs生成的非对抗对象无法区分，在对象检测器之间可转移，并且在物理世界中具有鲁棒性。这是第一次研究用于目标检测的无限制假阳性对抗示例。
2020-05-19 cs.CR cs.CV cs.LG
CGGAN: A Context Guided Generative Adversarial Network For Single Image Dehazing
School of Computer Science and Engineering, Xi'an University of Technology（西安理工大学计算机科学与工程学院）
图像去雾是计算机视觉应用中非常需要解决的问题。提出了一种新的上下文引导生成对抗网络（CGGAN）用于单幅图像去雾。其中，一个新的新的编码器-解码器被用作发生器。它依次由特征提取网、上下文提取网和融合网组成。特征提取网络作为编码器，用于提取雾度特征。上下文提取网络是一个多尺度并行金字塔解码器，用于提取编码器的深层特征，生成粗去雾图像。融合网络是一个解码器，用于获得最终的无雾图像。为了获得更好的结果，在上下文提取解码器的解码过程中获得的多尺度信息用于指导融合解码器。CGGAN通过在原有的编解码器中引入额外的粗解码器，可以更好地利用编码器提取的深层特征信息。为了保证CGGAN在不同的雾霾场景下有效工作，两个解码器采用了不同的损失函数。实验结果表明，我们提出的CGGAN的优势和有效性，证据的改善，现有的国家的最先进的方法。
2020-05-28 cs.CV cs.MM eess.IV
Face Hallucination with Finishing Touches
Southeast University（东南大学）；University of Technology Sydney（悉尼科技大学）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）；Institute of High Performance Computing（高性能计算研究所）；Australian National University（澳大利亚国立大学）
从低分辨率（LR）非正面人脸图像中获得高质量的正面人脸图像对于许多面部分析应用来说非常重要。然而，主流要么集中在超分辨率近额叶LR脸或额叶化非额叶高分辨率（HR）的脸。对于日常生活中的无约束人脸图像，期望无缝地执行这两个任务。在本文中，我们提出了一种新的生动的脸幻觉生成对抗网络（VividGAN），同时超分辨率和正面化微小的非正面人脸图像。VividGAN由粗糙级和精细级人脸幻觉网络（FHnet）和两个鉴别器组成，即，粗D和细D。粗级FHnet生成正面粗HR面部，然后细级FHnet利用面部组件外观先验，即，细粒度的面部组件，以获得具有真实细节的正面HR面部图像。在精细层次的FHnet中，我们还设计了一个人脸组件感知模块，该模块采用人脸几何形状指导作为线索，精确地对齐和合并正面粗HR人脸和先验信息。同时，两级鉴别器的设计，以捕获的整体轮廓的人脸图像，以及详细的面部特征。粗-D使粗糙的幻觉脸变得直立和完整，而细-D则专注于精细的幻觉脸，以获得更清晰的细节。大量的实验表明，我们的VividGAN实现了照片般逼真的正面HR人脸，在下游任务中达到了卓越的性能，即，人脸识别和表情分类，与其他国家的最先进的方法相比。
2020-10-28 cs.CV
CG-3DSRGAN: A classification guided 3D generative adversarial network for image quality recovery from low-dose PET images
提出CG-3DSRGAN方法，通过分类引导的多任务粗生成器和辅助超分辨率网络Contextual-Net，从低剂量PET图像恢复高质量图像，在所有剂量降低因子上优于现有方法。
2023-04-03 cs.CV eess.IV
Generating Natural Adversarial Examples
University of California（加利福尼亚大学）
由于其复杂的性质，很难描述机器学习模型在部署时可能行为不端或被利用的方式。最近关于对抗性示例的工作，即具有微小扰动的输入导致显著不同的模型预测，有助于通过暴露它们失败的对抗性场景来评估这些模型的鲁棒性。然而，这些恶意扰动通常是不自然的，没有语义意义，并且不适用于复杂的领域，如语言。在本文中，我们提出了一个框架，通过在密集和连续数据表示的语义空间中搜索，利用生成对抗网络的最新进展，生成位于数据流形上的自然且清晰的对抗示例。我们提出了生成的对手，以证明所提出的黑盒分类器的方法的潜力，广泛的应用，如图像分类，文本蕴涵，和机器翻译。我们包括实验表明，生成的对手是自然的，易读的人类，并在评估和分析黑盒分类器有用。
2018-02-23 cs.AI cs.CL cs.CV
Style Generation: Image Synthesis based on Coarsely Matched Texts
本文提出基于文本的风格生成新任务，设计两阶段生成对抗网络，利用粗略匹配文本指导图像风格化，并通过多模态风格合成模块细化风格，验证了方法有效性及实际应用潜力。
2023-09-08 cs.CV cs.MM
ARM: A Confidence-Based Adversarial Reweighting Module for Coarse Semantic Segmentation
粗略标记的语义分割注释容易获得，但因此承担丢失边缘细节和引入背景像素的风险。由于受到固有噪声的阻碍，现有的粗糙注释仅被视为模型预训练的奖励。在本文中，我们试图利用他们的潜力与信心为基础的重新加权策略。为了扩展，基于损失的重新加权策略通常采用高损失值来识别两种完全不同类型的像素，即无噪声注释中的有价值像素和有噪声注释中的错误标记像素。这使得不可能同时执行挖掘有价值的像素和抑制错误标记的像素这两个任务。然而，在预测置信度的帮助下，我们成功地解决了这个困境，并同时执行两个子任务与一个单一的重新加权策略。此外，我们将此策略推广到一个对抗性的重新加权模块（ARM），并严格证明其收敛性。在标准数据集上的实验表明，我们的ARM可以带来一致的改进，无论是粗注释和精细注释。具体来说，ARM构建在DeepLabv3+之上，大幅提高了粗略标记的Cityscapes上的mIoU，并将ADE 20K数据集上的mIoU提高到47.50。
2021-07-24 cs.CV
Generative Adversarial Networks via a Composite Annealing of Noise and Diffusion
Chung-Ang University（中央大学）；University of Haifa（海法大学）
生成对抗网络（GAN）是一个使用一组真实示例生成虚假数据的框架。然而，GAN在训练阶段不稳定。为了稳定GANs，噪声注入被用来以增加方差为代价来扩大真实分布和伪分布的重叠。扩散（或平滑）可以降低数据的内在潜在维度，但它抑制了GANs在训练过程中学习高频信息的能力。基于这些观察结果，我们提出了一种用于GAN训练的数据表示，称为噪声尺度空间（NSS），它递归地将平衡噪声的平滑应用于数据，以便用随机数据替换高频信息，从而实现GANs的粗到细训练。我们基于基准数据集使用DCGAN和StyleGAN2对NSS进行了实验，其中基于NSS的GANs在大多数情况下都优于最先进的技术。
2022-08-01 cs.CV cs.LG
Cross-scale Aligned Supervision for Training GANs
Sungkyunkwan University（全北大学）
针对GAN多尺度生成中跨尺度轨迹未对齐问题，提出CAT（跨尺度对齐Transformer），通过生成器侧一致性正则化对齐中间输出与最终输出，在ImageNet-256上实现FID-50K为1.56。
2026-05-26 cs.AI cs.CV
Differential Diagnosis of Frontotemporal Dementia and Alzheimer's Disease using Generative Adversarial Network
Simon Fraser University（西蒙弗雷泽大学）；Tencent（腾讯）
额颞叶痴呆和阿尔茨海默病是两种常见的痴呆形式，由于其相似的临床症状模式，很容易被误诊为彼此。区分这两种痴呆类型对于确定疾病特异性干预和治疗至关重要。最近在医学图像计算领域开发的基于深度学习的方法为许多二进制分类任务提供了一些最佳性能，尽管其在鉴别诊断中的应用，例如基于神经图像的多种类型痴呆症的鉴别，尚未被探索。在这项研究中，提出了一种新的框架，通过使用生成对抗网络技术来区分FTD，AD和正常对照受试者，使用从磁共振成像扫描中提取的从粗到细的结构尺度的体积特征。在1,954幅图像上进行了10倍交叉验证实验，取得了较高的准确率。通过所提出的框架，我们已经证明，基于生成对抗网络的多尺度结构特征和合成数据增强的组合可以提高区分痴呆子类型等具有挑战性的任务的性能。
2021-09-29 cs.CV eess.IV
Structural Adversarial Objectives for Self-Supervised Representation Learning
University of Chicago（芝加哥大学）
本研究在GAN框架下提出结构对抗目标，通过粗细双粒度特征结构约束与平滑正则化引导判别器学习表征，无需手工数据增强，在多个数据集上达到与对比学习方法相当的表示学习效果。
2023-10-04 cs.CV cs.LG
Multi-View Image Generation from a Single-View
Southwest Jiaotong University（西南交通大学）；National University of Singapore（新加坡国立大学）；Tencent AI Lab（腾讯人工智能实验室）
本文解决了一个具有挑战性的问题--如何从单视图输入生成多视图布料图像。为了从输入中生成具有不同视图的逼真图像，我们提出了一种新的图像生成模型，称为变分GANs，它结合了变分推理和生成对抗网络（GANs）的优势。我们提出的VariGANs模型以粗到细的方式生成目标图像，而不是遭受严重伪影的单次通过。它首先执行变分推理以建模对象的全局外观（例如，形状和颜色）并产生具有不同视图的粗糙图像。以生成的低分辨率图像为条件，然后继续执行对抗学习以填充细节并生成与输入一致的细节图像。在两个服装数据集MVC和DeepFashion上进行的大量实验表明，我们的模型生成的新视图的图像比现有方法生成的图像更合理，在更一致的全局外观以及更丰富和更清晰的细节方面。
2018-02-27 cs.CV cs.MM
Visual Explanations for Convolutional Neural Networks via Latent Traversal of Generative Adversarial Networks
Northwestern University（西北大学）
人工智能，特别是深度神经网络缺乏可解释性，仍然是在实践中实现模型的瓶颈。诸如梯度加权类激活映射（Grad-CAM）之类的流行技术提供了图像中显著特征的粗略映射，这很少能讲述卷积神经网络（CNN）学习的全部内容。使用COVID-19胸部X射线，我们提出了一种方法，用于解释CNN通过利用生成对抗网络（GANs）学习到的内容。我们的GAN框架将肺部结构与COVID-19特征分开。使用该GAN，我们可以通过在GAN的潜在空间中进行插值来可视化胸部X射线照片中的一对COVID阴性肺到COVID阳性肺的过渡，这提供了CNN如何响应肺内的不同特征的细粒度可视化。
2021-11-02 cs.AI cs.CV cs.LG
Searching Realistic-Looking Adversarial Objects For Autonomous Driving Systems
University of Toronto（多伦多大学）
本文改进基于梯度的纹理优化方法，通过引入评估纹理逼真度的“Judge”并将其分数纳入损失，使 NeRF 渲染器同时生成逼真且具对抗性的物体，并比较了四类 Judge 构建策略。
2024-05-19 cs.AI cs.CV
Searching for the Essence of Adversarial Perturbations
National Taiwan University（台湾大学）
神经网络已经在各种机器学习领域中展示了最先进的性能。然而，在输入数据中引入恶意扰动（称为对抗性示例）已被证明会欺骗神经网络预测。这对自动驾驶和文本识别等现实应用构成了潜在风险。为了减轻这些风险，全面了解对抗性例子的机制至关重要。在这项研究中，我们证明了对抗性扰动包含人类可识别的信息，这是神经网络错误预测的关键同谋者，与人们普遍认为人类无法识别的特征在愚弄网络方面发挥着关键作用相反。这种人类可识别特征的概念使我们能够解释对抗性扰动的关键特征，包括它们的存在，不同神经网络之间的可转移性，以及对抗性训练的可解释性。我们还发现了欺骗神经网络的对抗扰动的两个独特性质：掩蔽和生成。另外，当神经网络对输入图像进行分类时，识别出一个特殊的类，即互补类。对抗性扰动中人类可识别信息的存在使研究人员能够深入了解神经网络的工作原理，并可能导致检测和防御对抗攻击的技术的发展。
2023-02-03 cs.CV cs.LG cs.NE
Resolution enhancement in the recovery of underdrawings via style transfer by generative adversarial deep neural networks
University College London（伦敦大学学院）；Oxia Palus（Oxia Palus公司）；University of Cambridge（剑桥大学）
我们应用生成对抗卷积神经网络的风格转移到艺术绘画的x射线中的底画和重影图像的问题，特别注重提高其空间分辨率。我们建立在针对从语义标签映射合成高分辨率照片级真实图像的相关问题开发的神经架构的基础上。我们的神经架构通过生成器和子网络的层次结构实现了高分辨率，在一系列空间分辨率下工作。这种从粗到精的生成器架构可以在每个空间方向上将有效分辨率增加八倍，或者将像素数量总体增加64倍。我们还表明，即使只是几个例子，人类生成的图像分割可以大大提高-定性和定量-生成的图像。我们展示了我们的方法，如莱昂纳多的康乃馨的麦当娜和他的岩石圣母，其中提出了几个特殊的问题，在风格转移，包括缺乏代表性的作品，从中学习和转移风格信息的画。
2021-01-30 cs.CV eess.IV
PC-GANs: Progressive Compensation Generative Adversarial Networks for Pan-sharpening
Northwestern Polytechnical University（西北工业大学）；Xidian University（西安电子科技大学）
多光谱和全色图像的融合通常被称为全色锐化。大多数基于深度学习的泛锐化方法都是通过一步方案来锐化多光谱图像，这在很大程度上取决于网络的重建能力。然而，遥感图像往往具有较大的变化，这些一步法容易产生误差积累，不能很好地保留图像的空间细节和光谱信息。在本文中，我们提出了一种新的两步模型的泛锐化，锐化MS图像通过渐进补偿的空间和光谱信息。首先，使用深度多尺度引导的生成对抗网络来初步增强MS图像的空间分辨率。从粗域中的预锐化MS图像开始，我们的方法然后在具有反向架构的几个生成对抗网络（GANs）上逐步细化空间和光谱残差。整个模型由三重GANs组成，并基于具体架构设计了联合补偿损失函数，使三重GANs能够同时训练。此外，本文提出的空间-光谱残差补偿结构可以推广到其他全色锐化方法中，进一步提高其融合效果。在不同的数据集上进行了大量的实验，结果证明了我们提出的方法的有效性和效率。
2022-07-29 cs.CV eess.IV
Learning from Multi-domain Artistic Images for Arbitrary Style Transfer
University of Maryland, College Park（马里兰大学帕克分校）；Cornell Tech（康奈尔科技校区）；Adobe Research（Adobe研究院）
我们提出了一个快速前馈网络的任意风格传输，它可以生成风格化的图像，以前看不见的内容和风格的图像对。除了传统的基于纹理的深度特征和统计的内容和风格表示之外，我们使用对抗网络来规则化风格化图像的生成。我们的对抗网络从大规模多领域艺术图像中学习图像风格的内在属性。对抗训练是具有挑战性的，因为我们的生成器的输入和输出都是不同的多域图像。我们使用了一个条件生成器，它通过改变深层特征的统计数据来风格化内容，以及一个基于粗略样式类别的条件生成器。此外，我们提出了一个掩码模块来空间决定风格化水平，并通过避免模式坍塌来稳定对抗训练。作为一个副作用，我们的训练过的神经网络可以应用于排名和选择代表性的风格化图像。我们定性和定量地评估所提出的方法，并与最近的风格转移方法进行比较。我们在https://github.com/nightldj/behance_release上发布我们的代码和模型。
2019-04-14 cs.CV cs.LG
Volumetric Medical Image Segmentation: A 3D Deep Coarse-to-fine Framework and Its Adversarial Examples
Johns Hopkins University（约翰斯·霍普金斯大学）；Johns Hopkins University School of Medicine（约翰斯·霍普金斯大学医学院）
尽管深度神经网络已经成为许多2D视觉任务的主导方法，但由于有限的注释3D数据量和有限的计算资源，将其应用于3D任务（例如医学图像分割）仍然具有挑战性。在本章中，通过重新思考将3D卷积神经网络应用于医学图像分割的策略，我们提出了一种新的基于3D的由粗到细的框架来有效地应对这些挑战。所提出的基于3D的框架比2D框架性能更好，因为它可以利用所有三个轴上丰富的空间信息。我们进一步分析了对抗攻击对该框架的威胁，并展示了如何防御攻击。我们在NIH胰腺数据集、JHMI胰腺数据集和JHMI病理囊肿数据集上进行了实验，其中前两个数据集和后一个数据集分别包含健康胰腺和病理胰腺，并在所有数据集上实现了Dice-Sorensen系数（DSC）的当前最先进水平。特别是，在NIH胰腺分割数据集上，我们的表现优于以前的最好的平均超过$2\%$，最差的情况下，$7\%$改善，几乎达到$70\%$，这表明我们的框架在临床应用中的可靠性。
2020-10-29 cs.CV
Adversarial Refinement Network for Human Motion Prediction
City University of Hong Kong（香港城市大学）；Huazhong University of Science and Technology（华中科技大学）；Tencent Youtu Lab（腾讯优图实验室）
人体运动预测的目的是通过给定有限的人体运动作为输入来预测未来的3D骨骼序列。两种流行的方法，递归神经网络和前馈深度网络，能够预测粗略的运动趋势，但可能会丢失肢体运动等运动细节。为了更准确地预测未来的人体运动，我们提出了一种对抗性细化网络（ARNet），它遵循一种简单而有效的粗到细机制，具有新颖的对抗性误差增强。具体来说，我们将历史运动序列和粗略预测作为级联细化网络的输入，以预测细化的人体运动，并通过对抗性误差增强来加强细化网络。在训练过程中，我们通过不同主体之间的对抗机制，通过学习故意引入错误分布。在测试中，我们的级联细化网络消除了来自粗预测器的预测误差，从而稳健地实现了更精细的预测。这种对抗性错误增强提供了丰富的错误案例作为我们的细化网络的输入，从而在测试数据集上获得更好的泛化性能。我们在三个标准基准数据集上进行了广泛的实验，并表明我们提出的ARNet优于其他最先进的方法，特别是在短期和长期预测中具有挑战性的非周期性行为。
2020-11-24 cs.CV
Coarse to Fine: Domain Adaptive Crowd Counting via Adversarial Scoring Network
Huazhong University of Science and Technology（华中科技大学）；Baidu Inc.（百度公司）；Hong Kong University of Science and Technology（香港科技大学）
最近的深度网络令人信服地展示了在人群计数方面的高能力，这是一项由于其各种工业应用而引起广泛关注的关键任务。尽管取得了这些进展，但由于固有的域转移，训练的数据依赖模型通常不能很好地推广到不可见的场景。为了解决这个问题，本文提出了一种新的对抗性评分网络（ASNet），以逐步弥合从粗到细粒度的跨领域差距。具体而言，在粗粒度阶段，我们设计了一种双自适应策略，通过对抗学习从全局和局部特征空间的角度使源域接近目标。因此，两个域之间的分布可以大致对齐。在细粒度阶段，我们探索源特征的可转移性，通过评分的源样本是如何相似的目标从多个层次的基础上产生的概率从粗阶段。在此基础上，合理选择可传递源特征，以增强适应过程中的知识传递。通过由粗到细的设计，可以有效地缓解由于领域差异而导致的泛化瓶颈。三组迁移实验表明，与主要的无监督方法相比，所提出的方法实现了最先进的计数性能。
2021-07-27 cs.CV cs.MM
Coarse-to-Fine Learning for Multi-Pipette Localisation in Robot-Assisted In Vivo Patch-Clamp
Imperial College London（帝国理工学院）；Imperial-X Initiative（Imperial-X计划）；Department of Bioengineering（生物工程系）
针对在体多微管膜片钳实时定位的挑战，提出基于GAN去噪与两阶段Transformer的粗到细学习方法，实现高精度多微管尖端定位。
2025-03-31 cs.CV cs.LG cs.RO
Explainable Adversarial Attacks on Coarse-to-Fine Classifiers
University of Central Florida（中佛罗里达大学）；Pontifícia Universidade Católica do Rio Grande do Sul（南里奥格兰德天主教大学）
针对多阶段粗到细分类器的对抗攻击缺乏可解释性与研究的问题，本文利用逐层相关性传播（LRP）识别关键特征，提出可解释的基于实例的对抗攻击方法，能引发误分类并增强模型行为的可解释性。
2025-01-19 cs.CR cs.CV cs.LG
Coarse to Fine: Image Restoration Boosted by Multi-Scale Low-Rank Tensor Completion
The University of Hong Kong（香港大学）
现有的低秩张量完备化（LRTC）方法旨在通过对底层完备张量施加全局低秩约束来恢复部分观测张量。然而，这样一个全球排名的假设遭受之间的权衡恢复原来的细节缺乏的部分，忽略了潜在的复杂的对象，使完成性能不满意的双方。为了解决这个问题，我们提出了一种新的和实用的图像复原的策略，恢复部分观察到的张量在一个粗到细（C2F）的方式，摆脱这种权衡，通过搜索适当的本地排名的低，高排名的部分。大量的实验证明了C2F方案的优越性。代码可在https://github.com/RuiLin0212/C2FLRTC上获得。
2022-03-29 cs.CV
Searching for image information content, its discovery, extraction, and representation
图像的信息量是一个复杂而有争议的问题。提出了一种新的图像信息量定义。根据Solomonoff-Kolmogorov-Chaitin的复杂性理论，我们将图像信息内容定义为图像数据结构的一组描述。这种描述的三个级别通常可以区分为：1）全局级别，其中整个场景的粗略结构被初始勾勒; 2）中间级别，其中通常与各个场景对象相关联的分离的、非重叠的图像区域的结构被细化;以及3）低级描述，其中在有限和受限的视场中观察到的局部图像结构被解析。开发了用于创建这样的图像信息内容描述符的技术。给出了算法，并通过实例说明了算法的有效性。
2005-05-02 cs.CV
Cost Volume Pyramid Network with Multi-strategies Range Searching for Multi-view Stereo
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）
多视图立体视觉是计算机视觉中的一个重要研究课题，也是一个具有挑战性的课题。近年来，基于深度学习的方法在这一任务上表现出了优越的性能。基于成本体积金字塔网络的方法以从粗到细的方式逐步细化深度图，在消耗较少内存的同时产生了有希望的结果。然而，这些方法未能充分考虑各阶段成本量的特点，导致对各阶段成本量采用相似的范围搜索策略。在这项工作中，我们提出了一种新的成本体积金字塔为基础的网络与不同的搜索策略的多视图立体视觉。通过选择不同的深度范围采样策略和应用自适应单峰滤波，我们能够在低分辨率阶段获得更准确的深度估计，并迭代地将深度图上采样到任意分辨率。我们在DTU和BlendedMVS数据集上进行了广泛的实验，结果表明我们的方法优于大多数最先进的方法。
2022-07-25 cs.CV
Boosting Fine-Grained Visual Anomaly Detection with Coarse-Knowledge-Aware Adversarial Learning
Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Big Data Analysis and Processing（广东省大数据分析与处理重点实验室）；The Hong Kong Polytechnic University（香港理工大学）；Pazhou Lab（琶洲实验室）
本文提出一种粗粒度知识感知对抗学习方法，通过收集少量粗标注异常数据并对齐重建特征与正常特征分布，抑制自编码器对异常的重建，提升细粒度视觉异常检测与定位精度，在医学和工业数据集上验证了有效性。
2024-12-17 cs.AI cs.CV cs.LG
Understanding Misclassifications by Attributes
University of Amsterdam（阿姆斯特丹大学）；Bosch Center for AI（博世人工智能中心）
在本文中，我们旨在通过研究引入对抗性示例时预测属性的行为来理解和解释深度神经网络的决策。我们研究了标准和对抗性鲁棒网络中干净和对抗性图像的属性变化。我们提出了一个度量来量化对抗性鲁棒网络对对抗攻击的鲁棒性。在标准网络中，针对对抗图像预测的属性与错误的类一致，而针对干净图像预测的属性与真实的类一致。在对抗性鲁棒网络中，正确分类的对抗性图像预测的属性与真实类别一致。最后，我们证明了对网络进行鲁棒化的能力因不同的数据集而异。对于细粒度数据集，它比粗粒度数据集更高。此外，增强网络鲁棒性的能力随着对抗性噪声的增加而增加。
2019-10-15 cs.CV
Coarse-to-fine Semantic Localization with HD Map for Autonomous Driving in Structural Scenes
NullMax（NullMax公司）；School of Information Engineering, Zhengzhou University（郑州大学信息工程学院）
鲁棒和准确的定位是机器人导航和自动驾驶的重要组成部分。使用摄像头进行定位与高清地图（HD地图）提供了一个负担得起的定位传感器集。现有的方法遭受的姿态估计失败，由于错误倾向的数据关联或初始化与准确的初始姿态的要求。在本文中，我们提出了一个具有成本效益的车辆定位系统与高清地图的自动驾驶，使用摄像头作为主要传感器。为此，我们制定了基于视觉的本地化作为一个数据关联问题，将视觉语义映射到高清地图中的地标。具体地，通过组合粗略GPS（全球定位系统）测量和精细位姿搜索，以粗略到精细的方式完成系统初始化。在跟踪阶段，车辆姿态是通过隐式对齐的语义分割结果之间的图像和地标在高清地图与光度一致性。最后，车辆姿态计算的姿态图优化在一个滑动窗口的方式。我们在两个数据集上评估了我们的方法，并证明了所提出的方法在不同的驾驶场景中产生了有希望的定位结果。此外，我们的方法适用于单目相机和多相机，提供了灵活性，提高了定位系统的鲁棒性。
2021-07-06 cs.CV
Biologically Inspired Hierarchical Model for Feature Extraction and Localization
特征提取和匹配是计算机视觉的核心问题。在所有位置和尺度上搜索特征是低效的。神经生理学证据表明，为了在数字图像中定位对象，人类视觉系统将视觉注意力集中到特定对象而忽略其他对象。大脑也有一种从粗到细的搜索机制。在本文中，我们提出了一个特征提取器和相关的层次搜索模型来模拟这样的过程。利用目标的层次化表示，通过较大尺度的匹配实现粗扫描，通过较小尺度的匹配实现精确定位。实验结果证明了该模型的有效性和效率的定位功能。
2006-04-14 cs.CV
C2FNAS: Coarse-to-Fine Neural Architecture Search for 3D Medical Image Segmentation
NVIDIA（英伟达）；The Johns Hopkins University（约翰斯·霍普金斯大学）
3D卷积神经网络（CNN）已被证明在解析3D医学图像中的器官或肿瘤方面非常成功，但在给定不同任务上下文的情况下选择或设计适当的3D网络仍然是复杂和耗时的。最近，神经结构搜索（NAS）被提出来解决这个问题，通过自动搜索最佳的网络结构。然而，由于存储空间的限制和搜索空间的庞大，NAS算法中搜索阶段和部署阶段的不一致性往往存在，当NAS应用于一些耗时耗机的任务时，如三维医学图像分割，这种不一致性会变得更加严重。在本文中，我们提出了由粗到细的神经架构搜索（C2FNAS），可以从头开始自动搜索3D分割网络，而不会在网络大小或输入大小上出现不一致。具体来说，我们将搜索过程分为两个阶段：1）粗略阶段，我们搜索网络的宏观级拓扑，即每个卷积模块如何连接到其他模块; 2）精细阶段，我们基于先前搜索的宏观级拓扑在微观级搜索每个单元中的操作。由粗到精的方法将搜索过程分为两个连续的阶段，同时解决了搜索过程中的不一致性。我们在来自Medical Segmentation Decalthon（MSD）挑战赛的10个公共数据集上评估了我们的方法，并使用一个数据集搜索网络实现了最先进的性能，这证明了我们搜索模型的有效性和通用性。
2020-04-20 cs.CV
Pre-trained Multiple Latent Variable Generative Models are good defenders against Adversarial Attacks
Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genoa（热那亚大学）；University of Verona（维罗纳大学）
提出将预训练多潜变量生成模型 MLVGM 用于无需训练的对抗净化，通过多潜变量解耦并保留类别信息、重采样含噪细节，证明小模型即可媲美传统方法并可作为基础模型。
2024-12-04 cs.CV
Cross-domain Object Detection through Coarse-to-Fine Feature Adaptation
Beihang University（北京航空航天大学）；Beijing Advanced Innovation Center for Big Data and Brain Computing（大数据与脑计算北京高等创新中心）；State Key Laboratory of Software Development Environment（软件开发环境国家重点实验室）；School of Computer Science and Engineering（计算机学院）
近年来，基于深度学习的目标检测取得了很大进展。然而，由于域移位问题，将现成的检测器应用于看不见的域会导致显着的性能下降。为了解决这个问题，本文提出了一种新的粗到精的跨域目标检测特征自适应方法。在粗粒度阶段，与文献中使用的粗略的图像级或实例级特征对齐不同，采用注意力机制提取前景区域，并在公共特征空间中通过多层对抗学习根据边缘分布进行对齐。在细粒度阶段，我们通过最小化具有相同类别但来自不同领域的全局原型的距离来进行前景的条件分布对齐。由于这种由粗到细的特征自适应，前景区域中的领域知识可以有效地转移。在各种跨域检测场景下进行了大量的实验。结果是国家的最先进的，这表明所提出的方法的广泛适用性和有效性。
2020-03-23 cs.CV
SM-NAS: Structural-to-Modular Neural Architecture Search for Object Detection
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Sun Yat-sen University（中山大学）
现有技术的目标检测方法是复杂的，具有各种模块，例如主干、特征融合颈、RPN和RCNN头，其中每个模块可以具有不同的设计和结构。如何平衡计算成本和精度的权衡，以进行结构组合以及多个模块的模块化选择？神经结构搜索（NAS）在寻找最优解方面显示出巨大的潜力。现有的NAS在目标检测方面的工作主要集中在单个模块的优化设计上，如主干或特征融合颈，而忽略了整个系统的平衡性。在本文中，我们提出了一个两个阶段的粗到精的搜索策略命名为结构到模块NAS（SM-NAS）的GPU友好的设计，既有效的模块组合和更好的模块级架构的目标检测。具体而言，结构级搜索阶段首先旨在找到不同模块的有效组合;然后模块级搜索阶段进化每个特定模块，并将帕累托前沿推向更快的任务特定网络。我们考虑一个多目标搜索的搜索空间覆盖了许多流行的设计检测方法。我们通过探索从头开始的快速训练策略，直接搜索检测骨干，而无需预先训练的模型或任何代理任务。由此产生的架构在推理时间和准确性方面主导了最先进的目标检测系统，并证明了对多个检测数据集的有效性，例如，与FPN相比，推理时间减半，额外提高了1% mAP，并且在MaskRCNN的推理时间相似的情况下达到了46% mAP。
2019-11-30 cs.CV
AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks
Zhejiang University（浙江大学）；JD Explore Academy（京东探索研究院）；Tencent AI Lab（腾讯人工智能实验室）；Tencent Data Platform（腾讯数据平台部）；Microsoft（微软）
生成对抗网络（GANs）被公式化为极大极小博弈问题，其中生成器试图通过对抗鉴别器的对抗学习来接近真实数据分布。问题固有的复杂性对提高生成网络的性能提出了挑战。在这项工作中，我们的目标是从网络架构的角度来促进模型学习，将自动架构搜索的最新进展纳入GANs。为此，我们为生成对抗网络提出了一个完全可区分的搜索框架，称为alphaGAN。搜索过程被形式化为求解一个双层minimax优化问题，其中外层目标是在发电机和内部网络参数的条件下寻求一个合适的网络结构，以达到纯纳什均衡，而内部网络参数是在传统的GAN损失下优化的。整个优化过程采用一阶优化方法，以完全可微的方式交替最小化两级目标，使体系结构搜索能够在巨大的搜索空间内完成。CIFAR-10和STL-10数据集上的大量实验表明，我们的算法可以获得高性能的架构，只有3-GPU小时，在一个单一的GPU在搜索空间组成的约2？1011种可能的配置。我们还提供了一个全面的分析搜索过程的行为和搜索架构的属性，这将有利于进一步研究生成模型的架构。预训练的模型和代码可在https://github.com/yuesongtian/AlphaGAN上获得。
2021-08-07 cs.CV cs.LG eess.IV
Multi-organ Segmentation Network with Adversarial Performance Validator
New York University（纽约大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）；Winship Cancer Institute of Emory University（埃默里大学温希普癌症研究所）
计算机断层扫描（CT）图像上的CT器官分割成为现代医学图像分析的重要基础，支持多个领域的临床工作流程。先前的分割方法包括基于2D卷积神经网络（CNN）的方法，其由缺乏轴向视图中的结构知识的CT图像切片馈送，以及基于3D CNN的方法，其在多器官分割应用中具有昂贵的计算成本。本文将对抗性性能验证网络引入2D到3D分割框架。分类器和性能验证器的竞争有助于通过反向传播获得准确的分割结果。所提出的网络以粗到细的方式将2D粗略结果有机地转换为3D高质量分割掩模，从而允许联合优化以提高分割精度。此外，一个特定的器官的结构信息被描绘由一个有意义的先验边界框，这是转化为一个全局特征，利用学习过程中的3D精细分割。在NIH胰腺分割数据集上的实验表明，所提出的网络在小器官分割上达到了最先进的精度，并且优于以前的最佳效果。在我们收集的数据集中，多器官分割的准确性也很高。
2022-04-16 cs.CV eess.IV
LeNo: Adversarial Robust Salient Object Detection Networks with Learnable Noise
Huazhong University of Science and Technology（华中科技大学）
深度神经网络的逐像素预测已成为显著目标检测（SOD）的有效范例，并取得了显着的性能。然而，很少有SOD模型对人类视觉注意力在视觉上不可感知的对抗攻击具有鲁棒性。先前的工作鲁棒显着性（ROSA）洗牌的预分割的超像素，然后通过密集连接的条件随机场（CRF）细化的粗糙显着性图。与ROSA依赖于各种前后处理不同，本文提出了一种轻量级的可学习噪声（LeNo）来防御SOD模型的对抗攻击。LeNo保留了SOD模型在对抗图像和干净图像上的准确性，以及推理速度。一般而言，LeNo由简单的浅层噪声和噪声估计组成，分别嵌入任意SOD网络的编码器和解码器中。受人类视觉注意力机制的中心先验的启发，我们用十字形高斯分布初始化浅层噪声，以更好地防御对抗攻击。所提出的噪声估计仅修改解码器的一个通道，而不是添加用于后处理的额外网络组件。通过在最先进的RGB和RGB-D SOD网络上进行深度监督的噪声解耦训练，LeNo不仅在对抗图像上而且在干净图像上都优于以前的作品，这为SOD提供了更强的鲁棒性。我们的代码可在https://github.com/ssecv/LeNo上获得。
2022-12-07 cs.CV
