Differentiable Architecture Search for Adversarially Robust Quantum Computer Vision
Fordham University（福特汉姆大学）；Zhejiang University（浙江大学）；University of Michigan-Dearborn（密歇根大学-德雷本分校）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出了一种混合的量子-经典可微架构搜索框架，通过引入经典噪声层优化量子电路结构和鲁棒性，提升量子神经网络在对抗扰动和硬件噪声下的性能。
2026-01-26 cs.CV quant-ph
DEGAS: Differentiable Efficient Generator Search
Tel Aviv University（特拉维夫大学）
网络架构搜索（NAS）在分类和语义分割等各种任务中实现了最先进的结果。最近，一种基于强化学习的方法被提出用于生成对抗网络（GANs）搜索.在这项工作中，我们提出了一种替代策略，GAN搜索使用的方法称为DEGAS（微分有效的生成器搜索），其重点是有效地找到生成器中的GAN。我们的搜索算法的灵感来自差分架构的搜索策略和全球潜在的优化（GLO）过程。这导致高效且稳定的GAN搜索。找到生成器架构后，可以将其插入到任何现有的框架中进行GAN训练。对于我们在这项工作中使用的CTGAN，新模型的性能优于CIFAR-10和STL的初始得分结果分别为0.25和0.77。与基于强化学习的GAN搜索方法相比，该方法在更短的搜索时间内得到了更好的结果。
2020-12-29 cs.CV cs.LG
PCA-VAE: Differentiable Subspace Quantization without Codebook Collapse
Wake Forest University School of Medicine（威克森林大学医学院）
PCA-VAE通过在线PCA瓶颈替代VQ，实现无需码本的可微子空间量化，提升重建质量并减少潜在位数，同时产生可解释的维度特征。
2026-02-21 cs.CV cs.LG
Encoder-Decoder Generative Adversarial Nets for Suffix Generation and Remaining Time Prediction of Business Process Models
The University of Melbourne（墨尔本大学）
本文提出了一种基于生成对抗网络（GANs）的编码器-解码器架构，该架构以端到端的方式生成活动序列及其时间戳。GANs可以很好地处理图像等可区分的数据。然而，后缀是一系列分类项。为此，我们使用Gumbel-Softmax分布来获得可微连续近似。训练的工作原理是在两个玩家的游戏中让一个神经网络对抗另一个（因此具有“对抗”性质），这导致生成接近地面事实的后缀。从实验评估中可以看出，该方法在预测后缀和相应剩余时间的准确性方面优于基线，尽管使用了朴素的特征编码，并且仅基于控制流和事件完成时间的工程特征。
2020-10-19 cs.LG stat.ML
Image GANs meet Differentiable Rendering for Inverse Graphics and Interpretable 3D Neural Rendering
NVIDIA（英伟达）；University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Waterloo（滑铁卢大学）；Stanford University（斯坦福大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
微分渲染为训练神经网络执行“逆图形”任务铺平了道路，例如从单目照片预测3D几何形状。为了训练高性能的模型，大多数当前的方法依赖于在实践中不容易获得的多视图图像。相比之下，最近合成图像的生成对抗网络（GANs）似乎在训练过程中隐式地获得了3D知识：可以通过简单地操纵潜在代码来操纵对象视点。然而，这些潜在代码通常缺乏进一步的物理解释，因此GANs不能轻易地被反转以执行显式3D推理。在本文中，我们的目标是通过利用可微渲染器提取和解开生成模型学习的3D知识。我们方法的关键是利用GANs作为多视图数据生成器，使用现成的可微分渲染器训练逆图形网络，并将训练的逆图形网络作为教师，将GAN的潜在代码分解为可解释的3D属性。整个架构使用循环一致性损失迭代地训练。我们表明，我们的方法在定量和用户研究方面都显着优于在现有数据集上训练的最先进的逆图形网络。我们进一步展示了解开GAN作为一个可控的3D“神经渲染器”，补充传统的图形渲染器。
2021-04-20 cs.CV cs.LG
Stabilizing Differentiable Architecture Search via Perturbation-based Regularization
UCLA（加州大学洛杉矶分校）
可区分的体系结构搜索（DARTS）是用于识别体系结构的流行NAS解决方案。基于对体系结构空间的不断松弛，DARTS学习可微的体系结构权重，大大降低了搜索成本。然而，随着搜索的进行，它的稳定性受到了挑战，因为它产生了不断恶化的体系结构。我们发现，陡峭的验证损失景观，这导致了一个戏剧性的性能下降时，蒸馏的最终架构，是一个重要的因素，导致不稳定。基于这一观察，我们提出了一种基于扰动的正则化- SmoothDARTS（SDARTS），以平滑损失景观并提高基于DARTS的方法的泛化能力。特别是，我们的新配方稳定DARTS为基础的方法，无论是随机平滑或对抗攻击。NAS-Bench-1 Shot 1上的搜索轨迹证明了我们方法的有效性，并且由于稳定性的提高，我们在4个数据集上的各种搜索空间上实现了性能增益。此外，我们在数学上表明，SDARTS隐式地正则化了验证损失的Hessian范数，这导致了更平滑的损失景观和更好的性能。
2021-01-12 cs.CV cs.LG stat.ML
Inferring 3D Shapes from Image Collections using Adversarial Networks
College of Information and Computer Sciences, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校信息与计算机科学学院）
我们研究的问题，学习概率分布的三维形状给定的二维视图的多个对象从未知的观点。我们的方法称为投影生成对抗网络（PrGAN），它训练了一个3D形状的深度生成模型，其投影（或渲染）与所提供的2D分布的分布相匹配。可微分投影模块的添加允许我们在学习阶段不访问任何显式3D或视点注释的情况下推断底层3D形状分布。我们表明，我们的方法产生的3D形状的质量相当的GANs直接在3D数据上训练。%，包括椅子、飞机和汽车在内的许多形状类别。实验还表明，将二维形状分解为几何和视点的表示导致了良好的二维形状生成模型。我们的模型的主要优点是它可以估计3D形状，视点，并以完全无监督的方式从输入图像生成新视图。我们进一步研究如何生成模型可以得到改善，如果额外的信息，如深度，视点或部分分割在训练时可用。为此，我们提出了新的可微投影算子，PrGAN可以使用这些算子来学习更好的3D生成模型。我们的实验表明，我们的方法可以成功地利用额外的视觉线索，以创建更多样化和准确的形状。
2019-06-11 cs.CV cs.GR cs.LG
Leveraging Intrinsic Gradient Information for Further Training of Differentiable Machine Learning Models
University of Bath（巴斯大学）
设计能够产生准确预测的模型是机器学习（ML）的基本目标。这项工作提出的方法表明，当目标变量（输出）相对于输入的导数可以从感兴趣的过程中提取时，例如，基于神经网络（NN）的代理模型，可以利用它们来进一步提高可微ML模型的准确性。本文概括了这一想法，并提供了实用的方法，可用于在各种应用中利用梯度信息（GI），包括：（1）提高生成对抗网络（GANs）的性能;（2）有效地调整NN模型复杂性;（3）正则化线性回归。数值结果表明，GI可以有效地增强ML模型与现有的数据集，证明了它的各种应用的价值。
2022-01-13 cs.LG stat.ML
Differentiable Augmentation for Data-Efficient GAN Training
Tsinghua University（清华大学）；MIT（麻省理工学院）；Adobe（奥多比）；CMU（卡内基梅隆大学）
生成对抗网络（GANs）的性能在有限的训练数据下严重恶化。这主要是因为机器人记住了确切的训练集。为了解决这个问题，我们提出了微分增强（DiffAugment），这是一种简单的方法，通过对真实和虚假样本施加各种类型的微分增强来提高GANs的数据效率。以前的尝试直接增加训练数据操纵真实图像的分布，产生的好处很少; DiffAugment使我们能够采用可微增强生成的样本，有效地稳定训练，并导致更好的收敛。实验表明，我们的方法在各种GAN架构和损失函数的无条件和类条件生成一致的收益。使用DiffAugment，我们在ImageNet 128 x128上实现了最先进的FID 6.80，IS 100.8，并在FFHQ和LSUN上减少了2- 4倍的FID。此外，仅用20%的训练数据，我们就可以在CIFAR-10和CIFAR-100上达到最高性能。最后，我们的方法可以生成高保真图像，只使用100张图像，而无需预训练，同时与现有的迁移学习算法。代码可在https://github.com/mit-han-lab/data-efficient-gans上获得。
2020-12-07 cs.CV cs.GR cs.LG
Semi-Supervised Variational Adversarial Active Learning via Learning to Rank and Agreement-Based Pseudo Labeling
The University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对变分对抗主动学习未利用任务信息和未标记数据训练的局限，提出基于排序的损失预测模块和半监督伪标签算法，在分类与分割基准上取得更优性能。
2024-08-23 cs.CV cs.LG
Language Modeling with Generative Adversarial Networks
Stanford University（斯坦福大学）
生成对抗网络（GANs）在图像生成领域有着广阔的应用前景，但在语言生成方面却存在着难以训练的问题。GANs最初被设计为输出可微值，因此离散语言生成对它们来说是具有挑战性的，这导致了训练GANs的高度不稳定性。因此，过去的工作采用了最大似然的预训练或没有预训练的GANs训练，其中WGAN目标具有梯度惩罚。在这项研究中，我们提出了这些方法的比较。此外，我们提出了一些实验的结果，表明更好的训练和收敛的Wasserstein GANs（WGANs）时，较弱的正则化项是强制执行Lipschitz约束。
2018-04-08 cs.CL cs.LG stat.ML
Improving Movement Predictions of Traffic Actors in Bird's-Eye View Models using GANs and Differentiable Trajectory Rasterization
Uber Advanced Technologies Group（优步先进技术集团）
自动驾驶难题中最关键的部分之一是预测周围交通参与者的未来运动，这使得自动驾驶汽车能够在复杂的世界中安全有效地规划其未来路线。最近，已经提出了一些算法来解决这个重要的问题，受到来自工业界和学术界的研究人员越来越大的兴趣的刺激。一方面基于自上而下的场景光栅化的方法和另一方面基于生成对抗网络（GANs）的方法已被证明是特别成功的，在交通运动预测任务上获得了最先进的精度。在本文中，我们建立在这两个方向，并提出了一个基于光栅的条件GAN架构，由一个新的可微光栅化模块在输入的条件下，将生成的轨迹映射到光栅空间中的可微的方式。这简化了任务，因为不符合场景的轨迹更容易识别，并允许梯度回流，迫使生成器输出更好，更真实的轨迹。我们在一个大规模的真实数据集上评估了所提出的方法，结果表明它的性能优于最先进的基于GAN的基线。
2020-06-12 cs.LG cs.RO eess.IV
Generative Adversarial Network with Soft-Dynamic Time Warping and Parallel Reconstruction for Energy Time Series Anomaly Detection
Indian Institute of Science（印度科学研究所）；FLAME University（FLAME大学）
本文提出一种结合一维DCGAN与Soft-DTW的能源时间序列异常检测方法，通过并行重建加速检测并提升建筑能耗异常识别能力。
2024-02-22 cs.LG
Human Body Measurement Estimation with Adversarial Augmentation
Amazon（亚马逊）；Boston University（波士顿大学）；Reality Labs Research（现实实验室研究院）
我们提出了一个身体测量网络（BMnet），用于从剪影图像中估计人体形状的3D拟人化测量。BMnet的训练是基于来自真实人类受试者的数据进行的，并通过一种新型的对抗性身体模拟器（ABS）进行增强，该模拟器可以发现和合成具有挑战性的身体形状。ABS是基于皮肤的多人线性（SMPL）身体模型，并旨在最大限度地提高BMnet测量预测误差相对于潜在的SMPL形状参数。ABS相对于这些参数是完全可微的，并且通过BMnet在循环中的反向传播进行端到端训练。实验表明，ABS可以有效地发现对抗性的例子，例如具有极端体重指数（BMI）的身体，这与BMnet训练集中极端BMI身体的罕见性相一致。因此，ABS能够揭示训练数据中的差距和预测代表性不足的身体形状的潜在故障。结果表明，与没有增强或随机体型采样相比，使用ABS训练BMnet将真实身体的测量预测精度提高了10%。此外，我们的方法显著优于SOTA测量估计方法多达3倍。最后，我们发布了BodyM，这是第一个具有挑战性的大规模真实人体照片轮廓和身体测量数据集，以进一步推动这一领域的研究。项目网址：https://adversarialbodysim.github.io
2022-10-11 cs.AI cs.CV cs.LG
Lyapunov Exponents for Diversity in Differentiable Games
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；University of Oxford（牛津大学）；Radboud University（拉德堡德大学）；Google Research, Brain Team（谷歌研究院大脑团队）
Ridge Rider（RR）是一种通过跟踪Hessian（“脊”）的特征向量来寻找优化问题的不同解决方案的算法。RR设计用于保守梯度系统（即，涉及单个损失函数的设置），其中它在鞍点处分支-容易找到的分叉点。我们推广这个想法，非保守的，多智能体梯度系统，提出了一种方法-表示广义岭骑士（GRR）-寻找任意分歧点。我们给我们的方法的理论动机，利用动力系统领域的机械。我们构建新的玩具问题，在那里我们可以可视化新的现象，同时深入了解感兴趣的高维问题。最后，我们通过在迭代囚徒困境和相关机器学习问题（包括生成对抗网络）中找到不同的解决方案来实证评估我们的方法。
2021-12-24 cs.GT cs.LG cs.MA
A Convenient Infinite Dimensional Framework for Generative Adversarial Learning
University of Wuppertal（伍珀塔尔大学）；Institute of Mathematical Modelling, Analysis and Computational Mathematics（数学建模、分析与计算数学研究所）；Interdisciplinary Center for Machine Learning and Data Analytics（机器学习与数据分析跨学科中心）
近年来，生成对抗网络（GANs）已经展示了令人印象深刻的实验结果，而只有少数作品为GANs培养统计学习理论。在这项工作中，我们提出了一个生成对抗学习的无限维理论框架。我们假设基本测度的概率密度函数是一致有界的，$k$ -倍$α$ -Hölder可微的（$C^{k,α}$），并且一致有界远离零。在这些假设下，我们证明了Rosenblatt变换诱导出一个最优生成元，该最优生成元在$C^{k,α}$ -生成元的假设空间中是可实现的.通过对判别器的假设空间的一致定义，我们进一步证明了由对抗学习过程中的生成器诱导的分布与数据生成分布之间的Jensen-Shannon散度收敛到零。在数据生成过程的密度上的某些规律性假设下，我们还提供了基于链接和集中的收敛速率。
2023-01-19 cs.LG math.ST stat.TH
xAI-GAN: Enhancing Generative Adversarial Networks via Explainable AI Systems
University of Waterloo（滑铁卢大学）
生成对抗网络（GANs）是一类革命性的深度神经网络（DNN），已成功用于生成逼真的图像，音乐，文本和其他数据。然而，GAN培训提出了许多挑战，特别是它可能非常资源密集型。GANs的一个潜在弱点是，它需要大量的数据来进行成功的训练，而数据汇集可能是一个昂贵的过程。通常情况下，从DNN到生成器DNN的校正反馈（即，DNN对生成的示例的评估）仅使用一个实数值（损失）来计算。相比之下，我们提出了一类新的GAN，我们称之为xAI-GAN，它利用可解释AI（xAI）系统的最新进展，从鉴别器到生成器提供“更丰富”形式的纠正反馈。具体来说，我们使用xAI系统修改了梯度下降过程，该系统指定了为什么分类器进行分类的原因，从而提供了“更丰富”的纠正反馈，帮助生成器更好地欺骗分类器。使用我们的方法，我们观察到xAI-GANs在MNIST和FMNIST数据集上生成的图像质量比标准GANs提高了23.18%，如Frechet Inception Distance（FID）所测量的。我们进一步比较了在20%的数据上训练的xAI-GAN与在CIFAR 10数据集上100%的数据上训练的标准GAN，发现xAI-GAN仍然显示出FID分数的改善。此外，我们将我们的工作与微分增强进行比较-这已被证明可以使GANs数据高效-并表明xAI-GANs优于在微分增强上训练的GANs。此外，这两种技术可以结合起来，以产生更好的结…
2022-03-29 cs.LG stat.ML
Distributionally Robust Chance Constrained Programming with Generative Adversarial Networks (GANs)
College of Engineering, Cornell University（康奈尔大学工程学院）
提出了一种基于深度学习的数据驱动最优化方法。提出了一种基于数据驱动的分布式鲁棒机会约束规划框架的生成对抗网络（GAN）。GAN是应用于充分提取分布信息的历史数据中的非参数和无监督的方式，没有先验近似或假设。由于GAN利用深度神经网络，可以学习复杂的数据分布和模式，并且可以高效准确地建模不确定性。分布鲁棒机会约束规划考虑了不确定参数的模糊概率分布。为了解决计算上的挑战，采用样本平均近似方法，所需的数据样本由GAN通过可微网络以端到端的方式生成。然后将该框架应用于需求不确定条件下的供应链优化问题。所提出的方法的适用性说明通过一个县一级的空间明确的生物燃料供应链在伊利诺伊州的案例研究。
2020-02-28 cs.LG math.OC stat.ML
Generating Robust Adversarial Examples against Online Social Networks (OSNs)
University of Macau（澳门大学）；Alibaba Group（阿里巴巴集团）；Macau University of Science and Technology（澳门科技大学）
本文提出一种基于可微SIO网络的优化框架，用于生成能抵御在线社交网络传输损失操作的鲁棒对抗样本，实验证明其攻击成功率提升超60%，并公开了含万对样本的数据集。
2023-10-19 cs.CV cs.MM
Boundary-Seeking Generative Adversarial Networks
MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）；IVADO（魁北克人工智能研究所）；MSR（微软研究院）；University of Waterloo（滑铁卢大学）；New York University（纽约大学）；CIFAR（加拿大高级研究所）
生成对抗网络（GANs）是一种学习框架，它依赖于训练一个神经网络来估计目标分布和生成分布之间的差异度量。GANs，如通常公式化的那样，依赖于生成的样本是相对于r.t.生成参数，因此不适用于离散数据。我们介绍了一种用离散数据训练GANs的方法，该方法使用来自神经网络的估计差异度量来计算生成样本的重要性权重，从而为训练生成器提供策略梯度。重要性权重与神经网络的决策边界有很强的联系，我们称我们的方法为边界搜索GANs（BGANs）。我们证明了该算法的有效性与离散图像和字符为基础的自然语言生成。此外，边界搜索目标扩展到连续数据，可用于提高训练的稳定性，我们在Celeba，大规模场景理解（LSUN）卧室和Imagenet上证明了这一点。
2018-02-21 cs.LG stat.ML
Fuzzy Generative Adversarial Networks
Clemson University（克莱姆森大学）
生成对抗网络（GANs）是用于数据生成和半监督分类的众所周知的工具。具有较少标记数据的GANs在各种任务的分类方面优于深度神经网络（DNN）和卷积神经网络（CNN），这表明开发能够侵入半监督回归领域的GANs的前景。然而，开发用于回归的GANs引入了两个主要挑战：（1）GAN公式中固有的不稳定性和（2）同时执行回归和实现稳定性。本文介绍了通过平均绝对误差（MAE）和均方误差（MSE）来提高GANs回归能力的技术。我们在GAN中的多个位置处烘焙可微模糊逻辑系统，因为模糊逻辑系统在分类和回归设置中已经证明了高效率。模糊逻辑采用发电机和控制器中的一个或两个的输出来预测输出$y$，并评估发电机的性能。我们概述了应用模糊逻辑系统CGAN的结果，并总结了每种方法的功效。本文表明，增加一个模糊逻辑层可以提高GAN的能力，进行回归;最理想的注射位置是特定于问题的，我们通过实验表明这在各种数据集。此外，我们经验证明，模糊注入GAN是竞争DNN。
2021-10-27 cs.LG
Differentiable Learning of Quantum Circuit Born Machine
Institute of Physics, Chinese Academy of Sciences（中国科学院物理研究所）；CAS Center for Excellence in Topological Quantum Computation, University of Chinese Academy of Sciences（中国科学院大学拓扑量子计算卓越创新中心）
量子线路玻恩机是将经典数据集的概率分布表示为量子纯态的生成模型。量子采样问题的计算复杂性的考虑表明，相比于经典的神经网络，量子线路表现出更强的可表达性。通过对量子比特的投影测量，可以有效地从量子线路中提取样本。然而，与深度学习中领先的隐式生成模型（如生成对抗网络）类似，量子线路无法提供生成样本的可能性，这对训练提出了挑战。我们设计了一个有效的基于梯度的学习算法的量子线路玻恩机通过最小化内核的最大平均差异损失。我们使用深量子线路模拟了条形数据集和高斯混合分布的生成建模。我们的实验表明了电路深度和基于梯度的优化算法的重要性。所提出的学习算法可在近期量子器件上运行，并且可以表现出生成式建模的量子优势。
2018-04-11 cs.LG quant-ph stat.ML
Complex Momentum for Optimization in Games
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；NVIDIA（英伟达）
我们推广了具有动量的梯度下降，使其具有复值动量。我们给我们的方法的理论动机，证明收敛的双线性零和游戏的同时和交替更新。我们的方法提供了实值参数更新，使其成为标准优化器的替代品。我们经验证明，复值动量可以提高现实对抗游戏的收敛性-如生成对抗网络-通过显示我们可以找到更好的解决方案，几乎相同的计算成本。我们还展示了对复值Adam变体的实际推广，我们使用该变体来训练BigGAN以在CIFAR-10上获得更好的初始分数。
2021-06-01 cs.GT cs.LG
Adversarial View-Consistent Learning for Monocular Depth Estimation
Microsoft Research Asia（微软亚洲研究院）
本文研究了单目深度估计（MDE）问题。现有的MDE方法通常将其建模为像素级回归问题，忽略了底层的几何属性。我们凭经验发现这可能导致次优解决方案：虽然预测的深度图在一个特定视图中呈现小的损失值，但如果在不同方向上观看，则它可能表现出大的损失。在本文中，受多视图立体视觉（MVS）的启发，我们提出了一个对抗性视图一致性学习（AVCL）框架，以迫使估计的深度图是所有合理的多个视图。为此，我们首先设计了一个可微分的深度图扭曲操作，这是端到端的可训练的，然后提出了一个姿势生成器，以对抗的方式为给定的图像生成新的视图。与可微分深度图扭曲操作协作，姿态生成器鼓励深度估计网络从硬视图学习，从而产生视图一致的深度图。我们在NYU Depth V2数据集上评估了我们的方法，实验结果表明，在最先进的MDE方法上，我们的方法具有很好的性能增益。
2019-08-04 cs.CV cs.LG eess.IV
Finding Physical Adversarial Examples for Autonomous Driving with Fast and Differentiable Image Compositing
Washington University in St. Louis（圣路易斯华盛顿大学）
有相当多的证据表明，深度神经网络容易受到直接施加到其数字输入的对抗性扰动的影响。然而，这是否会转化为真实系统中的漏洞仍然是一个悬而未决的问题。例如，对自动驾驶汽车的攻击实际上需要修改驾驶环境，然后影响汽车控制器的视频输入，从而间接导致错误的驾驶决策。这种攻击需要考虑系统动态和跟踪视点变化。我们提出了一种可扩展的方法来寻找对抗性修改的模拟自动驾驶环境使用可微近似的映射从环境修改（矩形的道路上）到相应的视频输入到控制器神经网络。给定矩形的参数，我们提出的可微映射将它们组合到原始环境的预先录制的视频流上，考虑几何和颜色变化。此外，我们提出了一种多轨迹采样方法，使我们的攻击是强大的汽车的自我纠正行为。当与基于神经网络的控制器相结合时，我们的方法允许通过端到端基于梯度的优化来设计对抗性修改。使用Carla自动驾驶模拟器，我们证明了我们的方法在模拟实验中识别自动驾驶汽车漏洞方面比基于贝叶斯优化的最先进方法具有更大的可扩展性和更有效的效果。
2021-06-11 cs.AI cs.CV cs.LG
RenderBender: A Survey on Adversarial Attacks Using Differentiable Rendering
Georgia Tech（佐治亚理工学院）；Technology Innovation Institute（技术创新研究所）
本综述首次提出了一个统一框架，用于对利用可微渲染技术（如 Gaussian Splatting 和 NeRF）针对深度神经网络进行物理合理对抗攻击的多样化目标和任务进行分类、比较，并指出了未来的研究方向。
2025-05-30 cs.CR cs.CV cs.LG
Incorporating human and learned domain knowledge into training deep neural networks: A differentiable dose volume histogram and adversarial inspired framework for generating Pareto optimal dose distributions in radiation therapy
UT Southwestern Medical Center（西南大学医学中心）
我们提出了一种新的特定于域的损失，这是一种基于剂量体积直方图的可微分损失函数，并将其与对抗性损失相结合，用于训练深度神经网络，以生成帕累托最优剂量分布。采用均方误差（MSE）损失、剂量体积直方图（DVH）损失和对抗性（ADV）损失对神经网络模型的4个实例进行训练：1）MSE、2）MSE+ADV、3）MSE+DVH和4）MSE+DVH+ ADV。通过对权衡权重进行伪随机化，为每位患者生成1200个Pareto曲面计划（总计84，000个计划）。我们将数据分为54个训练，6个验证和10个测试患者。每个模型都训练了100，000次迭代，批量大小为2。每个模型的预测时间为0.052秒。定量方面，MSE+DVH+ADV模型的预测误差最小，分别为0.038（构象）、0.026（同质性）、0.298（R50）、1.65%（D95）、2.14%（D98）、2.43%（D99）。MSE模型的最差预测误差分别为0.134（构象）、0.041（同质性）、0.520（R50）、3.91%（D95）、4.33%（D98）、4.60%（D99）。对于平均剂量PTV误差和最大剂量PTV、身体、膀胱和直肠误差，MSE+DVH+ADV优于所有其他模型。所有模型的预测值的平均值和最大剂量误差分别小于2.8%和4.2%。专家的人类领域特定知识可以是性能改进的最大驱动力，而对抗学习可以用于进一步捕获细微差别的特征。实时预…
2019-12-07 cs.CV cs.LG eess.IV
Style Agnostic 3D Reconstruction via Adversarial Style Transfer
University of Konstanz（康斯坦茨大学）；University of Frankfurt（法兰克福大学）；IBM-MIT Watson AI Lab（IBM-MIT沃森人工智能实验室）
从图像重建物体的三维几何形状是计算机视觉的一个主要挑战。最近引入的可微分渲染器可以用来从2D图像中学习对象的3D几何形状，但是这些方法需要额外的监督，以使渲染器能够产生可以与输入图像进行比较的输出。这可以是场景信息或约束，例如对象轮廓、均匀背景、材质、纹理和照明。在本文中，我们提出了一种方法，使一个可区分的渲染为基础的学习3D对象从图像的背景，而不需要剪影监督。我们提出了一个对抗性的风格转移和领域自适应管道，允许将输入图像域转换为渲染图像域，而不是试图渲染接近输入的图像。这使得我们能够直接比较转换后的图像和3D对象重建的可微分渲染，以便训练3D对象重建网络。我们表明，该方法从具有背景的图像中学习3D几何形状，并在此任务上提供比单视图3D对象重建的约束方法更好的性能。
2021-10-20 cs.CV cs.LG
Beyond Pixel Norm-Balls: Parametric Adversaries using an Analytically Differentiable Renderer
University of Toronto（多伦多大学）；Carnegie Mellon University（卡内基梅隆大学）；McGill University（麦吉尔大学）
许多机器学习图像分类器容易受到对抗攻击的攻击，输入的扰动旨在故意触发错误分类。目前的对抗方法直接改变像素颜色，并根据像素范数球进行评估：根据测量范数，小于指定幅度的像素扰动。然而，这种评估具有有限的实际效用，因为像素空间中的扰动不对应于导致它们的图像形成的潜在的真实世界现象，并且没有附加的安全动机。自然图像中的像素是对与物理场景的几何形状相互作用的光的测量。因此，我们提出了直接扰动的物理参数，图像形成的基础：照明和几何形状。因此，我们通过直接扰动图像形成的物理参数，提出了一种新的评估指标--参数范数球。我们提出的一个有利的贡献是一个基于物理的可微分渲染器，它允许我们将像素梯度传播到照明和几何的参数空间。我们的方法支持基于物理的对抗攻击，我们的差分渲染器利用来自交互式渲染文献的模型来平衡内存高效和可扩展的对抗数据增强工作流程所需的性能和准确性权衡。
2019-02-17 cs.CV cs.GR cs.LG
Adversarial Patch Attacks on Vision-Based Cargo Occupancy Estimation via Differentiable 3D Simulation
Department of Informatics University of Hamburg（信息学院海德堡大学）
本文首次研究了在物理真实、完全模拟的3D场景中针对货物占用估计的对抗性补丁攻击，通过3D优化补丁在拒绝服务场景中达到84.94%的攻击成功率。
2025-11-24 cs.AI cs.CV
Adversarial Dual-Student with Differentiable Spatial Warping for Semi-Supervised Semantic Segmentation
Tianjin University（天津大学）；Baidu Inc.（百度公司）
健壮的语义分割面临的一个常见挑战是昂贵的数据注释成本。现有的半监督解决方案显示出解决这个问题的巨大潜力。他们的核心思想是从未标记的数据中构建一致性正则化和无监督的数据增强用于模型训练。未标记数据的扰动使得一致性训练损失，这有利于半监督语义分割。然而，这些扰动破坏了图像上下文并引入了不自然的边界，这对语义分割是有害的。此外，广泛采用的半监督学习框架，即平均教师，受到性能限制，因为学生模型最终收敛到教师模型。本文首先提出了一种上下文友好的可微几何变形方法来进行无监督的数据增强;其次，提出了一种新的对抗性双学生框架，从以下两个方面改进了Mean-Teacher：（1）除了一个稳定化约束外，双学生模型是独立学习的，以鼓励利用模型差异;（2）对两个学生采用对抗性训练方案，利用判别器对未标记数据进行可靠伪标记的判别，进行自训练。通过在PASCAL VOC 2012和Cityscapes上的大量实验验证了有效性。我们的解决方案显著提高了性能，并在两个数据集上实现了最先进的结果。值得注意的是，与完全监督相比，我们的解决方案在PASCAL VOC 2012上仅使用12.5%的注释数据就实现了73.4%的可比mIoU。我们的代码和型号可在https://github.com/cao-cong/ADS-SemiSeg上获得。
2022-09-27 cs.CV
DSRNA: Differentiable Search of Robust Neural Architectures
UC San Diego（加州大学圣迭戈分校）
在深度学习应用中，深度神经网络的架构对于实现高精度至关重要。已经提出了许多方法来自动搜索高性能的神经结构。然而，这些搜索的架构容易受到对抗攻击。输入数据的小扰动可以使架构显著地改变预测结果。为了解决这个问题，我们提出了方法来执行可微搜索的强大的神经架构。在我们的方法中，定义了两个可微度量来衡量架构的鲁棒性，基于认证的下界和雅可比范数界。然后，我们通过最大化鲁棒性度量来搜索鲁棒性架构。与以前旨在以隐式方式提高架构鲁棒性的方法不同：执行对抗性训练和注入随机噪声，我们的方法显式地直接最大化鲁棒性度量以收获鲁棒架构。在CIFAR-10，ImageNet和MNIST上，我们对我们方法的鲁棒性进行了基于游戏的评估和基于验证的评估。实验结果表明，我们的方法1）比几个强大的NAS基线对各种范数约束攻击更鲁棒; 2）当没有攻击时，比基线更准确; 3）比基线具有更高的认证下限。
2020-12-11 cs.CR cs.CV cs.LG
Imperceptible Adversarial Examples in the Physical World
Intel（英特尔公司）；University of Colorado Boulder（科罗拉多大学博尔德分校）；HiddenLayer（HiddenLayer公司）
本文提出利用直通估计器克服物理世界图像失真不可微问题，首次实现受小ℓ∞范数约束的不可感知对抗样本，并在分类和目标检测任务中验证其严重威胁。
2024-11-25 cs.AI cs.CV
Texture Generation Using A Graph Generative Adversarial Network And Differentiable Rendering
The University of Arizona（亚利桑那大学）；Areté Associates（阿雷蒂联合公司）
新颖的真实感纹理合成是生成新颖场景的重要任务，包括用于3D模拟的资产生成。然而，到目前为止，这些方法主要在2D空间中生成纹理对象。如果我们依赖于2D对象生成，那么每次改变相机视点或照明时，我们都需要进行计算量很大的向前传递。最近的工作，可以在3D中生成纹理需要3D组件分割，这是昂贵的收购。在这项工作中，我们提出了一种新的条件生成架构，我们称之为图生成对抗网络（GGAN），它可以通过以无监督的方式学习对象组件信息来生成3D纹理。在这个框架中，我们不需要昂贵的前向传递，每当相机视点或照明变化时，我们不需要昂贵的3D零件信息进行训练，但模型可以泛化到看不见的3D网格并生成适当的新颖3D纹理。我们比较这种方法对国家的最先进的纹理生成方法，并证明GGAN获得显着更好的纹理生成质量（根据弗雷歇起始距离）。我们将模型源代码作为开源发布。
2023-02-08 cs.CV
ALLUDE: A Unified Evaluation System for Configurable Attacks in Differentiable Environments
Georgia Institute of Technology（佐治亚理工学院）；Technological Innovation Institute（技术创新研究所）
针对视觉模型对抗攻击评估条件有限的问题，ALLUDE提供统一评估系统，通过拉丁超立方抽样和压力测试现有攻击展示评估广度，利用端到端可微渲染针对实际部署优化攻击，且跨平台代码开源。
2026-07-21 cs.AI cs.CV
DTA: Physical Camouflage Attacks using Differentiable Transformation Network
Pusan National University（釜山国立大学）；SmartM2M；Institut Teknologi Bandung（万隆理工学院）；Hung Yen University of Technology and Education（兴安技术教育大学）；Agency for Defense Development (ADD)（国防发展局）
为了在物理世界中执行对抗攻击，许多研究提出了对抗伪装，一种通过在3D对象表面上应用伪装图案来隐藏目标对象的方法。为了获得最佳的物理对抗伪装，以前的研究利用了所谓的神经渲染器，因为它支持可微性。然而，现有的神经渲染器不能完全表示各种真实世界的转换，由于缺乏对场景参数的控制相比，传统的照片级真实感渲染器。在本文中，我们提出了微分变换攻击（DTA），一个框架，用于在目标对象上生成一个强大的物理对抗模式，以伪装它对目标检测模型具有广泛的变换。它利用了我们新的微分变换网络（DTN），该网络在纹理发生变化时学习渲染对象的预期变换，同时保留目标对象的原始属性。使用我们的攻击框架，对手可以通过提供可区分性来获得传统照片级真实感渲染器的优势，包括各种物理世界变换和白盒访问的好处。我们的实验表明，我们的3D车辆可以成功地逃避最先进的目标检测模型在照片逼真的环境（即，虚幻引擎上的卡拉）。此外，我们在特斯拉Model 3上的演示证明了我们的方法在现实世界中的适用性和可移植性。
2022-03-18 cs.CV
Learning Efficient GANs for Image Translation via Differentiable Masks and co-Attention Distillation
Xiamen University（厦门大学）；Tencent（腾讯）；Pinterest；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
生成对抗网络（GANs）在图像翻译中得到了广泛的应用，但其高计算和存储成本阻碍了在移动设备上的部署。由于GAN任务的特殊性和不稳定的对抗训练，用于CNN压缩的流行方法不能直接应用于GANs。为了解决这些问题，在本文中，我们介绍了一种新的GAN压缩方法，称为DMAD，提出了一个微分掩码和co-Attention蒸馏。前者以训练自适应的方式寻找轻量级的生成器架构。为了克服修剪残余连接时的信道不一致性，还结合了自适应跨块组稀疏性。后者同时从预训练模型的生成器和搜索器中提取信息性注意力地图，有效地稳定了我们轻量级模型的对抗训练。实验表明，DMAD可以将CycleGAN的乘法累加运算（MAC）减少13倍，将Pix 2 Pix的MAC减少4倍，同时保持与完整模型相当的性能。我们的代码可以在https://github.com/SJLeo/DMAD上获得。
2022-03-02 cs.CV
Context-aware virtual adversarial training for anatomically-plausible segmentation
Ecole de technologie supérieure（高等技术学院）；Shandong University（山东大学）
尽管具有出色的准确性，但基于深度神经网络的半监督分割方法仍然可以产生临床医生认为在解剖学上不可能的预测，例如，包含孔或断开的区域。为了解决这个问题，我们提出了一个上下文感知的虚拟对抗训练（CaVAT）方法生成解剖学上合理的分割。与只关注准确性的方法不同，我们的方法还考虑了复杂的拓扑约束，如连接性，这不能很容易地在可微损失函数中建模。我们使用对抗性训练来生成违反约束的示例，因此网络可以学习避免对新示例进行这种错误的预测，并使用Reinforce算法来处理不可微的分割约束。所提出的方法提供了一种通用且有效的方法来在任何分割网络上添加任何约束。两个临床相关的数据集上的实验表明，我们的方法产生的分割是准确的和解剖学上合理的区域连接。
2021-07-13 cs.CV
AdversarialNAS: Adversarial Neural Architecture Search for GANs
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Yitu Technology（依图科技）；Beihang University（北京航空航天大学）；Beijing Forestry University（北京林业大学）
神经结构搜索（Neural Architecture Search，NAS）是一种旨在实现结构设计自动化的方法，在计算机视觉的许多领域都取得了可喜的成果。在本文中，我们提出了一种专门为生成对抗网络（GANs）量身定制的AdversarialNAS方法，以在无条件图像生成任务中搜索更好的生成模型。AdversarialNAS是第一个能够以可区分的方式同时搜索生成器和并行计算器结构的方法。在搜索过程中，所设计的对抗性搜索算法不需要计算任何额外的度量来评估搜索到的网络结构的性能，并且搜索范式考虑了两种网络结构之间的相关性，提高了它们之间的相互平衡性。因此，AdversarialNAS非常高效，仅需1 GPU天即可在建议的大搜索空间（$10^{38}$）中搜索到更优的生成模型。实验证明了该方法的有效性和优越性。所发现的生成模型在CIFAR-10上设置了新的最先进的FID评分$10.87$和极具竞争力的初始评分$8.74$。通过在STL-10上设置新的最先进的FID评分$26.98$和初始评分$9.63$，也证明了其可转移性。代码位于：\url{https://github.com/chengaopro/AdversarialNAS}。
2020-04-08 cs.CV eess.IV
Adversarial Imaging Pipelines
Algolux（阿尔戈勒克斯）；Princeton University（普林斯顿大学）
对抗攻击在理解深度神经网络预测和提高其鲁棒性方面发挥着至关重要的作用。现有的攻击方法旨在通过操纵直接馈送到分类器的RGB图像来欺骗基于卷积神经网络（CNN）的分类器。然而，这些方法通常忽略产生网络输入的相机光学器件和图像处理流水线（ISP）的影响。ISP将RAW测量转换为RGB图像，传统上被认为保留了对抗模式。然而，这些低级管道实际上可以破坏、引入或放大可以欺骗下游检测器的对抗模式。因此，优化的模式在被特定的相机ISP和光学器件变换后对于分类器可能变得对抗，而对于其他相机则不是。在这项工作中，我们研究和开发这样一种攻击，欺骗特定的摄像机ISP，而其他人完好无损，使用相同的下游分类器。我们将相机特定的攻击视为多任务优化问题，依赖于ISP本身的可微近似。我们验证了所提出的方法，使用最近的国家的最先进的汽车硬件ISP，达到92%的愚弄率时，攻击一个特定的ISP。我们证明了物理光学攻击与90%的愚弄率为一个特定的相机镜头。
2021-02-19 cs.CV eess.IV
HiDDeN: Hiding Data With Deep Networks
Stanford University（斯坦福大学）
最近的研究表明，深度神经网络对输入图像的微小扰动高度敏感，从而产生对抗性示例。虽然这个属性通常被认为是学习模型的弱点，但我们将探讨它是否有益。我们发现，神经网络可以学习使用不可见的扰动来编码大量有用的信息。事实上，人们可以利用这种能力来完成数据隐藏任务。我们联合训练编码器和解码器网络，其中给定输入消息和覆盖图像，编码器产生视觉上无法区分的编码图像，解码器可以从中恢复原始消息。我们表明，这些编码与现有的数据隐藏算法是有竞争力的，而且它们可以对噪声具有鲁棒性：我们的模型学习重建编码图像中的隐藏信息，尽管存在高斯模糊，像素丢失，裁剪和JPEG压缩。即使JPEG是不可微的，我们表明，一个强大的模型可以使用微分近似训练。最后，我们证明了对抗训练提高了编码图像的视觉质量。
2018-07-26 cs.CV cs.LG
Compositional Curvature Bounds for Deep Neural Networks
Johns Hopkins University（约翰斯·霍普金斯大学）
本文针对深度神经网络对对抗攻击的脆弱性问题，提出一种基于组合结构逐层传播的曲率上界解析计算方法，并将其用作可微正则化器以增强鲁棒性，在MNIST和CIFAR-10上验证了有效性。
2024-06-07 cs.CV cs.LG
MA 3 : Model Agnostic Adversarial Augmentation for Few Shot learning
Carnegie Mellon University（卡内基梅隆大学）
尽管最近在使用深度神经网络的视觉相关问题方面取得了进展，但将这些模型推广到看不见的例子的改进仍然有很大的范围。在本文中，我们探讨了领域的少样本学习与一种新的增强技术。与其他生成增强技术相比，在学习输入图像的分布的情况下，我们建议学习图像变换参数的概率分布，这更容易和更快地学习。我们的技术是完全可微的，这使得它能够扩展到多功能的数据集和基础模型。我们在多个基础网络和2个数据集上评估我们提出的方法，以建立该方法的鲁棒性和效率。通过添加增强模块，我们获得了近4%的改进，而无需对网络架构进行任何更改。我们还将代码随时提供给社区使用。
2020-04-10 cs.CV cs.LG
Analyzing and Improving Neural Networks by Generating Semantic Counterexamples through Differentiable Rendering
University of California, Berkeley（加州大学伯克利分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
即使深度神经网络（DNN）在视觉相关任务上取得了显著的成功，它们的性能也很容易受到输入转换的影响。特别令人感兴趣的是语义转换，其对具有物理世界基础的变化进行建模，例如旋转、平移、照明或相机姿势的变化。在本文中，我们展示了如何利用可微渲染来生成信息丰富但逼真的图像，这些图像可用于分析DNN性能并通过数据增强来提高其鲁棒性。给定一个可区分的渲染器和DNN，我们展示了如何使用来自对抗性机器学习的现成攻击来生成语义反例-语义特征被改变以产生错误分类或错误检测的图像。我们在DNN上验证了我们的方法用于图像分类和目标检测。对于分类，我们证明了语义反例，当用于增强数据集时，（i）提高泛化性能（ii）增强对语义转换的鲁棒性，以及（iii）模型之间的转移。此外，与基于采样的语义增强相比，我们的技术以样本高效的方式生成更多信息数据。
2020-07-17 cs.CV cs.LG stat.ML
Single Image BRDF Parameter Estimation with a Conditional Adversarial Network
University of Tübingen（图宾根大学）
创建合理的表面是在渲染中实现高度真实感的重要组成部分。为了减轻艺术家，谁创建这些表面在一个耗时的，手动的过程中，自动检索的空间变化的双向反射分布函数（SVBRDF）从一个单一的移动电话图像是可取的。通过利用深度神经网络，可以实现这种随意捕获方法。训练后的网络可以从Disney BRDF中估计每个像素的法线，基色，金属和粗糙度参数。输入图像是用相机闪光灯点亮的移动电话拍摄的。该网络经过训练以补偿环境照明，从而学习减少由其他光源引入的伪影。这些损失包含一个多尺度的感知损失，使用微分渲染器的渲染损失，和一个参数损失。除了局部精度，这种损失公式生成的材质纹理图是全球更一致的。该网络被设置为以对抗方式训练的生成器网络，以确保只生成合理的地图。估计的参数不仅在渲染中忠实地再现了材料，而且由于与以前的作品相比具有更多的全局损失项，因此捕获了手工创作材料的风格，而不需要额外的后处理。分辨率和质量都得到了提高。
2019-10-11 cs.CV cs.GR cs.LG
Inverting Generative Adversarial Renderer for Face Reconstruction
SenseTime Research and Tetras.AI（商汤科技研究院和Tetras.AI）；Shanghai AI Laboratory（上海人工智能实验室）
人脸三维几何重建的目标是以单目人脸图像为输入，恢复出相应的三维人脸网格。最近，基于优化和基于学习的人脸重建方法都利用了新兴的可微渲染器，并显示出良好的效果。然而，基于图形规则的可微分渲染器简化了真实世界的光照、反射、\etc等真实感机制，无法生成真实感图像。这给优化或训练过程带来了大量的域偏移噪声。在这项工作中，我们介绍了一种新的生成对抗渲染器（GAR），并建议将其反转版本定制为通用拟合管道，以解决上述问题。具体来说，精心设计的神经渲染器将人脸法线映射和代表其他因素的潜在代码作为输入，并渲染出逼真的人脸图像。由于GAR学习对复杂的真实世界图像建模，而不是依赖于简化的图形规则，因此它能够生成逼真的图像，这从根本上抑制了训练和优化中的域偏移噪声。配备了精心设计的GAR，我们进一步提出了一种新的方法来预测3D人脸参数，其中我们首先通过Renderer Inverting获得精细的初始参数，然后使用基于梯度的优化器对其进行优化。已经进行了大量的实验来证明所提出的生成对抗渲染器和新的基于优化的人脸重建框架的有效性。我们的方法在多个人脸重建数据集上实现了最先进的性能。
2021-05-08 cs.CV
Generative Adversarial Shaders for Real-Time Realism Enhancement
Imagination Technologies（想象力技术公司）
本文提出基于生成着色器的可微端到端对抗训练流水线，在嵌入式和移动 GPU 等资源受限场景下实现快于实时、时间稳定且质量可比神经网络方法的真实感增强。
2023-05-24 cs.CV cs.GR cs.LG
A Unified Architecture of Semantic Segmentation and Hierarchical Generative Adversarial Networks for Expression Manipulation
Imperial College London（伦敦帝国学院）；University College London（伦敦大学学院）；KAIST（韩国科学技术院）
通过只改变我们想要的内容来编辑面部表情是用于图像处理的生成对抗网络（GANs）中的一个长期研究问题。大多数现有的方法，只依赖于一个全局生成器通常遭受改变不必要的属性以及目标属性。最近，由处理整个图像的全局网络和关注局部部分的多个局部网络组成的分层网络显示出成功。然而，这些方法提取局部区域的边界框周围的稀疏的面部关键点，这是不可微的，不准确的和不切实际的。因此，该解决方案变得次优，引入了不想要的伪影，降低了合成图像的整体质量。此外，最近的一项研究表明，面部属性和局部语义区域之间有很强的相关性。为了利用这种关系，我们设计了语义分割和分层GANs的统一架构。我们的框架的一个独特优势是，在向前传递时，语义分割网络调节生成模型，在向后传递时，来自分层GANs的梯度被传播到语义分割网络，这使得我们的框架成为端到端的可区分架构。这使得两种架构能够相互受益。为了证明其优势，我们评估我们的方法上两个具有挑战性的面部表情翻译基准，AffectNet和RaFD，和一个语义分割基准，CelebAMask-HQ在两个流行的架构，BiSeNet和UNet。我们对人脸语义分割和人脸表情处理任务进行了广泛的定量和定性评估，验证了我们的工作对现有最先进方法的有效性。
2021-12-08 cs.CV
On the Global Optima of Kernelized Adversarial Representation Learning
Michigan State University（密歇根州立大学）；Eastern Mediterranean University（东地中海大学）
对抗性表示学习是一种很有前途的范式，用于获得对某些敏感属性不变的数据表示，同时保留预测目标属性所需的信息。现有的方法通过迭代对抗极大极小优化来解决这个问题，缺乏理论保证。在本文中，我们首先研究这个问题的“线性”形式，即，所有参与人都是线性函数的设置。我们表明，由此产生的优化问题是非凸和不可微的。我们通过谱学习获得其全局最优解的精确闭合形式表达式，并在可实现效用和不变性的分析界方面提供性能保证。然后，我们通过核表示将此解决方案和分析扩展到非线性函数。在UCI、Extended Yale B和CIFAR-100数据集上的数值实验表明，（a）实际上，我们的解决方案非常适合于向任何有偏见的预训练数据表示“赋予”可证明的不变性，（b）从经验上讲，我们的解决方案提供的效用和不变性之间的权衡与现有基于深度神经网络的方法的迭代极小极大优化相当。代码可在https://github.com/human-analysis/Kernel-ARL上获得
2019-12-25 cs.CV cs.LG stat.ML
GANFIT: Generative Adversarial Network Fitting for High Fidelity 3D Face Reconstruction
Imperial College London（帝国理工学院）；University of Middlesex（密德萨斯大学）
在过去的几年里，已经做了大量的工作，通过利用深度卷积神经网络（DCNN）的力量，从单个图像重建3D面部结构。在最近的作品中，微分渲染器，以学习的面部身份特征和参数的3D变形模型的形状和纹理之间的关系。纹理特征要么对应于线性纹理空间的分量，要么由自动编码器直接从野外图像中学习。在所有情况下，面部纹理重建的质量的国家的最先进的方法仍然是不能够在高保真度的纹理建模。在本文中，我们采取了一种完全不同的方法，利用生成对抗网络（GANs）和DCNN的强大功能，从单张图像中重建面部纹理和形状。也就是说，我们利用GANs在UV空间中训练一个非常强大的面部纹理生成器。然后，我们重新审视了原始的3D变形模型（3DMMs）拟合方法，利用非线性优化，以找到最佳的潜在参数，最好地重建测试图像，但在一个新的角度。我们通过我们的端到端可区分框架，在预训练的深度身份特征的监督下优化参数。我们在真实感和身份保持3D人脸重建中表现出出色的效果，并首次实现了高频细节的面部纹理重建。
2019-04-06 cs.CV
GAGAN: Geometry-Aware Generative Adversarial Networks
Imperial College London（伦敦帝国理工学院）；Middlesex University London（伦敦密德萨斯大学）
通过对抗性训练学习的深度生成模型因其生成自然图像纹理的能力而变得越来越受欢迎。然而，除了它们的纹理，对象的视觉外观是显着影响其形状的几何形状，信息是不考虑现有的生成模型。本文介绍了几何感知生成对抗网络（GAGAN），将几何信息纳入图像生成过程。具体来说，在GAGAN中，生成器从统计形状模型的概率空间中对潜在变量进行采样。通过将生成器的输出通过可微几何变换映射到规范坐标系，我们强制对象的几何形状，并从之前的生成对象添加隐式连接。人脸生成的实验结果表明，GAGAN可以生成具有任意面部属性（如面部表情，姿态和形态）的真实人脸图像，其质量优于当前基于GAN的方法。我们的方法可用于增强任何现有的GAN架构，并提高生成的图像的质量。
2018-03-27 cs.CV
DUP-Net: Denoiser and Upsampler Network for 3D Adversarial Point Clouds Defense
University of Science and Technology of China（中国科学技术大学）
神经网络容易受到对抗性样本的攻击，这对它在安全敏感系统中的应用构成了威胁。我们提出了一个去噪和上采样器网络（DUP-Net）结构作为3D对抗点云分类的防御，其中两个模块通过删除或添加点来重建表面平滑度。在本文中，统计离群点去除（SOR）和数据驱动的上采样网络被认为是去噪和上采样分别。与基线防御相比，DUP-Net有三个优点。首先，使用DUP-Net作为防御，目标模型对白盒对抗攻击更具鲁棒性。其次，统计离群值去除提供了额外的鲁棒性，因为它是不可微的去噪操作。第三，上采样器网络可以在小数据集上进行训练，并且可以很好地防御从其他点云数据集生成的对抗攻击。我们进行了各种实验，以验证DUP-Net是非常有效的防御在实践中。在PointNet上，最佳防御算法在200个丢弃点下消除了83.8%的基于C &W和l_2损失的攻击（点移动）、50.0%的基于C&W和Hausdorff距离损失的攻击（点添加）和9.0%的基于显著图的攻击（点丢弃）。
2019-07-29 cs.CV
Divide, Denoise, and Defend against Adversarial Attacks
Apple Inc.（苹果公司）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
深度神经网络虽然被证明是一类成功的机器学习算法，但已知对对抗性扰动非常不稳定。提高神经网络对这些攻击的鲁棒性非常重要，特别是对于安全关键型应用。为了抵御这种攻击，我们建议将输入图像分为多个补丁，独立地对每个补丁进行去噪，并重建图像，而不会丢失重要的图像内容。我们称这个方法为D3。这种防御机制是不可微的，这使得对手应用基于梯度的攻击是不平凡的。此外，我们没有使用对抗性示例对网络进行微调，使其对未知攻击更加强大。我们提出了一个分析的准确性和鲁棒性之间的权衡对对抗攻击。我们在黑盒，灰盒和白盒设置下评估我们的方法。在ImageNet数据集上，我们的方法在灰盒设置下的性能比最先进的方法高出19.7%，在黑盒设置下的性能更好。对于白盒设置，所提出的方法实现了34.4%的准确率相比，在最近的作品中报道的0%。
2019-04-25 cs.AI cs.CV
Adversarial Margin Maximization Networks
Institute for Artificial Intelligence, Tsinghua University (THUAI)（清华大学人工智能研究院）；State Key Lab of Intelligent Technologies and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology (BNRist)（北京信息科学与技术国家研究中心）；Department of Automation, Tsinghua University（清华大学自动化系）；Bytedance AI Lab（字节跳动人工智能实验室）
深度神经网络（DNN）最近的巨大成功引发了人们对理解其预测能力的兴趣。与人类视觉系统能够鲁棒地泛化并在很少的监督下学习不同，DNN通常需要大量数据来学习新概念。此外，研究工作还表明，DNN容易受到对抗性示例的攻击-恶意生成的图像，这些图像在感知上与自然图像相似，但实际上是为了欺骗学习模型而形成的，这意味着模型在泛化到具有某些类型扭曲的不可见数据时存在问题。本文对DNN的泛化能力进行了全面的分析，并试图从几何的角度对其进行改进。我们提出了对抗性边际最大化（AMM），这是一种基于学习的正则化，它利用对抗性扰动作为代理。它鼓励在输入空间中留出较大的余量，就像支持向量机一样。利用扰动的可微公式，我们简单地通过端到端方式的反向传播来训练正则化DNN。在各种数据集（包括MNIST、CIFAR-10/100、SVHN和ImageNet）和不同DNN架构上的实验结果表明，我们的方法优于以前的最先进技术。用于复制我们结果的代码和模型将公开提供。
2019-11-14 cs.CV cs.LG cs.NE
