Robustness Evaluation of Stacked Generative Adversarial Networks using Metamorphic Testing
Monash University Malaysia（莫纳什大学马来西亚分校）
从自然语言中合成具有真实感的图像是计算机视觉的一个挑战性问题。在过去的十年中，已经提出了许多方法，其中改进的堆栈生成对抗网络（StackGAN-v2）已被证明能够生成反映输入文本描述中指定细节的高分辨率图像。在本文中，我们的目标是通过引入训练数据的变化来评估StackGAN-v2模型的鲁棒性和容错能力。但由于生成对抗网络（GAN）的工作原理，当训练数据被修改时，很难预测模型的输出。因此，在这项工作中，我们采用变形测试技术来评估模型的鲁棒性与各种意想不到的训练数据集。因此，我们首先实现StackGAN-v2算法，并测试原作者提供的预训练模型，为我们的实验建立基础事实。然后，我们确定一个变形关系，从测试用例生成。根据试验结果的观察，推导出了变形关系式。最后，我们综合了所有变形关系的实验结果，发现StackGAN-v2算法容易受到带有突出对象的输入图像的影响，即使它与主要对象的重叠最小，这是StackGAN-v2模型的作者和用户没有报道的。所提出的变形关系可以应用到其他文本到图像的合成模型，不仅验证了鲁棒性，而且还帮助研究人员理解和解释的结果由机器学习模型。
2021-10-02 cs.CV cs.SE
Affine-Invariant Robust Training
对抗鲁棒性在机器学习中引起了极大的关注。与训练在平均情况下准确的模型的常见方法相反，它旨在训练对最坏情况输入准确的模型，因此它产生更鲁棒和可靠的模型。换句话说，它试图防止对手欺骗模型。对抗鲁棒性的研究主要集中在$\ell_p-$有界对抗扰动上，即输入的修改，在某些$\ell_p$范数中有界。然而，已经表明，最先进的模型也容易受到其他更自然的扰动，如仿射变换，这已经在数据增强中的机器学习中得到了考虑。本计画回顾先前在空间稳健性方法上的工作，并提出演化策略作为零阶最佳化演算法，以找出每一输入的最差仿射变换。所提出的方法有效地产生鲁棒模型，并允许引入非参数对抗扰动。
2020-10-08 cs.LG cs.NE stat.ML
Evaluating and Enhancing Segmentation Model Robustness with Metamorphic Testing
Polytechnique Montreal（蒙特利尔理工学院）
本文提出基于遗传算法的蜕变测试方法SegRMT，通过优化空间和光谱变换生成对抗样本以评估并增强图像分割模型鲁棒性，在降低模型mIoU和提升对抗训练效果上均显著优于现有基线方法。
2025-04-03 cs.CV cs.SE
Metamorphic Testing-based Adversarial Attack to Fool Deepfake Detectors
Monash University Malaysia（莫纳什大学马来西亚分校）
Deepfakes利用人工智能（AI）技术来创建合成媒体，其中一个人的肖像被另一个人取代。越来越多的人担心，deepfakes可能被恶意用于创建误导性和有害的数字内容。随着deepfake变得越来越普遍，迫切需要deepfake检测技术来帮助发现deepfake媒体。目前的deepfake检测模型能够实现出色的准确率（>90%）。然而，它们中的大多数仅限于数据集内场景，其中使用相同的数据集进行训练和测试。大多数模型在跨数据集的情况下都不能很好地泛化，在这种情况下，模型是在来自另一个来源的未知数据集上进行测试的。此外，最先进的深度伪造检测模型依赖于已知易受对抗攻击攻击的基于神经网络的分类模型。出于对强大的deepfake检测模型的需求，本研究采用变形测试（MT）原理来帮助识别可能影响所检查模型的鲁棒性的潜在因素，同时克服该领域的测试预言问题。变形测试是专门选择作为测试技术，因为它符合我们的需求，以解决基于学习的系统测试与概率的结果，主要是黑盒组件，基于潜在的大输入域。我们对MesoInception-4和TwoStreamNet模型进行了评估，这是最先进的deepfake检测模型。这项研究将化妆应用确定为一种对抗攻击，可以欺骗deepfake检测器。我们的实验结果表明，MesoInception-4和TwoStreamNet模型的性能下降高达30%时，输入数据与化妆扰动。
2022-06-01 cs.CV
RobCaps: Evaluating the Robustness of Capsule Networks against Affine Transformations and Adversarial Attacks
Technische Universität Wien（维也纳工业大学）；Politecnico di Torino（都灵理工大学）；New York University（纽约大学）
本文提出 RobCaps 评估框架，在多数据集及仿射变换、对抗攻击下对比 CapsNet 与 CNN，发现 CapsNet 鲁棒性更优且主要源于胶囊分层特征学习而非动态路由。
2023-04-25 cs.LG
Towards Understanding Dual BN In Hybrid Adversarial Training
KAIST（韩国科学技术院）；Kyung Hee University（庆熙大学）；Northwestern Polytechnical University（西北工业大学）
本文研究混合对抗训练中双批归一化（Dual BN）的作用机制，发现解耦仿射参数比解耦统计量更关键，并提出双任务假设作为统一改进框架。
2024-03-28 cs.AI cs.CR cs.CV
Extreme Value Preserving Networks
Carnegie Mellon University（卡内基梅隆大学）；Ant Group（蚂蚁集团）；Tsinghua University（清华大学）
最近的证据表明，卷积神经网络（CNN）偏向于纹理，使得CNN对纹理上的对抗性扰动不鲁棒，而传统的鲁棒视觉特征如SIFT（尺度不变特征变换）被设计为在仿射失真、噪声添加等的大范围内鲁棒，模仿人类感知性质。本文旨在利用SIFT的良好特性来更新CNN架构，以提高准确性和鲁棒性。借鉴SIFT的尺度空间极值思想，提出了极值保持网络（EVPNets）。实验表明，EVPNets可以实现与传统CNN相似或更好的准确性，同时即使没有对抗训练，也可以在一组对抗攻击（FGSM，PGD等）上实现更好的鲁棒性。
2020-11-17 cs.CV cs.LG
Fast Adversarial Attacks with Gradient Prediction
Spotify
本文提出通过预测前向传播隐藏状态实现梯度预测，从而提升对抗样本生成效率，实验显示其在时间消耗上比FGSM减少532%。
2026-10-09 cs.LG
Disrupting Adversarial Transferability in Deep Neural Networks
Rensselaer Polytechnic Institute（伦斯勒理工学院）
对抗攻击的可转移性在深度学习中得到了广泛的认可。先前的工作通过识别常见的对抗子空间和决策边界之间的相关性来部分解释可转移性，但除此之外知之甚少。我们提出，看似不同的模型之间的可转移性是由于不同网络提取的特征集之间的高度线性相关性。换句话说，在参数空间中距离遥远的相同任务上训练的两个模型可能以相同的方式提取特征，只是在潜在空间之间进行了平凡的仿射变换。此外，我们还展示了如何应用特征相关性损失，即在潜在空间中对提取的特征进行去相关，可以减少模型之间对抗攻击的可转移性，这表明模型以语义不同的方式完成任务。最后，我们提出了一种双颈自动编码器（DNA），它利用这种特征相关性损失来创建两种有意义的不同编码的输入信息，降低了可传输性。
2023-02-22 cs.AI cs.CR cs.LG
A Data Augmentation-based Defense Method Against Adversarial Attacks in Neural Networks
University of California San Diego（加州大学圣迭戈分校）；Telecom Paris（巴黎电信学院）；Institut Polytechnique de Paris（巴黎综合理工学院）；Columbia University（哥伦比亚大学）
众所周知，计算机视觉（CV）中的深度神经网络（DNN）易受对抗性示例（AE）的影响，即恶意添加的不可感知的扰动会导致错误的分类结果。这种可变性已经成为现实生活中配备DNN作为核心组件的系统的潜在风险。人们已经在研究如何保护DNN模型不被AE处理方面做出了许多努力。然而，以前的工作还没有能够有效地降低新型对抗攻击造成的影响并同时兼容现实生活的限制。在本文中，我们专注于开发一个轻量级的防御方法，可以有效地无效与现实生活中的约束兼容的全白盒对抗攻击。从基本的仿射变换，我们集成了三个变换与随机系数，微调尊重的变化量的捍卫样本。与过去两年在顶级AI会议上发表的4种最先进的防御方法相比，我们的方法表现出了出色的鲁棒性和效率。值得强调的是，我们的模型可以承受高级自适应攻击，即50轮的BPDA，并且仍然帮助目标模型保持80%左右的准确率，同时将攻击成功率限制在几乎为零。
2020-07-30 cs.CR cs.LG
Affine Disentangled GAN for Interpretable and Robust AV Perception
TUV SUD Singapore（新加坡TUV南德意志集团）；Nanyang Technological University（南洋理工大学）
随着计算机视觉算法的发展，自动驾驶汽车（AV）发展迅速。深度卷积神经网络作为这一进步的主要贡献者，大大提高了分类精度。然而，对抗性例子的发现揭示了数据集和现实世界之间的泛化差距。此外，仿射变换还可能混淆基于计算机视觉的对象检测器。感知系统的退化对于诸如自主车辆的安全关键系统是不期望的。本文提出了一种深度学习系统：仿射解纠缠GAN（ADIS-GAN），它对仿射变换和对抗攻击具有鲁棒性。仿真结果表明，传统的仿射变换数据增强和对抗攻击数据增强是正交的，而ADIS-GAN可以同时处理这两种攻击。在ADIS-GAN中还生成有用的信息，如图像旋转角度和缩放因子。在MNIST数据集上，ADIS-GAN可以在30度旋转范围内达到98%以上的分类准确率，并且可以在FGSM和PGD对抗攻击时达到90%以上的分类准确率。
2019-07-06 cs.CV cs.LG eess.IV
Robust Federated Learning: The Case of Affine Distribution Shifts
UC Santa Barbara（加州大学圣巴巴拉分校）；Massachusetts Institute of Technology（麻省理工学院）
联邦学习是一种分布式范例，其旨在使用分布在网络中的多个用户之间的样本来训练模型，同时将样本保存在用户的设备上，以提高效率并保护用户隐私。在这样的设置中，训练数据通常在统计上是异构的，并且表现出跨用户的各种分布偏移，这降低了学习模型的性能。本文的主要目标是开发一个强大的联邦学习算法，实现令人满意的性能对分布偏移在用户的样本。为了实现这一目标，我们首先考虑用户数据中的结构化仿射分布偏移，它捕获联邦设置中依赖于设备的数据异构性。该扰动模型适用于各种联邦学习问题，例如图像分类，其中图像经历依赖于设备的缺陷，例如不同的强度、对比度和亮度。为了解决用户之间的仿射分布偏移，我们提出了一个联邦学习框架对仿射分布偏移（FLRA）的鲁棒性，该框架可证明对观察样本的仿射Wasserstein偏移具有鲁棒性。为了解决FLRA的分布式极大极小问题，我们提出了一种快速有效的优化方法，并通过梯度下降上升（GDA）方法提供收敛保证。我们进一步证明了泛化误差界的学习分类器，以显示适当的推广，从经验分布的样本，真正的底层分布。我们进行了几个数值实验，经验支持FLRA。我们表明，仿射分布偏移确实足以显着降低新测试用户中学习分类器的性能，并且与标准的联邦学习和对抗训练方法相比，我们提出的算法取得了显着的收益。
2020-06-16 cs.LG math.OC stat.ML
Adversarial Training for Deep Hedging in Nonstationary Markets
University of Waterloo（滑铁卢大学）；EPFL（洛桑联邦理工学院）
针对非平稳市场，提出基于两预算DRO的WRAP对抗训练框架，通过重加权和路径扰动联合优化，提升深度对冲策略的鲁棒性，实验验证其在非平稳下增益最大。
2026-10-07 cs.LG math.OC q-fin.CP
Generalised Eigenvalue Geometry of Semantic Adversarial Attacks
Data Science Institute, London School of Economics and Political Science（伦敦经济学院数据科学研究所）；Department of Mathematics, London School of Economics and Political Science（伦敦经济学院数学系）；The Inclusion Initiative, London School of Economics and Political Science（伦敦经济学院包容倡议）
提出一种连续局部模型，通过矩阵束$(A,B)$的最大广义特征值量化语义对抗攻击性，并给出预测翻转条件、攻击性证书及VC界。
2026-06-18 cs.LG stat.ML
Network Moments: Extensions and Sparse-Smooth Attacks
King Abdullah University of Science and Technology (KAUST)（阿卜杜拉国王科技大学）；Université de Montréal（蒙特利尔大学）
深度神经网络（DNN）令人印象深刻的性能极大地加强了旨在从理论上分析其有效性的研究路线。这引发了对DNN对噪声输入的反应的研究，即开发对抗性输入攻击和策略，从而导致DNN对这些攻击的鲁棒性。为此，在本文中，我们推导出高斯输入下小分段线性（PL）网络（仿射，ReLU，仿射）的一阶和二阶矩（均值和方差）的精确解析表达式。特别地，我们将Bibi等人的二阶矩表达式推广到任意输入高斯分布，放弃了零均值假设。我们发现，新的方差表达式可以有效地近似导致更严格的方差估计相比，Bibi等人的初步结果。此外，我们实验表明，这些表达式是紧的简单线性化下更深的PL-DNN，我们调查的影响的线性化灵敏度的时刻估计的准确性。最后，我们表明，派生的表达式可以用来构建稀疏和平滑的高斯对抗攻击（有针对性的和非有针对性的），往往会导致感知上可行的输入攻击。
2020-06-21 cs.CR cs.LG stat.ML
Adversarial Training Without Input Gradients via Low-Rank Householder Expansions
Washington University in St. Louis（圣路易斯华盛顿大学）
该研究提出基于低秩Householder展开的无输入梯度对抗训练方法，消除了对输入求导及内部最大化步骤，开销低且在小ℓ²预算下可匹配多步PGD对抗训练效果。
2026-08-28 cs.LG
IGAff: Benchmarking Adversarial Iterative and Genetic Affine Algorithms on Deep Neural Networks
Faculty of Automatic Control；Computers, National University of Science；National Institute for Research \& Development in Informatics - ICI Bucharest, Bucharest, Romania
本文提出并基准测试两种基于仿射变换和遗传算法的黑盒迭代对抗攻击算法（ATA和AGA），在多个模型和数据集上验证其有效性，准确率提升最高达8.82%。
2025-09-08 cs.CV cs.LG
Quantum Interval Bound Propagation for Certified Training of Quantum Neural Networks
University of Florida, Gainesville, FL, USA（佛罗里达大学）
本文提出量子区间界传播(QIBP)方法，用于量子机器学习的认证训练，通过区间和仿射算术探索精度与设计权衡，验证模型在对抗扰动下的鲁棒性。
2026-05-01 cs.LG quant-ph
The Power of Typed Affine Decision Structures: A Case Study
TU Dortmund University（多特蒙德工业大学）
该研究将新颖的白盒神经网络表示TADS应用于神经网络验证，结合前提投影技术与PCA实现鲁棒性误差的精确诊断，验证了其在可解释性与验证上的效用，可处理中等规模问题并提供误差解释。
2023-04-28 cs.LG cs.NE
Expected Tight Bounds for Robust Training
KAUST（阿卜杜拉国王科技大学）；University of Oxford（牛津大学）
训练对范数有界对抗攻击具有鲁棒性的深度神经网络仍然是一个难以捉摸的问题。虽然基于精确和不精确验证的方法通常过于昂贵，无法训练大型网络，但已经证明，有界输入区间可以通过深度网络从一层传播到另一层。这种区间界限传播方法（IBP）不仅提高了鲁棒性和认证准确性，而且是第一个在大型/深度网络上使用的方法。然而，由于IBP边界的非常松散的性质，所需的训练过程是复杂和复杂的。在本文中，我们仔细研究了以Affine-ReLU-Affine形式组成的层块的边界。为此，我们提出了预期的严格界限（真正的界限的期望），被称为ETB，这是可证明的严格比IBP界限的期望。然后，我们通过逐块传播将这一结果扩展到更深的网络，并表明与IBP相比，我们可以实现数量级更紧的边界。此外，使用简单的标准训练过程，我们可以在MNIST和CIFAR 10上实现令人印象深刻的鲁棒性-准确性权衡。
2021-06-12 cs.CR cs.LG stat.ML
Privacy-Preserving Image Features via Adversarial Affine Subspace Embeddings
ETH Zürich（苏黎世联邦理工学院）；Microsoft（微软）
许多计算机视觉系统需要用户将图像特征上传到云端进行处理和存储。可以利用这些特征来恢复关于场景或对象的敏感信息，例如，通过重建原始图像的外观。为了解决这个隐私问题，我们提出了一个新的隐私保护功能表示。我们工作的核心思想是通过将每个特征描述符嵌入到包含原始特征以及对抗特征样本的仿射子空间中来删除约束。基于子空间到子空间距离的概念来实现隐私保护表示上的特征匹配。我们的实验证明了我们的方法的有效性和它的视觉定位和映射以及人脸认证的应用程序的高度实际意义。与原始功能相比，我们的方法使对手更难恢复私人信息。
2021-03-30 cs.CV
DAFT-GAN: Dual Affine Transformation Generative Adversarial Network for Text-Guided Image Inpainting
Kyungpook National University（庆北国立大学）
针对文本引导图像修复中的图文对齐与区域分布一致性问题，提出DAFT-GAN，通过双仿射变换逐步融合特征并分区编码以减少信息泄漏，在三个基准上取得优于现有GAN模型的效果。
2024-08-09 cs.CV
Capsule Neural Networks as Noise Stabilizer for Time Series Data
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文研究了 CapsNets 在分析含噪时间序列传感器数据时的有效性，通过心电图数据及人工与对抗攻击实验，证明其作为噪声稳定器优于原始 CNNs，能显著提升模型对噪声攻击的抵御能力。
2024-03-20 cs.LG
RATLIP: Generative Adversarial CLIP Text-to-Image Synthesis Based on Recurrent Affine Transformations
School of Artificial Intelligence, Guangxi Colleges and Universities Key Laboratory of AI Algorithm Engineering（人工智能学院、广西 Colleges and Universities AI 算法工程重点实验室）
本文提出RATLIP模型，通过结合循环神经网络与条件仿射变换引入全局文本信息，并利用Shuffle Attention缓解信息遗忘，同时在生成器和判别器中采用预训练CLIP模型，显著提升了文本到图像合成的质量与一致性。
2025-10-11 cs.CV
Wasserstein Robust Classification Error: Surrogate Loss Misalignment and Distributional Attacks
College of Engineering & Computer Science（工程与计算机科学学院）；VinUniversity Hanoi, Vietnam（越南河内Vin大学）
本文提出了一种基于精确Lipschitz证书的WDRO方法，用于增强深度神经网络的鲁棒性，并提出了WDA攻击方法以提升对抗鲁棒性。
2026-10-21 cs.LG math.OC stat.ML
Self-Poisoning in Adaptive Out-of-Distribution Detection: A Sharp-Threshold Theory and Certified Label-Free Calibration
研究自适应分布外检测中的自中毒问题，通过将内存库杂质建模为广义波利亚瓮证明相关动态规律，给出认证准入门等方法，证明双世界不可能性定理，完整刻画了无标签自适应OOD检测的可能性与不可能性。
2026-07-27 cs.AI cs.CR cs.CV
Synthesizing Robust Adversarial Examples
Massachusetts Institute of Technology（麻省理工学院）；LabSix（第六实验室）
用于为神经网络生成对抗性示例的标准方法并不总是欺骗物理世界中的神经网络分类器，这是由于视点偏移、相机噪声和其他自然变换的组合，限制了它们与现实世界系统的相关性。我们证明了强大的3D对抗对象的存在，我们提出了第一个算法合成的例子，是对抗超过一个选定的分布变换。我们合成的二维对抗图像对噪声、失真和仿射变换具有鲁棒性。我们将我们的算法应用于复杂的三维对象，使用3D打印来制造第一个物理对抗对象。我们的研究结果证明了物理世界中存在3D对抗对象。
2018-06-07 cs.CV
Robust Synthesis of Adversarial Visual Examples Using a Deep Image Prior
University of Surrey（萨里大学）；Adobe Research（奥多比研究院）
我们提出了一种新的方法，用于生成鲁棒的对抗性图像示例，该方法基于最近的“深度图像先验”（DIP），该方法利用卷积网络架构在图像合成中执行合理的纹理。对抗性图像通常通过扰动图像来引入高频噪声来产生，高频噪声引起图像误分类，但是对于随后的图像数字操作来说是脆弱的。我们表明，使用DIP在对抗约束下重建图像会引起对仿射变形更鲁棒的扰动，同时保持视觉上不可感知。此外，我们表明，我们的DIP方法也可以适应当地的对抗补丁（“对抗贴纸”）。我们在从ImageNet数据集中提取的广泛图像和对象类上展示了强大的对抗性示例。
2019-07-03 cs.CV
Enabling Data Diversity: Efficient Automatic Augmentation via Regularized Adversarial Training
Rutgers University（罗格斯大学）；SenseBrain；Shanghai AI Laboratory（上海人工智能实验室）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
事实证明，数据增强通过增加训练数据方差来减轻过拟合并提高深度神经网络的泛化性能是非常有用的。在医学图像分析中，一个设计良好的增强策略通常需要大量的专业知识，并且由于不同医学任务中的像素强度、图像外观和对象形状之间的巨大差异而难以推广到多个任务。为了自动化医疗数据增强，我们提出了一个正则化的对抗训练框架，通过两个最小-最大目标和三个可微的增强模型，包括仿射变换，变形和外观变化。我们的方法比以前的自动增强方法更加自动和高效，这些方法仍然依赖于具有人类指定范围和昂贵的双层优化的预定义操作。大量的实验表明，我们的方法具有更少的训练开销，在2D皮肤癌分类和3D危险器官分割这两项任务上都比最先进的自动增强方法具有更好的性能。
2021-03-30 cs.CV eess.IV
Adversarial Doodles: Interpretable and Human-drawable Attacks Provide Describable Insights
The University of Tokyo（东京大学）
针对现有对抗攻击模式模糊、难以解释的问题，研究提出可解释的Adversarial Doodles方法，通过优化黑色贝塞尔曲线并经仿射变换、区域正则化得到人类可复制的小型攻击，可揭示涂鸦形状与分类器输出的关联。
2024-09-11 cs.CV
Domain Adaptation on Semantic Segmentation with Separate Affine Transformation in Batch Normalization
University of Ottawa（渥太华大学）
近年来，用于语义分割的无监督领域自适应算法引起了许多研究者的关注。他们中的许多人采取了一种方法来设计一个复杂的系统，以便更好地调整源和目标域之间的差距。相反，我们专注于深度神经网络的基本结构，批量归一化，并建议用我们提出的分离仿射变换（SEAT）来取代共享仿射变换。所提出的SEAT简单，易于实现，易于集成到现有的基于对抗学习的UDA方法中。此外，为了进一步提高自适应质量，我们引入了多级自适应，在将较低级别的功能添加到较高级别的功能之前，将它们馈送到自适应器，而不像其他人那样添加额外的自适应器。实验结果表明，与其他UDA方法相比，所提出的方法在不损失性能准确性的情况下，具有较低的复杂度。
2021-10-14 cs.AI cs.CV
Evaluation of Deep Convolutional Generative Adversarial Networks for data augmentation of chest X-ray images
Harrisburg University of Science and Technology（哈里斯堡科技大学）
医学图像数据集通常是不平衡的，由于获取数据的成本高，注释耗时。在这样的数据集上训练深度神经网络模型以准确地对医学状况进行分类不会产生期望的结果，并且通常过度拟合大多数类别样本上的数据。为了解决这个问题，通常通过诸如缩放、裁剪、翻转、填充、旋转、平移、仿射变换的位置增强技术和诸如亮度、对比度、饱和度和色调的颜色增强技术对训练数据执行数据增强以增加数据集大小。这些增强技术不能保证在具有有限数据（特别是医学图像数据）的领域中是有利的，并且可能导致进一步的过拟合。在这项工作中，我们通过生成建模（深度卷积生成对抗网络）对胸部X射线数据集进行了数据增强，该生成建模创建了保留与原始数据相似特征的人工实例，并对模型进行了评估，结果是Fréchet初始距离（FID）评分为1.289。
2020-09-02 cs.AI cs.CV cs.LG
Recurrent Affine Transformation for Text-to-image Synthesis
South China University of Technology（华南理工大学）
文本到图像合成的目的是生成自然的图像条件下的文本描述。该任务的主要困难在于有效地将文本信息融合到图像合成过程中。现有方法通常自适应地将合适的文本信息融合到具有多个隔离融合块的合成过程中（例如，条件批量归一化和实例归一化）。然而，孤立的融合块不仅相互冲突，而且增加了训练的难度（见补充资料第一页）。为了解决这些问题，我们提出了一种用于生成对抗网络的递归仿射变换（RAT），该变换将所有融合块与递归神经网络连接起来，以对它们的长期依赖性进行建模。此外，为了提高文本和合成图像之间的语义一致性，我们将一个空间注意力模型的合成。文本描述能够识别匹配的图像区域，监督生成器合成更多相关的图像内容。在CUB、Oxford-102和COCO数据集上的大量实验表明，与最先进的模型\footnote{https://github.com/senmaoy/Recurrent-Affine-Transformation-for-Text-to-image-Synthesis.git}相比，所提出的模型具有优越性
2022-04-22 cs.CV
Towards Robust Stacked Capsule Autoencoder with Hybrid Adversarial Training
Shanghai University（上海大学）
胶囊网络（CapsNets）是一种新型的神经网络，它基于特征的空间关系对图像进行分类。通过分析特征的姿态和它们之间的相对位置，可以更好地识别经过仿射变换的图像。堆叠胶囊自动编码器（SCAE）是最先进的CapsNet，首次实现了CapsNet的无监督分类。然而，SCAE的安全漏洞和鲁棒性却很少被探讨。在本文中，我们提出了一个规避攻击SCAE，其中攻击者可以产生对抗性扰动的基础上减少的贡献SCAE相关的原始类别的图像的对象胶囊。然后将对抗扰动应用于原始图像，并且扰动的图像将被误分类。此外，我们提出了一种防御方法，称为混合对抗训练（HAT）对这种逃避攻击。HAT利用对抗训练和对抗蒸馏来实现更好的鲁棒性和稳定性。实验结果表明，改进后的SCAE模型在规避攻击下可以达到82.14%的分类准确率。源代码可在https://github.com/FrostbiteXSW/SCAE_Defense上获得。
2022-03-01 cs.AI cs.CV
DAAIN: Detection of Anomalous and Adversarial Input using Normalizing Flows
EPFL（洛桑联邦理工学院）；Merantix Labs GmbH（Merantix实验室有限责任公司）
尽管最近做了很多工作，但检测计算机视觉模型的分布外（OOD）输入和对抗攻击（AA）仍然是一个挑战。在这项工作中，我们介绍了一种新的技术，DAAIN，检测OOD输入和AA图像分割在一个统一的设置。我们的方法监控神经网络的内部工作，并学习激活分布的密度估计。我们配备了一个分类头的密度估计，以区分正常和异常的输入。为了处理典型分割网络的高维激活空间，我们对它们进行子采样以获得均匀的空间和分层覆盖。子采样模式为每个监控模型选择一次，并对所有输入保持固定。由于攻击者既不能访问检测模型，也不能访问采样密钥，因此他们更难攻击分段网络，因为攻击不能通过检测器反向传播。我们使用在Cityscapes数据集上训练的ESPNet作为分割模型，仿射归一化流作为密度估计器，并使用蓝噪声来确保均匀采样，从而证明了我们方法的有效性。我们的模型可以在单个GPU上训练，使其计算效率和可部署性，而无需专门的加速器。
2021-05-30 cs.CR cs.CV cs.LG
IDProtector: An Adversarial Noise Encoder to Protect Against ID-Preserving Image Generation
National University of Singapore（新加坡国立大学）
本文提出IDProtector对抗性噪声编码器，通过单次前向传播向人像施加不可察觉噪声，以抵御InstantID等基于编码器的身份保持生成，并具备对常见图像变换的鲁棒性和对未知模型及闭源模型的泛化能力。
2025-02-04 cs.CV
Semi-Supervised Image-to-Image Translation
D. J. Sanghvi College of Engineering（D.J.桑格维工程学院）
图像间的平移是计算机视觉中一个由来已久的难题。在本文中，我们提出了一个基于对抗的图像到图像翻译模型。常规的基于深度神经网络的方法通过比较gram矩阵和使用需要人工干预的图像分割来执行图像到图像的转换任务。我们的基于生成对抗网络的模型基于条件概率方法。这种方法使得图像翻译独立于任何局部、全局和内容或风格特征。在我们的方法中，我们使用了一个双向重建模型，附加了仿射变换因子，与其他模型相比，它有助于保存内容和照片真实感。使用这种方法的优点是图像到图像的转换是半监督的，独立于图像分割，并继承了生成对抗网络倾向于产生逼真效果的特性。该方法已被证明比多模态无监督图像到图像翻译产生更好的结果。
2019-01-24 cs.CV
Unified Adversarial Patch for Visible-Infrared Cross-modal Attacks in the Physical World
Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
本文提出一种统一对抗补丁，通过操控形状特征并采用边界受限优化、分数感知迭代评估及仿射变换增强策略，实现了对可见光与红外双模态目标检测器的跨模态物理攻击，攻击成功率超80%。
2023-07-27 cs.CV
EatGAN: An Edge-Attention Guided Generative Adversarial Network for Single Image Super-Resolution
Department of Mathematics, The Chinese University of Hong Kong（香港中文大学数学系）
EatGAN通过引入边缘注意力机制，结合边缘先验显式和隐式利用，提升单图像超分辨率的生成质量与稳定性。
2025-11-21 cs.CV
Deepfake Sentry: Harnessing Ensemble Intelligence for Resilient Detection and Generalisation
Univ. “Politehnica” of Bucharest（布加勒斯特理工大学）
本文提出基于集成自编码器的深度伪造训练增强方法，通过引入人工指纹提升检测模型在泛化、数据扰动、有损压缩和对抗攻击下的鲁棒性。
2024-03-29 cs.CV
Segmentation-Renormalized Deep Feature Modulation for Unpaired Image Harmonization
New York University Tandon School of Engineering（纽约大学坦登工程学院）
深度网络现在在大规模多中心成像研究中无处不在。然而，由于对比度、分辨率和噪声不一致，跨站点的图像直接聚合禁忌用于下游统计和基于深度学习的图像分析。为此，在没有配对数据的情况下，周期一致生成对抗网络的变体已被用于协调源域和目标域之间的图像集。重要的是，这些方法易于不稳定，对比度反转，棘手的病理操纵，和隐写映射，限制了它们在现实世界的医学成像中的可靠采用。在这项工作中，基于一个基本的假设，即形态形状是一致的成像部位，我们提出了一个分割重新规范化的图像翻译框架，以减少扫描仪间的异质性，同时保留解剖布局。我们用以共同学习的解剖分割嵌入为条件的可训练尺度和移位参数替换生成网络内标准化层中使用的仿射变换，以调节每个翻译级别的特征。我们在有和没有病变的数据集上，针对几种成像模式（T1 w MRI、FLAIR MRI和OCT）的最新基线评估了我们的方法。平移GANs的分割重正化产生了由Inception距离量化的卓越图像协调性，通过事后分割准确性证明了改进的下游效用，并提高了对平移扰动和自对抗攻击的鲁棒性。
2021-02-16 cs.CV eess.IV
Using Synthetic Images to Augment Small Medical Image Datasets
Umeå University（于默奥大学）；Università Campus Bio-Medico di Roma（罗马生物医学自由大学）
本文提出一种基于StyleGAN2的新型条件变体生成高分辨率多模态合成图像，以增强小型医学图像数据集，但实验表明下游语义分割模型并未从中受益。
2025-03-02 cs.AI cs.CV cs.LG
Unsupervised Depth Estimation, 3D Face Rotation and Replacement
Carnegie Mellon University（卡内基梅隆大学）；Mila-University of Montreal（蒙特利尔大学米拉研究院）；Polytechnique Montreal（蒙特利尔综合理工大学）；Element AI（元素人工智能公司）
我们提出了一种无监督的方法，用于学习从单个图像估计三维（3D）面部结构，同时预测与所需姿势和面部几何形状相匹配的3D视点变换。我们通过以无监督的方式推断输入图像的面部关键点的深度来实现这一点，而不使用任何形式的地面真实深度信息。我们展示了如何使用这些深度作为新的可反向传播损失内的中间计算来预测3D仿射变换矩阵的参数，该变换矩阵将输入面部的推断3D关键点映射到所需目标面部几何形状或姿势上的对应2D关键点。因此，我们得到的方法称为DepthNets，可以用来推断从一个面部姿势到另一个面部姿势的合理3D转换，允许面部被正面化，转换为3D模型，甚至扭曲到另一个姿势和面部几何形状。最后，我们确定了我们的公式的某些缺点，并探索对抗图像翻译技术作为后处理步骤，重新合成完整的头部镜头，以重新定位到不同的姿势或身份。
2018-12-24 cs.CV stat.ML
Stretching Beyond the Obvious: A Gradient-Free Framework to Unveil the Hidden Landscape of Visual Invariance
Neuroscience Area, International School for Advanced Studies (SISSA), Trieste (Italy)（国际先进研究学院（SISSA）神经科学部门，特里埃斯蒂（意大利））；Boston Children’s Hospital, Harvard Medical School, Boston (USA)（哈佛医学院波士顿儿童医院，波士顿（美国））；Center for Brains, Minds, and Machines, MIT, Cambridge (USA)（麻省理工学院大脑、心智与机器中心，剑桥（美国））；Harvard-MIT Program in Health Sciences and Technology, MIT, Cambridge (USA)（哈佛-麻省理工学院健康科学与技术项目，麻省理工学院，剑桥（美国））
本文提出SnS框架，通过无梯度方法揭示视觉单元的不变性及对抗敏感性，发现深层表示的伸展会降低模型可解释性。
2026-02-16 cs.CV cs.NE
Joint Learning of Deep Texture and High-Frequency Features for Computer-Generated Image Detection
City University of Hong Kong（香港城市大学）；University at Buffalo (UB), State University of New York（纽约州立大学布法罗分校（UB））；Shanghai Jiao Tong University（上海交通大学）
区分计算机生成（CG）和自然摄影（PG）图像对于验证数字图像的真实性和原创性具有重要意义。然而，最近的尖端生成方法使高质量的CG图像合成成为可能，这使得这项具有挑战性的任务变得更加棘手。针对这一问题，提出了一种基于深度纹理和高频特征的CG图像检测联合学习策略。我们首先制定并深入分析了CG和PG图像的不同采集过程。基于图像采集中多个不同的模块会导致图像中基于卷积神经网络（CNN）的渲染的不同灵敏度不一致的发现，提出了一种用于纹理差异增强和区分性纹理表示的深度纹理渲染模块。具体地说，生成语义分割图来指导仿射变换操作，用来恢复输入图像不同区域的纹理。然后，原始图像和原始图像和渲染图像的高频分量的组合被馈送到配备有注意力机制的多分支神经网络中，该多分支神经网络分别在空间和通道维度上细化中间特征并促进轨迹探索。在两个公共数据集和一个新构建的具有更真实和多样化图像的数据集上进行的大量实验表明，所提出的方法明显优于该领域现有的方法。此外，实验结果还证明了该方法对后处理操作和生成对抗网络（GAN）生成图像的检测鲁棒性和泛化能力。
2022-09-07 cs.CV
