Structure-Preserving Transformation: Generating Diverse and Transferable Adversarial Examples
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Tulane University, USA(杜兰大学(美国))
对抗性示例是被设计用于欺骗机器学习模型的扰动输入。针对图像分类的对抗性示例的最新工作集中于直接修改具有微小扰动的像素。所有这些工作中的一个共同要求是恶意扰动应该足够小(由某个p的L_p范数测量),以便人类无法感知它们。然而,小的扰动可能是不必要的限制,并限制了生成的对抗性示例的多样性。此外,基于L_p范数的距离度量忽略了隐藏在图像中对人类感知很重要的重要结构模式。因此,即使在最近的作品中引入了微小的扰动,也常常使对抗性的例子对人类来说不那么自然。更重要的是,它们通常不能很好地转移,因此在攻击黑盒模型时效率较低,特别是对于那些受防御机制保护的模型。在本文中,我们提出了一种结构保持变换(SPT),用于生成具有极高可移植性的自然和多样的对抗性示例。我们的方法的关键思想是允许在对抗性示例中出现可感知的偏差,同时保持对人类分类器至关重要的结构模式。在MNIST和Fashion-MNIST数据集上的实证结果表明,通过我们的方法生成的对抗性示例可以轻松绕过强对抗性训练。此外,它们可以很好地转移到其他目标模型,而不会损失或损失很少的成功攻击率。
2018-12-22 cs.AI cs.CR cs.CV
Maximal adversarial perturbations for obfuscation: Hiding certain attributes while preserving rest
Massachusetts Institute of Technology(麻省理工学院);Indian Institute of Information Technology, Bangalore(班加罗尔印度信息技术学院)
在本文中,我们研究使用对抗扰动的目的,从人类的感知和基于模型(机器)的检测隐私。我们采用对抗扰动来混淆原始数据中的某些变量,同时保留其余变量。当前的对抗扰动方法用于具有原始数据的最小扰动的数据投毒,使得机器学习模型的性能受到不利影响,而人类视觉由于扰动的最小性质而不能感知中毒数据集中的差异。相反,我们将原始数据的相对最大扰动应用于有条件地损害模型对一个属性的分类,同时保留模型对另一个属性的性能。此外,扰动的最大性质除了影响模型性能之外,还有助于在对隐藏属性进行分类时对人类感知产生不利影响。我们通过显示混淆的数据集来定性地验证我们的结果,并通过显示在干净数据上训练的模型无法从扰动的数据集预测隐藏的属性,同时能够预测其余的属性来定量地验证我们的结果。
2019-09-27 cs.CV cs.LG stat.ML
Quality-Preserving Imperceptible Adversarial Attack on Skeleton-based Human Action Recognition
Durham University(杜伦大学);Tsinghua University(清华大学);Beihang University(北京航空航天大学);Zhongguancun Laboratory(中关村实验室)
针对骨架动作识别的对抗攻击常引入噪声扰动降低动作质量,本文提出一种基于分布的对抗攻击方法,通过最小化经验风险与真实风险的差距来保持动作质量,并设计新指标评估自然性,实验表明该方法在攻击成功率和动作质量上均优于现有方法。
2026-06-12 cs.CV cs.LG
Toward Robust Diagnosis: A Contour Attention Preserving Adversarial Defense for COVID-19 Detection
Sun Yat-sen University(中山大学);Shuguang Hospital, Shanghai University of Traditional Chinese Medicine(上海中医药大学附属曙光医院);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
随着COVID-19大流行给全球医疗系统带来压力,基于计算机断层扫描图像的人工智能诊断系统已成为早期诊断的可持续解决方案。然而,在对抗干扰下的模型明智的脆弱性阻碍了它在实际情况中的部署。现有的对抗性训练策略难以推广到复杂医学纹理特征的医学成像领域。为了克服这一挑战,我们提出了一种基于肺腔边缘提取的轮廓注意力保持(CAP)方法。通过参数正则化将轮廓先验特征注入注意层,并利用混合距离度量优化鲁棒经验风险。然后,我们引入了一个新的跨国CT扫描数据集,以评估分布偏移下的对抗鲁棒性的泛化能力。实验结果表明,该方法在多个对抗性防御和泛化任务中达到了最先进的性能。代码和数据集可在https://github.com/Quinn777/CAP上获得。
2022-11-30 cs.CV cs.LG eess.IV
AEGIS: Preserving Privacy of 3D Facial Avatars with Adversarial Perturbations
Wroclaw University of Science and Technology(波兹南科技大学);Jagiellonian University(雅盖隆大学)
AEGIS通过对抗扰动技术,为3D人脸虚拟形象提供隐私保护,有效隐藏身份特征同时保持真实感和功能性。
2026-11-05 cs.AI cs.CV
Generate Identity-Preserving Faces by Generative Adversarial Networks
Tsinghua University(清华大学)
生成身份保持人脸的目的是在给定目标人脸图像的情况下生成保持同一身份的各种人脸图像。虽然近年来已经开发了相当多的生成模型,但同时获得高质量的面部图像并保持身份仍然具有挑战性。在这里,我们提出了一个引人注目的方法,使用生成对抗网络(GAN)。具体来说,我们利用训练好的GAN生成器来生成可信的人脸,并利用FaceNet作为身份相似性检验器来确保身份。实验结果表明,我们的方法是合格的,以生成高质量的可信和身份保持的人脸。此外,我们的方法提供了一个通用的框架,可以实现以各种方式结合不同的人脸生成器和身份相似性识别。
2017-06-25 cs.CV
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee(印度理工学院鲁尔基分校);IIT Kharagpur(印度理工学院克勒格布尔分校)
压缩感知磁共振成像(CS-MRI)通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中,提出了一种新的生成对抗网络(GAN)为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失,专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构,以允许更容易的信息传输以及可变的网络长度。我们表明,我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外,毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
PCAL: A Privacy-preserving Intelligent Credit Risk Modeling Framework Based on Adversarial Learning
信用风险建模已经渗透到我们的日常生活中。大多数银行和金融公司使用这种技术来模拟客户的可信度。虽然机器学习越来越多地用于这一领域,但由此产生的大规模用户私人信息收集重新激发了隐私辩论,考虑到每年由未经授权的黑客造成的数十起数据泄露事件,以及(可能更多)授权方的信息误用/滥用。为了解决这些关键问题,本文提出了一个基于对抗学习的隐私保护信用风险建模框架(PCAL)。PCAL旨在通过(迭代)权衡隐私风险损失和面向实用性的损失,掩盖原始数据集内的私人信息,同时保留目标预测任务性能的重要实用信息。在实用性和隐私保护方面,将PCAL与现成的选项进行比较。实验结果表明,PCAL可以从用户数据中学习到一种有效的、无隐私的表示方法,为信用风险分析中隐私保护的机器学习提供了坚实的基础。
2020-10-06 cs.CR cs.CV cs.LG
Let the Carrier Carry the Attack: Preserving the Subject in Adversarial Image Generation
University of Maryland, College Park(马里兰大学学院公园分校);University of Edinburgh(爱丁堡大学);WMG, University of Warwick(华威大学WMG);Wuhan University(武汉大学)
本研究提出在对抗性图像生成中引入次要视觉元素“载体”,以吸收攻击更新并保持主体完整,同时增强跨模型迁移性和攻击有效性。
2026-10-01 cs.AI cs.CV
Extreme Value Preserving Networks
Carnegie Mellon University(卡内基梅隆大学);Ant Group(蚂蚁集团);Tsinghua University(清华大学)
最近的证据表明,卷积神经网络(CNN)偏向于纹理,使得CNN对纹理上的对抗性扰动不鲁棒,而传统的鲁棒视觉特征如SIFT(尺度不变特征变换)被设计为在仿射失真、噪声添加等的大范围内鲁棒,模仿人类感知性质。本文旨在利用SIFT的良好特性来更新CNN架构,以提高准确性和鲁棒性。借鉴SIFT的尺度空间极值思想,提出了极值保持网络(EVPNets)。实验表明,EVPNets可以实现与传统CNN相似或更好的准确性,同时即使没有对抗训练,也可以在一组对抗攻击(FGSM,PGD等)上实现更好的鲁棒性。
2020-11-17 cs.CV cs.LG
SocialGuard: An Adversarial Example Based Privacy-Preserving Technique for Social Images
Nanjing University of Aeronautics and Astronautics(南京航空航天大学)
各种社交平台的流行促使更多人在网上分享他们的日常照片。然而,由于这种在线照片共享行为,发生了不期望的隐私泄露。先进的基于深度神经网络(DNN)的对象检测器可以轻松窃取用户在共享照片中暴露的个人信息。在本文中,我们提出了一种新型的基于对抗性示例的社交图像隐私保护技术,以对抗基于对象检测器的隐私窃取。具体来说,我们开发了一种对象消失算法来制作两种对抗性的社交图像。一种方法可以隐藏社交图像中的所有对象,使其不被对象检测器检测到,另一种方法可以使定制的敏感对象被对象检测器错误地分类。对象消失算法在干净的社交图像上构造扰动。在注入扰动后,社会图像可以很容易地欺骗目标检测器,而其视觉质量不会下降。我们使用两个指标,隐私保护成功率和隐私泄漏率,以评估所提出的方法的有效性。实验结果表明,该方法能有效地保护社交图像的隐私。该方法在MS-COCO和PASCAL VOC 2007数据集上的隐私保护成功率分别高达96.1%和99.3%,隐私泄露率分别低至0.57%和0.07%。此外,与现有的图像处理方法(低亮度、噪声、模糊、马赛克和JPEG压缩)相比,该方法在隐私保护和图像视觉质量维护方面具有更好的性能。
2020-11-27 cs.CV cs.LG
Classifier Guidance Enhances Diffusion-based Adversarial Purification by Preserving Predictive Information
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对现有基于扩散模型的对抗纯化方法去噪时易丢失样本信息、导致分类标签偏移的问题,提出分类器置信度引导的COUP算法,在强攻击下实现了更优的对抗鲁棒性。
2024-08-12 cs.CV
Privacy-Preserving Image Features via Adversarial Affine Subspace Embeddings
ETH Zürich(苏黎世联邦理工学院);Microsoft(微软)
许多计算机视觉系统需要用户将图像特征上传到云端进行处理和存储。可以利用这些特征来恢复关于场景或对象的敏感信息,例如,通过重建原始图像的外观。为了解决这个隐私问题,我们提出了一个新的隐私保护功能表示。我们工作的核心思想是通过将每个特征描述符嵌入到包含原始特征以及对抗特征样本的仿射子空间中来删除约束。基于子空间到子空间距离的概念来实现隐私保护表示上的特征匹配。我们的实验证明了我们的方法的有效性和它的视觉定位和映射以及人脸认证的应用程序的高度实际意义。与原始功能相比,我们的方法使对手更难恢复私人信息。
2021-03-30 cs.CV
IDProtector: An Adversarial Noise Encoder to Protect Against ID-Preserving Image Generation
National University of Singapore(新加坡国立大学)
本文提出IDProtector对抗性噪声编码器,通过单次前向传播向人像施加不可察觉噪声,以抵御InstantID等基于编码器的身份保持生成,并具备对常见图像变换的鲁棒性和对未知模型及闭源模型的泛化能力。
2025-02-04 cs.CV
Privacy-preserving Adversarial Facial Features
ZJU-Hangzhou Global Scientific and Technological Innovation Center(浙江大学杭州国际科创中心);Alibaba Group(阿里巴巴集团);College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机与电子工程学院);School of Cyber Science and Engineering, Wuhan University(武汉大学网络空间安全学院);School of Cyber Science and Technology, Zhejiang University(浙江大学网络空间安全学院)
本文提出AdvFace方法,通过影子模型生成对抗性特征以破坏特征到图像的映射,抵御重建攻击,无需修改识别网络,且保持识别精度。
2023-05-08 cs.CV
Navigating the Trade-off: A Synthesis of Defensive Strategies for Zero-Shot Adversarial Robustness in Vision-Language Models
本报告综合八篇论文,分析视觉语言模型零样本对抗鲁棒性中鲁棒性与泛化的权衡,对比对抗微调与免训练防御,并展望混合防御与对抗预训练方向。
2025-08-07 cs.AI cs.CV
Learning Privacy Preserving Encodings through Adversarial Training
University of Florida(佛罗里达大学);Washington University in St. Louis(圣路易斯华盛顿大学)
我们提出了一个框架来学习隐私保护编码的图像,抑制推理选择的私人属性,同时允许恢复其他所需的信息。我们的目标不是简单地抑制给定的固定预训练估计器,而是即使知道编码函数,估计器也无法学习准确预测私有属性。我们使用一种基于自然对抗优化的公式来实现这一点--针对私有属性的分类器训练编码函数,两者都建模为深度神经网络。我们工作的关键贡献是一种稳定和收敛的优化方法,该方法成功地学习了具有我们所需属性的编码器-保持实用性,同时抑制私有属性的推断,不仅在对抗优化中,而且在编码器固定后训练的分类器。我们采用了严格的实验协议进行验证,其中分类器进行了详尽的训练,直到饱和的固定编码器。我们评估了我们的方法在现实世界的复杂性任务--学习高维编码,抑制检测不同的场景类别-并发现它产生的编码器,在维护隐私的弹性。
2018-12-04 cs.CR cs.CV cs.LG
Salient Information Preserving Adversarial Training Improves Clean and Robust Accuracy
University of Notre Dame(圣母大学)
针对传统对抗训练的鲁棒性-准确率权衡问题,提出保留显著信息的对抗训练方法SIP-AT,通过显著区域引导训练保留有意义脆弱特征,在多数据集和架构上实现干净准确率提升且维持多攻击强度下的高鲁棒性。
2025-01-15 cs.CV
An adversarial learning framework for preserving users' anonymity in face-based emotion recognition
Computer Science \& Engineering, Texas A\&M University
图像和视频捕捉技术已经渗透到我们的日常生活中。这些技术可以持续监测个人在现实生活中的表情,为我们提供关于他们情绪状态和转变的新见解,从而为新型健康和医疗保健应用铺平道路。然而,由于强烈的隐私问题,这种技术的使用受到强烈的怀疑,因为目前基于面部的情感识别系统依赖于深度学习技术,除了特定于情感的信息之外,倾向于保留与用户身份相关的大量信息。本文提出了一种对抗性学习框架,该框架依赖于通过迭代过程训练的卷积神经网络(CNN)架构,用于最小化特定身份信息和最大化情感相关信息。所提出的方法通过情感分类和面部识别指标进行评估,并与两个CNN进行比较,一个CNN仅用于情感识别,另一个CNN仅用于面部识别。实验使用Yale Face Dataset和Japanese Female Facial Expression Database进行。实验结果表明,该方法可以学习卷积变换,在保持情感识别准确性的同时降低人脸身份识别的质量,为隐私感知的情感识别技术提供了基础。
2020-01-16 cs.CV cs.LG stat.ML
AERIAL: Adversarial Evaluation of Robustness in Accuracy-Preserving Low-Precision EEG Decoders
New York University Abu Dhabi (NYUAD)(纽约大学阿布扎比分校)
本研究通过对抗性评估发现,精度保持的压缩(如剪枝和量化)不改善脑电解码器的直接鲁棒性,但会降低对抗性迁移效率,表明鲁棒性、迁移性和部署效率是独立属性。
2026-09-25 cs.CR cs.CV cs.LG
Robust Neural Networks inspired by Strong Stability Preserving Runge-Kutta methods
Korea University(高丽大学);San Diego State University(圣地亚哥州立大学)
深度神经网络已经在多个领域实现了最先进的性能。最近的工作观察到,一类广泛使用的神经网络可以被视为数值离散化的欧拉方法。从数值离散的角度来看,强稳定性保持(SSP)方法是比显式欧拉方法更先进的技术,可以产生精确和稳定的解。受SSP性质和广义龙格库塔方法的启发,我们提出了强稳定保持网络(SSP网络),提高了对对抗攻击的鲁棒性。我们的经验表明,所提出的网络提高了对抗性的例子没有任何防御方法的鲁棒性。此外,SSP网络与最先进的对抗训练方案互补。最后,我们的实验表明,SSP网络抑制了对抗性扰动的爆破。我们的研究结果开辟了一条途径来研究强大的神经网络架构,利用丰富的知识,从数值离散化文献。
2020-10-20 cs.CV
Adversarial Learning of Privacy-Preserving and Task-Oriented Representations
University of California, Merced(加州大学默塞德分校);NEC Laboratories America(NEC美国实验室);University of California, San Diego(加州大学圣地亚哥分校)
数据隐私已经成为一个重要的问题,因为数据驱动的深度学习已经成为现代机器学习系统的重要组成部分。例如,通过模型反演攻击,机器学习系统可能存在潜在的隐私风险,其目标是从深度网络的潜在表示中重建输入数据。我们的工作旨在学习一个隐私保护和面向任务的表示,以抵御这种模型反演攻击。具体来说,我们提出了一个对抗性的重建学习框架,防止潜在的表示解码成原始的输入数据。通过模拟对手的预期行为,我们的框架是通过最小化负像素重建损失或负特征重建(即,感知距离)损失。我们验证了所提出的方法对人脸属性预测,表明我们的方法可以保护视觉隐私的效用性能略有下降。此外,我们还展示了在训练时针对负感知距离损失的不同超参数选择的效用-隐私权衡,允许服务提供商确定具有一定效用性能的正确隐私保护水平。此外,我们提供了一个广泛的研究与不同的功能,任务和数据的选择,以进一步分析其对隐私保护的影响。
2019-11-22 cs.CR cs.CV cs.LG
Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);Tencent AI Lab(腾讯人工智能实验室);Columbia University(哥伦比亚大学)
我们提出了一个新的框架,称为语义保持对抗嵌入网络(SP-AEN)的zero-shot视觉识别(SPNL),其中测试图像和它们的类都是在训练过程中不可见的。SP-AEN的目标是解决固有的问题--语义损失--在流行的基于嵌入的语义学习家族,其中一些语义将在训练过程中被丢弃,如果他们是非歧视性的训练类,但可能成为识别测试类的关键。具体而言,SP-AEN通过引入独立的视觉-语义空间嵌入器来防止语义丢失,该嵌入器将语义空间分解为两个子空间,用于两个可以说是相互冲突的目标:分类和重建。通过对两个子空间的对抗学习,SP-AEN将重构子空间的语义转换到判别子空间,实现了对未知类的改进zero-shot识别。与现有的工作相比,SP-AEN不仅可以提高分类,而且可以生成照片般逼真的图像,证明了语义保持的有效性。在四个流行的基准上:CUB、AWA、SUN和aPY、SP-AEN的谐波平均值的绝对性能差分别为12.2%、9.3%、4.0%和3.6
2018-03-31 cs.CV
Adversarial Test on Learnable Image Encryption
Tokyo Metropolitan University(东京都立大学)
深度学习的数据应该受到隐私保护。研究人员提出了可学习图像加密的概念来满足这一要求。然而,现有的隐私保护方法从未考虑过对抗性攻击的威胁。在本文中,我们在五种不同的场景中对可学习的图像加密进行了对抗性测试。结果表明,在可变密钥的情况下,网络的不同行为,并建议可学习的图像加密提供了一定程度的对抗鲁棒性。
2019-07-31 cs.CV eess.IV
SiGAN: Siamese Generative Adversarial Network for Identity-Preserving Face Hallucination
National Pingtung University of Science and Technology(国立屏东科技大学);National Tsing Hua University(国立清华大学);National Institute of Informatics(国立信息学研究所)
尽管生成对抗网络(GANs)可以从低分辨率(LR)人脸中产生逼真的高分辨率(HR)人脸,但它们不能保证保留幻觉HR人脸的身份,使HR人脸难以识别。为了解决这个问题,我们提出了一个暹罗GAN(SiGAN)重建HR面临的视觉上类似于他们相应的身份。在Siamese网络之上,所提出的SiGAN由两个相同的发电机和一个发电机组成。我们将重建误差和身份标签信息的损失函数的SiGAN在成对的方式。通过迭代优化SiGAN生成元对和子空间的损失函数,不仅实现了真实感人脸重建,而且保证了重建信息对身份识别有用。实验结果表明,SiGAN在客观人脸验证性能方面明显优于现有的人脸幻觉GANs,同时实现了照片级真实感重建。此外,对于未包括在训练中的未知身份的输入LR面部,SiGAN仍然可以做得很好。
2018-07-22 cs.CV
Deep Cross-modality Adaptation via Semantics Preserving Adversarial Learning for Sketch-based 3D Shape Retrieval
由于2D草图和3D形状之间存在很大的跨模态差异,因此通过草图检索3D形状是一项非常具有挑战性的任务。为了解决这个问题,本文提出了一个新的框架来学习有区别的深度跨模态适应模型。具体来说,我们首先分别采用两个度量网络,然后是两个深度卷积神经网络(CNN),基于重要性感知度量学习方法学习特定于模态的判别特征。随后,我们显式地引入了一个跨模态转换网络来补偿两种模态之间的分歧,它可以将2D草图的特征转换到3D形状的特征空间。我们开发了一种基于对抗学习的方法来训练转换模型,通过同时增强两种模态的数据分布之间的整体相关性,并通过最小化跨模态平均差异项来减轻局部语义分歧。在SHREC 2013和SHREC 2014数据集上的实验结果清楚地表明,与最先进的方法相比,我们提出的模型具有更好的检索性能。
2018-07-04 cs.CV
Towards Privacy-Preserving Visual Recognition via Adversarial Training: A Pilot Study
Texas A&M University(得克萨斯农工大学);Adobe Research(奥多比研究院)
本文旨在通过制定一个独特的对抗性训练框架来改善隐私保护视觉识别,这是智能相机应用中越来越需要的功能。所提出的框架显式地学习原始视频输入的降级变换,以优化目标任务性能和降级视频上的相关隐私预算之间的权衡。一个值得注意的挑战是,通常在任务驱动的上下文中定义和测量的隐私预算无法使用任何单一模型性能可靠地表示,因为对隐私的强有力保护必须针对任何试图破解隐私信息的可能模型。这种不寻常的情况促使我们提出两种策略,即,预算模型重新启动和集成,以增强学习到的关于保护隐私免受看不见的黑客模型攻击的退化的泛化。新的培训策略,评估协议,并相应地设计了结果可视化方法。两个实验的隐私保护行动识别,以各种方式定义的隐私预算,体现了令人信服的有效性,同时保持高目标任务(行动识别)的性能,同时抑制隐私泄露的风险。
2020-10-22 cs.CV
DeepObfuscator: Obfuscating Intermediate Representations with Privacy-Preserving Adversarial Learning on Smartphones
Duke University(杜克大学);Tsinghua University(清华大学);RMIT University(皇家墨尔本理工大学)
深度学习已经广泛应用于许多计算机视觉应用中,并取得了显著的成功。然而,由于计算资源的限制,在移动设备上运行深度学习模型通常具有挑战性。一个流行的替代方案是使用云服务来运行深度学习模型来处理原始数据。然而,这会带来隐私风险。一些现有技术提出将从原始数据提取的特征发送到云。不幸的是,这些提取的特征仍然可以被攻击者利用来恢复原始图像并推断嵌入的私有属性。在本文中,我们提出了一个对抗性训练框架DeepObfuscator,它可以防止使用这些特征来重建原始图像和推断私有属性。这样做的同时保留了用于预期云服务的有用信息。DeepObfuscator包括一个可学习的混淆器,旨在通过执行我们提出的对抗训练算法来隐藏与隐私相关的敏感信息。该算法通过模拟攻击者和防御者之间的博弈来设计,攻击者努力重建原始图像并从提取的特征中推断出私有属性,防御者的目的是保护用户隐私。通过在智能手机上部署经过训练的混淆器,可以在本地提取特征,然后发送到云端。我们在CelebA和LFW数据集上的实验表明,在多尺度结构相似性方面,从原始图像的模糊特征重建的图像的质量从0.9458急剧下降到0.3175。因此,重建图像中的人变得难以被重新识别。攻击者可以实现的推断的私有属性的分类准确性被显著降低到随机猜测的水平。
2021-05-06 cs.AI cs.CR cs.CV
Robustness-preserving Lifelong Learning via Dataset Condensation
Michigan State University(密歇根州立大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
终身学习(LL)旨在随着数据源的不断发展而改进预测模型。这种学习范式中的大多数工作都集中在解决“灾难性遗忘”问题上,这是一个臭名昭著的困境,既要提高新数据的模型准确性,又要保持以前数据的准确性。然而,众所周知,机器学习(ML)模型可能很脆弱,因为微小的对抗性输入扰动可能会欺骗模型产生错误的预测。这激发了本文的研究目标-规范一个新的LL框架,可以挽救模型的鲁棒性(对抗对抗攻击)从灾难性遗忘。具体来说,我们提出了一种新的内存重放LL策略,该策略利用现代双层优化技术来确定当前数据的“核心集”(即,要记忆的少量数据)以便于随时间保持对抗鲁棒性。我们将由此产生的LL框架称为“数据高效鲁棒性保持LL”(DERPLL)。使用ResNet-18在CIFAR-10数据集上评估DERPLL对于类增量图像分类的有效性。实验结果表明,DERPLL优于传统的核心引导LL基线,并实现了在标准精度和鲁棒精度的大幅提高。
2023-03-07 cs.CV cs.LG
Robust Local Preserving and Global Aligning Network for Adversarial Domain Adaptation
University of Chinese Academy of Sciences(中国科学院大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所);Renmin University of China(中国人民大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
无监督领域自适应(UDA)要求在训练期间源域样本具有干净的地面实况标签。对大量的源域样本进行精确标记是费时费力的。另一种方法是利用带有噪声标签的样本进行训练。然而,使用噪声标签进行训练会大大降低UDA的性能。本文针对UDA模型学习过程中只能使用噪声标签的问题,提出了一种鲁棒局部保持和全局对齐网络(RLPGA)。RLPGA从两个方面提高了对标签噪声的鲁棒性。一种是利用基于信息论的损失函数学习分类器。另一种方法是利用局部保持模块构造两个邻接权矩阵和两个负权矩阵,以保持输入数据的局部拓扑结构。对RLPGA的鲁棒性进行了理论分析,证明了基于信息论的鲁棒损失和局部保持模块有利于降低目标域的经验风险。一系列的实证研究表明,我们提出的RLPGA的有效性。
2022-03-08 cs.CV
MultiPathGAN: Structure Preserving Stain Normalization using Unsupervised Multi-domain Adversarial Network with Perception Loss
University of St Andrews(圣安德鲁斯大学)
组织病理学依靠对显微组织图像的分析来诊断疾病。组织制备的一个关键部分是染色,其中染料用于使突出的组织成分更容易区分。然而,实验室协议和扫描设备的差异导致相应图像中的显著混淆外观变化。这种变化增加了人为错误和评分员间的差异,并阻碍了自动或半自动方法的性能。在本文中,我们引入了一个无监督的对抗网络来跨多个数据采集域翻译(并因此规范化)整个幻灯片图像。我们的主要贡献包括:(i)对抗架构,其使用针对感知损失进行优化的信息流分支,利用单个生成器-重构网络跨多个域进行学习,以及(ii)在训练期间包括额外的特征提取网络,其引导变换网络保持组织图像中的所有结构特征完整。我方:(i)首先在120例肾癌的H\&E切片上证明所提出的方法的有效性,以及(ii)显示该方法在更一般的问题上的益处,例如基于灵活照明的自然图像增强和光源适应。
2022-08-02 cs.CV eess.IV
Identity Preserving Generative Adversarial Network for Cross-Domain Person Re-identification
Jilin University(吉林大学)
人的再识别是从行人检测器检测到的无重叠摄像机视图中检索行人图像。由于源域和目标域之间的偏差,大多数现有的人员重新识别(re-ID)模型通常不能很好地从训练模型的源域推广到没有标签的新目标域。这个问题极大地限制了模型在现实世界中的可扩展性和可用性。通过提供一个标记的源训练集和一个未标记的目标训练集,本文的目的是提高re-ID模型对目标领域的泛化能力。为此,我们提出了一种图像生成网络,名为身份保持生成对抗网络(IPGAN)。该方法具有两个优良的特性:1)仅使用单个模型,以无监督的方式将标记图像从源域转换到目标摄像机域; 2)在转换前后保留了源域图像的身份信息。此外,我们提出了IBN-reID模型的人重新识别任务。与基线模型相比,该模型具有更好的泛化能力,特别是在没有任何领域自适应的情况下。IBN-reID模型通过监督方法在翻译的图像上进行训练。在Market-1501和DukeMTMC-reID上的实验结果表明,IPGAN生成的图像更适合跨域的人物再识别。我们的方法实现了非常有竞争力的重新ID精度。
2018-11-28 cs.CV
Single volume lung biomechanics from chest computed tomography using a mode preserving generative adversarial network
University of Iowa(爱荷华大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of Utah(犹他大学)
肺的局部组织扩张通常通过配准在多个肺体积处采集的计算机断层摄影(CT)扫描来导出。然而,获取多次扫描会增加辐射剂量、时间和成本,并且在许多情况下可能是不可能的,因此限制了基于配准的生物力学的适用性。我们提出了一种生成对抗学习方法,用于直接从单次CT扫描中估计局部组织扩张。对来自SPIROMICS队列的2500名受试者进行了拟议框架的培训和评估。一旦经过训练,该框架可以用作预测局部组织扩张的免配准方法。我们评估了不同疾病严重程度的模型性能,并将其性能与两个图像到图像转换框架- UNet和Pix 2 Pix进行了比较。我们的模型在1 mm 3的高空间分辨率下实现了18.95分贝的整体PSNR,0.840的SSIM和0.61的斯皮尔曼相关性。
2021-10-15 cs.CV eess.IV
Boosting Imperceptibility of Stable Diffusion-based Adversarial Examples Generation with Momentum
Fordham University(福特汉姆大学);Google(谷歌公司);Florida International University(佛罗里达国际大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Cisco Research(思科研究院)
提出SD-MIAE框架,利用Stable Diffusion操纵token嵌入并引入动量优化对抗扰动,在保持视觉不可感知性和语义相似性的同时,将误分类率提升至79%,较SOTA提高35%。
2024-10-17 cs.CV cs.LG
Cycle-SUM: Cycle-consistent Adversarial LSTM Networks for Unsupervised Video Summarization
National University of Singapore(新加坡国立大学);Hangzhou Dianzi University(杭州电子科技大学)
在本文中,我们提出了一种新的无监督视频摘要模型,不需要手动注释。Cycle-SUM模型采用了一种新的周期一致的对抗性LSTM架构,可以有效地最大限度地提高摘要视频的信息保留和紧凑性。它由一个帧选择器和一个基于周期一致性学习的评价器组成。选择器是一个双向LSTM网络,它学习嵌入视频帧之间的长程关系的视频表示。评估器定义原始视频和摘要视频之间的可学习的信息保持度量,并且“监督”选择器以识别最具信息性的帧以形成摘要视频。特别地,评估器由两个生成对抗网络(GANs)组成,其中前向GAN学习从摘要视频重建原始视频,而后向GAN学习反转处理。这种循环学习的输出之间的一致性被采用作为视频摘要的信息保持度量。我们证明了互信息最大化和这样的循环学习过程之间的密切关系。在两个视频摘要基准数据集上的实验验证了Cycle-SUM模型的最新性能和优越性。
2019-04-17 cs.CV
Relationship between Model Compression and Adversarial Robustness: A Review of Current Evidence
FZI Research Center for Information Technology(FZI信息技术研究中心);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院(KIT))
本文综述了模型压缩与对抗鲁棒性之间关系的研究证据,分析了剪枝、量化等压缩技术对鲁棒性的影响,并针对已有实验中的矛盾结果讨论其可能原因。
2023-11-27 cs.CV cs.LG
Generative Adversarial Networks for Dental Patient Identity Protection in Orthodontic Educational Imaging
Faculty of Dentistry, National University of Singapore(新加坡国立大学牙医学院)
本文提出一种保面积GAN反演技术用于牙科患者图像去身份化,在保护隐私的同时保留关键牙科特征,并通过临床评估验证其对牙科教育和诊断的实用价值。
2023-07-05 cs.AI cs.CV
Two-step adversarial debiasing with partial learning -- medical image case-studies
Arizona State University(亚利桑那州立大学);Mayo Clinic(梅奥诊所);Emory University(埃默里大学)
在过去的几年里,人工智能(AI)在医疗保健中的应用已经成为一个非常活跃的研究领域。虽然在图像分类任务方面取得了重大进展,但实际上只有少数人工智能方法被部署在医院中。目前积极使用临床AI模型的一个主要障碍是这些模型的可信度。通常情况下,这些复杂的模型是黑盒子,在其中产生有希望的结果。然而,当仔细检查时,这些模型开始揭示决策过程中的隐性偏见,例如检测种族和对种族群体和亚群的偏见。在我们正在进行的研究中,我们开发了一种带有部分学习的两步对抗性去偏见方法,可以减少种族差异,同时保持目标任务的性能。该方法已在两个独立的医学图像案例研究-胸部X射线和乳房X射线照片上进行了评估,并在保持目标性能的同时显示出减少偏倚的承诺。
2021-11-16 cs.CV cs.LG eess.IV
ID Preserving Generative Adversarial Network for Partial Latent Fingerprint Reconstruction
West Virginia University(西弗吉尼亚大学)
使用潜在指纹样本执行识别任务对于自动识别系统来说通常是具有挑战性的,这是由于输入样本的质量差、失真和部分缺失信息。提出了一种基于条件生成对抗网络(cGANs)的直接潜在指纹重建模型。对cGAN进行了两次修改,以使其适应潜在指纹重建的任务。首先,模型被迫生成三个额外的映射到脊图,以确保在生成过程中考虑方向和频率信息,并防止模型填充大的缺失区域和生成错误的细节点。其次,一个感性的ID保存方法的开发,以迫使生成器在重建过程中保存的ID信息。使用综合生成的潜在指纹数据库,深度网络学习从输入的潜在样本中预测丢失的信息。我们评估所提出的方法结合两种不同的指纹匹配算法在几个公开的潜在指纹数据集。我们在IIIT-Delhi潜在指纹数据库上实现了88.02\%的rank-10准确率,用于潜在匹配任务,在IIIT-Delhi MOLF数据库上实现了70.89\%的rank-50准确率,用于潜在传感器匹配任务。实验结果表明,该方法能有效提高指纹识别系统对潜在样本的匹配精度。
2018-07-31 cs.CV
Privacy-Preserving Deep Action Recognition: An Adversarial Learning Framework and A New Dataset
Texas A&M University(德克萨斯农工大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Adobe Research(奥多比研究院)
我们研究了深度学习中的隐私保护、基于视频的动作识别,这是一个在智能相机应用中越来越重要的问题。一种新的对抗性训练框架被制定为学习输入视频的匿名化变换,使得目标效用任务性能和相关联的隐私预算之间的权衡在匿名化视频上被显式地优化。值得注意的是,通常在任务驱动的上下文中定义和测量的隐私预算无法使用任何单一模型性能可靠地表示,因为对隐私的强大保护应该能够抵御任何试图窃取隐私信息的恶意模型。为了解决这个问题,我们提出了两个新的优化策略,模型重启和模型集成,以实现更强的通用隐私保护对任何攻击模型。进行了大量的实验和分析。另一方面,由于很少有公共数据集同时具有实用性和隐私标签,数据驱动(监督)学习无法在这项任务中发挥其全部力量。我们首先讨论了一种创新的跨数据集训练和评估启发式方法,在我们的问题中使用多个单任务数据集(一个带有目标任务标签,另一个带有隐私标签)。为了进一步解决这一数据集挑战,我们构建了一个新的数据集,称为PA-HMDB 51,其中包含目标任务标签(动作)和选定的隐私属性(肤色,面部,性别,裸体和关系)。这是首个视频数据集和评估协议,可以极大地促进视觉隐私研究,并开辟其他机会。我们的代码、模型和PA-HMDB51数据集可在www.example.com上获得。
2021-03-21 cs.CV
Face Aging With Conditional Generative Adversarial Networks
Orange Labs(Orange实验室);Eurecom(欧洲通信学院)
最近的研究表明,生成对抗网络(GANs)可以生成具有出色视觉保真度的合成图像。在这项工作中,我们提出了基于GAN的自动人脸老化方法。与以前使用GANs来改变面部属性的作品相反,我们特别强调在他/她的面部的老年版本中保留原始人的身份。为此,我们引入了一种新的方法,用于GAN的潜在向量的“身份保持”优化。通过最先进的人脸识别和年龄估计解决方案对所得到的老化和恢复活力的人脸图像进行客观评价,表明所提出的方法具有很高的潜力。
2017-05-30 cs.CV
DiffDefense: Defending against Adversarial Attacks via Diffusion Models
University of Florence(佛罗伦萨大学)
本文提出DiffDefense,利用Diffusion Models在无需修改分类器的前提下防御对抗攻击,克服了扩散模型逆向过程慢的缺陷,在保持干净准确率、速度和即插即用兼容性的同时实现了鲁棒防御。
2023-09-07 cs.CR cs.CV cs.LG
Concept-based Adversarial Attack: a Probabilistic Perspective
University of Warwick(沃里克大学);University of Manchester(曼彻斯特大学);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));University of Edinburgh(爱丁堡大学);University of Aalto(阿alto大学)
本文提出一种基于概念的对抗攻击方法,通过概率视角生成多样化的对抗示例,保持原始概念以误导分类器,提升攻击效率。
2026-02-26 cs.AI cs.CV
Adversarial Identity Injection for Semantic Face Image Synthesis
University of Parma(帕尔马大学);University of Bologna(博洛尼亚大学)
针对语义人脸图像合成中身份保留不足的问题,提出融合身份、风格与语义特征的交叉注意力SIS架构,兼具身份保留与人脸识别对抗攻击能力。
2024-04-16 cs.CV
Interpretable Dimensionality Reduction by Feature Preserving Manifold Approximation and Projection
Frazer Institute(弗雷泽研究所);University of Queensland(昆士兰大学)
本文提出可解释降维方法 featMAP,通过局部 SVD 逼近切空间并保持对齐嵌入低维空间,在保留局部相似性和原始密度的同时展示源特征及其重要性,成功用于解释数字分类、目标检测和 MNIST 对抗样本的误分类。
2024-04-02 cs.CV cs.LG
Local Features Meet Stochastic Anonymization: Revolutionizing Privacy-Preserving Face Recognition for Black-Box Models
National Engineering Research Center for Multimedia Software(国家多媒体软件工程技术研究中心);Institute of Artificial Intelligence(人工智能研究院);School of Computer Science(计算机学院);Wuhan University(武汉大学);Harbin Institute of Technology(哈尔滨工业大学)
针对隐私保护人脸识别在黑盒模型泛化性差、易被对抗重建的问题,提出破坏全局特征并增强局部特征结合不可逆随机注入的匿名化方法,在黑盒模型上达94.21%准确率,隐私与抗重建性能更优。
2024-12-11 cs.CV
Privacy-Net: An Adversarial Approach for Identity-Obfuscated Segmentation of Medical Images
École de Technologie Supérieure(高等技术学院);Université de Sherbrooke(舍布鲁克大学)
本文提出了一种客户端/服务器的隐私保护网络的背景下,多中心的医学图像分析。我们的方法基于对抗学习,它对图像进行编码以混淆患者身份,同时为目标任务保留足够的信息。我们的新架构由三个组件组成:1)编码器网络,它从输入的医学图像中删除特定于身份的特征,2)一个编码器网络,它试图从编码图像中识别受试者,3)一个医学图像分析网络,它分析编码图像的内容(在我们的情况下是分割)。通过同时欺骗网络和优化医疗分析网络,编码器学会删除隐私特定的功能,同时保留目标任务的要素。我们的方法在从大规模帕金森进展标志物倡议(PPMI)数据集分割大脑MRI的问题上进行了说明。使用来自PPMI的纵向数据,我们证明了该算法可以在获得高度准确的分割结果的同时,严重扭曲输入图像。
2020-11-13 cs.CV eess.IV
Toward Sub-1 kB Identity-Preserving Face Compression: A Benchmark of Codecs, a Custom Learned Codec, and Studies of Resolution, Demographic Fairness, Recompression, and Adversarial Robustness
Innovatrics(因诺维特克斯(Innovatrics))
该研究针对亚千字节人脸压缩需求,基准测试了10种编解码器,提出定制学习型编解码器,发现512字节预算下编解码器排名会变化,为身份保留人脸压缩的实际部署提供依据。
2026-08-25 cs.CV
IRAD: Implicit Representation-driven Image Resampling against Adversarial Attacks
Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);School of Computer Science and Engineering, Nanyang Technological University, Singapore(新加坡南洋理工大学计算机科学与工程学院);Jilin University(吉林大学)
针对对抗攻击防御中现有重采样方法干净图像准确率下降、对抗样本提升有限的问题,提出隐式表示驱动的IRAD方法,结合连续表示与SampleNet生成逐像素偏移,还可加速扩散防御方法,在保持干净图像准确率的同时提升了多种模型的对抗鲁棒性。
2024-04-13 cs.CV
Perceptual Quality-preserving Black-Box Attack against Deep Learning Image Classifiers
University Federico II of Naples(那不勒斯腓特烈二世大学)
深度神经网络在所有图像分类问题中提供了前所未有的性能,利用了大量可用于训练的数据。然而,最近的研究表明,它们容易受到对抗攻击的攻击,从而在这一领域产生了大量的研究工作。为了建立更好的系统,新的对策和更强的攻击被提出。在攻击者方面,人们对现实的黑盒场景越来越感兴趣,在这种场景中,用户无法访问神经网络参数。问题是设计有效的攻击,误导神经网络,而不损害图像质量。在这项工作中,我们建议沿着低失真路径执行黑盒攻击,从而提高攻击效率和对抗图像的感知质量。在真实世界系统上的数值实验证明了所提出的方法的有效性,无论是在基准分类任务,并在生物特征识别和取证的关键应用。
2020-09-23 cs.CV
APPLE: Adversarial Privacy-aware Perturbations on Latent Embedding for Unfairness Mitigation
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州研究院)
针对医学图像分析中基础模型难以在保留实用性的同时从头训练公平模型的问题,提出无需更新原模型权重、通过添加潜在向量扰动提升分割模型公平性的APPLE方法,实验验证其有效性优于现有方法。
2024-03-08 cs.CV
Recoverable Privacy-Preserving Image Classification through Noise-like Adversarial Examples
University of Macau(澳门大学);Macau University of Science and Technology(澳门科技大学);Alibaba Group(阿里巴巴集团)
提出一种基于类噪声对抗样本(NAE)和对称残差学习(SRL)的可恢复隐私保护图像分类方案,支持明文分类器直接处理加密图像并高保真还原,在多数据集上实现高准确率、高PSNR及强安全性。
2023-10-19 cs.CV
Learning to Discover Cross-Domain Relations with Generative Adversarial Networks
SK T-Brain(SK电讯T-Brain)
虽然人类可以在没有任何监督的情况下轻松识别来自不同领域的数据之间的关系,但学习自动发现它们通常非常具有挑战性,并且需要许多地面真值对来说明这些关系。为了避免昂贵的配对,我们解决的任务,发现跨域的关系,给定的未配对的数据。我们提出了一种基于生成对抗网络的方法,该网络学习发现不同域之间的关系(DiscoGAN)。使用发现的关系,我们提出的网络成功地将风格从一个域转移到另一个域,同时保留关键属性,如方向和面部身份。官方实现的源代码可在https://github.com/SKTBrain/DiscoGAN上公开获取
2017-05-15 cs.CV
FADE: Adversarial Concept Erasure in Flow Models
提出FADE方法,通过轨迹感知微调与对抗目标结合,在扩散模型中可靠擦除敏感概念并保持保真度,实现隐私与公平性。
2025-07-16 cs.CV