One-Shot Image-to-Image Translation via Part-Global Learning with a Multi-adversarial Framework
Ocean University of China（中国海洋大学）；University of Electronic Science and Technology of China（电子科技大学）
众所周知，人类可以从几个有限的图像样本中有效地学习和识别对象。然而，仅从少数图像中学习对于现有主流深度神经网络来说仍然是一个巨大的挑战。受人类思维中类比推理的启发，一种可行的策略是将丰富的源域中的丰富图像翻译为丰富相关但不同的目标域，而图像数据不足。为了实现这一目标，我们提出了一种新的，有效的多对抗框架（MA）的基础上部分全局学习，它完成了一次性跨域图像到图像的翻译。具体而言，我们首先设计了一个部分全局对抗训练方案，为特征提取提供了一种有效的方法，并防止鉴别器被过度拟合。然后，采用多对抗机制来增强图像到图像的翻译能力，以挖掘高层次的语义表示。提出了一种平衡对抗损失函数，以平衡训练数据，稳定训练过程。大量的实验表明，该方法可以在两个极端不平衡的图像域之间的各种数据集上获得令人印象深刻的结果，并且在单次图像到图像的翻译上优于最先进的方法。
2019-05-12 cs.CV cs.LG
Calibrating Uncertainty for Zero-Shot Adversarial CLIP
University of Science and Technology of China（中国科学技术大学）
针对CLIP在零样本分类中对抗攻击脆弱且不确定性校准差的问题，提出基于狄利克雷分布重参数化的对抗微调目标，统一对齐语义结构与置信度，提升校准性和鲁棒性。
2026-06-05 cs.AI cs.CV cs.LG
Language-Driven Anchors for Zero-Shot Adversarial Robustness
Tsinghua University（清华大学）；Harbin Institute of Technology（哈尔滨工业大学）；Chinese Institute for Brain Research（中国脑科学研究院）
针对零样本对抗鲁棒性研究空白，提出语言驱动的基于锚点的对抗训练策略LAAT，通过文本编码器类别特征作锚点训练，结合扩展算法与对齐交叉熵损失解决特征相似度高的问题，显著提升零样本对抗鲁棒性，适用于无标注数据场景。
2024-03-10 cs.AI cs.CV cs.LG
CFTS-GAN: Continual Few-Shot Teacher Student for Generative Adversarial Networks
University of Parma（帕尔马大学）
本文提出CFTS-GAN，通过师生蒸馏、适配器模块、跨域对应损失和冻结判别器策略，同时缓解GAN在少样本持续学习中的过拟合与灾难性遗忘问题。
2024-10-17 cs.CV cs.LG
Understanding Zero-Shot Adversarial Robustness for Large-Scale Models
Columbia University（哥伦比亚大学）；Microsoft Research（微软研究院）
本文研究大规模视觉-语言模型的零样本对抗鲁棒性，提出文本引导的对比对抗训练损失，并结合微调与视觉提示调优，在 ImageNet 等16个数据集上较 CLIP 平均提升逾31点。
2023-04-21 cs.CV
Few-Shot Adversarial Prompt Learning on Vision-Language Models
School of Automation（自动化学院）；Beijing Institute of Technology（北京理工大学）；Sydney AI Centre（悉尼人工智能中心）；University of Sydney（悉尼大学）；Department of Computer Science（计算机科学系）；Hong Kong Baptist University（香港浸会大学）
本文提出少样本对抗提示框架FAP，通过端到端学习对抗相关文本监督并设计多模态一致性训练目标，仅用1%训练数据即达到与最先进零样本方法相当的对抗鲁棒性。
2024-10-23 cs.CL cs.CR cs.CV
Adversarial Style Mining for One-Shot Unsupervised Domain Adaptation
Huazhong University of Science & Technology（华中科技大学）；University of Technology Sydney（悉尼科技大学）；Farsee2 Tech. Co.（Farsee2科技公司）；Baidu Research（百度研究院）
本文针对One-Shot无监督领域自适应问题进行研究。与传统的无监督领域自适应不同，它假设在学习自适应时只有一个未标记的目标样本可用。这种设置是现实的，但更具挑战性，在传统的适应方法很容易失败，由于缺乏未标记的目标数据。为此，我们提出了一种新的对抗性风格挖掘方法，它结合了风格转换模块和任务特定模块到一个对抗的方式。具体而言，风格转移模块根据当前学习状态迭代地在一次性目标样本周围搜索更难风格化的图像，引导任务模型探索几乎不可见的目标领域中难以解决的潜在风格，从而提高数据稀缺场景中的适应性能。对抗性学习框架使风格迁移模块和任务特定模块在竞争中相互受益。跨域分类和分割基准上的大量实验验证了ASM在具有挑战性的单次设置下实现了最先进的自适应性能。
2020-04-13 cs.CV cs.LG eess.IV
Adversarially Robust Prototypical Few-shot Segmentation with Neural-ODEs
Indian Institute of Technology Delhi（德里印度理工学院）；Manipal Institute of Technology（马尼帕尔理工学院）；Chennai Mathematical Institute（金奈数学研究所）
少样本学习（FSL）方法被用于数据不丰富的环境中。这在医学领域中尤其明显，其中获得注释是昂贵的。深度神经网络已被证明容易受到对抗攻击的攻击。由于缺乏大量的训练样本，这在FSL的情况下甚至更加严重。在本文中，我们提供了一个框架，使Few-Shot分割模型在医疗领域具有对抗性，这种攻击可能会严重影响使用它们的临床医生所做的决定。我们提出了一种新的强大的Few-Shot分割框架，原型神经常微分方程（PNODE），提供了对基于梯度的对抗攻击的防御。我们表明，与传统的对抗性防御机制（如对抗性训练）相比，我们的框架更强大。对抗性训练涉及增加训练时间，并根据训练期间看到的对抗性示例的类型对有限类型的攻击显示出鲁棒性。我们提出的框架可以很好地推广到常见的对抗攻击，如FGSM，PGD和SMIA，同时具有与现有的Few-Shot分割模型相当的模型参数。我们通过攻击支持集和查询集，在域内和跨域设置中，在三个公开的多器官分割数据集上展示了我们所提出的方法的有效性，而无需进行ad-hoc对抗训练。
2022-10-07 cs.CV
MA 3 : Model Agnostic Adversarial Augmentation for Few Shot learning
Carnegie Mellon University（卡内基梅隆大学）
尽管最近在使用深度神经网络的视觉相关问题方面取得了进展，但将这些模型推广到看不见的例子的改进仍然有很大的范围。在本文中，我们探讨了领域的少样本学习与一种新的增强技术。与其他生成增强技术相比，在学习输入图像的分布的情况下，我们建议学习图像变换参数的概率分布，这更容易和更快地学习。我们的技术是完全可微的，这使得它能够扩展到多功能的数据集和基础模型。我们在多个基础网络和2个数据集上评估我们提出的方法，以建立该方法的鲁棒性和效率。通过添加增强模块，我们获得了近4%的改进，而无需对网络架构进行任何更改。我们还将代码随时提供给社区使用。
2020-04-10 cs.CV cs.LG
SRasP: Self-Reorientation Adversarial Style Perturbation for Cross-Domain Few-Shot Learning
School of Computer Science and Engineering, Southeast University（计算机科学与工程学院，东南大学）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新一代人工智能技术及其跨学科应用重点实验室（东南大学），教育部）
SRasP通过自我重定向对抗风格扰动方法，提升跨域少样本学习的鲁棒性和可迁移性。
2026-03-05 cs.CV cs.LG
Learning from Adversarial Features for Few-Shot Classification
Fujitsu Research & Development Center（富士通研发中心）
许多最近的少样本学习方法集中于设计新颖的模型架构。在本文中，我们证明了使用简单的骨干卷积网络，我们甚至可以超越最先进的分类精度。有助于实现这种卓越性能的关键部分是对抗性特征学习策略，它提高了我们模型的泛化能力。在这项工作中，对抗性特征是那些可能导致分类器对其预测不确定的特征。为了生成对抗性特征，我们首先基于熵相对于平均掩码的导数来定位对抗性区域。然后，我们使用对抗区域注意力聚合的特征图，以获得对抗功能。通过这种方式，我们可以探索和利用特征图的整个空间区域来挖掘更多样的判别知识。我们对miniImageNet和tieredImageNet数据集进行了广泛的模型评估和分析，证明了所提出方法的有效性。
2019-03-25 cs.CV
Federated Few-Shot Learning with Adversarial Learning
Shenzhen Institute of Artificial Intelligence and Robotics for Society（深圳市人工智能与机器人研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
我们有兴趣在许多移动设备上开发一个统一的机器学习模型，用于实际的学习任务，其中每个设备只有很少的训练数据。这是在移动计算场景中经常遇到的情况，在这种场景中，数据是稀缺的，并且是分布式的，而任务是不同的。在本文中，我们提出了一个联邦少样本学习（FedFSL）框架来学习一个Few-Shot分类模型，该模型可以用很少的标记样本对未知数据类进行分类。通过联邦学习策略，FedFSL可以利用多种数据源，同时保持数据隐私和通信效率。存在两个技术挑战：1）直接使用现有的联邦学习方法可能会导致客户端模型产生的决策边界不一致，以及2）将决策边界约束为与客户端相似，这将过度适应训练任务，但不能很好地适应看不见的任务。为了解决这些问题，我们建议通过最小化客户端模型的分歧来正则化局部更新。我们还以对抗的方式制定训练，并优化客户端模型，以产生一个能够更好地表示未知数据样本的判别特征空间。我们展示了直觉，并进行了实验，以显示我们的方法在学习视觉任务中超过基线10%，在语言任务中超过基线5%。
2021-04-01 cs.CV cs.LG
Self Paced Adversarial Training for Multimodal Few-shot Learning
SAP SE（SAP公司）；Humboldt-Universität zu Berlin（柏林洪堡大学）
最先进的深度学习算法在许多视觉识别任务中产生了显著的效果。然而，它们在数据稀缺的情况下仍然未能提供令人满意的结果。在某种程度上，这种数据的缺乏可以通过多模式信息来弥补。单个数据点（例如图像）的一种模态中的缺失信息可以在另一种模态（例如文本描述）中弥补。因此，我们设计了一个少样本学习任务，该任务在训练期间是多模态的（即图像和文本），在测试期间是单模态的（即图像）。在这方面，我们提出了一个自定进度的类判别生成对抗网络，在少样本学习的背景下，结合多模态。所提出的方法建立在跨模态数据生成的思想，以减轻数据稀疏性问题。我们提高了细粒度CUB和Oxford-102数据集上的少样本学习精度。
2018-11-22 cs.CV cs.LG cs.MM
Video to Video Generative Adversarial Network for Few-shot Learning Based on Policy Gradient
Northwestern University（西北大学）；Allstate Insurance Company（好事达保险公司）
本文提出 RL-V2V-GAN，结合策略梯度、ConvLSTM 与细粒度时空 GAN，实现无需成对输入的无监督条件视频到视频合成，并在少样本目标域中生成时间连贯视频。
2024-10-28 cs.CV cs.LG
Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting
School of ECE, College of Engineering University of Tehran（电子工程学院，工程学院，伊朗塔里哈大学）
研究如何提高零样本CLIP的对抗鲁棒性，提出置信感知加权方法，该方法含置信感知损失和特征对齐正则化两个关键组件，实验证明其在强对抗攻击下优于现有方法且内存效率更高。
2026-07-28 cs.CV
Zero-Shot Learning of a Conditional Generative Adversarial Network for Data-Free Network Quantization
Samsung Semiconductor Inc.（三星半导体公司）
本文提出了一种新的不使用训练数据训练条件生成对抗网络（CGAN）的方法，称为CGAN的零样本学习（Z-CGAN）。条件生成器的零样本学习只需要预先训练的判别（分类）模型，而不需要任何训练数据。具体地，条件生成器被训练以通过使用存储在预训练模型的批量归一化层中的统计数据来产生其特性模仿原始训练数据的标记的合成样本。我们展示了EST-CGAN在深度神经网络的无数据量化中的有用性。我们实现了在ImageNet数据集上训练的ResNet和MobileNet分类模型的最先进的无数据网络量化。无数据的量化使用EST-CGAN显示出最小的损失相比，通过传统的数据相关的量化获得的精度。
2022-10-26 cs.CV cs.LG cs.NE
Defensive Few-shot Learning
Nanjing University（南京大学）；University of Wollongong（伍伦贡大学）；Tsinghua University（清华大学）；Southeast University（东南大学）；University of Rochester（罗切斯特大学）
本文针对小样本场景下现有对抗防御方法失效的问题，提出DFSL框架，通过基于任务轮次的对抗训练和两类分布一致性准则，有效提升小样本模型的对抗鲁棒性。
2023-08-25 cs.CV
Adversarial Feature Augmentation for Cross-domain Few-shot Classification
Sun Yat-sen University（中山大学）
现有的基于元学习的方法通过从基类的（源域）训练任务中学习到的Meta知识来预测（目标域）测试任务的新类标签。然而，大多数现有的作品可能无法推广到新的类，由于跨域可能大的域差异。为了解决这个问题，我们提出了一种新的对抗性特征增强（AFA）方法来弥合少样本学习中的领域差距。特征增强被设计为通过最大化域差异来模拟分布变化。在对抗训练过程中，通过区分增强特征（看不见的域）和原始特征（看不见的域）来学习域编码，同时最小化域差异以获得最佳特征编码器。所提出的方法是一个即插即用的模块，可以很容易地集成到现有的少样本学习方法的基础上元学习。在九个数据集上的大量实验证明了我们的方法在跨域Few-Shot分类方面的优越性。代码可在https://github.com/youthhoo/AFA_For_Few_shot_learning上获得
2022-08-23 cs.CV
Adversarial Training of Variational Auto-encoders for Continual Zero-shot Learning(A-CZSL)
Indian Institute of Science（印度科学理工学院）
现有的大多数人工神经网络（ANN）由于灾难性遗忘而无法持续学习，而人类可以通过保持先前任务的性能来实现同样的目标。虽然存储所有以前的数据可以缓解这个问题，但它需要很大的内存，在现实世界中是不可行的。我们提出了一种更适合实际场景的持续零样本学习模型（A-CZSL），以解决可以顺序学习并区分模型在训练期间未见过的类别的问题。此外，为了提高可靠性，我们开发了一个单一的头部持续学习设置任务身份，在培训过程中，但不是在测试过程中透露的A-CableL。我们提出了一个混合网络，它由一个共享的VAE模块来保存所有任务的信息和特定于任务的私有VAE模块为每个任务。该模型的大小随着每个任务的增加而增加，以防止对特定任务技能的灾难性遗忘，并且它包括一种重放方法来保存共享技能。我们证明了我们的混合模型优于基线，并且在几个数据集上是有效的，即，CUB、AWA 1、AWA 2和aPY。我们表明，我们的方法是优越的类顺序学习与零样本学习（Zero-Shot Learning）和GeroL（Generalized零样本学习）。
2021-04-19 cs.CV cs.LG
Pre-trained Model Guided Fine-Tuning for Zero-Shot Adversarial Robustness
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
针对CLIP对抗微调易过拟合的问题，提出PMG-AFT，通过辅助分支对齐对抗样本特征以保留预训练泛化能力，在15个零样本数据集上显著提升鲁棒与干净准确率。
2024-04-10 cs.CV
CLIP is Strong Enough to Fight Back: Test-time Counterattacks towards Zero-shot Adversarial Robustness of CLIP
University of Trento（特伦托大学）；Xi’an Jiaotong University（西安交通大学）
针对CLIP对抗扰动脆弱性，提出无需训练的测试时反攻范式，利用预训练视觉编码器在推理时反击对抗图像，在16个数据集上稳定提升零样本鲁棒性且不损害干净图像性能。
2025-03-05 cs.CV
Unsupervised MRI Reconstruction via Zero-Shot Learned Adversarial Transformers
Bilkent University（比尔肯特大学）；National Magnetic Resonance Research Center, Bilkent University（比尔肯特大学国家磁共振研究中心）
监督重建模型在特征上是在匹配的欠采样和全采样数据对上训练的，以捕获MRI先验，以及关于成像操作员的监督，以加强数据一致性。为了减少监督要求，最近的深度图像先验框架在推理期间将未经训练的MRI先验与成像算子结合起来。然而，规范卷积架构在捕获远程关系方面是次优的，并且基于随机初始化网络的先验可能会产生次优性能。为了解决这些局限性，在这里，我们介绍了一种新的无监督MRI重建方法的基础上zero-Shot学习对抗Transformers（SLATER）。SLATER体现了一个深度对抗网络，具有交叉注意力Transformers，可将噪声和潜在变量映射到线圈组合的MR图像上。在预训练期间，该无条件网络在无监督生成建模任务中学习高质量的MRI先验。在推断期间，然后通过结合成像算子并优化先验以最大化欠采样数据的一致性来执行zero-shot重建。在大脑MRI数据集上进行的综合实验清楚地证明了SLATER相对于最先进的无监督方法的优越性能。
2022-01-16 cs.CV cs.LG eess.IV
Navigating the Trade-off: A Synthesis of Defensive Strategies for Zero-Shot Adversarial Robustness in Vision-Language Models
本报告综合八篇论文，分析视觉语言模型零样本对抗鲁棒性中鲁棒性与泛化的权衡，对比对抗微调与免训练防御，并展望混合防御与对抗预训练方向。
2025-08-07 cs.AI cs.CV
A Generative Framework for Zero-Shot Learning with Adversarial Domain Adaptation
IIT Kanpur（印度理工学院坎普尔分校）；Microsoft Research, India（微软研究院印度分院）；University of Toronto（多伦多大学）
提出了一种基于领域自适应的零样本学习生成框架。我们的框架解决了零样本学习中可见和不可见类分布之间的域转移问题，并通过开发一个通过对抗性领域自适应训练的生成模型来最大限度地减少这种转移。我们的方法是基于端到端学习的类分布的可见类和不可见类。为了使模型能够学习看不见的类的类分布，我们根据类属性信息（对可见和不可见的类都可用）来参数化这些类分布。这提供了一种非常简单的方法来学习任何看不见的类的类分布，只给出其类属性信息，而没有标记的训练数据。用对抗性领域自适应训练该模型进一步提供了针对来自可见类和不可见类的数据之间的分布失配的鲁棒性。我们的方法也提供了一种新的方法来训练基于神经网络的分类器，以克服在零样本学习的hubness问题。通过一组全面的实验，我们证明了我们的模型在各种基准数据集上与各种最先进的零样本学习模型相比具有更高的精度。实验代码可在github.com/vkkhare/ZSL-ADA上获得
2020-02-22 cs.CV cs.LG stat.ML
Few-Shot Adaptation of Generative Adversarial Networks
Virginia Tech（弗吉尼亚理工大学）；Google Research（谷歌研究院）
生成对抗网络（GANs）在图像合成任务中表现出了卓越的性能，但通常需要大量的训练样本才能实现高质量的合成。本文提出了一种简单有效的方法，Few-Shot GAN（FSGAN），用于在Few-Shot设置（少于100张图像）中调整GANs。FSGAN重新利用了分量分析技术，并学习适应预训练权重的奇异值，同时冻结相应的奇异向量。这为适应提供了一个高度表达的参数空间，同时限制了对预训练权重的更改。我们验证我们的方法在一个具有挑战性的Few-Shot设置5-100图像的目标域。我们表明，我们的方法具有显着的视觉质量增益相比，现有的GAN适应方法。我们报告的定性和定量结果表明，我们的方法的有效性。我们还强调了一个问题，Few-Shot合成的数据高效的图像合成工作所使用的标准定量度量。代码和其他结果可在http://e-271.github.io/few-shot-gan上获得。
2020-10-22 cs.CV
Addressing target shift in zero-shot learning using grouped adversarial learning
IBM Research（IBM研究院）；IIT Kharagpur（印度理工学院克勒格布尔分校）
零样本学习（Zero-shot learning，缩写为ZRL）算法通常通过利用属性相关性来工作，以便能够在看不见的类中进行预测。然而，在大多数实际设置中，这些相关性在测试时并不保持完整，并且这些相关性的结果变化导致对零样本学习性能的不利影响。在本文中，我们提出了一个新的范式，用于CNOL：（i）利用看不见的类的类属性映射来估计目标分布的变化（目标转移），以及（ii）提出了一种称为分组对抗学习（gAL）的新技术来减少这种转移的负面影响。我们的方法是广泛适用于几个现有的CNOL算法，包括那些隐式属性预测。我们将所提出的技术（$g$ AL）应用于三种流行的ARML算法：ALE，SJE和DEVISE，并在4种流行的ARML数据集：AwA 2，aPY，CUB和SUN上显示性能改进。我们在SUN和aPY数据集上获得了SOTA结果，并在AwA 2上获得了可比的结果。
2020-06-16 cs.CV cs.LG stat.ML
Continual Few-Shot Learning with Adversarial Class Storage
Syracuse University（雪城大学）；Northeastern University（东北大学）；Colorado School of Mines（科罗拉多矿业学院）
人类有一种非凡的能力，可以快速有效地持续学习新概念，而不会忘记旧知识。虽然深度学习在各种计算机视觉任务上取得了巨大的成功，但它在实现这种人类水平的智能方面面临着挑战。在本文中，我们定义了一个新的问题，称为连续少样本学习，其中任务顺序到达，每个任务都与一些训练样本相关联。我们提出了连续元学习器（CML）来解决这个问题。CML将基于度量的分类和基于记忆的机制以及对抗学习集成到元学习框架中，这导致了理想的特性：1）它可以快速有效地学习处理新任务; 2）它克服了灾难性遗忘; 3）它是模型不可知的。我们在两个图像数据集MiniImageNet和CIFAR 100上进行了广泛的实验。实验结果表明，CML在少样本学习任务的分类准确率方面提供了最先进的性能，而没有灾难性遗忘。
2022-07-10 cs.AI cs.CV cs.LG
EGANS: Evolutionary Generative Adversarial Network Search for Zero-Shot Learning
Huazhong University of Science and Technology（华中科技大学）；Nantong University（南通大学）
针对现有基于GAN的生成式零样本学习方法依赖手工模型、适配性差且不稳定的问题，提出EGANS框架，通过协同双进化机制自动搜索生成器与判别器架构，在多个标准数据集上显著提升了基线方法性能。
2023-08-19 cs.CV cs.LG
A Classifier-Agnostic Zero-Shot Adversarial Attack Detection via CLIP
Technion - Israel Institute of Technology（以色列理工学院）
提出A4D框架，利用CLIP的提示相似度分数，在完全黑盒零样本设置下检测对抗攻击，无需攻击或分类器先验知识。
2026-07-01 cs.CV
A Deep Dive into Adversarial Robustness in Zero-Shot Learning
Hacettepe University（哈杰特佩大学）；Middle East Technical University (METU)（中东技术大学）
由于引入了高度复杂的模型，机器学习（ML）系统在各个领域都取得了重大进展。尽管它们取得了成功，但已经多次表明，机器学习模型容易受到难以察觉的扰动，这会严重降低其准确性。到目前为止，现有的研究主要集中在模型中的监督在所有类。在CNOAST中，零样本学习（Zero-shot Learning，简称ZRL）和广义零样本学习（Generalized Zero-shot Learning，简称GSOL）任务本质上缺乏对所有类的监督。在本文中，我们提出了一个研究，旨在评估的对抗鲁棒性的GALML和GALML模型。我们利用成熟的标签嵌入模型，并使其受到一组跨多个数据集的既定对抗攻击和防御。除了创建可能的第一个基准对对抗鲁棒性的CNOL模型，我们还提出了重要的点，需要注意更好地解释CNOL鲁棒性结果的分析。我们希望这些要点以及基准将帮助研究人员更好地了解未来的挑战，并帮助指导他们的工作。
2020-08-17 cs.CV
A Generative Adversarial Approach for Zero-Shot Learning from Noisy Texts
Rutgers University（罗格斯大学）；Facebook AI Research（脸书人工智能研究院）
现有的大多数零样本学习方法都将该问题视为视觉语义嵌入问题。鉴于生成对抗网络（GANs）已被证明具有生成图像的能力，我们转而利用GANs从文本描述中想象看不见的类别，从而在没有看到示例的情况下识别新的类别。具体来说，我们提出了一个简单而有效的生成模型，作为输入噪声的文本描述一个看不见的类（如维基百科的文章），并生成合成的视觉功能，这一类。随着伪数据的增加，零样本学习自然地转换为传统的分类问题。此外，为了保持生成的特征的类间区分，提出了一种视觉枢轴正则化作为显式监督。与以前使用复杂工程正则化器的方法不同，我们的方法可以很好地抑制噪声，而无需额外的正则化。从经验上讲，我们表明，我们的方法始终优于最大的基于文本的零样本学习的基准上的最先进的。
2018-05-19 cs.CV
Learning Unseen Emotions from Gestures via Semantically-Conditioned Zero-Shot Perception with Adversarial Autoencoders
University of Maryland（马里兰大学）
我们提出了一种新的广义的zero-shot算法来识别感知的情绪从手势。我们的任务是将手势映射到训练中没有遇到的新情感类别。我们引入了一个对抗性的，基于自动编码器的表示学习，它将3D运动捕获的手势序列与使用word 2 vec嵌入的自然语言感知情感术语的矢量化表示相关联。语言语义嵌入提供了一个情感标签空间的表示，我们利用这个潜在的分布映射的手势序列到适当的分类情感标签。我们训练我们的方法使用的手势注释与已知的情感条款和手势没有注释任何情绪的组合。我们评估我们的方法上的MPI情绪身体表情数据库（EBEDB），并获得$58.43\%$的准确性。这提高了当前最先进的算法的性能，通过$25$ - $27\%$在绝对值上的广义零样本学习。
2021-12-02 cs.CV
Finetune Like You Pretrain: Boosting Zero-shot Adversarial Robustness in Vision-language Models
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；Xi’an Jiaotong University（西安交通大学）；University of Oxford（牛津大学）
本文提出AdvFLYP方法，通过遵循CLIP预训练过程的训练配方，利用网络上收集的图像-文本对生成对抗样本，并通过对比损失匹配文本，提升视觉语言模型的零样本对抗鲁棒性。
2026-04-13 cs.CV
ZIUM: Zero-Shot Intent-Aware Adversarial Attack on Unlearned Models
Chung-Ang University（Chung-Ang 大学）；Korea University（韩国大学）；Hongik University（弘国大学）
针对现有对抗攻击难以生成符合意图内容且计算成本高的问题，提出ZIUM零样本意图感知对抗攻击方法，可灵活定制攻击图像，对已攻击过的未学习概念无需再优化，在多种场景下攻击成功率更高且耗时更短。
2025-07-29 cs.CR cs.CV
Dual Adversarial Semantics-Consistent Network for Generalized Zero-Shot Learning
University Of Science And Technology Of China（中国科学技术大学）；Carnegie Mellon University（卡内基梅隆大学）
广义零样本学习（GSRL）是一类具有挑战性的视觉和知识转移问题，在测试过程中出现可见和不可见的类。现有的GML方法要么在嵌入阶段遭受语义损失和丢弃判别信息，要么不能保证视觉语义交互。为了解决这些局限性，我们提出了双重对抗语义一致网络（Dual Adversarial Semantics-Consistent Network，DASCN），它在一个统一的框架中学习原始和双重生成对抗网络（primal and dual Generative Adversarial Networks，GANs）。特别是，原始GAN学习从可见/不可见类的语义表示和由双GAN重构的语义表示中合成类间区分和语义保持视觉特征。双GAN通过语义一致的对抗性学习来加强合成视觉特征以很好地表示先验语义知识。据我们所知，这是第一个为GALML采用新型双GAN机制的工作。大量的实验表明，我们的方法实现了显着的改进，国家的最先进的方法。
2019-07-12 cs.CV
Semantically Tied Paired Cycle Consistency for Any-Shot Sketch-based Image Retrieval
University of Exeter（埃克塞特大学）；University of Tübingen（图宾根大学）
基于低拍摄草图的图像检索是计算机视觉中的一项新兴任务，它允许检索与手绘草图查询相关的自然图像，这些图像在训练阶段很少见到。相关的现有工作要么需要昂贵的获得对齐的草图-图像对，要么需要低效的存储器融合层来将视觉信息映射到语义空间。在本文中，我们解决任何镜头，即zero-shot和Few-Shot，基于草图的图像检索（SBIR）的任务，我们介绍了Few-Shot设置SBIR。为了解决这些任务，我们提出了一个语义对齐的配对循环一致的生成对抗网络（SEM-PCYC）的任意镜头SBIR，其中每个分支的生成对抗网络映射的视觉信息从草图和图像到一个共同的语义空间通过对抗训练。这些分支中的每一个都保持了周期的一致性，只需要在类别级别进行监督，并避免了对齐草图-图像对的需要。生成器输出的分类标准确保视觉到语义空间的映射是类特定的。此外，我们建议通过自动编码器将文本和分层边信息结合起来，该自动编码器在同一个端到端模型中选择有区别的边信息。我们的研究结果表明，在具有挑战性的Sketchy，TU-Berlin和QuickDraw数据集的扩展版本上，任何镜头SBIR性能都有显着提高。
2020-06-20 cs.CV cs.LG
Towards Accuracy-Fairness Paradox: Adversarial Example-based Data Augmentation for Visual Debiasing
Beijing Jiaotong University（北京交通大学）；Peng Cheng Laboratory（鹏城实验室）
机器学习公平性关注的是在处理目标任务时对某些受保护或敏感人群的偏见。本文研究了图像分类任务背景下的去偏问题。我们对面部属性识别的数据分析表明：（1）来自不平衡的训练数据分布的模型偏差的属性和（2）对抗性示例在平衡数据分布方面的潜力。因此，我们有动机采用对抗性的例子来增加训练数据的视觉去偏。具体来说，为了确保对抗性泛化以及跨任务可移植性，我们建议将目标任务分类器训练，偏见任务分类器训练和对抗性示例生成的操作耦合起来。生成的对抗性示例通过在线平衡偏差变量的分布来补充目标任务训练数据集。仿真和真实世界的去偏实验结果表明，该解决方案的有效性，同时提高模型的准确性和公平性。初步实验进一步表明，基于对抗攻击的伪样本生成作为替代解决方案，以弥补训练数据不足的潜力。
2020-08-13 cs.CV cs.LG
SVasP: Self-Versatility Adversarial Style Perturbation for Cross-Domain Few-Shot Learning
Southeast University（东南大学）；Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（教育部新一代人工智能技术及其交叉应用重点实验室（东南大学））
针对跨域少样本学习中风格类方法梯度不稳定、易陷入局部最优的问题，提出自多样性对抗风格扰动SVasP，通过自多样性风格扰动与新型目标函数获得平坦极小值，显著提升模型跨域迁移性能。
2024-12-12 cs.CV cs.LG
Semantic Adversarial Network for Zero-Shot Sketch-Based Image Retrieval
基于零镜头草图的图像检索（Zero-Shot-based Image Retrieval，简称ZSBIR）是一种在zero-shot场景下对手绘草图图像进行跨模态检索的方法。以往的工作主要集中在建立图像与草图之间的对应关系或将图像特征与草图特征进行合成。然而，这两种方法都忽略了草图的类内差异，从而导致检索性能不理想。在本文中，我们提出了一种新的端到端的语义对抗方法的EST-SBIR。具体来说，我们设计了一个语义对抗模块，以最大限度地提高学习的语义特征和类别级词向量之间的一致性。此外，为了保持每个训练类别中合成特征的可辨别性，生成模块采用了三重丢失。此外，所提出的模型在端到端的策略中进行训练，以利用适合于EST-SBIR的更好的语义特征。在两个大规模流行数据集上进行的大量实验表明，该方法在Sketchy数据集上的检索性能比现有方法高出12%以上，在TU-Berlin数据集上高出约3%.
2019-10-18 cs.CV
The Human Visual System and Adversarial AI
Thinky.AI Research（Thinky.AI研究院）
本文应用了人类视觉系统的理论，使对抗性AI更加有效。到目前为止，对抗性AI已经使用Lp范数对图像的干净和对抗性示例之间的感知距离进行了建模。这些规范的好处是简单的数学描述和合理的有效性，在近似的感知距离。然而，在过去的几十年中，图像处理的其他领域已经超越了更简单的模型，如均方误差（MSE），转向更接近人类视觉系统（HVS）的更复杂的模型。我们展示了将HVS模型纳入对抗AI的概念证明。
2020-01-07 cs.CV cs.LG eess.IV
Adversarially Robust Few-Shot Anomaly Detection with Vision Foundation Models
Rochester Institute of Technology（罗切斯特理工学院）
该研究针对视觉基础模型的小样本异常检测场景，提出无需训练骨干网络的对抗鲁棒方法，经实验在多数据集上提升了对抗检测性能，且保持较高干净准确率。
2026-10-22 cs.CV
DAC-LoRA: Dynamic Adversarial Curriculum for Efficient and Robust Few-Shot Adaptation
Indian Institute of Technology, Roorkee（印度理工学院拉胡尔分校）
DAC-LoRA提出将动态对抗课程集成到参数高效微调中，通过渐进攻击难度和FOSC/TRADES损失，在不显著牺牲干净准确率的情况下增强视觉-语言模型的对抗鲁棒性。
2025-09-25 cs.AI cs.CV cs.LG
ABounD: Adversarial Boundary-Driven Few-Shot Learning for Multi-Class Anomaly Detection
本文提出ABounD框架，通过语义概念锚定与几何边界优化，解决多类异常检测中特征空间塌陷和跨类干扰问题，实现高效准确的少样本学习。
2026-03-14 cs.CV
Cross-Domain Few-Shot Classification via Adversarial Task Augmentation
Peking University（北京大学）
Few-Shot分类的目标是识别未见过的类，每个类中的标记样本很少。许多用于Few-Shot分类的元学习模型精心设计了各种任务共享归纳偏差（元知识）来解决此类任务，并取得了令人瞩目的性能。然而，当训练任务和测试任务之间存在域转移时，所获得的归纳偏差不能跨域推广，这降低了元学习模型的性能。在这项工作中，我们的目标是通过任务增强来提高归纳偏差的鲁棒性。具体地说，我们考虑了源任务分布的最坏情况问题，并提出了对抗性任务增强方法，该方法可以生成归纳偏差自适应的“挑战性”任务。该方法可以作为一个简单的即插即用模块用于各种元学习模型，并提高其跨领域泛化能力。我们在跨域设置下进行了广泛的实验，使用九个Few-Shot分类数据集：mini-ImageNet，CUB，Cars，Places，Plantae，CropDiseases，EuroSAT，ISIC和ChestX。实验结果表明，该方法能有效地提高元学习模型在领域转移下的Few-Shot分类性能，优于已有的方法.我们的代码可在https://github.com/Haoqing-Wang/CDFSL-ATA上获得。
2021-05-02 cs.CV
A One-Shot Texture-Perceiving Generative Adversarial Network for Unsupervised Surface Inspection
Tsinghua University（清华大学）；University of Cincinnati（辛辛那提大学）
由于目标表面和缺陷区域的外观高度多样化，视觉表面检测是一项具有挑战性的任务。以前的尝试严重依赖于大量带有手动注释的训练样本。但是，在一些实际情况下，很难获得大量样品进行检查。为了解决这个问题，我们提出了一个分层的纹理感知生成对抗网络（HTP-GAN），它是从一个无监督的计划中的一次性正常图像中学习的。具体来说，HTP-GAN包含一个卷积GANs金字塔，可以同时捕获图像的全局结构和细粒度表示。这一创新有助于区分缺陷表面区域和正常表面区域。此外，在该算法中，设计了一个纹理感知模块，通过方向卷积捕获正常图像的空间不变表示，使其对缺陷区域更加敏感。在各种数据集上的实验一致地证明了我们的方法的有效性。
2021-06-12 cs.CV
Few-Shot Adversarial Domain Adaptation
这项工作提供了一个框架，解决问题的监督领域自适应与深度模型。其主要思想是利用对抗学习来学习一个嵌入子空间，同时最大化两个域之间的混淆，同时在语义上对齐它们的嵌入。监督设置变得有吸引力，特别是当只有几个目标数据样本，需要标记。在这种少样本学习场景中，由于缺乏数据，语义概率分布的对齐和分离是困难的。我们发现，通过仔细设计一个训练方案，将典型的二进制对抗训练扩展到区分四个不同的类，可以有效地解决监督自适应问题。此外，该方法具有很高的适应速度，即它需要极少量的标记目标训练样本，甚至每个类别一个都可以是有效的。然后，我们广泛地比较这种方法的最先进的领域自适应在两个实验：一个使用数据集的手写数字识别，和一个使用数据集的视觉对象识别。
2017-11-05 cs.CV
Zero-Shot Visual Recognition using Semantics-Preserving Adversarial Embedding Networks
Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Tencent AI Lab（腾讯人工智能实验室）；Columbia University（哥伦比亚大学）
我们提出了一个新的框架，称为语义保持对抗嵌入网络（SP-AEN）的zero-shot视觉识别（SPNL），其中测试图像和它们的类都是在训练过程中不可见的。SP-AEN的目标是解决固有的问题--语义损失--在流行的基于嵌入的语义学习家族，其中一些语义将在训练过程中被丢弃，如果他们是非歧视性的训练类，但可能成为识别测试类的关键。具体而言，SP-AEN通过引入独立的视觉-语义空间嵌入器来防止语义丢失，该嵌入器将语义空间分解为两个子空间，用于两个可以说是相互冲突的目标：分类和重建。通过对两个子空间的对抗学习，SP-AEN将重构子空间的语义转换到判别子空间，实现了对未知类的改进zero-shot识别。与现有的工作相比，SP-AEN不仅可以提高分类，而且可以生成照片般逼真的图像，证明了语义保持的有效性。在四个流行的基准上：CUB、AWA、SUN和aPY、SP-AEN的谐波平均值的绝对性能差分别为12.2%、9.3%、4.0%和3.6
2018-03-31 cs.CV
Few-Shot Adversarial Learning of Realistic Neural Talking Head Models
Samsung AI Center（三星人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术研究院）
最近的几项工作表明，通过训练卷积神经网络来生成高度逼真的人类头部图像，可以获得它们。为了创建个性化的说话头部模型，这些工作需要在单个人的大型图像数据集上进行训练。然而，在许多实际场景中，需要从人的几个图像视图（可能甚至是单个图像）学习这种个性化的讲话头部模型。在这里，我们提出了一个系统，这种Few-Shot的能力。它在一个大型视频数据集上执行冗长的元学习，然后能够将以前看不见的人的神经说话头部模型的少量和一次性学习框架为具有高容量生成器和判别器的对抗性训练问题。至关重要的是，该系统能够以特定于个人的方式初始化发生器和训练器的参数，因此尽管需要调整数千万个参数，但训练可以基于几张图像并快速完成。我们表明，这样的方法是能够学习高度逼真和个性化的新的人，甚至肖像画的说话头模型。
2019-09-25 cs.CV cs.GR cs.LG
SR-GAN: Semantic Rectifying Generative Adversarial Network for Zero-shot Learning
Suzhou University of Science and Technology（苏州科技大学）；Tianjin University（天津大学）；University of Strathclyde（思克莱德大学）
现有的零样本学习（Zero-Shot learning，ZRL）方法可能会受到不同类的模糊类属性高度重叠的影响。与这些方法忽略类别间的区分不同，本文提出了一种基于视觉空间的语义空间修正方法。首先，我们预训练一个语义校正网络（SRN），以校正具有语义损失和校正损失的语义空间。然后，语义校正生成对抗网络（SR-GAN）的建立，生成的语义特征和校正的语义特征的不可见类的似是而非的视觉特征。为了保证修正后的语义特征和综合视觉特征的有效性，提出了一种视觉特征和语义特征一致的预重构和后重构网络。实验结果表明，我们的方法显着优于国家的最先进的四个基准数据集。
2019-04-15 cs.CV
Progressive Sample Mining and Representation Learning for One-Shot Person Re-identification with Adversarial Samples
Beijing Jiaotong University（北京交通大学）
在本文中，我们的目标是解决一次性的人重新识别问题，只有一个图像标记为每个人，而其他图像是未标记的。由于缺乏足够的标记训练数据，该任务是具有挑战性的。为了解决这个问题，我们建议迭代地猜测未标记图像样本的伪标签，这些伪标签随后用于与标记样本一起更新重新识别模型。设计了一种新的采样机制，根据距离矩阵将未标记样本选择为伪标记样本，并形成包括标记样本和伪标记样本的训练三元组批。考虑到伪标签样本的不可靠性，我们还设计了HSoften-Triplet-Loss来减轻不正确伪标签的负面影响。最后，我们部署了一种对抗性学习方法来将图像样本扩展到不同的相机视图。我们的实验表明，我们的框架在Market-1501（mAP 42.7%）和DukeMTMC-Reid数据集（mAP 40.3%）上实现了新的最先进的一次性Re-ID性能。代码将很快可用。
2019-11-02 cs.CV
ZstGAN: An Adversarial Approach for Unsupervised Zero-Shot Image-to-Image Translation
University of Science and Technology of China（中国科学技术大学）；Microsoft Research Asia（微软亚洲研究院）
图像到图像的翻译模型在不同领域之间的图像传输方面表现出了显著的能力。现有的大多数工作都遵循源域和目标域在训练和推理阶段保持相同的设置，这不能推广到将图像从一个看不见的域转换到另一个看不见的域的场景。在这项工作中，我们提出了无监督Zero-Shot图像到图像翻译（UZSIT）问题，其目的是学习一个模型，该模型可以从训练过程中未观察到的图像域中翻译样本。因此，我们提出了一个名为ZstGAN的框架：通过引入对抗性训练方案，ZstGAN学习使用在视觉和属性模态上语义一致的特定于领域的特征分布来对每个领域进行建模。然后，域不变的功能解开与共享的编码器的图像生成。我们在CUB和FLO数据集上进行了大量的实验，实验结果证明了该方法在UZSIT任务上的有效性。此外，ZstGAN在CUB和FLO上显示出比最先进的零样本学习方法显著的准确性改进。
2021-07-20 cs.CV
Few-shot 3D Multi-modal Medical Image Segmentation using Generative Adversarial Learning
École de technologie Superieure (ETS)（高等技术学院（ETS））；IIT Kharagpur（印度理工学院卡拉格布尔分校）
我们解决的问题，分割三维多模态医学图像的情况下，很少标记的例子可用于训练。利用对抗学习最近在半监督分割方面的成功，我们提出了一种基于生成对抗网络（GANs）的新方法，用标记和未标记图像训练分割模型。该方法通过学习区分由生成器网络获得的真补丁和假补丁来防止过拟合。我们的工作扩展了当前的对抗性学习方法，这些方法专注于2D单模态图像，以适应更具挑战性的多模态3D体积。在从iSEG-2017和MRBrainS 2013数据集分割脑MRI的问题上评估所提出的方法。显着的性能改进的报告，相比，在完全监督的方式训练的最先进的分割网络。此外，我们的工作还对不同的GAN架构进行了全面的分析，用于半监督分割，显示了最近的技术，如特征匹配，以产生比传统对抗训练方法更高的性能。我们的代码可在https://github.com/arnab39/FewShot_GAN-Unet3D上公开获取
2018-10-29 cs.CV
Adversarial Learning for Zero-shot Domain Adaptation
Guangdong Laboratory of Artificial Intelligence & Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
零激发域自适应（Zero-shot domain adaptation，简称ZIDA）是一类既没有数据样本也没有标签可用于目标域参数学习的领域自适应问题。假设一个给定的域之间的转移是跨任务共享的，我们提出了一种新的方法，通过转移域转移从一个不相关的任务（IRT）的任务的兴趣（ToI）。具体来说，我们首先确定一个IrT，其中双域样本可用，并在此任务中使用耦合的生成对抗网络（CoGAN）捕获域偏移。然后，我们训练一个用于ToI的CoGAN，并限制它携带与用于IRT的CoGAN相同的域转移。此外，我们引入了一对共同训练分类器来规范ToI中CoGAN的训练过程。所提出的方法不仅推导出机器学习模型的不可用的目标域的数据，但也综合数据本身。我们在基准数据集上评估了所提出的方法，并实现了最先进的性能。
2020-09-11 cs.CV
Temporally-Transferable Perturbations: Efficient, One-Shot Adversarial Attacks for Online Visual Object Trackers
EPFL（洛桑联邦理工学院）；ClearSpace SA（ClearSpace公司）
近年来，基于Siamese网络的跟踪器已成为视觉对象跟踪（VOT）的高效和高效的。虽然这些方法被证明容易受到对抗攻击的攻击，但作为用于视觉识别任务的大多数深度网络，针对VOT跟踪器的现有攻击都需要扰动每个输入帧的搜索区域才能有效，考虑到VOT是一项实时任务，这需要付出不可忽略的代价。在本文中，我们提出了一个框架来生成一个单一的时间可转移的对抗性扰动的对象模板图像。然后，这种扰动可以添加到每个搜索图像中，这几乎没有成本，并且仍然成功地欺骗了跟踪器。我们的实验证明，我们的方法优于国家的最先进的攻击标准的VOT基准在非目标的情况下。此外，我们表明，我们的形式主义自然延伸到有针对性的攻击，迫使跟踪器遵循任何给定的轨迹，通过预先计算不同的方向扰动。
2020-12-30 cs.CV
