Online Continual Learning via Multiple Deep Metric Learning and Uncertainty-guided Episodic Memory Replay -- 3rd Place Solution for ICCV 2021 Workshop SSLAD Track 3A Continual Object Classification
Xi’an Jiaotong University(西安交通大学)
在线持续学习是机器学习中一项非常困难的任务。在线持续学习的非平稳性可能会导致神经网络的灾难性遗忘。具体而言,使用SODA 10 M数据集进行自动驾驶的在线持续学习在具有连续分布偏移的极长尾分布上表现出额外的问题。为了解决这些问题,我们提出了多个深度度量表示学习,通过对比和监督对比学习以及软标签蒸馏来提高模型的泛化能力。此外,我们利用修改后的类平衡的焦点损失敏感的惩罚类不平衡和硬容易的样本。我们还存储一些样本的指导下的不确定性度量排练和执行在线和定期的内存更新。我们提出的方法取得了相当大的推广,平均平均类准确率(AMCA)64.01%的验证和64.53%的AMCA测试集。
2021-11-04 cs.CV cs.LG
ESSENTIAL: Episodic and Semantic Memory Integration for Video Class-Incremental Learning
Kyung Hee University(Kyung Hee 大学);Danggeun Market Inc.(Danggeun Market 公司);Intel Labs(Intel 实验室);Korea University(韩国大学)
针对视频类增量学习中内存效率与性能的权衡问题,提出ESSENTIAL方法,通过情景记忆与语义记忆整合及记忆检索模块,在显著降低内存开销的同时保持良好性能。
2025-08-14 cs.CV
Disentangling Sampling from Training Budget in Class-Imbalanced CT Body Composition Segmentation
Amsterdam University Medical Center(阿姆斯特丹大学医学中心);University of Amsterdam(阿姆斯特丹大学);Informatics Institute, Faculty of Science(信息学院,科学学院);Department of Radiology(放射科);Mayo Clinic Rochester(罗切斯特梅奥诊所)
本文提出了一种基于少样本学习的episodic采样方法,用于解决医学图像分割中的类别不平衡问题,通过解耦采样与训练预算,提高了小数据集下的分割性能。
2026-05-19 cs.AI cs.CV eess.IV
On Episodes, Prototypical Networks, and Few-shot Learning
University of Edinburgh(爱丁堡大学);FiveAI
情景学习是对少样本学习感兴趣的研究人员和实践者的一种流行做法。它包括在一系列学习问题(或事件)中组织培训,每个学习问题(或事件)被分成一个小的训练和验证子集,以模拟评估期间遇到的情况。但这总是必要的吗?在本文中,我们调查的有用性,情节学习的方法,使用非参数的方法,如最近的邻居,在情节的水平。对于这些方法,我们不仅展示了情景学习所施加的约束是不必要的,而且它们实际上导致了利用训练批次的数据效率低下的方式。我们进行了广泛的消融实验匹配和原型网络,两个最流行的方法,使用非参数的方法在情节的水平。它们的“非情景”对应物相当简单,具有更少的超参数,并提高了它们在多个Few-Shot分类数据集中的性能。
2021-11-30 cs.CV cs.LG
Task Attended Meta-Learning for Few-Shot Learning
Indian Institute of Technology, Ropar(印度理工学院罗巴尔分校)
元学习(ML)已经成为在诸如少样本学习之类的受限资源设置下的学习模型的一个有前途的方向。ML的流行方法要么通过情景训练来学习可泛化的初始模型,要么学习通用的参数优化器。前一种方法利用一批任务的知识来学习最优先验。在这项工作中,我们研究了一个批次的ML的重要性。具体来说,我们首先采用了一个批量情景训练方案,以提高通用参数优化器的学习。我们还假设,批量情景训练中的常见假设,即批量中的每个任务对学习最佳元模型的贡献相等,不一定是真的。我们建议根据任务在提高元模型学习中的“重要性”来对任务进行批量加权。为此,我们引入了一个由人类选择性聚焦激励的训练课程,称为任务参加元训练,以批量加权任务。任务注意力是一个独立的模块,可以与任何批量情景训练方案相结合。在miniImageNet和tieredImageNet等复杂数据集上将模型与非任务参与的模型进行比较,验证了其有效性。
2021-06-20 cs.AI cs.CV cs.LG
Unsupervised Few-shot Learning via Self-supervised Training
Beijing Normal University(北京师范大学);Peking University(北京大学)
从有限样本中学习(少样本学习)是一个基本的、未解决的问题,在机器学习社区中一直在努力探索。然而,目前的Few-Shot学习器大多是有监督的,并且严重依赖于大量的标记示例。无监督学习是认知哺乳动物更自然的过程,并在许多机器学习任务中产生了有希望的结果。在目前的研究中,我们开发了一种方法来学习一个无监督的Few-Shot学习者通过自我监督训练(UFLST),它可以有效地推广到新的,但相关的类。该模型由两个交替的过程,渐进聚类和情节训练。前者生成用于构建情景任务的伪标记训练样本;后者使用生成的情景任务训练Few-Shot学习器,进一步优化数据的特征表示。这两个过程相互促进,并最终产生一个高质量的Few-Shot学习器。使用基准数据集Omniglot和Mini-ImageNet,我们证明了我们的模型优于其他无监督的少样本学习方法。使用基准数据集Market 1501,我们进一步证明了我们的模型的可行性,在现实世界中的应用程序的人重新识别。
2019-12-20 cs.CV cs.LG
HIDISC: A Hyperbolic Framework for Domain Generalization with Generalized Category Discovery
Indian Institute of Technology Bombay(印度理工学院孟买)
针对DG-GCD中目标域不可见且含新类别的挑战,本文提出双曲表示学习框架HIDISC,通过GPT引导扩散增强、Tangent CutMix和统一双曲损失实现高效泛化,并在三个基准上达到SOTA。
2025-10-20 cs.CV
When Domain Generalization meets Generalized Category Discovery: An Adaptive Task-Arithmetic Driven Approach
IIT Bombay(印度理工学院孟买分校);IITB-Monash Research Academy(印度理工学院孟买分校-莫纳什大学研究院);Georgia Institute of Technology(佐治亚理工学院)
针对广义类别发现现有方法依赖目标域训练数据、易受分布偏移影响的问题,提出DG-GCD新范式与DG2CD-Net,通过情景训练和自适应任务算术提升跨域泛化能力,在三个数据集上表现优于现有定制方法。
2025-03-21 cs.CV
Few-Shot Classification in Unseen Domains by Episodic Meta-Learning Across Visual Domains
National Taiwan University(台湾大学);ASUS Intelligent Cloud Services(华硕智能云服务)
Few-Shot分类的目标是在对感兴趣的类别只给出少量标记样本的情况下进行分类。虽然已经提出了几种方法,但大多数现有的少样本学习(FSL)模型假设基类和新类来自同一数据域。当涉及到在一个看不见的领域中识别新的类数据时,这成为一个更具挑战性的领域广义Few-Shot分类任务。在本文中,我们提出了一个独特的学习框架域广义Few-Shot分类,其中基类是从同质的多个源域,而新的类被识别的目标域是在训练过程中没有看到。通过推进元学习策略,我们的学习框架利用跨多个源域的数据来捕获域不变特征,并通过跨支持和查询数据的基于度量学习的机制引入FSL能力。我们进行了大量的实验来验证我们提出的学习框架的有效性,并显示从小而同质的源数据学习能够更好地执行对大规模的学习。此外,我们提供了深入了解域广义Few-Shot分类的骨干模型的选择。
2021-12-27 cs.CV
Uniform Sampling over Episode Difficulty
University of Southern California(南加州大学);University of Oxford(牛津大学);Amazon Web Services(亚马逊云科技);University of California, Los Angeles(加州大学洛杉矶分校)
情景训练是少样本学习的核心组成部分,用于在具有有限标记数据的任务上训练模型。尽管它取得了成功,但情景训练在很大程度上仍然没有得到充分的研究,这促使我们提出这样一个问题:什么是采样情景的最佳方式?在本文中,我们首先提出了一种方法来近似情节抽样分布的基础上,他们的困难。基于这种方法,我们进行了广泛的分析,发现均匀采样情节难度优于其他采样方案,包括课程和容易/硬挖掘。由于所提出的采样方法与算法无关,因此我们可以利用这些见解来提高许多情景训练算法的少样本学习精度。我们证明了我们的方法在流行的少样本学习数据集,算法,网络架构和协议的有效性。
2022-01-15 cs.AI cs.CV cs.LG
When Learning Is Out of Reach, Reset: Generalization in Autonomous Visuomotor Reinforcement Learning
Allen Institute for AI(艾伦人工智能研究所)
针对无重置强化学习中的不可逆转换和泛化问题,提出最小化重置的视觉运动RL方法,构建新基准和无监督指标,在多任务上以更少重置实现更高成功率。
2023-03-30 cs.CV cs.RO
SpotEM: Efficient Video Search for Episodic Memory
UT Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学);FAIR, Meta AI(Meta人工智能基础研究实验室)
提出SpotEM方法,通过语言查询条件片段选择器、低成本语义索引和蒸馏损失,在仅计算10%-25%片段特征下保留84%-97%原始准确率,实现情景记忆高效视频搜索。
2023-06-28 cs.CV
Learning to Learn with Variational Information Bottleneck for Domain Generalization
University of Amsterdam(阿姆斯特丹大学);Nankai University(南开大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Duke University(杜克大学);Inception Institute of Artificial Intelligence(起源人工智能研究院)
领域泛化模型学习泛化到以前看不见的领域,但遭受预测不确定性和领域转移。在本文中,我们解决这两个问题。我们引入了一个概率元学习模型的领域泛化,在跨域共享的分类器参数建模为分布。这使得能够更好地处理未知域上的预测不确定性。为了处理域移位,我们通过提出Meta变分信息瓶颈原理来学习域不变表示,我们称之为MetaVIB。MetaVIB是来自新的变分边界的互信息,利用元学习设置的领域泛化。通过情景训练,MetaVIB学会逐渐缩小领域差距,建立领域不变的表示,同时最大限度地提高预测准确性。我们进行实验的三个基准跨域视觉识别。全面的消融研究验证了MetaVIB在领域泛化方面的优势。比较结果表明,我们的方法优于以前的方法一致。
2020-07-15 cs.CV
Trainable Class Prototypes for Few-Shot Learning
Xi’an Jiaotong University(西安交通大学)
度量学习是少样本学习中广泛使用的一种方法,其中原型的质量在算法中起着关键作用。在本文中,我们提出了可训练的原型距离测量,而不是人工的元训练和任务训练框架内。同时为了避免情景元训练带来的弊端,本文采用了基于自监督学习的非情景元训练。总的来说,我们解决了Few-Shot任务在两个阶段:元训练可转移的特征提取器通过自监督学习和训练的原型度量分类。此外,简单的注意力机制被用于元训练和任务训练。我们的方法在标准Few-Shot视觉分类数据集上的各种既定Few-Shot任务中实现了最先进的性能,与现有的无监督少样本学习方法相比,提高了约20%。
2021-06-21 cs.AI cs.CV cs.LG
Improving the robustness of ImageNet classifiers using elements of human visual cognition
Center for Data Science(数据科学中心);New York University(纽约大学)
我们研究了图像识别模型的鲁棒性,该模型配备了受人类视觉启发的两个特征,即明确的情景记忆和形状偏差。正如在以前的工作中所报道的,我们表明,一个明确的情景记忆提高了鲁棒性的图像识别模型对小范数对抗性扰动下的一些威胁模型。然而,它并没有提高对更自然的、通常更大的扰动的鲁棒性。在训练过程中学习更健壮的特征似乎是第二种意义上的健壮性所必需的。我们表明,从鼓励学习全局的基于形状的表示的模型中获得的特征(Geirhos等人,2019)不仅提高了对自然扰动的鲁棒性,而且当与情景记忆结合使用时,它们还提供了对对抗性扰动的额外鲁棒性。最后,我们讨论了情景记忆的三个重要设计选择:记忆容量、记忆维度和提取方法。我们发现,为了使情景记忆更紧凑,最好是减少记忆的数量,通过聚类它们,而不是减少它们的维数。
2020-02-10 cs.CV cs.LG cs.NE
Towards Zero-Shot Domain Generalization for ID Cards Presentation Attack Detection
Facephi(菲思费(Facephi));Hochschule Darmstadt(达姆施塔特应用科学大学)
该研究针对身份证呈现攻击检测的跨国泛化难题,提出基于EfficientNet-V2-b0骨干的原型网络头与情节式训练机制,在跨国数据集及DLC-2021基准上实现约9%的平均等错误率,优于相关基线方法,可助力跨辖区远程入职。
2026-08-18 cs.CV
VDLF-Net: Variational Feature Fusion for Adaptive and Few-Shot Visual Learning
Department of Statistics, Shanghai Jiao Tong University(上海交通大学统计系)
VDLF-Net通过在多尺度CNN主干上添加紧凑的变分自编码器,结合潜在向量和softmax门控实现自适应和少样本视觉学习,实验显示其在CIFAR-100和Mini-ImageNet上优于多种基线模型。
2026-04-26 cs.CV
MAP: Domain Generalization via Meta-Learning on Anatomy-Consistent Pseudo-Modalities
Vanderbilt University(范德堡大学)
提出MAP方法,通过生成解剖一致伪模态并利用元学习,增强视网膜血管分割模型对未见领域的泛化能力,在七个公开数据集上验证了其有效性。
2023-09-03 cs.CV
Magnification Generalization for Histopathology Image Embedding
University of Waterloo(滑铁卢大学)
历史学图像嵌入是计算机视觉领域的一个研究热点。大多数嵌入模型专门集中在一个特定的放大水平。然而,在组织病理学包埋中有用的任务是训练包埋空间,而不管放大率水平如何。解决这一目标的两种主要方法是域自适应和域泛化,其中目标放大水平可以或可以不分别引入到训练中的模型中。虽然放大自适应是一个很好的研究课题,在文献中,本文,据我们所知,是第一个工作放大泛化的组织病理学图像嵌入。我们使用一种情景可训练域泛化技术进行放大泛化,即语义特征的模型不可知学习(MASF),它基于模型不可知元学习(MAML)概念工作。我们的实验结果与四个不同的放大率水平的乳腺癌组织病理学数据集显示所提出的方法的放大率泛化的有效性。
2021-01-18 cs.AI cs.CV eess.IV
Few-Shot Classification with Contrastive Learning
Shenzhen University(深圳大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
当前少样本学习(FSL)研究中广泛采用由预训练和元训练两个阶段组成的两阶段训练范式。这些方法中的许多使用自监督学习和对比学习来实现新的最先进的结果。然而,对比学习在FSL训练范式的两个阶段中的潜力仍然没有得到充分的开发。在本文中,我们提出了一种新的基于对比学习的框架,无缝集成对比学习到这两个阶段,以提高性能的Few-Shot分类。在预训练阶段,我们提出了一种自监督的对比损失,其形式为特征向量与特征图和特征图与特征图,它使用全局和局部信息来学习良好的初始表示。在元训练阶段,我们提出了一个跨视图情节训练机制,对同一情节的两个不同视图进行最近质心分类,并采用基于它们的距离缩放对比损失。这两种策略迫使模型克服观点之间的偏见,促进表征的可转移性。在三个基准数据集上的大量实验表明,我们的方法取得了有竞争力的结果。
2022-09-17 cs.CV
Robust Local Features for Improving the Generalization of Adversarial Training
Huazhong University of Science and Technology(华中科技大学);Peking University(北京大学);Cornell University(康奈尔大学)
对抗性训练已被证明是训练鲁棒模型以抵御对抗性示例的最有效方法之一。然而,逆向训练的模型往往缺乏对未知测试数据的逆向鲁棒泛化。最近的工作表明,对抗训练的模型更偏向于全局结构特征。相反,在这项工作中,我们想研究对抗训练的泛化与鲁棒局部特征之间的关系,因为鲁棒局部特征可以很好地泛化看不见的形状变化。为了学习鲁棒的局部特征,我们开发了随机块洗牌(RBS)变换来分解正常对抗示例的全局结构特征。我们继续提出了一种新的方法,称为鲁棒局部特征对抗训练(RLFAT),它首先通过对RBS转换的对抗示例进行对抗训练来学习鲁棒局部特征,然后将鲁棒局部特征转移到正常对抗示例的训练中。为了证明我们的论点的一般性,我们在目前最先进的对抗训练框架中实现了RLFAT。在STL-10、CIFAR-10和CIFAR-100上的大量实验表明,RLFAT显著提高了对抗训练的对抗鲁棒泛化能力和标准泛化能力。此外,我们还证明了我们的模型可以捕获图像上对象的更多局部特征,更好地与人类感知保持一致。
2020-02-02 cs.CV
Some like it tough: Improving model generalization via progressively increasing the training difficulty
JOANNEUM RESEARCH – DIGITAL(约阿内姆研究数字研究所)
在这项工作中,我们建议通过一种新的策略,我们称之为小批量修剪,逐步增加训练难度在学习神经网络模型。这种策略确保优化器在后面的训练阶段将重点放在更困难的样本上,我们将其确定为当前小批量中损失最高的样本。该策略非常容易集成到现有的培训管道中,并且不需要改变网络模型。对几个图像分类问题的实验表明,小批量裁剪能够提高训练模型的泛化能力(通过最终测试误差来衡量)。
2021-10-25 cs.CV
Diversity-boosted Generalization-Specialization Balancing for Zero-shot Learning
University of New South Wales(新南威尔士大学);Jiangnan University(江南大学);University of Technology Sydney(悉尼科技大学);University of California San Diego(加州大学圣地亚哥分校);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织Data61)
零样本学习(Zero-Shot Learning,缩写为ZRL)旨在将分类能力从可见的类转移到不可见的类。最近的方法已经证明,泛化和专业化是两个基本的能力,以实现良好的性能,在CNOL。然而,只关注其中一种能力可能会导致模型过于通用,分类能力下降,或者过于专业化,无法推广到看不见的类别。在本文中,我们提出了一个端到端的网络,称为BGSNet,它在实例和数据集级别配备和平衡泛化和专业化能力。具体来说,BGSNet由两个分支组成:泛化网络(GNet),它应用情景元学习来学习泛化知识,以及平衡专业化网络(BSNet),它采用多个注意提取器来提取区分特征并实现实例级平衡。设计了一种新的自调整分集损耗的方法来优化BSNet,降低了冗余度,提高了分集度。我们进一步提出了一个可微的节点级平衡和更新的线性退火时间表中的权重来模拟网络修剪,从而获得最佳结构的BSNet与节点级平衡的实现。在四个基准数据集上的实验证明了该模型的有效性。充分的组件消融证明了集成和平衡的泛化和专业化能力的必要性。
2022-10-23 cs.CV cs.LG
Training-Free Entity-Level Few-Shot Segmentation of Remote Sensing Images with Advection Refinement
该研究针对现有跨域小样本分割方法训练成本高、预测结果碎片化的问题,提出一种基于平流优化的无训练实体级遥感图像小样本分割框架,可提升 SAM3 的相关适应能力。
2026-08-03 cs.CV
A Broad Study of Pre-training for Domain Generalization and Adaptation
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
深度模型必须学习鲁棒和可转移的表示,以便在新的领域中表现良好。虽然域转移方法(例如,域自适应,领域泛化)已经被提出来学习跨域的可转移表示,它们通常应用于在ImageNet上预训练的ResNet主干。因此,现有的工作很少注意到预训练对领域迁移任务的影响。在本文中,我们对领域自适应和泛化的预训练进行了广泛的研究和深入的分析,即:网络架构,大小,预训练损失和数据集。我们观察到,简单地使用一个国家的最先进的骨干优于现有的国家的最先进的领域自适应基线,并设置新的基线上的家庭和DomainNet提高了10.7%和5.5%。我们希望这项工作可以为未来的域转移研究提供更多的见解。
2022-07-20 cs.CV
AugRmixAT: A Data Processing and Training Method for Improving Multiple Robustness and Generalization Performance
Nanjing University(南京大学)
深度神经网络功能强大,但也有缺点,如对对抗性样本、噪声、模糊、遮挡等敏感,此外,确保深度神经网络模型的可靠性和鲁棒性对于其在安全关键领域的应用至关重要。许多以前的工作已经提出,以提高特定的鲁棒性。然而,我们发现,特定的鲁棒性往往是在牺牲额外的鲁棒性或泛化能力的神经网络模型的改善。特别是,对抗性训练方法在提高对抗性鲁棒性时,会显着损害未扰动数据的泛化性能。本文提出了一种新的数据处理和训练方法AugRmixAT,它可以同时提高神经网络模型的泛化能力和多重鲁棒性。最后,我们在CIFAR-10/100和Tiny-ImageNet数据集上验证了AugRmixAT的有效性。实验结果表明,AugRmixAT在提高模型泛化性能的同时,增强了模型的白盒鲁棒性、黑盒鲁棒性、常见腐败鲁棒性和部分遮挡鲁棒性.
2022-07-21 cs.CV
Any-Shift Prompting for Generalization over Distributions
University of Amsterdam(阿姆斯特丹大学);Core42
针对提示学习过拟合训练分布的问题,提出任意分布偏移提示框架,通过分层架构与伪偏移训练机制连接训练与测试分布,指导 CLIP 模型泛化至任意测试分布,在二十三个数据集上验证了有效性。
2024-02-15 cs.CV
Generalized Cross-domain Multi-label Few-shot Learning for Chest X-rays
Wadhwani AI(瓦德瓦尼人工智能研究所);IIT Ropar(印度理工学院罗巴尔分校);IIIT Hyderabad(国际信息技术学院海得拉巴分校);IIT Palakkad(印度理工学院帕拉卡德分校)
针对胸部X射线分类中数据有限、跨域及类别部分重叠的挑战,提出GenCDML-FSL框架与GenET训练策略,利用元学习实现少样本多标签跨域学习,性能优于现有方法。
2023-09-08 cs.CV
Episode-Based Active Learning with Bayesian Neural Networks
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
我们研究了使用贝叶斯深度神经网络进行主动学习的不同策略。我们的分析集中在新的,未标记的数据是偶然获得的情况下,如在移动机器人应用中常见的。对CIFAR-10数据集的不同采集、更新和最终训练策略的评估表明,在累积采集集上进行最终训练的增量网络更新对于获得最佳性能至关重要,同时限制了所需的人工标记劳动量。
2017-03-21 cs.CV cs.LG stat.ML
Semantically Meaningful Class Prototype Learning for One-Shot Image Semantic Segmentation
School of Computer Science and Engineering, Nanjing University of Science and Technology(南京理工大学计算机科学与工程学院);Inception Institute of Artificial Intelligence(Inception人工智能研究院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
单次语义图像分割的目的是分割的对象区域的新类只有一个注释的图像。最近的作品采用情景训练策略来模拟测试时的预期情景。然而,这些现有的方法在训练过程中过于严格地模拟测试条件,从而不能充分利用给定的标签信息。此外,这些方法主要集中在前景-背景目标类分割设置。它们只使用二进制掩码标签进行训练。在本文中,我们建议在情节训练期间利用多类标签信息。它将鼓励网络为每个类别生成更有语义意义的特征。在将目标类线索整合到查询特征中之后,我们提出了一个金字塔特征融合模块来挖掘融合后的特征,以用于最终的分类器。此外,为了更好地利用支持图像模板对,我们提出了一个自原型指导分支来支持图像分割。它可以约束网络,为每个语义类生成更紧凑的特征和健壮的原型。对于推理,我们提出了一个融合的原型指导分支的查询图像的分割。具体来说,我们利用查询图像的预测来提取伪原型,并将其与初始原型相结合。然后,我们利用融合的原型来指导查询图像的最终分割。大量的实验证明了我们所提出的方法的优越性。
2021-02-22 cs.CV cs.MM
Meta Adaptive Task Sampling for Few-Domain Generalization
Tsinghua University(清华大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文提出少域泛化(FDG)框架和元自适应任务采样(MATS)方法,利用基础任务知识按语义与域偏移相似性采样,在极少数领域下显著提升分布外泛化性能,并在PACS和DomainNet上超越现有DG基线。
2023-05-25 cs.AI cs.CV cs.LG
Cross-domain few-shot learning with unlabelled data
iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里人工智能联合研究中心)
少样本学习旨在解决数据稀缺问题。如果测试集和训练集之间存在域偏移,则它们的性能将大大降低。此设置称为跨域少样本学习。然而,这是非常具有挑战性的,因为目标域在训练期间是不可见的。因此,我们提出了一种新的设置一些未标记的数据从目标域提供,它可以弥合源域和目标域之间的差距。使用DomainNet \cite{peng2018oment}构建此设置的基准。我们提出了一种自监督学习方法,充分利用标记训练集和未标记训练集中的知识。大量的实验表明,我们的方法优于几个基线方法的大幅度。我们还精心设计了一个情景训练管道,可以显著提高性能。
2021-01-19 cs.CV cs.LG
Incremental Task Learning with Incremental Rank Updates
University of California Riverside(加州大学河滨分校);Rochester Institute of Technology(罗切斯特理工学院);Air Force Research Laboratory(空军研究实验室)
增量任务学习(ITL)是一种持续学习,旨在为多个任务(一个接一个)训练单个网络,其中每个任务的训练数据仅在该任务的训练期间可用。神经网络在接受新任务训练时,往往会忘记旧任务;这种特性通常被称为灾难性遗忘。为解决这一问题,国际交易日志方法使用了情景记忆、参数正规化、掩蔽和修剪或可扩展的网络结构。在本文中,我们提出了一个新的增量任务学习框架的基础上低秩分解。特别地,我们将每层的网络权重表示为几个秩为1的矩阵的线性组合。为了更新网络以执行新任务,我们学习一个秩为1(或低秩)的矩阵,并将其添加到每一层的权重中。我们还引入了一个额外的选择器向量,它为之前任务学习的低秩矩阵分配不同的权重。我们表明,我们的方法在准确性和遗忘方面比目前最先进的方法表现得更好。我们的方法也提供了更好的记忆效率相比,情景记忆和面具为基础的方法。我们的代码将在https://github.com/CSIPlab/task-increment-rank-update.git上提供
2022-07-19 cs.CV cs.LG
Sparsity Winning Twice: Better Robust Generalization from More Efficient Training
University of Science and Technology of China(中国科学技术大学);University of Texas at Austin(德克萨斯大学奥斯汀分校);University of California, Irvine(加州大学欧文分校)
最近的研究表明,深度网络,即使通过最先进的对抗训练(AT)进行鲁棒化,除了比标准训练昂贵得多的训练成本之外,仍然存在很大的鲁棒泛化差距。在本文中,我们从一个新的角度研究这个有趣的问题,即,在对抗训练中注入适当形式的稀疏性。我们引入了两种稀疏对抗训练的替代方案:(i)静态稀疏性,通过利用彩票假设的最新结果来识别早期训练中产生的关键稀疏子网;(ii)动态稀疏性,通过允许稀疏子网在整个训练过程中自适应地调整其连接模式(同时坚持相同的稀疏率)。我们发现静态和动态稀疏方法都可以实现双赢:大幅缩小鲁棒泛化差距,减轻鲁棒过拟合,同时显著节省训练和推理FLOPs。大量的实验验证了我们在不同数据集上使用多种网络架构的建议,包括CIFAR-10/100和Tiny-ImageNet。例如,我们的方法将鲁棒泛化差距和过拟合减少了34.44%和4.02%,在CIFAR-100和ResNet-18上具有相当的鲁棒/标准准确度提升和87.83%/87.82%的训练/推理FLOP节省。此外,我们的方法可以有机地结合现有的正则化,建立新的国家的最先进的结果在AT。代码可在https://github.com/VITA-Group/Sparsity-Win-Robust-Generalization上找到。
2022-02-27 cs.CV cs.LG
Revisiting Adversarial Training for ImageNet: Architectures, Training and Generalization across Threat Models
University of Tübingen(图宾根大学);Tübingen AI Center(图宾根人工智能中心)
本文重新审视ImageNet上的对抗训练,发现用ConvStem替换PatchStem等架构微调可显著提升鲁棒性,ConvNeXt+ConvStem在ℓ∞攻击下最鲁棒,ViT+ConvStem对未知ℓ1/ℓ2攻击泛化最佳。
2023-10-28 cs.CR cs.CV cs.LG
DART: Diversify-Aggregate-Repeat Training Improves Generalization of Neural Networks
Indian Institute of Technology, Varanasi(瓦拉纳西印度理工学院);Indian Institute of Technology, Dhanbad(丹巴德印度理工学院);Indian Institute of Science, Bangalore(班加罗尔印度科学学院)
本研究提出DART训练策略,通过多样化增强训练不同模型、聚合权重融合专长、重复优化训练轨迹,提升神经网络泛化能力,在域内及DomainBed域泛化基准上达SOTA,且通用性强易集成。
2023-06-10 cs.AI cs.CV cs.LG
Investigating Generalization in Neural Networks under Optimally Evolved Training Perturbations
The University of Tokyo(东京大学);IBM Research AI - Tokyo(IBM研究AI - 东京)
在本文中,我们研究了输入扰动下的神经网络的泛化性能,并表明,最小的训练数据腐败的几个像素修改可能会导致剧烈的过拟合。我们提出了一种进化算法来搜索最佳像素扰动使用新的成本函数启发文学在领域自适应,明确最大化的泛化间隙和域之间的分歧干净和损坏的图像。我们的方法在最先进的卷积神经网络(CNN)架构上优于以前基于像素的数据分布偏移方法。有趣的是,我们发现优化的选择在泛化鲁棒性中起着重要的作用,这是由于经验观察到SGD对这种训练数据损坏具有弹性,这与自适应优化技术(ADAM)不同。我们的源代码可在https://github.com/subhajitchaudhury/evo-shift上获得。
2020-03-14 cs.CR cs.CV cs.LG