Piggyback GAN: Efficient Lifelong Learning for Image Conditioned Generation
Simon Fraser University(西蒙弗雷泽大学)
人类以终生的方式积累知识。另一方面,现代深度神经网络容易受到灾难性遗忘的影响:当适应执行新任务时,它们往往无法保持先前学习任务的性能。给定一系列任务,解决灾难性遗忘的一种简单方法是为每个任务训练一个单独的独立模型,该模型在没有有效利用先前模型的情况下大幅扩展参数的总数。相比之下,我们提出了一个参数有效的框架,Piggyback GAN,它通过构建一组卷积和去卷积滤波器来学习当前任务,这些滤波器被分解为在先前任务上训练的模型的滤波器。对于当前的任务,我们的模型在较低的参数数量下实现了与独立模型相当的高生成质量。对于以前的任务,我们的模型也可以保持生成质量,因为以前任务的过滤器没有改变。我们在不同领域的各种图像条件生成任务上验证了Piggyback GAN,并提供了定性和定量的结果,表明所提出的方法可以有效地解决灾难性遗忘。
2021-04-24 cs.CV
LFS-GAN: Lifelong Few-Shot Image Generation
Kyung Hee University(庆熙大学);KLleon Tech.(KLleon科技公司)
提出LFS-GAN框架,首次解决终身少样本图像生成任务,通过可学习因子化张量调制器和模态寻求损失,实现高保真、多样化图像生成且无遗忘和模式崩溃,性能超越现有方法。
2023-09-05 cs.AI cs.CV
CSG0: Continual Urban Scene Generation with Zero Forgetting
Sorbonne University(索邦大学)
随着生成对抗网络(GANs)的快速发展,合成场景的视觉质量不断提高,包括应用于自动驾驶的复杂城市场景。在这项工作中,我们解决了一个连续的场景生成设置,其中GANs在一系列不同的域上进行训练;理想情况下,学习的模型最终应该能够在所有可见的域中生成新的场景。此设置反映了在不同时间在不同地点连续采集数据的真实场景。在这样一个连续的设置中,我们的目标是零遗忘学习,\IE,由于灾难性遗忘,合成质量没有下降。为此,我们引入了一个新的框架,不仅(i)使无缝的知识转移在持续的培训,而且(ii)保证零遗忘与小的开销成本。由于持续学习,我们的模型具有更高的内存效率,与为每个域训练一个完整模型的暴力解决方案相比,我们的模型获得了更好的合成质量。特别是,在极端低数据的制度下,我们的方法优于蛮力一个很大的利润。
2022-05-02 cs.CV
A Survey on GAN Acceleration Using Memory Compression Technique
Cairo University(开罗大学)
自其发明以来,生成对抗网络(GANs)在许多应用中表现出出色的效果。生成对抗网络是一种强大但资源匮乏的深度学习模型。它们与普通深度学习模型的主要区别在于其输出的性质。例如,GAN输出可以是整个图像,而其他模型检测对象或对图像进行分类。因此,网络的结构和数值精度影响解决方案的质量和速度。因此,加速GANs至关重要。加速GANs可以分为三个主要方面:(1)内存压缩,(2)计算优化和(3)数据流优化。由于数据传输是能源使用的主要来源,因此内存压缩可以节省最多的能源。因此,在本文中,我们调查了基于CNN的GANs的内存压缩技术。最后总结了GANs加速的机遇和挑战,并提出了有待进一步研究的问题。
2021-08-14 cs.CV cs.LG cs.NE
MemoryKT: An Integrative Memory-and-Forgetting Method for Knowledge Tracing
School of Computer Science, South China Normal University, Guangzhou, China(华南师范大学计算机科学学院);School of Computing, National University of Singapore, Singapore(新加坡国立大学计算学院);Sichuan Artificial Intelligence Research Institute, Sichuan, China(四川省人工智能研究院)
本文提出基于时序变分自编码器的知识追踪模型memoryKT,通过学习记忆特征分布、重构练习反馈并嵌入个性化遗忘模块以动态调节存储强度,联合建模完整的记忆编码-存储-检索循环,显著提升了模型性能与个体差异感知能力。
2025-08-11 cs.AI cs.LG
Self-Supervised GANs with Label Augmentation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
最近,基于变换的自监督学习已被应用于生成对抗网络(GANs),以通过引入静态学习环境来减轻网络中的灾难性遗忘。然而,在现有的自监督GANs中,单独的自监督任务会导致与生成建模不一致的目标,因为它们的自监督分类器对生成器分布是不可知的。为了解决这个问题,我们提出了一种新的自监督GAN,它通过自监督数据转换来增强GAN标签(真实或虚假),从而将GAN任务与自监督任务相结合。具体地说,原始的分类器和自监督分类器被统一成一个标签增强的分类器,该分类器预测增强的标签在每次变换下都知道生成器分布和数据分布,然后提供它们之间的差异以优化生成器。从理论上证明了最优生成器能够收敛到真实的数据分布。从经验上讲,我们表明,所提出的方法在基准数据集上的生成建模和表示学习方面都显着优于以前的自监督和数据增强GANs。
2022-01-15 cs.CV cs.LG
Association: Remind Your GAN not to Forget
Shanghai Jiao Tong University(上海交通大学);Texas A&M University(德克萨斯农工大学);McGill University(麦吉尔大学)
神经网络易受灾难性遗忘的影响。他们在适应新任务时不能保留以前获得的知识。受人类联想记忆系统的启发,我们提出了一种模仿联想学习过程实现持续学习的类脑方法。我们设计了一种启发式机制来潜在地激励模型,引导模型根据当前环境和获得的联想经验回忆历史情节。此外,该算法还引入了一个蒸馏测度,以降低突触传递的效率,从而抑制了对新任务的特征重构学习。该框架由增强和抑制刺激介导,在指导突触和行为可塑性方面发挥相反的作用。它不需要访问原始数据,更接近人类的认知过程。实验结果表明,该方法在减轻图像到图像翻译任务中的灾难性遗忘方面是有效的。
2021-03-25 cs.CV
Prototypical quadruplet for few-shot class incremental learning
Indian Institute of Technology Bombay(印度理工学院孟买分校)
针对少样本类增量学习中的数据稀缺和灾难性遗忘问题,提出使用改进对比损失和更新类原型的方法,在保持嵌入空间完整的同时提升分类准确性,优于现有最先进算法。
2023-04-08 cs.CV cs.LG
Incremental Concept Learning via Online Generative Memory Recall
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
随着时间的推移,从逐渐到达的数据中学习越来越多的概念的能力对于终身学习系统的开发至关重要。然而,深度神经网络在不断学习新概念时,经常会忘记先前学习的概念,这被称为灾难性遗忘问题。灾难性遗忘的主要原因是过去的概念数据不可用,神经网络的权重在增量学习新概念的过程中发生了变化。在本文中,我们提出了一个伪排练类增量学习方法,使神经网络能够不断学习新的概念。我们使用一个条件生成对抗网络来巩固旧概念的记忆,并在学习新概念的过程中回忆伪样本,一个平衡的在线记忆回忆策略是最大限度地保持旧记忆。设计了一个可理解的增量式概念学习网络和概念对比损失来减轻神经网络权值变化的幅度。我们评估所提出的方法MNIST,时尚MNIST和SVHN数据集,并与其他排练为基础的方法进行比较。大量的实验证明了我们的方法的有效性。
2019-07-05 cs.CV cs.LG
Self-supervised GAN: Analysis and Improvement with Multi-class Minimax Game
Singapore University of Technology and Design (SUTD)(新加坡科技设计大学)
自监督(SS)学习是一种使用未标记数据进行表示学习的强大方法。最近,它已被应用于生成对抗网络(GAN)训练。具体而言,SS任务被提出来解决GAN中的灾难性遗忘问题。在这项工作中,我们进行了深入的分析,以了解SS任务如何与生成器的学习相互作用。从分析中,我们确定的SS任务,允许严重模式崩溃的发电机优于SS任务的问题。为了解决这些问题,我们提出了基于多类极大极小博弈的新SS任务。我们提出的SS任务在游戏中的竞争鼓励生成器学习数据分布并生成不同的样本。我们提供了理论和实证分析,以支持我们提出的SS任务有更好的收敛性能。我们进行实验,将我们提出的SS任务到两个不同的GAN基线模型。我们的方法在CIFAR-10,CIFAR-100,STL-10,CelebA,Imagenet $32\times32$和Stacked-MNIST数据集上建立了最先进的FID分数,在某些情况下,其表现远远优于现有的作品。我们的无条件GAN模型在不使用标记数据的情况下接近条件GAN的性能。我们的代码:https://github.com/tntrung/msgan
2020-01-08 cs.CV cs.LG
Sculpting Memory: Multi-Concept Forgetting in Diffusion Models via Dynamic Mask and Concept-Aware Optimization
Clemson University(克莱姆森大学);University of Tulsa(塔尔萨大学)
针对扩散模型多概念遗忘中的不稳定与质量下降问题,提出结合动态掩码与概念感知损失的新型遗忘框架,通过自适应梯度掩码和知识蒸馏正则化实现稳定高保真的多概念遗忘。
2025-06-28 cs.AI cs.CV cs.LG
Class Balancing GAN with a Classifier in the Loop
Indian Institute of Science(印度科学学院);Indian Institute of Technology Tirupati(蒂鲁伯蒂印度理工学院)
生成对抗网络(GANs)已经迅速发展,以模仿日益复杂的图像分布。然而,大多数发展都集中在平衡数据集上的GANs性能。我们发现,现有的GANs及其训练机制在平衡数据集上工作良好,但在不平衡(即长尾)数据集的情况下无效。在这项工作中,我们介绍了一种新的理论激励类平衡正则化训练GANs。我们的正则化器利用来自预训练分类器的知识来确保数据集中所有类的均衡学习。这是通过基于神经网络中观察到的指数遗忘对有效类频率进行建模并鼓励GAN专注于代表性不足的类来实现的。我们证明了我们的正则化器在学习长尾分布表示中的实用性,通过在多个数据集上实现比现有方法更好的性能。具体而言,当应用于无条件GAN时,它将长尾iNaturalist-$2019$数据集上的FID从$13.03$改进为$9.01$。
2021-06-17 cs.AI cs.CV cs.LG
Memory-efficient GAN-based Domain Translation of High Resolution 3D Medical Images
University of Lübeck(吕贝克大学)
生成对抗网络(GANs)目前很少应用于大尺寸的3D医学图像,由于其巨大的计算需求。本工作提出了一种基于多尺度块的GAN方法,用于通过以存储高效的方式生成高分辨率的3D医学图像体积来建立不成对域平移。实现内存高效图像生成的关键思想是首先生成图像的低分辨率版本,然后生成大小不变但分辨率不断增加的补丁。为了避免补丁文物,并纳入全球信息,补丁生成的条件是补丁从以前的分辨率尺度。这些多尺度GANs经过训练,可以从图像草图生成逼真的图像,以便执行不成对的域翻译。这允许保留测试数据的拓扑并生成训练域数据的外观。在尺寸为155x240x240的脑部MRI和尺寸高达512x512x512的胸部CT上执行域平移场景的评价。与常见的基于补丁的方法相比,多分辨率方案能够实现更好的图像质量并防止补丁伪影。此外,它还确保了与图像大小无关的恒定GPU内存需求,允许生成任意大的图像。
2020-10-06 cs.CV cs.LG eess.IV
Reversible GANs for Memory-efficient Image-to-Image Translation
University of Amsterdam(阿姆斯特丹大学)
Pix2pix和CycleGAN的损失极大地改善了图像到图像翻译任务结果的定性和定量视觉质量。我们通过探索非常适合这些损失的近似可逆的架构来扩展这个框架。这些架构在设计上是近似可逆的,因此在训练开始之前就部分满足了周期一致性。此外,由于可逆架构在深度上具有恒定的内存复杂度,因此这些模型可以构建任意深度。我们能够在Cityscapes和Maps数据集上以接近恒定的内存预算展示卓越的定量输出。
2019-02-07 cs.CV
Memorization Precedes Generation: Learning Unsupervised GANs with Memory Networks
Seoul National University(首尔国立大学)
我们提出了一种方法来解决在无监督GANs训练过程中经常出现的两个问题。首先,由于GANs仅使用连续的潜在分布来嵌入多个数据类或数据簇,因此它们通常无法正确处理潜在空间中不同类之间的结构不连续性。其次,GANs的鉴别器很容易忘记生成器过去生成的样本,从而在对抗训练期间引起不稳定。我们认为,无监督GAN训练的这两个臭名昭著的问题可以通过生成器和鉴别器都可以访问的可学习记忆网络在很大程度上缓解。生成器可以有效地学习训练样本的表示,以理解数据的潜在聚类分布,从而缓解结构不连续性问题。同时,鉴别器可以更好地记住先前生成的样本的聚类,这减轻了遗忘问题。我们提出了一种新的端到端的GAN模型命名为memoryGAN,它涉及一个记忆网络,是unsupervisedly可训练和集成到许多现有的GAN模型。通过对Fashion-MNIST,CelebA,CIFAR 10和Chairs等多个数据集的评估,我们表明我们的模型是概率可解释的,并生成具有高视觉保真度的逼真图像样本。memoryGAN还在CIFAR 10数据集上实现了无监督GAN模型的最新初始得分,没有任何优化技巧和较弱的分歧。
2018-03-10 cs.LG stat.ML
Adma-GAN: Attribute-Driven Memory Augmented GANs for Text-to-Image Generation
Zhejiang University(浙江大学);Youtu Lab, Tencent(腾讯优图实验室);Shanghai AI Laboratory(上海人工智能实验室)
文本到图像生成是一项具有挑战性的任务,其目标是根据给定的文本描述生成具有照片般真实感和语义一致的图像。现有的方法主要是从一个句子中提取文本信息来表示图像,文本的表示方式对生成图像的质量有很大的影响。然而,直接利用一句话中的有限信息,会遗漏一些关键属性描述,而这些关键属性描述是准确描述图像的关键因素。针对上述问题,本文提出了一种有效的文本表示方法。首先,我们建立一个属性记忆体,以共同控制文字到图像的生成与句子输入。其次,我们探讨了两种更新机制,样本感知和样本联合机制,动态优化广义属性记忆。此外,我们设计了一个属性-句子-联合条件生成器学习方案来对齐多个表示之间的特征嵌入,这促进了跨模态网络的训练。实验结果表明,该方法在CUB(FID从14.81到8.57)和COCO(FID从21.42到12.39)数据集上都获得了显著的性能改善。
2022-09-28 cs.CV
Memory Efficient Patch-based Training for INR-based GANs
NAVER AI Lab(NAVER人工智能实验室);Seoul National University(首尔国立大学)
最近的研究表明,基于隐式神经表示(INR)的GANs取得了显着进展-这是一种MLP,在给定其(x,y)坐标的情况下产生RGB值。它们将图像表示为基础2D信号的连续版本,而不是2D像素阵列,这为GAN应用开辟了新的视野(例如,zero-shot超分辨率、图像外绘)。然而,训练现有方法需要与图像分辨率成比例的大量计算成本,因为它们为每个(x,y)坐标计算MLP操作。为了缓解这个问题,我们提出了一个多阶段的基于补丁的训练,一种新颖的和可扩展的方法,可以训练基于INR的GANs与灵活的计算成本,无论图像分辨率。具体来说,我们的方法允许通过补丁来生成和区分,以学习图像的局部细节,并通过新的重建损失来学习全局结构信息,从而实现高效的GAN训练。我们在几个基准数据集上进行实验,以证明我们的方法增强了GPU内存中的基线模型,同时将FID保持在合理的水平。
2022-07-09 cs.CV
FakeCLR: Exploring Contrastive Learning for Solving Latent Discontinuity in Data-Efficient GANs
University of Science and Technology of China(中国科学技术大学);JD Explore Academy(京东探索研究院);The University of Sydney(悉尼大学)
数据高效GANs(DE-GANs)旨在利用有限的训练数据学习生成模型,在生成高质量样本方面遇到了一些挑战。由于数据增强策略在很大程度上缓解了训练的不稳定性,如何进一步提高DE-GAN的生成性能成为研究热点。近年来,对比学习在提高DE-GAN的综合质量方面显示出巨大的潜力,但相关的原理还没有得到很好的探索。本文回顾和比较了DE-GAN中不同的对比学习策略,发现(i)当前生成性能的瓶颈是潜在空间的不连续性;(ii)与其他对比学习策略相比,实例扰动法更倾向于潜在空间的连续性,这给DE-GAN带来了重大改进。基于这些观察,我们提出了FakeObserver,它只对扰动的假样本进行对比学习,并设计了三种相关的训练技术:噪声相关的潜在增强,多样性感知队列和队列的遗忘因子。我们的实验结果表明,新的艺术状态的Few-Shot生成和有限的数据生成。在多个数据集上,与现有的DE-GAN相比,Faketown获得了超过15%的FID改进。代码可在https://github.com/iceli1007/FakeCLR上获得。
2022-07-19 cs.AI cs.CV cs.LG
InfoMax-GAN: Improved Adversarial Image Generation via Information Maximization and Contrastive Learning
University of Cambridge(剑桥大学);Snap Inc.(Snap公司);Singapore University of Technology and Design(新加坡科技设计大学)
虽然生成对抗网络(GANs)是许多生成建模应用的基础,但它们存在许多问题。在这项工作中,我们提出了一个原则性的框架,以同时减轻GANs中的两个基本问题:灾难性遗忘的发生器和模式坍塌。我们通过为GANs采用对比学习和互信息最大化方法来实现这一点,并进行广泛的分析以了解改进的来源。我们的方法显着稳定了GAN训练,并提高了GAN在相同的训练和评估条件下对最先进的作品进行图像合成的性能。特别是,与最先进的SSGAN相比,我们的方法不会在人脸等图像域上表现较差,反而显著提高了性能。我们的方法实现简单且实用:它只涉及一个辅助目标,计算成本低,并且在广泛的训练设置和数据集上表现稳健,无需任何超参数调整。为了重现性,我们的代码可以在Mimicry中找到:https://github.com/kwotsin/mimicry。
2020-11-22 cs.CV cs.LG stat.ML
MFAGAN: A Compression Framework for Memory-Efficient On-Device Super-Resolution GAN
City University of Hong Kong(香港城市大学);Donghua University(东华大学);Tencent Computer System Co., Ltd.(腾讯计算机系统有限公司);The University of Sydney(悉尼大学)
生成对抗网络(GANs)通过恢复照片级逼真的图像,促进了单图像超分辨率(SR)的显着进步。然而,基于GAN的SR(通常是发电机)的高内存消耗导致性能下降和更多的能量消耗,阻碍了基于GAN的SR部署到资源受限的移动设备。本文提出了一种新的压缩框架\textbf{M}--基于\textbf{GAN}的多尺度\textbf{F}特征\textbf{A}聚集网(MFAGAN),以减少生成器的存储器访问开销。首先,为了克服密集连接的内存爆炸,我们利用内存高效的多尺度特征聚合网络作为生成器。其次,为了更快更稳定的训练,我们的方法引入了PatchGAN训练器。第三,为了平衡student函数和压缩生成器,我们同时提取生成器和函数。最后,我们执行硬件感知神经架构搜索(NAS),为目标手机找到一个专门的SubGenerator。受益于这些改进,建议MFAGAN实现高达\textbf{8.3} $\times$内存节省和\textbf{42.9} $\times$计算减少,只有轻微的视觉质量下降,与ESRGAN相比。实证研究还显示,$\sim$ \textbf{70}在高通骁龙865芯片组上的延迟为毫秒级。
2021-07-27 cs.AR cs.LG
T-GD: Transferable GAN-generated Images Detection Framework
Sungkyunkwan University(成均馆大学)
生成对抗网络(GANs)的最新进展使得能够生成高度逼真的图像,这引起了人们对它们被滥用于恶意目的的担忧。检测这些GAN生成的图像(GAN图像)变得越来越具有挑战性,因为底层伪影和特定模式的显着减少。缺乏这种痕迹可能会阻碍检测算法识别GAN图像并转移知识以识别其他类型的GAN图像。在这项工作中,我们提出了可转移的GAN图像检测框架T-GD,这是一个强大的可转移框架,用于有效检测GAN图像。T-GD由教师和学生模型组成,可以迭代地相互教学和评估,以提高检测性能。首先,我们在源数据集上训练教师模型,并将其用作学习目标数据集的起点。为了训练学生模型,我们通过混合源数据集和目标数据集来注入噪声,同时约束权重变化以保持起点。我们的方法是一种自训练方法,但通过专注于提高GAN图像检测的可转移性,将其与现有方法区分开来。T-GD通过克服灾难性遗忘并有效地检测最先进的GAN图像来实现源数据集的高性能,这些图像只有少量数据而没有任何元数据信息。
2020-08-10 cs.CV
DM-GAN: Dynamic Memory Generative Adversarial Networks for Text-to-Image Synthesis
State Key Lab of CAD&CG, Zhejiang University(浙江大学CAD&CG国家重点实验室);Centre for Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);Baidu Research(百度研究院)
在本文中,我们专注于从文本描述生成逼真的图像。现有的方法首先生成一幅形状和颜色都比较粗糙的初始图像,然后对初始图像进行细化,得到高分辨率的图像。大多数现有的文本到图像的合成方法有两个主要问题。(1)这些方法在很大程度上依赖于初始图像的质量。如果初始图像没有很好地初始化,则以下过程很难将图像细化到令人满意的质量。(2)每个单词在描绘不同的图像内容时贡献不同的重要性水平,然而,在现有的图像细化过程中使用不变的文本表示。在本文中,我们提出了动态记忆生成对抗网络(DM-GAN)来生成高质量的图像。该方法引入动态记忆模块,在初始图像生成不充分的情况下,对模糊图像内容进行细化。设计了一个存储器写入门,根据初始图像内容选择重要的文本信息,使我们的方法能够准确地从文本描述中生成图像。我们还利用一个响应门,自适应地融合从存储器中读取的信息和图像特征。我们在Caltech-UCSD Birds 200数据集和Microsoft Common Objects in Context数据集上评估了DM-GAN模型。实验结果表明,我们的DM-GAN模型对最先进的方法表现良好。
2019-04-02 cs.CV
Train Sparsely, Generate Densely: Memory-efficient Unsupervised Training of High-resolution Temporal GAN
在视频数据集上训练生成对抗网络(GAN)是一个挑战,因为数据集的庞大规模和每个观察的复杂性。一般来说,训练GAN的计算成本与分辨率呈指数关系。在这项研究中,我们提出了一种新的内存有效的方法无监督学习的高分辨率视频数据集的计算成本仅与分辨率成线性比例。我们通过将生成器模型设计为一堆小型子生成器并以特定方式训练模型来实现这一点。我们用每个子生成器自己的特定参数来训练每个子生成器。在训练时,我们在每对连续的子生成器之间引入一个辅助子采样层,该层将帧速率降低一定比例。该过程可以允许每个子生成器学习视频在不同分辨率水平下的分布。我们也只需要几个GPU就可以训练一个高度复杂的生成器,它在初始得分方面远远超过了前代产品。
2020-06-01 cs.CV
Memory-Efficient 3D High-Resolution Medical Image Synthesis Using CRF-Guided GANs
Politecnico di Milano(米兰理工大学);IULM University(IULM大学)
本文提出一种 CRF 引导的端到端 3D GAN 架构,通过拆分生成器并在中间表示上建模相关性,在低内存下训练并于推理时生成完整高分辨率医学图像,且在肺部 CT 与脑部 MRI 上优于现有方法。
2025-03-13 cs.CV
Recurrent Relational Memory Network for Unsupervised Image Captioning
Hefei University of Technology(合肥工业大学)
无注释的无监督图像描述是计算机视觉中的新兴挑战,其中现有技术通常采用GAN(生成对抗网络)模型。在本文中,我们提出了一种新的基于记忆的网络,而不是GAN,命名为循环关系记忆网络($R^2M$)。与复杂而敏感的对抗性学习对长句生成的非理想表现不同,$R^2M$通过两阶段记忆机制实现了概念到句子的记忆翻译器:融合记忆和递归记忆,将常见视觉概念与生成的单词之间的关系推理长时间关联起来。$R^2M$通过对图像的无监督训练来编码视觉上下文,同时使记忆能够通过有监督的方式从不相关的文本语料库中学习。与基于GAN的方法相比,我们的解决方案具有更少的可学习参数和更高的计算效率,这严重影响了参数敏感性。我们在所有基准数据集上通过实验验证了$R^2M$比最先进的方法的优越性。
2020-06-24 cs.CV
Memory-Efficient Super-Resolution of 3D Micro-CT Images Using Octree-Based GANs: Enhancing Resolution and Segmentation Accuracy
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学);Aramco(沙特阿美公司)
提出基于八叉树GAN的内存高效3D超分辨率方法,实现16倍分辨率提升并纠正微CT分割误差,在Berea砂岩上验证了孔隙表征与矿物区分性能的显著改进。
2025-05-24 cs.CV cs.LG eess.IV
Comparative clinical evaluation of "memory-efficient" synthetic 3d generative adversarial networks (gan) head-to-head to state of art: results on computed tomography of the chest
Politecnico di Milano(米兰理工大学);Fondazione IRCCS Policlinico San Matteo Pavia(圣马泰奥基金会IRCCS帕维亚医院);Università degli studi di Pavia(帕维亚大学);IULM University(IULM大学)
本研究提出内存高效的CRF-GAN,通过集成条件随机场提升三维医学图像合成质量,在胸部CT上以更低FID/MMD、更低内存和更快训练速度优于HA-GAN,并经放射科医生评估确认其临床适用潜力。
2025-04-20 cs.AI cs.CV eess.IV
Lifelong Twin Generative Adversarial Networks
University of York(约克大学)
在本文中,我们提出了一种新的连续学习生成模型,称为终身孪生生成对抗网络(LT-GANs)。LT-GAN从多个数据库中学习一系列任务,其架构由三个组件组成:两个相同的生成器,即教师和助理,以及一个判别器。为了让LT-GAN学习新概念而不会忘记,我们引入了一种新的终身培训方法,即终身对抗性知识蒸馏(LAKD),它鼓励教师和助理在学习新数据库的同时相互交替教学。这种训练方法有利于将知识从一个更有知识的玩家转移到另一个对先前给定任务了解较少的玩家。
2021-07-09 cs.AI cs.CV
Incremental Classifier Learning with Generative Adversarial Networks
Northeastern University(东北大学);Microsoft Research(微软研究院);City University of New York(纽约城市大学)
在本文中,我们解决了增量分类器学习问题,遭受灾难性遗忘。灾难性遗忘的主要原因是在学习过程中过去的数据不可用。典型的方法保留一些过去类的样本,并使用蒸馏正则化来保持对过去类的分类能力,并平衡过去和新的类。然而,这些方法存在四个主要问题。首先,损失函数对于分类是无效的。第二,新旧阶级之间存在着不平衡的问题。第三,预先决定的样本的大小通常是有限的,它们可能无法与看不见的新类区分开来。第四,由于隐私法规,样本可能不允许长时间保存。为了解决这些问题,我们提出了(a)一个新的损失函数来结合交叉熵损失和蒸馏损失,(b)一种简单的方法来估计和消除新旧类别之间的不平衡,以及(c)使用生成对抗网络(GANs)来生成历史数据并在生成过程中选择代表性样本。我们认为,GANs生成的数据比真实图像的隐私问题要少得多,因为GANs不会直接复制任何真实图像补丁。我们在CIFAR-100,Flower-102和MS-Celeb-1 M-Base数据集上对所提出的方法进行了评估,大量的实验证明了我们方法的有效性。
2018-02-02 cs.CV
Hierarchical Amortized Training for Memory-efficient High Resolution 3D GAN
University of Pittsburgh(匹兹堡大学);The University of Melbourne(墨尔本大学)
生成对抗网络(GAN)具有许多潜在的医学成像应用,包括数据增强,域自适应和模型解释。由于图形处理单元(GPU)的内存有限,目前大多数3D GAN模型都是在低分辨率医学图像上训练的,这些模型要么不能扩展到高分辨率,要么容易出现斑块状伪影。在这项工作中,我们提出了一种新的端到端的GAN架构,可以生成高分辨率的3D图像。我们通过在训练和推理之间使用不同的配置来实现这一目标。在训练过程中,我们采用分层结构,同时生成图像的低分辨率版本和随机选择的高分辨率图像的子体积。分层设计有两个优点:首先,在高分辨率图像上训练的存储器需求在子卷之间分摊。此外,将高分辨率子体积锚定到单个低分辨率图像确保子体积之间的解剖一致性。在推理过程中,我们的模型可以直接生成完整的高分辨率图像。我们还将一个编码器与一个类似的分层结构的模型,从图像中提取特征。在3D胸部CT和脑部MRI上的实验表明,我们的方法在图像生成方面优于现有技术。我们还展示了所提出的模型在数据增强和临床相关特征提取中的临床应用。
2022-09-12 cs.CV eess.IV
Exploring DeshuffleGANs in Self-Supervised Generative Adversarial Networks
Istanbul Technical University(伊斯坦布尔理工大学)
生成对抗网络(GANs)已成为解决图像生成问题最常用的网络。自监督GANs后来被提出,以避免灾难性遗忘的图像生成,并提高图像生成质量,而不需要类标签。然而,自监督任务在不同GAN架构上的可推广性尚未研究。为此,我们广泛分析了先前提出的自我监督任务的贡献,即在泛化背景下对DeshuffleGAN进行洗牌。我们将去混洗任务分配给两个不同的GAN鉴别器,并研究任务对两种架构的影响。与先前提出的DeshuffleGAN相比,我们在各种数据集上扩展了评估。我们表明,与其他自监督GANs相比,DeshuffleGAN在几个数据集上获得了最佳的FID结果。此外,我们比较了去混洗与旋转预测,首先部署到GAN训练,并证明其贡献超过旋转预测。我们设计了条件DeshuffleGAN,称为cDeshuffleGAN,以评估学习表示的质量。最后,我们展示了自我监督任务对GAN损失景观训练的贡献,并提出在某些情况下,这些任务的效果可能与对抗训练不合作。我们的代码可以在https://github.com/gulcinbaykal/DeshuffleGAN上找到。
2021-09-01 cs.CV
GANGs: Generative Adversarial Network Games
University of Liverpool(利物浦大学);University of Amsterdam(阿姆斯特丹大学);IMC Financial Markets(IMC金融市场);The University of Sheffield(谢菲尔德大学)
生成对抗网络(GAN)已成为无监督生成建模最成功的框架之一。由于GANs很难训练,许多研究都集中在这方面。然而,这方面的研究很少直接利用博弈论技术。我们引入生成对抗网络游戏(GANG),它明确地模拟了使用混合策略的生成器($G$)和分类器($C$)之间的有限零和游戏。这些游戏的大小排除了精确的解决方法,因此,我们定义资源有限的最佳对策(RBBR),和资源有限的纳什均衡(RB-NE)作为一对混合策略,使$G$或$C$都不能找到一个更好的RBBR。RB-NE解决方案的概念比“局部纳什均衡”的概念更丰富,因为它不仅捕获了梯度下降逃避局部最优的失败,而且适用于任何近似的最佳响应计算,包括随机重新启动的方法。为了验证我们的方法,我们解决GANG与并行纳什记忆算法,可证明单调收敛到RB-NE。我们将我们的结果与标准的GAN设置进行比较,并证明我们的方法可以很好地处理典型的GAN问题,如模式崩溃,部分模式覆盖和遗忘。
2017-12-17 cs.GT cs.LG stat.ML
Forgetting to Witness: Efficient Federated Unlearning and Its Visible Evaluation
School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出首个完整联邦去学习流程,通过高效方法和可视化框架评估模型遗忘能力,无需存储历史数据。
2026-04-06 cs.CR cs.LG
GradMA: A Gradient-Memory-based Accelerated Federated Learning with Alleviated Catastrophic Forgetting
East China Normal University(华东师范大学)
联邦学习(FL)已经成为一个事实上的机器学习领域,并受到了社会各界迅速增长的研究兴趣。然而,由于数据的异质性和部分参与所导致的灾难性遗忘对外语学习提出了独特的挑战,这对外语学习的性能是不利的。为了解决这些问题,我们提出了一种新的FL方法(即GradMA),它从持续学习的灵感,同时纠正服务器端和工人端的更新方向,以及充分利用服务器的丰富的计算和内存资源。此外,我们制定了一个内存减少策略,使GradMA,以适应FL与大规模的工人。然后,我们分析了GradMA的收敛性理论下的光滑非凸设置,并表明其收敛速度达到一个线性的速度w.r.t增加采样的活跃工人的数量。最后,我们在各种图像分类任务上的大量实验表明,与SOTA基线相比,GradMA在准确性和通信效率方面实现了显着的性能提升。
2023-03-15 cs.CV cs.LG
Dynamic memory to alleviate catastrophic forgetting in continuous learning settings
Medical University of Vienna(维也纳医科大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
在医学成像中,技术进步或诊断程序的变化导致图像外观的连续变化。扫描仪制造商、重建内核、剂量、其他协议特定设置或造影剂的管理是独立于扫描生物学影响图像内容的示例。这种领域和任务转移通过使模型随着时间的推移而过时,限制了机器学习算法在临床常规中的适用性。在这里,我们解决的问题,在连续学习的情况下,通过调整模型,以看不见的变化,在源域,同时抵消灾难性遗忘的影响。我们的方法使用一个动态的记忆,以促进排练的不同训练数据子集,以减轻遗忘。我们评估了我们的方法在两种不同的扫描仪协议和合成分类任务获得的常规临床CT数据。实验表明,动态记忆计数器灾难性遗忘在设置与多个数据移位,而不需要明确的知识,当这些移位发生。
2020-07-07 cs.CV cs.LG stat.ML
Preventing Catastrophic Forgetting through Memory Networks in Continuous Detection
University of British Columbia(不列颠哥伦比亚大学);The Vector Institute for AI(矢量人工智能研究所)
针对连续微调下检测模型的灾难性遗忘及背景降级问题,提出带局部化查询的记忆型DETR架构,在MS-COCO等基准上较现有最优方法提升5-7%。
2024-07-15 cs.CV cs.LG
More Than Memory Savings: Zeroth-Order Optimization Mitigates Forgetting in Continual Learning
本文提出ZO-FC方法,通过零阶优化在持续学习中平衡稳定性与可塑性,实现高效且内存友好的解决方案。
2026-03-12 cs.CV cs.LG
Adversarially Diversified Rehearsal Memory (ADRM): Mitigating Memory Overfitting Challenge in Continual Learning
Rowan University(罗文大学);Moffitt Cancer Center(莫菲特癌症中心)
针对持续学习回放方法的记忆过拟合问题,本文提出ADRM,利用FGSM生成对抗性记忆样本以增强缓冲区多样性与抗噪性,并通过特征分析和t-SNE验证其可缓解特征漂移与灾难性遗忘。
2024-05-20 cs.CV cs.LG
Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token
Yonsei University College of Medicine(延世大学医学院)
提出一种基于视觉变换器架构、利用任务特定令牌封装任务知识的方法,在不存储旧数据的情况下减少增量学习中的灾难性遗忘,并在基准测试中取得最优准确率和最低反向迁移。
2024-11-06 cs.CV cs.LG
Novel Memory Forgetting Techniques for Autonomous AI Agents: Balancing Relevance and Efficiency
本文提出一种自适应预算遗忘框架,通过相关性引导评分和有界优化,提升长周期对话任务的F1分数和记忆一致性,减少虚假记忆。
2026-04-02 cs.AI cs.CV
A Memory Transformer Network for Incremental Learning
Google Research(谷歌研究院);University College London(伦敦大学学院)
我们研究了类增量学习,这是一种训练设置,其中随着时间的推移观察新的数据类,以便模型从中学习。尽管简单的问题制定,天真的分类模型的应用,类增量学习的结果在“灾难性遗忘“以前看到的类。最成功的现有方法之一是使用样本的存储器,其通过将过去数据的子集保存到存储体中并在训练未来任务时利用它来防止遗忘,从而克服了灾难性遗忘的问题。在我们的论文中,我们建议提高这个存储体的利用率:我们不仅使用它作为额外的训练数据的来源,像现有的作品,但也集成在预测过程中明确。我们的方法,记忆Transformer网络(MTN),学习如何结合和聚合的信息,从最近的邻居在内存中的Transformer,使更准确的预测。我们进行了大量的实验和消融来评估我们的方法。我们证明了MTN在具有挑战性的ImageNet-1 k和Google-Landmarks-1 k增量学习基准测试中达到了最先进的性能。
2022-10-10 cs.CV cs.LG
Multimodal Task Representation Memory Bank vs. Catastrophic Forgetting in Anomaly Detection
针对无监督连续异常检测中多任务表示不完整和灾难性遗忘问题,提出含KPMK机制与RSCL的MTRMB方法,在MVtec AD和VisA数据集上以最低遗忘率获0.921平均检测精度,显著优于现有方法。
2025-02-10 cs.CV
ZeroFlow: Overcoming Catastrophic Forgetting is Easier than You Think
ZeroFlow
ZeroFlow 提出首个无梯度优化基准,证明仅靠前向传播即可缓解持续学习中的灾难性遗忘,并给出改进策略。
2025-06-06 cs.CV cs.LG
Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting
UC Berkeley(加州大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
持续学习的目标是在不遭受灾难性遗忘现象的情况下学习一系列任务。以前的工作表明,以重放缓冲区的形式利用内存可以减少先前任务的性能下降。我们假设,当模型被鼓励记住之前做出的决定的\textit{evidence}时,遗忘可以进一步减少。作为探索这一假设的第一步,我们提出了一种简单的新训练范式,称为“记住正确的原因”(RRR),它还将每个示例的视觉模型解释存储在缓冲区中,并通过鼓励其解释与训练时用于决策的解释保持一致来确保模型具有“正确的原因”。如果没有这个约束,在传统的持续学习算法学习新任务时,解释会发生漂移,遗忘会增加。我们演示了如何将RRR轻松添加到任何基于记忆或正则化的方法中,并减少遗忘,更重要的是,改进模型解释。我们在标准和Few-Shot设置中评估了我们的方法,并观察到使用不同架构和技术来生成模型解释的各种CL方法的一致改进,并展示了我们的方法,该方法显示了可解释性和持续学习之间有希望的联系。我们的代码可在\url{https://github.com/SaynaEbrahimi/Remembering-for-the-Right-Reasons}上找到。
2021-05-03 cs.AI cs.CV cs.LG
Breaking the Model Forgetting Cycle in Long-Incremental 3D Object Detection
Singapore University of Technology and Design(新加坡科技设计大学);Institute for Infocomm Research, A*STAR(资讯通信研究院,新加坡科技研究局)
针对长增量3D目标检测中模型易遗忘问题,提出LDMR框架,通过监测训练检查点的类检测质量,驱动类人阶段内回顾和场景感知跨阶段记忆进化机制,有效减轻模型遗忘,性能优于基线。
2026-07-17 cs.CV
Memory-Based Label-Text Tuning for Few-Shot Class-Incremental Learning
University of Chinese Academy of Sciences(中国科学院大学);Peking University(北京大学);Huawei Technologies(华为技术有限公司);Tsinghua University(清华大学);Chinese Academy of Sciences(中国科学院)
Few-Shot类增量学习(FSCIL)专注于设计学习算法,该算法可以从少量样本中连续学习一系列新任务,而不会忘记旧任务。困难在于,对来自新任务的有限数据序列进行训练会导致严重的过拟合问题,并导致众所周知的灾难性遗忘问题。现有的研究主要是利用图像信息,如存储先前任务的图像知识或限制分类器更新。然而,他们忽略了分析类标签的信息量和噪声较小的文本信息。在这项工作中,我们建议通过采用记忆提示来利用标签文本信息。记忆提示可以顺序地学习新的数据,同时存储以前的知识。此外,为了在不破坏存储知识的情况下优化记忆提示,我们提出了一种基于刺激的训练策略。它根据图像嵌入刺激,即图像嵌入元素的分布来优化记忆提示。实验表明,我们提出的方法优于所有现有的国家的最先进的方法,显着减轻灾难性遗忘和过拟合问题。
2022-07-03 cs.CV
Pseudo-Rehearsal: Achieving Deep Reinforcement Learning without Catastrophic Forgetting
University of Otago(奥塔哥大学)
神经网络可以在各种各样的应用中取得优异的结果。然而,当他们试图顺序学习时,他们往往会学习新的任务,而灾难性地忘记以前的任务。我们提出了一个模型,克服了灾难性遗忘顺序强化学习的图像分类域和强化学习域的持续学习相结合的想法。该模型具有双重记忆系统,该系统将持续学习与强化学习分开,以及伪排练系统,该系统通过深度生成网络“回忆”代表先前任务的项目。我们的模型顺序学习雅达利2600游戏,而没有表现出灾难性遗忘,并继续在所有三个游戏上表现出高于人类的水平。实现这一结果无需:随着任务数量的增加,需要额外的存储要求,存储原始数据或重新访问过去的任务。相比之下,以前最先进的解决方案更容易忘记这些复杂的深度强化学习任务。
2020-12-16 cs.AI cs.CV cs.LG
Learning to Imagine: Diversify Memory for Incremental Learning using Unlabeled Data
Sun Yat-sen University(中山大学);Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education(教育部机器智能与先进计算重点实验室);Peng Cheng Laboratory(鹏城实验室)
深度神经网络(DNN)在增量式学习时存在灾难性遗忘,极大地限制了其应用。虽然保持少量的样本(称为“样本”)的每个任务可以减轻遗忘在一定程度上,现有的方法仍然是有限的样本数量少,因为这些样本太少,携带足够的特定于任务的知识,因此遗忘仍然存在。为了克服这个问题,我们建议“想象”不同的同行给定的例子指的是丰富的语义无关的信息从未标记的数据。具体来说,我们开发了一个可学习的特征生成器,通过自适应地生成不同的对应样本的样本的语义信息和语义无关的信息从未标记的数据的基础上多样化的样本。我们引入语义对比学习来强制生成的样本与范例语义一致,并执行语义解耦对比学习来鼓励生成的样本的多样性。不同的生成样本可以有效地防止DNN在学习新任务时忘记。我们的方法不会带来任何额外的推理成本,并且在两个基准CIFAR-100和ImageNet-Subset上的性能明显优于最先进的方法。
2022-04-19 cs.CV
Lifelong 3D Object Recognition and Grasp Synthesis Using Dual Memory Recurrent Self-Organization Networks
University of Groningen(格罗宁根大学)
人类在终身的环境中学习识别和操纵新物体,而不会忘记在非平稳和连续条件下先前获得的知识。在自治系统中,智能体还需要减轻类似的行为,以不断学习新的对象类别并适应新的环境。在大多数传统的深度神经网络中,由于灾难性遗忘的问题,这是不可能的,新获得的知识会覆盖现有的表示。此外,大多数最先进的模型在识别物体或抓握预测方面都很出色,而这两项任务都使用视觉输入。处理这两项任务的组合架构非常有限。在本文中,我们提出了一种混合模型架构,包括一个动态增长的双记忆递归神经网络(GDM)和一个自动编码器,以解决对象识别和抓取同时进行。自动编码器网络负责为给定的对象提取一个紧凑的表示,作为GDM学习的输入,并负责预测逐像素对跖抓取配置。GDM部分被设计为在实例和类别级别上识别对象。我们使用内在记忆重放来解决灾难性遗忘的问题,其中情景记忆在没有外部感觉信息的情况下周期性地重放神经激活轨迹。为了在终身环境中广泛评估所提出的模型,由于缺乏连续的3D对象数据集,我们生成了一个合成数据集。实验结果表明,该模型可以在持续学习的场景中同时学习物体表征和抓取。
2022-01-23 cs.CV cs.LG cs.RO
Reducing Catastrophic Forgetting in Online Class Incremental Learning Using Self-Distillation
Meijo University(名城大学)
针对持续学习中的灾难性遗忘及重放方法的泛化性问题,提出基于浅层输出作教师的自蒸馏方法与易误分类样本优先存储的内存更新策略,在多个数据集上性能优于传统方法。
2024-09-17 cs.CV
MEIL-NeRF: Memory-Efficient Incremental Learning of Neural Radiance Fields
Seoul National University(首尔大学);Hanyang University(汉阳大学)
针对NeRF在内存受限设备上的灾难性遗忘问题,提出MEIL-NeRF框架,通过学习查询光线提取旧像素值并以自蒸馏方式训练,实现恒定内存消耗与竞争力的性能。
2025-09-16 cs.CV
Echoes of the Prior: A Computational Phenomenology of Forgetting
Eberhard Karl University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心)
通过在前馈3D重建模型中诱导突触衰减,可视化遗忘的主观现象学,将神经网络作为认知代理探索神经形态美学。
2026-06-11 cs.CV
Forgetting to Remember: A Scalable Incremental Learning Framework for Cross-Task Blind Image Quality Assessment
University of Electronic Science and Technology of China(电子科技大学)
近年来,盲图像质量评估(BIQA)在各种特定任务场景中取得了巨大的成功,这些场景提供了不变的失真类型和评估标准。然而,由于结构和学习框架的刚性,它们不能适用于跨任务的BIQA场景,其中失真类型和评估标准在实际应用中不断变化。本文提出了一个可扩展的增量学习框架(SILF),可以顺序进行跨多个评价任务的BIQA有限的内存容量。更具体地说,我们开发了一个动态的参数隔离策略,顺序更新的任务特定的参数子集,这是不重叠的。每个参数子集被临时设置以记住对其对应任务的一个评价偏好,并且先前设置的参数子集可以在后续BIQA中基于任务相关性自适应地重用以实现更好的性能。为了抑制顺序任务学习中记忆容量的无限制膨胀,我们通过逐步地、有选择地从先前确定的参数子集中修剪不重要的神经元,开发了一个可扩展的记忆单元,使我们能够忘记部分先前的经验,释放有限的记忆容量,以适应新出现的任务。在11个IQA数据集上的实验表明,该方法在跨任务BIQA中的性能明显优于其他最先进的方法。所提出的方法的源代码可在https://github.com/maruiperfect/SILF获得。
2023-02-07 cs.CV cs.MM