Overcoming Catastrophic Forgetting by Generative Regularization
UCLA(加州大学洛杉矶分校);Google Cloud(谷歌云);Google Brain(谷歌大脑)
本文提出了一种新的方法来克服灾难性遗忘通过添加生成正则化贝叶斯推理框架。贝叶斯方法为持续学习提供了一个通用框架。我们可以进一步为所有给定的分类模型构建一个生成正则化项,通过利用基于能量的模型和Langevin动态采样来丰富每个任务中学习到的特征。通过将区分性损失和生成性损失结合在一起,我们的经验表明,所提出的方法在各种任务上优于最先进的方法,避免了持续学习中的灾难性遗忘。特别是,该方法优于基线方法超过15%的时尚MNIST数据集和10%的CUB数据集
2021-06-19 cs.LG stat.ML
Stabilizing Training of Generative Adversarial Networks through Regularization
ETH Zürich(苏黎世联邦理工学院);Microsoft Research(微软研究院)
基于生成对抗网络(GANs)的深度生成模型已经展示了令人印象深刻的样本质量,但为了工作,它们需要仔细选择架构,参数初始化和超参数的选择。这种脆弱性部分是由于模型分布和数据分布之间的维度不匹配或非重叠支持,导致它们的密度比和相关的f-散度不确定。我们克服了这一基本限制,并提出了一种新的正则化方法,具有低计算成本,产生一个稳定的GAN训练过程。我们证明了这种正则化的有效性在几个架构上训练的共同基准图像生成任务。我们的正则化将GAN模型转化为深度学习的可靠构建块。
2017-11-07 cs.LG stat.ML
Discriminative Regularization for Generative Models
Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);Université de Montréal(蒙特利尔大学)
我们探讨的问题,是否表示学习分类器可以用来提高生成模型的质量。我们的推测是,标签对应于自然数据的特征,这些特征对人类来说是最突出的:面孔中的身份,图像中的对象和语音中的话语。我们建议利用这一点,通过使用歧视性分类器的表示,以增加相应的生成模型的目标函数。特别是,我们提高了目标函数的变分自动编码器,一个流行的生成模型,具有歧视性的正则化项。我们表明,以这种方式增强目标函数会导致样本比标准变分自编码器的样本更清晰,视觉质量更高。
2016-02-15 cs.LG stat.ML
Knowledge-Based Regularization in Generative Modeling
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Institute of Mathematics for Industry, Kyushu University(九州大学产业数学研究所)
先验领域知识可以极大地帮助学习生成模型。然而,将先验知识硬编码为特定的模型架构通常成本太高,因此我们通常不得不使用通用模型。在本文中,我们提出了一种方法,将先验知识的特征关系到通用生成模型的学习。为此,我们制定了一个正则化,使边缘的生成模型,以遵循规定的相对依赖的功能。它可以被纳入许多生成模型的现成学习方法中,包括变分自编码器和生成对抗网络,因为它的梯度可以使用标准的反向传播技术计算。通过在多种数据集和生成模型上的实验,我们证明了该方法的有效性。
2020-12-10 cs.LG stat.ML
Spectral Norm Regularization for Improving the Generalizability of Deep Learning
National Institute of Informatics(国立信息学研究所);Preferred Networks, Inc.(Preferred Networks公司)
我们基于对输入扰动的敏感性来研究深度学习的可推广性。我们假设数据对扰动的高度敏感性会降低其性能,为了降低数据对扰动的敏感性,我们提出了一种简单有效的正则化方法,称为谱范数正则化,它惩罚神经网络中权矩阵的高谱范数。我们通过实验证实,使用谱范数正则化训练的模型比其他基线方法具有更好的泛化能力,从而为上述假设提供了支持性证据。
2017-05-31 cs.LG stat.ML
Batch norm with entropic regularization turns deterministic autoencoders into generative models
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
变分自编码器是一种定义明确的深度生成模型,它利用编码器-解码器框架,其中编码神经网络输出非确定性代码以重建输入。编码器通过从每个输入的分布中采样来实现这一点,而不是每个输入输出确定性代码。这个过程的最大优点是,它允许使用网络作为生成模型,用于从提供的样本之外的数据分布中进行采样。我们在这项工作中表明,利用批量归一化作为非确定性的来源足以将确定性自编码器转换为与变分自编码器相同的生成模型,只要我们向训练目标添加合适的熵正则化。
2021-09-22 cs.CV cs.LG stat.ML
Consistency Regularization for Generative Adversarial Networks
Google Research(谷歌研究院)
生成对抗网络(GANs)是已知的,是难以训练,尽管相当大的研究工作。已经提出了几种用于稳定训练的正则化技术,但它们引入了非平凡的计算开销,并且与谱归一化等现有技术的交互性很差。在这项工作中,我们提出了一个简单,有效的训练稳定器的一致性正则化的概念-一个流行的技术在半监督学习文献的基础上。特别是,我们增加了传入GAN的数据,并惩罚了GAN对这些增强的敏感性。我们进行了一系列的实验,以证明一致性正则化有效地与频谱归一化和各种GAN架构,损失函数和优化器设置。与CIFAR-10和CelebA上的其他正则化方法相比,我们的方法实现了无条件图像生成的最佳FID分数。此外,我们的一致性正则化GAN(CR-GAN)将CIFAR-10上的条件生成的最先进FID分数从14.73提高到11.48,并在ImageNet-2012上从8.73提高到6.66。
2020-02-18 cs.CV cs.LG stat.ML
An Improving Framework of regularization for Network Compression
Fudan University(复旦大学)
深度神经网络在图像识别、目标检测和许多其他应用中取得了显著的成功,这依赖于GPU和大规模数据集的高计算能力的发展,以及网络深度和宽度的增加。然而,由于其计算量大、占用内存大,近年来研究者们将精力集中在设计压缩方法上。本文首先对现有的模型压缩技术进行了简要的总结。在此基础上,我们给出了群套索正则化及其变体的详细描述。更重要的是,我们提出了一个改进的框架部分正则化的神经元之间的关系和相邻层的连接的基础上。利用神经网络的置换性质,使该方法合理可行。实验结果表明,部分正则化方法在多数据集的训练和测试阶段都带来了更高的分类精度。由于我们的正则化包含较少的参数计算,它显示出竞争力的性能,在实验的总运行时间。最后,对结果进行了分析,得出了最优网络结构必然存在并依赖于输入数据的结论。
2020-01-07 cs.LG stat.ML
On Implicit Regularization in $β$-VAEs
Google Research(谷歌研究院)
虽然变分推理(VI)对固定生成模型中的后验推理的影响已经得到了很好的表征,但当用于变分自编码器(VAE)时,其在正则化学习生成模型中的作用却知之甚少。我们从两个角度研究了生成模型中变分分布对学习的正则化效应。首先,我们分析了变分族的选择在通过限制最优生成模型的集合来赋予学习模型唯一性方面所起的作用。其次,我们研究了变分族的正则化效应对解码模型的局部几何的影响。该分析揭示了$β$ -VAE目标中隐含的正则化器,并导致由确定性自动编码目标加上依赖于解码模型的Hessian或Jacobian的分析正则化器组成的近似,将VAE与最近提出的用于训练正则化自动编码器的算法统一起来。我们经验验证这些发现,观察到所提出的确定性目标表现出类似的行为的$β$ -VAE的客观价值和样本质量。
2020-12-28 cs.LG stat.ML
Consistency Regularization with Generative Adversarial Networks for Semi-Supervised Learning
North Carolina State University(北卡罗来纳州立大学)
基于生成对抗网络(GANs)的半监督学习(SSL)方法通过利用大量未标记样本和有限的标记样本来提高分类性能。然而,它们的性能仍然落后于最先进的基于非GAN的SSL方法。我们确定,这是因为缺乏一致性的类概率预测在同一图像下局部扰动的主要原因。根据一般文献,我们通过标签一致性正则化来解决这个问题,该正则化强制输入图像的类概率预测在各种语义保持扰动下保持不变。在这项工作中,我们将一致性正则化引入到vanilla semi-GAN中,以解决这一关键限制。特别是,我们提出了一种新的复合一致性正则化方法,在精神上,利用局部一致性和插值一致性。我们证明了我们的方法在两个SSL图像分类基准数据集SVHN和CIFAR-10上的有效性。我们的实验表明,这种新的基于复合一致性正则化的半GAN显着提高了其性能,并在基于GAN的SSL方法中实现了新的最先进的性能。
2020-09-15 cs.CV cs.LG stat.ML
Continuous Conditional Generative Adversarial Networks (cGAN) with Generator Regularization
University of California, Berkeley(加州大学伯克利分校)
已知条件生成对抗网络难以训练,特别是当条件是连续的和高维的时。为了部分缓解这一困难,我们提出了一个简单的发电机正则化项的GAN发电机损失的形式Lipschitz惩罚。因此,当生成器被馈送有连续空间中的相邻条件时,正则化项将利用相邻信息并推动生成器生成对于每个相邻条件具有类似条件分布的样本。我们分析了所提出的正则化项的效果,并在一系列合成和现实世界的任务上证明了其鲁棒性能。
2021-03-27 cs.CV cs.LG
Improving Adversarial Robustness by Putting More Regularizations on Less Robust Samples
Seoul National University(首尔国立大学)
本文提出一种新的对抗训练算法,通过对易受攻击样本施加更多正则化来最小化鲁棒风险上界,从而同时提升模型泛化能力与对抗鲁棒性,达到最先进性能。
2023-06-01 cs.LG stat.ML
Manifold regularization with GANs for semi-supervised learning
Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
生成对抗网络是一种强大的生成模型,能够对自然图像的流形进行建模。我们利用这个属性来执行流形正则化,通过使用Monte Carlo近似来近似拉普拉斯范数的变体,该近似可以很容易地用GAN计算。当被纳入半监督特征匹配GAN时,我们在CIFAR-10和SVHN基准上实现了基于GAN的半监督学习的最新结果,其方法比竞争方法更容易实现。我们还发现流形正则化提高了生成图像的质量,并且受到用于近似正则化器的GAN的质量的影响。
2018-07-11 cs.LG stat.ML
PtyGenography: using generative models for regularization of the phase retrieval problem
Koç University(科克大学);Centrum Wiskunde & Informatica (CWI)(数学与计算机科学中心);Utrecht University(乌得勒支大学);Mathematical Institute Utrecht University(乌得勒支大学数学研究所)
本文针对相位恢复等逆问题,提出一种新的统一重建方法,通过使用生成模型作为信号先验进行正则化,有效减轻了不同噪声水平下对生成模型的过拟合并缓解重建偏差。
2025-02-03 cs.IT cs.LG math.FA
Class-Incremental Learning Using Generative Experience Replay Based on Time-aware Regularization
University of Southern California(南加州大学)
针对严格类增量持续学习的遗忘难题,提出基于时间感知正则化的生成式经验重放方法,动态微调三类训练目标,在主流基准上提升了记忆保留能力与持续任务平均性能。
2023-10-05 cs.LG
Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty
ESTsoft(ESTsoft公司)
从统计学习的角度来看,通过显式正则化的复杂性控制是提高过参数化模型泛化能力的必要条件。然而,仅使用隐式正则化的神经网络令人印象深刻的泛化性能可能与这种传统智慧不一致。在这项工作中,我们重新审视了显式正则化的重要性,以获得良好的校准预测的不确定性。具体来说,我们引入了校准性能的概率度量,这是由对数似然下界。然后,我们探索显式正则化技术,以提高未见过的样本的对数似然,这提供了良好的校准预测的不确定性。我们的研究结果提出了一个新的方向,以提高确定性神经网络的预测概率质量,这可以是一个有效的和可扩展的替代贝叶斯神经网络和集成方法。
2021-02-06 cs.LG stat.ML
Multiscale Generative Models: Improving Performance of a Generative Model Using Feedback from Other Dependent Generative Models
Singapore Management University(新加坡管理大学);Indian Institute of Technology Kanpur(印度理工学院坎普尔分校)
真实世界复杂系统的真实细粒度多智能体仿真对于诸如强化学习等许多下游任务至关重要。最近的工作使用生成模型(特别是GANs)来提供真实世界系统的高保真仿真。然而,这种生成模型往往是单一的,错过了多智能体系统中的交互建模。在这项工作中,我们朝着构建反映现实世界中交互的多个交互生成模型(GANs)迈出了第一步。我们构建并分析了一个分层设置,其中较高层的GAN以多个较低层的GANs的输出为条件。我们提出了一种使用来自高层GAN的反馈来提高低层GANs性能的技术。我们从数学上描述了我们的技术具有影响力的条件,包括理解我们设置的迁移学习性质。我们提出了三个不同的实验合成数据,时间序列数据,图像域,揭示了我们的技术的广泛适用性。
2022-02-24 cs.LG stat.ML
Multi-objects Generation with Amortized Structural Regularization
Tsinghua University(清华大学)
深度生成模型(DGMs)在图像生成方面表现出了希望。然而,现有的大多数工作都是通过简单地优化模型和数据的边缘分布之间的差异来学习模型,并且往往无法捕获多目标图像中丰富的结构和关系。人类知识是DGMs成功推断这些结构的关键因素。在本文中,我们提出了摊销结构正则化(ASR)框架,它采用后验正则化(PR)嵌入人类知识的DGMs通过一组结构约束。我们推导出一个下界的正则化对数似然,它可以联合优化生成模型和识别模型有效。实证结果表明,ASR在推理精度和样本质量方面明显优于DGM基线。
2019-06-10 cs.LG stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago(芝加哥大学)
在本文中,我们提出了一种通用的方法,可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数,该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型,并且在训练之后,从基于能量的模型生成潜在空间中的新样本,并通过生成器以在观察空间中产生样本。我们表明,使用我们提出的方法,我们可以大大提高流行的基于似然的生成模型,如规范化流和VAE,与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
MAE: Mutual Posterior-Divergence Regularization for Variational AutoEncoders
Carnegie Mellon University(卡内基梅隆大学)
变分自编码器(VAE)是一种简单有效的深度生成模型,已经取得了许多令人印象深刻的经验成功,并催生了许多先进的变体和理论研究。然而,最近的研究表明,当配备了表达生成分布(又名。解码器),VAE遭受学习无信息的潜在表示与观察称为KL清漆,在这种情况下,VAE崩溃成一个无条件的生成模型。在这项工作中,我们引入了相互后向发散正则化,这是一种新的正则化,能够控制潜在空间的几何形状,以完成有意义的表示学习,同时实现可比或优越的密度估计能力。在三个图像基准数据集上的实验表明,当配备强大的解码器时,我们的模型在密度估计和表示学习方面都表现良好。
2019-01-06 cs.CV cs.LG stat.ML
Diversity-Sensitive Conditional Generative Adversarial Networks
University of Michigan(密歇根大学);Google Brain(谷歌大脑)
我们提出了一种简单而高效的方法,解决了条件生成对抗网络(cGAN)中的模式崩溃问题。虽然条件分布是多模态的(即,在实践中,大多数cGAN方法倾向于学习过度简化的分布,其中输入总是被映射到单个输出,而不管潜在代码的变化。为了解决这个问题,我们建议显式地正则化生成器,以根据潜在代码产生不同的输出。所提出的正则化是简单的,一般的,并且可以很容易地集成到大多数条件GAN目标。此外,生成器上的显式正则化允许我们的方法控制视觉质量和多样性之间的平衡。我们证明了我们的方法在三个条件生成任务:图像到图像的翻译,图像修补,和未来的视频预测的有效性。我们表明,简单地将我们的正则化添加到现有模型中会导致令人惊讶的多样化生成,大大优于以前在每个单独任务中专门设计的多模态条件生成方法。
2019-01-25 cs.LG stat.ML
Posterior Differential Regularization with f-divergence for Improving Model Robustness
Microsoft Research(微软研究院);Ochanomizu University(御茶水女子大学);University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
我们通过正则化来解决增强模型鲁棒性的问题。具体来说,我们专注于正则化干净和嘈杂的输入之间的模型后验差的方法。从理论上讲,我们在这个框架下提供了两种最新方法的连接,雅可比正则化和虚拟对抗训练。此外,我们将后验微分正则化推广到$f$ -发散族,并用雅可比矩阵描述了整个正则化框架。从经验上讲,我们系统地比较了这些正则化和标准的BERT训练在不同的任务集,以提供一个全面的概况,其对模型的域内和域外的领域泛化的影响。对于完全监督和半监督设置,我们的实验表明,正则化后验差分与$f$ -发散可以导致良好的改善模型的鲁棒性。特别是,通过适当的$f$ -发散,BERT-基础模型可以实现与BERT-大型模型相当的泛化,用于域内,对抗和域转移场景,这表明所提出的框架在提高NLP模型的模型泛化方面具有巨大的潜力。
2021-04-12 cs.CL cs.LG stat.ML
Improving GAN Training via Binarized Representation Entropy (BRE) Regularization
Borealis AI(北极光人工智能)
我们提出了一种新的正则化器来改进生成对抗网络(GANs)的训练。其动机是,当WMD以正确的方式扩展其模型容量时,提供给生成器G的学习信号更具信息性和多样性。这些反过来又帮助G更好地探索和发现真实的数据流形,同时避免由于D所做的错误外推而导致的大的不稳定跳跃。我们的正则化器引导整流器CIDD更好地分配其模型容量,通过鼓励D的选定内部层上的二进制激活模式具有高联合熵。在合成数据和真实数据集上的实验结果表明,GAN训练的稳定性和收敛速度得到了改善,样本质量也得到了提高。该方法还导致在半监督学习更高的分类精度。
2018-05-09 cs.LG stat.ML
Improving Fairness and Mitigating MADness in Generative Models
Rice University(莱斯大学)
本文通过设计超网络训练生成模型并引入正则化项,以缓解少数类不公平、模型自噬障碍和参数统计偏差,同时提供可扩展的超网络实现以适配现有深度生成模型。
2024-10-03 cs.LG stat.ML
The Unintended Consequences of Discount Regularization: Improving Regularization in Certainty Equivalence Reinforcement Learning
Harvard University(哈佛大学);Imperial College London(帝国理工学院)
本文揭示折扣正则化等价于对转移矩阵施加特定先验,导致数据不均时性能下降,并提出按状态-动作对局部设置正则化参数的改进方法。
2023-06-20 cs.AI cs.LG stat.ML
On Explicit Curvature Regularization in Deep Generative Models
Korea Institute for Advanced Study(韩国高等研究院);Seoul National University(首尔国立大学);Saige Research(Saige研究院)
本文提出基于曲率的深度生成模型正则化方法,推导内蕴与外蕴曲率的坐标不变公式及高效近似算法,并在含噪声运动捕捉数据上验证其优于现有自编码器正则化方法。
2023-09-19 cs.AI cs.LG
Improving Molecular Graph Neural Network Explainability with Orthonormalization and Induced Sparsity
Bayer AG(拜耳公司)
确定分子的哪些部分驱动分子图卷积神经网络(GCNN)的预测可能是困难的。为了提供帮助,我们提出了两种简单的正则化技术,用于GCNN的训练:批量表示正交归一化(BRO)和Gini正则化。BRO受分子轨道理论的启发,鼓励图形卷积运算生成正交节点嵌入。Gini正则化应用于输出层的权重,并限制模型可以用于进行预测的维度数量。我们证明了Gini和BRO正则化可以提高人工基准数据集上最先进的GCNN属性方法的准确性。在现实世界中,我们证明了药物化学家更喜欢从正则化模型中提取的解释。虽然我们只在GCNN的上下文中研究这些正则化器,但两者都可以应用于其他类型的神经网络
2021-08-31 cs.LG stat.ML
On Connections between Regularizations for Improving DNN Robustness
Bytedance AI Lab(字节跳动人工智能实验室);Peking University(北京大学);Intel Labs China(英特尔中国研究院);Tsinghua University(清华大学)
本文从理论角度分析了最近提出的用于提高深度神经网络(DNN)对抗鲁棒性的正则化项。具体来说,我们研究了几种有效的方法,包括输入梯度正则化,雅可比正则化,曲率正则化和交叉Lipschitz功能之间的可能联系。我们在具有一般整流线性激活的DNN上研究它们,DNN构成了图像分类和许多其他机器学习应用的最流行的模型家族之一。我们阐明了这些正则化的基本成分,并重新解释了它们的功能。通过我们的研究,在不久的将来可能会发明更有原则和更有效的正则化。
2020-07-04 cs.CR cs.CV cs.LG
Improving Missing Data Imputation with Deep Generative Models
University of Luxembourg(卢森堡大学)
缺失值的数据集在行业应用中非常常见,它们可能对机器学习模型产生负面影响。最近的研究介绍了基于深度生成模型的缺失值估算问题的解决方案。以前使用生成对抗网络和变分自编码器的实验在这个领域显示了有趣的结果,但目前还不清楚哪种方法更适合不同的用例。这项工作的目标是双重的:我们提出了基于深度生成模型的缺失数据填补解决方案之间的比较,并提出了对这些方法的改进。我们使用具有不同特征的已知现实生活数据集运行我们的实验,随机删除值并使用几种插补技术重建它们。我们的研究结果表明,分类变量的存在或不存在可以改变最佳模型的选择,并且在使用不同的随机数生成器种子进行类似运行后,某些模型比其他模型更稳定。
2019-02-27 cs.LG stat.ML
Maximum Discrepancy Generative Regularization and Non-Negative Matrix Factorization for Single Channel Source Separation
NTNU – Norwegian University of Science and Technology(挪威科技大学)
本文提出最大差异生成正则化方法,通过对抗训练非负矩阵分解(NMF)基,有效提升了图像与音频的单通道源分离效果,尤其在缺乏强监督数据时表现突出。
2024-03-26 cs.LG cs.NA eess.SP
Latent Regularization in Generative Test Input Generation
North Carolina State University(北卡罗来纳州立大学);Technical University of Munich(慕尼黑技术大学);fortiss GmbH(fortiss公司)
本研究提出通过潜在空间正则化提升生成测试输入质量的方法,通过比较两种截断策略,发现潜在代码混合能提高故障检测、多样性和有效性。
2026-02-17 cs.LG cs.SE
Memorization and Regularization in Generative Diffusion Models
California Institute of Technology(加州理工学院);University of Southern California(南加州大学);NVIDIA Corporation(英伟达公司)
本文分析扩散模型因经验分数匹配最小化子导致训练样本记忆化的动力学机制,并通过数值实验比较 Tikhonov、渐近一致性及欠参数化或提前停止诱导的正则化。
2025-03-18 cs.LG math.DS math.OC
A Large-Scale Study on Regularization and Normalization in GANs
Google Research(谷歌研究院)
生成对抗网络(GANs)是一类深度生成模型,旨在以无监督的方式学习目标分布。虽然它们被成功地应用于许多问题,但训练GAN是一项非常具有挑战性的任务,需要大量的超参数调整,神经架构工程和大量的“技巧”。在许多实际应用中的成功加上缺乏量化GANs故障模式的措施,导致了过多的损失,正则化和规范化方案以及神经架构。在这项工作中,我们从实践的角度对GANs的现状进行了清醒的认识。我们讨论和评估常见的陷阱和可重复性问题,在Github上开源我们的代码,并在TensorFlow Hub上提供预训练的模型。
2019-05-14 cs.LG stat.ML
Guided Deep Generative Model-based Spatial Regularization for Multiband Imaging Inverse Problems
Northwestern Polytechnical University(西北工业大学);University of Toulouse(图卢兹大学);IRIT/INPENSEEIHT(图卢兹计算机研究所/国立图卢兹应用科学学院国立高等电力技术、电子学、计算机、水力学与电信学院);CNRS(法国国家科学研究中心);Institut Universitaire de France (IUF)(法国大学研究院)
本文提出一种通用框架,利用高空间分辨率辅助图像和深度生成网络提取空间语义特征,构建数据驱动的空间正则化,用于解决多波段图像融合与修复等逆问题,效果优于传统方法。
2023-06-29 cs.LG eess.IV
GLAD: Improving Latent Graph Generative Modeling with Simple Quantization
Geneva School for Business Administration (HES-SO)(日内瓦工商管理学院(HES-SO));University of Geneva(日内瓦大学)
本文提出 GLAD,一种在离散潜空间中运行、利用扩散桥学习先验的等变图生成模型,并在多个图基准上达到与最先进方法相竞争的性能。
2025-02-17 cs.LG stat.ML
An Empirical Study on Regularization of Deep Neural Networks by Local Rademacher Complexity
Baidu Research(百度研究院);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
为了提高深度神经网络(DNN)的泛化能力,对DNN进行正则化是一项重要而具有挑战性的工作。这方面的发展有利于DNN的理论基础,并促进其在人工智能的不同领域的可用性。在本文中,我们研究了Rademacher复杂性在提高DNN泛化能力方面的作用,并提出了一种新的正则化器,它植根于局部Rademacher复杂性(LRC)。虽然Rademacher复杂度是众所周知的函数类的无分布复杂度度量,有助于提高统计学习方法的泛化能力,但广泛的研究表明,LRC,其对应的限制函数类,在有限的训练样本下,收敛速度更快,泛化能力更强。我们的基于LRC的正则化器是通过估计以DNN的经验损失的最小值为中心的函数类的复杂度来开发的。在不同类型的网络结构上的实验证明了LRC正则化在提高泛化能力方面的有效性。此外,我们的方法具有最先进的结果CIFAR- $10$数据集与神经结构搜索发现的网络结构。
2019-11-16 cs.LG stat.ML
Adversarial Lipschitz Regularization
Robert Bosch Kft.(罗伯特·博世匈牙利有限公司)
生成对抗网络(GANs)是训练生成模型时最受欢迎的方法之一,其中Wasserstein GANs的变体在学习稳定性和样本质量方面被认为优于标准GAN公式。然而,Wasserstein GANs要求临界点是1-Lipschitz,这通常通过惩罚其梯度的范数或通过权重归一化技术全局限制其Lipschitz常数来隐含地强制执行。用正则化项惩罚违反Lipschitz约束的行为,而不是通过梯度的范数进行训练,在大多数情况下实际上是不可行的。受虚拟对抗训练的启发,我们提出了一种称为对抗性Lipschitz正则化的方法,并证明使用显式Lipschitz惩罚确实是可行的,并且在应用于Wasserstein GANs时会导致竞争性性能,突出了Lipschitz正则化和对抗性训练之间的重要联系。
2020-01-03 cs.CV cs.LG stat.ML
Continual Learning with Invertible Generative Models
Sapienza University of Rome(罗马大学)
每当神经网络在接受新任务训练时覆盖过去的知识时,就会发生灾难性遗忘(CF)。处理CF的常见技术包括权重的正则化(使用例如,它们对过去任务的重要性),以及排练策略,其中网络不断地根据过去的数据进行重新训练。生成模型也适用于后者,以便拥有无穷无尽的数据来源。在本文中,我们提出了一种新的方法,结合了正则化和基于生成的排练方法的优势。我们的生成模型包括一个归一化流(NF),一个概率和可逆的神经网络,在网络的内部嵌入上训练。通过在整个训练过程中保持单个NF,我们表明我们的内存开销保持不变。此外,利用NF的可逆性,我们提出了一种简单的方法来正则化网络的嵌入相对于过去的任务。我们表明,我们的方法表现良好,相对于国家的最先进的方法在文献中,有界的计算能力和内存开销。
2022-12-27 cs.LG stat.ML
Improving Generalization and Stability of Generative Adversarial Networks
生成对抗网络(GANs)是学习复杂高维分布的最流行工具之一。然而,GANs的泛化特性还没有得到很好的理解。在本文中,我们分析了GANs在实际环境中的泛化能力。我们发现,在具有原始GAN损失的离散数据集上训练的鉴别器具有较差的泛化能力,并且不近似于理论上的最优分类。我们提出了一个零中心的梯度惩罚,通过将其推向最佳的梯度来提高泛化的梯度。惩罚保证了GANs的泛化和收敛。在合成数据集和大规模数据集上的实验验证了我们的理论分析。
2019-02-11 cs.AI cs.LG stat.ML
Regularization via deep generative models: an analysis point of view
本文提出了一种新的正则化成像反问题的方法(例如,去模糊或修复)。与端到端模型相比,这种方法似乎特别有趣,因为只要生成模型适合数据,相同的网络就可以用于许多不同的问题和实验条件。以前的工作提出使用一个合成框架,其中的估计是执行的潜在向量,解决方案是通过解码器之后获得。相反,我们提出了一种分析公式,我们直接优化图像本身并惩罚潜在向量。我们说明了这样的配方的利益,通过运行实验的修复,去模糊和超分辨率。在许多情况下,我们的技术实现了性能的明显改善,似乎更强大,特别是在初始化方面。
2021-01-21 cs.CV cs.LG eess.IV
Improving Generative Imagination in Object-Centric World Models
Rutgers University(罗格斯大学);Zhejiang University(浙江大学);Tianjin University(天津大学);Rutgers Center for Cognitive Science(罗格斯认知科学中心)
以对象为中心的生成世界模型最近取得的显著进展提出了一些问题。首先,虽然最近的许多成就对于建立一个通用的、多功能的世界模型是必不可少的,但如何将这些成分整合到一个统一的框架中还很不清楚。其次,尽管使用生成目标,目标检测和跟踪的能力主要是调查,留下的时间想象力的关键能力在很大程度上受到质疑。第三,缺乏一些关键的能力,如多模态不确定性和情境意识,以更忠实的时间想象。本文介绍了生成结构化世界模型(G-SWM)。G-SWM不仅通过将以前模型的关键属性统一在一个原则性框架中,而且还通过实现两个关键的新能力,即多模态不确定性和态势感知,实现了多功能的世界建模。我们对时间生成能力的深入研究表明,与以前的模型相比,G-SWM实现了多功能性,对于所有实验设置都具有最佳或相当的性能,包括一些以前没有测试过的复杂设置。
2020-10-05 cs.LG stat.ML
Improving Multi-class Classifier Using Likelihood Ratio Estimation with Regularization
Nagoya Institute of Technology(名古屋工业大学)
提出了一种基于似然比的泛集朴素贝叶斯分类器(UNB)\cite{Komiya:13},用于解决不平衡分类问题.然而,在UNB中使用的LR估计高估了低频数据的LR,降低了分类性能。我们以前的研究~ \cite{Kikuchi:19}提出了一个有效的LR估计器,即使在低频数据。该估计器使用正则化来抑制高估,但我们没有考虑不平衡数据。在本文中,我们集成的估计与UNB。我们的实验与不平衡的数据表明,我们提出的分类器有效地调整分类分数根据类的平衡使用正则化参数,提高了分类性能。
2022-10-28 cs.AI cs.LG
Cloud Model Characteristic Function Auto-Encoder: Integrating Cloud Model Theory with MMD Regularization for Enhanced Generative Modeling
提出云模型特征函数自编码器(CMCFAE),将云模型先验与MMD正则化集成于WAE框架,提升重建质量、潜在空间结构和样本多样性,在多个数据集上优于现有模型。
2025-08-06 cs.AI cs.LG
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London(帝国理工学院)
我们专注于生成式自动编码器,例如变分或对抗式自动编码器,它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布,它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗(MCMC)采样过程,相当于迭代解码和编码,这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射,因此我们可以使用MCMC来提高从生成模型提取的样本的质量,特别是当学习的潜在分布远离先验时。使用MCMC采样,我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
MR-GAN: Manifold Regularized Generative Adversarial Networks
Syracuse University(雪城大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Duke University(杜克大学);The Ohio State University(俄亥俄州立大学)
尽管人们对生成对抗网络(GANs)的兴趣越来越大,但从理论和实践的角度来看,训练GANs仍然是一个具有挑战性的问题。为了解决这个问题,在本文中,我们提出了一种新的方法来利用独特的几何形状的真实数据,特别是流形信息。更具体地说,我们设计了一种方法来正则化GAN训练,通过添加一个额外的正则化项称为流形正则化。流形正则化器迫使生成器尊重真实数据流形的唯一几何形状并生成高质量的数据。此外,我们从理论上证明,在任何类别的GANs(包括DCGAN和Wasserstein GAN)中添加此正则化项会导致在泛化,平衡存在和稳定性方面的性能改善。初步实验表明,提出的流形正则化有助于避免模式坍塌,并导致稳定的训练。
2018-11-22 cs.CV cs.LG stat.ML
Regularization Methods for Generative Adversarial Networks: An Overview of Recent Studies
Korea University(高丽大学);Research Institute for Information and Communication Technology, Korea University(高丽大学信息与通信技术研究院)
尽管其历史很短,但生成对抗网络(GAN)已被广泛研究并用于各种任务,包括其原始目的,即,合成样品生成。然而,将GAN应用于具有不同神经网络架构的不同数据类型受到其训练局限性的阻碍,其中模型很容易出现分歧。这种臭名昭著的GANs训练是众所周知的,并已在许多研究中得到解决。因此,为了使GAN的训练稳定,近年来已经提出了许多正则化方法。本文回顾了最近引入的正则化方法,其中大部分是在过去三年中发表的。具体来说,我们专注于无论神经网络架构如何都可以常用的一般方法。为了探讨GANs正则化方法的最新研究动态,根据正则化方法的工作原理将其分为几类,并分析了它们之间的差异。此外,为了提供使用这些方法的实用知识,我们研究了在最先进的GANs中经常使用的流行方法。此外,我们讨论了现有方法的局限性,并提出了未来的研究方向。
2020-05-19 cs.CV cs.LG cs.NE
Adaptive Divergence Regularized Policy Optimization for Fine-tuning Generative Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对生成模型强化学习微调中探索与利用的平衡难题,提出自适应散度正则化策略优化ADRPO,可自动调整正则化强度,在多模态多任务上超越现有方法,适配多种生成架构。
2025-10-20 cs.AI cs.LG
Improving DNN Robustness to Adversarial Attacks using Jacobian Regularization
Tel Aviv University(特拉维夫大学)
深度神经网络最近在包括视觉和语音处理任务在内的各种应用中表现出了巨大的性能。然而,除了它们能够以如此高的准确度执行这些任务之外,已经表明它们非常容易受到对抗攻击的影响:输入的微小变化会导致网络在高置信度下出错。这种现象暴露了这些网络的固有缺陷及其良好的泛化能力。因此,为对抗攻击提供鲁棒性是网络训练中的一个重要挑战,这导致了广泛的研究。在这项工作中,我们提出了一种理论启发的新方法来提高网络的鲁棒性。我们的方法使用网络雅可比矩阵的Frobenius范数进行正则化,在常规训练完成后,将其用作后处理。我们的经验表明,它会导致增强的鲁棒性的结果与原始网络的准确性的最小变化。
2019-05-28 cs.CR cs.CV cs.LG
Amortized Inference Regularization
Stanford University(斯坦福大学);DeepMind(深度思维)
变分自编码器(VAE)是一种流行的密度估计和表示学习模型。正则地,变分原理建议优选表达推理模型,使得变分近似是准确的。然而,它往往被忽视,过度表达的推理模型可能是有害的测试集性能的摊销后验近似,更重要的是,生成密度估计。在本文中,我们利用VAE依赖于摊销推理的事实,并提出了控制推理模型平滑度的摊销推理正则化(AIR)技术。我们证明,通过应用空气,它是可能的,以提高VAE泛化的推理和生成性能。我们的论文挑战的信念,摊销推理只是一种近似极大似然训练的机制,并说明了摊销家庭的正规化提供了一个新的方向,理解和提高泛化VAE。
2019-01-09 cs.AI cs.LG stat.ML
Improving Generalization in Reinforcement Learning with Mixture Regularization
National University of Singapore(新加坡国立大学);ByteDance AI Lab(字节跳动人工智能实验室)
深度强化学习(RL)在有限的环境中训练的代理往往会遭受过拟合,并且无法推广到看不见的测试环境。为了提高其通用性,数据增强的方法(如剪切和随机卷积),以前探索增加数据的多样性。然而,我们发现这些方法只是局部扰动的观察,无论训练环境,提高数据的多样性和泛化性能表现出有限的效果。在这项工作中,我们介绍了一种简单的方法,名为mixreg,它训练代理的混合观察来自不同的训练环境,并施加线性约束的观察插值和监督(例如相关的奖励)插值。Mixreg更有效地增加了数据多样性,并帮助学习更顺畅的策略。我们验证了其有效性,提高泛化进行了广泛的实验上的大型Procgen基准。结果显示,mixreg在看不见的测试环境中的性能远远优于成熟的基线。Mixreg简单、有效、通用。它可以应用于基于策略和基于值的RL算法。代码可在https://github.com/kaixin96/mixreg上获得。
2020-10-21 cs.AI cs.LG stat.ML
Generalizing and Improving Jacobian and Hessian Regularization
Boston University(波士顿大学);Ohio State University(俄亥俄州立大学);Tianjin University(天津大学)
雅可比正则化和海森正则化的目的是减少一阶和二阶偏导数相对于神经网络输入的大小,它们主要用于确保图像分类器的对抗鲁棒性。在这项工作中,我们推广了以前的努力,将目标矩阵从零扩展到任何矩阵,承认有效的矩阵向量产品。所提出的范例使我们能够构建新的正则化条款,强制执行对称性或对角的平方雅可比矩阵和海森矩阵。另一方面,雅可比和海森正则化的主要挑战是高计算复杂性。我们引入基于Lanczos的谱范数最小化来解决这个困难。该技术使用Lanczos算法的并行实现,并且能够有效且稳定地正则化大型Jacobian和Hessian矩阵。理论的理由和经验证据所提出的范式和技术。我们进行了探索性的实验,以验证我们的新的正则化条款的有效性。我们还进行了比较实验,以评估基于Lanczos的谱范数最小化对以前的方法。结果表明,所提出的方法是有利的广泛的任务。
2022-12-01 cs.LG math.OC
Structure by Architecture: Structured Representations without Regularization
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
提出一种无需激进正则化的新型自编码器架构,通过结构化解码器学习潜变量层次结构,在生成、解耦和外推等下游任务中提升性能。
2024-02-15 cs.CV cs.LG stat.ML
Improving robustness and calibration in ensembles with diversity regularization
Technische Universität Darmstadt(达姆施塔特工业大学)
校准和不确定性估计是高风险环境中的关键问题。我们引入了一个新的多样性正则化分类任务,使用分布外的样本,并增加了整体的准确性,校准和分布外检测的合奏能力。继最近的兴趣在合奏的多样性,我们系统地评估显式正则化合奏多样性的可行性,以提高校准的分布数据,以及根据数据集转移。我们证明了多样性正则化在架构中是非常有益的,其中权重在各个成员之间部分共享,甚至允许使用更少的集成成员来达到相同的鲁棒性水平。在CIFAR-10、CIFAR-100和SVHN上的实验表明,正则化多样性可以对校准和鲁棒性以及分布外检测产生显著影响。
2022-01-26 cs.AI cs.LG
Improving Adversarial Robustness with Hypersphere Embedding and Angular-based Regularizations
Iowa State University(爱荷华州立大学)
对抗训练(AT)方法已被发现有效对抗对深度神经网络的对抗攻击。已经提出了AT的许多变体以提高其性能。Pang等人。[1]最近表明,将超球嵌入(HE)纳入现有的AT过程中可以增强鲁棒性。我们观察到,现有的AT程序不是为HE框架设计的,因此无法充分学习HE框架中可用的角度判别信息。在本文中,我们建议将他整合到AT与正则化项,利用丰富的角度信息,在他的框架。具体来说,我们的方法,称为angular-AT,增加了正则化条款AT显式地执行权重特征紧凑性和类间分离;所有表示的角度特征。实验结果表明,angular-AT进一步提高了对抗鲁棒性。
2023-03-15 cs.AI cs.CV cs.LG