A Gegenbauer Neural Network with Regularized Weights Direct Determination for Classification
School of Automation Science and Engineering(自动化科学与工程学院);South China University of Technology(华南理工大学)
单隐层前馈神经网络(SLFN)在模式分类问题中有着广泛的应用,但传统的迭代梯度学习算法存在速度慢、性能差的问题。虽然著名的极限学习机(ELM)已经成功地解决了收敛速度慢的问题,但它仍然存在输入权重和偏差随机分配带来的计算鲁棒性问题。因此,为了克服上述问题,在本文中,一种新型的神经网络的基础上Gegenbauer正交多项式,称为GNN,构建和研究。该模型可以克服ELM的计算鲁棒性问题,同时仍然具有相当的结构简单性和逼近能力。在此基础上,我们提出了一个正则化的权重直接确定(R-WDD)基于等式约束优化,以确定最佳的输出权重。R-WDD的目标是最小化网络的经验风险和结构风险,从而降低过拟合风险,提高泛化能力。这导致我们最终使用R-WDD的GNN,这是一种用于二进制和多类分类问题的统一学习机制。最后,如在各种比较实验中所验证的,与最小二乘支持向量机(LS-SVM)、具有高斯核的ELM相比,具有R-WDD的GNN倾向于具有相当的(甚至更好的)泛化性能、计算可扩展性和效率以及分类鲁棒性。
2019-10-25 cs.LG stat.ML
Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题,推导出嵌套随机优化的对偶形式,提出嵌套SGD算法并证明其多项式复杂度,数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
Optimal Transport Regularized Divergences: Application to Adversarial Robustness
Department of Mathematics(数学系);Texas State University(德克萨斯州立大学);School of Information Systems and Management(信息系统与管理学院);University of South Florida(佛罗里达州立大学)
本文提出由信息散度与 OT 代价下确界卷积构造的 $D^c$,并据此设计 $ARMOR_D$,通过对抗样本传输与动态重加权增强 DRO 训练,显著提升多种方法在 CIFAR 数据集上的 AutoAttack 鲁棒性。
2025-07-24 cs.LG stat.ML
Energy-Regularized Spatial Masking: A Novel Approach to Enhancing Robustness and Interpretability in Vision Models
DAVID Lab, UVSQ, Paris-Saclay University(DAVID实验室,UVSQ,巴黎-萨克雷大学);LIPN, UMR CNRS 7030, Sorbonne Paris Nord University(LIPN,UMR CNRS 7030,索邦巴黎北大学);LISN, Paris-Saclay University(LISN,巴黎-萨克雷大学)
本文提出能量正则化空间遮蔽框架,通过可微能量最小化问题重新定义特征选择,实现更鲁棒和可解释的视觉模型。
2026-06-09 cs.CV cs.LG
Achieving robustness in classification using optimal transport with hinge regularization
IRIT;Université Paul Sabatier Toulouse(图卢兹第三大学);IRT Saint-Exupery(圣埃克苏佩里技术研究院);IMT;Universidad de Valladolid(巴利亚多利德大学)
对抗性的例子已经指出了深度神经网络对小的局部噪声的脆弱性。它已被证明,限制他们的Lipschitz常数应增强鲁棒性,但使他们更难学习与经典的损失函数。我们提出了一个新的框架,二进制分类,最佳运输的基础上,它集成了Lipschitz约束作为一个理论要求。我们建议使用一种新的损失来学习1-Lipschitz网络,这种损失是用于Wasserstein距离估计的Kantorovich-Rubinstein对偶公式的铰链正则化版本。这个损失函数直接解释为对抗鲁棒性和可证明的鲁棒性界。我们还证明了这个铰链正则化版本仍然是一个最优运输问题的对偶公式,并且有解。我们还建立了这个最优解的几个几何性质,并将该方法扩展到多类问题。实验表明,该方法提供了预期的保证,在鲁棒性方面没有任何显着的准确性下降。在所提出的模型上,对抗性的例子明显地、有意义地改变了输入,为分类提供了解释。
2021-04-26 cs.LG stat.ML
Data Interpolants -- That's What Discriminators in Higher-order Gradient-regularized GANs Are
Robert Bosch Center for Cyber-Physical Systems(罗伯特·博世信息物理系统研究中心);Indian Institute of Science(印度科学学院)
本文证明高阶梯度正则化 GAN 的最优判别器等价于 n 维多调和 RBF 数据插值,并提出 Poly-LSGAN 与 Poly-WGAN,闭式实现显著优于任意架构。
2023-06-01 cs.LG stat.ML
Scalable Distributional Robustness in a Class of Non Convex Optimization with Guarantees
Singapore Management University(新加坡管理大学)
分布鲁棒优化(DRO)在学习和基于样本的优化问题中表现出很好的鲁棒性。我们致力于为一类分数和非凸优化提供DRO解决方案,用于设施位置和安全游戏等突出领域的决策。与以前的工作相比,我们发现它更容易优化DRO的等价方差正则化形式,而不是极小极大形式。我们将方差正则化形式转换为混合整数二阶锥规划(MISOCP),该规划在保证接近全局最优性的同时,不足以解决现实世界数据集的问题。我们进一步提出了两种基于聚类和分层采样的抽象方法,以提高可扩展性,然后我们将其用于现实世界的数据集。重要的是,我们为我们的方法提供了接近全局最优性的保证,并通过实验表明,我们的解决方案质量优于最先进的基于梯度的方法所实现的局部最优解。我们通过实验比较了我们不同的方法和基线,并揭示了DRO解决方案的细微差别。
2022-05-31 cs.LG math.OC
A Generic Approach for Enhancing GANs by Regularized Latent Optimization
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft Research, Redmond(微软研究院(雷德蒙德))
随着模型复杂性和数据量的快速增长,训练深度生成模型(DGMs)以获得更好的性能已经成为一个越来越重要的挑战。以往的研究主要集中在通过引入新的目标函数或设计更具表现力的模型结构来改进DGMs。然而,这样的方法通常引入显著更多的计算和/或设计开销。为了解决这些问题,我们在本文中介绍了一个通用的框架,称为{ \em生成模型推理},能够有效地增强预训练的GANs,无缝地在各种应用场景。我们的基本思想是使用Wasserstein梯度流技术有效地推断给定需求的最佳潜在分布,而不是重新训练或微调预训练的模型参数。在图像生成、图像翻译、文本到图像生成、图像修补和文本引导的图像编辑等应用上的大量实验结果表明了我们提出的框架的有效性和优越性。
2021-12-07 cs.CV cs.LG
Efficient Group Lasso Regularized Rank Regression with Simulation-Based Tuning
Engineering Systems and Design, Singapore University of Technology and Design, Singapore(新加坡科技设计大学工程系统与设计系);School of Mathematics and Statistics, Henan University(河南大学数学与统计学院);School of Mathematics and Statistics & Center for Applied Mathematics of Henan Province, Henan University(河南大学数学与统计学院及河南省应用数学中心)
针对高维回归受重尾噪声和异常值影响的问题,提出基于非光滑威尔科克森得分秩目标与组稀疏正则化的方法,引入模拟调优规则并建立误差界,开发近端增广拉格朗日方法,实验证明该方法的鲁棒性、有效性、效率及可扩展性。
2026-07-14 cs.LG math.OC math.ST
Regularized Modal Regression on Markov-dependent Observations: A Theoretical Assessment
Xi’an Jiaotong University(西安交通大学);Huazhong Agriculture University(华中农业大学)
模态回归是一种广泛使用的回归协议,由于其对离群值和重尾噪声的鲁棒性,在统计和机器学习社区中得到了广泛的研究。理解模态回归的理论行为是学习理论的基础。尽管在表征其统计特性方面取得了重大进展,但大多数结果都是基于样本独立且相同分布(i.i.d.)的假设,这对于现实世界的应用来说限制太多。本文研究了正则化模态回归(RMR)在一个重要的依赖结构-马尔可夫依赖下的统计性质。具体地说,我们在适当的条件下建立了RMR估计的上界,并给出了一个明确的学习率。我们的研究结果表明,马尔可夫依赖的方式,将通过一个乘法因子依赖于潜在的马尔可夫链的谱间隙的折扣的样本量的推广误差的影响。这一结果揭示了一个新的光表征的理论基础稳健回归。
2022-03-13 cs.LG stat.ML
Regularized Greedy Column Subset Selection
Department of Computer Systems, Universidad Politécnica de Madrid(马德里理工大学计算机系统系);Department of Applied Mathematics, Universidad Politécnica de Madrid(马德里理工大学应用数学系)
列子集选择问题为无监督的特征选择提供了一个自然的框架。尽管是一个很难的组合优化问题,但存在提供良好近似的有效算法。问题公式的缺点是它没有采用任何形式的正则化,因此在数据稀少的情况下对噪声非常敏感。在本文中,我们提出了一个正规化的制定这个问题,并推导出一个正确的贪心算法,是类似的效率,现有的贪婪方法的非正规化问题。我们研究了它的充分性特征选择,并提出了合适的配方。此外,我们推导出所提出的问题的错误的下界。通过对真实和合成数据的各种数值实验,我们证明了我们的方法的鲁棒性和稳定性显着增加,以及其输出的改进条件,同时保持有效的实际使用。
2018-04-12 cs.AI cs.LG stat.ML
MR-GAN: Manifold Regularized Generative Adversarial Networks
Syracuse University(雪城大学);Lawrence Livermore National Laboratory(劳伦斯利弗莫尔国家实验室);Duke University(杜克大学);The Ohio State University(俄亥俄州立大学)
尽管人们对生成对抗网络(GANs)的兴趣越来越大,但从理论和实践的角度来看,训练GANs仍然是一个具有挑战性的问题。为了解决这个问题,在本文中,我们提出了一种新的方法来利用独特的几何形状的真实数据,特别是流形信息。更具体地说,我们设计了一种方法来正则化GAN训练,通过添加一个额外的正则化项称为流形正则化。流形正则化器迫使生成器尊重真实数据流形的唯一几何形状并生成高质量的数据。此外,我们从理论上证明,在任何类别的GANs(包括DCGAN和Wasserstein GAN)中添加此正则化项会导致在泛化,平衡存在和稳定性方面的性能改善。初步实验表明,提出的流形正则化有助于避免模式坍塌,并导致稳定的训练。
2018-11-22 cs.CV cs.LG stat.ML
Regularized least squares learning with heavy-tailed noise is minimax optimal
Merantix Momentum;Institute for Mathematical Stochastics, Technische Universität Braunschweig(数学概率研究所,布拉unsch维格技术大学);Gatsby Computational Neuroscience Unit, University College London(盖茨计算神经科学单元,伦敦大学学院)
本文证明在噪声仅具有有限高阶矩的重尾条件下,再生核希尔伯特空间中的岭回归仍能达到此前仅在次指数噪声假设下成立的极小极大最优收敛速率,从而揭示了正则化最小二乘对重尾噪声的渐近鲁棒性。
2025-11-06 cs.LG math.ST stat.ML
Distributional Robustness with IPMs and links to Regularization and GANs
The Australian National University(澳大利亚国立大学);Data61
由于深度神经网络对小扰动的脆弱性,对抗性攻击的鲁棒性是一个重要的问题,近年来受到了广泛的关注。分布式鲁棒优化(DRO)是解决这一挑战的一种特别有前途的方法,它通过基于发散的不确定性集来研究鲁棒性,并为正则化等鲁棒化策略提供了有价值的见解。在机器学习的背景下,大多数现有的结果选择了$f$ -分歧,瓦瑟斯坦距离和最近的最大平均离散(MMD)来构建不确定性集。我们扩展这条工作线的目的,通过正则化的理解鲁棒性,通过研究不确定性集构造的积分概率距离(IPM)-一个大家庭的分歧,包括MMD,总变差和瓦瑟斯坦距离。我们的主要结果表明,DRO下\textit{any}选择IPM对应于一个家庭的正则化惩罚,恢复和改善现有的结果,在设置的MMD和瓦瑟斯坦距离。由于我们结果的一般性,我们表明其他IPM选择对应于机器学习中其他常用的惩罚。此外,我们扩展了我们的结果,通过$f$ -GANs揭示了对抗生成建模,构成了$f$ -GAN目标的分布鲁棒性的第一个研究。我们的研究结果揭示了鲁棒性方面的非线性集合的归纳属性,使我们能够对几种基于惩罚的GAN方法(如Wasserstein-,MMD-和Sobolev-GAN)给予积极的评价。总之,我们的结果将GANs与分布鲁棒性紧密联系起来,扩展了以前关于DRO的结果,并有助于我们理解正则化与鲁棒性之间的联系。
2020-06-08 cs.LG stat.ML
Towards Efficient and Unbiased Implementation of Lipschitz Continuity in GANs
Shanghai Jiao Tong University(上海交通大学)
Lipschitz连续性最近在生成对抗网络(GANs)中变得流行。据观察,Lipschitz正则化的神经网络导致改进的训练稳定性和样本质量。Lipschitz连续性的主流实现包括梯度罚和谱归一化。在本文中,我们证明了梯度惩罚引入了不希望的偏见,而频谱归一化可能是过度限制。因此,我们提出了一种新的方法,这是有效的和无偏的。我们的实验验证了我们的分析,并表明该方法能够实现成功的训练在各种情况下,梯度惩罚和频谱归一化失败。
2019-04-02 cs.LG stat.ML
Robust GANs against Dishonest Adversaries
Massachusetts Institute of Technology(麻省理工学院)
深度学习模型的鲁棒性是最近获得越来越多关注的属性。我们探索了生成对抗模型的鲁棒性概念,这与它们的内部交互结构有关,并表明,也许令人惊讶的是,原始形式的GAN并不鲁棒。我们的鲁棒性概念依赖于对其反馈的扰动鉴别器或嘈杂的对抗性干扰。我们从理论上和经验上探索了模型和训练属性对这种鲁棒性的影响。特别是,我们展示了由经验证据支持的鲁棒性的理论条件。我们还测试了正则化的效果。我们的研究结果表明,GANs的变体确实对噪声攻击更鲁棒,并且具有更稳定的训练行为,通常需要较少的正则化。受我们的理论结果的启发,我们进一步扩展我们的框架,以获得一类与WGAN相关的模型,具有良好的实证性能。总的来说,我们的研究结果提出了一个新的角度来理解和设计GAN模型,从他们的内部鲁棒性的观点。
2019-10-10 cs.LG stat.ML
An Optimal Transport Perspective on Unpaired Image Super-Resolution
Skolkovo Institute of Science and Technology(斯克沃尔诺沃科学与技术研究院);Artificial Intelligence Research Institute(人工智能研究所)
本文从最优传输视角研究无配对图像超分辨率,理论证明GAN学习的映射是有偏的,并提出神经OT方法以学习无偏映射,实验验证了其有效性。
2025-07-08 cs.CV cs.LG eess.IV
HFedATM: Hierarchical Federated Domain Generalization via Optimal Transport and Regularized Mean Aggregation
针对层次化联邦学习中的域偏移问题,提出HFedATM方法,通过滤波器级最优传输对齐和收缩感知正则化均值聚合提升域泛化性能,并具有更紧的泛化误差界。
2025-08-07 cs.DC cs.LG
Diversity Regularized Adversarial Learning
University of Louisville(路易斯维尔大学);University of Social Science(社会科学大学)
生成对抗网络(GANs)中的两个关键参与者,即神经网络和生成器,通常被参数化为深度神经网络(DNN)。在许多生成任务中,GANs实现了最先进的性能,但通常不稳定,无法训练,有时会错过模式。典型的失效模式是发生器崩溃为单参数配置,其中其输出相同。当这种坍缩发生时,对于许多相似的点,重力梯度可能指向相似的方向。我们假设,其中一些缺点部分是由于原始和冗余的特征提取的,这很容易使训练卡住。我们提出了一种新的方法,通过强制执行不同的特征学习来正则化对抗模型。为了做到这一点,生成器和生成器都通过根据它们的微分和基于它们的相对余弦距离惩罚负相关和正相关的特征来正则化。除了由卷积提供的对抗性损失的梯度信息之外,多样性正则化还确保提供更稳定的梯度来更新生成器和卷积。结果表明,我们的正则化器执行不同的功能,稳定训练,并改善图像合成。
2019-01-30 cs.CV cs.LG stat.ML
Twice regularized MDPs and the equivalence between robustness and regularization
Technion(以色列理工学院);Google Research, Brain Team(谷歌研究院大脑团队);NVIDIA Research(英伟达研究院)
鲁棒马尔可夫决策过程(MDP)旨在处理变化或部分已知的系统动态。为了解决这些问题,人们通常求助于鲁棒优化方法。然而,这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面,正则化的MDP在策略学习中表现出更好的稳定性,而不会降低时间复杂度。然而,它们通常不包含模型动态中的不确定性。在这项工作中,我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此,我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP:这导致正则化项对价值函数具有额外的依赖性。最后,我们将正则化的MDP推广到两次正则化的MDP(R ${}^2$ MDP),即,具有$\textit{both}$值和策略规则化的MDP。相应的Bellman算子使得能够开发具有收敛性和鲁棒性保证的策略迭代方案。它还将健壮的MDP中的规划和学习减少到正则化的MDP。
2021-10-12 cs.LG math.OC
On reproduction of On the regularization of Wasserstein GANs
Satrec Initiative(Satrec Initiative 公司)
本报告有几个目的。首先,我们的报告是为了调查提交的论文On the regularization of Wasserstein GANs(2018)的可重复性。其次,在提交的论文中进行的实验中,强调和再现了五个方面:学习速度,稳定性,对超参数的鲁棒性,估计Wasserstein距离,以及各种采样方法。最后,我们确定哪些部分的贡献可以复制,在资源方面的成本。所有用于复制的源代码都对公众开放。
2017-12-16 cs.LG stat.ML
Robustness of Conditional GANs to Noisy Labels
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
我们研究了从噪声标记样本中学习条件生成器的问题,其中标签被随机噪声破坏。条件GANs的标准训练不仅会产生带有错误标签的样本,还会产生质量差的样本。我们考虑两种情况,这取决于噪声模型是否已知。当噪声的分布是已知的,我们引入了一种新的架构,我们称之为鲁棒条件GAN(RCGAN)。其主要思想是在将生成的样本馈送到对抗性的机器人之前破坏样本的标签,迫使生成器生成具有干净标签的样本。通过RCGAN的损失与干净的真实分布和生成器分布之间的距离之间的相应乘法近似界限,证明了通过匹配的噪声信道的这种方法是合理的。这表明,所提出的方法是鲁棒的,当使用精心选择的架构,称为投影矩阵。当噪声的分布未知时,我们提供了我们的架构的扩展,我们称之为RCGAN-U,它在训练生成器的同时学习噪声模型。我们在MNIST和CIFAR-10数据集上的实验表明,这两种方法在基线方法上都有持续的改进,RCGAN-U与RCGAN的性能非常匹配。
2018-11-08 cs.AI cs.LG stat.ML
Ensembles of Generative Adversarial Networks for Disconnected Data
Rice University(莱斯大学)
大多数当前的计算机视觉数据集由不连通的集合组成,例如来自不同类别的图像。我们证明了这种类型的数据的分布不能用连续生成网络表示而没有错误。它们可以用两种方式表示:用一个网络集合或用一个具有截断潜在空间的单个网络。我们表明,合奏是更可取的比截断分布在实践中。我们构造了一个正则化优化问题,该问题建立了单个连续GAN、GANs的集合、条件GANs和高斯混合GANs之间的关系。这种正则化可以有效地计算,我们的经验表明,我们的框架有一个性能的甜蜜点,可以找到超参数调整。这种集成框架允许比单个连续GAN或cGAN更好的性能,同时保持更少的总参数。
2020-06-25 cs.LG stat.ML
On the Robustness of Quality Measures for GANs
University of Oxford(牛津大学)
这项工作评估了生成模型的质量度量的鲁棒性,如初始分数(IS)和Fréchet初始距离(FID)。类似于深度模型对各种对抗攻击的脆弱性,我们表明,这些指标也可以通过添加像素扰动来操纵。我们的实验表明,人们可以生成一个分布的图像具有非常高的分数,但感知质量低。相反,可以优化小的不可感知的扰动,当添加到现实世界的图像,恶化他们的分数。我们进一步将评估扩展到生成模型本身,包括最先进的网络StyleGANv2。我们显示的生成模型和FID对添加剂扰动的潜在空间的脆弱性。最后,我们证明了FID可以通过简单地用一个强大的Inception替换标准的Inception来鲁棒化。我们通过大量的实验验证了鲁棒度量的有效性,表明它对操纵更鲁棒。
2022-07-20 cs.LG
Regularized Training and Tight Certification for Randomized Smoothed Classifier with Provable Robustness
Cornell University(康奈尔大学);Alibaba Group Inc.(阿里巴巴集团)
最近,通过各向同性高斯扰动平滑基于深度神经网络的分类器被证明是一种有效且可扩展的方式,可以提供最先进的概率鲁棒性保证,以对抗$\ell_2$范数有界的对抗性扰动。然而,如何训练一个良好的基础分类器,是准确的和强大的平滑时,还没有得到充分的研究。在这项工作中,我们得到了一个新的正则化的风险,其中正则化可以自适应地鼓励平滑对应的准确性和鲁棒性时,训练的基础分类。它是计算效率高,可以与其他经验防御方法并行实施。我们讨论了如何在标准(非对抗性)和对抗性训练计划下实现它。同时,我们还设计了一个新的认证算法,它可以利用正则化效应提供更严格的鲁棒性下限,保持高概率。我们广泛的实验证明了CIFAR-10和ImageNet数据集上提出的训练和认证方法的有效性。
2020-02-17 cs.LG stat.ML
Convergence of GANs Training: A Game and Stochastic Control Methodology
University of California, Berkeley(加州大学伯克利分校)
众所周知,训练生成对抗网络(GANs)是困难的,特别是对于金融时间序列。本文首先分析了GANs极小极大博弈的适定性问题和GANs目标函数的凸性问题。然后,它提出了一个随机控制框架的超参数调整GANs训练。建立了动态规划原理的弱形式和相应的极大极小对策的粘性意义下值函数的存在唯一性。特别是,最佳自适应学习率和批量大小的显式形式推导出来,并显示依赖于目标函数的凸性,揭示了学习率的不正确选择和爆炸之间的关系在GANs训练。最后,实证研究表明,训练算法结合这种自适应控制方法优于标准的ADAM方法的收敛性和鲁棒性。从GANs训练的角度来看,本文的分析为流行的“裁剪”实践提供了分析支持,并建议GANs中的凸性和适定性问题可以通过适当选择超参数来解决。
2021-12-27 cs.LG stat.ML
Graph-Regularized Manifold-Aware Conditional Wasserstein GAN for Brain Functional Connectivity Generation
Monash University Malaysia(莫纳什大学马来西亚分校);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);University College London(伦敦大学学院)
包括协方差矩阵和相关矩阵在内的脑功能连接性(FC)的常见度量是驻留在锥形黎曼流形上的半正定(SPD)矩阵。尽管在欧几里得值数据生成方面取得了显著的成功,但使用标准生成对抗网络(GANs)来生成流形值FC数据忽略了其固有的SPD结构,因此忽略了真实FC中边缘的相互关联性。我们提出了一种新的图形正则化流形感知条件Wasserstein GAN(GR-SPD-GAN)的FC数据生成的SPD流形,可以保持全局FC结构。具体来说,我们在对抗训练下优化了真实和生成的SPD数据之间的广义Wasserstein距离,条件是类标签。所得到的生成器可以合成与不同类别的脑网络相关联的新的SPD值FC矩阵,例如,大脑紊乱或健康对照。此外,我们在SPD流形及其切线空间上引入了额外的基于人口图的正则化项,以鼓励生成器尊重真实数据中FC模式的受试者间相似性。这也有助于避免模式坍塌,并产生更稳定的GAN训练。基于抑郁症患者的静息态功能磁共振成像(fMRI)数据,定性和定量结果表明,GR-SPD-GAN在生成更真实的基于fMRI的FC样本方面明显优于现有的几种GANs。当应用于用于MDD识别的FC数据增强时,在我们的方法生成的增强数据上训练的分类模型在没有数据增强的基线上实现了竞争GANs之间分类准确性的最大改进幅度。
2022-12-10 cs.CV cs.LG q-bio.NC
GRAPPA-GANs for Parallel MRI Reconstruction
Center for Magnetic Resonance Research (CMRR)(磁共振研究中心);University of Minnesota Twin Cities(明尼苏达大学双城分校)
k空间欠采样是加速MR图像采集的标准技术。重建技术包括GeneRalized Autocalibrating Partial Parallel Acquisition(GRAPPA)及其变体,广泛用于临床和研究环境。开发了一种将GRAPPA与条件生成对抗网络(GAN)相结合的重建模型,并在来自fastMRI数据集的多线圈人脑图像上进行了测试。对于不同的加速度,GAN和GRAPPA重建的峰值信噪比(PSNR)和结构相似性(SSIM)进行了比较。对于R=4的加速率,PSNR从使用正则化GRAPPA的33.88提高到使用GAN的37.65。GAN在各种加速率上的表现都优于GRAPPA。
2021-02-15 cs.CV cs.LG eess.IV
Robust Generative Adversarial Network
University of Liverpool(利物浦大学);Alibaba Group(阿里巴巴集团)
生成对抗网络(GANs)是一种强大的生成模型,但通常存在不稳定性和泛化问题,可能导致生成能力差。大多数现有的工作集中在稳定的训练,而忽略了泛化性能。在这项工作中,我们的目标是提高泛化能力的GANs的局部鲁棒性内的小邻域的训练样本。我们还证明了在训练集的小邻域内的鲁棒性可以导致更好的推广。特别是,我们设计了一个强大的优化框架,发电机和发电机相互竞争的\textit{worst-case}设置在一个小Wasserstein球。生成器尝试将\textit{the worst input distribution}(而不是大多数GANs中使用的高斯分布)映射到真实数据分布,而生成器尝试区分真实和虚假分布\textit{with the worst perturbation}。我们已经证明了我们的鲁棒方法可以在温和的假设下获得比传统GANs更严格的泛化上限,确保RGAN优于GANs的理论优势。在CIFAR-10,STL-10和CelebA数据集上的一系列实验表明,我们提出的鲁棒框架可以显著和一致地改善五个基线GAN模型。
2020-04-28 cs.LG stat.ML
Robustness to Subpopulation Shift with Domain Label Noise via Regularized Annotation of Domains
Google(谷歌公司)
针对域标签噪声下子群体漂移的鲁棒性,提出域的正则化标注(RAD)方法,无需显式域标注即可训练鲁棒最后一层分类器,在5%噪声下优于依赖标注的最先进方法。
2024-06-26 cs.LG stat.ML
Entropy Regularization Improves Policy Robustness in Continuous-Time Reinforcement Learning
University of Edinburgh(爱丁堡大学);J.P. Morgan AI Research(摩根大通人工智能研究);Imperial College London(伦敦帝国理工学院)
研究连续时间强化学习中熵正则化的策略鲁棒性,建立相关理论保证,分析鲁棒集特性,实验验证其有效性。
2026-07-07 cs.LG math.OC
Adversarial Classification via Distributional Robustness with Wasserstein Ambiguity
The University of Sydney(悉尼大学);University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
我们研究了一个基于分布鲁棒机会约束的对抗分类模型。我们表明,在Wasserstein歧义下,该模型的目标是最小化错误分类距离的条件风险值,我们探索了与早期提出的对抗性分类模型和最大边缘分类器的联系。我们还提供了一个重新制定的分布鲁棒模型的线性分类,并表明它是等价于最小化正则化斜坡损失的目标。数值实验表明,尽管这个公式的非凸性,标准下降方法似乎收敛到这个问题的全局极小值。受此观察的启发,我们表明,对于某一类分布,正则化斜坡损失最小化问题的唯一稳定点是全局最小值。
2021-11-04 cs.LG math.OC stat.ML
Twice Regularized Markov Decision Processes: The Equivalence between Robustness and Regularization
Technion(以色列理工学院);Google Research(谷歌研究院);Nvidia Research(英伟达研究院)
鲁棒马尔可夫决策过程(MDP)旨在处理变化或部分已知的系统动态。为了解决这些问题,人们通常求助于鲁棒优化方法。然而,这显著地增加了计算复杂性并且限制了学习和规划两者的可扩展性。另一方面,正则化的MDP在策略学习中表现出更好的稳定性,而不会降低时间复杂度。然而,它们通常不包含模型动态中的不确定性。在这项工作中,我们的目标是使用正则化来学习鲁棒的MDP。我们首先证明了正则化的MDP是具有不确定奖励的鲁棒MDP的一个特殊实例。因此,我们建立了奖励健壮的MDP上的策略迭代可以具有与正则化的MDP相同的时间复杂度。我们进一步将这种关系扩展到具有不确定过渡的MDP:这导致正则化项对价值函数具有额外的依赖性。然后,我们将正则化的MDP推广到两次正则化的MDP($\text{R}^2$ MDP),即,具有$\textit{both}$值和策略规则化的MDP。相应的贝尔曼算子使我们能够得到规划和学习计划的收敛性和推广的保证,从而降低鲁棒性正则化。我们在数值上显示了这种双重优势,在表格和物理域,突出的事实,即$\text{R}^2$保持其效力在连续的环境。
2023-03-12 cs.AI cs.LG
Cascade Adversarial Machine Learning Regularized with a Unified Embedding
Georgia Institute of Technology(佐治亚理工学院)
在训练过程中注入对抗性示例,称为对抗性训练,可以提高对单步攻击的鲁棒性,但对未知的迭代攻击则不行。为了应对这一挑战,我们首先展示了迭代生成的对抗图像可以在使用相同策略训练的网络之间轻松传输。受这一观察的启发,我们提出了级联对抗训练,它转移了对抗训练最终结果的知识。我们从零开始训练网络,除了从正在训练的网络中注入一步对抗图像外,还注入从已经防御的网络中迭代生成的对抗图像。我们还建议利用嵌入空间进行分类和低级(像素级)相似性学习,以忽略未知的像素级扰动。在训练过程中,我们注入对抗图像,而不替换它们相应的干净图像,并惩罚两个嵌入(干净和对抗)之间的距离。实验结果表明,级联对抗训练与我们提出的低级别相似性学习有效地提高了对迭代攻击的鲁棒性,但对一步攻击的鲁棒性下降。我们表明,结合这两种技术也可以提高最坏情况下的黑盒攻击场景下的鲁棒性。
2018-03-17 cs.LG stat.ML
Lipschitz-Regularized Critics Lead to Policy Robustness Against Transition Dynamics Uncertainty
College of Engineering & Computer Science, Syracuse University(工程与计算机科学学院,苏利文大学)
研究针对强化学习中转移动态不确定性致策略性能下降问题,提出基于近端策略优化的PPO-PGDLC算法,集成投影梯度下降与李普希茨正则化评论家,实验表明该算法在环境扰动下性能更好且动作更平滑。
2026-07-09 cs.LG
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University(麦吉尔大学);University of Minnesota(明尼苏达大学)
在这项工作中,我们研究了深度神经网络的输入梯度正则化,并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难,但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练,我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明,正则化模型是更强大的,图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Semi-Supervised Multitask Learning on Multispectral Satellite Images Using Wasserstein Generative Adversarial Networks (GANs) for Predicting Poverty
Stanford University(斯坦福大学)
要获得可靠的数据,详细描述当地的贫困指标,为决策者提供信息,就需要进行昂贵和后勤困难的调查,特别是在发展中国家。毫不奇怪,贫困地区也很可能成为战区,基础设施薄弱,有时政府不与国际资助的发展努力合作。我们对CNN进行训练,利用Landsat 7提供的非洲大陆免费和公开的日间卫星图像,建立一个预测当地经济生计的模型。只有5%的卫星图像可以与标签(从DHS调查中获得)相关联,因此使用GAN的半监督方法(类似于Salimans等人的方法(2016)),尽管使用了更稳定的GANs训练风格,称为Wasserstein GAN,使用梯度惩罚正则化(Gulrajani等人(2017))。采用多任务学习的方法来规范网络,并创建用于预测多个贫困指标的端到端模型。
2019-04-25 cs.CV cs.LG
Robustness and Regularization of Support Vector Machines
McGill University(麦吉尔大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑正则化的支持向量机(SVM),并表明它们是完全等价于一个新的强大的优化配方。我们表明,这种等价的鲁棒优化和正则化的算法和分析的影响。在算法方面,等价性建议更一般的SVM类分类算法,明确建立在保护噪声,并在同一时间控制过拟合。在分析方面,鲁棒性和正则化的等价性为正则化支持向量机的成功提供了鲁棒优化解释。我们使用这种新的鲁棒性解释的支持向量机(核化)支持向量机的一致性,从而建立鲁棒性的原因正则化支持向量机推广良好。
2008-11-11 cs.AI cs.LG
Task-Aware Compressed Sensing with Generative Adversarial Networks
University of Maryland, College Park(马里兰大学帕克分校);University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所)
近年来,神经网络方法已被广泛用于机器学习任务,并应用于计算机视觉。最近,基于神经网络的无监督生成模型已经成功地应用于通过低维潜在空间对数据分布进行建模。在本文中,我们使用生成对抗网络(GANs)在压缩感知问题中施加结构,取代通常的稀疏性约束。我们建议以任务感知的方式训练GANs,特别是用于重建任务。我们还表明,它是可能的训练我们的模型,而不使用任何(或太多)非压缩数据。最后,我们证明了GAN的潜在空间携带有判别信息,并且可以进一步正则化以生成用于一般推理任务的输入特征。我们证明了我们的方法对各种重建和分类问题的有效性。
2018-02-05 cs.LG stat.ML
Mode Regularized Generative Adversarial Networks
University of Waterloo(滑铁卢大学);Université de Montréal(蒙特利尔大学);The Hong Kong Polytechnic University(香港理工大学)
虽然生成对抗网络在各种生成任务上取得了最先进的结果,但它们被认为是高度不稳定的,并且容易出现失误模式。我们认为,GANs的这些不良行为是由于在高维空间中训练的鉴别器的非常特殊的函数形状,这很容易使训练卡住或将概率质量推向错误的方向,朝向比数据生成分布更高的集中度。我们介绍了几种正则化目标的方法,这可以显着稳定GAN模型的训练。我们还表明,在训练的早期阶段,我们的正则化器可以帮助在数据生成分布的模式中公平分布概率质量,从而为缺失模式问题提供统一的解决方案。
2017-03-02 cs.AI cs.CV cs.LG
Improve Model Generalization and Robustness to Dataset Bias with Bias-regularized Learning and Domain-guided Augmentation
深度学习因生物医学大数据的出现而蓬勃发展。然而,在不同机构获得的医疗数据集具有由各种混杂因素引起的固有偏差,例如操作策略,机器协议,治疗偏好等。因此,在一个数据集上训练的模型,无论体积如何,都不能自信地用于其他数据集。在这项研究中,我们使用三个大规模的胸部X射线数据集研究了模型对数据集偏差的鲁棒性:首先,我们使用香草训练基线评估了数据集偏差;其次,我们提出了一种新的多源域泛化模型,方法是:(a)设计一个新的偏差正则化损失函数;(b)合成新数据进行域增强。我们发现,我们的模型在准确性和各种偏差测量方面显着优于基线和其他方法,而无需重新训练或微调。我们的方法普遍适用于其他生物医学数据,为大数据分析和应用提供了训练模型的新算法。演示培训代码是公开的。
2019-11-13 cs.CV cs.LG eess.IV
On the MIA Vulnerability Gap Between Private GANs and Diffusion Models
本文针对差分隐私生成模型的MIA风险,通过理论分析和标准化实验证明GANs比扩散模型对数据扰动敏感性更低、隐私鲁棒性更强,揭示模型类型对隐私泄露的关键影响。
2025-09-03 cs.AI cs.LG
Evaluating Post-Training Compression in GANs using Locality-Sensitive Hashing
Hasso Plattner Institute(哈索·普拉特纳研究所)
生成对抗网络(GANs)在训练后的压缩效果分析,即没有任何微调,仍然是一个未研究的,尽管重要的主题,随着其计算和内存需求的增加趋势。虽然现有的工作讨论了在训练过程中压缩GANs的困难,需要考虑到GANs训练的不稳定性而设计的新方法,但我们表明,现有的压缩方法(即裁剪和量化)可以直接应用于压缩GANs后训练,而无需任何额外的更改。高压缩级别可能会扭曲生成的集合,可能导致离群值的增加,这可能会对现有的基于k最近邻(KNN)的度量的整体评估产生负面影响。我们提出了两个新的精度和召回率指标的基础上,局部敏感的哈希(LSH),其中,在增加离群值的鲁棒性,降低评估的复杂性对$n$参考样本从$O(n)$到$O(\log(n))$,如果使用LSH和KNN,和$O(1)$,如果只应用LSH。我们发现,在多个数据集上对几个预训练的GANs进行低比特压缩会导致精度和召回率之间的权衡,在牺牲样本多样性的同时保留样本质量。
2021-03-22 cs.AI cs.CV cs.LG
Regularized Training of Intermediate Layers for Generative Models for Inverse Problems
Khoury College of Computer Sciences, Northeastern University(东北大学库理计算机学院);Department of Mathematics, Northeastern University(东北大学数学系)
生成对抗网络(GANs)在解决逆问题时已被证明是强大而灵活的先验。使用它们的一个挑战是克服表示误差,这是网络表示任何特定信号的基本限制。最近,多个提出的反演算法通过优化中间层表示来减少表示误差。这些方法通常应用于生成模型,该生成模型被训练为与下游反演算法无关。在我们的工作中,我们引入了一个原则,即如果生成模型旨在使用基于中间层优化的算法进行反演,则应该以正则化这些中间层的方式进行训练。我们实例化这一原则的两个显着的最近的反演算法:中间层优化和多码GAN之前。对于这两种反演算法,我们引入了一种新的正则化GAN训练算法,并证明了在解决压缩感知,修复和超分辨率问题时,学习的生成模型在很宽的采样率范围内具有较低的重建误差。
2022-03-08 cs.CV cs.LG eess.IV
Deep unfolding of MCMC kernels: scalable, modular & explainable GANs for high-dimensional posterior sampling
Maxwell Institute for Mathematical Sciences(麦克斯韦数学科学研究所);School of Mathematical and Computer Sciences, Heriot-Watt University(赫瑞-瓦特大学数学与计算机科学学院);School of Mathematics, University of Edinburgh(爱丁堡大学数学学院)
本文提出通过深度展开Langevin MCMC算法设计可扩展、模块化且可解释的GANs,用于高维后验采样,实现高效且稳定的采样性能。
2026-02-24 cs.LG
Regularized Wasserstein Means for Aligning Distributional Data
Arizona State University(亚利桑那州立大学)
我们建议从Wasserstein方法的角度调整分布数据。我们提出的问题,规范Wasserstein手段,并提出了几个条款,以解决不同的问题。我们的配方是基于变分运输分配到目标域的稀疏离散措施。所得到的稀疏表示很好地捕捉了域的期望属性,同时降低了映射成本。我们证明了我们的方法的可扩展性和鲁棒性的例子在领域自适应,点集注册,骨架布局。
2020-02-21 cs.LG stat.ML
Prescribed Generative Adversarial Networks
Columbia University(哥伦比亚大学);University of Cambridge(剑桥大学);DeepMind
生成对抗网络(GANs)是无监督学习的一种强大方法。他们在图像领域取得了最先进的性能。然而,GANs在两个方面受到限制。他们经常学习低支持度的分布-一种被称为模式崩溃的现象-并且他们不保证概率密度的存在,这使得使用预测对数似然来评估泛化是不可能的。在本文中,我们开发了指定的GAN(PresGAN)来解决这些缺点。PresGAN将噪声添加到密度网络的输出中,并优化熵正则化的对抗损失。添加的噪声呈现预测对数似然的易于处理的近似,并稳定训练过程。熵正则化器鼓励PresGAN捕获数据分布的所有模式。拟合PresGAN涉及计算熵正则化项的棘手梯度; PresGAN使用无偏随机估计来回避这种棘手性。我们在几个数据集上评估了PresGAN,发现它们减轻了模式崩溃,并生成了具有高感知质量的样本。我们进一步发现,PresGANs减少了传统GANs和变分自编码器(VAE)之间在预测对数似然方面的性能差距。
2019-10-09 cs.LG stat.ME stat.ML
On the Convergence of Approximate and Regularized Policy Iteration Schemes
Criteo AI Lab(科韬人工智能实验室)
熵正则化算法(如Soft Q-learning和Soft Actor-Critic)最近在许多具有挑战性的强化学习(RL)任务上表现出最先进的性能。正则化公式修改了标准RL目标,因此通常会收敛到与原始RL问题的最佳贪婪策略不同的策略。在实际应用中,控制正则化最优策略的次优性是非常重要的。在本文中,我们建立了一个大类的正则化动态规划算法的收敛性的充分条件,统一下正则化修改策略迭代(MPI)和保守值迭代(VI)计划。我们提供了明确的收敛速度的最优性依赖于正则化参数的下降率。我们的实验表明,经验误差密切遵循既定的理论收敛速度。除了最优性,我们证明了正则化算法的两个理想的行为,即使在没有近似:鲁棒性随机环境和安全的轨迹引起的政策迭代。
2019-10-14 cs.LG stat.ML
Differentiable Gaussianization Layers for Inverse Problems Regularized by Deep Generative Models
ExxonMobil Technology & Engineering Company(埃克森美孚技术与工程公司)
针对深度生成模型在反演中潜在张量偏离高斯分布导致低保真度的问题,提出可微数据相关层进行重新参数化和高斯化,在MRI等任务上实现最先进性能。
2024-07-29 cs.CV cs.LG
Kernel-Based Training of Generative Networks
Rutgers University(罗格斯大学);University of Patras(帕特雷大学)
生成对抗网络(GANs)是在最小-最大优化问题的帮助下设计的,这些优化问题是用随机梯度型算法解决的,而这些算法是非鲁棒的。在这项工作中,我们重新审视了一个非对抗性的方法依赖于一个纯粹的最小化问题的内核,并提出了一个简单的随机梯度算法计算其解决方案。使用随机逼近理论的简化工具,我们证明了批量版本的算法或平滑的梯度不会提高收敛性。这些观察允许开发一种训练算法,该算法具有降低的计算复杂性和增加的鲁棒性,同时表现出与经典GANs相似的合成特性。
2018-11-23 cs.LG stat.ML
DigGAN: Discriminator gradIent Gap Regularization for GAN Training with Limited Data
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
生成对抗网络(GANs)在学习从给定数据集指定的分布中采样方面非常成功,特别是如果给定数据集与其维度相比相当大。然而,由于数据有限,经典的GANs一直在努力,输出正则化,数据增强,使用预训练模型和修剪等策略已被证明可以带来改进。值得注意的是,这些策略的适用性1)通常限于特定的设置,例如,预训练的GAN的可用性;或者2)增加训练时间,例如,当使用修剪。相比之下,我们提出了一个鉴别器梯度间隙正则化GAN(DigGAN)配方,可以添加到任何现有的GAN。DigGAN增强了现有的GANs,鼓励缩小神经网络预测的梯度范数与r.t.之间的差距。真实图像和w.r.t.\生成的样本。我们观察这个公式以避免GAN损失景观中的不良吸引子,并且我们发现DigGAN在有限的数据可用时显着改善了GAN训练的结果。代码可在\url{https://github.com/AilsaF/DigGAN}上获得。
2022-11-27 cs.CV cs.LG
Spot The Odd One Out: Regularized Complete Cycle Consistent Anomaly Detector GAN
Amirkabir University of Technology(阿米尔卡比尔理工大学)
本文提出 RCALAD 异常检测方法,通过引入新型判别器、补充分布和两种异常分数,结合循环一致性 GAN 提升异常检测性能,并在六个数据集上验证其优于现有方法。
2024-04-30 cs.LG
To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs
IIT Delhi(印度理工学院德里分校);TIFR Mumbai(塔塔基础研究院孟买分院)
正则化自动编码器(Regularized Auto-Encoders,RAE)是一类丰富的神经生成模型。它们使用编码器-解码器组合有效地对数据和潜在空间之间的联合分布进行建模,并根据潜在空间的先验进行正则化。尽管它们具有诸如训练稳定性等优点,但基于AE的模型的性能尚未达到诸如生成对抗网络(GANs)等其他生成模型的性能的优越标准。基于此,本文研究了潜在先验对确定性声发射模型生成质量的影响。具体而言,我们认为类的RAE确定性编码器-解码器对,Wasserstein自动编码器(WAE),并表明,有一个固定的先验分布,\textit{a priori},无视的“真正的”潜在空间的维数,将导致考虑的优化问题的不可行性。此外,我们表明,在有限的数据制度,尽管知道正确的潜在维度,存在一个偏差方差权衡与任何任意的先验强加。作为对上述两个问题的补救措施,我们在WAE的优化目标中以灵活学习的潜在先验的形式引入了额外的状态空间。我们隐式地学习潜在先验的分布与AE训练,这不仅使学习目标可行,而且便于在偏差-方差曲线的不同点上进行操作。我们通过在多个数据集上的几个实验展示了我们的模型(称为FlexAE)的有效性,并证明了它是基于AE的生成模型的最新技术水平。
2020-09-19 cs.CV cs.LG stat.ML
Population-Based Multi-Objective Training of Discriminators for Semi-Supervised GANs
ITIS Software, University of Malaga(ITIS软件,马拉加大学);CSAIL MIT, Cambridge, MA, USA(MIT计算机科学与人工智能实验室,剑桥,马萨诸塞州,美国)
提出基于种群的多目标进化训练策略,将半监督GAN的判别器学习建模为多目标优化问题,通过帕累托支配排序探索分类精度与真假判别之间的权衡,提升训练鲁棒性和分类准确率。
2026-07-03 cs.AI cs.CV cs.LG