Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University(普林斯顿大学)
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法,用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比,我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战:(1)每次更新都需要计算状态空间上的概率分布,并且是难以处理的;(2)迭代是不稳定的,因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战,提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明,在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下,而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起,因此信息量更大。一个简单的推车极点问题的实验表明,该算法显着优于一步的时间差actor-critic方法,这是最相关的基准方法进行比较。我们相信,对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
An Empirical Study of Implicit Regularization in Deep Offline RL
DeepMind(深度思维)
深度神经网络是离线强化学习中最常用的函数逼近器。先前的工作已经表明,用TD学习和梯度下降训练的神经网络可以表现出隐式正则化,其特征在于这些网络的参数化不足。具体而言,已观察到倒数第二个特征层(也称为\textit{effective rank})的秩在训练期间急剧崩溃。反过来,这种崩溃被认为会降低模型在学习后期进一步适应的能力,导致最终性能下降。有效排名和性能之间的这种关联使得有效排名对于离线RL(主要是对于离线策略评估)是有吸引力的。在这项工作中,我们在三个离线RL数据集上对有效排名与性能之间的关系进行了仔细的实证研究:bsuite,Atari和DeepMind实验室。我们观察到,直接关联只存在于受限设置中,而在更广泛的超参数扫描中消失。此外,我们经验性地确定了三个阶段的学习,解释了隐式正则化对学习动力学的影响,并发现仅自举不足以解释有效秩的崩溃。此外,我们发现,其他几个因素可能混淆有效排名和性能之间的关系,并得出结论,在简单的假设下研究这种关联可能是高度误导。
2022-07-07 cs.LG
Temporal Regularization in Markov Decision Process
McGill University(麦吉尔大学);Facebook AI Research(Facebook人工智能研究院)
强化学习的一些应用由于高方差而遭受不稳定性。这在高维域中尤其普遍。正则化是机器学习中常用的技术,用于减少方差,但代价是引入一些偏差。大多数现有的正则化技术集中在空间(感知)正则化。然而,在强化学习中,由于Bellman方程的性质,也有机会利用基于轨迹上的值估计的平滑度的时间正则化。本文探讨了一类时间正则化方法。我们正式的特点,这种技术使用马尔可夫链的概念引起的偏见。我们通过一系列简单的离散和连续的MDP说明了时间正则化的各种特性,并表明该技术即使在高维Atari游戏中也能提供改进。
2019-04-10 cs.LG stat.ML
Bellman-Taylor Score Decoding for Markov Decision Processes with State-Dependent Feasible Action Sets
Hong Kong University of Science and Technology(香港科技大学)
针对状态依赖可行动作集的MDP,提出贝尔曼-泰勒分数解码框架,将策略学习映射到欧几里得分数空间,通过动作解码器保证可行性,并证明最优性间隙分解为结构近似误差和算法学习误差,在排队网络控制中表现优异。
2026-06-09 cs.AI
Offline Multi-Agent Reinforcement Learning with Implicit Global-to-Local Value Regularization
Institute for AI Industry Research (AIR), Tsinghua University(清华大学智能产业研究院(AIR));Beijing Jiaotong University(北京交通大学);UT Austin(德克萨斯大学奥斯汀分校);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有离线多智能体强化学习未充分考虑全局系统的问题,提出带隐式全局到局部值正则化的OMIGA算法,实现全局正则到局部的转化与样本内学习,在多类基准任务上性能优于现有最优方法。
2023-11-07 cs.LG cs.MA
Bellman Calibration for Marginalized Importance Weighting in Offline Reinforcement Learning
Stanford University(斯坦福大学);Netflix(网飞);Cornell University(康奈尔大学)
本文针对离线强化学习中边缘化重要性加权的残留占用平衡违反问题,提出等渗贝尔曼校准方法,可减少此类违反并保证下游策略价值估计等任务的性能。
2026-08-26 cs.LG stat.ML
Natural Policy Gradient as Doubly Smoothed Policy Iteration: A Bellman-Operator Framework
Edwardson School of Industrial Engineering, Purdue University(工业工程学院,普渡大学)
本文提出双重平滑策略迭代框架,将自然策略梯度等方法统一为贝尔曼算子形式,证明其分布无关的几何收敛性,且无需修改MDP或引入额外正则化。
2026-05-11 cs.LG math.OC stat.ML
DR3: Value-Based Deep Reinforcement Learning Requires Explicit Regularization
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);MILA(蒙特利尔学习算法研究所);Stanford University(斯坦福大学)
尽管过度参数化,但通过监督学习训练的深度网络很容易优化,并表现出出色的泛化能力。解释这一点的一个假设是,过度参数化的深度网络享受由随机梯度下降引起的隐式正则化的好处,这有利于在测试输入上推广良好的简约解决方案。可以合理地推测,深度强化学习(RL)方法也可以受益于这种效应。在本文中,我们讨论了在监督学习中看到的SGD的隐式正则化效应如何在离线深度RL设置中实际上是有害的,导致泛化能力差和退化的特征表示。我们的理论分析表明,当现有的隐式正则化模型应用于时间差分学习,所得到的派生正则化有利于退化的解决方案与过度的“混叠”,在鲜明的对比监督学习的情况下。我们根据经验支持这些发现,表明通过自举训练的深度网络价值函数学习的特征表示确实可以退化,混淆出现在Bellman备份两侧的状态-动作对的表示。为了解决这个问题,我们推导出这种隐式正则化的形式,并受到这种推导的启发,提出了一种简单有效的显式正则化,称为DR 3,抵消了这种隐式正则化的不良影响。当与现有的离线RL方法相结合时,DR 3大大提高了性能和稳定性,减轻了Atari 2600游戏,D4 RL领域和图像机器人操作中的遗忘。
2021-12-09 cs.LG
Choquet regularization for reinforcement learning
University of Waterloo(滑铁卢大学);Columbia University(哥伦比亚大学)
我们提出了\emph{Choquet regularizers}来衡量和管理强化学习(RL)的探索水平,并重新制定了Wang等人(2020,JMLR,21(198))的连续时间熵正则化RL问题,其中我们用Choquet正则化器替换了用于正则化的微分熵。我们推导出该问题的Hamilton-Jacobi-Bellman方程,并通过静态最大化均值方差约束的Choquet正则化子,在线性二次(LQ)情形下显式求解该方程。在LQ的设置下,我们推导出几个特定的Choquet正则化的显式最优分布,并反过来确定Choquet正则化,生成一些广泛使用的探索性采样器,如$ε$ -贪婪,指数,均匀和高斯。
2022-08-17 cs.LG q-fin.MF stat.ML
Derivative-Free Policy Optimization for Linear Risk-Sensitive and Robust Control Design: Implicit Regularization and Sample Complexity
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
直接策略搜索是现代强化学习的主要方法之一,其在连续控制任务中的应用近年来受到越来越多的关注。在这项工作中,我们研究了学习线性风险敏感和鲁棒控制器的策略梯度(PG)方法的收敛理论。特别是,我们开发的PG方法,可以实现在一个衍生的自由的方式通过采样系统轨迹,并建立整体收敛和样本复杂性的结果在解决方案的两个基本设置在风险敏感和鲁棒控制:有限时域线性指数二次高斯,和有限时域线性二次扰动衰减问题。作为一个副产品,我们的研究结果还提供了第一个样本的复杂性PG方法的整体收敛性解决零和线性二次动态游戏,一个非凸-非凹极大极小最优化问题,作为一个基线设置在多智能体强化学习(MARL)与连续空间。我们的算法的一个特点是,在学习阶段,一定程度的鲁棒性/风险敏感性的控制器,我们称之为隐式正则化属性,是在安全关键控制系统的基本要求。
2021-12-30 cs.AI cs.LG cs.SY
Implicit Regularization for Multi-label Feature Selection
针对多标签学习中的特征选择问题,提出一种基于隐式正则化和标签嵌入的估计器,通过Hadamard积参数化避免显式正则化项的额外偏差,实验表明该方法可减少偏差并可能导致良性过拟合。
2026-06-01 cs.AI cs.LG
Implicit Regularization in Hierarchical Tensor Factorization and Deep Convolutional Neural Networks
Tel Aviv University(特拉维夫大学)
为了解释深度学习中的隐式正则化,重点关注了矩阵和张量分解,它们对应于简化的神经网络。结果表明,这些模型表现出一个隐含的倾向,低矩阵和张量秩,分别。为了更接近实际的深度学习,本文从理论上分析了分层张量分解中的隐式正则化,这是一种等效于某些深度卷积神经网络的模型。通过动力系统的镜头,我们克服了与层次结构相关的挑战,并建立了隐式正则化低层次张量秩。这转化为对相关卷积网络局部性的隐式正则化。受我们理论的启发,我们设计了显式正则化来抑制局部性,并证明了它能够提高现代卷积网络在非局部任务上的性能,这与需要改变架构的传统智慧背道而驰。我们的工作突出了通过对神经网络的隐式正则化进行理论分析来增强神经网络的潜力。
2022-09-18 cs.AI cs.LG cs.NE
Variational Deep Learning via Implicit Regularization
本文提出通过梯度下降的隐式偏见正则化变分神经网络,理论分析了过参数化线性模型中的归纳偏置,并实验证明其在分布内和分布外任务中的有效性。
2026-03-13 cs.AI cs.LG stat.ML
On implicit regularization: Morse functions and applications to matrix factorization
在本文中,我们重新审视隐式正则化从地面上使用动力系统和不变的Morse函数的子空间的概念。主要贡献是隐式正则化的一个新标准-解释神经网络等深度模型泛化能力的主要竞争者-和研究它的一般蓝图。我们应用这些技术解决了矩阵分解中隐式正则化的一个猜想。
2020-01-31 cs.LG stat.ML
Implicit Regularization in Tensor Factorization
Tel Aviv University(特拉维夫大学)
最近在深度学习中解开隐式正则化之谜的努力导致了对矩阵分解的理论关注-通过线性神经网络完成矩阵。作为迈向实际深度学习的一步,我们提供了张量因式分解中隐式正则化的第一个理论分析-通过某种类型的非线性神经网络实现张量完备化。我们规避了臭名昭著的困难张量问题,通过采用动力系统的角度来看,和表征的演变引起的梯度下降。的表征表明,贪婪的低张量秩搜索的形式,我们严格证明在某些条件下,和经验证明在其他情况下。受张量秩捕获非线性神经网络的隐式正则化的启发,我们将其作为复杂性的度量进行了经验探索,并发现它捕获了神经网络概括的数据集的本质。这让我们相信,张量秩可以为解释深度学习中的隐式正则化以及将这种隐式正则化转化为泛化的真实数据的属性铺平道路。
2021-06-09 cs.AI cs.LG cs.NE
Implicit Regularization in Deep Matrix Factorization
Princeton University(普林斯顿大学);Institute for Advanced Study(高等研究院);Tel Aviv University(特拉维夫大学)
对深度学习中泛化之谜的理解使人们相信,基于梯度的优化引入了一种隐式正则化形式,即偏向于低“复杂度”的模型。“我们研究了深度线性神经网络上的梯度下降的隐式正则化,用于矩阵完成和检测,这是一个被称为深度矩阵分解的模型。我们的第一个发现,理论和实验的支持,是增加深度的矩阵分解增强了对低秩的解决方案的隐含趋势,往往导致更准确的恢复。其次,我们提出了理论和经验的论点质疑一个新生的观点,隐式正则化矩阵分解可以捕获使用简单的数学规范。我们的研究结果表明,标准正则化的语言可能不够丰富,无法完全包含基于梯度的优化所带来的隐式正则化。
2019-10-26 cs.AI cs.LG cs.NE
Limitation of Characterizing Implicit Regularization by Data-independent Functions
University of Illinois - Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
本文从数学上定义并研究了神经网络隐式正则化,提出两点和单点重叠机制,证明了使用数据无关函数刻画隐式正则化的局限性,强调了其深刻的数据依赖性。
2023-09-07 cs.LG
SGD: The Role of Implicit Regularization, Batch-size and Multiple-epochs
Google Research(谷歌研究院);Cornell University(康奈尔大学)
多历元、小批量、随机梯度下降(SGD)一直是学习大型过参数化模型的首选方法。解释SGD在实践中运行良好的一个流行理论是,该算法具有隐式正则化,使其输出偏向好的解决方案。也许理论上最好理解的SGD学习设置是随机凸优化(SCO),其中众所周知SGD以$O(1/\sqrt{n})$的速率学习,其中$n$是样本的数量。在本文中,我们考虑的问题,SCO和探索的作用,隐式正则化,批量大小和多个时期的SGD。我们的主要贡献有三个方面:(a)我们证明了对于任何正则化器,都存在正则化经验风险最小化无法学习的SCO问题。这自动排除了SGD成功的任何基于隐式正则化的解释。(b)我们提供了SGD和学习之间的分离,通过梯度下降的经验损失(GD)的样本复杂性。我们证明了存在一个SCO问题,使得具有任何步长和迭代次数的GD只能以次优速率学习:至少$\widetildeΩ(1/n^{5/12})$。(c)我们提出了一个多时期的变体SGD在实践中常用的。我们证明,该算法至少是一样好的单通SGD在最坏的情况下。然而,对于某些SCO问题,在数据集上进行多次传递可以显著优于单次传递SGD。我们将我们的结果扩展到一般的学习设置,通过展示一个对于任何数据分布都是可学习的问题,并且对于这个问题,SGD对于任何正则化函数都严格优于RERM。最后,我们讨论了我们的结果对深度学习的影响,并展示了两层对角神经网络的SGD和ERM之间的…
2021-07-11 cs.AI cs.LG
Implicit Regularization of Mini-Batch Training in Graph Neural Networks
Institut Polytechnique de Paris(巴黎理工学院);Mirakl
本文研究了图神经网络中mini-batch训练的隐式正则化现象,发现简单的随机节点采样方法在多个数据集上表现优异,且效率更高。
2026-05-21 cs.AI cs.LG
Implicit Regularization with Polynomial Growth in Deep Tensor Factorization
National Engineering School of Tunis, University of Tunis El Manar(突尼斯埃尔马纳尔大学突尼斯国立工程学院);Aix Marseille University(艾克斯-马赛大学);CNRS(法国国家科学研究中心);Ecole Centrale de Marseille(马赛中央理工学院)
我们研究了张量因式分解中深度学习的隐式正则化效应。虽然通过线性和某些类型的非线性神经网络的深层矩阵和“浅层”张量因式分解的隐式正则化促进了最多二次增长的低秩解,但我们表明,其在深层张量因式分解中的效果随着网络的深度呈多项式增长。这为观察到的实验行为提供了非常忠实的描述。使用数值实验,我们证明了这种隐式正则化的好处,在产生一个更准确的估计和更好的收敛性能。
2022-07-25 cs.AI cs.LG cs.NE
Data Diversity as Implicit Regularization: How Does Diversity Shape the Weight Space of Deep Neural Networks?
School of Computing and Augmented Intelligence(计算与增强智能学院);School of Mathematical and Natural Sciences(数学与自然科学学院);Arizona State University(亚利桑那州立大学)
本文利用随机矩阵理论分析数据多样性对深度神经网络权重谱分布的影响,发现其作用类似隐式正则化且更接近dropout,并提出度量指标以比较传统数据增强与合成数据引入的多样性收益。
2025-08-15 cs.AI cs.LG
Implicit Regularization in ReLU Networks with the Square Loss
Weizmann Institute of Science(魏茨曼科学研究所)
理解梯度下降的隐式正则化(或隐式偏差)是最近一个非常活跃的研究领域。然而,非线性神经网络中的隐式正则化仍然知之甚少,特别是对于回归损失,如平方损失。也许令人惊讶的是,我们证明了即使对于单个ReLU神经元,也不可能通过模型参数的任何显式函数来表征具有平方损失的隐式正则化(尽管从积极的方面来看,我们可以近似地表征它)。对于一个隐藏层网络,我们证明了一个类似的结果,一般来说,不可能以这种方式表征隐式正则化属性,除了Du et al. [2018]中确定的“平衡性”属性。我们的研究结果表明,可能需要一个更一般的框架比迄今为止考虑的理解隐式正则化的非线性预测,并提供了一些线索,这个框架应该是什么。
2021-06-08 cs.LG stat.ML
AIR-Net: Adaptive and Implicit Regularization Neural Network for Matrix Completion
National University of Defense Technology(国防科技大学);University of Utah(犹他大学)
显式低秩正则化,例如,核范数正则化在成像科学中有着广泛的应用。然而,已经发现隐式正则化在各种图像处理任务中优于显式正则化。另一个问题是,固定的显式正则化限制了对广泛图像的适用性,因为不同的图像有利于通过不同的显式正则化捕获的不同特征。因此,本文提出了一种新的自适应和隐式低秩正则化,动态捕获低秩先验的训练数据。我们新的自适应隐式低秩正则化的核心是在基于Dirichlet能量的正则化中参数化拉普拉斯矩阵,我们称之为正则化\textit{AIR}。理论上,我们表明,自适应正则化的AIR增强了隐式正则化,并在训练结束时消失。我们验证了空气的有效性在各种基准任务,表明空气是特别有利的情况下,丢失的条目是不均匀的。代码可以在https://github.com/lizhemin15/AIR-Net上找到
2022-06-27 cs.LG stat.ML
Estimating Implicit Regularization in Deep Learning
University of Pennsylvania(宾夕法尼亚大学)
本文提出通过梯度匹配方法估计深度学习中的隐式正则化,验证了其在处理复杂网络时的有效性,并展示了在Dropout等方法中的应用。
2026-11-05 cs.LG stat.ML
Implicit Gradient Regularization
DeepMind(深度思维);Google(谷歌)
梯度下降在优化深度神经网络方面可以非常出色,而不会过度拟合,也不会显式正则化。我们发现梯度下降的离散步骤通过惩罚具有大损失梯度的梯度下降轨迹来隐式地正则化模型。我们称之为隐式梯度正则化(IGR),我们使用向后误差分析来计算这个正则化的大小。我们证实经验,隐式梯度正则化偏向梯度下降平坦的最小值,测试误差小,解决方案是强大的噪声参数扰动。此外,我们证明了隐式梯度正则化项可以用作显式正则化,使我们能够直接控制这个梯度正则化。更广泛地说,我们的工作表明,向后误差分析是一个有用的理论方法,学习率,模型大小和参数正则化如何相互作用,以确定使用梯度下降优化的过参数化模型的属性。
2022-07-18 cs.LG stat.ML
Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
为了更好地理解深度学习中的泛化,我们研究了几种可能的解释。我们表明,由优化方法诱导的隐式正则化在深度学习模型的推广和成功中起着关键作用。基于这种观点,我们研究了不同的复杂性度量如何确保泛化,并解释了优化算法如何隐式地正则化复杂性度量。我们从经验上研究了这些措施解释深度学习中观察到的不同现象的能力。我们进一步研究了神经网络中的不变性,提出了与神经网络中的不变性相似的复杂性度量和优化算法,并在一些学习任务上对其进行了评估。
2017-09-08 cs.LG
Implicit Regularization in Matrix Factorization
我们研究隐式正则化优化欠定二次目标时,在矩阵$X$上的$X$的因式分解的梯度下降。我们猜想,并提供经验和理论证据,足够小的步长和初始化足够接近原点,梯度下降全维分解收敛到最小核范数的解决方案。
2017-05-25 cs.LG stat.ML
In Search of the Real Inductive Bias: On the Role of Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田理工学院)
我们目前的实验表明,一些其他形式的容量控制,不同的网络规模,在学习多层前馈网络中起着核心作用。我们认为,部分通过类比矩阵分解,这是一个归纳的偏见,可以帮助阐明深度学习。
2015-04-16 cs.AI cs.CV cs.LG
A Dynamics Theory of Implicit Regularization in Deep Low-Rank Matrix Factorization
Xiamen University(厦门大学);Xiamen University of Technology(厦门理工学院)
本文提出用景观分析研究深度矩阵分解中的隐式正则化,证明秩R矩阵重构需经历R个鞍点逃逸阶段后收敛到二阶临界点,并通过低秩重构实验验证该理论。
2023-08-11 cs.LG
Implicit regularization of dropout
Shanghai Jiao Tong University(上海交通大学)
本研究推导并验证了dropout的隐式正则化理论,发现其能使隐藏神经元权重凝聚并找到更平坦的极小值,从而提升泛化能力,为全面理解dropout奠定基础。
2023-04-10 cs.LG
A Unified Approach to Controlling Implicit Regularization via Mirror Descent
Massachusetts Institute of Technology(麻省理工学院)
本文提出一种基于镜像下降的统一方法,用于在回归和分类中控制隐式正则化,证明其可收敛到广义最大间隔解,并通过实验展示其能够产生具有不同正则化项和泛化性能的模型。
2024-01-11 cs.LG
Connectivity Shapes Implicit Regularization in Matrix Factorization Models for Matrix Completion
Shanghai Jiao Tong University(上海交通大学)
本文研究矩阵补全中矩阵分解的隐式正则化,发现观测数据连通性决定模型从低核范数偏向低秩的转变,并通过层次不变流形遍历过程从理论上刻画训练轨迹,建立了保证最小核范数和最小秩的条件。
2025-04-14 cs.LG
Ensemble Kernel Methods, Implicit Regularization and Determinantal Point Processes
KU Leuven(荷语鲁汶大学)
利用行列式点过程(DPPs)的框架,可以得到关于多样性和正则化之间相互作用的一些理论结果。在本文中,我们表明,采样子集与kDPPs的结果在隐式正则化的上下文中的无脊核回归。此外,我们利用最先进的DPP算法的常见设置来采样多个小子集,并将它们用于无脊回归的集合中。我们的第一个实证结果表明,集成的无脊回归可能是有趣的,用于数据集,包括冗余信息。
2020-07-07 cs.LG stat.ML
Implicit Rugosity Regularization via Data Augmentation
Rice University(莱斯大学)
深度(神经)网络已经在广泛的监督和无监督学习任务中得到了有效的应用。与经典的机器学习算法不同,深度网络通常在\emph{overparameterized}机制中运行,其中参数的数量大于训练数据点的数量。因此,理解这些网络的泛化性质和正则化(显式或隐式)的作用是非常重要的。在这项工作中,我们探讨了如何经常使用的启发式\emph{data augmentation}施加一个新的措施的\emph{rugosity}或“粗糙度”的基础上的正切海森函数适合训练数据的{ \em隐式正则化}罚款。
2019-10-10 cs.LG stat.ML
Implicit Regularization in Deep Tensor Factorization
Aix Marseille Univ(艾克斯-马赛大学);Université de Toulon(土伦大学);CNRS(法国国家科学研究中心);LIS(信息与系统实验室);Ecole Centrale de Marseille(马赛中央理工学院)
研究与梯度下降(GD)相关的隐式正则化的尝试已经将矩阵补全确定为合适的测试平台。最近的研究结果表明,这种现象不能被措辞为一个最小化规范的问题,这意味着一个范式的转变是必要的,必须考虑到动态。在目前的工作中,我们利用两个推广的张量因式分解,即Tucker和TensorTrain(TT),解决了更一般的张量完成设置。我们跟踪相关的量,如张量核范数,有效秩,广义奇异值,我们引入深度塔克和TT无约束因式分解来处理完成任务。在模拟数据和真实数据上的实验表明,梯度下降算法能够提高低秩解的质量,并验证了必须从动力学角度来解决这一问题的猜想.
2021-05-04 cs.AI cs.LG stat.ML
Implicit Regularization for Group Sparsity
Texas A&M University(德克萨斯农工大学);New York University(纽约大学)
我们研究了隐式正则化梯度下降结构稀疏通过一种新的神经重新参数化,我们称之为对角分组线性神经网络。我们展示了我们的重新参数化的以下有趣的性质:在平方回归损失上的梯度下降,没有任何明确的正则化,偏向于具有组稀疏结构的解决方案。与许多现有的理解隐式正则化的工作相比,我们证明了我们的训练轨迹不能通过镜像下降来模拟。我们分析了相应的回归问题在一般噪声设置的梯度动力学,并获得最小最优错误率。与使用对角线性网络的隐式稀疏正则化的现有界限相比,我们的分析与新的重新参数化显示出改进的样本复杂度。在退化的情况下,大小一组,我们的方法产生了一个新的算法稀疏线性回归。最后,我们证明了我们的方法的有效性与几个数值实验。
2023-01-29 cs.LG stat.ML
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University(特拉维夫大学)
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用,研究这种前景的标准测试平台是矩阵分解(通过线性神经网络完成矩阵)。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题,隐式正则化将所有范数(和准范数)推向无穷大,从反面解决了这个悬而未决的问题。我们的研究结果表明,而不是感知通过规范的隐式正则化,一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络,并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Geometry of Optimization and Implicit Regularization in Deep Learning
Toyota Technological Institute at Chicago(芝加哥丰田技术学院);MSR Cambridge(微软研究院剑桥);Carnegie Mellon University(卡内基梅隆大学)
我们认为,通过隐式正则化,优化在深度学习模型的泛化中起着至关重要的作用。我们这样做是通过证明泛化能力不是由网络大小控制,而是由其他一些隐式控制。然后,我们展示了如何改变经验优化过程可以提高泛化,即使实际的优化质量不受影响。我们通过研究深度网络的参数空间的几何形状来实现这一点,并设计出一种与这种几何形状相协调的优化算法。
2017-05-08 cs.LG
Mirror, Mirror of the Flow: How Does Regularization Shape Implicit Bias?
CISPA Helmholtz Center for Information Security(信息安全霍普夫研究所)
本文将显式正则化纳入镜像流框架,分析其对隐式偏置的位置、类型和范围收缩的持久影响,并提出训练中关闭权重衰减以改善泛化。
2025-08-22 cs.LG
Implicit regularization for deep neural networks driven by an Ornstein-Uhlenbeck like process
Stanford University(斯坦福大学);Purdue University(普渡大学);Institute for Advanced Study(高等研究院)
我们考虑通过随机梯度下降训练的网络,以最小化$\ell_2$损失,训练标签在每次迭代时受到独立噪声的干扰。我们描述了在任何参数向量附近实现零训练误差的训练动态的行为,根据对应于数据点上的总和的隐式正则化项,模型相对于参数向量的梯度的平方$\ell_2$范数,在每个数据点处评估。这适用于任何连通性、宽度、深度和激活函数选择的网络。我们将这个隐式正则化项解释为三个简单的设置:矩阵感测,在一维数据上训练的双层ReLU网络,以及在单个数据点上训练的具有sigmoid激活的双层网络。对于这些设置,我们展示了为什么这种新的和一般的隐式正则化效应将网络推向“简单”模型。
2020-07-22 cs.LG stat.ML
Implicit Regularization via Neural Feature Alignment
Mila, Université de Montréal(蒙特利尔大学米拉研究所);Microsoft Research(微软研究院);Canada CIFAR AI chair(加拿大高级研究所加拿大人工智能主席项目)
我们从几何的角度来处理深度学习中的隐式正则化问题。我们强调了由Jacot等人引入的神经切线特征的动态对齐引起的正则化效应,沿着少数任务相关的方向。这可以解释为特征选择和压缩的组合机制。通过外推一个新的分析Rademacher复杂性界限的线性模型,我们激励和研究的启发式复杂性措施,捕捉这种现象,在序列的切线内核类沿优化路径。
2021-03-17 cs.LG stat.ML
Implicit Regularization in Over-parameterized Neural Networks
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院);School of Informatics and Mathematical Science, Faculty of Engineering, Kyoto University(京都大学工学部信息与数学科学学院)
过参数化神经网络在实践中推广得很好,无需任何显式正则化。尽管尚未得到证实,但经验证据表明,隐式正则化在深度学习中起着至关重要的作用,可以防止网络过度拟合。在这项工作中,我们引入梯度间隙偏差和梯度偏转作为对应于网络曲率和Hessian矩阵的统计度量,以分析网络导数相对于输入参数的变化,并从理论和经验角度研究ReLU神经网络中隐式正则化的工作原理。我们的研究结果表明,每对输入样本之间的网络输出是适当的控制随机初始化和随机梯度下降,以保持几乎直的样本之间的插值,这导致过参数化神经网络的复杂性低。
2019-03-05 cs.LG stat.ML
Implicit Regularization of Stochastic Gradient Descent in Natural Language Processing: Observations and Implications
University of California, Santa Barbara(加州大学圣巴巴拉分校)
具有非常强的泛化性能的深度神经网络通常是过参数化的。尽管明确的正则化策略用于从业者以避免过度拟合,但影响通常很小。一些理论研究分析了随机梯度下降(SGD)在某些假设下对简单机器学习模型的隐式正则化效应。然而,它在最先进的模型和真实世界数据集中的实际行为仍然是未知的。为了弥补这一差距,我们研究了SGD隐式正则化在深度学习系统中的作用。我们表明,纯SGD往往收敛到最小值,在多个自然语言处理(NLP)任务中具有更好的泛化性能。这种现象与dropout共存,dropout是一个显式正则化子。此外,神经网络的有限学习能力并不影响SGD的隐式正则化效应的内在本质。具体来说,在有限的训练样本或某些损坏的标签下,隐式正则化效果仍然很强。我们进一步分析了稳定性,通过改变权重的初始化范围。我们证实了这些实验结果与决策边界可视化使用3层神经网络的解释。总之,我们的工作使我们能够深入了解隐式正则化如何影响深度学习模型,并为未来过参数化模型泛化能力的研究提供了指导。
2018-11-01 cs.CL cs.LG cs.NE
Implicit Regularization of Gradient Flow on One-Layer Softmax Attention
Yale University(耶鲁大学)
本文研究单层softmax注意力模型梯度流的隐式正则化,证明其最小化键查询乘积的核范数,对应SVM问题,与合并训练的Frobenius范数正则化形成对比。
2024-03-13 cs.AI cs.LG math.OC
Generalization Properties and Implicit Regularization for Multiple Passes SGM
Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利技术研究院);Università degli Studi di Genova(热那亚大学)
研究了具有凸损失函数和线性参数化函数的随机梯度学习方法的推广性质。我们表明,在没有惩罚或约束的情况下,该算法的稳定性和近似特性可以通过调整步长或通过数据的数量来控制。在这个观点中,这些参数可以被看作是控制一种形式的隐式正则化。数值结果补充了理论研究结果。
2016-05-26 cs.LG stat.ML
Acceleration and Implicit Regularization in Gaussian Phase Retrieval
Brandeis University(布兰戴斯大学)
本文研究高斯相位恢复问题中的加速优化方法,证明带有Polyak或Nesterov动量的梯度方法具有与梯度下降相似的隐式正则化,从而在非凸性中保持强凸和平滑,实现比梯度下降更快的收敛速率。
2023-11-21 cs.LG math.OC math.ST
The Implicit and Explicit Regularization Effects of Dropout
Stanford University(斯坦福大学);Microsoft Research(微软研究院);University of Washington(华盛顿大学)
Dropout是一种广泛使用的正则化技术,通常需要获得许多架构的最新技术。这项工作表明,dropout引入了两个不同但纠缠的正则化效应:一个是显式效应(也在以前的工作中研究过),因为dropout修改了预期的训练目标,而可能令人惊讶的是,dropout训练更新中的随机性带来了额外的隐式效应。这种隐式正则化效应类似于小批量随机梯度下降中的随机性效应。我们通过对照实验来解开这两种效应。然后,我们推导出分析简化,其特征在于每个效果的衍生物的模型和损失,深度神经网络。我们证明了这些简化的解析正则化器准确地捕捉了dropout的重要方面,表明它们在实践中忠实地取代了dropout。
2020-10-15 cs.LG stat.ML
IMEX-Reg: Implicit-Explicit Regularization in the Function Space for Continual Learning
Eindhoven University of Technology (TU/e)(埃因霍温理工大学(TU/e));Wayve
针对持续学习低缓冲区机制下的过拟合与先验信息丢失问题,提出IMEX-Reg方法,通过结合对比表示学习与一致性正则化进行隐式-显式正则化,显著提升了模型的泛化性能与鲁棒性。
2024-04-28 cs.AI cs.CV cs.LG
Combining Explicit and Implicit Regularization for Efficient Learning in Deep Networks
New York University(纽约大学)
本文提出一种仅在 Adam 等自适应优化器下生效的显式低秩惩罚,以模拟深度带来的隐式正则化,使简单单层网络达到深度线性网络的泛化性能。
2023-06-01 cs.AI cs.LG cs.NE
Implicit regularization in Heavy-ball momentum accelerated stochastic gradient descent
Michigan State University(密歇根州立大学)
众所周知,梯度下降(GD)中的有限步长($h$)隐式地正则化解以平坦极小值。一个很自然的问题是“动量参数$β$在重球(H.B)动量加速梯度下降(GD+M)的隐式正则化中起作用吗?".为了回答这个问题,首先,我们证明了离散H.B动量更新(GD+M)遵循由修改的损失引起的连续轨迹,该修改的损失由原始损失和隐式正则化子组成。然后,我们证明了(GD+M)的隐正则化子比(GD)强$(\frac{1+β}{1-β})$倍,从而解释了为什么(GD+M)比(GD)具有更好的推广性能和更高的测试精度.此外,我们将我们的分析扩展到具有动量(SGD+M)的梯度下降的随机版本,并在逐点意义上描述(SGD+M)的更新的连续轨迹。我们通过一系列实验验证了我们的理论,探索了(SGD+M)和(GD+M)中的隐式正则化。
2023-02-02 cs.LG math.OC
Implicit Self-Regularization in Deep Neural Networks: Evidence from Random Matrix Theory and Implications for Learning
Calculation Consulting(Calculation Consulting公司);ICSI(国际计算机科学研究所);University of California at Berkeley(加州大学伯克利分校)
随机矩阵理论(RMT)应用于分析深度神经网络(DNN)的权重矩阵,包括生产质量、预训练模型(例如AlexNet和Inception)以及从头开始训练的较小模型,例如LeNet 5和微型AlexNet。经验和理论结果清楚地表明,DNN训练过程本身隐含地实现了一种形式的自正则化。DNN层矩阵的经验谱密度(ESD)显示了传统正则化统计模型的特征,即使在没有外生指定传统形式的显式正则化的情况下。基于RMT中相对较新的结果,最值得注意的是其扩展到重尾矩阵的普遍性类,我们开发了一种理论来识别5+1训练阶段,对应于隐式自正则化的增加量。这些阶段可以在训练过程中以及最终学习的DNN中观察到。对于较小和/或较旧的DNN,这种隐式自正则化就像传统的Tikhonov正则化,因为存在将信号与噪声分离的“大小尺度”。然而,对于最先进的DNN,我们发现了一种新的重尾自正则化形式,类似于无序系统统计物理中的自组织。这是由于在所有大小尺度上产生的相关性,这是由于训练过程本身而隐含地产生的。这种隐式的自正则化可以强烈地依赖于训练过程的许多旋钮。通过利用泛化间隙现象,我们证明了我们可以通过简单地改变批量大小来使一个小模型显示所有5+1训练阶段。这表明,在其他条件相同的情况下,具有较大批量的DNN优化会导致隐式正则化模型不太好,并为泛化间隙现象提供了解释。
2018-10-02 cs.LG stat.ML
The Implicit Regularization of Momentum Gradient Descent with Early Stopping
Northeast Normal University(东北师范大学);Beihua University(北华大学)
基于梯度优化的隐式正则化问题是一个长期的研究课题。本文通过与显式$\ell_2$正则化(岭)的比较,刻画了具有提前停止的动量梯度下降(MGD)的隐式正则化。详细地说,我们在连续时间视图中研究了MGD,即所谓的动量梯度流(MGF),并表明其趋势比梯度下降(GD)更接近山脊[Ali等人,[2019]最小二乘回归此外,我们证明了,在校准$t=\sqrt{2/λ}$下,其中$t$是MGF中的时间参数,$λ$是岭回归中的调整参数,MGF的风险不超过岭的1.54倍。特别地,在最优调整下,MGF对脊的相对贝叶斯风险在1和1.035之间。数值实验有力地支持了我们的理论结果。
2022-01-14 cs.LG stat.ML
Convergence Analysis and Implicit Regularization of Feedback Alignment for Deep Linear Networks
Mila Institute(米拉研究所);Saint Mary’s University(圣玛丽大学);Université de Montréal(蒙特利尔大学)
我们从理论上分析了反馈对齐(FA)算法,一个有效的替代反向传播训练神经网络。我们为连续和离散动态的深度线性网络提供收敛保证。此外,我们还研究了浅层线性网络的增量学习现象。有趣的是,某些特定的初始化意味着可以忽略的组件在主要组件之前被学习,因此可能会对这种学习算法的有效性产生负面影响;我们将这种现象归类为隐式反正则化。我们还提供了初始化方案,其中问题的组件通过重要性降序近似学习,从而提供了一种隐式正则化形式。
2021-10-20 cs.LG math.OC stat.ML
Implicit variance regularization in non-contrastive SSL
Friedrich Miescher Institute for Biomedical Research(弗里德里希·米舍尔生物医学研究所);Faculty of Science, University of Basel(巴塞尔大学理学院)
本文通过解析非对比自监督学习中线性预测器的学习动力学,揭示欧氏与余弦相似度均通过隐式方差正则化避免坍缩,并提出IsoLoss以均衡特征模态收敛速率,从而加速学习并增强鲁棒性。
2023-10-27 cs.AI cs.LG cs.NE