Flattening Sharpness for Dynamic Gradient Projection Memory Benefits Continual Learning
The Chinese University of Hong Kong(香港中文大学);Shenzhen Institute of Advanced Technology(深圳先进技术研究院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Chinese Academy of Sciences(中国科学院);Tianjin University(天津大学)
反向传播网络特别容易受到灾难性遗忘的影响,其中网络在学习新技能时往往会忘记先前学习的技能。为了解决这种“敏感性-稳定性”的困境,大多数以前的努力都有助于最大限度地减少经验风险与不同的参数正则化项和情景记忆,但很少探索减肥景观的用途。本文研究了持续学习场景中的权重损失景观与敏感性-稳定性之间的关系,并在此基础上提出了一种新的动态梯度投影记忆平坦化方法(FlatteningSharpingforDynamicGradientProjection Memory,FS-DGPM)。特别是,我们引入了一个软权重来表示GPM中代表过去任务的每个基础的重要性,它可以在学习过程中自适应地学习,从而可以动态地释放不太重要的基础,以提高新技能学习的灵敏度。我们进一步引入了扁平化Shartening(FS),通过显式调节所有可见任务的重量损失景观的平坦度来减少泛化差距。如经验所示,我们提出的方法始终优于基线,具有学习新技能的卓越能力,同时有效地减轻遗忘。
2021-10-09 cs.LG
Sharpness Minimization Algorithms Do Not Only Minimize Sharpness To Achieve Better Generalization
Tsinghua University(清华大学);Stanford University(斯坦福大学)
该研究针对两层ReLU网络从理论与实证层面检验了“平坦性意味着泛化性”的假说,发现锐度与泛化性的关系取决于数据分布和模型架构,锐度最小化算法并非仅靠最小化锐度实现更好泛化,推动了过参数化神经网络泛化机制的进一步探索。
2023-07-23 cs.LG math.OC stat.ML
Transferability Bound Theory: Exploring Relationship between Adversarial Transferability and Flatness
School of Data Science & Engineering, East China Normal University(华东师范大学数据科学与工程学院);Alibaba Group(阿里巴巴集团)
该研究推导了对抗样本可迁移性的理论界,挑战了“平坦度越高可迁移性越强”的普遍认知,并提出理论可证明攻击TPA,实验证实其生成的对抗样本可迁移性优于现有最优基线。
2024-10-08 cs.CR cs.CV cs.LG
Sharpness-Aware Training for Free
Centre for Frontier AI Research (CFAR), A*STAR(新加坡科技研究局前沿人工智能研究中心);National University of Singapore(新加坡国立大学);ByteDance(字节跳动)
现代深度神经网络(DNN)已经实现了最先进的性能,但通常过度参数化。在没有其他定制训练策略的情况下,过度参数化可能导致不期望的大泛化误差。最近,一系列名为Sharpness-Aware Minimization(SAM)的研究表明,最小化反映损失景观的几何形状的锐度度量可以显著降低泛化误差。然而,类似SAM的方法导致给定基础优化器(例如SGD)的两倍计算开销以用于近似锐度测量。在本文中,我们提出了清晰度感知训练免费,或SAF,它减轻了尖锐的景观,几乎为零的额外计算成本超过基本优化器。直观地说,SAF通过避免在权重更新的整个轨迹中急剧局部最小值的损失突然下降来实现这一点。具体来说,我们提出了一种新的轨迹损失,基于具有当前权重和过去权重的DNN的输出之间的KL发散,作为SAM的锐度度量的替代。这种损失捕获了沿着模型更新轨迹的训练损失的变化率。通过最小化它,SAF确保收敛到一个平坦的最小值,并提高了泛化能力。大量的实证结果表明,SAF以与SAM相同的方式最大限度地降低了锐度,在ImageNet数据集上产生了更好的结果,其计算成本与基本优化器基本相同。
2023-03-02 cs.AI cs.CV cs.LG
A simple connection from loss flatness to compressed neural representations
Department of Applied Mathematics(应用数学系);Computational Neuroscience Center(计算神经科学中心);University of Washington(华盛顿大学);Technion, Israel Institute of Technology(技术离子以色列理工学院)
本文通过引入局部体积比、最大局部敏感度和局部维度等度量,揭示了损失平坦性与神经表示压缩之间的关系,为理解锐度与泛化能力的关系提供了新的理论框架。
2026-02-22 cs.AI cs.LG
Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization
LinkedIn Corporation(领英公司);Massachusetts Institute of Technology(麻省理工学院)
现代深度学习模型是过度参数化的,其中优化设置强烈影响泛化性能。这些系统的可靠性优化的一个关键因素是损失函数的修改。Sharpness-Aware Minimization(SAM)修改了底层的损失函数,以引导下降方法朝向更平坦的最小值,这可以说具有更好的泛化能力。在本文中,我们关注SAM的一个变体,称为mSAM,它在训练过程中,将对抗性扰动生成的更新平均在一个小批量的几个不相交的碎片上。最近的研究表明,mSAM在测试准确性方面优于SAM。然而,文献中缺少对mSAM的全面实证研究-以前的结果大多限于特定的架构和数据集。为此,本文对mSAM在各种任务和数据集上进行了全面的实证评估。我们提供了一个灵活的实现mSAM和比较的泛化性能的mSAM和不同的图像分类和自然语言处理任务上的SAM和香草训练的性能。我们还进行了仔细的实验,以了解使用mSAM进行训练的计算成本,其对超参数的敏感性及其与损失景观平坦度的相关性。我们的分析表明,mSAM产生优越的泛化性能和平坦的最小值,SAM相比,在广泛的任务,而不会显着增加计算成本。
2022-12-07 cs.LG math.OC
Too Sharp, Too Sure: When Calibration Follows Curvature
Massachusetts Institute of Technology(麻省理工学院)
本文研究了校准作为训练过程中的现象,在小视觉任务中探讨校准是否可通过干预训练过程可靠获得,发现校准、曲率和边距之间存在紧密联系,并提出一种关注边距的训练目标以提升校准性能。
2026-04-22 cs.LG math.DS math.OC
Climate-Invariant Conformal Prediction Intervals for Multi-Horizon Solar and Wind Forecasting
Department of Computer Science and Engineering, Dr. B.R. Ambedkar National Institute of Technology Jalandhar, India(计算机科学与工程系,Dr. B.R. 阿姆贝卡尔国立技术学院贾兰德哈尔,印度)
研究针对多步太阳能和风能预测,提出基于自举多样XGBoost集成的气候不变共形预测区间框架,无需逐站点或逐时间跨度调整,在不同气候站点测试,相比基线降低区间得分35%,保持接近名义覆盖。
2026-07-14 cs.LG stat.AP
mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization
LinkedIn Corporation(领英公司);Massachusetts Institute of Technology(麻省理工学院);Purdue University(普渡大学)
针对过参数化深度学习模型的泛化问题,本文提出微批次SAM(mSAM)变体,通过聚合小批次内多微批次的对抗扰动更新,理论与实验均证明其能找到比SAM更平坦的极小值,且可并行实现、计算成本无显著增加,泛化性能更优。
2023-10-01 cs.LG stat.ML
The smooth output assumption, and why deep networks are better than wide ones
INESC-ID(葡萄牙系统与计算机工程研究所);Higher Technical Institute, University of Lisbon(里斯本大学高等技术学院)
当几个模型具有相似的训练分数时,经典的模型选择算法遵循奥卡姆剃刀,并建议选择容量最小的模型。然而,大型神经网络的现代实践经常导致这样的情况,即两个具有完全相同数量参数的网络在训练集上的得分相似,但更深的网络更好地推广到看不见的例子。考虑到这一点,人们普遍认为深度网络优于浅宽网络。但是,理论上两者并没有区别。事实上,它们都是通用逼近器。在这项工作中,我们提出了一个新的无监督的措施,预测如何以及模型将推广。我们称之为输出清晰度,它是基于这样一个事实,即在现实中,概念之间的边界通常是不清晰的。我们在几个神经网络设置和架构上测试了这个新的度量,并显示了我们的度量和测试集性能之间的相关性有多强。在建立了这个度量之后,我们给出了一个数学概率参数,该参数预测网络深度与我们提出的度量相关。在真实数据中验证了这一点之后,我们能够制定这项工作的关键论点:输出清晰度阻碍了泛化;深度网络对它有一种内在的偏见;因此,深度网络击败了广泛的网络。总而言之,这项工作不仅提供了一个有用的过拟合预测器,可用于模型选择(甚至正则化),而且还为现代深度神经网络的成功提供了急需的理论基础。
2022-11-25 cs.LG
Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability
Independent Researcher(独立研究者)
本文提出产品稳定性这一损失函数结构特性,证明在边缘稳定性区域训练时,梯度下降可收敛至局部最小值,扩展了先前结果并适用于广泛损失函数类。
2026-09-29 cs.LG
A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability
Eric Gan(埃里克·甘)
提出分岔理论框架,通过将训练动力学分解为法向和切向分量,证明稳定性边缘训练源于法向的翻转分岔,并收敛到最小化流形。
2026-06-16 cs.LG
A Function-Centric Perspective on Flat and Sharp Minima
Department of Informatics(信息学院);Queen Mary University of London(女王玛丽大学);King’s College London(国王学院伦敦)
本文从函数视角探讨平坦与尖锐极小值,通过单目标优化、合成任务和图像分类实验,发现极小值的几何特性取决于函数复杂性,尖锐极小值可反映更合理的归纳偏置。
2026-10-14 cs.AI cs.CV cs.LG
Does Weight Decay Enhance Training Stability?
NTNU(挪威技术大学);MIT(麻省理工学院)
本文研究权重衰减对训练动态稳定性的影响机制,发现其通过参数空间动态和损失尖锐度的变化影响训练稳定性,并揭示了架构依赖的相变现象。
2026-05-15 cs.LG math.OC stat.ML
Modern Structure-Aware Simplicial Spatiotemporal Neural Network
Télécom SudParis(Telecom SudParis);Institut Polytechnique de Paris;CNRS – LIP6;Sorbonne Université
本文提出ModernSASST,通过高维简复形上的时空随机游走和并行化时间卷积网络,有效捕捉高阶拓扑结构,提升大规模时空建模效率。
2026-04-17 cs.LG
WaterMAS: Sharpness-Aware Maximization for Neural Network Watermarking
Telecom SudParis(电信南巴黎学院);Institut Polytechnique de Paris(巴黎综合理工学院);Università degli Studi di Torino(都灵大学);LTCI(通信与信息处理实验室);Télécom Paris(巴黎电信学院);Università degli Studi di Padova(帕多瓦大学)
本文提出白盒水印方法 WaterMAS,通过保持权重不变并锐化梯度空间,在鲁棒性、不可感知性、复杂度、载荷与安全性间取得更好权衡,并在多模型、多任务和四类攻击下验证有效性。
2024-09-05 cs.CR cs.LG cs.MM
Wolkowicz-Styan Upper Bound on the Hessian Eigenspectrum for Cross-Entropy Loss in Nonlinear Smooth Neural Networks
Nihon University(日本国立.nihon大学);National Institute of Technology, Nagaoka College(日本国立技术研究所, Nagoka学院);Tokyo City University(东京城大学)
本文基于Wolkowicz-Styan界,推导出非线性光滑神经网络交叉熵损失Hessian最大特征值的闭式上界,为分析损失锐度提供了理论工具。
2026-04-14 cs.AI cs.LG cs.NE
A path-norm toolkit for modern networks: consequences, promises and challenges
Univ Lyon(里昂大学);EnsL(里昂高等师范学院);UCBL(里昂第一大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所);LIP(里昂计算机科学实验室)
本文提出首个支持带偏置、跳跃连接及次序统计量操作的一般DAG ReLU网络的路径范数工具箱,推导更通用且更尖锐的泛化界,并在ImageNet的ResNet上进行数值检验。
2024-12-04 cs.LG math.ST stat.ML
Self-Stabilization: The Implicit Bias of Gradient Descent at the Edge of Stability
Princeton University(普林斯顿大学)
本文提出自稳定概念,用三次 Taylor 展开解释梯度下降在稳定性边缘的动力学,并证明其隐式等价于约束 $S(θ) \le 2/η$ 下的投影梯度下降,从而揭示梯度下降隐式偏向稳定性的机制。
2023-04-10 cs.IT cs.LG math.IT
Deep Double Descent via Smooth Interpolation
KTH Royal Institute of Technology(瑞典皇家理工学院)
本文通过研究输入空间中损失景观的尖锐度,揭示了深度网络在模型和训练轮数层面的双重下降现象,发现大规模插值模型通过平滑拟合噪声数据来保持泛化能力,颠覆了传统直觉。
2023-04-08 cs.LG stat.ML
Modern Methods in Associative Memory
IBM Research(IBM研究院);MIT(麻省理工学院);Georgia Tech(佐治亚理工学院);RPI(罗切斯特理工学院)
本教程介绍联想记忆相关研究,梳理其近年因存储能力新理论及与Transformers等前沿AI架构关联而重获关注的背景,讲解现代方法与拉格朗日公式等内容,辅以实操推导与编码示例。
2025-10-03 cs.LG
Position Paper on Materials Design -- A Modern Approach
Institute of Automation Technology(自动化技术研究所)
针对传统材料设计周期物理关联复杂难描述、未知不确定性主导性能的两大缺陷,提出结合表示学习、生成式ML的现代数据驱动方法,可解读复杂物理关系、可视化不确定性影响,加速新材料设计并实现材料性能预测与解读。
2023-12-18 cond-mat.mtrl-sci cs.AI cs.LG
A Framework for Non-Linear Attention via Modern Hopfield Networks
A. Farooq(独立研究者)
本研究基于现代Hopfield网络提出对应注意力机制的能量泛函框架,统一两类模型,为Transformer引入非线性注意力以提升序列建模能力,可应用于BERT等模型。
2025-05-21 cs.LG cs.NE stat.ML
Can Stability be Detrimental? Better Generalization through Gradient Descent Instabilities
University of Oxford(牛津大学)
本文发现大学习率引起的梯度下降不稳定性会使Hessian特征向量旋转,促使模型参数探索更平坦的损失景观区域,产生隐式正则化效应,从而在现代基准数据集上实现更优的泛化性能。
2024-12-23 cs.LG stat.ML
Towards High-Order Complementary Recommendation via Logical Reasoning Network
Virginia Tech(弗吉尼亚理工大学);Instacart Inc.(Instacart公司)
互补推荐技术在电子商务中得到了越来越多的关注,因为它加快了用户在购物过程中发现经常购买的产品的过程。因此,学习能够反映这种互补关系的产品表示在现代推荐系统中起着核心作用。在这项工作中,我们提出了一个逻辑推理网络,LOGIREC,有效地学习产品的嵌入以及它们之间的各种转换(投影,交集,否定)。LOGIREC能够捕捉产品之间的非对称互补关系,并无缝扩展到高阶推荐,其中更全面和有意义的互补关系是学习产品的查询集。最后,我们进一步提出了一个混合网络,共同优化学习更通用的产品表示。我们证明了我们的LOGIREC在多个公共现实世界的数据集在各种排名为基础的指标,在低阶和高阶推荐方案的有效性。
2022-12-09 cs.LG
Modeling the Nonsmoothness of Modern Neural Networks
NC State University(北卡罗来纳州立大学)
现代神经网络在许多基于回归的任务中取得了成功,例如人脸识别,面部标志检测和图像生成。在这项工作中,我们研究了一个直观的,但研究不足的现代神经网络的特点,即非光滑性。使用合成数据的实验证实,现代神经网络中的ReLU和max pooling等操作会导致非平滑性。我们量化的非平滑性使用的功能命名为峰值的幅度之和(SMP)和现代神经网络的构建模块的输入输出关系模型。实验结果证实,我们的模型可以准确地预测非平滑性的统计行为,因为它通过卷积层,ReLU激活和最大池化层等构建块传播。我们设想,非平滑功能可以潜在地用作神经网络的基于回归的应用程序的取证工具。
2021-03-26 cs.LG eess.IV eess.SP
Causal bootstrapping
School of Computer Science, University of Birmingham(伯明翰大学计算机学院);MIT(麻省理工学院)
为了得出科学上有意义的结论并建立可靠的定量现象模型,必须考虑因果关系(无论是隐含的还是明确的)。当测量结果不是来自受控实验(干预)环境时,这尤其具有挑战性,因为因果关系可能会被虚假的间接影响所掩盖。来自机器学习的现代预测技术能够捕获变量之间的高维非线性关系,同时依赖于很少的参数或概率模型假设。然而,由于这些技术是关联的,应用于观测数据,它们很容易从非实验(观测)数据中获得虚假的影响,使它们的预测不可靠。因果推理的技术,如概率因果图和do-calculus,提供了强大的(非参数)工具,用于从这些观察数据中得出因果推理。然而,这些技术通常与现代的非参数机器学习算法不兼容,因为它们通常需要显式概率模型。在这里,我们开发因果自举增强经典的非参数自举响应与变量之间的因果关系的信息。这使得可以对观察数据进行重新采样,使得如果可以从该数据识别干预关系,则可以从原始观察数据模拟表示该关系的新数据。通过这种方式,我们可以使用现代机器学习算法不变地做出统计上强大但因果上稳健的预测。我们开发了几种因果自举算法,用于从观测数据中提取干预性推断,用于分类和回归问题,并使用合成和真实世界的例子来证明这种方法的价值。
2020-12-10 cs.LG math.ST stat.ME
Dataflow graphs as complete causal graphs
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
基于一致性的开发是现代软件工程实践背后的核心原则之一。理解软件系统组件之间的因果关系可以给开发人员带来很大的好处。然而,现代软件设计方法使得在系统规模上跟踪和发现这种关系变得困难,这导致了越来越多的智力债务。在本文中,我们考虑了一种替代方法,软件设计,基于流的编程(FBP),并提请社会的注意,由FBP和结构的因果模型产生的图之间的连接。通过简单的例子,我们展示了如何利用这种连接来改善软件项目中的日常任务,包括故障定位,业务分析和实验。
2023-03-16 cs.AI cs.LG cs.SE
On Catastrophic Forgetting and Mode Collapse in Generative Adversarial Networks
Deakin University(迪肯大学)
在本文中,我们证明了生成对抗网络(GANs)即使在被训练为近似单个目标分布时也会遭受灾难性遗忘。我们表明,GAN训练是一个持续学习问题,其中改变模型分布的序列就是鉴别器的任务序列。序列中任务之间的不匹配程度决定了遗忘的程度。灾难性遗忘与模式坍塌相关,并且可以使GANs的训练不收敛。我们研究了GANs不同变体中的训练器输出的情况,发现当GAN收敛到一个良好的均衡时,真实的训练数据点是训练器的宽局部最大值。我们经验性地展示了局部最大值的锐度与GANs中的模式坍塌和泛化之间的关系。我们展示了灾难性遗忘如何防止真实数据点的局部极大值,从而导致不收敛。最后,我们研究了在GANs中防止灾难性遗忘的方法。
2020-03-21 cs.LG stat.ML
On the Role of Hidden States of Modern Hopfield Network in Transformer
Graduate School of Artificial Intelligence and Science, Rikkyo University, Japan(人工智能与科学研究生院,立命馆大学,日本)
本文提出现代霍普菲尔德注意力机制,通过引入隐状态提升Transformer的注意力权重性质,解决秩坍塌和token均匀性问题。
2025-11-24 cs.AI cs.LG
On the Mathematical Relationship Between Layer Normalization and Dynamic Activation Functions
AI Sweden(瑞典人工智能)
本文探讨了层归一化与动态激活函数的数学关系,从RMSNorm推导出DyISRU,并证明其在处理异常值上的准确性优于DyT。
2026-04-14 cs.AI cs.CL cs.LG
FAIRY: A Framework for Understanding Relationships between Users' Actions and their Social Feeds
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
用户越来越依赖社交媒体订阅来消费日常信息。提要中的项目,如新闻、问题、歌曲等,通常是由用户的社交联系人、她的兴趣和她在平台上的行为的复杂相互作用引起的。用户自己的行为和接收到的提要之间的关系通常令人困惑,许多用户希望清楚地解释为什么向他们显示某些项目。透明度和可解释性是现代世界中认知过载、过滤气泡、用户跟踪和隐私风险的关键问题。本文介绍了FAIRY,一个框架,系统地发现,排名,并解释用户的行动和项目之间的关系,在他们的社交媒体提要。我们在平台上的用户的本地邻居建模为交互图,异构信息网络的一种形式,仅从有关用户容易访问的信息构建。我们假设该交互图中连接用户和她的提要项的路径可以作为用户的相关解释。这些路径是用一个学习排名模型来评分的,该模型捕捉了相关性和可重复性。两个社交平台上的用户研究证明了FAIRY方法的实际可行性和用户利益。
2019-11-05 cs.LG cs.SI stat.ML
The Effect of Intrinsic Dataset Properties on Generalization: Unraveling Learning Differences Between Natural and Medical Images
Duke University(杜克大学)
本文通过提出标签锐度度量并建立关于数据内在维度的泛化缩放定律,解释了自然图像与医学图像间的泛化差异,并揭示了医学图像模型对抗鲁棒性更弱的原因。
2024-02-21 cs.CV cs.LG eess.IV
Generalization at the Edge of Stability
INRIA, CNRS, Département d’Informatique de l’Ecole Normale Supérieure / PSL, France(法国国家信息与自动化技术研究院(INRIA)、法国国家科学研究中心(CNRS)、巴黎综合理工学院计算机系 / PSL研究院);Department of Computing, Imperial College London, United Kingdom(伦敦帝国理工学院计算机系,英国)
本文研究了在稳定性边缘训练神经网络的泛化机制,引入了'尖锐度维度'并证明了基于该维度的泛化界,揭示了混沌 regime 中泛化依赖于Hessian谱和部分行列式结构。
2026-04-21 cs.AI cs.CV cs.LG
ACRE: Abstract Causal REasoning Beyond Covariation
UCLA(加州大学洛杉矶分校)
因果归纳,即,识别导致变量之间可观察关系的不可观察机制在现代科学发现中发挥了关键作用,特别是在只有稀疏和有限数据的情况下。人类,甚至是幼儿,在各种环境中都能令人惊讶地很好地诱导出因果关系,尽管这是众所周知的困难。然而,与人类认知的普遍特征相反,缺乏一个诊断基准来衡量现代人工智能(AI)系统的因果归纳。因此,在这项工作中,我们介绍了抽象因果推理(ACRE)数据集的系统评估当前的视觉系统的因果归纳。出于对Blicket实验中因果发现的研究流的动机,我们在独立场景或干预场景中使用以下四种类型的问题查询视觉推理系统:直接,间接,屏蔽关闭和向后阻塞,有意超越通过协变诱导因果关系的简单策略。通过分析这个测试平台上的视觉推理架构,我们注意到纯神经模型在其机会水平性能下倾向于联想策略,而神经符号组合在向后阻塞推理中挣扎。这些不足要求未来的研究模型具有更全面的因果归纳能力。
2021-03-26 cs.AI cs.CV cs.LG