System Identification Through Lipschitz Regularized Deep Neural Networks
Worcester Polytechnic Institute（伍斯特理工学院）；University of Bologna（博洛尼亚大学）
在本文中，我们使用神经网络学习控制方程的数据。具体来说，我们重建的右手边的常微分方程系统$\dot{x}(t) = f(t, x(t))$直接从观察到的均匀时间采样数据使用神经网络。与其他基于神经网络的方法相比，我们增加了一个Lipschitz正则化项，我们的损失函数。在合成示例中，我们凭经验观察到，与非正则化模型相比，这种正则化导致更平滑的近似函数和更好的泛化特性，无论是在轨迹数据还是非轨迹数据上，特别是在存在噪声的情况下。与稀疏回归方法相比，由于神经网络是通用的逼近器，我们不需要任何关于ODE系统的先验知识。由于该模型是以组件方式应用的，因此它可以处理任何维度的系统，使其可用于真实世界的数据。
2020-09-07 cs.LG cs.NA math.DS
An Empirical Bayes Analysis of Object Trajectory Representation Models
Continental AG（大陆集团）；Freie Universität Berlin（柏林自由大学）；Dahlem Center for Machine Learning and Robotics（达赫姆机器学习与机器人中心）
针对线性轨迹模型的表达能力与真实轨迹偏差未被充分分析的问题，通过经验贝叶斯方法分析多类目标轨迹建模的复杂度-误差权衡，证实低复杂度线性模型可高保真表示真实轨迹，为其在自动驾驶运动预测中的应用提供依据。
2025-05-21 cs.LG
Learning Difference-of-Convex Regularizers for Inverse Problems: A Flexible Framework with Theoretical Guarantees
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文提出用凸差（DC）函数作为逆问题中可学习正则化器的更广泛非凸函数类，结合DCA和PSM优化算法，在CT重建任务上优于弱凸正则化方法，并给出最优正则化器可表示为DC函数的理论条件。
2025-02-01 cs.LG eess.IV math.OC
Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
University of Notre Dame（圣母大学）
我们提出了噪声增强的隐私保护经验风险最小化（NAPP-ERM），解决了不同的隐私保证的ERM。现有的隐私保护ERM方法可能会受到过度正则化的影响，使用l2项来实现目标正则化之上的强凸性。NAPP-ERM改进了当前的方法，并通过适当设计的增强数据迭代地实现目标正则化，并通过单个自适应加权的两用l2正则化器提供强凸性，从而减轻过度正则化。当目标正则化用于变量选择时，我们提出了一种新的正则化器，同时实现隐私和稀疏性保证。最后，我们提出了一种策略，以检索隐私预算时，满足强凸性的要求，这可以返回给用户，这样的DP的ERM是保证在一个较低的隐私成本比原来计划的，或被回收到ERM优化过程中，以减少注入DP噪声，提高DP-ERM的效用。从实现的角度来看，NAPP-ERM可以通过优化给定噪声增强数据的非扰动目标函数来实现，因此可以利用现有的工具进行非私有ERM优化。我们通过大量的实验说明了NAPP-ERM对变量选择和预测的过度正则化和私人预算检索的缓解效果。
2021-10-16 cs.CR cs.LG stat.ML
Beyond Least-Squares: Fast Rates for Regularized Empirical Risk Minimization through Self-Concordance
INRIA - Département d’Informatique de l’École Normale Supérieure（法国国家信息与自动化研究所 - 巴黎高等师范学院计算机系）；PSL Research University（巴黎文理研究大学）
我们考虑的学习方法的基础上正则化的凸经验风险的平方希尔伯特范数，设置，包括线性预测和非线性预测通过正定内核。为了超越一般的分析，从$n$的观察，导致收敛速度的超额风险为$O(1/\sqrt{n})$，我们假设个人的损失是自协调的，也就是说，他们的三阶导数是有界的二阶导数。此设置包括最小二乘以及所有广义线性模型，如logistic和softmax回归。对于此类损失，我们提供了偏差-方差分解，并表明最小二乘回归中常见的假设（例如源和容量条件）可以通过改进偏差项来适应以获得快速的非渐进收敛率。方差项或两者兼而有之。
2019-06-18 cs.AI cs.LG math.ST
Analyzing Sharpness along GD Trajectory: Progressive Sharpening and Edge of Stability
Tsinghua University（清华大学）
最近的研究结果（例如，arXiv：2103.00065）证明了通过全批梯度下降训练的现代神经网络通常会进入称为稳定边缘（EOS）的状态。在这种情况下，锐度，即，最大Hessian特征值首先增加到值2/（步长）（渐进锐化阶段），然后围绕该值振荡（EOS阶段）。本文旨在分析GD动力学和沿优化轨迹的锐度。我们的分析自然地将GD轨迹分为四个阶段，这取决于锐度的变化。我们凭经验确定输出层权重的范数作为锐度动态的有趣指标。基于这一经验观察，我们试图从理论和经验上解释导致EOS每个阶段锐度变化的各种关键量的动力学。此外，基于一定的假设，我们提供了一个理论证明的清晰度行为在EOS制度的两层全连接线性神经网络。我们还讨论了其他一些实证结果和我们的理论结果的局限性。
2022-11-03 cs.LG
Trajectory Alignment: Understanding the Edge of Stability Phenomenon via Bifurcation Theory
KAIST（韩国科学技术院）
本文通过实证与理论证明，揭示了梯度下降轨迹在稳定性边缘现象下会对齐到与初始化无关的分岔图，从而统一解释渐进锐化与EoS现象。
2023-10-26 cs.LG math.OC stat.ML
Regularize implicit neural representation by itself
National University of Defense Technology（国防科技大学）；Xi’an Jiaotong University（西安交通大学）；Macau University of Science and Technology（澳门科技大学）
为了提高隐神经表征的泛化能力，提出了一种称为隐神经表征正则化器（INRR）的正则化器。INR是一个完全连接的网络，可以表示细节不受网格分辨率限制的信号。然而，它的泛化能力可以提高，特别是非均匀采样数据。所提出的INRR基于学习的狄利克雷能量（DE），其测量矩阵的行/列之间的相似性。拉普拉斯矩阵的平滑性通过用微小的INR参数化DE来进一步集成。INRR通过将信号的自相似性与拉普拉斯矩阵的平滑性完美地结合起来，提高了INR在信号表示中的通用性。通过精心设计的数值实验，揭示了INRR的一系列性质，包括动量方法，如收敛轨迹和多尺度相似性。此外，该方法可以改善其他信号表示方法的性能。
2023-03-27 cs.LG cs.NE
Linear Convergence of Entropy-Regularized Natural Policy Gradient with Linear Function Approximation
RWTH Aachen University（亚琛工业大学）；ETH Zurich（苏黎世联邦理工学院）
本文研究了熵正则化自然策略梯度在函数逼近下的线性收敛性，证明了其在正则化马尔可夫决策过程中具有线性收敛特性。
2024-02-08 cs.LG math.OC stat.ML
On the Generalization Error Bounds of Neural Networks under Diversity-Inducing Mutual Angular Regularization
Carnegie Mellon University（卡内基梅隆大学）
近年来，潜变量模型（LVMs）的多样性诱导正则化方法（Diversity-inducing regularization methods）被广泛研究，旨在解决潜变量建模中的几个问题：（1）如何捕获数据背后的长尾模式;（2）如何在不牺牲表达性的前提下降低模型复杂度;（3）如何提高学习模式的可解释性。虽然多样性诱导正则化，如相互角正则化的有效性已被证明经验，他们仍然缺乏严格的理论分析。在本文中，我们的目标是弥合这一差距，并分析相互角度正则化（MAR）如何影响监督LVMs的泛化性能。以神经网络（NN）为例进行了研究，分析表明，增加NN中隐层单元的多样性会减小估计误差，增加逼近误差。除了理论分析外，我们还进行了实证研究，结果表明，MAR可以大大提高神经网络的性能，实证观察与理论分析是一致的。
2015-11-23 cs.LG
Tempered Sequential Monte Carlo for Trajectory and Policy Optimization with Differentiable Dynamics
Harvard University（哈佛大学）
本文提出温控序贯蒙特卡洛方法，用于在可微动力学下进行有限时间跨度的轨迹和策略优化，通过将控制器设计转化为推断问题，结合退火方案和哈密顿蒙特卡洛方法，提升采样效率和优化性能。
2026-05-09 cs.LG cs.RO
Quantization Aware Training, ERNIE and Kurtosis Regularizer: a short empirical study
Intel Technology Poland（英特尔波兰技术公司）
像Ernie或BERT这样的预训练语言模型目前在许多应用中使用。这些模型带有一组预先训练的权重，通常是在大量数据的无监督/自监督模式中获得的。在此之后，它们会在特定任务上进行微调。然后应用程序使用这些模型进行推理，并且通常会应用一些额外的约束，例如低功耗预算或输入和输出之间的低延迟。满足推理设置的这些额外要求的主要途径是使用低精度计算（例如INT 8而不是FP 32），但这会降低模型的功能性能（例如准确性）。已经开发了一些方法来解决这个问题，并且超越了PTO（训练后量化）的限制，更具体地说，QAT（量化感知训练，参见[4]）是一种干扰训练过程的过程，以便使其在训练本身期间受到量化阶段的影响（或简单地干扰）。除了QAT之外，最近Intel-Habana Labs还提出了一种额外的更直接的方法，使训练结果对随后的量化更加鲁棒，该方法使用正则化器，从而改变了驱动训练过程的损失函数。但是他们的建议并不适用于像Ernie这样的预先训练的模型。在这篇简短的论文中，我们展示了为什么这种情况不会发生（对于Ernie的情况），我们提出了一种非常基本的方法来处理它，并分享了一些初步结果（最终INT 8精度的增加），这些结果可能会让愿意在低精度状态下使用Ernie的从业者感兴趣。
2021-06-28 cs.LG stat.ML
Towards Making Deep Transfer Learning Never Hurt
Baidu Inc.（百度公司）；Peking University（北京大学）；National Engineering Laboratory for Deep Learning Technology and Applications（深度学习技术及应用国家工程实验室）
迁移学习已被频繁地用于通过将预训练网络的权重并入作为用于正则化的优化的起点来改进深度神经网络训练。虽然深度迁移学习通常可以通过更好的准确性和更快的收敛速度来提高性能，但从不适当的网络中转移权重会损害训练过程，并可能导致更低的准确性。在本文中，我们认为深度迁移学习是基于预训练权重最小化经验损失和正则化器的线性组合，其中正则化器将限制训练过程降低经验损失，具有冲突的下降方向（例如，衍生物）。根据这一观点，我们提出了一种新的策略，使基于正则化的深度迁移学习永不伤害（DTNH），对于训练过程的每次迭代，分别计算两项的导数，然后重新估计一个新的下降方向，该方向不会损害经验损失最小化，同时保留来自预训练权重的正则化影响。在广泛的深度迁移学习基准测试（包括加州理工学院、麻省理工学院室内67、CIFAR-10和ImageNet）之上，使用常见的迁移学习正则化器（如L2-SP和知识蒸馏）进行了大量实验。实验结果表明，所提出的下降方向估计策略DTNH总是可以提高基于所有上述正则化器的深度迁移学习任务的性能，即使在从不适当的网络中传输预训练的权重时也是如此。总的来说，DTNH策略在所有情况下都可以提高最先进的正则化器，在所有实验中的精度提高0.1%-7%。
2019-11-18 cs.LG stat.ML
Stability and Generalization of lp-Regularized Stochastic Learning for GCN
University of Electronic Science and Technology of China（电子科技大学）；Northwestern Polytechnical University（西北工业大学）；Nanjing Audit University（南京审计大学）；Zhejiang Normal University（浙江师范大学）
本文提出一种ℓp正则化随机学习框架及SGD近端算法，量化GCN在平滑性与稀疏性间的权衡，并通过稳定性分析建立理论理解，实验验证了其有效性。
2023-06-20 cs.LG stat.ML
Generalized Laplacian Regularized Framelet Graph Neural Networks
University of Sydney（悉尼大学）；Western Sydney University（西悉尼大学）
该研究提出基于p-Laplacian GNN的pL-UFG与pL-fUFG两种框架小波图卷积模型，融合p-Laplacian特性与图信号多分辨率分解能力，并在节点分类和信号去噪任务中验证了优异性能。
2023-07-13 cs.LG
Balance Regularized Neural Network Models for Causal Effect Estimation
DeepMind（深度思维）
从观察数据中估计个体和平均治疗效果是许多领域（如医疗保健和电子商务）中的一个重要问题。本文提出了多头神经网络结构的平衡正则化方法。我们的工作是出于表示学习技术，以减少处理和未处理的分布之间的差异，可能会出现由于混淆因素。我们通过鼓励模型预测治疗组中个体的控制结果来进一步正则化模型，这些控制结果与控制组中的控制结果相似。我们实证研究的偏差方差权衡不同权重的正则化，以及之间的归纳和转导的推理。
2020-11-23 cs.LG stat.ML
Fundamental Limits of Ridge-Regularized Empirical Risk Minimization in High Dimensions
University of California, Santa Barbara（加州大学圣巴巴拉分校）
经验风险最小化（ERM）算法广泛用于信号处理和机器学习应用中的各种估计和预测任务。尽管它们很受欢迎，但在测量数量和未知参数数量都很大的现代制度中解释它们的统计特性的理论只是最近才出现的。本文首次刻画了高维广义线性模型中凸ERM推理的统计精度的基本极限。对于具有高斯特征和问题维度的程式化设置，这些特征和问题维度以成比例的速度增长，我们从尖锐的性能特征开始，然后推导出估计和预测误差的严格下限，这些估计和预测误差适用于广泛的一类损失函数和正则化参数的任何值。我们的精确分析有几个特点。首先，它导致了最佳调整损失函数和正则化参数的配方。其次，它允许精确地量化流行的启发式选择的次优性：例如，我们表明，最优调整的最小二乘是（也许令人惊讶的）近似最优的标准逻辑数据，但次优差距急剧增长的信号强度增加。第三，我们使用的界限，以精确地评估脊正则化的优点作为一个函数的过参数化比率。值得注意的是，我们的界限表示的随机变量的费舍尔信息，是简单的函数的数据分布，从而在经典统计学中相应的界限。
2020-07-05 cs.IT cs.LG eess.SP
Empirical Hypothesis Space Reduction
NEC corporation（日本电气股份有限公司）；RIKEN AIP（理化学研究所AIP）
选择合适的正则化系数是正则化经验风险最小化问题的关键。现有的理论方法试图确定的系数，以正规化的经验目标是真正的目标的上限，均匀的假设空间。然而，这样的方法被认为是过于保守的，特别是在具有大假设空间的高维设置中。事实上，基于方差的正则化中现有的泛化误差界是$O(\sqrt{d \log n/n})$，其中$d$是假设空间的维度，因此收敛所需的样本数量相对于$d$线性增加。本文提出了一种计算正则化系数的算法，该算法能加快泛化误差$O(\sqrt{\log n/n})$的收敛速度，且其首项与维数$d$无关。这种不依赖于假设空间大小的更快收敛是通过经验假设空间缩减来实现的，经验假设空间缩减以高概率成功地缩减了假设空间，而不会丢失真正的最优解。统一的上界计算减少空间，然后，使加速收敛的泛化误差。
2019-09-04 cs.LG stat.ML
Bayesian regularization of empirical MDPs
Carnegie Mellon University（卡内基梅隆大学）；Amazon.com, Inc.（亚马逊公司）；Stanford Unviersity（斯坦福大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）
在基于模型的马尔可夫决策过程的大多数应用中，未知的底层模型的参数往往是从经验数据估计。由于噪声的存在，从估计模型中学习到的策略往往与底层模型的最优策略相差甚远。当应用到底层模型的环境中时，学习到的策略会导致次优性能，因此需要具有更好泛化性能的解决方案。在这项工作中，我们采取贝叶斯的观点和规范的马尔可夫决策过程的目标函数与先验信息，以获得更强大的政策。提出了基于$L^1$正则化和基于相对熵正则化的两种方法。我们评估我们提出的算法合成模拟和现实世界中的搜索日志的大型网上购物商店。我们的研究结果证明了正则化MDP政策对模型中存在的噪声的鲁棒性。
2022-09-21 cs.LG stat.ML
Lipschitz regularized Deep Neural Networks generalize and are adversarially robust
McGill University（麦吉尔大学）；University of Minnesota（明尼苏达大学）
在这项工作中，我们研究了深度神经网络的输入梯度正则化，并证明了这种正则化导致泛化证明和提高对抗鲁棒性。推广的证明并没有克服维数灾难，但它与网络中的层数无关。对抗性鲁棒性正则化结合了对抗性训练，我们证明它等价于总变差正则化和Lipschitz正则化。我们的经验表明，正则化模型是更强大的，图像的梯度范数可以用于攻击检测。
2019-09-12 cs.LG cs.NA math.NA
Behavior-Regularized Diffusion Policy Optimization for Offline Reinforcement Learning
The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））
本文提出BDPO框架，将行为正则化扩展至扩散策略，通过解析计算KL正则化作为逆向时间转移核的累积差异，开发双时间尺度actor-critic算法，在D4RL基准上验证了有效性与优越性能。
2025-05-29 cs.AI cs.LG
On Dropout and Nuclear Norm Regularization
Johns Hopkins University（约翰斯·霍普金斯大学）
我们给出了具有平方损失的深度线性网络中dropout诱导的显式正则化子的形式和完整刻画。我们表明：（a）显式正则化是由一个$\ell_2$ -路径正则化和其他条款，也重新缩放不变，（b）的凸包络的诱导正则化是平方核范数的网络地图，和（c）对于一个足够大的辍学率，我们刻画的辍学目标的全局最优值。我们验证了我们的理论研究结果与实证结果。
2019-05-28 cs.AI cs.LG stat.ML
Learning Regularizers: Learning Optimizers that can Regularize
本研究探讨学习型优化器能否内化传统显式正则化技术，通过实验证明其在提升泛化能力上优于未正则化方法，并能将正则化效果迁移至新任务。
2025-10-10 cs.AI cs.LG
A unified view of entropy-regularized Markov decision processes
Universitat Pompeu Fabra（庞培法布拉大学）
提出了一种基于熵正则化的平均奖励强化学习的马尔可夫决策过程（MDP）的一般框架。我们的方法是基于扩展的线性规划制定的MDP政策优化，以适应凸正则化函数。我们的关键结果是表明，使用联合状态-作用分布的条件熵作为正则化产生了一个类似于Bellman最优性方程的对偶优化问题。这一结果使我们能够将一些最先进的熵正则化强化学习算法形式化为镜像下降或对偶平均的近似变体，从而讨论这些方法的收敛特性。特别是，我们证明了Schulman等人（2015）的TRPO算法的精确版本实际上收敛到最优策略，而Mnih等人（2016）的熵正则化策略梯度方法可能无法收敛到固定点。最后，我们用经验说明了在一个简单的强化学习设置中使用各种正则化技术对学习性能的影响。
2017-05-22 cs.AI cs.LG stat.ML
