A Simple Analysis for Exp-concave Empirical Minimization with Arbitrary Convex Regularizer
The University of Iowa（爱荷华大学）；Nanjing University（南京大学）
在本文中，我们提出了一个简单的分析{ \bf快速率}与{\bf经验最小化}的{\it高概率}的{\it随机复合优化}在有限维有界凸集上的指数凹损失函数和任意凸正则化。据我们所知，这一结果是同类中的第一个。作为一个副产品，我们可以直接获得具有和不具有任何凸正则化的指数凹经验风险最小化的{ \it high probability}的快速速率，这不仅推广了经验风险最小化的现有结果，而且为分析具有和不具有{ \it any}凸正则化的指数凹经验风险最小化提供了一个统一的框架.我们的证明非常简单，只利用有限维有界集的覆盖数和随机向量的集中不等式。
2017-09-09 cs.LG math.OC stat.ML
A Dual Optimization View to Empirical Risk Minimization with f-Divergence Regularization
Electronic Engineering, University of Sheffield, Sheffield, U.K.；2 INRIA, Centre Inria d'Universit\'e C\ ote d'Azur, Sophia Antipolis, France.；3 ECE Dept., Princeton University, Princeton, 08544 NJ, USA.
本文提出ERM-fDR的对偶形式，利用Legendre-Fenchel变换和隐函数定理推导归一化函数的非线性ODE，并给出高效计算方法。
2025-08-05 cs.LG stat.ML
Variance-based regularization with convex objectives
我们开发了一种风险最小化和随机最优化的方法，提供了一个凸代理方差，允许近似和估计误差之间的近最佳和计算效率的交易。我们的方法建立了技术的分布鲁棒优化和欧文的经验似然，我们提供了一些有限样本和渐近结果表征的理论性能的估计。特别是，我们表明，我们的程序来与证书的最优性，实现（在某些情况下）更快的收敛速度比经验风险最小化凭借自动平衡偏差和方差。我们提供了确凿的经验证据表明，在实践中，估计确实交易方差和绝对性能的训练样本，提高了标准的经验风险最小化的分类问题的样本（测试）性能。
2017-12-14 math.ST stat.ML stat.TH
Noise-Augmented Privacy-Preserving Empirical Risk Minimization with Dual-purpose Regularizer and Privacy Budget Retrieval and Recycling
University of Notre Dame（圣母大学）
我们提出了噪声增强的隐私保护经验风险最小化（NAPP-ERM），解决了不同的隐私保证的ERM。现有的隐私保护ERM方法可能会受到过度正则化的影响，使用l2项来实现目标正则化之上的强凸性。NAPP-ERM改进了当前的方法，并通过适当设计的增强数据迭代地实现目标正则化，并通过单个自适应加权的两用l2正则化器提供强凸性，从而减轻过度正则化。当目标正则化用于变量选择时，我们提出了一种新的正则化器，同时实现隐私和稀疏性保证。最后，我们提出了一种策略，以检索隐私预算时，满足强凸性的要求，这可以返回给用户，这样的DP的ERM是保证在一个较低的隐私成本比原来计划的，或被回收到ERM优化过程中，以减少注入DP噪声，提高DP-ERM的效用。从实现的角度来看，NAPP-ERM可以通过优化给定噪声增强数据的非扰动目标函数来实现，因此可以利用现有的工具进行非私有ERM优化。我们通过大量的实验说明了NAPP-ERM对变量选择和预测的过度正则化和私人预算检索的缓解效果。
2021-10-16 cs.CR cs.LG stat.ML
A Distributed Quasi-Newton Algorithm for Empirical Risk Minimization with Nonsmooth Regularization
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Wisconsin Institute for Discovery（威斯康星发现研究所）
我们提出了一个通信和计算效率的分布式优化算法，使用二阶信息解决非光滑正则项的ERM问题。目前的二阶和拟牛顿法，这个问题要么不工作，以及在分布式设置或仅适用于特定的正则化。我们的算法使用逐次二次近似，我们描述了如何保持近似的Hessian和有效地解决子问题的分布式方式。所提出的方法具有全局线性收敛的广泛的非强凸问题，包括最常用的ERMs，从而需要较低的通信复杂度。它还收敛于非凸问题，因此有可能用于深度学习等应用。凸问题的初步计算结果表明，我们的方法显着改善了通信成本和运行时间比目前最先进的方法。
2018-05-26 cs.LG math.OC stat.ML
Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization
California Institute of Technology（加州理工学院）；Department of Computing and Mathematical Sciences（计算与数学科学系）；Department of Electrical Engineering（电气工程系）
随机下降方法（梯度和镜像变种）在优化中变得越来越流行。事实上，现在人们普遍认识到，深度学习的成功不仅是由于模型的特殊深度架构，而且还由于所使用的随机下降方法的行为，这些方法在达到“好”解决方案方面发挥了关键作用，这些解决方案可以很好地推广到看不见的数据。为了解释为什么会这样，我们重新审视了线性模型平方损失的随机梯度下降（SGD）的一些极小极大性质-最初是在20世纪90年代开发的-并将其扩展到一般损失函数和非线性模型的一般随机镜像下降（SMD）算法。特别是，我们表明，有一个基本的身份，它适用于SMD（和SGD）在非常一般的条件下，这意味着极小极大最优的SMD（和SGD）足够小的步长，并为一般类的损失函数和一般的非线性模型。我们进一步表明，这个身份可以用来自然地建立其他属性的SMD（和SGD），即收敛性和隐式正则化的过参数化的线性模型（在现在被称为“插值制度”），其中一些已经在某些情况下，在以前的文献。我们还讨论了如何在所谓的“高度过度参数化”非线性设置（参数的数量远远超过数据点的数量）中使用这个恒等式，以深入了解为什么SMD（和SGD）可能具有类似的收敛性和隐式正则化属性，用于深度学习。
2019-01-17 cs.AI cs.LG math.OC
Un-regularizing: approximate proximal point and faster stochastic algorithms for empirical risk minimization
Stanford University（斯坦福大学）；Microsoft Research, New England（微软新英格兰研究院）；MIT（麻省理工学院）
我们开发了一个家庭的加速随机算法，最小化凸函数的总和。我们的算法提高了最快的运行时间经验风险最小化（ERM），特别是线性最小二乘回归，在广泛的问题设置。为了实现这一点，我们建立了一个框架的基础上，经典的邻近点算法。也就是说，我们提供了几个算法，减少了一个强凸函数的最小化的函数的正则化的近似最小化。使用这些结果，我们加速最近的快速随机算法在一个黑盒的方式。从经验上讲，我们证明，由此产生的算法表现出的稳定性，在实践中是有利的概念。无论是在理论上还是在实践中，所提供的算法都获得了增加一个大的强凸正则化项的计算优势，而不会对原始问题产生相应的偏差。
2015-06-24 cs.DS cs.LG stat.ML
Empirical Risk Minimization with $f$-Divergence Regularization
University of Sheffield（谢菲尔德大学）；Princeton University（普林斯顿大学）；INRIA（法国国家信息与自动化研究所）；University of French Polynesia（法属波利尼西亚大学）
本文提出了一种基于f-分歧正则化的经验风险最小化方法，通过引入归一化函数和非线性微分方程，构建了数值算法并展示了不同f函数的选择对模型性能的影响。
2026-01-19 cs.LG stat.ML
Fast Learning Rate of lp-MKL and its Minimax Optimality
本文给出了lp-MKL的一个新的精确泛化界。lp-MKL是多核学习（MKL）的一个推广框架，它用lp-混合范数正则化代替l1-混合范数正则化。我们利用本地化技术，以获得尖锐的学习率。该界的特征在于相关的内核的特征值的衰减率。衰减率越大，收敛速度越快。在乘积空间中，给出了具有lp-混合范数的球上的极大极小学习率。然后，我们证明了我们导出的lp-MKL的学习率在lp-混合范数球上达到了最小最大最优率。
2011-07-13 stat.ML
Empirical Risk Minimization as Parameter Choice Rule for General Linear Regularization Methods
University of Goettingen（哥廷根大学）；Max Planck Institute for Biophysical Chemistry（马克斯·普朗克生物物理化学研究所）；Felix Bernstein Institute for Mathematical Statistics in the Bioscience, University of Goettingen（哥廷根大学生物科学数学统计费利克斯·伯恩斯坦研究所）
本文研究了通过经验风险最小化选择正则化参数在统计反问题中的应用，证明了该方法在一般设定下的最优性，并通过数值模拟验证了其在有限样本中的有效性。
2018-07-04 cs.NA math.NA math.ST
Near-Optimal Discrete Optimization for Experimental Design: A Regret Minimization Approach
Microsoft Research Redmond（微软研究院雷德蒙德）；Princeton University（普林斯顿大学）；Carnegie Mellon University（卡内基梅隆大学）
试验设计问题涉及从潜在的大的p维向量设计池中选择k个点，以便最大化在所选k个设计点上回归的统计效率。统计效率是通过最优性标准来衡量的，包括A（不确定性），D（不确定性），T（种族），E（遗传），V（变异）和G-最优性。除了T-最优性，精确优化是NP-难的。我们提出了一个多项式时间遗憾最小化框架，以实现$(1+\varepsilon)$近似只有$O(p/\varepsilon^2)$设计点，所有的最优性标准。相比之下，据我们所知，在我们的工作之前，没有多项式时间算法实现D/E/G最优的$(1+\varepsilon)$近似，并且实现A/V最优的$(1+\varepsilon)$近似的最佳多时间算法需要$k = Ω(p^2/\varepsilon)$设计点。
2017-11-14 cs.LG stat.CO stat.ML
Coordinate Descent Methods for DC Minimization: Optimality Conditions and Global Convergence
Peng Cheng Laboratory（鹏城实验室）
凸差最小化（Difference-of-Convex，DC）是指最小化两个凸函数之差的问题，在统计学习中有着广泛的应用和研究。然而，现有的方法主要是基于多阶段的凸松弛，只导致弱的临界点的最优性。提出了一种基于序列非凸逼近的求解一类DC函数极小化问题的坐标下降法。我们的方法全局迭代求解非凸一维子问题，并且保证收敛到坐标系稳定点。我们证明了在弱\textit{locally bounded nonconvexity assumption}下，这个新的最优性条件总是强于标准的临界点条件和方向点条件。为了比较，我们还包括一个朴素的坐标下降法的基础上顺序凸近似在我们的研究。当目标函数满足一个\textit{globally bounded nonconvexity assumption}和\textit{Luo-Tseng error bound assumption}时，坐标下降法达到\textit{Q-linear}收敛速度。此外，对于许多感兴趣的应用程序，我们表明，非凸一维子问题可以计算准确，有效地使用断点搜索方法。最后，我们对几个统计学习任务进行了大量的实验，以显示我们的方法的优越性。保留字：坐标下降，DC最小化，DC规划，凸规划的差异，非凸优化，稀疏优化，二进制优化。
2022-12-18 cs.LG math.OC
Sharpness-Aware Minimization with Adaptive Regularization for Training Deep Neural Networks
College of Computer Science and Technology（计算机科学与技术学院）；National University of Defense Technology（国防科技大学）
针对 SAM 使用固定正则化超参数的局限，本文提出 SAMAR 方法，通过灵活的锐度比率规则动态更新正则化参数，并从理论上证明其收敛性，实验表明该方法有效提升了模型准确率与泛化能力。
2024-12-22 cs.CV cs.LG
Nonconvex sparse regularization for deep neural networks and its optimality
University of Notre Dame（圣母大学）；Seoul National University（首尔国立大学）
最近的理论研究证明，通过在一定稀疏性约束下最小化经验风险获得的深度神经网络（DNN）估计量可以获得回归和分类问题的最佳收敛速度。然而，稀疏性约束要求知道真实模型的某些属性，这在实践中是不可用的。此外，由于稀疏约束的离散性质，计算是困难的。在本文中，我们提出了一种新的惩罚估计方法稀疏DNN，解决了上述问题存在的稀疏性约束。我们建立了一个预言不等式的建议稀疏惩罚DNN估计的超额风险，并推导出几个学习任务的收敛速度。特别是，我们证明了稀疏惩罚估计可以自适应地获得各种非参数回归问题的极小极大收敛速度。对于计算，我们开发了一个有效的基于梯度的优化算法，保证单调减少的目标函数。
2021-08-09 cs.LG math.ST stat.ML
Explaining f-Divergence-Based Regularization via Local Curvature and Sharpness-Aware Minimization
EURECOM；University of Granada（格拉纳达大学）
本文通过局部曲率分析揭示f-散度正则化与锐度感知最小化在参数和输入扰动下的等价性，并实验证明最大曲率惩罚可提升泛化性能。
2026-09-10 cs.IT cs.LG math.IT
Sharpness-Aware Minimization Revisited: Weighted Sharpness as a Regularization Term
Ant Group（蚂蚁集团）
针对SAM优化器，本文提出将锐度作为正则化项的WSAM方法，结合PAC与Bayes-PAC证明泛化界，并在多个公开数据集上验证其更优或具竞争力的泛化性能。
2024-12-05 cs.LG
Implicit Regularization Towards Rank Minimization in ReLU Networks
Weizmann Institute of Science（魏茨曼科学研究院）
研究了梯度训练下ReLU网络隐式正则化与权重矩阵秩最小化的关系，证明ReLU网络上的GF在多数小数据集上不再最小化秩，但足够深度的ReLU网络可证明偏向低秩解。
2022-01-30 cs.LG stat.ML
Out-of-Distribution Optimality of Invariant Risk Minimization
The Institute of Statistical Mathematics（统计数学研究所）
本文针对不变风险最小化（IRM）缺乏理论保证的问题，严格证明了在特定条件下IRM的双层优化问题解可最小化分布外风险，并给出了对应的数据分布和特征空间维度的充分条件。
2024-10-29 cs.LG stat.ML
Thermodynamically Optimal Regularization under Information-Geometric Constraints
Université Gustave Eiffel（法国埃菲尔大学）；LASTIG（LASTIG研究所）；IGN-ENSG（国家地理信息学院）
本文提出热力学最优正则化理论，结合信息几何和热力学原理，为机器学习正则化提供新的理论基础。
2026-01-24 cs.CV cs.LG
Bayesian Counterfactual Risk Minimization
Amazon（亚马逊）
我们提出了一个贝叶斯观点的反事实风险最小化（CRM）离线学习记录的强盗反馈。利用PAC-Bayesian分析，我们得到了一个新的广义界截断逆倾向得分估计。我们将约束应用于一类贝叶斯策略，这激发了一种新的，潜在的数据依赖性，CRM的正则化技术。实验结果表明，该技术优于标准的$L_2$正则化，它是有竞争力的方差正则化，同时更简单的实现和更高的计算效率。
2020-04-02 cs.LG stat.ML
Deep learning from strongly mixing observations: Sparse-penalized regularization and minimax optimality
Institut Camille Jordan, Université Jean Monnet（让·蒙特大学坎贝尔·乔丹研究所）；THEMA, CY Cergy Paris Université（巴黎中央理工大学THEMA）
本文针对强混合观测数据，提出稀疏惩罚正则化的深度神经网络估计方法，建立期望超额风险与L2误差的神谕不等式，并证明在Hölder复合函数类上达到极小极大最优速率。
2025-07-08 cs.LG stat.ML
On the Joint Minimization of Regularization Loss Functions in Deep Variational Bayesian Methods for Attribute-Controlled Symbolic Music Generation
针对属性控制符号音乐生成中变分贝叶斯方法难以联合最小化正则化损失的问题，本文探索KLD与AR损失的权衡，发现合适的属性变换可同时实现潜维度的可控性与正则化，提升生成模型性能。
2025-11-10 cs.AI cs.LG eess.AS
Robust Multi-class Feature Selection via $l_{2,0}$-Norm Regularization Minimization
Fuzhou University（福州大学）
特征选择是数据采掘和机器学习中一个重要的数据预处理过程，它可以在不降低模型性能的前提下减少特征的大小。近年来，基于稀疏回归的特征选择方法由于其良好的性能而受到广泛关注。然而，由于$l_{2,0}$ -范数正则化项是非凸的，这个问题是很难解决的。与大多数只求解近似问题的方法不同，本文提出了一种基于同伦迭代硬阈值（HIHT）的多类特征选择$l_{2,0}$ -范数正则化最小二乘问题的直接求解方法，该方法能够得到权值矩阵的精确行稀疏解.此外，为了减少HIHT的计算时间，本文还提出了一种加速HIHT算法（AHIHT）。在8个生物数据集上的大量实验表明，与近似凸模型和现有的特征选择方法相比，该方法能够以最少的选择特征数（No.fea）获得更高的分类精度（ACC）.分类精度对正则化参数和特征个数的鲁棒性也得到了验证。
2020-12-07 cs.LG
Beyond Empirical Risk Minimization: Local Structure Preserving Regularization for Improving Adversarial Robustness
Northwestern University（西北大学）；Peking University（北京大学）
众所周知，深度神经网络很容易被具有人类无法感知的扰动的对抗性示例所愚弄。已经提出了各种防御方法来提高对抗鲁棒性，其中对抗训练方法是最有效的。然而，这些方法大多独立地处理训练样本，并且需要大量的样本来训练鲁棒网络，而忽略了这些样本之间的潜在结构信息。在这项工作中，我们提出了一种新的局部结构保持（LSP）正则化，其目的是保持学习的嵌入空间中的输入空间的局部结构。以这种方式，可以减轻位于干净样本附近的对抗样本的攻击效果。我们展示了强有力的经验证据，无论是否有对抗训练，与基线和一些最先进的方法相比，我们的方法在几个图像分类数据集上始终提高了对抗鲁棒性的性能，从而为未来的研究提供了有希望的方向。
2023-03-29 cs.CR cs.CV cs.LG
Calibrating Bayesian Learning via Regularization, Confidence Minimization, and Selective Inference
King’s Communications, Learning & Information Processing (KCLIP) lab（国王通讯、学习与信息处理（KCLIP）实验室）；Centre for Intelligent Information Processing Systems (CIIPS)（智能信息处理系统中心）；Department of Engineering, King’s College London（伦敦国王学院工程系）
本文扩展了基于变分推断的贝叶斯学习，集成校准正则化、置信度最小化与选择性校准，提出SCBNN-OCM模型，在以拒绝部分输入为代价下实现了最优的分布内与分布外性能。
2025-11-03 cs.AI cs.LG eess.SP
Explicit Eigenvalue Regularization Improves Sharpness-Aware Minimization
Monash University（莫纳什大学）；VinAI Research（VinAI研究院）
本文分析SAM训练动态，提出Eigen-SAM算法，通过显式对齐扰动向量与主导特征向量以正则化Hessian最大特征值，提升泛化性能。
2025-01-22 cs.CV cs.LG
L_1-regularized Boltzmann machine learning using majorizer minimization
Kyoto University（京都大学）
我们提出了一种推理方法，估计稀疏的相互作用和偏见，根据玻尔兹曼机器学习。该方法的基础是$L_1$正则化，该正则化常用于压缩感知，这是一种用于从欠采样输出重建稀疏输入信号的技术。$L_1$正则化阻碍了梯度法的简单应用，由于代价函数缺乏平滑性，梯度法优化了导致精确估计的代价函数。在这项研究中，我们利用优化器最小化方法，这是一个众所周知的技术实现优化问题，以避免非光滑的成本函数。通过使用优化器最小化方法，我们阐明了本质上相关的偏见和相互作用，从给定的数据与看似强相关的组件。
2015-03-11 cond-mat.dis-nn cs.LG stat.ML
Deep Learning From Crowdsourced Labels: Coupled Cross-entropy Minimization, Identifiability, and Regularization
School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；Oregon State University（俄勒冈州立大学）
针对含噪众包标签的端到端深度学习，本文证明CCEM在有限样本和不完整标注下的可辨识性，并提出两种正则化变体以提升参数辨识性能。
2023-06-05 cs.LG eess.SP stat.ML
New Tight Relaxations of Rank Minimization for Multi-Task Learning
Northwestern Polytechnical University（西北工业大学）
多任务学习已经被许多研究者所观察到，它假设不同的任务可以共享一个低秩的公共潜在子空间。这意味着联合学习多项任务比独立学习更好。本文提出了两种新的基于两个正则化项的多任务学习公式，通过最小化$k$最小奇异值来学习最优共享潜在子空间.所提出的正则化项是比迹范数更紧的秩最小化近似。但求解精确秩最小化问题是一个NP难问题。因此，我们设计了一种新的基于重加权的迭代策略来求解我们的模型，该策略可以通过设置一个大的惩罚参数来策略性地处理精确秩最小化问题。在基准数据集上的实验结果表明，我们的方法可以正确地恢复跨任务共享的低秩结构，并优于相关的多任务学习方法。
2021-12-09 cs.LG
Penalty Decomposition Methods for $L0$-Norm Minimization
提出罚分解方法求解含L0-范数的优化问题，通过转化为秩最小化问题并利用向量化操作，在压缩感知等应用中优于现有方法。
2012-05-11 cs.CV cs.IT cs.LG
Optimal Algorithms for Stochastic Complementary Composite Minimization
针对随机互补复合最小化问题，论文提出近乎最优的算法，并给出期望与高概率超额风险界及下界证明，同时通过数值实验对比当前最优方法。
2024-01-23 cs.LG math.OC
Learning Unknown Constraints without Unsafe Data via Optimality and Counterfactual Regularization
Georgia Institute of Technology（佐治亚理工学院）
本文提出CF-KKT框架，利用学习动力学和局部最优示范，在不需已知动力学或额外探索的情况下恢复未知约束，结合CIOC与ICRL优势，在高维机器人任务中提升安全性和数据效率。
2026-10-08 cs.LG cs.RO
Implicit Regularization in Deep Learning May Not Be Explainable by Norms
Tel Aviv University（特拉维夫大学）
在数学上表征由基于梯度的优化引起的隐式正则化是深度学习理论中的长期追求。人们普遍希望基于范数最小化的特征可以应用，研究这种前景的标准测试平台是矩阵分解（通过线性神经网络完成矩阵）。范数能否解释矩阵分解中的隐正则化是一个悬而未决的问题。当前的论文通过证明存在自然矩阵因式分解问题，隐式正则化将所有范数（和准范数）推向无穷大，从反面解决了这个悬而未决的问题。我们的研究结果表明，而不是感知通过规范的隐式正则化，一个潜在的更有用的解释是最小化的秩。我们经验性地证明了这种解释可以扩展到某一类非线性神经网络，并假设它可能是解释深度学习中泛化的关键。
2020-10-17 cs.LG cs.NE stat.ML
Global Optimality Beyond Two Layers: Training Deep ReLU Networks via Convex Programs
Stanford University（斯坦福大学）
理解深度神经网络成功背后的基本机制是现代机器学习文献中的关键挑战之一。尽管进行了多次尝试，但尚未开发出可靠的理论分析。在本文中，我们开发了一个新的统一框架，通过凸优化的镜头揭示隐藏的正则化机制。我们首先证明了使用权重衰减正则化的多个三层ReLU子网络的训练可以等效地转换为高维空间中的凸优化问题，其中稀疏性通过组$\ell_1$ -范数正则化来实现。因此，ReLU网络可以被解释为高维特征选择方法。更重要的是，我们证明了等价的凸问题可以全局优化的标准凸优化求解器的多项式时间复杂度的样本数和数据维数时，网络的宽度是固定的。最后，我们通过涉及合成和真实数据集的实验，数值验证了我们的理论结果。
2022-01-13 cs.AI cs.CC cs.LG
SCORE: Approximating Curvature Information under Self-Concordant Regularization
IMT School for Advanced Studies Lucca（卢卡IMT高等研究学院）
本文提出SCORE自和谐正则化框架及GGN-SCORE算法，通过利用Hessian矩阵二阶信息结构降低计算开销，在正则化最小化问题中实现更快收敛和更好泛化，并在非凸神经网络训练中展现潜力。
2023-07-10 cs.LG math.OC
Sparse Markov Decision Processes with Causal Sparse Tsallis Entropy Regularization for Reinforcement Learning
Seoul National University（首尔大学）
本文提出了一种新的因果稀疏Tsallis熵正则化的稀疏马尔可夫决策过程（MDP），该策略正则化可使稀疏MDP的最优策略分布具有稀疏性和多峰性。本文首先分析了稀疏MDP的最优性条件，然后给出了稀疏MDP的最优性条件。然后，我们提出了一个稀疏值迭代方法，解决了稀疏MDP，然后证明了收敛性和最优性稀疏值迭代使用Banach不动点定理。建议的稀疏MDP相比，软MDP利用因果熵正则化。我们表明，稀疏MDP的性能误差有一个恒定的界限，而软MDP的错误增加相对于动作的数量，其中这种性能误差是由引入的正则化项。在实验中，我们将稀疏MDP应用于强化学习问题。所提出的方法优于现有的方法在收敛速度和性能。
2017-10-13 cs.AI cs.LG stat.ML
A Note on k-support Norm Regularized Risk Minimization
École Centrale Paris（巴黎中央理工学院）
最近引入了k-支撑范数来执行相关稀疏正则化。虽然Argyriou等人只报告了使用平方损失的实验，但在这里，我们将其应用于其他几种常用的设置，从而产生了具有有趣和熟悉的极限情况的新型机器学习算法。这里描述的算法的源代码是可用的。
2013-03-27 cs.LG
Avoiding spurious sharpness minimization broadens applicability of SAM
Google DeepMind（谷歌DeepMind）；ETH Zürich（苏黎世联邦理工学院）
本文发现SAM在NLP中因logit统计量正则化导致性能下降，提出Functional-SAM及预条件扰动方法避免虚假锐度最小化，在多种训练设置和模型规模上优于AdamW和SAM基线。
2025-02-04 cs.CL cs.LG stat.ML
Regularization and Variance-Weighted Regression Achieves Minimax Optimality in Linear MDPs: Theory and Practice
The University of Tokyo（东京大学）；OMRON SINIC X（欧姆龙 SINIC X 研究院）；DeepMind（深度思维）；Google Research（谷歌研究院）；Peking University（北京大学）；Otto von Guericke University Magdeburg（马格德堡奥托·冯·格里克大学）；University of Alberta（阿尔伯塔大学）
针对线性MDP中MDVI算法缺乏理论保证的问题，提出方差加权最小二乘MDVI（VWLS-MDVI）达到极小极大最优样本复杂度，并给出实用算法DVW提升深度RL性能。
2026-10-06 cs.LG stat.ML
Identifying global optimality for dictionary learning
Indiana University（印第安纳大学）
在机器学习中，学习输入观测的新表示通常使用数据的因子分解来解决。对于许多这样的问题，包括稀疏编码和矩阵完成，学习这些因子分解在效率和保证解决方案是全局最小值方面可能是困难的。最近，一般类的目标已被引入-我们的术语诱导字典学习模型（DLMs）-有一个诱导凸的形式，使全局优化。虽然理论上很有吸引力，但这种诱导形式是不切实际的，特别是对于大型或不断增长的数据集。在这项工作中，我们研究了使用实际的交替最小化算法诱导DLMs，确保收敛到全局最优。我们描述了这些模型的稳定点，并利用这些见解，突出了目标的实际选择。然后，我们提供的理论和经验证据表明，交替最小化，从一个随机初始化，收敛到全球最小的一个大的子类诱导DLMs。特别是，我们利用（潜在未知的）凸诱导形式的存在，以确定何时驻点是字典学习目标的全局最小值。然后，我们提供了一个实证调查实际的优化选择使用交替最小化诱导DLMs，批量和随机梯度下降。
2017-08-07 cs.LG stat.ML
Regularization Penalty Optimization for Addressing Data Quality Variance in OoD Algorithms
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Shanghai Jiao Tong University（上海交通大学）
由于传统的经验风险最小化（ERM）算法在分布偏移情况下泛化性能较差，分布外（OoD）泛化算法受到越来越多的关注。然而，OoD泛化算法忽略了训练数据质量的巨大差异，这大大损害了这些方法的准确性。本文从理论上揭示了训练数据质量与算法性能之间的关系，分析了Lipschitz正则化不变风险最小化的最优正则化方案。在此基础上，提出了一种新的算法，从样本级和域级两个方面来减轻低质量数据的影响。在回归和分类基准上的实验验证了该方法的有效性，具有统计显著性。
2022-06-12 cs.LG
A Dual Approach to Constrained Markov Decision Processes with Entropy Regularization
University of California, Berkeley（加州大学伯克利分校）
本文研究了soft-max参数化下的熵正则化约束马尔可夫决策过程（CMDPs），提出了一种加速对偶下降方法，并证明其在最优性间隙和约束违反上均实现了 $\widetilde{\mathcal{O}}(1/T)$ 的全局收敛速率。
2023-04-07 cs.LG math.OC
Efficient Rank Minimization via Solving Non-convexPenalties by Iterative Shrinkage-Thresholding Algorithm
University of Science and Technology of China（中国科学技术大学）
秩最小化（RM）是一个广泛研究的任务，通过利用低秩结构的参数矩阵的解决方案。最近，利用非凸松弛求解RM问题受到了极大的关注。一些理论和实验工作已经证明，非凸松弛，如截断核范数正则化（TNNR）和重新加权核范数正则化（RNNR），可以提供比凸松弛更好的逼近原问题。然而，设计一个有效的算法与理论保证仍然是一个具有挑战性的问题。本文提出了一种简单而有效的近似型方法，即迭代收缩-保持算法（Iterative Shrinkage-Holding Algorithm，ISTA），并具体分析了如何用非凸加权和重加权核范数作为低秩正则化子来求解秩最小化问题。理论上，该方法可以收敛到临界点在非常温和的假设下，速度的顺序为$O(1/T)$。在合成数据和真实数据集上的实验结果表明，该算法在效率和准确性上都优于现有算法。
2018-09-14 cs.CV cs.LG stat.ML
Nonconvex Sparse Logistic Regression with Weakly Convex Regularization
Tsinghua University（清华大学）
在这项工作中，我们提出了适合稀疏逻辑回归模型的弱凸正则化非凸优化问题。这个想法是基于这样的发现，即作为$\ell_0$伪范数的近似的弱凸函数能够比常用的$\ell_1$范数更好地诱导稀疏性。对于一类弱凸稀疏诱导函数，证明了相应稀疏Logistic回归问题的非凸性，并研究了其局部最优性条件和排除平凡解的正则化参数的选择.尽管非凸性，基于近似梯度下降的方法来解决一般弱凸稀疏逻辑回归，并从理论上研究其收敛性。然后将一般框架应用于一个具体的弱凸函数，并给出了局部最优性的一个充分必要条件。在这种情况下，作为一个迭代的坚定收缩算法的解决方案的方法实例化，其有效性在数值实验中证明了随机生成的和真实的数据集。
2017-08-07 cs.LG stat.ML
Average Stability is Invariant to Data Preconditioning. Implications to Exp-concave Empirical Risk Minimization
The Hebrew University（希伯来大学）
我们表明，平均稳定性的概念引入\cite{kearns1999algorithmic, bousquet2002stability}是不变的数据预处理，广泛的一类广义线性模型，其中包括大多数已知的指数凹损失。换句话说，在分析给定算法的稳定性时，我们可以假设数据的最优预处理。这意味着，至少从统计学的角度来看，不需要显式正则化来补偿病态数据，这与广泛使用的方法形成对比，该方法包括用于分析广义线性模型的样本复杂性的正则化。我们的研究结果的几个重要意义包括：（a）我们证明了经验风险最小化（ERM）的超额风险是由预条件稳定率控制的。这立即产生了一个相对简短而优雅的证明，证明了在我们的背景下，ERM所达到的快速速度。b）我们加强了\cite{hardt2015train}关于随机梯度下降算法稳定率的最近界。
2017-04-16 cs.LG
Learning Regularizers: Learning Optimizers that can Regularize
本研究探讨学习型优化器能否内化传统显式正则化技术，通过实验证明其在提升泛化能力上优于未正则化方法，并能将正则化效果迁移至新任务。
2025-10-10 cs.AI cs.LG
On Output Activation Functions for Adversarial Losses: A Theoretical Analysis via Variational Divergence Minimization and An Empirical Study on MNIST Classification
University of California San Diego（加州大学圣地亚哥分校）；Academia Sinica（中央研究院）；Taiwan AI Labs（台湾人工智能实验室）
近年来，对抗性损失被应用到许多领域。它们的应用范围超出了最初提出的生成建模，条件生成和歧视设置。虽然先前的工作已经提出了各种输出激活函数和正则化方法，一些开放的问题仍然没有答案。本文主要研究以下两个问题：1）什么样的输出激活函数会形成一个行为良好的对抗损失？2)输出激活函数和正则化方法的不同组合如何根据经验彼此执行？为了回答第一个问题，我们采用变分散度最小化的观点，并考虑一个对抗性损失表现良好，如果它表现为数据和模型分布之间的一个类似散度的度量。利用广义的对抗性损失公式，我们推导出一个良好的对抗性损失的必要和充分条件。我们的分析揭示了一大类理论上有效的对抗性损失。对于第二个问题，我们提出了一个简单的比较框架，使用歧视性对抗网络对抗损失。所提出的框架允许我们使用标准评估指标（如分类准确性）有效地评估对抗性损失。与建议的框架，我们评估了一个全面的168个组合的12个输出激活函数和14个正则化方法的手写数字分类问题，以解耦其影响。我们的实证研究结果表明，在所有设置中，输出激活函数和正则化方法没有单一的获胜组合。我们的理论和实证结果可以作为未来研究中选择或设计对抗性损失的参考。
2022-11-07 cs.LG stat.ML
Global Optimality for Constrained Exploration via Penalty Regularization
Florian Wolf: , Ilyas Fatkhullin: , Niao He: 1The Computing \& Mathematical Sciences Department, California Institute of Technology, Pasadena, CA. 2Department of Computer Science, ETH Zurich, Switzerland. 3ETH AI Center, ETH Zurich, Switzerland.
本文提出Policy Gradient Penalty方法，通过二次惩罚正则化解决约束下的探索问题，实现全局收敛性和近优策略。
2026-09-30 cs.LG math.OC
Alternating minimization algorithms for graph regularized tensor completion
Huawei European Research Institute（华为欧洲研究院）；LISN, INRIA, Université Paris-Saclay（法国国家信息与自动化研究所，巴黎萨克雷大学）；LSEC, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院科学与工程计算国家重点实验室）；Department of INMA, Université catholique de Louvain（鲁汶天主教大学）
针对图正则化张量补全问题，提出基于CP分解的交替最小化算法，利用块结构和共轭梯度或ADMM求解，保证全局收敛，并在合成与真实数据上提升恢复精度和时间效率。
2023-11-11 cs.LG cs.NA math.NA
