Convergence Rates of Smooth Message Passing with Rounding in Entropy-Regularized MAP Inference
Stanford University（斯坦福大学）；UC Berkeley（加州大学伯克利分校）
最大后验概率（MAP）推理是统计推理的一种基本计算范式。在图形模型的设置中，MAP推理需要解决组合优化问题以找到离散值模型的最可能配置。Sherali-Adams层次中的线性规划（LP）松弛被广泛用于尝试解决这个问题，并且已经提出了平滑消息传递算法来解决这些LP的正则化版本，并且取得了巨大成功。本文利用熵正则化LP的最新研究成果，分析了一类基于边的光滑消息传递算法在松弛条件下收敛到$ε$ -最优的速度。通过适当选择正则化常数，我们提出了一个理论保证的迭代次数足以恢复真正的积分MAP解决方案时，LP是紧的，解决方案是唯一的。
2020-03-01 cs.LG math.OC stat.ML
Fast Nonsmooth Regularized Risk Minimization with Continuation
Hong Kong University of Science and Technology（香港科技大学）
在正则化风险最小化中，当损失和正则化都是非光滑的时，相关的优化问题变得特别困难。现有的方法要么有缓慢或不明确的收敛特性，被限制到有限的问题子类，或需要仔细设置的平滑参数。在本文中，我们提出了一个连续算法，适用于一个大类的非光滑正则化风险最小化问题，可以灵活地使用一些现有的解决方案的基本平滑子问题，并与收敛结果的整个算法，而不仅仅是它的一个子问题。特别是，当使用加速求解器，该算法实现了最快的已知速率的$O(1/T^2)$强凸问题，和$O(1/T)$一般凸问题。非光滑分类和回归任务的实验表明，该算法优于国家的最先进的。
2016-02-25 cs.LG math.OC stat.ML
Regularized Box-Simplex Games and Dynamic Decremental Bipartite Matching
盒子-单纯形博弈是一类双线性极大极小目标，它封装了图结构的问题，如最大流[She 17]，最优运输[JST 19]和二分匹配[AJJ+22]。我们为这些游戏的正则化变体开发了高效的近线性时间，高精度的求解器。除了直接应用这些求解器计算Sinkhorn距离，在机器学习中的一个突出的工具，我们表明，这些求解器可以用来获得改善的运行时间，以保持（分数）$ε$ -近似最大匹配的动态递减二分图对自适应对手。我们给出了一个通用的框架，降低了这个动态匹配问题，解决正则化图结构的优化问题，以高精度。通过我们的简化框架，我们的正则化盒单纯形游戏求解器意味着一个新的算法，动态递减二分匹配总时间$\tilde{O}(m \cdot ε^{-3})$，从一个初始图与$m$边和$n$节点。我们进一步展示了如何使用流优化[CKL+22]的最新进展，以提高我们的运行时间$m^{1 + o(1)} \cdot ε^{-2}$，从而展示了我们的减少为基础的方法的多功能性。这些结果改进了$\tilde{O}(m \cdot ε^{-4})$ [BGS 20]之前的最佳运行时间，并说明了使用正则化优化问题求解器设计动态算法的实用性。
2022-06-14 cs.DS math.OC
El0ps: An Exact L0-regularized Problems Solver
Scale-AI Chair, Polytechnique Montréal（Polytechnique Montréal 的 Scale-AI 教席）；Ensai, Université de Rennes（Université de Rennes 的 Ensai）；CentraleSupélec, Université de Rennes（Université de Rennes 的 CentraleSupélec）
本文提出 Python 工具箱 El0ps，通过灵活建模框架、高性能精确求解器和内置机器学习流水线，支持跨领域的 L0 正则化问题实际应用。
2025-06-04 cs.LG cs.MS math.OC
Snake: a Stochastic Proximal Gradient Algorithm for Regularized Problems over Large Graphs
LTCI, Télécom ParisTech, Université Paris-Saclay（巴黎萨克雷大学巴黎高科电信学院LTCI实验室）；CNRS / LIGM (UMR 8049), Université Paris-Est Marne-la-Vallée（法国国家科学研究中心/马恩-拉瓦雷大学LIGM实验室）
研究了大型非结构图上的正则化最优化问题，其中正则化项与图的几何结构有关。典型的正则化示例包括图上的全变差和拉普拉斯正则化。当应用邻近梯度算法来解决这个问题时，在图是没有循环的简单路径的特殊情况下，存在非常经济实惠的方法来实现邻近运算符（向后步骤）。在本文中，一个算法，简称为“蛇”，提出了解决一般图的正则化问题，利用这些快速的方法。该算法包括在图中适当地选择随机简单路径，并在这些简单路径上执行近似梯度算法。该算法是一种新的广义随机邻近梯度算法的一个实例，并证明了其收敛性。其中提供了趋势过滤和图形修复的应用。数值实验进行了大型图。
2017-12-19 cs.LG math.OC stat.ML
Regularized MIP Model for Integrating Energy Storage Systems and its Application for Solving a Trilevel Interdiction Problem
针对储能 OPF 中二元变量松弛导致同时充放电等问题，提出正则化 MIP 模型，证明其零整数间隙并为原问题提供紧上界，进而求解三层网络应急问题。
2025-01-09 math.OC
An Adaptive Regularized Proximal Newton-Type Methods for Composite Optimization over the Stiefel Manifold
本文针对Stiefel流形上的复合优化问题，提出自适应二次正则化近端拟牛顿方法ARPQN和近端牛顿方法ARPN，分别建立了全局/局部线性收敛与局部超线性收敛性质，并通过数值实验验证了其有效性。
2025-02-10 math.OC
An Extended Newton-type Algorithm for $\ell_2$-Regularized Sparse Logistic Regression and Its Efficiency for Classifying Large-scale Datasets
稀疏逻辑斯谛回归作为一种有效的分类工具，从最初的$\ell_1$正则化模型到稀疏约束模型，在近二十年来得到了长足的发展。本文用牛顿法对稀疏约束下的逻辑斯谛回归进行了研究。我们首先建立与$τ$ -平稳点相关联的一阶最优性条件。这一点可以等效地解释为一个方程组，然后用牛顿法有效地求解。该方法具有相当低的计算复杂性，并具有全局和平方收敛性质。随机和真实数据的数值实验证明了其优越的性能时，对七个国家的最先进的求解器。
2021-11-19 math.OC
A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；SAS Institute（SAS研究所）
在这项工作中，我们描述了一种使用有限记忆拟牛顿（LQN）矩阵进行大规模非凸无约束优化的三次自适应正则化（ARC）方法。ARC方法是一个相对较新的优化策略家族，它利用正则化（CR）项代替信任域和线搜索。LQN方法提供了一个大规模的替代使用显式二阶信息，通过采取相同的输入流行的一阶方法，如随机梯度下降（SGD）。精确求解CR子问题需要牛顿法，但使用LQN矩阵的内部结构的属性，我们能够找到CR子问题的精确解，以无矩阵的方式，提供大的加速比和扩展到现代尺寸的要求。此外，我们扩大了以前的ARC工作，并明确地将一阶更新到我们的算法。我们提供了使用SR1更新时的实验结果，与Adam和深度神经网络（DNN）上的其他二阶优化器相比，这些结果显示出显著的速度提升和竞争性能。我们发现，我们的新方法ARCLQN与具有最小调整的现代优化器相比，这是二阶方法的常见痛点。
2022-04-19 cs.LG math.OC stat.ML
Nested Stochastic Algorithm for Generalized Sinkhorn distance-Regularized Distributionally Robust Optimization
本文针对广义Sinkhorn距离正则化的非凸分布鲁棒优化问题，推导出嵌套随机优化的对偶形式，提出嵌套SGD算法并证明其多项式复杂度，数值实验验证了算法的效率与鲁棒性。
2025-06-26 cs.LG math.OC stat.ML
Dual Newton Proximal Point Algorithm for Solution Paths of the L1-Regularized Logistic Regression
本文提出对偶牛顿近端点算法PPDNA求解带偏置项的L1正则化逻辑回归，利用二阶稀疏性降低子问题计算成本，并设计自适应筛选AS策略生成解路径，实验验证其优于现有二阶算法。
2023-10-30 math.OC
Regularized Adaptive Momentum Dual Averaging with an Efficient Inexact Subproblem Solver for Training Structured Neural Network
National Taiwan University（台湾大学）；Institute of Statistical Mathematics（统计数理研究所）
本文提出正则化自适应动量对偶平均算法 RAMDA，通过设计非精确子问题求解器和利用流形识别理论，在保证收敛的同时获得局部最优模型结构，并在大规模视觉、语言和语音任务中优于现有方法。
2024-12-26 cs.LG math.OC
Convergence-Guaranteed Algorithms for l1/2-Regularized Quadratic Programs with Assignment Constraints
本文提出了一种收敛保证算法，用于解决具有分配约束的l1/2正则化二次程序问题，通过放松约束并引入正则化项，结合ADMM框架实现高效求解。
2025-12-12 math.OC
Regularized Stochastic Dual Dynamic Programming for convex nonlinear optimization problems
我们定义了一个正则化的变形的对偶动态规划算法称为REDDP（正则化对偶动态规划）来解决非线性动态规划方程。我们将该算法推广到求解非线性随机动态规划方程。相应的算法，称为SDDP-REG，可以被看作是一个扩展的正则化的随机对偶动态规划（SDDP）算法最近推出的线性问题，研究较少的一般性中心。我们展示了REDDP和SDDP-REG的收敛性。我们评估了REDDP和SDDP-REG在具有直接交易成本和市场影响成本的投资组合模型上的表现。特别地，我们提出了一个风险中性的投资组合选择模型，它可以被视为一个多阶段的随机二阶锥规划。该公式的动机是市场影响成本对大型投资组合再平衡操作的影响。数值模拟表明，REDDP是快得多DDP的所有问题的情况下考虑（高达184倍快于DDP），SDDP-REG是更快的情况下，投资组合选择问题的市场影响成本测试和更快的风险中性的多阶段随机线性规划的情况下实施（8.2倍快）。
2020-05-01 math.OC
A Unified Framework for Sparse Relaxed Regularized Regression: SR3
University of Washington（华盛顿大学）
正则化回归问题普遍存在于统计建模、信号处理和机器学习中。稀疏回归在科学模型发现中尤其重要，包括压缩传感应用、变量选择和高维分析。我们提出了一个广泛的框架稀疏松弛正则化回归，称为SR 3。关键思想是解决正则化问题的松弛，这与最先进的方法相比有三个优点：（1）松弛问题的解在误差、假阳性和条件方面是优越的，（2）松弛允许用于凸和非凸公式的极快算法，以及（3）该方法适用于复合正则化子，例如全变差（TV）及其非凸变体。我们证明了SR3的优势（计算效率，更高的精度，更快的收敛速度，更大的灵活性）在一系列的正则化回归问题的合成和真实的数据，包括压缩感知，LASSO，矩阵完成，电视正则化，和组稀疏的应用。为了促进可重复的研究，我们还提供了一个配套的MATLAB软件包来实现这些示例。
2018-11-08 cs.LG math.OC stat.ML
Error estimate for regularized optimal transport problems via Bregman divergence
本文研究基于Bregman散度的正则化最优传输问题，给出所需散度性质和非渐近误差估计，并证明其误差收敛快于指数速度。
2025-04-09 cs.NA math.NA math.OC
A regularized Interior Point Method for sparse Optimal Transport on Graphs
本文提出一种利用原-对偶正则化的定制内点法，通过稀疏化正规牛顿方程高效求解稀疏图上的大规模最优传输问题，并证明了内层算法的多项式收敛性，数值实验显示其优于网络单纯形求解器。
2023-07-11 math.OC
Restarted contractive operators to learn at equilibrium
CNRS, \'Ecole Normale Supérieure de Lyon, Laboratoire de Physique, F-69007 Lyon, France
针对成像逆问题双层优化与自动微分结合的难题，提出结合重启策略与无雅可比反向传播的算法，可使学习步长接近最优深度平衡框架，在多种成像任务中有效。
2025-06-16 cs.LG math.OC
An accelerated first-order regularized momentum descent ascent algorithm for stochastic nonconvex-concave minimax problems
Shanghai University（上海大学）；College of Sciences（理学院）；Newtouch Center for Mathematics of Shanghai University（上海大学新接触数学中心）
针对随机非凸-凹极小极大问题，提出加速一阶正则化动量下降上升算法（FORMDA），其迭代复杂度达$\tilde{\mathcal{O}}(\varepsilon ^{-6.5})$，实现了单循环算法的已知最优复杂度界限。
2024-10-15 cs.LG math.OC stat.ML
Solving the L1 regularized least square problem via a box-constrained smooth minimization
本文对L1正则化最小二乘问题提出了一个等价的光滑极小化方法。所提出的问题是一个凸盒约束光滑最小化，允许应用快速最优化方法找到它的解决方案。进一步研究了L1正则化最小二乘问题的“对偶的对偶是原始的”性质。光滑问题的求解器提出，并显示其亲和力的近端梯度。最后，对L1和全变差正则化问题进行了实验，并给出了相应的结果。
2021-10-20 cs.CV math.OC
Tikhonov Regularized Iterative Methods for Nonlinear Problems
考虑实希尔伯特空间中的单调包含问题。近似分裂算法是求解该问题的一种常用方法，在较弱的假设条件下，近似分裂算法通常具有弱收敛性。研究者假设所考虑的算子具有强凸性或强单调性等强条件来证明算法的强收敛性。Mann迭代法和正规S-迭代法是求解不动点问题的常用方法。利用Tikhonov正则化方法，提出了一种新的基于正规S-迭代法的公共不动点算法，在不假设强凸性和强单调性的情况下，证明了所生成的序列强收敛于公共不动点集.在已有的不动点算法的基础上，我们提出了一种与Tikhonov正则化相结合的求解单调包含问题的前向后型算法和Douglas-Rachford算法.此外，我们考虑了目前非常流行的结构复杂的单调包含问题。我们还提出了一个强收敛的前向后型原始对偶法和一个Douglas-Rachford型原始对偶法来解决单调包含问题。最后，我们进行了一个数值实验来解决图像去模糊问题。
2022-05-04 math.FA math.OC
IMRO: a proximal quasi-Newton method for solving $l_1$-regularized least square problem
我们提出了一种近似的拟牛顿法，其中Hessian的近似在每次迭代中具有特殊的“单位减秩1”（IMRO）格式。所提出的结构使我们能够有效地恢复近端点。该算法被应用到$l_1$ -正则化最小二乘问题，在许多应用中出现，包括稀疏恢复压缩感知，机器学习和统计。我们的数值实验表明，所提出的技术与其他国家的最先进的解决这类问题的有利竞争。我们还提供了一个复杂性分析IMRO的变种，显示它匹配已知的最佳界限。
2017-01-19 math.OC
An ADMM Algorithm for Solving l_1 Regularized MPC
School of Electrical Engineering, KTH（皇家理工学院电气工程学院）；Division of Automatic Control, Department of Electrical Engineering, Linköpings Universitet（林雪平大学电气工程系自动控制部）；University of California, Los Angeles（加州大学洛杉矶分校）
提出一种交替方向乘子法（ADMM）算法，用于求解具有l_1正则化最小二乘代价函数和递归等式约束的优化问题，并将其应用于l_1正则化MPC，通过Riccati递归高效求解子问题，数值实验验证了快速收敛和线性复杂度。
2012-03-19 cs.SY eess.SY math.OC
Ordinary differential equations for regularized variational problems involving semi-discrete optimal transport
Université Paris-Saclay（巴黎萨克雷大学）；CNRS（法国国家科学研究中心）；Inria Saclay（法国国家信息与自动化研究所萨克莱分中心）；Institut Universitaire de France (IUF)（法兰西学院）；University of Alberta（阿尔伯塔大学）
本文研究了正则化半离散变分问题，通过常微分方程描述解的特性，并证明了其在正则化参数下的连续性，展示了数值求解方法的鲁棒性。
2026-04-04 cs.NA math.NA math.OC
Cubic-Regularized Newton for Spectral Constrained Matrix Optimization and its Application to Fairness
University of Minnesota（明尼苏达大学）
利用矩阵函数将光滑谱约束矩阵最优化问题改写为对称矩阵集上的光滑无约束问题，然后用正则化牛顿法求解.证明了矩阵函数的二阶链式法则恒等式可以计算高阶导数来实现三次正则化牛顿，并对矩阵向量空间的三次正则化牛顿提供了新的收敛性分析。我们证明了我们的方法的适用性进行数值实验合成和真实的数据集。在我们的实验中，我们制定了一个新的模型来估计公平和强大的协方差阵的泰勒的M-估计（TME）模型的精神，并证明其优势。
2022-09-02 cs.LG math.OC
Fast randomized entropically regularized semidefinite programming
我们开发了一个实用的方法，半定规划（SDP），包括冯诺依曼熵，或适当的变体，作为一个正规化项。特别是，我们解决了对偶的正则化程序，演示了如何精心选择的随机跟踪估计可以用来有效地估计对偶梯度。我们还介绍了专门的优化方法，常见的SDP，特别是SDP与对角约束和确定的极端特征向量的跨度上的光谱投影仪的问题。我们验证了我们的方法在这些问题上的应用组合优化和谱嵌入。
2023-03-21 cs.NA math.NA math.OC
A Specialized Simplex Algorithm for Budget-Constrained Total Variation-Regularized Problems
Argonne National Laboratory（阿贡国家实验室）
本文提出了一种针对图上具有总变分正则化和预算约束的线性规划问题的专用单纯形算法，通过根 spanning forest 的性质来解释单纯形方法，并通过实验展示了该算法在时间效率上的显著提升。
2026-05-18 math.OC
Inexact Variable Metric Stochastic Block-Coordinate Descent for Regularized Optimization
块坐标下降法是求解具有块可分结构的大规模正则化最优化问题的一种常用框架。现有的方法有几个局限性。他们通常假设子问题可以在每次迭代中精确求解，这在实际中通常限制子问题中的二次项是对角的，从而失去了高阶导数信息的大部分好处。此外，与平滑情况相比，块的非均匀采样尚未被证明可以提高正则化问题的收敛速度界限。本文提出了一种基于正则化二次子问题的不精确随机BCD方法，其中二次项可以从迭代到迭代而变化：一个“可变度量”。我们提供了一个详细的收敛性分析凸和非凸问题。我们的分析推广到正则化的情况下Nesterov的建议，以提高收敛的BCD块的Lipschitz常数成比例的采样。我们通过削弱对初始目标值的依赖性来提高凸情形下的收敛速度。实证结果还表明，使用可变指标会产生显著的效益。
2019-11-01 math.OC
Global non-asymptotic super-linear convergence rates of regularized proximal quasi-Newton methods on non-smooth composite problems
本文提出两种基于SR1更新的正则化近端拟牛顿方法求解非光滑凸复合问题，首次证明其具有与初始化无关的全局非渐近超线性收敛速率，并在机器学习应用中验证了理论性质。
2024-11-21 math.OC
Randomized regularized extended Kaczmarz algorithms for tensor recovery
最近提出了随机正则化Kaczmarz算法来求解具有{ \it consistent}线性测量的张量恢复模型。在这项工作中，我们提出了一种新的算法的基础上的随机扩展Kaczmarz算法（在期望线性收敛到唯一的最小范数最小二乘解的线性系）的张量恢复模型与{ \it不一致}的线性测量。证明了算法在期望条件下的线性收敛。最后给出了张量最小二乘问题和稀疏张量恢复问题的数值实验。
2021-12-16 cs.NA math.NA math.OC
An Accelerated Proximal Coordinate Gradient Method and its Application to Regularized Empirical Risk Minimization
考虑两个凸函数之和的最小化问题：一个是光滑的，由梯度预言机给出，另一个是在坐标块上可分的，在每个块上有一个简单的已知结构.我们发展了一个加速的随机邻近坐标梯度（APCG）方法来最小化这样的凸复合函数。对于强凸函数，我们的方法实现了更快的线性收敛速率比现有的随机邻近坐标梯度法。没有强凸性，我们的方法享有加速的次线性收敛速度。我们展示了如何应用APCG方法来解决正则化经验风险最小化（ERM）问题，并设计有效的实现，避免全维向量运算。对于病态的ERM问题，我们的方法获得了改进的收敛速度比最先进的随机双坐标上升（SDCA）方法。
2014-07-04 math.OC
An adaptive ADMM with regularized spectral penalty for sparse portfolio selection
本文针对稀疏投资组合选择中的过拟合问题，提出$\ell_{1}$正则化MV模型的初始正则化参数方案和自适应卖空控制策略，并设计基于正则化Barzilai-Borwein步长的改进ADMM算法，数值实验验证了其有效性。
2025-03-08 math.OC
Modified Block Newton Algorithm for $\ell_0$-Regularized Optimization
本文提出改进的块牛顿算法，用于解决ℓ0正则化稀疏优化问题，通过线搜索策略实现全局收敛并提高计算效率。
2025-11-25 math.OC
Regularized Gradient Descent Ascent for Two-Player Zero-Sum Markov Games
Georgia Institute of Technology（佐治亚理工学院）；Virginia Tech（弗吉尼亚理工大学）
研究了两人零和马尔可夫博弈的纳什均衡问题。由于其公式化为极大极小优化程序，解决该问题的自然方法是以交替方式相对于每个玩家执行梯度下降/上升。然而，由于底层目标函数的非凸性/非线性，对该方法的理论理解是有限的。在我们的论文中，我们考虑解决马尔可夫博弈的熵正则化的变体。正则化将结构引入优化景观，使解决方案更可识别，并允许更有效地解决问题。我们的主要贡献是表明，在适当的正则化参数的选择，梯度下降上升算法收敛到原来的非正则化问题的纳什均衡。我们明确地描述了我们的算法，大大提高了现有的收敛范围的梯度下降上升算法没有正则化的最后一个周期的有限时间性能。最后，我们补充的分析与数值模拟，说明加速收敛的算法。
2022-10-12 cs.LG math.OC
Adaptive Regularized Newton Method for Riemannian Optimization
黎曼流形上的优化问题广泛应用于特征值计算、密度泛函理论、玻色-爱因斯坦凝聚、低秩最近相关、图像配准和信号处理等领域。本文提出了一种自适应正则化牛顿方法，该方法在保持黎曼流形约束的前提下，利用欧几里得空间中的二阶泰勒展开逼近原目标函数。正则化项的目标函数的子问题，使我们能够建立一个柯西点的条件作为标准的信赖域方法证明整体收敛。子问题可以不精确地解决，无论是一阶方法或修改的黎曼牛顿法。在后一种情况下，它可以进一步利用负曲率方向。在较弱的条件下，保证了算法的整体收敛和超线性局部收敛。大量的计算实验和与其他国家的最先进的方法的比较表明，该算法是非常有前途的。
2017-08-07 math.OC
Quadratically Regularized Subgradient Methods for Weakly Convex Optimization with Weakly Convex Constraints
具有非凸约束的最优化模型出现在机器学习中的许多任务中，例如，具有公平性约束的学习或具有非凸损失的Neyman-Pearson分类。虽然许多有效的方法已经开发了理论上的收敛保证非凸无约束问题，它仍然是一个挑战，设计可证明有效的算法，非凸泛函约束问题。本文提出了一类求解约束优化问题的次梯度法，其中目标函数和约束函数都是弱凸非光滑的。我们的方法解决了一系列的强凸子问题，其中一个二次正则化项被添加到目标函数和每个约束函数。每个子问题可以用各种强凸优化算法求解。在一致的斯莱特条件下，我们建立了我们的方法的计算复杂性，寻找一个几乎稳定点。
2023-03-23 math.OC
Fixed-point and coordinate descent algorithms for regularized kernel methods
本文研究了两类具有凸损失函数和二次范数正则化的核方法的最优化算法，并分析了它们的收敛性。第一种方法基于定点迭代，易于实现和分析，并且可以很容易地并行化。第二，基于坐标下降，利用结构的可加性分离的损失函数计算线搜索的解决方案，在封闭的形式。这些一般类别的算法中的大多数已经被结合到用于大规模问题的最新机器学习软件中。我们开始从一个解决方案的正则化问题，使用次微分和单调算子的解决方案，适用于一般的凸损失函数，无论可微性。文中所描述的两种方法可以看作是非线性Jacobi和Gauss-Seidel算法的实例，并且都非常适合于解决大规模问题。
2010-08-30 cs.LG math.OC stat.CO
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Towards Off-the-grid Algorithms for Total Variation Regularized Inverse Problems
本文提出一种离网格算法，通过迭代构造简单多边形指示函数的线性组合来求解全变差正则化线性反问题，克服了传统方法依赖固定网格的局限。
2022-07-09 cs.NA eess.SP math.NA
$λ$-Regularized A-Optimal Design and its Approximation by $λ$-Regularized Proportional Volume Sampling
Georgia Institute of Technology（佐治亚理工学院）
在这项工作中，我们研究了$λ$ -正则化$A$ -最优设计问题，并介绍了$λ$ -正则化比例体积采样算法，该算法从[Nikolov，Singh和Tantipongpipat，2019]推广而来，用于这个问题，并具有扩展到以前工作的近似保证。在这个问题中，我们给出了$d$维中的向量$v_1,\ldots,v_n\in\mathbb{R}^d$、预算$k\leq n$和正则化参数$λ\geq0$，目标是找到大小为$k$的子集$S\subseteq [n]$，该子集最小化$\left(\sum_{i\in S}v_iv_i^\top + λI_d\right)^{-1}$的迹，其中$I_d$是$d\times d$单位矩阵。这个问题的动机是从岭回归的最优设计，其中一个试图最小化岭回归预测的期望平方误差从底层线性模型中的真实系数。我们引入$λ$ -正则化比例体积采样，并给出其多项式时间实现来解决这个问题。我们展示了它对$k=Ω\left(\frac dε+\frac{\log 1/ε}{ε^2}\right)$的$(1+\fracε{\sqrt{1+λ'}})$ -近似，其中$λ'$与$λ$成比例，将[Nikolov，Singh和Tantipongpipat，2019]中的上界扩展到$λ>0$的情况，并获得了$λ\rightarrow \infty$的渐近最优性。
2020-06-19 cs.DS cs.LG math.OC
Regularized unbalanced optimal transport as entropy minimization with respect to branching Brownian motion
考虑了在初始时刻和最终时刻，在密度约束下，关于分支布朗运动定律的熵最小化问题。我们把这个问题称为分支薛定谔问题，通过类比薛定谔问题，其中参考过程是布朗运动。而薛定谔问题与正则化（也称为正则化）有关。熵）最优输运，我们调查这里的分支薛定谔问题与正则化不平衡最优输运的联系。这种联系表现在两个层面上。首先，依赖于对偶的论点，这两个问题的值的变分是联系在一起的，在这个意义上，正规化的不平衡最优输运的值（被视为初始和最终措施的函数）是分支薛定谔问题的值的下半连续松弛。其次，我们还明确了这两个问题的竞争对手之间的对应关系，并为此目的，我们提供了一个很好的描述法律具有有限熵的参考分支布朗运动。我们调查的小噪声限制，当噪声强度的分支布朗运动去$0$：在这种情况下，我们表明，在水平的最优输运模型，有收敛到部分最优输运。我们还提供了正式的论点，为什么看分支布朗运动，而不是在其他测量值分支马尔可夫过程，如超过程，产生的问题最接近最优输运。最后，我们解释这个问题如何可以解决数值：正则化不平衡最优输运的动力学公式可以离散化，并通过凸优化解决。
2021-12-13 math.AP math.OC math.PR
Solving Multistage Stochastic Linear Programming via Regularized Linear Decision Rules: An Application to Hydrothermal Dispatch Planning
Pontifical Catholic University of Rio de Janeiro（里约热内卢天主教大学）
多阶段随机线性问题的求解在许多应用领域都是一个挑战。长期水热调度规划（LHDP）将这一挑战具体化为影响全球电力市场、经济和自然资源的现实问题。没有封闭形式的解决方案可用于MSLP和非预期的政策与高质量的样本外的性能的定义是至关重要的。线性决策规则（LDR）提供了一个有趣的基于模拟的框架，通过两阶段随机模型为MSLP找到高质量的政策。然而，在实际应用中，当使用LDR时要估计的参数的数量可能接近或高于样本平均近似问题的场景的数量，从而在样本外模拟中产生样本内过拟合和差的性能。在本文中，我们提出了一种新的正则化LDR解决MSLP的基础上AdaLASSO（自适应最小绝对收缩和选择算子）。我们的目标是使用简约原则，主要是在高维线性回归模型的研究，以获得更好的样本外性能的LDR应用于MSLP。计算实验表明，过拟合的威胁是不可忽略的，当使用经典的非正则LDR解决LHDP，研究最多的MSLP与相关应用之一。我们的分析强调了与非正则化基准相比，所提出的框架的以下好处：1）非零系数（模型简约性）的数量显着减少，2）样本外评估的成本大幅降低，3）改善现货价格曲线。
2023-01-05 cs.LG cs.SY econ.EM
Dual-Regularized Riccati Recursions for Interior-Point Optimal Control
IMT School for Advanced Studies, Lucca（利卡大学高级研究学院）
本文提出双正则化线性二次调节器问题的闭式扩展Riccati递归，通过顺序和并行方法在O(N)和O(logN)时间内求解，并证明在满足特定惯性条件时，非零原始步骤是增广障碍-拉格朗日 merit 函数的下降方向。
2026-06-15 cs.MS cs.RO cs.SY
An active-set method for sparse approximations. Part I: Separable $\ell_1$ terms
本文提出了求解$\ell_1$ -正则化凸二次最优化问题的有效集方法。它是通过结合一个近似的乘法器（PMM）的战略与标准的半光滑牛顿法（SSN）。由此产生的线性系使用Krylov子空间方法，加速某些通用的预处理器被证明是最佳的相对于邻近的参数。通过使用乘法器的近端交替方向法热启动算法，进一步提高了实际效率。我们表明，外PMM实现整体收敛下仅仅是可行性假设。在附加的标准假设下，PMM格式实现了全局线性收敛和局部超线性收敛。SSN格式是局部超线性收敛的，假设其相关的线性系被足够精确地求解，并在某些额外的正则性假设下全局收敛。我们提供了数值证据，以证明它对OSQP和IP-PMM（ADMM和正则化IPM求解器，分别）在几个弹性网络线性回归和$L^1$正则化PDE约束最优化问题的方法进行比较的有效性。
2023-02-28 cs.NA math.NA math.OC
