A Unified Primal Dual Active Set Algorithm for Nonconvex Sparse Recovery
在本文中，我们考虑的问题，恢复稀疏信号的基础上惩罚最小二乘配方。针对一类非凸稀疏促进罚函数，包括$\ell^0$、桥、光滑截断绝对偏差、有帽$\ell^1$和极大极小稀疏促进罚函数，提出了一种新的原始-对偶有效集算法.首先，我们建立了相关的最优化问题的全局极小值的存在性。然后，我们推导出一个新的必要最优性条件的全局极小使用相关的阈值算子。最优性系统的解是坐标最小解，并且在较小的条件下，它们也是局部最小解。在引入对偶变量后，可以一起使用原始变量和对偶变量来确定活动集。此外，这种关系本身适用于活动集类型的迭代算法，其在每一步涉及首先仅在活动集上更新原始变量，然后显式地更新对偶变量。当与正则化参数上的连续策略相结合时，原始对偶活动集方法在一定的正则性条件下全局收敛到潜在的回归目标。仿真和真实数据的大量数值实验表明，与现有的稀疏恢复方法相比，该方法在效率和精度方面具有优越的性能。
2019-02-27 math.OC stat.ML
A primal-dual interior point trust region method for second-order stationary points of Riemannian inequality-constrained optimization problems
Graduate School of Information Science and Technology, The University of Tokyo（东京大学大学院信息理工学系研究科）；Center for Advanced Intelligence Project, RIKEN（理化学研究所先进智能项目中心）；Faculty of Science and Technology, Seikei University（立教大学理学部）
本文提出了一种用于黎曼不等式约束优化问题的对偶内点信赖域方法，证明其全局收敛性，并在非线性不等约束下具有二次收敛性。
2026-05-10 math.OC
Multi-Timescale Primal Dual Hybrid Gradient with Application to Distributed Optimization
Operations Research Center, MIT（麻省理工学院运筹学研究中心）；Department of Electrical Engineering and Computer Science, MIT（麻省理工学院电气工程与计算机科学系）
本文提出多时间尺度PDHG方法及其加速变体，通过混合Bregman散度和多时间尺度外推实现不同对偶块的任意更新率收敛，提升异构优化和通信成本下的效率。
2026-04-02 cs.LG math.OC
Randomized Primal-Dual Proximal Block Coordinate Updates
University of Minnesota（明尼苏达大学）；University of Alabama（阿拉巴马大学）
本文提出了一种随机对偶近似代理块坐标更新框架，用于解决一般多块凸优化问题，证明了在目标函数和线性约束耦合下的O(1/t)收敛性，扩展了现有算法的收敛性质。
2017-01-24 cs.NA math.NA math.OC
Distributed Primal-dual Optimization for Heterogeneous Multi-agent Systems
异构网络包括在计算、存储和通信方面具有不同能力的代理。在这样的设置中，它是至关重要的因素，在允许代理选择适当的更新方案的操作特性，以便更好地分配计算任务，更有效地利用网络。考虑多智能体协作极小化局部强凸目标和的最优化问题。我们提出了一个异步分布式原始对偶协议，它允许原始更新步骤是代理依赖的（代理可以选择一阶或牛顿更新）。我们的分析引入了一个统一的框架，这种混合优化方案，并建立了全局线性收敛的期望，强凸目标和一般代理激活计划。在真实数据集上的数值实验证明了该算法的优越性。
2022-09-02 math.OC
Distributed Optimization Using the Primal-Dual Method of Multipliers
在本文中，我们提出了原始-对偶乘数法（PDMM）的分布优化图。特别是，我们优化的凸函数定义在一个图，其中图中的每一个边缘进行线性等式约束的总和。在设计新算法时，构造了一个增广的原始-对偶拉格朗日函数，它可以平滑地捕捉图的拓扑结构。结果表明，鞍点的构造函数提供了原问题的最优解。在同步更新和异步更新两种情况下，PDMM对一般闭函数、真函数和凸函数都具有O（1/K）的收敛速度（K表示迭代次数）.通过分布平均实验，研究了PDMM的其他性能，如不同参数设置下的收敛速度和对传输失败的恢复能力。
2017-02-02 cs.DC math.OC
Distributed Model Predictive Control Under Inexact Primal-Dual Gradient Optimization Based on Contraction Analysis
针对一类具有全局耦合约束的离散线性系，提出了一种分布式模型预测控制（DMPC）策略。所研究的DMPC是基于对偶问题的所有子系统，这是解决的原始-对偶梯度优化的分布式方式使用拉普拉斯共识。为了减少计算负担，约束收紧方法被用来提供过早终止的能力，保证DMPC优化的收敛性。首先利用收缩理论分析了离散时间更新动态下的原始-对偶梯度优化算法对非线性目标函数的收敛性。在合理的假设下，可以在不精确解下建立闭环系统的递归可行性和稳定性。通过数值模拟验证了该策略的有效性。
2019-07-23 math.OC
A Decentralized Primal-Dual Method with Quasi-Newton Tracking
本文提出全去中心化原始-对偶方法DPDM及其推广GDPDM，利用拟牛顿二阶信息和BFGS近似提升计算与通信效率，并证明其全局线性收敛性，数值实验显示优于现有方法。
2024-10-01 math.OC
Stochastic Primal Dual Hybrid Gradient Algorithm with Adaptive Step-Sizes
本文针对SPDHG算法步长选择缺乏系统方法的问题，提出一类自适应SPDHG算法并证明其收敛性，同时给出满足理论假设的参数更新策略，通过CT成像数值实验验证了其有效性。
2023-12-04 math.OC
Self-Certifying Primal-Dual Optimization Proxies for Large-Scale Batch Economic Dispatch
NSF AI Institute for Advances in Optimization, Georgia Institute of Technology（美国国家科学基金会人工智能优化研究所，佐治亚理工学院）
本文提出一种自证型混合求解器，结合对偶理论和经典求解器，实现可解释的速度-最优性权衡，通过改进训练方法提升效率，实验显示在大规模传输系统中具有高可扩展性。
2026-04-10 cs.AI cs.LG math.OC
Resource-Adaptive Primal-Dual Learning for One-Warehouse Multi-Store Systems with Censored Demand
School of Management, Fudan University（复旦大学管理学院）
针对带删失需求的单仓库多门店系统，提出资源自适应原始对偶学习框架，获对数级预期悔值，优于现有策略，且经数值实验验证性能良好。
2026-08-17 cs.LG math.OC
A New Primal-Dual Algorithm for a Class of Nonlinear Compositional Convex Optimization Problems
针对一类非光滑非线性组合凸极小化问题，提出了一种新的原始对偶法，该算法涵盖了许多已有的和全新的模型作为特例.我们的方法依赖于一个新的非凸势函数，Nesterov的加速计划，和自适应参数更新策略的组合。我们的算法是单循环的，具有较低的每次迭代的复杂度。在一般的凸性和温和的假设下，我们的算法通过三个不同的标准实现了$\mathcal{O}(1/k)$收敛速度：原始目标残差，对偶目标残差，和原始-对偶间隙，其中$k$是迭代计数器。我们的速率都是遍历的（即，在平均序列上）和非遍历（即，在最后一个序列上）。如果只有一个目标项是强凸的（或者等价地，它的共轭是$L$ -光滑的），这些收敛速度可以被加速到$\mathcal{O}(1/k^2)$。据我们所知，这是第一个算法实现最佳利率的原始最后一个序列的非线性组合凸最小化。作为一个副产品，我们指定我们的算法来解决一般的凸锥约束规划遍历和非遍历率保证。我们测试我们的算法，并比较它们与最近的两种方法的二进制分类和凹凸博弈模型。
2021-04-19 math.OC
Model-corrected learned primal-dual models for fast limited-view photoacoustic tomography
University of Oulu（奥卢大学）；University College London（伦敦大学学院）
针对光声层析成像中正向模型计算代价高的问题，提出将模型校正嵌入学习原对偶框架的端到端迭代重建方法，在保证重建质量与快速推理的同时降低了内存需求，为实时可扩展重建奠定基础。
2023-04-04 cs.CV cs.LG eess.IV
Decentralized Electric Vehicle Charging Control via a Novel Shrunken Primal Multi-Dual Subgradient (SPMDS) Algorithm
大量电动汽车（EV）的充电过程需要协调和控制，以减轻其对配电网的影响并提供各种电网服务。然而，现有EV充电控制范例的可扩展性受到EV数量或配电网络维度的限制，这在很大程度上削弱了EV的聚合服务能力和适用性。为了克服可扩展性障碍，本文以填谷服务的最优调度问题为动机，（1）提出了一种新的基于EV分组的降维方法（原始决策变量）和建立电压（2）提出了一种新的分散收缩原始多重对偶次梯度算法（SPMDS）优化算法来解决这个降维问题。所提出的基于SPMDS的控制框架不需要EV之间的通信，在原始次梯度更新中减少了超过43%的计算成本，并且在双次梯度更新中减少了高达68%的计算成本。通过对改进的IEEE 13节点测试馈线和改进的IEEE 123节点测试馈线的仿真，证明了所提出的算法的效率和有效性。
2020-03-31 cs.SY eess.SY math.OC
A Natural Primal-Dual Hybrid Gradient Method for Adversarial Neural Network Training on Solving Partial Differential Equations
Florida State University（佛罗里达州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；University of South Carolina（南卡罗来纳大学）
提出一种可扩展的预条件原始-对偶混合梯度算法，通过引入预条件算子实现自然梯度优化，并利用Krylov子空间方法高效求解，适用于多种线性和非线性偏微分方程，数值实验表明该方法比PINNs、DeepRitz和WANs等方法更稳定、更精确。
2026-05-22 cs.LG cs.NA math.NA
Enhanced PDHG for Linear Programming with Online Preconditioning
本文提出一种用于线性规划PDHG算法的在线预条件处理技术，通过自适应更新预条件器并引入算法增强，在标准数据集上显著减少迭代次数和求解时间。
2025-06-21 math.OC
Explicit continuation methods with L-BFGS updating formulas for linearly constrained optimization problems
本文考虑线性约束最优化问题的一种显式延拓方法，该方法采用可信时间推进格式和有限记忆BFGS（L-BFGS）更新公式（Eptctr）。在每一次迭代中，Eptctr只涉及三对向量的内积和一个矩阵-向量乘积，而不是传统的和有代表性的最优化方法如序列二次规划（SQP）或最新的连续方法如Ptctr \cite{LLS2020}，其需要求解二次规划子问题（SQP）或线性系方程组（Ptctr）。因此，Eptctr可以比SQP或Ptctr节省更多的计算时间。数值结果还表明，EPtctr的时间消耗约为Ptctr的十分之一或SQP的十五分之一到0.4%。此外，与SQP相比，Eptctr可以节省$(n+m) \times (n+m)$大规模矩阵的存储空间。Eptctr所需的内存大约是SQP的五分之一。最后，在标准假设下，我们给出了新方法的整体收敛性分析。
2021-01-18 cs.NA math.DS math.NA
Inertial primal-dual algorithms for structured convex optimization
Chambolle & Pock（简称CPA）最近提出的结构凸优化的原始对偶法是一种非常有效和流行的算法。Chambolle和Pock在\cite{CP11}中以及Shefi和Teboulle在\cite{ST14}中指出，CPA及其变体与流行的乘子交替方向法（简称ADM）的预处理版本密切相关。在本文中，我们进一步澄清这种连接，并表明，CPAs产生完全相同的点序列与所谓的线性化ADM（简称LADM）适用于原始问题或其拉格朗日对偶，根据不同的更新顺序的原始和对偶变量在CPAs，只要LADM的初始点被适当地选择。LADM对初始点的依赖性可以通过关注算法的循环等价形式来放松。此外，利用这一事实，CPA是一个一般的加权邻近点方法的混合变分不等式制定的KKT系统，其中的权重矩阵是正定的参数条件下的应用程序，我们能够提出和分析的CPA的惯性变量。在一定的条件下，所提出的惯性CPA能保证全局点收敛、非渐近$O(1/k)$和渐近$o(1/k)$收敛速度，其中$k$表示迭代指标.最后，我们通过基于总变分最小化的压缩图像重建实验结果，证明了引入惯性外推步骤所带来的好处。
2014-09-10 math.OC
Residual regularization path-following methods for linear complementarity problems
本文考虑线性互补性问题的带信赖域更新策略的残差正则化路径跟踪方法。这种基于信赖域更新策略的时步选择方法克服了线搜索法在暂态阶段消耗不必要的尝试步骤的缺点。为了提高路径跟踪方法的鲁棒性，我们用残差正则化参数代替传统的互补正则化参数。此外，在不需要传统的可行性优先于互补性的假设条件下，证明了新方法的整体收敛性。数值结果表明，新方法对于线性互补性问题是鲁棒的，并且是有效的，特别是对于稠密情形。它比一些最先进的求解器更强大，更快，例如GAMS v28.2（2019）环境的内置子程序PATH和MILES。对于稠密线性互补性问题，新方法的计算时间约为PATH方法的1/3 ~ 1/10。
2023-01-29 cs.CE cs.MS cs.NA
Derivative-Free Optimization with Transformed Objective Functions (DFOTO) and the Algorithm Based on the Least Frobenius Norm Updating Quadratic Model
本文提出基于变换目标函数的无导数优化方法（DFOTO），采用最小Frobenius范数更新二次模型，分析最优性保持变换并证明收敛性，数值实验验证其有效性。
2023-11-19 math.OC
A Trust-Region Algorithm for Noisy Equality Constrained Optimization
Northwestern University（西北大学）
本文提出一种改进的Byrd-Omojokun信赖域算法，利用噪声估计来接受步长和更新信赖域，处理含噪声的等式约束优化，并给出收敛到平稳点区域的条件，数值测试验证了其性能。
2024-11-04 cs.LG math.OC
Causal-Informed Hybrid Online Adaptive Optimization for Ad Load Personalization in Large-Scale Social Networks
Meta
本文提出CTR CBO框架，结合对偶方法与贝叶斯优化，利用因果机器学习模型提升广告负载个性化效果。
2026-02-03 cs.SI math.OC
Trust Region Algorithm for Stochastic Minimax Problems with Decision-Dependent Distributions
针对环境响应决策导致不确定性的概率分布依赖于决策变量的随机极小极大优化问题，提出一种信赖域算法，通过线性回归学习分布依赖关系并求解信赖域子问题更新决策变量，在非凸-强凹条件下证明了几乎必然收敛性，并在合成与真实数据集上验证了有效性。
2025-09-16 math.OC
Adaptive Augmented Lagrangian Methods: Algorithms and Practical Numerical Experience
在本文中，我们考虑增广拉格朗日（AL）算法来解决大规模的非线性最优化问题，执行自适应策略更新的罚参数。我们的工作受到Curtis，Jiang和Robinson最近提出的自适应AL置信域方法的激励[Math. Prog.，DOI：10.1007/s10107-014-0784-y，2013]。本文的第一个焦点是一个新的变种的方法，采用线搜索，而不是一个置信域战略，其中一个关键的算法功能线搜索策略是使用的凸化分段二次模型的AL函数计算的搜索方向。我们证明了我们的线搜索算法的整体收敛保证与先前提出的置信域方法。本文的第二个重点是Matlab软件中的线搜索和置信域算法变体的实际性能，以及Lancelot软件中包含的自适应罚参数更新策略的实际性能。我们测试这些方法的问题，从CUTEst和COPS集合，以及具有挑战性的测试问题有关的最优潮流。我们的数值实验表明，自适应算法优于传统的AL方法的效率和可靠性。与传统的AL算法一样，自适应方法是无矩阵的，因此代表了解决极端规模问题的可行选择。
2014-08-20 math.OC
First- and Second-Order High Probability Complexity Bounds for Trust-Region Methods with Noisy Oracles
本文提出一种修正的信赖域方法，针对函数值、梯度和Hessian估计带噪声且预言机不假设无偏一致的情形，采用松弛步长接受准则与谨慎半径更新策略，推导出收敛至近似一阶和二阶最优点的迭代复杂度指数衰减尾部界，并通过两组数值实验验证理论紧致性与算法性能。
2023-07-01 math.OC
Hybrid Jacobian and Gauss-Seidel proximal block coordinate update methods for linearly constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文提出混合雅可比和高斯-塞德尔块坐标更新方法，用于解决线性约束多块结构凸规划问题，通过选择合适的仿射混合矩阵实现理论收敛性，并在数值上优于随机对偶块坐标更新方法。
2018-01-03 cs.NA math.NA math.OC
Accelerating Trust-Region Methods: An Attempt to Balance Global and Local Efficiency
Shanghai University of Finance and Economics（上海财经大学）
无约束凸优化二阶方法中平衡全局效率与局部收敛性是核心挑战。本文提出首个加速信赖域型方法，主要贡献是带局部检测的加速信赖域方法，其利用拉格朗日乘子检测局部区域，有全局复杂度及二次局部收敛性，还介绍相关方法揭示相变现象，数值实验验证权衡。
2026-07-08 math.OC
Iteration complexity of inexact augmented Lagrangian methods for constrained convex programming
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文研究了不精确增广拉格朗日方法在处理具有等式和不等式约束的凸优化问题中的全局收敛性及迭代复杂度，通过建立收敛速率结果并应用Nesterov方法，得出了在不同目标函数条件下所需的梯度评估次数。
2018-03-25 cs.DS cs.NA math.NA
A rank-two relaxed parallel splitting version of the augmented Lagrangian method with step size in (0,2) for separable convex programming
增广拉格朗日方法（ALM）是求解具有线性约束的典型凸规划问题的经典方法，在各种科学计算领域有着广泛的应用。ALM的主要优点在于，可以利用$(0,2)$中的步长来进一步放宽用于更新对偶变量的步骤，并且该优点可以容易地导致ALM的数值加速。当一个可分离的凸规划问题进行了讨论，并考虑了相应的分裂版本的经典ALM，收敛可能无法得到保证，因此它似乎是不可能的，步长在$(0,2)$可以进行到松弛步骤更新的对偶变量。我们表明，对于一个并行分裂版本的ALM，步长在$(0,2)$可以保持进一步放松的原始和对偶变量，如果放松步骤是简单地纠正由秩2矩阵。因此，秩2松弛并行分裂版本的ALM与$(0,2)$的步长提出了可分离的凸规划问题。我们验证了新算法可以在数值上优于现有的同类算法显着通过测试一些应用程序。
2022-12-01 math.OC
The regularization continuation method with an adaptive time step control for linearly constrained optimization problems
研究了线性等式约束最优化问题的正则化延拓方法和信赖域更新策略.该方法利用正则化延拓方法的线性守恒律，与以往的延拓方法和拟正则化延拓方法相比，不需要计算保持可行性的修正步长.线性约束最优化问题的牛顿修正公式。此外，该方法采用有限记忆Broyden-Fletcher-Goldfarb-Shanno（L-BFGS）公式作为预处理技术，提高了适定性阶段的计算效率;采用拉格朗日Hessian的正则化双边投影的逆作为预处理技术，提高了算法的鲁棒性.数值结果还表明，新方法比传统的最优化方法（例如乘数的交替方向法（ADMM）、序列二次规划（SQP）方法（MATLAB 2020 a环境的内置子程序fmincon.m））和最近的连续方法（Ptctr）更鲁棒、更快。新方法的计算时间约为SQP（fmincon.m）的1/3。最后，给出了新方法的整体收敛性分析。
2022-04-08 cs.NA math.NA math.OC
A New Two-dimensional Model-based Subspace Method for Large-scale Unconstrained Derivative-free Optimization: 2D-MoSub
本文提出2D-MoSub，一种结合二维二次插值模型与信赖域技术的新型无导优化方法，用于解决大规模无约束优化问题，并从理论和数值上验证了其有效性与高效性。
2024-01-02 math.OC
A decentralized approach to multi-agent MILPs: finite-time feasibility and performance guarantees
我们解决了一个大规模的多智能体系统的最优设计，其中每个代理有离散和/或连续的决策变量，需要设置，以优化线性本地费用函数的总和，在线性本地和全局约束的存在。该问题归结为一个基于对偶分解的分散迭代算法的混合线性规划问题，每个智能体通过求解一个包含局部费用函数和约束条件的混合线性规划来确定其决策向量，而中央单元通过基于所有代理的试验原始解更新对偶变量来实施全局耦合约束。通过迭代适当收紧耦合约束，可以获得对原始MILP可行的解决方案。该方法的灵感来自最近的方法MILP近似解通过对偶分解和约束收紧，并提出了在有限时间内保证可行性，并提供更好的性能保证的优势。通过插电式电动汽车最优充电的算例对这两种方法进行了比较。
2017-06-27 math.OC
On Discrete Subproblems in Integer Optimal Control with Total Variation Regularization in Two Dimensions
本文分析了源自二维全变差正则化混合整数最优控制信赖域算法的离散整数线性规划子问题，利用多面体顶点结构限制推导出割平面、分支规则与原始启发式算法，在标准求解器中实现了中等规模问题的显著加速。
2025-03-06 math.OC
Parallel Model-Based Derivative-Free Optimization via Rank-Two KKT Updates
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
研究无导数优化问题，提出基于秩二KKT更新的方法，通过反射插值集改变KKT矩阵，降低更新成本，支持全局收敛，嵌入主从并行算法，经530个基准问题数值结果与现有求解器对比性能。
2026-07-29 math.OC
On the simplicity and conditioning of low rank semidefinite programs
Cornell University（康奈尔大学）
低秩矩阵恢复问题广泛出现在统计学、组合学和成像学中。解决这些问题的一个著名方法是制定和解决一个半定规划（SDP）。通常已知，具有完美数据的SDP的精确解恢复原始低秩矩阵恢复问题的解。更具有挑战性的是，要证明用有噪声的问题数据制定的SDP的近似解可接受地解决了原始问题;参数通常是针对每个问题设置的，并且可能很复杂。在本说明中，我们确定了一组条件，我们称之为简单性，限制由于噪声问题数据或不完全收敛的错误。从这个意义上说，简单的SDP是鲁棒的：简单的SDP可以在规模上（近似）有效地求解;并且即使在有噪声的数据下，所得到的近似解也是可信的。此外，我们表明，简单持有一般，也为许多结构化的低秩矩阵恢复问题，包括随机块模型，$\mathbb{Z}_2$同步，矩阵完成。形式上，我们称一个SDP是单的，如果它有一个满射约束映射，有唯一的原始解和对偶解对，并且满足强对偶和严格互补。然而，简单并不是万能的：我们表明，Burer-Monteiro制定的SDP可能有虚假的二阶临界点，即使是一个简单的SDP秩1的解决方案。
2021-07-23 cs.LG math.OC stat.ML
An Inexact Augmented Lagrangian Method for Second-order Cone Programming with Applications
本文采用增广拉格朗日方法求解凸二次二阶锥规划问题。在文献中已经建立了关于ALM的效率的富有成效的结果。最近，它已经在[Cui，Sun，and Toh，{\em Math.Program.}，178（2019），pp. 381--415]证明了如果二次增长条件在对偶问题的最优解处成立，则当ALM应用于原问题时，KKT残差R-超线性地收敛到零。此外，Cui，Ding和Zhao [{\em SIAM J. Optim.}，27（2017），pp. 2332 - 2355]给出了在度量次正则性和有界线性正则性条件下二次增长条件成立的充分条件，用于求解含谱函数的复合矩阵最优化问题。在这里，我们采用这些最近的想法来分析的ALM时，适用于SOCP的收敛特性。据我们所知，到目前为止，还没有为SOCP做过类似的工作。在本文中，我们首先给出了保证二次增长条件的充分条件。有了这些优雅的理论保证，我们然后设计一个SOCP求解器，并将其应用于解决各种类型的SOCP，如最小封闭球问题，经典的信赖域子问题，平方根Lasso问题，和DIMACS挑战问题。数值结果表明，所提出的基于ALM的求解器是有效的和强大的相比，现有的高度发达的求解器，如Mosek和SDPT3。
2021-10-22 math.OC
