A Quadratic Penalty Method for Hypergraph Matching
超图匹配是计算机视觉中的一个基本问题。从数学上讲，它最大化一个多项式目标函数，受分配约束。本文将超图匹配问题转化为一个稀疏约束张量最优化问题。基于稀疏约束优化理论，刻画了该算法的最优性条件。通过丢弃稀疏性约束，我们证明了由此产生的松弛问题可以恢复原问题的全局极小值。在解决原问题的关键步骤是确定的位置，非零项目（称为支撑集）的全球最小。受此启发，我们惩罚的等式约束，并应用二次惩罚方法来解决松弛问题。在合理的假设下，我们证明了当迭代次数足够大时，超图匹配问题的全局极小点的支撑集可以被正确地识别。采用投影梯度法作为子求解器求解二次罚函数子问题。数值结果表明，支撑集的精确恢复确实发生，所提出的算法是有效的，在精度和速度。
2017-11-13 math.OC
Quadratic Integral Penalty Methods for Numerical Trajectory Optimization
本论文提出了一种新的数学算法，用于求解一类称为\emph{dynamic optimization problems}的数学问题的数值解。这些是数学最优化问题，即，在满足等式和不等式约束的条件下，求最小值的问题。动态最优化问题与非动态问题的不同之处在于，所寻求的数可以在一个自变量上变化。该自变量可以被认为是，例如，时间本文介绍了三种方法，重点是算法，收敛性分析和计算演示。第一种方法是基于积分二次惩罚项的直接转录方法。该方法的目的是避免数值伪影，例如在直接配置法中可能出现的振铃或错误/伪解。第二种方法是一种改进的增广拉格朗日方法，它利用增广拉格朗日方法的思想来解决具有大的二次惩罚项的最优化问题，例如它们来自于先前的直接转录方法。最后，我们提出了一个直接转录方法与整数二次罚款和整数对数障碍。所有的方法都是由应用和例子驱动的，用完整的证明分析了它们的收敛性，并通过数值实验进行了实际验证。
2022-08-19 math.OC
Inexact Sequential Quadratic Optimization with Penalty Parameter Updates Within the QP Solve: Extended Version
本文主要研究了求解大规模非线性最优化问题的序列二次优化方法的设计。这种方法的计算要求最高的方面是在每次迭代过程中的搜索方向的计算，为此，我们考虑使用无矩阵方法。特别是，我们开发了一种方法，需要一个不精确的解决一个单一的QP子问题，建立整体SQP方法的收敛性。众所周知，SQP方法可能受到整体收敛机制的不良行为的困扰。为了解决这个问题，我们建议使用一个精确罚函数与动态罚参数更新策略，以这样一种方式，所得到的搜索方向预测的可行性和最优性的进展内采用的子问题求解器。我们提出了我们的参数更新策略，并证明，在合理的假设下，该策略不修改的罚参数不必要的。我们还讨论了一个矩阵的自由子问题求解器中，我们的更新策略可以纳入。最后，我们讨论了数值实验的结果，说明了我们提出的技术的好处。
2020-02-26 math.OC
Smoothed analysis for low-rank solutions to semidefinite programs in quadratic penalty form
TTI Chicago（芝加哥丰田理工学院）；Princeton University（普林斯顿大学）；Microsoft Research（微软研究院）
半定规划在学习和组合优化中有着重要的应用。在追求低秩的解决方案和低复杂度的算法，我们考虑的Burer-Monteiro分解方法解决SDP。我们表明，所有近似的局部最优解是全局最优的适当秩约束的SDP的处罚制定，只要约束的数量规模与所需的秩的最优解的次二次方。我们的结果是基于一个简单的惩罚函数制定的秩约束SDP随着平滑的分析，以避免最坏情况下的成本矩阵。我们列举了我们的结果，两个应用程序，即最大割和矩阵完成。
2018-03-01 cs.LG math.OC stat.ML
A Multi-objective Sequential Quadratic Programming Algorithm Based on Low-order Smooth Penalty Function
提出一种以低阶光滑罚函数为线搜索价值函数的MOSQP算法，通过QP子问题、非支配点过滤、Armijo规则及Powell修正求解约束多目标优化问题，并证明其收敛至近似Pareto前沿。
2025-03-12 math.OC
Complexity of linearized quadratic penalty for optimization with nonlinear equality constraints
针对带局部光滑非线性等式约束的非凸优化问题，提出线性化二次罚函数方法，基于自适应正则化参数保证迭代在$\mathcal{O}(ε^{-2.5})$次内收敛到$ε$一阶最优解，KL性质下序列收敛且有更优局部速率，数值验证有效。
2024-11-28 math.OC
Exact Quadratic Penalty Function for Symplectic Eigenvalue Problem
State Key Laboratory of Scientific and Engineering Computing, Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院计算数学与科学工程计算国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；School of Data Science, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）数据科学学院）
本文提出一种迹惩罚最小化方法，将辛特征值问题转化为无约束迹惩罚函数的最小化问题，并开发了高效算法，通过梯度方法、Barzilai-Borwein步长规则和非单调线搜索技术，验证了其在计算效率和收敛速度上的优势。
2026-09-01 math.OC
Approximation Analysis of the Entropic Penalty in Quadratic Programming
本文针对二次规划中的熵惩罚正则化，证明凹情形下逼近间隙指数衰减，不定或凸情形下至多线性衰减，并据此设计算法及应用于离散Gromov-Wasserstein问题，给出首个指数级逼近界。
2025-09-24 math.OC
A Sequential Convex Programming Approach to Solving Quadratic Programs and Optimal Control Problems with Linear Complementarity Constraints
具有互补约束的数学规划由于其非凸性和在每个可行点缺乏约束规格而难以求解。本文主要研究线性互补约束下的二次规划问题。利用序列凸规划和罚参数上的同伦，提出了一种求解罚函数重构的新方法。线性化必然非凸的罚函数产生凸二次子问题，其在所有迭代中具有恒定的黑塞矩阵。这允许使用单个KKT矩阵分解进行解计算。此外，全球化计划中引入的潜在的价值函数被最小化解析，并保证下降提供在每个节点。数值实验表明，该算法的特点和可能的计算加速。
2021-05-31 math.OC
Solving Problems with Inconsistent Constraints with a Modified Augmented Lagrangian Method
我们提出了一种数值方法，用于最小化约束最优化问题的目标是增加了大的二次处罚不一致的等式约束。这样的目标产生于二次积分罚函数法的直接转录的最优控制问题。增广拉格朗日方法（ALM）与二次罚函数法（QPM）相比具有许多优点。然而，如果等式约束不一致，则ALM可能不会收敛到使目标和惩罚项的偏差最小化的点。因此，我们提出了一个修改的ALM，适合我们的目的。我们证明了修改后的方法的收敛性，并将其局部收敛速度限制在未修改方法的收敛速度之内。数值实验表明，修改后的ALM可以最小化某些二次惩罚增广函数快于QPM，而未修改的ALM收敛到一个显着不同的问题的最小值。
2021-08-13 math.OC
Complexity of quadratic penalty methods with adaptive accuracy under a PL condition for the constraints
ICTEAM Institute, UCLouvain（UCLouvain ICTEAM研究所）
本文在约束满足PL条件的情况下，研究了二次惩罚法的复杂性，得出了不同光滑度条件下获得近似KKT点的oracle调用次数界，并引入了自适应停止准则以提高计算效率。
2026-01-05 math.OC
A Penalty Method Based Approach for Autonomous Navigation using Nonlinear Model Predictive Control
本文提出了一种新的模型预测控制策略，用于控制自主运动系统通过具有一般形状障碍物的环境。为了解决这类一般的非凸优化问题，并找到一条到达目的地的可行轨迹，该方法采用二次罚函数法来加强避障约束，并采用几种算法来绕过障碍物后的局部极小值。二次惩罚法本身有助于避免这种局部最小值逐渐找到一条路径周围的障碍物的惩罚因子连续增加。内部最优化问题的实时解决使用近似平均牛顿型方法的最优控制（PANOC），一阶方法，具有较低的运行时间，适合于嵌入式应用。通过大量的数值模拟验证了该方法的有效性，并显示出在运行时间和鲁棒性方面优于最先进的求解器。
2018-08-27 math.OC
Manifold Quadratic Penalty Alternating Minimization for Sparse Principal Component Analysis
本文提出流形二次罚交替最小化（MQPAM）算法，用于稀疏主成分分析，结合黎曼梯度下降与闭式近端算子，实验显示其在稀疏性和CPU时间上优于或持平现有方法。
2024-11-11 math.OC
A Penalty Decomposition Algorithm with Greedy Improvement for Mean-Reverting Portfolios with Sparsity and Volatility Constraints
在金融市场中，资产较少但方差较大的均值回归投资组合引起了投资者的极大兴趣。这样的投资组合是直接有利可图的，因为它们包括少量的资产，这些资产的价格不仅在长期均值附近可预测地波动，而且还具有足够的波动性。粗略地说，稀疏性使交易成本最小化，波动性提供套利机会，而均值回归属性为投资者提供了理想的投资策略。找到这样的有利的投资组合可以制定为一个非凸二次最优化问题与一个额外的稀疏约束。据我们所知，还没有解决这个问题并具有良好理论性质的方法。在本文中，我们开发了一个有效的两阶段算法解决这个问题。在第一阶段，我们应用一个定制的惩罚分解方法找到这个非凸问题的一个稳定点。对于固定的罚参数，利用块坐标下降法找到相应惩罚子问题的不动点。在第二阶段，我们通过一个贪婪的计划，解决限制非凸二次约束二次规划（QCQP），改善了第一阶段的结果。我们表明，这样的QCQP的最优值可以通过解决他们的半定松弛。最后，通过对S&P500指数的数值实验，验证了该算法的有效性.
2021-04-16 math.OC
A Penalty Approach for Differentiation Through Black-Box Quadratic Programming Solvers
Antai College of Economics and Management, Shanghai Jiao Tong University（上海交通大学经济学院）；The University of Chicago（芝加哥大学）
提出dXPP，一种基于惩罚的微分框架，通过解耦QP求解与微分，利用黑箱求解器进行前向传播，并在反向传播中隐式微分一个光滑近似惩罚问题，显著提升大规模问题的计算效率和鲁棒性。
2026-06-16 cs.LG math.OC
Quality of Information Maximization for Wireless Networks via a Fully Separable Quadratic Policy
研究了无线网络中随机事件的信息收集问题。无线设备使用多种报告格式之一来报告每个事件。每种格式具有不同的质量，并使用不同的数据长度。以最高质量的格式提供所有数据可能会使系统资源过载。我们的目标是智能格式选择和路由决策，以最大限度地提高网络稳定性的时间平均信息质量。李雅普诺夫优化理论可以用来解决这样的问题，通过反复最小化的线性项的二次漂移加惩罚表达式。为了减少延迟，本文提出了一种新的扩展这种技术，保留了二次性质的漂移最小化，同时保持一个完全可分离的结构。此外，为了避免高排队延迟，路径被限制为最多两跳。由此产生的算法可以推动平均信息质量任意接近最优，在队列积压的权衡。该算法在积压和延迟方面优于基本的漂移加惩罚方案。此外，该技术被推广到解决线性规划，并产生更平滑的结果比标准的漂移加惩罚计划。
2012-11-28 math.OC
Matrix-Free Solvers for Exact Penalty Subproblems
我们提出了两种无矩阵的方法来近似解决精确的惩罚子问题时出现的解决大规模最优化问题。第一种方法是一种新的迭代重新加权算法（IRWA），迭代最小化二次模型的松弛子问题，同时自动更新松弛向量。第二种方法是基于交替方向增广拉格朗日（ADAL）技术应用到我们的设置。每个算法的主要计算成本是凸二次函数的重复最小化，可以执行无矩阵。我们证明了这两种算法是全局收敛的宽松的假设下，每个需要最多$O(1/\varepsilon^2)$迭代达到$\varepsilon$ -最优的目标函数。数值实验表明，这两种算法的能力，有效地找到不精确的解决方案。此外，在某些情况下，IRWA比ADAL更可靠。
2014-02-09 math.OC
Nonconvex Optimization Framework for Group-Sparse Feedback Linear-Quadratic Optimal Control: Penalty Approach
Department of Applied Mathematics, The Hong Kong Polytechnic University（应用数学系，香港理工大学）；College of Artificial Intelligence, Nankai University（人工智能学院，南开大学）
本文提出统一非凸优化框架，通过群ℓ0正则化直接设计群稀疏反馈控制器，覆盖DFT-LQ与SF-LQ问题，并给出惩罚PALM算法及收敛性保证。
2025-08-05 cs.LG math.OC
EXPEDIS: An Exact Penalty Method over Discrete Sets
我们解决的问题，最小化的二次函数的线性约束超过二进制变量。本文介绍了一种称为EXPEDIS的精确解方法，它将约束问题转化为一个最大割问题，然后利用最大割问题的全部可用机制来求解转化后的问题。我们推导出的理论，以找到一个转换的精神，一个精确惩罚法，但是，我们只感兴趣的精确度的一组二进制变量。为了计算最大切割，我们使用求解器BiqMac。数值结果表明，该算法可以成功地应用于各类问题。
2021-01-03 math.OC
Sequential Quadratic Optimization for Nonlinear Optimization Problems on Riemannian Manifolds
本文研究了黎曼流形上带有等式和不等式约束的最优化问题，我们称之为黎曼非线性最优化（RNLO）问题。虽然它们有许多应用，但现有的研究是有限的，特别是在算法方面。在本文中，我们提出了黎曼序列二次优化（RSQO），使用线搜索技术与ell_1罚函数作为扩展的标准SQO算法的约束非线性最优化问题在欧氏空间的黎曼流形。利用并行迁移和指数映射证明了算法的整体收敛.通过分析RSQO产生的序列与黎曼牛顿法之间的关系，证明了RSQO的局部平方收敛。我们的算法是第一个具有全局和局部收敛性的黎曼流形上的约束非线性最优化的算法。实验结果表明，与现有的黎曼罚函数和增广拉格朗日方法相比，RSQO方法具有更高的精度和更稳定的求解能力。
2021-06-15 math.OC
Penalty Weights in QUBO Formulations: Permutation Problems
Fujitsu Research of Europe Ltd.（富士通欧洲研究有限公司）
设计用于量子计算机或其他专用硬件的优化算法近年来一直受到研究兴趣。这些求解器中的许多只能优化二进制和二次型的问题。因此，二次无约束二进制优化（QUBO）是这些求解器使用的常用公式。有许多组合优化问题自然地表示为排列，例如，流动推销员问题。然而，使用二进制变量编码置换问题提出了一些挑战。许多QUBO解算器是单翻转解算器，因此可能生成无法解码为有效排列的解。为了产生偏向生成可行解的倾向，我们使用惩罚权重。为各种类型的问题设置静态惩罚权重的过程并不简单。这是因为太小的值将导致求解器返回不可行的解决方案，而太大的值可能导致收敛速度较慢。在这项研究中，我们探讨了一些方法，设置惩罚权重的背景下，QUBO配方。我们提出了新的静态方法计算的惩罚权重，导致更有前途的结果比现有的方法。
2022-06-20 cs.AI cs.DM math.OC
Hardware-Aware QUBO Reformulation of Constrained Binary Optimization via the Walsh-Fourier Transform
Fraunhofer IAIS（弗劳恩霍夫应用研究促进协会）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；European Space Agency (ESA)（欧洲空间局）；TU Dortmund University（多特蒙德工业大学）
该研究提出基于沃尔什-傅里叶变换的无松弛惩罚框架，将受限二元优化重构为适配量子退火硬件的QUBO，所得硬件原生替代项在嵌入采样后样本目标间隙更低，性能优于现有方法。
2026-07-30 math.OC quant-ph
Eigendecomposition Parameterization of Penalty Matrices for Enhanced Control Design: Aerospace Applications
Department of Aerospace Engineering, Auburn University（航空航天工程系，阿伯丁大学）
本文提出特征分解参数化惩罚矩阵的方法，实现正定且含非对角项，拓宽控制类别，并在航空航天控制问题中提升性能目标高达65%。
2025-04-23 cs.RO cs.SY eess.SY
An Infeasible-Start Framework for Convex Quadratic Optimization, with Application to Constraint-Reduced Interior-Point Methods
提出了一个框架，通过调用现有的可行启动算法为不等式约束的一般凸二次规划（CQP）从一个不可行的起点求解。中心工具是一个精确罚函数计划配备了惩罚参数更新规则。可行启动算法只需满足某些一般要求，更新规则也是如此。在温和的假设下，该框架被证明收敛于CQP与不等式和等式约束，并在一个可以忽略的额外成本，每次迭代，产生一个不可行的证书，连同一个可行点（近似）$\ell_1$ -最不放松可行的问题时，给定的问题没有一个可行解。该框架被应用到一个可行的开始约束减少的内点算法以前被证明是高性能的问题，更多的约束比变量（“不平衡”）。与流行的代码（SDPT 3，SeDuMi，MOSEK）的数值比较报告随机生成的问题和支持向量机分类器训练问题。结果表明，前者通常优于后者的不平衡问题。
2019-12-09 math.OC
Quantum and Simulated Annealing-Based Iterative Algorithms for QUBO Relaxations of the Sparsest $k$-Subgraph Problem
本文提出三种QUBO松弛及相应迭代算法求解最稀疏k-子图问题，通过理论刻画精确参数条件，并利用模拟退火与量子处理单元高效求解，实验验证了其有效性。
2025-09-10 math.OC
Riemannian Difference-of-Convex Optimization for K-Means Clustering
本文提出RADA-DC，一种结合对偶正则化与DC线性化的黎曼交替下降上升方法，用于求解基数约束的K-means聚类问题，在聚类数较大时优于K-means++等基线。
2026-09-29 cs.LG math.OC
Variable Reduction For Quadratic Unconstrained Binary Optimization
二次无约束二元最优化模型可用于解决各种最优化问题。约束可以通过将二次惩罚项并入目标中来添加，通常引入不等式转换所需的松弛变量。这种转变可能导致问题的规模和密度显著增加。在这里，我们提出了一个有效的方法来重铸不等式约束，减少了线性和二次变量的数量。实验结果证明了该方法的有效性。
2021-05-14 cs.DM math.OC
Risk-Constrained Linear-Quadratic Regulators
我们提出了一个新的风险约束的标准线性二次型调节器（LQR）问题的重新制定。我们的框架是出于这样一个事实，即经典的（风险中性）LQR控制器，虽然在预期中是最优的，可能是无效的，在相对罕见的，但统计上显着的（风险）事件。为了有效地在平均和极端事件性能之间进行交易，我们引入了一个新的风险约束，该约束通过用户指定的水平明确限制了状态惩罚的总预期预测方差。我们表明，在相当小的条件下的过程噪声（即，有限的四阶矩），最优的风险感知控制器可以显式地评估，并在封闭的形式。事实上，它是仿射的状态，并始终是内部稳定的参数调整无关。我们新的风险感知控制器：i）通过利用噪声的三阶矩（偏斜度）将状态推离噪声呈现重尾的方向; ii）在噪声协方差和状态惩罚两者同时大的风险方向上膨胀状态惩罚。建议的风险意识LQR框架的属性也说明了通过指示性的数值例子。
2020-10-29 cs.SY eess.SY math.OC
Exact-Penalty Prox-Linear Methods for Bilevel Optimization with $\ell_1$ Lower-Level Gradient Penalty
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology（北京理工大学计算机辅助设计与图形学北京市重点实验室/信息安全数学理论计算北京市重点实验室）
本文通过基于下层梯度 $\ell_1$ 范数的精确惩罚重构，提出精确惩罚近线性方法求解双层优化问题，并证明其收敛性，数值实验表明能高效降低上下层间隙。
2026-05-31 math.OC
Constant-Modulus Optimization for Quadratic K-Medoids Graph Clustering
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）
本文提出一种基于常模优化的两阶段图聚类方法，通过惩罚连续投影梯度求解二次K-medoids模型，并利用两级分配规则实现高效且准确的图划分。
2026-10-02 math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University（香港理工大学）；Sichuan Normal University（四川师范大学）
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题，通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度，并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
A penalty-interior point method combined with MADS for equality and inequality constrained optimization
Polytechnique Montréal（蒙特利尔理工学院）；“Sapienza” University of Rome（罗马大学）；NOVA University of Lisbon（里斯本新大学）
本文提出了一种结合MADS的罚函数-内点法，用于解决具有等式和不等式约束的非光滑黑箱优化问题，通过改进的罚函数和障碍项策略提升求解效率。
2026-01-28 math.OC
Generalized system identification with stable spline kernels
正则化最小二乘方法已成功地应用于线性系统辨识。最近的方法使用二次惩罚项对由稳定样条核定义的未知脉冲响应，通过利用正则性和有界输入有界输出稳定性来控制模型空间的复杂性。本文将线性系统辨识扩展到一类广泛的非光滑稳定样条估计，其中正则化泛函和数据失配可以从一组丰富的分段线性二次（PLQ）惩罚中选择。除了最小二乘罚分之外，此类还包括1-norm、Huber和Vapnik。通过将罚函数表示为共轭罚函数，建模者可以为失配和正则化函数指定任何分段线性二次罚函数，以及对响应的不等式约束。我们实现的边界点求解器（IPsolve）是局部二次收敛的，每次迭代进行$O(\min(m,n)^2(m+n))$算术运算，其中$n$是未知脉冲响应系数的数量，$m$是观察到的输出测量的数量。IPsolve与系统识别的可用替代方案相比具有竞争力。通过与TFOCS、libSVM和FISTA算法的比较，可以看出这一点。代码是开源的（https：//github.com/saravkin/IPsolve）。系统识别的方法的影响示出了具有强大的配方污染的数据，松弛系统，非负性和单峰约束的脉冲响应，稀疏性促进正则化的数值实验。消除约束产生特别显著的改进。
2018-07-25 math.OC stat.ML
Linear Quadratic Control with Risk Constraints
针对一般的部分可观测系统，提出了一种新的风险约束下的经典线性二次（LQ）随机控制问题。我们的框架的动机是这样一个事实，即风险中性LQ控制器，虽然在预期中是最优的，可能是无效的，在相对罕见的，但统计上显着的极端事件。为了有效地在平均和极端事件性能之间进行交易，我们引入了一个新的风险约束，该约束通过用户指定的水平明确限制了状态惩罚的总预期预测方差。我们表明，在一定条件下的过程噪声，最优的风险感知控制器可以显式和封闭的形式进行评估。事实上，它是仿射相对于最小均方误差（mmse）状态估计。仿射项通过利用噪声的三阶矩（偏斜度）将状态推离噪声呈现重尾的方向。线性项在风险更大的方向上更严格地调节状态，其中预测误差（条件）协方差和状态惩罚同时大;这是通过在新的滤波Riccati差分方程内膨胀状态惩罚来实现的。我们还证明了新的风险感知控制器是内部稳定的，无论参数调整，在特殊情况下，i）完全观测系统，和ii）部分观测系统与高斯噪声。最后通过数值例子说明了所提出的风险意识LQ框架的属性。
2021-12-14 cs.SY eess.SY math.OC
A Globally Convergent Penalty-Based Gauss-Newton Algorithm with Applications
我们提出了一个全局收敛的高斯-牛顿算法，用于寻找非凸和可能非光滑最优化问题的局部最优解。我们提出的算法是基于高斯-牛顿型迭代的非光滑处罚制定的原始问题。我们建立了一个整体收敛速度从任何初始点的问题的一个稳定点，同时使用一个精确的惩罚制定。在一些更严格的条件下，我们还得到了该格式的局部平方收敛。我们应用我们提出的算法来解决的交流最优潮流问题的网状电力网络，这是一个基本的应用在电力系统工程。我们验证了所提出的方法的性能，通过显示与IPOPT，一个完善的求解器可比的行为。我们执行我们的最优潮流问题，这是来自MATPOWER库的几个代表性的实例验证。
2020-12-07 math.OC
A Penalty-free Infeasible Approach for a Class of Nonsmooth Optimization Problems over the Stiefel Manifold
转化为具有凸紧约束的精确罚函数模型，得到了求解正交约束最优化问题的有效的不可行方法。对于光滑和$\ell_{2,1}$ -范数正则化的情形，这些不可行方法采用了简单的无正交归一化的更新方案，并在测试实例中显示了其高效性。然而，为了避免正交归一化，同时加强最终解决方案的可行性，这些不可行的方法引入了二次惩罚项，其中不适当的罚参数可能导致数值效率低下。受光滑最优化问题的无惩罚算法的启发，提出了一类带正交约束和非光滑正则项的最优化问题的近似一阶算法.后件法称为序贯线性化邻近梯度法（SLPG），交替采用切向步长和法向步长分别提高最优性和可行性。在SLPG中，如果需要高精度的可行性，则仅在最后一步调用一次正交归一化过程，这表明SLPG中的主要迭代是无正交归一化的。此外，切向步长和法向步长均不涉及罚参数，因此SLPG是无惩罚的，避免了因罚参数选择不当而导致的无效。分析了在切向步长不精确计算的情况下SLPG的整体收敛性质。通过不精确地计算切向步长，对于光滑情形和$\ell_{2,1}$ -范数正则化情形，SLPG具有封闭形式的更新方案，这导致其切向步长的廉价。数值实验表明，与现有的一阶方法相比，SLPG具有数值优势。
2021-03-28 math.OC
The Exact Projective Penalty Method for Constrained Optimization
本文提出一种精确投影罚方法，将约束优化问题等价转化为无约束或箱式约束问题，通过投影距离扩展目标函数，无需选择罚系数，并结合分支定界与局部优化求解。
2023-12-04 math.OC
Distributional robustness in minimax linear quadratic control with Wasserstein distance
针对实际随机系统中分布不精确的问题，利用Wasserstein度量提出了一种极大极小线性二次控制方法。我们的方法的目的是构建一个控制策略，是强大的对错误的经验分布的潜在的不确定性，通过采用一个对手，选择最坏的情况下的分布。对手会得到与经验分布偏离量成比例的瓦瑟斯坦惩罚。利用Riccati方程导出了有限时间内最优策略对的封闭表达式。结果，然后扩展到无限地平线的平均成本设置确定条件下，Riccati递归收敛到唯一的半正定解代数Riccati方程。我们的方法被证明具有几个显着的特点，包括闭环稳定性，和样本外的性能保证。我们还讨论了如何优化惩罚参数，以提高我们的控制策略的分布鲁棒性。最后但并非最不重要的是，从分布鲁棒性的角度确定了与经典$H_\infty$方法的理论联系。
2021-02-25 cs.SY eess.SY math.OC
Mixed-Integer Quadratic Optimization and Iterative Clustering Techniques for Semi-Supervised Support Vector Machines
针对半监督支持向量机，提出混合整数二次优化模型，结合迭代聚类降低计算成本，在偏倚样本上精度优于原SVM。
2023-10-16 math.OC
Exact continuous relaxations of l0-regularized criteria with non-quadratic data terms
针对含非二次数据项的l0正则化问题，提出l0 Bregman松弛（B-rex）作为精确连续近似，证明其保留全局极小值且减少非凸性，给出近端梯度算法的显式近端点计算并通过数值验证其几何行为与松弛性质。
2025-08-25 math.OC
An Interior Point-Proximal Method of Multipliers for Convex Quadratic Programming
本文将不可行内点法（IPM）与邻近乘子法（PMM）相结合。所得到的算法（IP-PMM）被解释为一个原始-对偶正则IPM，适用于求解线性约束凸二次规划问题。我们将内点方法的几次迭代应用于邻近乘子方法的每个子问题。一旦找到PMM子问题的满意解，我们更新PMM参数，形成新的IPM邻域并重复此过程。在这个框架下，我们证明了多项式复杂性的算法，在标准的假设。据我们所知，这是原始-对偶正则化IPM的第一个多项式复杂度结果。该算法是指导使用一个单一的罚参数，即对数障碍。换句话说，我们表明，IP-PMM继承IPMs的多项式复杂性，以及严格的凸性的PMM子问题。罚参数的更新由IPM控制，因此是良好调整的，并且不依赖于所解决的问题。此外，我们研究的行为时，它被应用到一个不可行的问题，并确定了一个必要条件不可行的方法。后者用于构建不可行性检测机制。随后，我们提供了一个强大的实现所提出的算法，并测试了一组小到大规模的线性和凸二次规划问题。数值结果表明，在IPM中使用正则化的好处，以及该方法的可靠性。
2020-03-05 math.OC
Convergence analysis of linearized $\ell_q$ penalty methods for nonconvex optimization with nonlinear equality constraints
针对带非线性等式约束的非凸优化问题，提出带二次正则的线性化$\u2113_q$惩罚方法，给出动态正则参数选择规则下的收敛复杂度，并通过数值对比验证算法性能。
2025-03-20 math.OC
Optimizing ADMM and Over-Relaxed ADMM Parameters for Linear Quadratic Problems
University of Birmingham（伯明翰大学）；Qingdao University（青岛大学）；Manchester Metropolitan University（曼彻斯特城市大学）；Coventry University（考文垂大学）；University of Hong Kong（香港大学）；Guangzhou University（广州大学）
本文针对线性二次问题，提出了一种优化ADMM惩罚参数的一般方法和计算最优过松弛参数的闭式公式，并通过多种成像应用验证了其有效性。
2024-01-01 cs.CV math.OC math.SP
The Boosted DC Algorithm for Clustering with Constraints
本文首次将BDCA应用于带约束聚类问题，提出基于距离函数的惩罚方法并结合DCA进行求解，实验证明BDCA比DCA迭代次数更少且CPU运行时间更快。
2023-10-22 math.OC
Exact penalty method for D-stationary point of nonlinear optimization
本文针对带约束违反$\ell_1$-范数度量的非线性优化问题，提出一种具有内外迭代的精确罚SQP方法，可收敛到D-稳定点并快速检测不可行性，无需将罚参数趋于零。
2023-09-25 math.OC
Quadratic versus Polynomial Unconstrained Binary Models for Quantum Optimization illustrated on Railway Timetabling
本文以铁路时刻表为例，强调QAOA中输入问题表述的重要性，提出将多项式问题转换为PUBO和QUBO的通用方法，并证明PUBO表述优于QUBO。
2024-11-15 math.OC quant-ph
A Sequential Quadratic Programming Method for Constrained Multi-objective Optimization Problems
针对不等式约束的多目标最优化问题，提出了一种全局收敛的序列二次规划方法。通过对所有目标函数和约束函数进行线性逼近，得到了一个可行的下降方向。子问题在序列的每一次迭代中都有可行解。一个不可微的罚函数被用来处理约束违反。在Mangasarian-Fromovitz约束规格和其他一些温和的假设下，生成收敛到临界点的下降序列。该方法与现有的方法选择一组合适的测试问题进行比较。
2020-04-30 math.OC
Learning Over-Relaxation Policies for ADMM with Convergence Guarantees
Department of Engineering Science, University of Oxford（牛津大学工程科学系）
本文提出通过学习在线更新松弛参数来提升ADMM在特定问题类上的性能，证明了在弱假设下ADMM在时间变化惩罚和松弛参数下的收敛性，并在基准二次程序中验证了学习策略在迭代次数和运行时间上的优势。
2026-10-06 cs.LG math.OC
Efficient quadratic penalization through the partial minimization technique
常见的计算问题，如动态模型中的参数估计和PDE约束优化，需要在一组辅助参数上进行数据拟合，这些辅助参数受到底层状态的物理约束。在实践中常用的朴素二次惩罚公式具有固有的病态性。我们发现，令人惊讶的部分最小化技术规范的问题，使其良好的条件。这一观点揭示了新的变量投影技术，以及惩罚方法的PDE约束优化，并激发强大的扩展。此外，我们概述了一个不精确的分析，表明部分最小化子问题可以解决非常松散的每次迭代。我们阐述了边界控制，最优输运，和参数估计的鲁棒动态推理的理论和算法。
2017-09-17 math.OC
Efficient QUBO transformation for Higher Degree Pseudo Boolean Functions
University of Colorado at Denver（科罗拉多大学丹佛分校）；Missouri Western State University（密苏里西部州立大学）
二次无约束二进制优化（QUBO）被认为是一个统一的框架，用于建模各种各样的问题。问题可以用为求解QUBO而定制的商业求解器来解决，并且由于QUBO具有二阶，因此具有用于将更高阶的伪布尔问题转换为QUBO格式的方法是有用的。标准的转换方法需要额外的辅助变量支持的惩罚条款为每个更高的程度。本文通过最小化附加变量数和惩罚系数，对已有的二次到二次变换方法进行了改进。在QUBO模型的Max 3-SAT上进行的大量实验测试表明，用于最小化辅助变量数量的子问题大小减少了近100%。
2021-07-24 cs.AI math.OC
A Subgradient Approach for Constrained Binary Optimization via Quantum Adiabatic Evolution
早期的工作[18]提出了一种通过量子绝热演化使用外近似方法来求解约束二元二次规划问题的拉格朗日对偶的方法。这应该是一个有效的处方解决拉格朗日对偶问题的存在下，一个理想的无噪声的量子绝热系统。然而，量子退火系统的当前实现需要在处理可能的噪声源方面有效的方法。在本文中，我们考虑了一个次梯度方法，找到一个最佳的原始-对偶对的拉格朗日对偶的约束二元多项式规划问题。然后，我们研究了二次独立集（QSS）问题作为一个案例研究。我们看到，这种方法应用于QSS问题可以被看作是一个实例依赖的惩罚项的方法，避免了大的惩罚系数。最后，我们报告了我们使用D-Wave 2X量子退火机的实验结果，并得出结论，与通常的惩罚项方法相比，我们的方法有助于这种量子处理器更经常地成功解决这些问题。
2017-01-25 cs.ET math.OC quant-ph
Conditions on optimal support recovery in unmixing problems by means of multi-penalty regularization
Norwegian University of Science and Technology（挪威科技大学）；Simula Research Laboratory AS（Simula研究实验室有限公司）
本文研究了通过多惩罚正则化方法在混叠逆问题中实现最佳支持恢复的条件，通过数值模拟验证了其在稀疏恢复中的优越性。
2016-01-07 cs.NA math.NA math.OC
Solving constrained quadratic binary problems via quantum adiabatic evolution
量子绝热演化被认为是有用的二元二次规划问题，是一个先验的无约束。对于约束问题，通常的做法是放松线性等式约束作为目标函数中的惩罚项。然而，还没有提出一种使用量子绝热方法有效处理不等式约束的方法。在本文中，我们给出了一种方法来解决的拉格朗日对偶的二元二次规划（BQP）问题的存在不等式约束，并采用这种程序中的一个分支定界框架内的约束BQP（CBQP）问题。
2018-02-09 cs.ET math.OC quant-ph
ASPEN: An Additional Sampling Penalty Method for Finite-Sum Optimization Problems with Nonlinear Equality Constraints
针对带非线性等式约束的非凸有限和优化问题，提出融合附加采样策略的自适应二次惩罚算法ASPEN，避免高成本投影、节省算力，证明几乎必然收敛，实验验证其有效性。
2025-08-04 cs.NA math.NA math.OC
