On the Łojasiewicz Exponent of the Quadratic Sphere Constrained Optimization Problem
本文证明了对于指数为$θ=\frac{3}{4}$的二次球面约束最优化问题，$Ł$ ojasiewicz梯度不等式的整体形式成立.丁基邦的一个例子表明，$θ=\frac{3}{4}$是紧的。这是对带线性项的球面约束最优化问题建立的第一个$Ł$ ojasiewicz梯度不等式.
2021-02-23 math.OC
A solution for fractional PDE constrained optimization problems using reduced basis method
本文利用缩减基方法求解了一类分数阶抛物型方程所控制的PDE约束最优化问题，其中（0，1）中的β阶分数阶导数由Caputo分数阶导数定义.
2019-10-18 math.OC
A Trust Region Method for Finding Second-Order Stationarity in Linearly Constrained Non-Convex Optimization
受TRACE算法[Curtis et al. 2017]的启发，我们提出了一种用于寻找线性约束非凸优化问题的二阶稳定点的置信域算法。证明了该算法在\widetilde{\mathcal{O}}（\max{ε_g^{-3/2}, ε_H^{-3}}）迭代下收敛到（ε_g，ε_H）-二阶稳定点.这种迭代复杂性是针对一般线性约束优化而实现的，而无需对目标函数进行立方正则化。
2019-04-14 math.OC
A Conic Integer Programming Approach to Constrained Assortment Optimization under the Mixed Multinomial Logit Model
本文研究了混合多项logit模型下的约束搭配最优化问题。即使是中等规模的情况下，这个问题是具有挑战性的直接解决使用标准的混合整数线性最优化配方。这促使最近的研究探索定制的优化策略和近似技术。相比之下，我们开发了一种新的圆锥二次混合整数制定。这种新的配方，再加上麦考密克不等式利用容量限制，使大型实例的解决方案，使用商业优化软件。
2017-08-12 math.OC
Adaptive Stochastic Mirror Descent for Constrained Optimization
镜像下降法是求解非光滑凸优化问题的一种著名方法。本文分析了自适应步长MD的随机变化。它的平均收敛速度比固定步长和最佳的下界。
2017-05-04 math.OC
A trust-region method for derivative-free nonlinear constrained stochastic optimization
在这项工作中，我们介绍了随机非线性约束无导数最优化方法（S）NOWPAC（随机非线性最优化路径增广约束）。该方法扩展了无导数优化器NOWPAC适用于不确定性下的优化。它是基于一个置信域框架，利用本地完全二次代理模型结合高斯过程代理，以减轻噪音的目标函数和约束评估。我们展示了我们的算法的性能从CUTEst基准套件的各种强大的最优化问题通过比较其他国家的最先进的最优化方法。虽然我们专注于强大的优化基准问题，以证明（S）NOWPAC的能力，优化器可以适用于广泛的应用在非线性约束随机最优化。
2022-01-21 math.OC
Second Order Shape Optimization for an Interface Identification Problem constrained by Nonlocal Models
本文将形状优化方法推广到受非局部 Dirichlet 问题约束的界面识别问题，推导约化泛函的二阶形状导数并研究相应的二阶优化算法。
2024-06-13 math.OC
Primal-dual subgradient method for constrained convex optimization problems
本文考虑了一般的凸约束问题，其中函数既不是可微的，也不是Lipschitz连续的。我们的动机是在寻找一个简单的一阶方法来解决大范围的凸优化问题的最小要求。我们研究了加权对偶平均法（Nesterov，2009），并证明了它是一种最优方法。
2021-03-18 math.OC
Convergence of a Stochastic Subgradient Method with Averaging for Nonsmooth Nonconvex Constrained Optimization
对于具有广义可微性的非光滑、非凸目标函数的约束问题，证明了一个带次梯度平均的单时间尺度随机次梯度方法的收敛性.作为我们分析的工具，我们还证明了一个链式法则的道路上，这样的功能。
2019-12-16 math.OC
Optimality Conditions for Constrained Minimax Optimization
极大极小优化问题既源于现代机器学习，包括生成对抗网络、对抗训练和多智能体强化学习，也源于传统研究领域，如鞍点问题、数值偏微分方程和等式约束优化的最优性条件。对于无约束连续非凸-非凹情形，Jin，Netrapalli和Jordan（2019）仔细考虑了非常基本的问题：什么是极小极大最优化问题的局部最优解的适当定义，并提出了局部极小极大的局部最优性的适当定义。我们将局部极大极小点的定义推广到约束非凸-非凹极大极小最优化问题。通过分析下层极大化问题的Jacobian唯一性条件和极大化问题的Karush-Kuhn-Tucker条件的强正则性，给出了约束极小极大最优化问题局部极小极大点的最优性条件和充分最优性条件.
2020-04-21 math.OC
A Descent Method for Equality and Inequality Constrained Multiobjective Optimization Problems
本文提出了一种求解等式和不等式约束多目标最优化问题的下降法，它利用两种有效集策略将Fliege和Svaiter求解无约束多目标优化问题的最速下降法推广到有约束问题.在一定的正则性假设下，证明了下降法的聚点满足局部Pareto最优的一个必要条件.最后，我们在一个数值例子中展示了我们的方法的典型行为。
2017-12-11 math.OC
Data-driven Decision Making with Probabilistic Guarantees (Part 2): Applications of Chance-constrained Optimization in Power Systems
可再生能源的渗透率不断加深，对未来电网的安全可靠运行提出了严峻挑战。在不确定环境下的各种决策方法中，本文重点研究了机会约束优化，它为最优解的可行性提供了明确的概率保证。虽然已经提出了不少方法来解决机会约束最优化问题，但缺乏对所提出的方法进行全面的回顾和比较分析。本文的第一部分回顾了三种现有的机会约束优化方法：（1）情景方法;（2）样本平均近似;（3）基于鲁棒优化的方法。数据驱动的方法，不受任何特定的基本不确定性的分布，是特别感兴趣的。本文的第二部分对机会约束优化在电力系统中的应用进行了文献综述。第二部分还提供了一个关键的比较现有的方法的基础上数值模拟，这是进行标准的电力系统测试用例。
2019-04-14 math.OC
Line Search Fixed Point Algorithms Based on Nonlinear Conjugate Gradient Directions: Application to Constrained Smooth Convex Optimization
本文研究实Hilbert空间上非扩张映射的不动点问题，提出了新的线搜索不动点算法来加速搜索.线搜索的终止条件是基于众所周知的沃尔夫条件，用于确保无约束优化算法的收敛性和稳定性。利用最速下降方向和传统的无约束优化的非线性共轭梯度方向的思想，产生了搜索不动点的方向。在一定的假设条件下，我们对求解不动点问题的算法进行了收敛性和收敛速度分析。本文的主要贡献是对约束光滑凸优化问题中的一个问题，即能否设计非线性共轭梯度算法来求解约束光滑凸最优化问题做出了具体的回答。我们证明了所提出的不动点算法包括具有非线性共轭梯度方向的不动点算法，这些不动点算法可以求解约束光滑凸优化问题。为了说明算法的实用性，我们将其应用于具体的约束光滑凸最优化问题，如约束二次规划问题和广义凸可行性问题，并将其与以前基于Krasnosel'ski \u-Mann不动点算法的算法进行了数值比较.结果表明，与已有算法相比，本文算法大大减少了求解具体最优化问题的运行时间和迭代次数.
2015-09-18 math.OC
A scaled conjugate gradient based direct search algorithm for high dimensional box constrained derivative free optimization
在这项工作中，我们提出了一个有效的方法来解决盒约束导数自由最优化问题涉及高维。所提出的方法依赖于探索可行域使用直接搜索方法的基础上缩放共轭梯度与二次插值模型。对不同维数的试验问题进行了大量的数值计算，结果表明所提出的无导数优化方法具有良好的性能。
2019-01-16 math.OC
Constrained Sampling-based Trajectory Optimization using Stochastic Approximation
提出了一种基于采样的约束问题轨迹优化方法。我们扩展了最近的随机搜索工作，以处理箱控制约束，以及离散动力系统的非线性状态约束。关于前者，我们的策略是优化截断参数化分布的控制输入。此外，我们展示了如何非光滑罚函数可以纳入我们的框架来处理状态约束。在cartpole和四轴飞行器上的仿真表明，我们的方法在解的质量和收敛速度方面优于以前的基于约束采样的优化方法。
2019-11-12 math.OC
An optimal subgradient algorithm for large-scale bound-constrained convex optimization
本文表明，OSGA算法-它使用一阶信息来解决具有最佳复杂性的凸优化问题-可以用来有效地解决任意有界约束的凸优化问题。这是通过构建一个明确的方法，以及一个不精确的计划，解决有界约束的合理的子问题所需的OSGA。这导致在信号和图像处理、机器学习和统计等应用中的大规模问题上有效地实现OSGA。数值实验表明，该算法在此类问题上具有良好的性能。离子，以显示所提出的方案的效率。一个软件包实现有界约束凸问题的OSGA是可用的。
2015-01-07 math.OC
Fixed-Point Constrained Model Predictive Control of Spacecraft Attitude
针对带反作用轮执行机构的航天器姿态约束控制问题，提出了一种模型预测控制器。该控制器采用了一种特殊的配方的成本与参考调速同类项一样，一个低复杂性的积分行动，以保证无偏移跟踪的姿态设定点，和一个在线优化算法的解决方案的二次规划问题，这是专门为运行在不动点算法。在非线性航天器模型上的仿真结果表明，该控制器在满足反作用轮转矩约束的情况下，具有良好的跟踪性能。该控制器计算复杂性低，适合在具有不动点处理器的航天器上实现。
2015-01-18 math.OC
Constrained Optimization From a Control Perspective via Feedback Linearization
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
本文通过反馈线性化方法解决约束优化问题，揭示其与SQP算法的联系，并提出动量加速算法以提升收敛性能。
2026-01-28 math.OC
A scalable matrix-free spectral element approach for unsteady PDE constrained optimization using PETSc/TAO
我们提供了一种新的方法，有效的矩阵自由应用的雅可比矩阵的转置的谱元方法的伴随为基础的解决方案的偏微分方程（PDE）约束优化。这导致在优化的非线性偏微分方程使用显式积分器的伴随问题的集成是不是更昂贵的前向模拟。求解PDE约束最优化问题需要结合多个领域的专业知识，包括模拟、导数计算和优化。便携式可扩展科学计算工具包（PETSc）及其配套软件包高级优化工具包（TAO）是一个集成的数值软件库，其中包含用于求解线性系统、非线性系统、常微分方程、微分代数方程和大规模最优化问题的算法/软件堆栈，因此，是执行偏微分方程约束优化的理想工具。本文介绍了一种有效的方法，其中PETSc/TAO提供的软件栈可用于大规模非线性时变问题。而时间积分可以涉及一系列高阶方法，包括隐式和显式。所使用的PDE约束优化算法是基于梯度的，并且与物理问题的模拟无缝集成。
2020-05-26 math.OC
Ghost Penalties in Nonconvex Constrained Optimization: Diminishing Stepsizes and Iteration Complexity
考虑非凸约束最优化问题，提出了一种基于罚函数的收敛性分析方法。我们使用经典的罚函数在一个非常规的方式，罚函数只进入理论分析的收敛性，而算法本身是无惩罚。基于这一思想，我们能够建立几个新的结果，包括第一次一般性分析的非凸，约束优化，收敛到广义平稳点，SQP型算法的复杂性研究的步长递减方法。
2020-05-30 math.OC
Second Order Optimality Conditions and Improved Convergence Results for a Scholtes-type Regularization for a Continuous Reformulation of Cardinality Constrained Optimization Problems
本文考虑基数约束下的非线性最优化问题。基于连续的重构，我们引入了二阶最优性的充分必要条件最优性条件。在这样的二阶条件下，我们可以保证M-平稳点的局部唯一性。最后，我们利用这一观察到的基数约束最优化问题的Scholtes型松弛法，保证在适当的假设下的迭代的存在性和收敛性提供了扩展的局部收敛理论。
2017-09-05 math.OC
Gradient Methods with Regularization for Constrained Optimization Problems and Their Complexity Estimates
我们建议简单的实施修改的条件梯度和梯度投影法光滑凸优化问题在希尔伯特空间。通常，自定义方法只能达到弱收敛。我们证明了新版本的强收敛性，并建立了它们的复杂性估计，这似乎类似于弱收敛版本的收敛速度。
2017-05-03 math.OC
Subgradient method with feasible inexact projections for constrained convex optimization problems
本文提出了一种新的求解不可微约束凸优化问题的不精确投影次梯度方法。该方法将$ε$ -次梯度方法与一个过程相结合，以获得一个可行的不精确投影到约束集。采用众所周知的外源步长，Polyak的步长，和动态步长的方法所产生的序列的渐近收敛的结果和迭代复杂性的界限建立。
2020-06-15 math.OC
Penalty methods to compute stationary solutions in constrained optimization problems
本文通过相应的无约束惩罚问题研究了一般约束最优化问题的平稳解。我们的目标是回答这样一个问题：“关于原始约束最优化问题的解，惩罚无约束问题的静态解告诉我们什么？”".我们通过建立全局（局部）极小值和两个最优化问题的稳定点之间的关系来回答后一个问题。考虑到问题的平稳解之间的强联系，我们引入了一个新的近似$\varepsilon$ -平稳解的约束最优化问题。我们提出了一个算法来计算这样一个近似的固定解决方案的一般约束最优化问题，即使在没有克拉克正则性。在合理的假设下，我们建立了我们的算法的速率$O(\varepsilon^{-2})$，类似于平滑最小化的梯度下降法。由于我们的惩罚项是由距离函数的幂构造的，所以我们的平稳性分析在很大程度上依赖于距离函数的广义微分。特别是，我们的特点（半）可微的距离函数$\mbox{dist}(. ;X)$定义的Fréchet光滑范数，在几何的集合$X$。证明了$\mbox{dist} (. ;X)$是半可微的当且仅当$X$是几何可导的.后者打开了大门，设计优化算法的约束最优化问题，遭受克拉克不规则的目标和约束函数。
2022-06-24 math.OC
Constrained consensus-based optimization
在这项工作中，我们感兴趣的是建设的数值方法高维约束非线性最优化问题的粒子为基础的无梯度技术。为此，引入了一种基于共识的优化（CBO）方法，并结合适当的惩罚技术。该方法依赖于重新制定的约束最小化问题的无约束问题的罚函数和扩展到约束设置类CBO方法。采用精确惩罚，由于最佳罚参数是未知的，提出了一种迭代策略，连续更新的参数的基础上的约束违反。使用平均场描述的许多粒子的限制所产生的CBO动力学，我们能够显示所提出的方法收敛到最低限度的一般非线性约束问题。分析了新算法的性质。几个数值例子，也在高维，说明了理论的研究结果和良好的性能，新的数值方法。
2021-11-20 math.OC
Accelerated primal-dual methods for linearly constrained convex optimization problems
提出了一个求解仿射约束凸优化的加速原-对偶动力系统，并给出了一类具有非遍历收敛速度的原-对偶方法。在连续层，建立了一个新的指数衰减的李雅普诺夫函数，在离散层，依次考虑了连续模型的隐式、半隐式和显式数值离散，从而得到了求解线性约束最优化问题的新的加速原-对偶方法.这些方案中的子问题的特殊结构被用来开发有效的内部求解器。此外，通过一个定制的离散李雅普诺夫函数，证明了非遍历收敛速度的原始-对偶间隙，原始目标残差和可行性违反。此外，我们的方法也被应用到分散的分布式优化快速和有效解。
2022-04-09 math.OC
Adaptive Mirror Descent for Constrained Optimization
本文研究了带函数约束的非光滑凸优化和强凸优化问题。由于引入了改进的常数，自适应步长的镜像下降（MD）方法比固定步长的MD具有更好的收敛速度。对于某些类型的约束，该方法被证明产生对偶解。对于强凸情形，应用了重新启动技术。
2017-05-04 math.OC
The primal-dual hybrid gradient method reduces to a primal method for linearly constrained optimization problems
本文证明了对于线性约束最优化问题，Chambolle和Pock [3]分析的原始-对偶混合梯度算法可以写成完全原始算法。这使我们能够证明收敛的迭代，即使在退化的情况下，当线性系是不一致的，或当强对偶不成立。我们还获得了新的收敛速度，似乎改善现有的文献中。对于一个分散的分布式优化，我们表明，新的计划是更有效的比原来的。
2019-05-24 math.OC
Continuous and discrete-time accelerated methods for an inequality constrained convex optimization problem
本文利用对数障碍函数和Bregman Lagrangian构造连续时间动力系统，研究不等式约束凸优化问题的加速方法，并推导出具有最优收敛速率的离散时间算法。
2024-11-22 math.OC
Asymptotic regularity for Lipschitzian nonlinear optimization problems with applications to complementarity-constrained and bilevel programming
渐近平稳性和正则性条件对于研究标准非线性和互补约束规划的数值解方法的定性性质是非常有用的。在本文中，我们首先将这些概念扩展到非光滑但Lipschitz数据函数的非线性最优化问题，以便在Clarke和Mordukhovich的次微分构造方面找到渐近平稳性和正则性的合理概念。特别是，我们比较相关的新的渐近约束规格与现有的。本文的第二部分介绍了所获得的理论的两个应用。一方面，我们指定我们的互补约束最优化问题的研究结果，并恢复最近的结果，从文献中展示的权力的方法。此外，我们暗示潜在的扩展或消失约束优化。另一方面，我们证明了有用的渐近正则性的上下文中的双层优化。更准确地说，我们证明了一个著名的平稳系统的亲和力约束的双层最优化问题在一个新的方式。之后，我们提出了一种解决这类双层最优化问题的算法，它结合了惩罚方法和DC-规划的思想。经过一个简短的收敛性分析，我们提出了一些数值实验的结果。
2021-09-01 math.OC
On AKKT optimality conditions for cone-constrained vector optimization problems
本文对光滑锥约束向量最优化问题引入了一种近似Karush-Kuhn-Tucker条件（AKKT）。我们表明，没有任何约束规格，AKKT条件是必要的局部弱有效解的考虑问题。对于凸问题，我们证明了AKKT条件是全局弱有效解的最优性条件。我们还介绍了一些严格的约束规格与AKKT条件。
2019-02-20 math.OC
Robust optimization-based heuristic algorithm for the chance-constrained knapsack problem using submodularity
针对机会约束二进制背包问题（CKP），提出了一种基于鲁棒优化的启发式算法。我们假设项目的权重是独立的正态分布。该方法利用次模函数的性质，将CKP问题近似为具有基数约束的不确定性集的鲁棒背包问题，该不确定性集由不确定性预算参数表示.该方法通过求解近似的鲁棒背包问题得到启发式解，而鲁棒背包问题的最优解可以通过迭代求解普通的二进制背包问题得到。计算结果表明了该方法的有效性和效率。
2018-11-05 math.OC
COBALT: COnstrained Bayesian optimizAtion of computationaLly expensive grey-box models exploiting derivaTive information
许多工程问题涉及计算昂贵的模型，衍生信息是不容易获得的优化。贝叶斯优化（BO）框架是一个特别有前途的方法来解决这些问题，它使用高斯过程（GP）模型和预期的效用函数系统的开发和探索的设计空间之间的权衡。然而，BO从根本上受到黑盒模型假设的限制，该假设没有考虑任何潜在的问题结构。在本文中，我们提出了一种新的算法，COBALT，约束灰箱最优化问题，结合多元GP模型与一种新的约束预期效用函数，其结构可以利用国家的最先进的非线性规划求解器。COBALT相比，传统的BO的七个测试问题，包括校准的基因组规模的生物反应器模型的实验数据。总体而言，COBALT在无约束和约束测试问题上都表现出非常有前途的性能。
2022-02-08 math.OC
A general mathematical framework for constrained mixed-variable blackbox optimization problems with meta and categorical variables
在黑箱优化的背景下，提出了一种建模约束混合变量最优化问题的数学框架。该框架引入了一个新的符号，并允许解决方案的战略。符号框架允许Meta和分类变量被明确和有效地建模，这有利于解决这些问题。新术语Meta变量用于描述影响哪些变量是作用或非作用的变量：Meta变量可能影响变量和约束的数量。求解策略的灵活性支持主要的黑盒混合变量优化方法：直接搜索法和基于代理的方法（贝叶斯优化）。符号系统和解决方案的策略，说明通过一个例子的超参数最优化问题从机器学习社区。
2022-04-02 math.OC
Global aspects of the continuous reformulation for cardinality-constrained optimization problems
本文的主要目的是将基数约束最优化问题的拓扑相关的稳定点及其连续重构与它们的类型联系起来。为此，我们专注于非退化的M-和T-平稳点，分别。他们所谓的M-和T-指数，唯一确定的全球和局部结构的最优化问题在考虑代数方面，跟踪。作为新颖性，我们建议为此目的，经常化的连续重新制定。我们的分析的主要结果是，鞍点的正则化的连续重新的数量呈指数增长相比，初始基数约束的最优化问题。此外，我们利用正交型约束数学规划的相应结果，得到了正则化连续重整化的莫尔斯理论。
2022-12-27 math.OC
Second-order optimality conditions for non-convex set-constrained optimization problems
本文研究非凸集约束最优化问题的二阶最优性条件。对于凸集约束最优化问题，二阶最优性条件最优性条件涉及二阶切集的支撑函数。在本文中，我们提出了两种方法来建立二阶最优性条件的非凸情况。在第一种方法中，我们扩展了支撑函数的概念，使其适用于一般的非凸集约束问题，而在第二种方法中，我们引入了方向正则切锥的概念，并应用经典的凸对偶理论的结果。除了二阶最优性条件，我们的方法的新颖性在于系统的介绍和使用，分别从变分分析的著名概念的方向版本。
2020-01-14 math.OC
A combinatorial algorithm for constrained assortment optimization under nested logit model
研究了两层嵌套logit模型下具有不相交基数约束的产品分类最优化问题。为了解决这个问题，我们首先确定一个候选集与$O(mn^2)$的配置，并表明，至少有一个最佳的品种包括在这个集合。基于这一观察，一个快速算法，它运行在$O(m n^2 \log mn)$时间，提出了找到一个最佳的搭配。
2016-03-30 math.OC
A pattern search bound constrained optimization method with a nonmonotone line search strategy
提出了一种新的求解有界约束优化问题的模式搜索法。该算法采用坐标方向，以适当的方式，与非单调线搜索接受新的搜索，而不使用目标函数的衍生物。主要的整体收敛的结果强烈的基础上的步长和平稳性措施之间的关系。使用一组众所周知的测试问题进行了几个数值实验。对其他线搜索策略进行了测试，并与新算法进行了比较。
2018-06-21 math.OC
Accelerated Prox-Level Methods for Unknown Piecewise-Smooth Optimization II: Function-constrained Optimization
Purdue University（普渡大学）
本文提出重启式惩罚APEX算法，用于求解未知分段光滑的凸函数约束优化问题，该算法可在无需知晓增长模或精确惩罚系数的情况下达到最优预言复杂度，还能生成界定最优性间隙与约束违反量的新可验证证书。
2026-09-04 math.OC
A penalty scheme to solve constrained non-convex optimization problems in $BV(Ω)$
研究了具有双边逐点不等式约束的$BV(Ω)$中的非凸优化问题。我们提出了一个正则化和惩罚的方法来数值求解这个问题。在一定条件下，迭代的弱极限点对原问题是平稳的。此外，我们证明了原问题的最优性条件，包含拉格朗日乘子的不等式约束。数值实验证实了理论结果。
2021-10-05 math.OC
On the Softplus Penalty for Constrained Convex Optimization
本文研究基于softplus罚函数的约束凸优化重构，通过分析解路径推导目标值差距与约束违反度的紧致上界，并据此分析梯度方法在约束数大时的求解复杂度。
2023-05-21 math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法（ADMM）的收敛性.我们的收敛性分析依赖于广义中值定理，由于耦合目标函数的存在，该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明，直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Decomposition-Invariant Pairwise Frank-Wolfe Algorithm for Constrained Multiobjective Optimization
针对可行域为任意有界多面体的约束多目标优化问题，提出分解不变的成对 Frank-Wolfe 算法，并仅在强凸性下证明其整体序列线性收敛至 Pareto 最优解。
2024-09-07 math.OC
Constrained Neural Parameterization for Optimization in Function Spaces
Weierstrass Institute for Applied Analysis and Stochastics（魏尔斯特拉斯应用分析与随机性研究所）；Institute for Mathematics, Humboldt-Universität zu Berlin（柏林洪堡大学数学研究所）
提出约束神经参数化方案，通过构造光滑且像集位于可行集内的神经参数化，将约束优化转化为无约束优化，避免惩罚参数和拉格朗日乘子。
2026-05-30 math.OC
Convergence to Second-Order Stationarity for Constrained Non-Convex Optimization
本文研究了一类带约束的非凸优化问题的近似二阶稳定点问题。我们首先表明，与无约束优化的梯度下降法，香草投影梯度下降算法可能会收敛到一个严格的鞍点，即使只有一个单一的线性约束。然后，我们提供了一个硬度的结果表明，检查$(ε_g,ε_H)$ -二阶平稳性是NP难的，即使在存在线性约束。尽管我们的硬度结果，我们确定的问题，检查二阶平稳性可以有效地完成的实例。对于这种情况，我们提出了一个动态的二阶Frank-Wolfe算法，它收敛到（$ε_g, ε_H$）-二阶平稳点的${\mathcal{O}}(\max\{ε_g^{-2}, ε_H^{-3}\})$迭代。只要能有效地求解约束二次子问题，该算法就可用于一般的约束非凸优化。
2020-06-02 math.OC
Mirror version of similar triangles method for constrained optimization problems
关于最优化方法的科学在今天迅速发展。在机器学习、计算机视觉、生物学、医学、建筑学和许多其他不同领域中，最优化方法具有广泛的流行性，并且它们作为重要的工具出现。优化中最重要的目标之一是：创建一些“通用”方法，这些方法在所有问题中都具有良好的性能，而不管任务的平滑性，梯度的计算精度和表征问题的其他参数。在这篇论文中，我们提出了一种方法，这是“通用”的不同的问题，同时，是简单的理解。
2017-05-27 math.OC
Variational discretization and semi-smooth Newton methods; implementation, convergence and globalization in pde constrained optimization with control constraints
当结合变分离散的数值概念和半光滑牛顿法求解带有控制约束的偏微分方程约束优化的数值解时，必须特别强调数值算法的实现、收敛性和全局性。在目前的工作中，我们解决所有这些问题。特别是，我们证明了快速局部收敛的算法，并提出了两种不同的全球化战略，适用于许多实际相关的数学设置。我们通过数值实验说明了我们的分析和算法研究结果。
2009-12-02 math.OC
Accelerating Stochastic Sequential Quadratic Programming for Equality Constrained Optimization using Predictive Variance Reduction
在本文中，我们提出了一个随机方法来解决等式约束最优化问题，利用预测方差减少。具体来说，我们开发了一种方法的基础上的顺序二次规划范例，采用方差减少梯度近似。在合理的假设下，我们证明了一阶平稳性评估的措施，我们所提出的算法产生的迭代收敛到零的期望从任意的起点，恒定和自适应步长的战略。最后，我们证明了我们提出的算法在机器学习中出现的约束二进制分类问题的实际性能。
2023-03-25 math.OC
Smooth Dynamics for Distributed Constrained Optimization with Heterogeneous Delays
本文从被动性的角度研究了Agent间通信时延下的分布式约束最优化问题。首先，我们提出了一个求解一般凸目标函数的分布式约束优化问题的连续时间算法。通过相位超前补偿保证了系统在一般凸性下的渐近稳定性。不等式约束的处理采用投影自由广义拉格朗日，其原始对偶梯度动力学保持被动性和光滑性，使应用的LaSalle的不变原理中存在的延迟。然后，我们将散射变换到所提出的算法，以提高对未知和异构通信延迟的鲁棒性。最后，一个匹配问题的数值例子来说明结果。
2020-02-28 math.OC
Model Construction for Convex-Constrained Derivative-Free Optimization
本文针对凸约束无导数优化（DFO）中仅采样可行点难以达到标准精度的问题，提出适用于线性回归和欠定二次插值模型的新的逼近理论，扩展了已有凸约束线性插值理论。
2024-03-22 math.OC
Hierarchically constrained blackbox optimization
在黑盒优化中，目标函数和约束函数的计算是耗时的。在某些情况下，可以独立地或顺序地评估约束值。本工作提出并比较了两种策略，以定义一个层次排序的约束和中断的评价过程中，在一个试验点时，它被检测到，它不会提高当前的最佳解决方案。对一个封闭形式的测试问题进行了数值实验。
2021-11-27 math.OC
SOLNP+: A Derivative-Free Solver for Constrained Nonlinear Optimization
SOLNP+是一个用于约束非线性最优化的无导数求解器。本文从叶叶1989年提出的SOLNP算法出发，其主要思想是用有限差分逼近梯度。我们将隐式过滤，新的重新启动机制和现代二次规划求解器到这个新版本的ANSI C实现的技术。该算法在运行时间和噪声下的鲁棒性方面比MATLAB的最新版本有很大的优势。SOLNP+可从https://github.com/COPT-Public/SOLNP_plus免费下载。
2022-10-13 math.OC
Inertial primal-dual methods for linear equality constrained convex optimization problems
本文提出了一种求解线性等式约束凸优化问题的惯性加速原-对偶方法。当目标函数具有“非光滑+光滑”的复合结构时，通过对光滑个体函数进行线性化，并不精确地求解子问题，提出了一种不精确惯性原对偶方法.仅假设凸性，我们证明了所提出的方法享有$\mathcal{O}(1/k^2)$收敛速度的目标残差和可行性违反的原始模型。数值结果表明所提出的方法的有效性。
2021-06-29 math.OC
On Lagrange multipliers of constrained optimization in Hilbert spaces
Xiamen University（厦门大学）
本文提出了一种新的分解框架，用于研究Hilbert空间中约束优化问题的拉格朗日乘数，揭示了有限维与无限维空间中拉格朗日乘数理论的本质差异，并建立了二次规划方法的数学基础。
2026-03-11 math.OC
