Extended-Krylov-subspace methods for trust-region and norm-regularization subproblems
Computational Mathematics Theme, Scientific Computing Department, Rutherford Appleton Laboratory(拉瑟福德·阿普尔顿实验室科学计算部计算数学主题)
本文提出了一种基于扩展Krylov子空间的方法,用于高效求解信任区域和范数正则化子问题,通过低维子空间和高效根寻找方法提升计算效率。
2026-03-02 cs.NA math.NA math.OC
Integer Set Reduction for Stochastic Mixed-Integer Programming
两阶段随机混合整数规划(SMIP)问题的第二阶段为一般整数变量,一般难以求解。本文发展了整数集约简理论,用于刻画第二阶段子问题的可行整数点的凸包子集,可用于求解SMIP。其基本思想是考虑一个足够小的子集的可行整数点,这是必要的整数子问题产生一个有效的不等式。然后设计了一种基于子问题LP-松弛的解决方案获得这样一个子集的算法,并将其纳入SMIP的Fenchel分解方法中。为了证明新的整数集约简方法的性能,进行了基于随机生成的测试实例的计算研究。研究结果表明,整数集减少提供了显着的收益,在产生削减更快,导致更好的界限,在解决SMIP比使用直接求解器。
2016-04-29 math.OC
Efficient Solution of Discrete Subproblems Arising in Integer Optimal Control with Total Variation Regularization
我们考虑一类整数线性规划(IP),它是求解控制问题的信赖域算法的信赖域子问题的离散化,其中控制输入是一维域上的整数值函数,并在目标中用全变差项正则化,这可以解释为不同控制模式之间切换代价的惩罚.我们证明,解决所考虑的问题类的一个实例是相当于解决一个资源受限的最短路问题(RCSPP)的分层有向无圈图。这种结构的发现产生了一个算法的解决方案的拓扑排序和相应的运行时的复杂性,是二次的离散化间隔的数量的基础上的控制问题,一个问题实例的大小的主要量词的基础上。我们还考虑了RCSPP的解决方案与$A^*$算法。具体而言,拉格朗日松弛的分析产生一致的启发式函数的$A^*$算法和预处理过程,可以用来加速$A^*$算法的RCSPP而不失去最优的计算解决方案。我们通过对几个整数最优控制问题执行信赖域算法来生成IP实例。数值结果表明,加速的$A^*$算法和拓扑排序明显优于通用IP求解器。此外,加速的$A^*$算法能够优于较大的问题实例的拓扑排序。
2022-06-03 math.OC
Integer L-Shaped Method with Non-Supporting No-Good Optimality Cuts
University of Minnesota(明尼苏达大学)
本文提出一种改进的整数 L 形方法,通过提前终止混合整数子问题生成非支撑性 no-good 最优割,以降低割生成计算成本,并在工业案例中显著减少求解时间或最优性间隙。
2025-11-09 math.OC
A regularization-patching dual quaternion optimization method for solving the hand-eye calibration problem
Hangzhou Dianzi University(杭州电子科技大学);The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学)
手眼标定问题是机器人研究中的一个重要应用问题。基于对偶四元数向量的2-范数,提出了一种新的对偶四元数优化手眼标定方法。将对偶四元数优化问题分解为两个四元数优化子问题。第一个四元数优化子问题控制机器人手的旋转。通过特征值分解或奇异值分解可以有效地求解。如果第一四元数优化子问题的最优值为零,则系统在旋转方向上是无噪声的,即,存在一个“完美”的机器人手运动,它能精确地满足所有测试姿态的旋转。在这种情况下,我们应用正则化技术来解决第二子问题,以最小化平移的距离。另外,我们应用修补技术来解决第二个四元数优化子问题。然后求解第二个四元数优化子问题就转化为求解一个二次约束二次规划问题。这样,我们就对手眼标定问题的解集给出了完整的描述。这在手眼校准文献中是新的。数值结果也显示了所提出的方法的有效性。
2022-09-16 cs.RO math.OC
Cubic-quartic regularization models for solving polynomial subproblems in third-order tensor methods
本文提出CQR框架,通过序列局部三次-四次模型高效求解三阶张量方法中的非凸三次多项式子问题,给出全局最小化器的最优性条件并转化为可解割线方程,实现最优评估复杂度,数值实验表明在典型及病态子问题上具有竞争力。
2023-12-22 cs.NA math.NA math.OC
A Decomposition Augmented Lagrangian Method for Low-rank Semidefinite Programming
我们开发了一种基于增广拉格朗日框架的分解方法来解决广泛的半定规划问题,可能与非线性目标函数,非光滑正则化,一般线性等式/不等式约束。特别地,半正定变量和一组线性约束可以通过矩阵分解转化为光滑流形上的变量。非光滑正则化和其他一般的线性约束由增广拉格朗日方法处理。因此,每个子问题都可以用流形上的半光滑牛顿法求解。理论上,我们证明了在一定条件下,分解子问题的一阶和二阶最优性必要条件最优性条件对于原子问题也是充分的。对黎曼子问题和增广拉格朗日方法进行了收敛性分析。大规模半定规划问题,如最大割,最近的相关估计,聚类和稀疏主成分分析广泛的数值实验表明,我们提出的方法相比,其他国家的最先进的方法的强度。
2023-03-07 math.OC
Domain decomposition for integer optimal control with total variation regularization
针对全变差整数最优控制,提出一种全局收敛的坐标下降启发式区域分解算法,通过信赖域子问题与贪婪补丁选择,在基准问题上比现有方法更快。
2025-08-06 math.OC
Group sparse optimization via $\ell_{p,q}$ regularization
本文从理论、算法和应用三个方面研究了基于$\ell_{p,q}$正则化的群体稀疏最优化问题。在理论方面,通过引入群限制特征值条件的概念,建立了$\ell_{p,q}$正则化问题水平集上任意点的预言性质和$O(λ^\frac{2}{2-q})$阶的整体恢复界,并借助现代变分分析技术,给出了局部极小点路径的$O(λ^2)$阶恢复界的局部分析.在算法方面,我们应用著名的近似梯度方法来解决$\ell_{p,q}$正则化问题,或者通过解析地解决一些特定的$\ell_{p,q}$正则化子问题,或者通过使用牛顿方法来解决一般的$\ell_{p,q}$正则化子问题。特别地,我们建立了近似梯度法求解$\ell_{1,q}$正则化问题的线性收敛速率在一些温和的条件下。由此,得到了近似梯度法求解通常的$\ell_{q}$正则化问题($0<q<1$)的线性收敛速率.最后,在应用方面,我们给出了基因转录调控中模拟数据和实际数据的数值结果。
2016-01-28 math.OC
A Study of One-Parameter Regularization Methods for Mathematical Programs with Vanishing Constraints
带消失约束的数学规划(Mathematical Programmes with Vanishing Constraints,MPVCs)是一类非线性最优化问题,在桁架拓扑设计、机器人运动规划等工程问题中有着广泛的应用。从理论和数值的角度来看,MPVCs都是困难的问题:消失约束的组合性质通常会阻止标准的约束规格和最优性条件的实现;此外,可行集本质上是非凸的,并且通常在感兴趣的点周围没有内部。因此,本文研究和比较了四种正则化方法的数值解的MPH。每种方法都依赖于一个正则化参数,该参数用于将原始MPVC嵌入到标准非线性程序序列中。这些方法的收敛结果的基础上精确和近似平稳的子问题建立在弱假设。通过给出KKT乘子存在的充分条件,研究了子问题的改进正则性。基于桁架拓扑设计和气动热力学最优控制问题的数值实验,补充了正则化方法的理论分析和比较。计算结果突出了使用正则化直接应用标准求解器的好处,它们使我们能够确定两个有前途的正则化方案。
2020-06-28 math.OC
Efficient Implementation of Third-Order Tensor Methods with Adaptive Regularization for Unconstrained Optimization
University of Oxford(牛津大学)
本文提出改进的AR_3算法,通过自适应正则化和预拒绝技术提升无约束优化效率,实验证明其在目标函数评估、导数评估和子问题求解次数上优于二阶变体。
2025-12-22 math.OC
A smoothed proximal trust-region algorithm for nonconvex optimization problems with $L^p$-regularization, $p\in (0,1)$
本文针对$p\in(0,1)$的$L^p$-正则化非凸优化问题,提出一种基于广义柯西点和光滑近似的近端信赖域算法,并证明了收敛性及数值有效性。
2025-08-21 math.OC
Approximate Secular Equations for the Cubic Regularization Subproblem
The University of Hong Kong(香港大学);Musketeers Foundation Institute of Data Science(火枪手基金会数据科学研究所)
三次正则化方法是求解无约束非凸优化的一种常用算法。在每次迭代中,CR解决了一个三次正则化的二次问题,称为三次正则化子问题(CRS)。求解CRS的一种方法依赖于求解久期方程,其计算瓶颈在于计算黑塞矩阵的所有特征值。在本文中,我们提出并分析了一种新的CRS求解器的基础上近似的长期方程,它只需要一些海森特征值,因此更有效。两个近似的长期方程(ASE)的开发。对于这两个方程,我们首先研究了它们的根的存在唯一性,然后建立了它们的根与标准久期方程的根之间的距离的上界。这样的上界又可以用来限制基于ASE的近似CRS解到真实CRS解的距离,从而为我们的CRS求解器提供了理论保证。我们的CRS求解器的一个理想特性是它只需要矩阵向量乘法而不需要矩阵求逆,这使得它特别适合无约束非凸优化的高维应用,例如低秩恢复和深度学习。模拟和真实数据集的数值实验进行了研究建议CRS求解器的实际性能。实验结果表明,所提出的求解器优于两个国家的最先进的方法。
2022-09-27 cs.LG cs.NA math.NA
Full Waveform Inversion with Adaptive Regularization
正则化是求解地学领域中各种不适定非线性反问题必不可少的方法。合适的正则化的基础是由正则化器表示的先验,它可以是非自适应的或自适应的(数据驱动的)。在本文中,我们提出了一般的黑箱正则化算法来解决非线性反问题,如全波形反演(FWI),它承认经验先验,自适应地确定了复杂的去噪算法。非线性反问题的解决,通过一个近似牛顿方法,它概括了传统的牛顿步骤,以这样一种方式涉及的梯度/次梯度(可能不可微)正则化函数通过操作员分裂和邻近映射。此外,它需要考虑正则化最小二乘最优化问题中的黑塞矩阵。我们提出了两种不同的分裂算法,这项任务。在第一,我们计算牛顿搜索方向的迭代法的基础上的一阶广义迭代收缩阈值算法(ISTA),因此牛顿ISTA(NISTA)。迭代只需要海森矢量积来计算非线性目标函数的二次近似的梯度步长。第二个依赖于交替方向法的乘法器(ADMM),因此牛顿ADMM(NADMM),其中的最小二乘优化子问题和正则化子问题的复合解耦通过辅助变量,并在交替模式下解决。我们比较NISTA和NADMM数值求解全波形反演与BM三维正则化。测试结果表明,这两种算法都取得了可喜的成果。然而,NADMM显示出更快的收敛速度比牛顿ISTA时,使用L-BFGS解决牛顿系统。
2020-01-27 math.OC
Outer Approximation With Conic Certificates For Mixed-Integer Convex Problems
混合整数凸(MI-凸)最优化问题是当所有的整数约束被放松时变成凸的问题。本文给出了一个将MI-凸问题转化为MI-锥问题的分枝定界LP外逼近算法。多面体松弛细化与$\mathcal{K}^*$削减来自圆锥证书连续原始对偶圆锥子问题。在所有子问题都是适定的假设下,该算法检测不可行性或无界性或在有限时间内返回最优解。使用属性的圆锥证书,我们表明,$\mathcal{K}^*$削减意味着一定的实际相关的保证质量的多面体松弛,并演示如何保持有益的保证时,LP求解器使用一个积极的可行性公差。我们讨论了如何分解$\mathcal{K}^*$切割,以收紧多面体松弛,从而提高收敛速度,并提出了快速的启发式方法获得有用的$\mathcal{K}^*$切割。我们新的开源MI圆锥解算器Pajarito(http://github.com/JuliaOpt/Pajarito.jl)使用外部混合整数线性(MILP)解算器来管理搜索树和子问题的外部连续圆锥解算器。基准库的混合整数二阶锥(MISOCP)的问题,我们发现,Pajarito大大优于邦明(领先的开源替代品),并具有竞争力的CPLEX的专业MISOCP算法。我们证明了鲁棒性的Pajarito通过解决不同的MI锥问题,涉及半正定,二阶和指数锥的混合物,并提供证据,我们的分析和增强的$\mathcal{K}^*$削减的实用价值。
2018-08-15 math.OC
Attenuation imaging by wavefield reconstruction inversion with bound constraints and total variation regularization
波场重建反演(WRI)通过允许波场重建期间的波动方程误差来匹配来自第一次迭代的数据,从而扩展了全波形反演(FWI)的搜索空间。然后,通过最小化源残差,从波场更新波速。在交替模式下执行这两项任务将非线性FWI分解为两个线性子问题的序列,依赖于波动方程的双线性。我们解决这个双凸优化与交替方向法的乘法器(ADMM)有效地消除了数据和源残差的迭代和稳定的参数估计与适当的正则化。在这里,我们将WRI扩展到粘声介质的衰减成像。衰减重建是具有挑战性的,因为在数据中的衰减的小印记和与速度的串扰。为了解决这些问题,我们重铸的多元粘声WRI作为一个三凸优化和更新波场,平方慢度,衰减因子在交替模式在每个WRI迭代。这需要通过近似的三线性粘声波方程线性化衰减估计子问题。ADMM中嵌入的迭代缺陷校正纠正了线性化产生的误差,而算子分裂允许我们为每个参数类定制$\ell{1}$正则化。一个玩具的数值例子表明,这些策略减轻串扰的文物和噪声的衰减重建。一个更现实的合成北海代表的例子验证了该方法。
2020-01-06 math.OC
Randomization and Performance Improvement for Integer Optimal Control with Total Variation Regularization
Sandia National Laboratories(桑迪亚国家实验室);TU Dortmund University(多特蒙德工业大学)
本文针对混合整数PDE约束优化问题,分析SLIP、Patch-SLIP算法,提出并证明Randomized-Patch-SLIP的收敛性,对比三者性能以确定最优组合,建立图像去噪等基准问题并提供实验代码。
2026-08-12 math.OC
Vector-Valued Integer Optimal Control with TV Regularization: Optimality Conditions and Algorithmic Treatment
本文研究带TV正则化的向量值整数最优控制问题,推导一阶二阶最优性条件,并利用基于贝尔曼原理的信赖域方法求解,验证了算法的收敛性和有效性。
2024-11-11 math.OC
Stochastic Planning and Scheduling with Logic-Based Benders Decomposition
我们应用基于逻辑的Benders分解(LBBD)的两阶段随机规划和调度问题,其中第二阶段是一个调度任务。主问题用混合整数/线性规划求解,子问题用约束规划求解。作为Benders切割,我们使用简单的nogood切割以及我们为此应用开发的基于分析逻辑的切割。我们发现LBBD在计算上优于整数L形方法,LBBD的分支和检查变体快了几个数量级,允许解决更大的实例。这主要是由于整数L形方法产生的计算开销,同时产生经典的Benders削减从连续松弛的整数规划子问题。据我们所知,这是第一次应用LBBD两阶段随机最优化与调度第二阶段的问题,和第一次比较LBBD与整数\mbox{L-shaped}方法。结果表明,LBBD可能是一个很有前途的方法来解决其他随机和鲁棒的最优化问题整数或组合资源。
2020-12-28 math.OC
Sequential Linear Integer Programming for Integer Optimal Control with Total Variation Regularization
我们提出了一个信赖域方法,解决了一系列的线性整数规划,以解决整数最优控制问题正则化的全变差罚款。全变差罚函数使我们能够证明整数最优控制问题的极小值的存在性。我们引入了一个局部最优性的概念的问题,这是从无限维的角度来看。在控制函数的一维域的情况下,我们证明了我们的算法所产生的迭代收敛到满足局部最优的一阶平稳性条件的点。我们证明了一个计算实例的理论研究结果。
2022-05-06 math.OC
Global Optimization of Mixed-Integer Bound-Constrained Quadratic Fractional Problems
Università di Parma(帕尔马大学);Sapienza Università di Roma(罗马第一大学);Università degli Studi di Padova(帕多瓦大学)
针对混合整数二次分式优化问题,提出基于Dinkelbach参数化重构的精确算法,结合分支定界和变量邻域搜索启发式,数值实验表明优于通用精确算法。
2026-10-06 math.OC
A joint decomposition method for global optimization of multiscenario nonconvex mixed-integer nonlinear programs
提出了一种结合La-grangian分解和广义Benders分解的联合分解方法,有效地解决了多场景非凸混合整数非线性规划(MINLP)问题的全局最优性,而不需要显式的分支定界搜索.在这种方法中,我们认为耦合的情况下,因变量和那些导致非凸性的变量作为复杂的变量。我们在一个统一的框架下系统地求解了拉格朗日分解子问题和广义Benders分解子问题。该方法需要解决一个困难的放松主问题,但问题只在必要时才解决。对该方法进行了改进,以减少要求解的松弛主问题的数量,并简化每个松弛主问题的求解。我们考虑了两个基于神经网络的两阶段随机非凸MINLP问题,这些问题来自于过程网络的集成设计和操作,我们表明所提出的方法可以比最先进的全局优化求解器更快地解决这两个问题。
2018-02-20 math.OC
New Outer Approximation Algorithms for Nonsmooth Convex MINLP Problems
Hebei Key Laboratory of Machine Learning and Computational Intelligence & College of Mathematics and Information Science, Hebei University(河北大学数学与信息科学学院);College of Mathematics and Information Science, Hebei University(河北大学数学与信息科学学院);Department of Industrial Engineering, University of Pittsburgh(匹兹堡大学工业工程系)
本文提出了一种针对非光滑凸MINLP问题的新外近似算法,通过生成有效的线性切割和等价的MILP主问题,提高松弛精度并拓展了算法的应用范围。
2026-02-04 math.OC
Benders Subproblem Decomposition for Bilevel Problems with Convex Follower
双层优化制定递阶决策过程,出现在许多现实世界的应用,如定价,网络设计,和基础设施防御规划。本文研究了一类上层问题为整数变量,下层问题具有强对偶的双层最优化问题。我们提出了一个专门的Benders分解方法来解决这类双层问题,它将Benders子问题分解为两个更容易处理的,顺序可解的问题,可以被解释为上层和下层的问题。我们表明,Benders子问题分解结转到一个有趣的扩展的双层问题,连接上层的解决方案与较低的水平对偶解,并讨论了一些特殊情况下的双层问题,允许序列独立的子问题分解。几个新的计划产生数值稳定的削减,找到一个好的现任解决方案,并加快搜索树进行了讨论。一个计算研究表明,所提出的方法的计算效益超过一个国家的最先进的双层定制的分支和切割方法,商业求解器,和标准的Benders方法的标准测试用例和激励应用程序在顺序的能源市场。
2021-04-19 math.OC
A Customized Augmented Lagrangian Method for Block-Structured Integer Programming
针对NP难的块结构整数规划问题,提出一种定制化增广拉格朗日方法,通过解耦链接约束分解子问题并利用块坐标下降法高效求解,同时引入细化技术获取高质量可行解,实验证明其有效性。
2024-06-28 math.OC
Regularized Interior Point Methods for Constrained Optimization and Control
正则化方法和内点方法为解决控制应用中的约束非线性最优化问题提供了有价值的前景。本文讨论了这些技术之间的相互作用,并提出了一种算法,协同结合起来。建立一系列密切相关的子问题,并近似地解决每个问题,这种方法固有地利用了热启动,提前终止,并有可能采用针对特定问题结构的子求解器。此外,通过放松等式约束与邻近的惩罚,正则化的子问题是可行的,并满足强约束规格的建设,允许安全使用高效的求解器。我们展示了正则化如何使底层线性代数受益,详细的收敛性分析表明极限点倾向于最小化约束违反并满足合适的最优性条件。最后,我们报告的数值结果的鲁棒性,表明相结合的方法相比,毫不逊色于两个内点和增广拉格朗日代码。
2022-10-28 math.OC
Relaxed multibang regularization for the combinatorial integral approximation
多爆正则化和组合积分逼近分解是整数最优控制的两种研究热点。我们考虑一类多面体函数,特别是作为凸下包络的多爆正则化,并表明他们有有益的性质,就正规化的整数最优控制问题的松弛。我们扩展了组合积分近似的算法框架,使得计算的离散值控制的子序列收敛到正则化整数控制问题的下确界。
2021-03-30 math.OC
A Novel Fast Exact Subproblem Solver for Stochastic Quasi-Newton Cubic Regularized Optimization
The University of Texas at Austin(德克萨斯大学奥斯汀分校);SAS Institute(SAS研究所)
在这项工作中,我们描述了一种使用有限记忆拟牛顿(LQN)矩阵进行大规模非凸无约束优化的三次自适应正则化(ARC)方法。ARC方法是一个相对较新的优化策略家族,它利用正则化(CR)项代替信任域和线搜索。LQN方法提供了一个大规模的替代使用显式二阶信息,通过采取相同的输入流行的一阶方法,如随机梯度下降(SGD)。精确求解CR子问题需要牛顿法,但使用LQN矩阵的内部结构的属性,我们能够找到CR子问题的精确解,以无矩阵的方式,提供大的加速比和扩展到现代尺寸的要求。此外,我们扩大了以前的ARC工作,并明确地将一阶更新到我们的算法。我们提供了使用SR1更新时的实验结果,与Adam和深度神经网络(DNN)上的其他二阶优化器相比,这些结果显示出显著的速度提升和竞争性能。我们发现,我们的新方法ARCLQN与具有最小调整的现代优化器相比,这是二阶方法的常见痛点。
2022-04-19 cs.LG math.OC stat.ML
On Integer Optimal Control with Total Variation Regularization on Multi-dimensional Domains
针对多维域上带总变差正则化的整数最优控制问题,推导了一阶最优性条件与部分线性化信赖域子问题,并证明序列线性整数规划算法的迭代极限为一阶最优点。
2023-08-22 math.OC
Experiments with Conflict Analysis in Mixed Integer Programming
不可行子问题的分析在求解混合整数规划中起着重要的作用,并且在大多数主要的混合整数规划求解器中得到了实现。从不可行子问题生成有效的全局约束有两种根本不同的概念。第一个是分析域传播导致不可行性的含义序列。分析的结果是一组或多组矛盾的变量边界,从这些变量边界可以生成所谓的冲突约束。这个概念起源于解决可满足性问题,并类似地用于约束规划。第二个是分析不可行的线性规划(LP)松弛。对偶LP解提供了一组乘法器,可用于生成单个新的全局有效线性约束。这篇简短的论文的主要贡献是两种方法结合这些方法的实证评估。从标准的公共测试集,如MIPLIB的一般MIP实例进行实验,所提出的算法已在非商业MIP求解器SCIP内实现。此外,我们提出了一个基于池的方法来管理冲突,解决了MIP求解器遍历搜索树的方式比从SAT解决已知的老化策略。
2016-11-23 math.OC
Third-Order Newton Methods with Semidefinite Programming
UC Riverside(加州大学河滨分校)
本文提出一种基于半定规划子问题的三阶牛顿法,利用高阶泰勒展开捕捉局部几何,在强凸与良好初始化下实现三次收敛,并给出处理子问题不可行性的正则化等实用改进。
2026-09-14 math.OC
Network Design for the Traffic Assignment Problem with Mixed-Integer Frank-Wolfe
本文研究集中式交通分配中的网络设计问题,将其建模为混合整数凸优化,并基于Boscia框架结合Frank-Wolfe算法提出确定性与随机两种求解方法,实验表明混合整数线性Frank-Wolfe子问题适合确定性情形,惩罚方法适合多场景随机情形。
2025-02-07 math.OC
A trust-region method for optimal control of ODEs with continuous-or-off controls and TV regularization
Brandenburgische Technische Universität Cottbus–Senftenberg, Institute of Mathematics(勃兰登堡科技大学科特布斯-森夫滕贝格分校数学研究所)
本文提出了一种求解特定最优控制问题的算法,这些问题受常微分方程约束,控制具有连续或断开结构,并通过凸函数定价,同时应用总变分正则化来惩罚切换。方法结合了信赖域方法和近端梯度方法,子问题通过贝尔曼最优性原理求解,并证明了收敛性。数值示例中使用SIR模型解决了一个简单的最优控制问题。
2026-08-31 math.OC
Computationally efficient solution of mixed integer model predictive control problems via machine learning aided Benders Decomposition
本文提出一种机器学习辅助的分支检查广义Benders分解算法,通过近似Benders割避免反复求解子问题,在化工混合整数经济MPC案例中实现最高97%的求解时间缩减且误差仅约1%。
2023-09-28 cs.SY eess.SY math.OC
A derivative-free regularization algorithm for equality constrained nonlinear least squares problems
针对目标函数和约束雅可比矩阵不可用或计算昂贵的等式约束非线性最小二乘问题,提出基于正交球面平滑近似雅可比矩阵的无导数正则化算法,证明其能以任意高概率找到近似KKT点或几乎必然收敛到约束违反平稳点。
2025-07-08 math.OC
Augmentation Algorithms for Integer Programs with Total Variation-like Regularization
本文利用Graver基刻画图上的诱导连通子图,为带全变差类正则化的整数规划设计精确算法和随机启发式算法,实验表明其性能优于现有整数规划求解器。
2025-08-20 math.OC
New subspace minimization conjugate gradient methods based on regularization model for unconstrained optimization
本文提出了两种新的基于$p - $正则化模型的子空间极小化共轭梯度法,其中分析了$p - $正则化模型中的一种特殊尺度范数.对特殊尺度范数的不同选择导致$p - $正则化子问题的不同解。通过对二维子空间中解的分析,得到了满足充分下降条件的新方向。在较弱的假设下,利用一种改进的非单调线搜索,证明了算法的整体收敛性。对所提方法的$R - $线性收敛进行了分析。数值结果表明,对于CUTEr库,所提出的方法优于Hager和Zhang(SIAM J Optim 16(1):170-192,2005)、Dai和Kou(SIAM J Optim 23(1):296-320,2013)、Liu和Liu(J Optim Theory Appl 180(3):879-906,2019)以及Li等人(Comput Appl Math 38(1):2019)分别提出的四种共轭梯度法。
2020-04-03 math.OC
Improving Directions in Mixed Integer Bilevel Linear Optimization
Lehigh University(利哈伊大学)
本文提出了一种基于改进可行方向的混合整数双层线性优化求解框架,通过统一处理可行性检查与有效不等式生成,提升求解效率。
2025-12-30 cs.MS math.OC
Partially Distributed Outer Approximation
针对一类结构化混合整数凸规划(MICP)问题,提出了一种新的局部分布外逼近算法PaDOA.该方案采用迭代外逼近法求解具有可分离凸目标函数、仿射耦合约束和紧域的耦合混合整数最优化问题。PaDOA通过交替求解大规模结构化混合整数线性规划问题和部分解耦的混合整数非线性规划子问题(包括少得多的整数变量)来进行。我们建立的条件下,PaDOA收敛到全局极小值有限次迭代后,并验证这些属性与应用恒温控制负载。
2019-11-19 math.OC
Warm-starting Strategies in Scalarization Methods for Multi-Objective Optimization
针对多目标优化标量化方法缺乏系统热启动方法论的问题,该研究给出热启动的理论表征,分析子问题排序与热启动效率、不可行区域识别等标准的权衡,并通过大规模计算研究量化相关权衡。
2025-07-29 math.OC
Input Regularization for Integer Optimal Control in BV with Applications to Control of Poroelastic and Poroviscoelastic Systems
本文针对整数最优控制中信赖域方法所需正则性假设过强的问题,提出通过磨光对控制输入进行部分正则化并证明Γ-收敛型结果,应用于孔隙粘弹性系统控制并给出数值验证。
2024-04-24 math.OC
On Generating Lagrangian Cuts for Two-Stage Stochastic Integer Programs
本文研究了两阶段随机整数规划的拉格朗日截集生成方法。拉格朗日切割可以被添加到一个Benders重新制定,并来自解决单一的情况下整数规划子问题中使用的nonanticipative拉格朗日对偶的随机整数规划。虽然拉格朗日切割有可能显着增强Benders松弛,但生成拉格朗日切割可能需要计算。我们研究新的技术产生拉格朗日削减获得的方法,提供显着的改善,迅速放松的目标。计算结果表明,我们所提出的方法提高了Benders松弛显着快于以前的方法生成拉格朗日切割,当使用在分支和切割算法,显着降低了搜索树的大小为三类测试问题。
2022-01-20 math.OC
Convex mixed integer nonlinear programming problems and an outer approximation algorithm
本文主要研究一类具有不可微数据的凸混合整数非线性规划问题。通过放弃可微性假设,我们用从KKT条件得到的次梯度代替梯度,并使用外部近似方法将凸MINLP重新表示为一个等价的MILP主程序。通过求解有限个子问题序列和松弛MILP问题,我们建立了一个外逼近算法来寻找这个凸MINLP的最优解。并给出了算法的收敛性。本文的工作将外逼近方法从处理凸MINLP问题的可微情形推广到不可微情形。
2015-02-23 math.OC
Integer Optimal Control with Fractional Perimeter Regularization
本文针对整数最优控制中周长正则化离散化困难的问题,提出用分数阶非局部周长替代传统周长,证明了 $Γ$-收敛性和平稳性结果,并给出算法收敛分析与计算实验验证。
2024-06-08 math.OC
$L_p$-norm regularization algorithms for optimization over permutation matrices
置换矩阵的最优化问题广泛地出现在设施布局,芯片设计,调度,模式识别,计算机视觉,图匹配等。由于这个问题是NP-困难的,由于组合性质的置换矩阵,我们放松变量是更容易处理的双随机阵和添加$L_p$ -范数($0 < p < 1$)正则项的目标函数。当正则化参数足够大时,$L_p$正则化问题的最优解与原问题的最优解相同。进一步建立了稳定点非零元的下界估计以及局部极小元与置换矩阵之间的联系。然后我们提出了一个局部加细的$L_p$正则化算法。该算法采用投影梯度法,采用Barzilai-Borwein步长的非单调线性搜索近似求解一系列$L_p$正则化子问题.如果与某些局部搜索方法、割平面技术以及一种新的负邻近点方法相结合,其性能将得到进一步的提高。QAPLIB和带宽最小化问题的大量数值结果表明,我们提出的算法往往可以找到合理的高质量的解决方案在一个有竞争力的时间量。
2016-08-31 math.OC
A Globally Convergent Third-Order Newton Method via Unified Semidefinite Programming Subproblems
Massachusetts Institute of Technology(麻省理工学院);University of Oxford(牛津大学)
ALMTON通过统一半定规划子问题实现了无约束非凸优化的全局收敛三次牛顿法,具有更稳定的收敛性和更广的吸引盆地。
2026-08-24 cs.NA math.NA math.OC
Multi-objective integer programming: An improved recursive algorithm
针对多目标整数规划(MOIP)问题,提出了一种改进的递归算法来生成所有非支配目标向量的集合。我们显着改善了早期的递归算法Özlen和Azizoallu通过使用一组已经解决的子问题和他们的解决方案,以避免解决大量的IP。一个数值例子来解释该算法的工作原理,我们进行了一系列的计算实验,以显示可以获得的节省。正如我们的实验所示,随着问题的目标数量增加,改进变得更加显著。
2013-02-22 math.OC
A Preconditioned Alternating Minimization Framework for Nonconvex and Half Quadratic Optimization
针对非凸半二次正则化模型和Ambrosio-Tortorelli近似Mumford-Shah模型,基于Kurdyka-Kazojasiewicz分析和最近的非凸近似算法,针对非线性交替极小化过程中出现的线性子问题,提出了一种有效的预处理框架.大规模线性子问题的求解一直是交替极小化算法中的一个重要而又具有挑战性的问题。通过将有效的和经典的预条件迭代法结合到非线性非凸优化问题中,证明了线性子问题只需要一次或任意有限次预条件迭代,而不需要像通常的不精确解那样控制误差.所提出的预处理框架可以为线性子问题的处理提供极大的灵活性和效率,同时保证非线性交替极小化方法的整体收敛。
2021-07-29 cs.NA math.NA math.OC
Hybrid optimal control with mixed-integer Lagrangian methods
针对混合系统最优控制因组合特性难以高效优化的问题,提出一种基于增广拉格朗日框架、带信赖域逐次混合整数线性化的先离散后优化方法,无需松弛整数约束,在多类问题上验证了良好性能。
2025-05-17 math.OC
Stochastic project management: Multiple projects with multi-skilled human resources
本文提出了两种随机最优化方法,同时项目调度和人员规划,扩展了确定性模型先前开发的Heimerl和Kolisch。针对具有异质技能的多技能人力资源的工作包分配问题,研究了工作包处理时间的不确定性。如果所需能力超过内部资源的可用能力,则使用外部人力资源。目标是尽量减少预期的外部费用。第一种解决方法是一个“数学”的基础上分解成一个项目调度子问题和人员配备子问题的问题。迭代局部搜索过程确定项目进度,而人员配备子问题是通过凸优化的Frank-Wolfe算法来解决的。第二种解决方法是样本平均近似,其中,基于采样场景,通过混合整数规划来解决确定性等价问题。综合生成的测试实例的实验结果,灵感来自现实世界的情况,并得出一些管理见解。
2018-12-03 math.OC
Lagrangian cuts generated by batch to efficiently solve two-stage stochastic mixed-integer program
针对两阶段随机整数规划现有拉格朗日割生成效率低的问题,提出批量生成割的方法,证明收敛性与三角不等式性质,还通过系数平均生成未求解场景的割,实验表明其能用更少割更快提升Benders主问题松弛下界。
2024-01-29 math.OC
Continuation Path with Linear Convergence Rate
Georgia Institute of Technology(佐治亚理工学院);Riken AIP(理化学研究所革新智能统合研究中心);Nagoya Institute of Technology(名古屋工业大学)
路径跟踪算法经常用于复合最优化问题,其中一系列子问题,具有不同的正则化超参数,顺序求解。通过重用以前的解决方案作为初始化,更好的收敛速度已被观察到数值。这使得它成为一个非常有用的启发式算法,以加快机器学习中优化算法的执行。我们提出了一个原始的对偶分析的路径跟踪算法,并探讨如何设计其超参数,以及如何确定每个子问题应解决的准确性,以保证目标问题的线性收敛速率。此外,考虑稀疏诱导惩罚优化,我们分析了相对于正则化参数的活动集的变化。然后,后者可以自适应地校准,以精细地确定将沿着解决方案路径选择的特征的数量。这导致了用于校准活动集方法的超参数的简单算法,以降低其复杂性并改善其执行时间。
2021-12-09 cs.LG math.OC
An Alternating Direction Method for Total Variation Denoising
我们考虑使用全变差(TV)正则化的图像去噪问题。由于正则化项的不可微性和非线性,解决这个问题在计算上可能具有挑战性。我们提出了一个交替方向增广拉格朗日(ADAL)方法,基于一个新的变量分裂的方法,结果在子问题,可以有效地解决和准确。对于各向异性TV模型,证明了新算法的整体收敛性。对于各向同性TV模型,通过进一步的变量分裂,我们能够得到一个全局收敛的ADAL方法。我们比较我们的方法与分裂Bregman方法\cite{goldstein2009split},这是密切相关的,并证明了它们的竞争力在一组标准的测试图像上的计算性能。
2014-08-23 math.OC
An algebraic approach to Integer Portfolio problems
可调变量允许以更现实的方式处理一些投资组合最优化问题,并引入向模型添加一些自然特征的可能性。我们提出了一个代数方法,以最大化预期收益率在给定的容许风险水平的协方差阵衡量。为了达到最佳的投资组合,它是一个必不可少的成分,计算不同的测试集(通过Gröbner基础)的线性子问题,在一个双重的搜索策略。
2010-04-06 math.AC math.OC