Structured two-point stepsize gradient methods for nonlinear least squares
本文提出了两种求解非线性最小二乘问题的结构谱梯度法。在所提出的方法中,单位逼近的Hessian逆的标量倍通过施加结构化的拟牛顿条件。此外,我们提出了一个简单的策略来选择结构标量的情况下,负曲率方向。利用非单调线搜索和二次插值回溯技术,我们证明了在适当的条件下,这些方法是全局收敛的。数值实验表明,该方法与最近发展的一些方法相比具有竞争力。
2018-07-30 math.OC
Iterative algorithm with structured diagonal Hessian approximation for solving nonlinear least squares problems
非线性最小二乘问题是一类特殊的无约束最优化问题,其梯度和Hessian具有特殊的结构。在本文中,我们利用这些结构,并提出了一个无矩阵算法与对角Hessian近似求解非线性最小二乘问题。我们设计了适当的保护策略,以确保黑塞矩阵是正定的整个迭代过程。该算法产生下降方向,是全局收敛的。初步的数值实验表明,该方法是具有竞争力的最近开发的类似方法。
2020-02-05 math.OC
Modeling and Optimization of Control Problems on GPUs
Université Côte d’Azur, CNRS, Inria, LJAD(蔚蓝海岸大学、法国国家科学研究中心、法国替代能源和原子能委员会、拉哈尔数学与计算机分析实验室)
本文提出一种基于Julia的GPU加速工作流,通过直接转录和稀疏非线性规划求解大规模最优控制问题,利用多个Julia包和cuDSS求解器,实现显著加速。
2025-10-07 math.OC
Intersection Cuts for Nonlinear Integer Programming: Convexification Techniques for Structured Sets
本文研究了从混合线性规划到混合非线性规划的分裂、k-分支分裂和交割的推广。构造这种割需要计算具有简单几何结构的凸集与开集之间的差的凸包。我们介绍了两种技术,给出精确的刻画,这样的凸包,并使用它们来构建分裂,k-分支分裂,并为几个类的非多面体集的相交切割。特别是,我们给出了简单的公式,基本上所有的凸集的分裂切割所描述的一个单一的二次不等式。我们也给出了简单的公式,k-分支分裂切割和一些一般的相交切割的各种凸二次集。
2014-06-11 math.OC
Parallel Interior-Point Solver for Block-Structured Nonlinear Programs on SIMD/GPU Architectures
我们研究如何将标准的内点方法移植到新的exascale结构中,用于求解具有状态方程的块结构非线性规划。在计算上,我们将内点算法分解为两个连续的操作:导数的评估和相关的Karush-Kuhn-Tucker(KKT)线性系的解决方案。我们的方法使用两个级别的并行加速这两个操作。首先,我们使用粗并行将计算分布在多个进程上。其次,每个进程都在本地使用SIMD/GPU加速器,以使用细粒度并行来加速操作。通过消除相应方程中的不等式和状态变量,将KKT系统简化为对问题自由度的灵敏度进行编码的稠密矩阵,从而大大减少了内存交换。我们证明了该方法的能力,超级计算机北极星,未来的exascale极光系统的测试平台。每个节点都配备了四个GPU,这是一种适合我们两级方法的设置。随机最优潮流问题的实验表明,该方法可以实现50倍的速度相比,国家的最先进的方法。
2023-01-12 math.OC
Design and implementation of a modular interior-point solver for linear optimization
本文介绍了开放源码的线性最优化内点求解器Tulip的算法设计与实现。它实现了一个正则化的同质内点算法与多个中心校正,因此处理无界和不可行的问题。求解器是用Julia编写的,因此允许灵活和高效的实现:Tulip的算法框架完全脱离了线性代数实现和模型的算术。特别是,这允许无缝集成结构化问题的专用例程。广泛的计算结果报告。我们发现Tulip在H. Mittelmann's benchmark of barrier线性规划求解器。此外,我们设计了专门的线性代数例程结构化的主问题的背景下,Dantzig-Wolfe分解。这些例程在电力系统运行和两阶段随机规划中出现的大型和密集实例上产生十倍的加速,从而优于最先进的商业内点方法求解器。最后,我们说明郁金香的能力,使用不同级别的算术精度,通过解决问题的扩展精度。
2020-06-23 math.OC
A structured modified Newton approach for solving systems of nonlinear equations arising in interior-point methods for quadratic programming
针对二次规划内点法中障碍子问题的非线性方程组,提出保留 Jacobian 非零结构的低秩修正牛顿法,并通过理论结果、数值实验及两种启发式策略验证其性能。
2023-05-03 math.OC
Structured Online Learning-based Control of Continuous-time Nonlinear Systems
基于模型的强化学习技术通过采用过渡模型进行预测来加速学习任务。在本文中,基于模型的学习方法,迭代计算的最优值函数的基础上,最近更新的模型。假设一个结构化的连续时间模型的系统的一组基,我们制定了一个无限的地平线最优控制问题解决一个给定的控制目标。系统的结构以及以二次型参数化的值函数提供了在分析计算参数的更新规则方面的灵活性。因此,获得参数的矩阵微分方程,其中解用于在任何时间步长上根据基来表征最优反馈控制。此外,二次型的价值函数建议一个紧凑的方式更新的参数,大大降低了计算复杂性。考虑到微分方程的状态依赖性,我们利用得到的框架作为在线学习为基础的算法。在数值结果中,所提出的算法实现了四个非线性基准的例子,其中的调节问题被成功地解决,而系统的识别模型得到有界的预测误差。
2020-10-20 math.OC
Exponential Decay of Sensitivity in Graph-Structured Nonlinear Programs
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Argonne National Laboratory(阿贡国家实验室);University of Chicago(芝加哥大学)
研究图结构非线性规划的解灵敏度,证明节点间灵敏度随图上距离指数衰减,基于强二阶充分条件和线性独立约束资格。
2021-12-14 math.OC
Envelopt: Constrained Convex Composite Optimization
University of the Bundeswehr Munich(联邦国防军慕尼黑大学);Polytechnique Montréal(蒙特利尔理工学院)
Envelopt 是一种全局收敛的迭代框架,用于处理带一般平滑约束的复合优化问题,通过 Moreau 包络和近端算子简化子问题,支持非凸目标,并提供 Julia 实现与多种数值实验验证。
2026-09-25 math.OC
Structured Systems of Nonlinear Equations
本文研究结构化非线性方程组的鲁棒性,提出利用有向图中的前向和后向瓶颈(特别是极小极大瓶颈)来判断解的鲁棒性,并给出了定位及消除该瓶颈的数值方法与图论手段。
2023-04-03 math.CA math.OC
Null Controllability of a nonlinear age, space and two-sex structured population dynamics model
本文研究了一类非线性年龄、空间和两性结构种群动力学模型的零能控性。该模型是这样的,非线性和耦合是在出生水平。我们考虑一个人口与男性和女性,我们正在处理两种情况下的零可控性问题。第一个问题是与总灭绝有关的,这意味着,我们估计一个时间$T$,使男性和女性亚群密度为零。第二种情况涉及男性或女性亚群个体的零可控性。这里,如果$A$是个体的寿命,在时间$T+A$,我们会得到种群的完全灭绝.我们的方法首先使用一个与辅助系统的伴随相关的可观测性不等式,线性辅助系统的零能控性,然后使用Schauder的不动点定理。
2020-09-09 math.AP math.OC
Locally Feasibly Projected Sequential Quadratic Programming for Nonlinear Programming on Arbitrary Smooth Constraint Manifolds
受非线性约束约束的高维非线性最优化问题可以出现在包括约束物理和动力系统、统计估计和其他数值模型在内的多种环境中。如果目标函数仅在可行集上定义,或者如果在使用不可行优化例程期间出现与价值函数或不可行终止相关的数值困难,则可行优化例程有时可能是有价值的。借鉴黎曼优化和序列二次规划的文献,构造了一个实用的算法进行可行优化的任意隐式定义的约束流形。具体地,利用$n$(潜在有界约束)变量和$m < n$非线性约束,每个外部优化循环迭代涉及单个$O(nm^2)$触发器因式分解,并且构造涉及$O(nm)$触发器内部循环迭代的计算上有效的撤回。使用Julia语言创建了一个软件包LFPSQP.jl,该软件包利用了自动微分和投影共轭梯度法,用于不精确/截断牛顿步骤。
2021-11-05 cs.MS math.OC
ExaModels.jl: an Algebraic Modeling System for Nonlinear Programming on GPUs
Massachusetts Institute of Technology(麻省理工学院);MINES Paris - PSL(巴黎矿业学院-PSL);Mathematics and Computer Science Division, Argonne National Laboratory(阿贡国家实验室数学与计算机科学部);AMD(超威半导体);Department of Statistics, University of Chicago(芝加哥大学统计系)
ExaModels.jl是基于Julia的代数建模系统,利用非线性规划的重复结构并行计算,适配GPU并行性,在多个基准测试集上大幅提升了稀疏海森矩阵的计算速度。
2026-08-18 math.OC
JuMP: A Modeling Language for Mathematical Optimization
JuMP是一种开源建模语言,允许用户以高级代数语法表达各种最优化问题(线性、混合整数、二次、圆锥二次、半定和非线性)。JuMP利用Julia编程语言的高级功能,提供独特的功能,同时实现与商业建模工具同等的性能,以完成标准任务。在这项工作中,我们将提供基准测试,介绍实现的新方面,并讨论JuMP如何扩展到新的问题类,以及如何与最先进的可视化和交互工具组合。
2016-08-15 cs.MS math.OC
Structured Koopman Lifted Finite Memory Identification via Truncated Grunwald Letnikov Kernels
University of California, Davis(加州大学戴维斯分校)
本文提出一种数据驱动的线性建模框架,结合Koopman提升与截断Grünwald-Letnikov记忆项,通过提升的可观测表示建模非线性状态依赖,并通过固定分数差权重在提升坐标中直接施加历史依赖,从而获得记忆补偿回归,扩展了标准Koopman识别方法。
2026-10-07 cs.SY eess.SY math.OC
Sequential Convex Programming Methods for A Class of Structured Nonlinear Programming
University of Minnesota(明尼苏达大学)
本文研究一类结构化非线性规划问题,提出序列凸规划方法,并证明生成序列的聚点为KKT点。
2022-06-17 cs.NA math.NA math.OC
Nonlinear preconditioned primal-dual method for a class of structured minimax problems
提出带投影的非线性预处理原始-对偶框架,通过定制预处理算子与构建分离超空间,求解非凸非凹非光滑鞍点问题,证明其收敛性并涵盖现有方法。
2024-01-10 cs.NA math.NA math.OC
Learning with Combinatorial Optimization Layers: a Probabilistic Approach
Ecole des Ponts(巴黎桥路学院)
机器学习(ML)管道中的组合优化(CO)层是处理数据驱动决策任务的强大工具,但它们面临两个主要挑战。首先,CO问题的解通常表现为其目标参数的分段常数函数。鉴于ML管道通常使用随机梯度下降进行训练,缺乏斜率信息是非常有害的。其次,标准ML损失在组合设置中不起作用。越来越多的研究通过各种方法应对这些挑战。不幸的是,缺乏良好维护的实现减缓了CO层的采用。在本文中,建立在以前的作品,我们介绍了一个概率的角度对CO层,这自然有助于近似微分和结构化损失的建设。我们从文献中恢复许多方法作为特例,我们也得到新的。基于这种统一的观点,我们提出了InferOpt.jl,一个开源的Julia包,1)允许将任何具有线性目标的CO oracle转换为可微层,2)定义足够的损失来训练包含这些层的管道。我们的库可以使用任意优化算法,并且与Julia的ML生态系统完全兼容。我们展示了它的能力,使用视频游戏地图上的寻路问题作为指导的例子,以及其他三个应用程序的运筹学。
2022-12-03 cs.LG math.OC stat.ML
Graph-structured tensor optimization for nonlinear density control and mean field games
本文提出基于拉格朗日对偶坐标上升的凸图结构张量优化数值方法,证明全局与R-线性收敛,并针对多物种势平均场博弈图结构设计高效投影,应用于非线性密度控制。
2024-03-22 cs.SY eess.SY math.OC
KKT Residual Sliding Manifolds: A Projection-Free Structured Finite-Time Solver for Nonlinear Constrained Optimisation
City University of London(伦敦城市大学)
本文针对非线性约束优化问题,提出无投影的SM-KKT求解器,通过稳定KKT滑动残差流形实现有限时间收敛,在四个非线性基准上表现出优于基线方法的KKT残差精度与收敛性能。
2026-10-14 cs.NA math.NA math.OC
Stochastically Structured Reservoir Computers for Financial and Economic System Identification
CNBS, Honduras(洪都拉斯中央银行);UNAH, Honduras(洪都拉斯国立自治大学)
本文提出基于随机结构储备池计算机的金融经济系统辨识仿真框架,结合保结构嵌入与图引导耦合矩阵,通过约束优化满足相关约束,经实证验证可有效捕捉复杂非线性模式,支撑不确定性下的可解释预测。
2025-11-18 cs.SY econ.TH eess.SY
Formulations and scalability of neural network surrogates in nonlinear optimization problems
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);Dowson Farms(道森农场);Texas A&M University(德克萨斯农工大学)
本文比较了全空间、降空间和灰盒三种神经网络嵌入公式,在含暂态稳定约束的最优潮流问题中,灰盒公式结合GPU加速最具可扩展性,能以2.5倍时间代价求解含5.9亿参数代理模型的问题。
2024-12-16 cs.LG math.OC
Structured $(\min,+)$-Convolution And Its Applications For The Shortest Vector, Closest Vector, and Separable Nonlinear Knapsack Problems
在这项工作中,我们考虑的问题,计算的$(\min, +)$卷积的两个序列$a$和$b$的长度$n$和$m$,分别,其中$n \geq m$。我们假设$a$是任意的,但是$b_i = f(i)$,其中$f(x) \colon [0,m) \to \mathbb{R}$是具有以下性质之一的函数:1.线性情况下,当$f(x) =β+ α\cdot x$ ; 2.单调的情况下,当$f(i+1) \geq f(i)$,对于任何$i$ ; 3.凸的情况下,当$f(i+1) - f(i) \geq f(i) - f(i-1)$,对于任何$i$ ; 4.当为$f(i+1) - f(i) \leq f(i) - f(i-1)$时,任何$i$的凹面情况; 5.分段线性情况,当$f(x)$由$p$线性片段组成时; 6.多项式的情况下,当$f \in \mathbb{Z}^d[x]$,对于一些固定的$d$。据我们所知,病例4-6在以前的文献中没有被考虑过。我们为他们开发真正的次二次算法。我们将我们的结果应用到背包问题与可分离的非线性目标函数,最短的格向量,最接近的格向量的问题。
2022-09-28 cs.CC cs.DM cs.DS
Compressed Sensing with Nonlinear Observations and Related Nonlinear Optimisation Problems
非凸约束最近被证明是许多优化问题中的一个有价值的工具。特别是稀疏性约束对采样理论产生了重大影响,它们用于压缩感知,并允许结构化信号以远低于传统规定的速率进行采样。几乎所有为压缩感知信号恢复开发的理论都假设使用线性测量来获取样本。在本文中,我们而是解决压缩感知恢复问题的设置中的观察是非线性的。我们表明,在类似的条件下,所需的线性设置,迭代硬采样保持算法可以用来准确地恢复稀疏或结构化的信号从几个非线性观测。类似的想法也可以在更一般的非线性优化框架中开发。因此,在本文的第二部分中,我们提出了相关的结果,显示如何可以做到这一点下的稀疏性和工会的子空间的约束,每当广义的限制等距属性传统上施加在压缩感知系统举行。
2012-05-08 cs.IT math.IT math.OC
Structured interpolation for multivariate transfer functions of quadratic-bilinear systems
针对高维非线性动力系统的计算瓶颈问题,本文提出二次双线性系统的对称子系统结构化变体与广义传递函数定义,给出频域保结构插值条件,通过数值算例验证了理论结果的有效性。
2023-04-27 cs.NA cs.SY eess.SY