New Outer Approximation Algorithms for Nonsmooth Convex MINLP Problems
Hebei Key Laboratory of Machine Learning and Computational Intelligence & College of Mathematics and Information Science, Hebei University(河北大学数学与信息科学学院);College of Mathematics and Information Science, Hebei University(河北大学数学与信息科学学院);Department of Industrial Engineering, University of Pittsburgh(匹兹堡大学工业工程系)
本文提出了一种针对非光滑凸MINLP问题的新外近似算法,通过生成有效的线性切割和等价的MILP主问题,提高松弛精度并拓展了算法的应用范围。
2026-02-04 math.OC
Outer Approximation Methods for Solving Variational Inequalities Defined over the Solution Set of a Split Convex Feasibility Problem
研究了闭凸集$S$上强单调Lipschitz连续算子$F$所支配的变分不等式.假设$S=C\cap A^{-1}(Q)$是一个(多集)分裂凸可行性问题的非空解集,其中$C$和$Q$分别是两个实Hilbert空间$\mathcal H_1$和$\mathcal H_2$的闭凸子集,作用于它们之间的算子$A$是线性的.我们考虑的梯度投影法的修改,其主要思想是在每一步的度量投影到$S$由另一个度量投影到包含$S$的半空间。我们提出了三种变体的方法来构建上述半空间,采用多重集和分裂结构的集合$S$。对于分裂部分,我们使用Landweber变换。
2019-08-20 math.OC
Methodology and first-order algorithms for solving nonsmooth and non-strongly convex bilevel optimization problems
简单的双层问题是一种最优化问题,我们希望找到一个内部问题的最优解,使外部目标函数最小化。这些问题出现在许多机器学习和信号处理应用中,作为消除不期望的解决方案的一种方式。然而,由于这些问题不满足正则性条件,它们通常很难精确求解,通常通过迭代正则化来求解。在过去的几年中,提出了一些算法来解决这些双层问题直接和提供一个速度获得可行性,假设外函数是强凸的。在我们的工作中,我们提出了一种新的方法,设计了简单的外部功能,如$l_1$规范,这是不需要光滑或强凸的双层问题。在我们新的迭代近似和水平集扩展(ITALEX)方法中,我们在扩展外部函数的水平集和近似优化该水平集上的内部问题之间交替。我们表明,通过一阶方法,如近似梯度和广义条件梯度优化的内部函数的结果在可行的收敛速度$O(1/k)$,这是迄今为止,只有通过两层算法实现的速度光滑和强凸的外部功能。此外,我们证明了$O(1/\sqrt{k})$收敛速率的外部功能,相反,现有的方法,只提供渐近保证。我们通过数值实验证明了这种性能。
2022-12-19 math.OC
Outer Approximation With Conic Certificates For Mixed-Integer Convex Problems
混合整数凸(MI-凸)最优化问题是当所有的整数约束被放松时变成凸的问题。本文给出了一个将MI-凸问题转化为MI-锥问题的分枝定界LP外逼近算法。多面体松弛细化与$\mathcal{K}^*$削减来自圆锥证书连续原始对偶圆锥子问题。在所有子问题都是适定的假设下,该算法检测不可行性或无界性或在有限时间内返回最优解。使用属性的圆锥证书,我们表明,$\mathcal{K}^*$削减意味着一定的实际相关的保证质量的多面体松弛,并演示如何保持有益的保证时,LP求解器使用一个积极的可行性公差。我们讨论了如何分解$\mathcal{K}^*$切割,以收紧多面体松弛,从而提高收敛速度,并提出了快速的启发式方法获得有用的$\mathcal{K}^*$切割。我们新的开源MI圆锥解算器Pajarito(http://github.com/JuliaOpt/Pajarito.jl)使用外部混合整数线性(MILP)解算器来管理搜索树和子问题的外部连续圆锥解算器。基准库的混合整数二阶锥(MISOCP)的问题,我们发现,Pajarito大大优于邦明(领先的开源替代品),并具有竞争力的CPLEX的专业MISOCP算法。我们证明了鲁棒性的Pajarito通过解决不同的MI锥问题,涉及半正定,二阶和指数锥的混合物,并提供证据,我们的分析和增强的$\mathcal{K}^*$削减的实用价值。
2018-08-15 math.OC
Partially Distributed Outer Approximation
针对一类结构化混合整数凸规划(MICP)问题,提出了一种新的局部分布外逼近算法PaDOA.该方案采用迭代外逼近法求解具有可分离凸目标函数、仿射耦合约束和紧域的耦合混合整数最优化问题。PaDOA通过交替求解大规模结构化混合整数线性规划问题和部分解耦的混合整数非线性规划子问题(包括少得多的整数变量)来进行。我们建立的条件下,PaDOA收敛到全局极小值有限次迭代后,并验证这些属性与应用恒温控制负载。
2019-11-19 math.OC
A Projection-Free Method for Solving Convex Bilevel Optimization Problems
针对内层极小值集不显式的凸双层优化问题,提出仅需基域线性优化预言机的无投影方法,证明其内外层收敛速率为O(t^{-1/2}),额外假设下可加速,且通过数值研究验证了性能。
2024-10-09 math.OC
Extended Formulations in Mixed-integer Convex Programming
我们提出了一个统一的框架,用于生成混合整数凸规划(MICP)算法中使用的多面体外近似的扩展配方。扩展的公式可以减少外部逼近算法的迭代次数,并且通常可以缩短求解时间。首先,我们观察到MINLPLIB2基准库中的所有MICP实例都可以用标准对称和非对称圆锥表示。圆锥曲线重构被证明是有效的扩展配方本身,因为它们编码可分性结构。对于混合整数圆锥可表示的问题,我们提供了第一个外近似算法与有限时间收敛保证,打开一个路径使用圆锥解连续松弛。然后,我们连接流行的建模框架的纪律凸规划(DCP)的存在独立的圆锥曲线表示的扩展配方。我们提出的证据表明,我们的方法可以在实践中产生显着的收益,从MINLPLIB2基准库的一些开放实例的解决方案。
2016-03-15 math.OC
Convex Bi-Level Optimization Problems with Non-smooth Outer Objective Function
Faculty of Data and Decision Sciences, Technion–Israel Institute of Technology(以色列理工学院数据与决策科学学院)
针对外层目标非光滑的凸双层优化问题,提出易于实现的一阶Bi-SG方法,证明其内外层次线性收敛、外层强凸时线性收敛及迭代点收敛到最优解集。
2023-07-17 cs.LG math.OC
A Note on Complexity for Two Classes of Structured Non-Smooth Non-Convex Compositional Optimization
本文针对两类具有特殊结构的非光滑非凸复合优化问题,分别提出光滑化复合梯度方法和prox-linear方法,并给出其达到稳定点或近似临界点的迭代复杂度上界。
2024-11-21 math.OC
The Minimizer of the Sum of Two Strongly Convex Functions
本文针对分布式优化中无法获取函数完整信息的问题,在梯度范数约束下,为两个强凸函数之和的极小值点所在区域提供了边界与内部完全相同的外部和内部近似。
2024-09-22 math.OC
Primal and Dual Approximation Algorithms for Convex Vector Optimization Problems
给出了求解凸向量最优化问题的两种近似算法。这两种算法同时解决CVOP及其几何对偶问题。第一种算法是Benson外近似算法的扩展,第二种算法是Benson外近似算法的对偶变体,这两种算法都提供了(上、下)图像的内、外近似。在每次迭代中只需求解一个标量凸规划。我们允许目标函数和约束函数不一定是可微的,允许实心尖多面体序锥,并将近似与适当的ε-解概念联系起来。提供了数值例子。
2014-01-06 math.OC
Parabolic optimal control problems with combinatorial switching constraints -- Part II: Outer approximation algorithm
本文针对带组合切换约束的抛物型最优控制问题,基于可行切换模式凸包的外部描述构造函数空间中的外部近似算法,证明其强收敛到全局极小值,并用半光滑牛顿法求解子问题,通过二维数值算例验证算法效率。
2023-12-22 math.OC
Inner and Outer Approximations of Star-Convex Semialgebraic Sets
我们考虑用多项式函数的子水平集逼近半代数集的问题。在这种设置中,标准的做法是寻求最小体积外部近似和/或最大体积内部近似。由于没有已知的任意多项式的系数和它的子水平集的体积之间的关系,以前的作品提出了基于椭圆拟合中常用的行列式和迹目标的几何学。对于星凸半代数集的情况下,我们提出了一个新的目标,同时产生一个外部和内部近似,同时最小化各自的体积比。该目标是尺度不变的,并且易于解释。数值例子表明,得到的近似往往是紧密的比那些返回现有的proximistics。我们还提供了建立星凸性的半代数集的方法,找到其内核的内部和外部近似。
2022-05-26 cs.SY eess.SY math.OC
A norm minimization-based convex vector optimization algorithm
我们提出一个算法来产生内和外多面体近似的上图像的有界凸向量最优化问题。它是一个外部近似算法,基于求解范数最小化标量化。与文献中用于类似目的的Pascolleti-Serafini标量化不同,它不涉及方向参数。因此,该算法是免费的方向偏置。我们还提出了一个修改的算法,通过引入一个合适的紧凑的子集的上部图像,这有助于首次证明凸向量最优化的算法的有限性。使用一些基准测试问题,这表明有前途的结果相比,类似的算法是基于Pascoletti-Serafini标量化的算法的计算性能的算法。
2022-02-16 math.OC
Algorithms to solve unbounded convex vector optimization problems
研究一般凸向量最优化问题的求解算法。到目前为止,用于求解CVOP的解概念和近似算法仅存在于有界问题[Ararat et al. 2022,Doerfler et al. 2021,Loehne et al. 2014]。它们提供了上像的多面体内部和外部近似,其Hausdorff距离至多为$\varepsilon$。然而,众所周知(参见[Ulus,2018]),对于某些无界问题,这种多面体近似不存在。在本文中,我们将提出一个广义解的概念,称为$(\varepsilon,δ)$ -解决方案,也可以考虑无界CVOP。它是基于以有意义的方式附加地界定上部图像的内部和外部多面体近似的回收锥。提出了一种算法,计算这种$δ$ -外部和$δ$ -内部近似的回收锥的上部图像。结合[Loehne et al. 2014]的结果,这提供了一个原始和对偶算法,允许计算$(\varepsilon,δ)$ -(潜在无界)CVOP的解。数值例子。
2023-01-23 math.OC
Warm-starting outer approximation for parameterized convex MINLP
KTH Royal Institute of Technology(皇家理工学院);Technische Universität Ilmenau(伊尔梅瑙工业大学)
针对参数化凸混合整数非线性规划序列,提出基于外逼近的热启动技术,理论证明在参数线性依赖下可单次迭代收敛,数值实验显示显著加速。
2026-06-26 math.OC
A Doubly Accelerated Inexact Proximal Point Method for Nonconvex Composite Optimization Problems
本文描述并建立了求解目标函数为$f+h$形式的非凸复合极小化问题的双加速非精确邻近点(D-AIPP)方法的迭代复杂性,其中$f$是梯度为Lipschitz连续的(可能非凸)可微函数,$h$是有界区域的闭凸函数. D-AIPP执行两种类型的迭代,即内部迭代和外部迭代。其外迭代对应于加速的不精确邻近点格式。它的内迭代是由加速复合梯度法执行的,用于不精确地求解在外迭代期间产生的凸邻近子问题。因此,D-AIPP采用内部加速度和外部加速度。
2018-12-18 math.OC
Tractability of Convex Vector Optimization Problems in the Sense of Polyhedral Approximations
凸向量最优化问题(CVOP)有不同的解的概念,最近的一个概念是从集合优化的角度出发的,它包含了大量的有效解,这些有效解生成了Pareto边界的多面体内外近似。具有紧致可行域的CVOP是有界的,并且存在这种意义下的解,但是,如果CVOP的可行域不是紧致的,是否可以生成CVOP的Pareto边界的多面体内、外逼近就不得而知了。这项研究表明,并不是所有的CVOP是听话的,在这个意义上,并给出了听话的问题的特征,在著名的加权和标量化问题。
2018-05-16 math.OC
Federated Incremental Subgradient Method for Convex Bilevel Optimization Problems
Department of Mathematics, Faculty of Science, Khon Kaen University(孔敬大学理学院数学系)
本文提出一种联邦增量子梯度法,用于解决强凸外层目标函数和有限凸函数和的内层问题的双层优化问题,并通过实验验证其有效性。
2026-01-21 math.OC
Circumcentering approximate reflections for solving the convex feasibility problem
本文将环绕反射法(CRM)应用于求解凸可行性问题。CRM通过计算关于凸集的反射的合成的外接圆来迭代。由于反射是基于精确的投影,其计算可能是昂贵的。在这方面,我们介绍了外心近似反射法(CARM),其反射依赖于外近似投影。CARM的吸引力在于,在相当一般的情况下,我们采用的近似投影在低计算成本下是可用的。在有误差界的条件下,我们证明了CARM的收敛性和线性收敛.我们还提出了成功的理论和数值比较CARM原来的CRM,交替投影(MAP)的经典方法和相应的外近似版本的MAP,称为MAAP。随着我们的结果和数值实验,我们提出了一对夫妇的说明性的例子。
2021-11-15 math.OC
Outer-Product-Free Sets for Polynomial Optimization and Oracle-Based Cuts
本文介绍了切割平面,涉及最小的结构假设,使强大的多面体松弛的广泛的一类问题的产生。我们考虑集合$S\cap P$的有效不等式,其中$S$是闭集,$P$是多面体.给定一个预言,提供了从一个点到$S$的距离,我们构造了一个纯切割平面算法,该算法被证明是收敛的,如果初始松弛是一个多面体。这些切割是从凸禁区,或$S$ -自由集,从甲骨文派生。我们还考虑了多项式优化的特殊情况。因此,我们开发了一个理论的\emph{outer-product-free}集,其中$S$是一组实,对称矩阵的形式$xx^T$。证明了全维的所有极大外积自由集都是凸锥,并确定了几类这样的集。这些族被用来产生加强的相交割,可以有效地分离任何不可行的极值点的线性规划松弛。计算实验证明了我们的方法的承诺。
2020-01-30 math.OC
Charnes-Cooper Scalarization and Convex Vector Optimization
我们在这篇文章中的目的是双重的。我们使用的Charnes-Cooper标量化技术开发KKT型条件,完全刻画凸向量最优化问题的Pareto极小值,并进一步,我们使用标量化技术开发一个简单而有效的算法凸向量最优化问题。数值例子来说明我们的算法的使用。
2019-09-02 math.OC
Piecewise Linear Vector Optimization Problems on Locally Convex Hausdorff Topological Vector Spaces
研究了局部凸Hausdorff拓扑向量空间中的分段线性向量最优化问题.证明了这些问题的有效解集是多个半闭广义多面体凸集的并。另外,若问题是凸的,则有效解集和弱有效解集是由多个广义多面体凸集的并,并由线段连接.我们的结果发展了Zheng和Yang [Sci.中国A. 51,1243- 1256(2008)]和Yang和Yen [J. Optim. Theory Appl.147,113- 124(2010)],其在赋范空间设置中建立。
2017-09-26 math.OC
Solvability of a Regular Polynomial Vector Optimization Problem without Convexity
本文研究了非空闭集上非凸正则多项式向量最优化问题的可解性。引入了多项式向量最优化问题的正则性条件,研究了正则性条件的性质和刻画。在正则性条件下,研究了问题解集的非空性和有界性。作为结果,我们建立了非凸多项式向量最优化问题的两个Frank-Wolfe型定理。最后,我们研究了非凸正则多项式向量最优化问题解的稳定性。
2021-01-11 math.OC
Interval Valued Vector Variational Inequalities and Vector Optimization Problems via Convexificators
本文研究了区间值向量最优化问题$(IVOP)$,利用凸性假设和$(IVOP)$的LU-有效解,得到了它们与Minty型和Stampacchia型区间向量变分不等式$(IVVI)$之间的关系.进一步,我们考虑了Minty型和Stampacchia型的$(IVVI)$的弱形式,并找到了Minty型和Stampacchia型的$(IVVI)$的弱形式与$(IVOP)$的弱LU-有效解之间的关系.所得结果推广和改进了文献中已有的一些结果.
2023-02-23 math.OC
An SDP method for Fractional Semi-infinite Programming Problems with SOS-convex polynomials
本文研究了一类涉及s.o. s-凸多项式函数的分式半无限多项式规划问题。对于这样的问题,通过我们以前的工作中提出的一个锥变换和与指标集相关联的二次模,可以构造一个半定规划(SDP)松弛的层次,并且可以得到最优解的收敛上界.本文通过将指数集上非负多项式的Lasserre测度表示引入到二次曲线重构中,给出了求解该问题的一种新的SDP松弛法。这种方法使我们能够计算收敛的下界的最佳和提取近似极小。此外,对于由无穷多个s.o. s-凸多项式不等式定义的集合,我们得到了构造具有半定表示的外逼近的收敛序列的方法。讨论了下界和外近似的收敛速度。
2022-12-27 math.OC
Reconstruction of the core convex topology and its applications in vector optimization and convex analysis
本文研究了实向量空间$X$上的核凸拓扑,它是由$X$算子构造的.这个拓扑记为$τ_c$,它是使$X$成为局部凸空间的最强拓扑.研究表明,文献中存在的一些代数概念$(closure ~ and ~ interior)$来自该拓扑。事实上,它被证明,代数内部和向量闭包的概念,在文献中被认为是拓扑内部和拓扑闭包的替代品,分别在向量空间不一定配备有拓扑,实际上是没有别的内部和封闭的核心凸拓扑。我们重建的核心凸拓扑使用适当的拓扑基础,使我们能够刻画其开集。进一步证明了当X是无限维时,$(X,τ_c)$是不可度量化的,并且它具有Hine-Borel性质.利用这些性质,刻画了$τ_c$ -紧集,并给出了有限维性的一个刻画.最后,证明了核心凸拓扑的性质导致凸分析和向量最优化中的各种重要结果从拓扑向量空间直接推广到实向量空间。
2017-04-23 math.OC
Sparse Convex Optimization Toolkit: A Mixed-Integer Framework
本文提出了一个开源的分布式求解器,用于解决稀疏凸优化(SCO)问题的计算网络。受过去混合整数优化算法进步的启发,稀疏凸优化工具包(SCOT)采用混合整数方法来找到SCO问题的精确解。特别是,SCOT汇集了各种技术,将原来的SCO问题转化为一个等价的凸混合规划非线性规划(MINLP)问题,可以受益于高性能和并行计算平台。为了解决等价的混合整数问题,我们提出了分布式混合外近似(DiHOA)算法,该算法建立在基于LP/NLP的分支定界算法的基础上,并针对这个特定的问题结构量身定制。DiHOA算法结合了所谓的单树和多树外近似,自然地集成了分布式凸非线性子问题的分散算法,并利用了二次切割等增强技术。最后,我们提出了详细的计算实验,显示我们的解决方案的好处,通过数值基准140 SCO问题与分布式数据集。为了展示SCOT的整体效率,我们还提供了SCOT与其他最先进的MINLP求解器的性能比较。
2022-10-30 math.OC
A Benson-Type Algorithm for Bounded Convex Vector Optimization Problems with Vertex Selection
针对有界凸向量优化问题,本文改进 2014 年的 primal 算法,引入新的高效顶点选择规则,在保持相同逼近质量的同时减少标量问题求解数并提升速度。
2020-06-28 math.OC
Geometric Duality for Convex Vector Optimization Problems
多目标线性规划问题的几何对偶理论被证明是非常有用的有效算法的发展,以产生或近似整个结局空间中的非受控点的集合。本文将几何对偶理论推广到凸向量最优化问题。
2011-09-16 math.OC
Extremal Systems of Convex Sets with Applications to Convex Calculus in Vector Spaces
本文引入并研究了无拓扑结构的向量空间中凸集系的集极值概念。极值系统的集合的特征得到的形式的凸极值原理,这是等价于凸分离的一定条件下表示通过代数核。所得结果通过变分几何方法得到了凸集的法线、凸集值映射的余导数和扩展实值凸函数(包括最优值函数)的次梯度的增强的微积分规则.这些规则的等式型建立在细化的资格条件下的代数核在任意向量空间。我们的新进展部分回答了这样一个问题,即在没有任何拓扑结构的基础空间上,我们可以在多大程度上使用集值和凸分析。
2020-03-28 math.OC
On relationships between vector variational inequalities and optimization problems using convexificators on Hadamard manifold
本文在 Hadamard 流形上推广凸化子概念,推导中值定理与有界凸化子的单调性及刻画,并研究基于凸化子的向量变分不等式与向量优化问题,给出 Stampacchia 和 Minty 型部分向量变分不等式下的充要条件。
2024-05-24 math.OC
On the local everywhere Hölder continuity for weak solutions of a class of not convex vectorial problems of the Calculus of Variations
本文研究了积分泛函局部极小的正则性:特别地,对密度不作凸性(拟凸性、多凸性或秩一凸性)假设,不作结构假设,不作径向或对角假设。
2023-02-05 math.OC
Improved Analysis of Restarted Accelerated Gradient and Augmented Lagrangian Methods via Inexact Proximal Point Frameworks
University of Rochester(罗切斯特大学)
本文提出了一种重启加速复合梯度方法和不精确增广拉格朗日方法,分别在无约束和线性约束问题中达到最优一阶复杂度,通过不精确近似点框架实现统一分析。
2026-02-19 math.OC
Approximation Methods for Bilevel Programming
研究了一类内目标函数为强凸的双层规划问题。在内外目标函数的偏导数都满足一定的mile假设条件下,给出了求解这类问题的一个近似算法,并在不同的外目标函数凸性假设条件下给出了算法的有限时间收敛性分析.我们还提出了一个加速变形的这种方法,提高了收敛速率下凸性假设。此外,我们推广了我们的结果在随机设置下,只有噪音信息的两个目标函数。据我们所知,这是第一次,这样的(随机)近似算法建立迭代复杂性(样本复杂性)提供了双层规划。
2018-02-06 math.OC
Regularized extragradient method for structured bilevel optimization in continuous and discrete time
University of Vienna(维也纳大学)
本文针对实希尔伯特空间中的结构化双层优化问题,提出正则化外梯度算法,在合适几何条件下证明了内外残差的最后迭代收敛速率及迭代序列的弱收敛性。
2026-09-28 math.OC
An Approach for Non-Convex Uniformly Concave Structured Saddle Point Problem
近年来,鞍点问题由于其强大的建模能力而受到广泛关注。这些问题的应用出现在许多应用领域,如鲁棒优化,分布式优化,对策论,以及机器学习中的许多应用,如经验风险最小化和生成对抗网络训练。因此,许多研究人员积极致力于发展数值方法来解决许多不同环境下的鞍点问题。本文致力于发展一种求解非凸一致凹背景下鞍点问题的数值方法。研究了一类具有复合结构和高阶Hölder连续导数的鞍点问题.为了解决所考虑的问题,我们提出了一种方法,在该方法中,我们减少了两个辅助最优化问题分别为每组变量,外部最小化问题w.r.t.原始变量和关于对偶变量的内极大化问题。对于解决外部最小化问题,我们使用的\textit{Adaptive Gradient Method},这是适用于非凸问题,也与一个不精确的预言,是通过近似解决内部问题。为了解决内部最大化问题,我们使用\textit{Restarted Unified Acceleration Framework},这是一个框架,统一的高阶加速方法,最小化一个凸函数,具有Hölder连续高阶导数。单独的复杂性界限提供了外部最小化问题和内部最大化问题的高阶预言机的一阶预言机的调用次数。此外,整个所提出的方法的复杂性,然后估计。
2022-02-13 math.OC
A First Order Method for Solving Convex Bi-Level Optimization Problems
本文研究内层由光滑函数与非光滑函数之和极小化组成的凸双层最优化问题。外层的目标是在内层问题的最优解集上最小化一个光滑且强凸函数。我们分析了一阶方法,这是基于现有的不动点算法。该方法的全局次线性收敛速率是根据内目标函数值建立的。
2017-02-13 math.OC
Some optimality conditions of set-valued optimization problems in locally convex topological vector spaces
针对局部凸拓扑向量空间中的集值优化问题,证明不同学者所给广义凸映射定义的等价性,并给出弱有效解、真有效解与最优解的最优性条件。
2024-03-04 math.OC
Dynamic FISTA for Convex Composite Bi-Level Optimization
针对内外层均为复合凸最小化的凸双层优化问题,提出可解释为动态正则化目标上FISTA的FBi-PG算法,实现最优收敛速率并通过实验验证性能。
2025-06-12 math.OC
Convex computation of the region of attraction of polynomial control systems
我们解决了计算目标集的吸引区域(ROA)的长期存在的问题(例如,一个平衡点的邻域)的控制非线性系统多项式动态和半代数状态和输入约束。我们表明,ROA可以通过解决一个无限维的凸线性规划(LP)问题的措施空间计算。反过来,这个问题可以通过一个经典的收敛层次的凸有限维线性矩阵不等式(LMI)近似解决。我们的方法是真正原始的意义上说,凸的问题计算的ROA是一个直接优化系统轨迹的结果。非负连续函数(近似多项式平方和)的对偶无限维LP允许我们生成一个层次的半代数外近似的ROA的价格解决一系列的LMI问题的渐近消失的保守性。这与现有的文献形成鲜明对比,它遵循一个专门的对偶李雅普诺夫方法产生非凸双线性矩阵不等式或保守的LMI条件。该方法是简单的,容易适用的外近似是一个单一的半定程序的结果,除了问题的描述没有额外的数据。
2013-11-28 math.OC
Provable defenses against adversarial examples via the convex outer adversarial polytope
Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Computer Science Department, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
我们提出了一种方法来学习基于ReLU的深度分类器,这些分类器可证明对训练数据上的范数有界对抗性扰动具有鲁棒性。对于以前看不见的例子,该方法保证检测所有对抗性例子,尽管它也可能标记一些非对抗性例子。其基本思想是考虑一个凸外近似的激活可达到通过一个范数有界扰动,我们开发了一个强大的优化过程,最大限度地减少了最坏情况下的损失在这个外部区域(通过线性规划)。至关重要的是,我们证明了这个线性规划的对偶问题可以表示为一个类似于反向传播网络的深度网络,从而产生非常有效的优化方法,可以保证鲁棒损失的界限。最终的结果是,通过对原始网络进行稍微修改后的版本(尽管可能具有更大的批量大小)执行更多的向前和向后传递,我们可以学习一个分类器,该分类器对任何范数有界的对抗攻击都具有可证明的鲁棒性。我们说明了一些任务的方法,以训练具有强大的对抗性保证的分类器(例如,对于MNIST,我们产生了一个卷积分类器,对于任何对抗攻击,具有小于$ε= 0.1$的有界$\ell_\infty$范数,可证明具有小于5.8%的测试误差),论文中所有实验的代码可在https://github.com/locuslab/convex_adversarial上获得。
2018-06-08 cs.AI cs.LG math.OC
Tensor methods inside mixed oracle for min-min problems
在这篇文章中,我们考虑min-min型问题或两组变量的最小化。当凸优化中的某些变量组具有不同的维数或这些变量组具有不同的定义域时,可能出现极小-极小问题。这样的问题结构使我们能够将主要任务分解为子问题,并允许使用混合神谕来解决它。然而,现有的文章在这个主题只涉及零阶和一阶预言机,在我们的工作中,我们考虑高阶张量方法来解决内部问题和快速梯度法来解决外部问题。我们假设,外部问题是约束到某个凸紧集,和内部问题,我们考虑了无约束的情况下,被约束到某个凸紧集。根据定义,张量方法使用高阶导数,因此该方法每次迭代的时间在很大程度上取决于它解决的问题的维数。因此,我们建议,内部问题变量的维数不大于大于1000。此外,我们需要一些特定的假设,以便能够使用混合预言机。首先,我们假设,目标是凸的两组变量和梯度的两个变量是Lipschitz连续的。其次,我们假设内问题是强凸的,其梯度是Lipschitz连续的。此外,由于我们将使用张量方法处理内部问题,因此需要它是$p$阶Lipschitz连续的($p > 1$)。最后,我们假设外问题是强凸的,以便能够对强凸函数使用快速梯度法。需要强调的是,在无约束的情况下,我们使用超快速张量方法来处理内部子问题。在求解紧集上的内问题时,采用了加速的高阶复合近似方法。
2022-02-21 math.OC
Approximations of unbounded convex projections and unbounded convex sets
针对现有凸投影方法仅适用于有界凸集的局限,提出基于内外近似思想、适配改进无界凸向量优化问题求解方法的新算法,可同时处理有界与无界凸投影及相关凸集近似问题。
2024-12-09 math.OC
Primal-Dual Frank-Wolfe for Constrained Stochastic Programs with Convex and Non-convex Objectives
我们研究约束随机规划的决策向量在每个时隙不能自由选择,但绑定到一个潜在的随机状态向量的实现。目标是最小化受线性约束的一般目标函数。这种程序出现的典型场景是在时变信道的网络上的机会调度,其中随机状态向量是观察到的信道状态,并且控制向量是取决于当前信道状态的传输决策。我们考虑一个原始-对偶类型的弗兰克-沃尔夫算法,具有低复杂度的更新,在每个时隙,学习作出有效的决策,而无需先验知识的随机状态向量的概率分布。我们建立了凸和非凸目标函数的情况下的收敛时间保证。我们还强调了该算法的应用,非凸机会调度和分布式非凸随机最优化在连通图。
2018-06-02 math.OC
Adaptive Metrics for Norm-Minimization-Based Outer Approximation in Convex Vector Optimization
King Fahd University of Petroleum & Minerals(国王法赫德国王石油与矿产大学);Interdisciplinary Research Center for Smart Mobility and Logistics, King Fahd University of Petroleum & Minerals(国王法赫德国王石油与矿产大学智能交通与物流交叉研究中心)
提出一种自适应度量框架,通过动态改变标量化度量并利用问题几何结构,在凸向量优化的外部逼近算法中实现更优的收敛速率和迭代次数减少。
2026-07-15 cs.NA math.NA math.OC
Sensitivity Analysis in Parametric Convex Vector Optimization
该文针对参数化凸向量优化的有效集开展灵敏度分析,定义三类集值扰动映射,基于凸分析工具推导其剖面Fréchet余导数的计算公式,所得条件更简洁且直接基于问题数据。
2023-06-12 math.OC
Unique Minimizers and the Representation of Convex Envelopes in Locally Convex Vector Spaces
众所周知,一个严格凸极小元至多允许一个极小元。我们证明了一个部分逆:设$X$是一个局部凸Hausdorff空间,$f \colon X \mapsto \left( - \infty , \infty \right]$是一个具有紧子水平集的函数,且具有某种轻度超线性增长.然后每个倾斜极小化问题\begin{equation} \label{eq. minimization problem} \min_{x \in X} f(x) - \langle x' , x \rangle_X \end{equation}承认最多一个极小作为$x'$范围在$\text{dom} \left( \partial f^* \right)$当且仅当双共轭$f^{**}$本质严格凸的,并同意$f$在所有点,其中$f^{**}$是次可微的。我们证明了这一点,通过一个表示公式$f^{**}$,可能是独立的利益。
2021-08-12 math.OC
The intrinsic core and minimal faces of convex sets in general vector spaces
内禀核将有限维的相对内部概念推广到任意(实)向量空间。我们的主要目标是提供一个独立的概述有关的内在核心的关键成果,并阐明内在核心和凸集的面结构之间的关系,在这种情况下。我们收集了几个等价的定义的内在核心,涵盖了很多的民间传说,审查相关的最近的结果,并提出的例子说明了一些特定的面部结构的无限维集的现象。
2022-03-24 math.OC
Norm-induced Cuts: Outer Approximation for Lipschitzian Constraint Functions
University of Technology Nuremberg(纽伦堡工业大学);Zuse Institute Berlin(柏林祖斯研究所)
本文提出了一种基于范数诱导切割的非凸外近似方法,用于解决具有Lipschitz连续约束函数的有限维优化问题,并探讨了方法的正确性与复杂性。
2025-10-01 math.OC
Convergence analysis of a norm minimization-based convex vector optimization algorithm
本文提出一种外部逼近算法求解有界凸向量优化问题,通过改进范数最小化标量化模型,证明了有限步终止性及Hausdorff距离误差界,并给出了任意范数与欧几里得范数下的收敛率。
2023-05-23 math.OC
Convergence rates analysis of Interior Bregman Gradient Method for Vector Optimization Problems
近年来,利用Bregman距离,Lipschitz梯度连续性和强凸性被提升,并被相对光滑性和相对强凸性所取代。在较弱的假设下,证明了具有Bregman正则性的梯度法对单目标最优化问题线性收敛.本文将相对光滑性和相对强凸性推广到向量值函数,并分析了求解向量最优化问题的内点Bregman梯度法的收敛性.具体而言,整体收敛速度分别为凸VOP和相对强凸VOP的$\mathcal{O}(\frac{1}{k})$和$\mathcal{O}(r^{k})(0<r<1)$。此外,所提出的方法线性收敛的VOP,满足向量Bregman-PL不等式。
2022-06-21 math.OC
Efficient Solutions in Generalized Linear Vector Optimization
本文建立了关于广义多面体凸集的几个新事实,并说明了它们在向量最优化中的应用。其中,得到了广义向量最优化问题有效解集的标量化公式。证明了在局部凸Hausdorff拓扑向量空间中广义线性向量最优化问题的有效解集是由线段连接的多个广义多面体凸集的并.
2017-05-19 math.OC
Optimal Algorithms for Convex Nested Stochastic Composite Optimization
Georgia Institute of Technology(佐治亚理工学院)
近年来,凸嵌套随机复合优化算法(NSCO)因其在强化学习和风险规避优化中的应用而受到广泛关注。当前的NSCO算法具有比用于更简单的随机复合最优化问题(例如,光滑函数和非光滑函数之和)。此外,它们要求所有的外层函数是光滑的,这是不满足一些重要的应用。这些差异促使我们问:“嵌套组合是否使随机最优化在Oracle复杂性的顺序方面更加困难?”“在本文中,我们回答了这个问题,通过开发顺序最优算法的凸NSCO问题,从任意组成的光滑,结构化的非光滑和一般的非光滑层函数。当所有外层函数光滑时,我们提出了一种随机序列对偶(SSD)方法,当问题是非强(强)凸时,可以获得$\mathcal{O}(1/ε^2)$($\mathcal{O}(1/ε)$)的预言复杂度。当存在结构化非光滑或一般非光滑外层函数时,我们提出了一种非光滑随机序列对偶(nSSD)方法,使预言复杂度达到$\mathcal{O}(1/ε^2)$ .我们提供了一个较低的复杂性约束,后者$\mathcal{O}(1/ε^2)$复杂性是不可改进的,即使在一个强凸设置。所有这些复杂性结果在文献中似乎是新的,他们表明,凸NSCO问题具有相同的顺序的预言复杂性,除了强凸和外非光滑的问题没有嵌套的组合。
2022-06-21 cs.AI cs.LG math.OC