An Outer Approximation Method for Solving Mixed-Integer Convex Quadratic Programs with Indicators
针对带指示变量的混合整数凸二次规划,本文提出从多种凸松弛构造割平面的新技术并形成大规模外逼近算法,在稀疏投资组合选择问题上显著优于现有方法。
2023-12-08 math.OC
New Outer Approximation Algorithms for Nonsmooth Convex MINLP Problems
Hebei Key Laboratory of Machine Learning and Computational Intelligence & College of Mathematics and Information Science, Hebei University(河北大学数学与信息科学学院);College of Mathematics and Information Science, Hebei University(河北大学数学与信息科学学院);Department of Industrial Engineering, University of Pittsburgh(匹兹堡大学工业工程系)
本文提出了一种针对非光滑凸MINLP问题的新外近似算法,通过生成有效的线性切割和等价的MILP主问题,提高松弛精度并拓展了算法的应用范围。
2026-02-04 math.OC
Recent Advances in Non-convex Smoothness Conditions and Applicability to Deep Linear Neural Networks
University of Wisconsin(威斯康星大学)
本文综述了深度学习非凸优化中的新光滑性条件,对其进行排序并给出判定准则,评估其在深度线性神经网络二分类训练中的适用性。
2024-09-20 cs.LG math.OC
Outer Approximation Methods for Solving Variational Inequalities Defined over the Solution Set of a Split Convex Feasibility Problem
研究了闭凸集$S$上强单调Lipschitz连续算子$F$所支配的变分不等式.假设$S=C\cap A^{-1}(Q)$是一个(多集)分裂凸可行性问题的非空解集,其中$C$和$Q$分别是两个实Hilbert空间$\mathcal H_1$和$\mathcal H_2$的闭凸子集,作用于它们之间的算子$A$是线性的.我们考虑的梯度投影法的修改,其主要思想是在每一步的度量投影到$S$由另一个度量投影到包含$S$的半空间。我们提出了三种变体的方法来构建上述半空间,采用多重集和分裂结构的集合$S$。对于分裂部分,我们使用Landweber变换。
2019-08-20 math.OC
Provable defenses against adversarial examples via the convex outer adversarial polytope
Machine Learning Department, Carnegie Mellon University(卡内基梅隆大学机器学习系);Computer Science Department, Carnegie Mellon University(卡内基梅隆大学计算机科学系)
我们提出了一种方法来学习基于ReLU的深度分类器,这些分类器可证明对训练数据上的范数有界对抗性扰动具有鲁棒性。对于以前看不见的例子,该方法保证检测所有对抗性例子,尽管它也可能标记一些非对抗性例子。其基本思想是考虑一个凸外近似的激活可达到通过一个范数有界扰动,我们开发了一个强大的优化过程,最大限度地减少了最坏情况下的损失在这个外部区域(通过线性规划)。至关重要的是,我们证明了这个线性规划的对偶问题可以表示为一个类似于反向传播网络的深度网络,从而产生非常有效的优化方法,可以保证鲁棒损失的界限。最终的结果是,通过对原始网络进行稍微修改后的版本(尽管可能具有更大的批量大小)执行更多的向前和向后传递,我们可以学习一个分类器,该分类器对任何范数有界的对抗攻击都具有可证明的鲁棒性。我们说明了一些任务的方法,以训练具有强大的对抗性保证的分类器(例如,对于MNIST,我们产生了一个卷积分类器,对于任何对抗攻击,具有小于$ε= 0.1$的有界$\ell_\infty$范数,可证明具有小于5.8%的测试误差),论文中所有实验的代码可在https://github.com/locuslab/convex_adversarial上获得。
2018-06-08 cs.AI cs.LG math.OC
Inner and Outer Approximations of Star-Convex Semialgebraic Sets
我们考虑用多项式函数的子水平集逼近半代数集的问题。在这种设置中,标准的做法是寻求最小体积外部近似和/或最大体积内部近似。由于没有已知的任意多项式的系数和它的子水平集的体积之间的关系,以前的作品提出了基于椭圆拟合中常用的行列式和迹目标的几何学。对于星凸半代数集的情况下,我们提出了一个新的目标,同时产生一个外部和内部近似,同时最小化各自的体积比。该目标是尺度不变的,并且易于解释。数值例子表明,得到的近似往往是紧密的比那些返回现有的proximistics。我们还提供了建立星凸性的半代数集的方法,找到其内核的内部和外部近似。
2022-05-26 cs.SY eess.SY math.OC
Random Scaling and Momentum for Non-smooth Non-convex Optimization
Boston University(波士顿大学)
本文提出通过在SGDM中引入指数分布随机缩放实现非凸非光滑优化的最优收敛性,扩展了传统凸光滑优化的分析框架。
2026-03-13 cs.LG math.OC
Methodology and first-order algorithms for solving nonsmooth and non-strongly convex bilevel optimization problems
简单的双层问题是一种最优化问题,我们希望找到一个内部问题的最优解,使外部目标函数最小化。这些问题出现在许多机器学习和信号处理应用中,作为消除不期望的解决方案的一种方式。然而,由于这些问题不满足正则性条件,它们通常很难精确求解,通常通过迭代正则化来求解。在过去的几年中,提出了一些算法来解决这些双层问题直接和提供一个速度获得可行性,假设外函数是强凸的。在我们的工作中,我们提出了一种新的方法,设计了简单的外部功能,如$l_1$规范,这是不需要光滑或强凸的双层问题。在我们新的迭代近似和水平集扩展(ITALEX)方法中,我们在扩展外部函数的水平集和近似优化该水平集上的内部问题之间交替。我们表明,通过一阶方法,如近似梯度和广义条件梯度优化的内部函数的结果在可行的收敛速度$O(1/k)$,这是迄今为止,只有通过两层算法实现的速度光滑和强凸的外部功能。此外,我们证明了$O(1/\sqrt{k})$收敛速率的外部功能,相反,现有的方法,只提供渐近保证。我们通过数值实验证明了这种性能。
2022-12-19 math.OC
Accelerated Primal-Dual Gradient Method for Smooth and Convex-Concave Saddle-Point Problems with Bilinear Coupling
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
本文研究了凸-凹鞍点问题$\min_x \max_y f(x) + y^T \mathbf{A} x - g(y)$,其中$f(x)$和$g(y)$是光滑的凸函数.我们提出了一种用于解决该问题的加速原始-对偶梯度法(APDG),实现了(i)在强凸-强凹区域中的最佳线性收敛速率,匹配较低的复杂度界限(Zhang等人,2021),以及(ii)当函数$f(x)$和$g(y)$中只有一个是强凸或者甚至它们都不是强凸时的加速线性收敛速率。最后,在不要求强凸性或强收敛性的条件下,得到了一般光滑凸凹鞍点问题$\min_x \max_y F(x,y)$的线性收敛算法。
2022-03-09 cs.LG math.OC
Gauges and Accelerated Optimization over Smooth and/or Strongly Convex Sets
该研究针对光滑和/或强凸集上的可行性与约束优化问题,提出基于Minkowski规范平方性质的无投影一阶加速方法,仅用线搜索和法向量计算即可达到最优加速收敛速率。
2025-10-01 cs.LG math.OC
Sequential convergence of AdaGrad algorithm for smooth convex optimization
ENS Paris-Saclay(巴黎萨克雷高等师范学校);University of Genova(热那亚大学);Université Toulouse 3 Paul Sabatier(图卢兹第三大学)
我们证明了,无论是标量步长变量,或AdaGrad算法的coordinatewise变体,迭代产生的收敛序列时,适用于凸目标函数与Lipschitz梯度。关键的见解是注意到这样的AdaGrad序列满足可变度量的拟Fejér单调性,这允许证明收敛性。
2021-04-13 cs.LG math.OC
Optimal Algorithms for Convex Nested Stochastic Composite Optimization
Georgia Institute of Technology(佐治亚理工学院)
近年来,凸嵌套随机复合优化算法(NSCO)因其在强化学习和风险规避优化中的应用而受到广泛关注。当前的NSCO算法具有比用于更简单的随机复合最优化问题(例如,光滑函数和非光滑函数之和)。此外,它们要求所有的外层函数是光滑的,这是不满足一些重要的应用。这些差异促使我们问:“嵌套组合是否使随机最优化在Oracle复杂性的顺序方面更加困难?”“在本文中,我们回答了这个问题,通过开发顺序最优算法的凸NSCO问题,从任意组成的光滑,结构化的非光滑和一般的非光滑层函数。当所有外层函数光滑时,我们提出了一种随机序列对偶(SSD)方法,当问题是非强(强)凸时,可以获得$\mathcal{O}(1/ε^2)$($\mathcal{O}(1/ε)$)的预言复杂度。当存在结构化非光滑或一般非光滑外层函数时,我们提出了一种非光滑随机序列对偶(nSSD)方法,使预言复杂度达到$\mathcal{O}(1/ε^2)$ .我们提供了一个较低的复杂性约束,后者$\mathcal{O}(1/ε^2)$复杂性是不可改进的,即使在一个强凸设置。所有这些复杂性结果在文献中似乎是新的,他们表明,凸NSCO问题具有相同的顺序的预言复杂性,除了强凸和外非光滑的问题没有嵌套的组合。
2022-06-21 cs.AI cs.LG math.OC
Oracle Complexity of Single-Loop Switching Subgradient Methods for Non-Smooth Weakly Convex Functional Constrained Optimization
University of Iowa(爱荷华大学)
本文首次分析了切换次梯度方法在非光滑弱凸函数约束非凸优化中的预言复杂度,证明该方法能以单循环达到与双循环方法相同的复杂度,且更易实现。
2023-10-28 cs.LG math.OC
Online Optimization of Difference-of-Convex Compositions with Smooth Mappings
Management Science and Engineering, Stanford University(斯坦福大学管理科学与工程系);The Daniel J. Epstein Department of Industrial and Systems Engineering, University of Southern California(南加州大学丹尼尔·J·埃普斯坦工业与系统工程系)
研究结构化非凸非光滑问题的在线优化,提出时间平滑近端线性算法和基于近端残差映射的局部遗憾度量,建立局部遗憾界等,推导误差界,证明残差是平稳性度量,可通过凸优化预言机计算更新。
2026-07-23 cs.LG math.OC
Outer Approximation With Conic Certificates For Mixed-Integer Convex Problems
混合整数凸(MI-凸)最优化问题是当所有的整数约束被放松时变成凸的问题。本文给出了一个将MI-凸问题转化为MI-锥问题的分枝定界LP外逼近算法。多面体松弛细化与$\mathcal{K}^*$削减来自圆锥证书连续原始对偶圆锥子问题。在所有子问题都是适定的假设下,该算法检测不可行性或无界性或在有限时间内返回最优解。使用属性的圆锥证书,我们表明,$\mathcal{K}^*$削减意味着一定的实际相关的保证质量的多面体松弛,并演示如何保持有益的保证时,LP求解器使用一个积极的可行性公差。我们讨论了如何分解$\mathcal{K}^*$切割,以收紧多面体松弛,从而提高收敛速度,并提出了快速的启发式方法获得有用的$\mathcal{K}^*$切割。我们新的开源MI圆锥解算器Pajarito(http://github.com/JuliaOpt/Pajarito.jl)使用外部混合整数线性(MILP)解算器来管理搜索树和子问题的外部连续圆锥解算器。基准库的混合整数二阶锥(MISOCP)的问题,我们发现,Pajarito大大优于邦明(领先的开源替代品),并具有竞争力的CPLEX的专业MISOCP算法。我们证明了鲁棒性的Pajarito通过解决不同的MI锥问题,涉及半正定,二阶和指数锥的混合物,并提供证据,我们的分析和增强的$\mathcal{K}^*$削减的实用价值。
2018-08-15 math.OC
Partially Distributed Outer Approximation
针对一类结构化混合整数凸规划(MICP)问题,提出了一种新的局部分布外逼近算法PaDOA.该方案采用迭代外逼近法求解具有可分离凸目标函数、仿射耦合约束和紧域的耦合混合整数最优化问题。PaDOA通过交替求解大规模结构化混合整数线性规划问题和部分解耦的混合整数非线性规划子问题(包括少得多的整数变量)来进行。我们建立的条件下,PaDOA收敛到全局极小值有限次迭代后,并验证这些属性与应用恒温控制负载。
2019-11-19 math.OC
A Projection-Free Method for Solving Convex Bilevel Optimization Problems
针对内层极小值集不显式的凸双层优化问题,提出仅需基域线性优化预言机的无投影方法,证明其内外层收敛速率为O(t^{-1/2}),额外假设下可加速,且通过数值研究验证了性能。
2024-10-09 math.OC
Extended Formulations in Mixed-integer Convex Programming
我们提出了一个统一的框架,用于生成混合整数凸规划(MICP)算法中使用的多面体外近似的扩展配方。扩展的公式可以减少外部逼近算法的迭代次数,并且通常可以缩短求解时间。首先,我们观察到MINLPLIB2基准库中的所有MICP实例都可以用标准对称和非对称圆锥表示。圆锥曲线重构被证明是有效的扩展配方本身,因为它们编码可分性结构。对于混合整数圆锥可表示的问题,我们提供了第一个外近似算法与有限时间收敛保证,打开一个路径使用圆锥解连续松弛。然后,我们连接流行的建模框架的纪律凸规划(DCP)的存在独立的圆锥曲线表示的扩展配方。我们提出的证据表明,我们的方法可以在实践中产生显着的收益,从MINLPLIB2基准库的一些开放实例的解决方案。
2016-03-15 math.OC
Convex and Non-convex Optimization Under Generalized Smoothness
Massachusetts Institute of Technology(麻省理工学院)
针对经典优化分析依赖梯度利普希茨条件的局限,本文推广非均匀光滑条件,提出轨迹梯度界化的分析技术,无需梯度裁剪即可得到多种方法在凸/非凸场景的经典收敛率,还可处理重尾噪声。
2023-11-03 cs.LG math.OC stat.ML
A Note on Complexity for Two Classes of Structured Non-Smooth Non-Convex Compositional Optimization
本文针对两类具有特殊结构的非光滑非凸复合优化问题,分别提出光滑化复合梯度方法和prox-linear方法,并给出其达到稳定点或近似临界点的迭代复杂度上界。
2024-11-21 math.OC
The Optimal Smoothings of Sublinear Functions and Convex Cones
本文针对凸锥和次线性函数的光滑化问题,完整刻画了任意光滑度水平下所有最优光滑化的充要条件,并推广到内外逼近及复合函数与一般凸集的情形。
2025-08-21 math.OC
The Minimizer of the Sum of Two Strongly Convex Functions
本文针对分布式优化中无法获取函数完整信息的问题,在梯度范数约束下,为两个强凸函数之和的极小值点所在区域提供了边界与内部完全相同的外部和内部近似。
2024-09-22 math.OC
Primal and Dual Approximation Algorithms for Convex Vector Optimization Problems
给出了求解凸向量最优化问题的两种近似算法。这两种算法同时解决CVOP及其几何对偶问题。第一种算法是Benson外近似算法的扩展,第二种算法是Benson外近似算法的对偶变体,这两种算法都提供了(上、下)图像的内、外近似。在每次迭代中只需求解一个标量凸规划。我们允许目标函数和约束函数不一定是可微的,允许实心尖多面体序锥,并将近似与适当的ε-解概念联系起来。提供了数值例子。
2014-01-06 math.OC
Stochastically Controlled Stochastic Gradient for the Convex and Non-convex Composition problem
The University of Sydney(悉尼大学);University of Rochester(罗切斯特大学);University of California, Davis(加州大学戴维斯分校)
本文研究了具有$\frac{1}{n}\sum\nolimits_{i = 1}^n {{F_i}( {G( x )} )}$结构的凸与非凸复合问题,其中$G( x )=\frac{1}{n}\sum\nolimits_{j = 1}^n {{G_j}( x )} $为内函数,$F_i(\cdot)$为外函数.我们探索基于方差缩减的方法来解决组合优化。由于内函数和外函数的个数较多时,直接估计它们是不合理的,因此我们采用随机控制的随机梯度(SCSG)方法来估计复合函数的梯度和内函数的值.我们提出的方法的查询复杂度的凸和非凸的问题是等于或优于目前的方法的组合问题。此外,我们还提出了所提出的方法的小批量版本,这与小批量的大小有关的查询复杂度的改善。
2018-09-06 cs.LG math.OC stat.ML
Non-asymptotic Analysis of Stochastic Methods for Non-Smooth Non-Convex Regularized Problems
随机邻近梯度(SPG)方法已广泛用于机器学习和统计中使用简单(可能非光滑)正则化器解决最优化问题。然而,据我们所知,没有非渐近收敛分析SPG存在的非凸优化与非光滑和非凸正则化。现有的SPG求解非光滑非凸问题的非渐近分析都要求非光滑正则化子是凸函数,因此不适用于非光滑非凸正则化问题.这项工作启动分析,以弥合这一差距,打开了大门,非渐近收敛分析的非光滑非凸正则化问题。我们分析了几个变种的小批量SPG方法最小化的非凸目标,包括一个光滑的非凸损失和非光滑的非凸正则化。我们的贡献是双重的:(i)我们表明,他们享有相同的复杂性,他们的同行解决凸正则化非凸问题方面找到一个近似的驻点;(ii)我们开发更实用的变种使用动态的小批量大小,而不是一个固定的小批量大小,而不需要目标精度水平的解决方案。我们的结果的意义是,他们改进的国家的最先进的结果解决非光滑非凸正则化问题。我们还实证证明了所考虑的SPG方法与其他同行的随机方法相比的有效性。
2019-11-18 math.OC
Optimal Stochastic Non-smooth Non-convex Optimization through Online-to-Non-convex Conversion
Boston University(波士顿大学);Google Research(谷歌研究)
本文提出新算法,通过将非光滑非凸优化归约为在线学习,将随机梯度查询复杂度从O(ε^{-4}δ^{-1})降至最优的O(ε^{-3}δ^{-1}),并扩展至确定性和二阶光滑情形。
2025-08-07 cs.LG math.OC stat.ML
Perturbed Proximal Descent to Escape Saddle Points for Non-convex and Non-smooth Objective Functions
研究了非凸非光滑优化问题中的局部极小点问题。在严格鞍点的假设下,一阶方法得到了正结果。我们提出了第一个已知的结果的非光滑的情况下,这需要不同的分析和不同的算法。
2019-01-24 cs.LG math.OC stat.ML
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明,边界匹配最近推出的优化梯度法的最坏情况下的性能,从而建立边界是紧的,可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
Parabolic optimal control problems with combinatorial switching constraints -- Part II: Outer approximation algorithm
本文针对带组合切换约束的抛物型最优控制问题,基于可行切换模式凸包的外部描述构造函数空间中的外部近似算法,证明其强收敛到全局极小值,并用半光滑牛顿法求解子问题,通过二维数值算例验证算法效率。
2023-12-22 math.OC
Stochastic Decentralized Optimization of Non-Smooth Convex and Convex-Concave Problems over Time-Varying Networks
MIPT(莫斯科物理技术学院);Research Center of the Artificial Intelligence Institute, Innopolis University(因诺波利斯大学人工智能研究所);ISP RAS(俄罗斯科学院斯捷克洛夫数学研究所)
本文研究了在时间变化网络上非光滑随机去中心化优化问题,针对非光滑随机强凸优化和非光滑随机强凸-强凹鞍点优化提出方法,应用于深度神经网络训练和生成对抗网络训练。
2026-04-26 math.OC
Fast Gradient Methods for Uniformly Convex and Weakly Smooth Problems
本文研究了弱凸光滑凸优化问题的梯度法的加速问题。从普适的快速梯度法出发,对梯度为Hölder连续的弱光滑问题的最优方法进行了适当的动量修正,使其也适用于一致凸和弱光滑问题.与已有的方法不同,本文提出的快速梯度法不使用重新启动技术,而是使用适当设计的动量,以反映目标能量函数的一致凸性和弱光滑性信息.理论和数值结果支持所提出的方法的优越性。
2022-03-08 math.OC
A smoothing extended sequential quadratic method for difference-of-convex optimization over a convex composite inequality constraint
the Hong Kong Polytechnic University(香港理工大学);Sichuan Normal University(四川师范大学)
提出一种平滑扩展序列二次方法求解差凸目标与凸复合不等式约束问题,通过平滑近似和参数更新实现O(ε^{-3})迭代复杂度,并证明凸情形下序列收敛及局部收敛率。
2026-06-12 math.OC
A Variable Sample-size Stochastic Quasi-Newton Method for Smooth and Nonsmooth Stochastic Convex Optimization
经典理论的拟牛顿计划的重点是光滑确定性无约束优化,而最近的随机凸优化主要居住在光滑,无约束,强凸制度。自然,有一个迫切需要解决的非光滑性,缺乏强凸性,并存在约束。因此,本文提出了一个拟牛顿框架,可以处理仅仅是凸和可能的非光滑(但光滑)的随机凸问题。我们提出了一个框架,结合迭代平滑和正则化的方差减少计划依赖于使用梯度的样本大小增加。我们做出以下贡献。(i)我们开发了一个正则化和平滑的可变样本量BFGS更新(rsL-BFGS),生成一个序列的海森近似,可以容纳非光滑凸目标,利用迭代正则化和平滑。(ii)在强凸的状态依赖噪声的情况下,所提出的可变样本量随机拟牛顿格式允许非渐近线性收敛速度,而计算$ε$ -解的预言复杂度为$\mathcal{O}(κ^{m+1}/ε)$,其中$κ$是条件数,$m\geq 1$。在非平滑(但可平滑)区域,使用Moreau平滑可保持线性收敛速率。为了应对可能的不可用的Lipschitz和强凸性参数,我们还提供了次线性率;(iii)在仅仅凸,但光滑的设置,正则化的VS-SQN计划rVS-SQN显示率$\mathcal{O}(1/k^{(1-\varepsilon)})$。当平滑性要求减弱时,正则化和平滑的VS-SQN格式的速率变为$\mathcal{O}(k^{-1/3})$。这样的陈述允许在二次增长属性下的状态依赖噪声假设。
2020-11-02 math.OC
Variable Smoothing for Weakly Convex Composite Functions
本文研究了结构化目标函数的极小化问题,该目标函数是一个光滑函数与一个弱凸函数与一个线性算子的复合函数之和。应用包括图像重建问题的正则化,引入比标准的凸正则化更少的偏见。我们开发了一个可变的平滑算法,基于Moreau包络的平滑参数的递减序列,并证明了一个复杂的$\mathcal{O}(ε^{-3})$实现$ε$ -近似解。该界介于光滑情形的$\mathcal{O}(ε^{-2})$界和次梯度方法的$\mathcal{O}(ε^{-4})$界之间。我们的复杂性界与其他处理弱凸函数的结构非光滑性的工作是一致的。
2021-05-31 math.OC
Adaptive Metrics for Norm-Minimization-Based Outer Approximation in Convex Vector Optimization
King Fahd University of Petroleum & Minerals(国王法赫德国王石油与矿产大学);Interdisciplinary Research Center for Smart Mobility and Logistics, King Fahd University of Petroleum & Minerals(国王法赫德国王石油与矿产大学智能交通与物流交叉研究中心)
提出一种自适应度量框架,通过动态改变标量化度量并利用问题几何结构,在凸向量优化的外部逼近算法中实现更优的收敛速率和迭代次数减少。
2026-07-15 cs.NA math.NA math.OC
Last Iterate is Slower than Averaged Iterate in Smooth Convex-Concave Saddle Point Problems
Massachusetts Institute of Technology(麻省理工学院)
本文研究光滑凹凸鞍点问题。具体地说,我们分析了最后一个收敛性的Extragradiation(EG)算法。众所周知,EG的遍历(平均)迭代以$O(1/T)$的速率收敛(Nemirovski,2004)。在本文中,我们证明了EG的最后一个收敛速度为$O(1/\sqrt{T})$。据我们所知,这是第一个文件,以提供一个收敛速度保证的最后一次搜索的EG光滑凹凸鞍点问题。此外,我们证明了这个速度是紧的,证明了一个下界的$Ω(1/\sqrt{T})$的最后一个。因此,这个下界显示了二次分离的遍历和最后的迭代光滑凹凸鞍点问题的收敛速度。
2020-07-07 cs.LG math.OC stat.ML
A Smooth Approximation Framework for Weakly Convex Optimization
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文提出了一种弱凸优化的平滑近似框架,通过扩展可平滑函数的概念,统一了多种平滑技术,并提供了具有可证明复杂度保证的算法设计方法。
2026-01-25 math.OC
Simple Stochastic Gradient Methods for Non-Smooth Non-Convex Regularized Optimization
我们的工作主要集中在随机梯度法优化光滑非凸损失函数与非光滑非凸正则化。对这类问题的研究是相当有限的,直到最近没有非渐近收敛的结果已被报道。我们提出了两个简单的随机梯度算法,有限和一般的随机最优化问题,这具有优越的收敛复杂性相比,目前的最先进的。我们还比较了我们的算法的性能在实践中的经验风险最小化。
2019-05-14 math.OC
A note on quasi-convex functions
给出了$\mathbb{R}^{3}$正八分圆上的光滑拟凸函数的一个例子,这些光滑函数不能作为凸光滑函数在$\mathbb{R}$的单调光滑映射下的象得到.
2017-11-19 math.OC
Convex Synthesis of First-Order Methods for Time-Varying Smooth Strongly Convex Optimization
Miami University(迈阿密大学);University of Louvain(鲁汶大学)
本文提出一种鲁棒控制合成框架,用于设计时间变化的光滑强凸优化的一阶方法,通过嵌入底层变化模型来提高动态场景下的优化性能。
2026-04-10 math.OC
A norm minimization-based convex vector optimization algorithm
我们提出一个算法来产生内和外多面体近似的上图像的有界凸向量最优化问题。它是一个外部近似算法,基于求解范数最小化标量化。与文献中用于类似目的的Pascolleti-Serafini标量化不同,它不涉及方向参数。因此,该算法是免费的方向偏置。我们还提出了一个修改的算法,通过引入一个合适的紧凑的子集的上部图像,这有助于首次证明凸向量最优化的算法的有限性。使用一些基准测试问题,这表明有前途的结果相比,类似的算法是基于Pascoletti-Serafini标量化的算法的计算性能的算法。
2022-02-16 math.OC
Distributed proximal gradient algorithm for non-smooth non-convex optimization over time-varying networks
研究了具有非光滑正则化的分布式非凸优化问题,该问题在分散学习、估计和控制中有着广泛的应用。目标函数是不同的局部目标函数的和,这些局部目标函数由可微的(可能是非凸的)费用函数和非光滑的凸函数组成。针对时变多智能体网络上的非光滑非凸优化问题,提出了一种分布式近似梯度算法。每个智能体通过多步一致性算子和邻近算子更新局部变量估计。我们证明了生成的局部变量达到共识,收敛到一组临界点的收敛速度$O(1/T)$。最后,通过数值模拟验证了该算法的有效性.
2021-03-03 math.OC
Near-optimal method for highly smooth convex optimization
提出了一种求解高光滑凸优化的近似最优方法。更准确地说,在Oracle模型中,一个获得的$p^{th}$阶泰勒展开的函数在查询点,我们提出了一种方法,收敛速率$\tilde{O}(1/k^{\frac{ 3p +1}{2}})$后,$k$查询的Oracle的任何凸函数的$p^{th}$阶导数是Lipschitz。
2019-06-23 math.OC
Algorithms to solve unbounded convex vector optimization problems
研究一般凸向量最优化问题的求解算法。到目前为止,用于求解CVOP的解概念和近似算法仅存在于有界问题[Ararat et al. 2022,Doerfler et al. 2021,Loehne et al. 2014]。它们提供了上像的多面体内部和外部近似,其Hausdorff距离至多为$\varepsilon$。然而,众所周知(参见[Ulus,2018]),对于某些无界问题,这种多面体近似不存在。在本文中,我们将提出一个广义解的概念,称为$(\varepsilon,δ)$ -解决方案,也可以考虑无界CVOP。它是基于以有意义的方式附加地界定上部图像的内部和外部多面体近似的回收锥。提出了一种算法,计算这种$δ$ -外部和$δ$ -内部近似的回收锥的上部图像。结合[Loehne et al. 2014]的结果,这提供了一个原始和对偶算法,允许计算$(\varepsilon,δ)$ -(潜在无界)CVOP的解。数值例子。
2023-01-23 math.OC
Warm-starting outer approximation for parameterized convex MINLP
KTH Royal Institute of Technology(皇家理工学院);Technische Universität Ilmenau(伊尔梅瑙工业大学)
针对参数化凸混合整数非线性规划序列,提出基于外逼近的热启动技术,理论证明在参数线性依赖下可单次迭代收敛,数值实验显示显著加速。
2026-06-26 math.OC
On the rate of convergence of alternating minimization for non-smooth non-strongly convex optimization in Banach spaces
本文在巴拿赫空间中建立了非光滑凸优化交替极小化的收敛性,并给出了新的收敛速度。作为目标函数,考虑平滑部分和非平滑部分的组合,其中后者是块可分离的,例如,对应于凸约束或正则化。对于光滑部分,考虑了三种不同的强凸松弛:(i)拟强凸;(ii)二次函数增长;(iii)平面凸。线性收敛是建立在前两种情况下,推广和改进以前的强凸问题的结果;子线性收敛是建立在第三种情况下,也改进了以前的文献结果。所有的收敛结果有一个共同点,即与一般块坐标下降的先前相应结果相反,交替最小化的性能有利地由单个块的属性而不是全局属性来控制。最终,不仅更好的条件块确定的性能,已经类似地观察到在文献中。而且,更差条件的问题还额外地增强了性能,导致潜在地显著改进的收敛速度。此外,仅利用问题的凸性和光滑性,所得结果在一般巴拿赫空间中立即适用.
2019-11-01 math.OC
Primal-dual proximal splitting and generalized conjugation in non-smooth non-convex optimization
我们证明了困难的非凸非光滑最优化问题,如纳什均衡问题和各向异性以及各向同性Potts分割模型,可以写在广义共轭的凸泛函。这些,反过来,可以制定为鞍点问题,涉及凸非光滑泛函和一般光滑,但非双线性耦合项。然后,我们表明,通过详细的收敛性分析,概念上简单的扩展的原始-对偶邻近Chambolle和Pock分裂方法是适用于解决这些问题。在充分的局部强凸性假设的泛函-但仍然与非双线性耦合项-我们甚至证明了局部线性收敛的方法。我们说明这些理论结果数值上的上述示例问题。
2020-03-19 math.OC
Proximal Activation of Smooth Functions in Splitting Algorithms for Convex Image Recovery
结构化凸优化问题通常涉及光滑和非光滑函数的混合。通常的做法是通过梯度激活光滑函数,通过邻近算子激活非光滑函数。我们表明,虽然直观自然,这种方法不一定是最有效的数值,特别是,激活所有的功能近端可能是有利的。为了使这一观点可行的计算,我们推导出一些新的例子,邻近算子的光滑凸函数在应用中产生的。一个新的变分模型放松不一致凸可行性问题也研究在所提出的框架。几个数值图像恢复的应用程序,比较完全接近与混合近端/梯度实现几个分裂算法的行为。
2019-09-09 math.OC
Curiosities and counterexamples in smooth convex optimization
给出了光滑凸强制集上一些老的最优化问题的反例。我们表明,块坐标,最速下降精确搜索或布雷格曼下降法一般不收敛。其他失败的各种理想的功能建立:方向收敛的柯西的梯度曲线,收敛的牛顿流,有限长度的Tikhonov路径,收敛的中心路径,或光滑Kurdyka-Lojasiewicz不等式。所有示例都是平面的。这些例子是基于一般光滑凸插值结果。给定平面上正曲Ck凸紧集的递减序列,给出了Ck光滑凸函数的水平集插值,其中k $\ge$ 2是任意的.如果交是减少到一个点,我们的插值有正定的Hessian,否则它是正定的解决方案集。此外,给定一个递减多边形序列,我们提供了一个与顶点一致的插值,其梯度与规定的法线一致。
2020-01-29 math.OC
On the Linear Convergence of the Approximate Proximal Splitting Method for Non-Smooth Convex Optimization
考虑最小化两个凸函数之和的问题,其中一个是光滑的,另一个是非光滑的。在本文中,我们介绍了一般类的近似邻近分裂(APS)方法来解决这样的极小化问题。APS类中的方法包括许多众所周知的算法,例如用于光滑凸优化的邻近分裂方法(PSM)、块坐标下降法(BCD)和近似梯度投影法。在局部误差有界的假设下,证明了APS方法的线性收敛.由于后者是已知的压缩感知和稀疏组LASSO问题,我们的分析意味着线性收敛的BCD方法对这些问题没有强凸性假设。
2014-04-21 math.OC
Smooth Strongly Convex Interpolation and Exact Worst-case Performance of First-order Methods
我们表明,精确的最坏情况下性能的固定步骤的一阶方法的光滑(可能强)凸函数的无约束优化可以通过求解凸规划。寻找黑箱一阶方法的最坏情况下的性能制定为一组光滑(强)凸函数和初始条件的最优化问题。给出了光滑(强)凸插值的封闭形式的充要条件,并给出了这些函数的有限表示。这使我们能够重新制定的最坏情况下的性能估计问题作为一个等价的有限维独立的半定最优化问题,其精确解可以恢复到数值精度。这个性能估计问题的最优解提供了最坏情况下的性能界限和显式函数匹配,因为我们的光滑(强)凸插值过程是建设性的。我们的作品建立在那些Drori和Teboulle在[数学。145(1-2),2014],其引入并解决了光滑凸函数的性能估计问题的松弛。我们将我们的方法应用到不同的固定步长的一阶方法与几个性能标准,包括目标函数精度和梯度范数。在光滑凸和光滑强凸情形下,我们分别给出了固定步长梯度法、快速梯度法和优化梯度法的最坏情况的数值界,并推导了梯度法的最优步长的严格估计.
2016-10-31 math.OC
Self-dual Smooth Approximations of Convex Functions via the Proximal Average
两个凸函数的近似平均已被证明是凸分析中的有用工具。本文将Goebel的自对偶光滑算子用近似平均表示,从而给出了自对偶性的一个简单证明。我们还提出了一种新的自对偶平滑算子。这两个运营商说明了平滑的范数。
2010-03-30 math.FA math.OC
Gradient-free two-points optimal method for non smooth stochastic convex optimization problem with additional small noise
利用双光滑技术和随机镜像下降法,建立了两点无梯度非光滑随机凸规划的一个最优算法。我们调查了多少可以是噪声的水平(这种噪声的性质是不必要的随机)的收敛速率保持(乘法因子)。
2017-08-13 math.OC
Stochastic Proximal Methods for Non-Smooth Non-Convex Constrained Sparse Optimization
本文主要研究随机邻近梯度法优化光滑非凸损失函数与非光滑非凸正则化和凸约束。据我们所知,我们提出的第一个非渐近收敛结果这类问题。我们提出了两个简单的随机邻近梯度算法,一般的随机和有限和最优化问题,具有相同或更高的收敛复杂性相比,目前最好的结果为无约束的问题设置。在一个数值实验中,我们比较我们的算法与当前国家的最先进的确定性算法,并发现我们的算法表现出优越的收敛性。
2019-05-23 math.OC