A Sequential Convex Programming Approach to Free-trajectory Minimum-lap-time Optimization of Racing Cars
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种高效计算赛车最优空间轨迹和动力系统操作的建模与优化框架,通过顺序凸编程方法实现最小圈速优化,显著缩短计算时间并验证轨迹优化对圈速的提升效果。
2026-04-14 math.OC
Convex optimization via inertial algorithms with vanishing Tikhonov regularization: fast convergence to the minimum norm solution
在一个希尔伯特的框架中,对于一般凸可微函数$f$的最小化,我们引入了新的惯性动力学和算法,产生的轨迹和迭代收敛到最小的$f$与最小范数的最小值。我们的研究是基于非自治版本的Polyak重球方法,其中,在时间$t$,与强凸函数通过添加到$f$一个Tikhonov正则化项与消失系数$ε(t)$。在该动态中,阻尼系数与吉洪诺夫正则化参数$ε(t)$的平方根成比例。通过调整$ε(t)$向零收敛的速度,我们将获得向$f$的下极值的快速收敛,以及向$f$的极小元集的最小范数的轨迹的强收敛.特别是,我们得到了一个改进的版本的动态苏博伊德-坎迪斯的加速梯度法的Nesterov。这项研究自然会导致相应的一阶算法得到的时间离散化。在适当的下连续凸函数$f$的情况下,我们详细研究了近似算法,并证明了它们具有相似的性质。
2021-04-24 math.OC
Conditional Infimum, Hidden Convexity and S-Procedure
Cermics, École nationale des ponts et chaussées, IP Paris(Cermics,国立桥梁学校,巴黎理工学院)
本文提出条件下确界概念,建立塔性质,用于揭示非凸二次最小化中的隐凸性,给出新充分条件并应用于S-过程。
2026-09-22 math.OC
Complexity iteration analysis for strongly convex multi-objective optimization using a Newton path-following procedure
本文研究了强凸多目标最优化的迭代复杂性。我们讨论了这个问题的确切含义,并指出它是松散的定义,但最自然的概念是找到一组帕累托最优点跨越网格的标量化问题。我们得出,在大多数情况下,执行灵敏度为基础的路径跟踪后,获得一个解决方案是最优策略的迭代复杂度方面的这项任务。
2020-04-06 math.OC
Non-convex approach to binary compressed sensing
我们提出了一种新的方法来恢复压缩感知中的二进制信号,基于局部最小化的非凸成本功能。证明了期望信号在传感矩阵和测量次数上是泛函的一个局部极小值。我们开发了一个程序来实现所需的局部极小值,最后,我们提出了数值实验,表明所提出的方法相对于经典的凸方法,即,套索
2018-11-07 math.OC
Convex conditions for robust stabilization of uncertain switched systems with guaranteed minimum dwell-time
本文针对具有保证最小驻留时间的不确定切换系统,提出基于凸条件的鲁棒镇定方法。
2013-05-17 cs.SY eess.SY math.CA
Alternating Minimization Methods for Strongly Convex Optimization
{We考虑变量被分成多个块的凸优化问题的交替最小化过程,每个块都适合于关于其变量与冻结的其他变量块的最小化。在两个块的情况下,我们证明了交替极小化过程在Polyak-Lojasiewicz条件下的线性收敛速率,这可以看作是强凸性假设的放松.在强凸性假设下,针对非加速算法的条件数,提出了一种线性速率依赖于条件数平方根的加速交替极小化方法.我们还提到了一个近似的非负解的线性方程组$Ax=y$与交替最小化之间的$Ax$和$y$的Kullback-Leibler(KL)分歧。
2020-06-27 math.OC
The Minimum Euclidean-Norm Point on a Convex Polytope: Wolfe's Combinatorial Algorithm is Exponential
自1974年Philip Wolfe提出方法以来,该方法求解凸多胞体上的最小欧氏范数点问题的复杂性一直是未知的。该方法是重要的,因为它是作为一个子程序的最实用的算法之一,次模函数最小化。我们提出的第一个例子,沃尔夫的方法需要指数时间。此外,我们改进了以前的结果表明,线性规划减少在强多项式时间的最小范数点问题的单纯形。
2017-11-03 cs.DS math.MG math.OC
Speeding up the Goemans-Williamson randomized procedure by difference-of-convex optimization
MIPT(莫斯科物理技术学院);Innopolis University(伊诺波利斯大学);Q Deep
通过凸优化差分方法加速Goemans-Williamson随机化过程,提升QUBO问题求解效率与质量
2025-12-09 math.OC
Kalman-Bucy filtering and minimum mean square estimator under uncertainty
本文研究了一类不确定性下的广义Kalman-Bucy滤波问题。该方法考虑了信号过程和观测过程的漂移不确定性,用一个凸风险测度(凸算子)表征了对不确定性的态度。通过求解凸算子下的最小均方估计问题来计算最优滤波器或最小均方估计器(MMSE)。本文的第一部分研究了在g-期望这一特殊的凸算子下的估计问题。对于这种情况,我们证明了存在最坏情况先验。在此基础上,得到了g-期望下的卡尔曼-布西滤波方程。本文第二部分研究了一般凸算子下的最小均方估计问题。推导了最小均方误差的存在唯一性结果。
2020-11-06 math.OC math.PR
Single-Projection Procedure for Infinite Dimensional Convex Optimization Problems
本文研究实 Hilbert 空间中可由单次投影求解的凸优化问题,引入约束集“尖锐性”性质,将已有线性规划结果推广到多解、无严格互补性及非线性凸约束情形,并给出投影成为解所需距离的定量估计。
2024-04-09 math.OC
Nesterov's accelerated gradient for unbounded convex functions finds the minimum-norm point in the dual space
Faculty of Computer Science, Ruhr University Bochum(鲁尔大学波鸿分校计算机科学学院)
本文研究了Nesterov加速梯度法在无界凸函数中寻找最小范数点的收敛性,揭示了其在对偶空间中的应用及加速效果。
2026-02-09 math.OC
Solving 1D Conservation Laws Using Pontryagin's Minimum Principle
Naval Postgraduate School(海军研究生院)
本文探讨了标量凸守恒律与庞特里亚金最优化原理之间的联系,提出了一种求解守恒律的最小值解方法,并证明该解等价于熵解,扩展了Lax-Oleinik公式至非均匀凸通量函数。
2017-02-10 cs.NA math.NA math.OC
Subgradient methods for non-smooth optimization problems with some relaxation of sharp minimum
在本文中,我们提出了一个广义的条件尖锐的最小值,有点类似于最近提出的Devolder-Glineur-Nesterov的不精确的预言。所提出的方法使得有可能扩展类的次梯度方法的适用性与Polyak步长,的最小值的不精确信息的情况下,以及未知的Lipschitz常数的目标函数。此外,局部类似物的使用的全局特性的目标函数,使得有可能将这种类型的结果应用到更广泛的类的问题。我们证明了该方法应用于强凸非光滑问题的可能性,同时,我们与已知的最优次梯度方法对这类问题进行了实验比较。此外,还得到了一些结果连接到所提出的技术的适用性,一些类型的问题与凸松弛:最近提出的概念,弱$β$ -拟凸性和普通拟凸性。此外,在本文中,我们研究了所描述的技术的情况下,假设的$δ$ -次梯度的目标函数是可用的,而不是通常的次梯度的推广。对于所考虑的方法之一,条件下发现,在实践中,它是可能逃脱的投影所考虑的迭代序列的可行集的问题。
2022-12-12 math.OC
Improved Time of Arrival measurement model for non-convex optimization
由到达时间技术提供的二次系统可以解析地或通过优化算法来求解。在实践中,这两种方法被结合使用。二次优化中的一个重要问题是可能收敛到局部极小值,而不是全局极小值。本文提出了一种方法,如何可以显着降低这种风险。我们的方法的主要思想是通过增加维数,将局部极小值转化为一个鞍点。与类似的方法,如维数提升,我们的问题仍然是非凸的。
2018-01-10 eess.SP math.OC
Decentralized Proximal Optimization Method with Consensus Procedure
针对分散复合优化问题,提出基于加速近向梯度下降并在计算间进行多次共识迭代的方法,证明共识过程适用于复合优化且结构分析简单。
2023-04-07 math.OC
Every Local Minimum Value is the Global Minimum Value of Induced Model in Non-convex Machine Learning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
对于机器学习中的非凸优化问题,本文证明了扰动梯度基模型的每个局部极小值在任意可微点处都能达到全局最优值。因此,非凸机器学习理论上与具有手工基础的凸机器学习一样,在可微局部最小值处的损失方面得到支持,除了在优先考虑手工基础而不是可扰动梯度基础的情况下。这些结果的证明是在温和的假设下推导出来的。因此,证明的结果直接适用于许多机器学习模型,包括实际的深度神经网络,而无需对实际方法进行任何修改。此外,作为我们的一般结果的特殊情况,本文改进或补充了几个国家的最先进的理论结果,深神经网络,深残差网络,超参数化的深神经网络与统一的证明技术和新的几何见解。我们的结果的一个特例也有助于表征学习的理论基础。
2019-11-15 cs.LG cs.NE math.OC
A Semidefinite Representation for some Minimum Cardinality Problems
利用[Lasserre 02]中的技巧,我们证明了某些服从线性不等式的最小基数问题可以表示为半定规划的有限序列.特别地,我们给出了正半定矩阵上最小秩问题的半定表示。我们也使用这种技术铸造的问题,找到凸下界的目标作为一个半定的计划。
2003-02-27 math.OC
Stochastic Minimum Principle for Partially Observed Systems Subject to Continuous and Jump Diffusion Processes and Driven by Relaxed Controls
本文研究了松弛控制驱动的随机微分方程的非凸控制问题。我们提出了最优控制的存在性,然后发展的最优性的必要条件。我们涵盖了连续扩散和跳跃过程。
2013-02-14 math.OC
A convex reformulation for speed planning of a vehicle under the travel time and energy consumption objectives
University of Parma(帕尔马大学)
针对预定义路径下兼顾能耗与行驶时间的车辆速度规划非凸问题,证明可行域为格结构,提出边界收紧技术,验证凸松弛的精确性,并基于其最优解性质开发时间复杂度$O(n^2)$的动态规划近似求解方法。
2025-10-28 math.OC
Minimizing a low-dimensional convex function over a high-dimensional cube
对于矩阵$W \in \mathbb{Z}^{m \times n}$、$m \leq n$和凸函数$g: \mathbb{R}^m \rightarrow \mathbb{R}$,我们感兴趣的是在集合$\{0,1\}^n$上最小化$f(x) = g(Wx)$。我们将研究可分凸函数和尖锐凸函数$g$。此外,矩阵$W$是未知的。仅显示$m \leq n$和$\|W\|_{\infty}$的行数。复合函数$f(x)$仅由零阶和一阶oracle表示。我们的主要结果是一个邻近定理,确保可分凸和尖锐凸函数的积分最小值和连续最小值总是“接近”。这将是开发用于检测整数最小值的算法的关键成分,该算法实现了大约$(m \| W \|_{\infty})^{\mathcal{O}(m^3)} \cdot \text{poly}(n)$的运行时间。在特殊情况下,当$(i)$ $W$明确给出和$(ii)$ $g$是可分离的凸也可以适应Hochbaum和Shanthikumar的算法。该算法的运行时间与我们的通用算法的运行时间相匹配。
2022-08-16 cs.DM math.OC
Stochastic Approximation in convex multiobjective optimization
给定一个以$f_1,\dots,f_N$为目标函数的严格凸多目标最优化问题,用$x_0$表示其解,该解是线性标量化问题的极小点,其中目标函数是$f_1,\dots,f_N$与权$t_1,\ldots,t_N$的凸组合.本文的主要结果给出了一个估计的平均误差,如果我们近似$x_0$的最小点的凸组合的$n$功能,选择$f_1,\dots,f_N$,概率$t_1,\ldots,t_N$,分别与相同的系数$1/n$加权。特别是,我们证明了上述考虑的平均误差收敛到0的$n$去$\infty$,均匀w.r.t.权重$t_1,\ldots,t_N$。在我们的随机逼近定理的证明中的关键工具是一个几何性质,我们称之为小直径属性,确保函数$f_1,\dots,f_N$的凸组合的最小点连续依赖于凸组合的系数。
2023-03-03 math.FA math.OC
Morphological Perceptron with Competitive Layer: Training Using Convex-Concave Procedure
Universidade Tecnológica Federal do Paraná (UTFPR)(联邦技术大学帕拉纳斯(UTFPR));Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学(UNICAMP))
本文提出用凸凹过程训练具有竞争层的形态学感知器,将训练问题转化为凸函数之差并迭代求解线性规划子问题,实验验证了其有效性。
2025-09-06 cs.LG math.OC
Least-Squares Linear Dilation-Erosion Regressor Trained using a Convex-Concave Procedure
University of Campinas(坎皮纳斯大学)
本文提出了一种用于回归任务的混合形态神经网络,称为线性膨胀-侵蚀回归器($\ell$ -DER)。一个$\ell$ -DER是由线性和形态算子的组合的凸组合。它们产生连续的分段线性函数,因此是通用的逼近器。除了介绍$\ell$ -DER模型,我们制定了他们的培训作为一个差异的凸(DC)规划问题。准确地说,$\ell$ -DER是通过使用凹凸过程(CCP)最小化最小二乘来训练的。使用几个回归任务的计算实验证实了所提出的回归器的功效,优于其他混合形态模型和最先进的方法,如多层感知器网络和径向基支持向量回归器。
2022-09-06 cs.AI cs.LG math.OC
Control Barrier Functions for Collision Avoidance Between Strongly Convex Regions
UC Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute (TBSI)(清华-伯克利深圳学院)
本文提出基于强凸映射的状态依赖凸集最小距离控制障碍函数方法,利用KKT解ODE快速更新距离导数,并通过二次规划实现无过度近似的实时碰撞避免。
2025-02-04 cs.RO cs.SY eess.SY
A polynomial oracle-time algorithm for convex integer minimization
在本文中,我们考虑的解决方案,某些凸整数极小化问题的贪婪增广程序。我们表明,一个贪婪的增广过程,只需要多项式的许多增广步骤来解决给定的问题,只采用某些Graver基地的方向。我们将这些结果推广到凸$N$倍整数极小化问题和凸2阶段随机整数极小化问题。最后,我们提出了一些应用的凸$N$倍整数最小化问题,我们的方法提供了多项式时间的解决方案的算法。
2007-10-16 math.CO math.OC
Computing skeletons for rectilinearly-convex obstacles in the rectilinear plane
我们引入了障碍骨架的概念,这是一组线段内的多边形障碍$ω$,可用于在地方的$ω$进行交叉测试时,避障网络问题的平面。与原始障碍物的边界中的线段的数量相比,骨架可以具有显著更少的线段,并且因此对骨架(而不是原始障碍物)执行相交测试可以显著减少用于计算避障问题的解决方案的算法所需的CPU时间。最小骨架是具有尽可能少的线段数的骨架。我们提供了一个精确的$O(n^2)$算法计算最小骨架的直线障碍物在直线平面是直线凸。我们表明,在一个最小的骨架的边缘的数量通常是非常小的边缘的数量相比,在原始障碍物的边界,通过随机直凸障碍与多达1000个顶点进行实验。
2020-04-09 cs.CG math.OC
Asynchronous stochastic convex optimization
我们表明,渐近,完全异步的随机梯度程序实现最佳(甚至常数因子)收敛速度的解决方案的凸优化问题的渐近最优性的标准随机梯度程序所需的几乎相同的条件下。粗略地说,随机逼近方案所固有的噪声支配着来自随机逼近的任何噪声。我们还提供了经验证据,证明了异步,并行随机最优化方案的强大性能,证明了固有的鲁棒性随机逼近问题,允许更快的并行和异步的解决方案的方法。
2015-08-04 math.OC stat.ML
A Stochastic Trust Region Method for Non-convex Minimization
我们的目标是在非凸有限和极小化中寻找一个局部极小值。为了达到这个目标,我们首先证明了不精确梯度和Hessian估计的置信域方法可以达到$\mathcal{O}(1/{k^{2/3}})$阶的收敛速度,只要这些差分估计足够准确。结合这样的结果与一个新的Hessian估计,我们提出了样本有效的随机置信域(STR)算法,发现一个$(ε, \sqrtε)$ -近似局部极小值内$\mathcal{O}({\sqrt{n}}/{ε^{1.5}})$随机Hessian Oracle查询。这改善了$\mathcal{O}(n^{1/6})$的最新结果。实验验证了理论结论和STR的有效性。
2019-03-04 math.OC stat.ML
Erdős' minimum overlap problem
我们得到了一个大大改善的下界的最小重叠问题要求Erdales。我们的方法使用初等傅里叶分析将问题转化为一个凸优化程序。
2022-01-14 math.CO math.NT math.OC
Construction of the Minimum Time Function Via Reachable Sets of Linear Control Systems. Part I: Error Estimates
本文的第一部分介绍了一种基于可达集逼近和凸紧集算术运算的计算控制问题近似最小时间函数的方法。特别是,在本文中所提出的方法的理论理由是限制到一类线性控制系统。利用连续时间可达集的Hausdorff距离,给出了全离散可达集的误差估计.给出了求解相应的离散集值问题的详细过程.在标准假设下,借助于凸分析和真最小时间函数的正则性知识,我们估计了它的逼近误差。第二部分给出了数值算例。
2015-12-31 math.DS math.OC
Strengthening Convex Relaxations of 0/1-Sets Using Boolean Formulas
在凸整数规划中,已经开发了各种程序来加强整数点集的凸松弛。一方面,存在几种通用的方法,加强松弛没有特定的知识集$ S $,如流行的线性规划或半定规划层次。另一方面,各种方法已被设计用于获得非常具体的组合优化中出现的集合的强化松弛。我们提出了一种新的有效的方法,这两种方法之间的插值。我们的程序加强任何凸集$ Q \subseteq \mathbb{R}^n $包含一个集$ S \subseteq \{0,1\}^n $利用某些额外的信息$ S $。即,所需的额外信息将是定义目标集$ S $的布尔公式$ ϕ$的形式。这项工作的目的是分析有关我们的程序的强度的各个方面。作为一个结果,解释我们的程序作为一个层次结构的迭代应用,我们的研究结果简化,改进和扩展Bienstock和Zuckerberg以前的结果覆盖问题。
2018-06-23 cs.DM math.CO math.OC
Escaping Saddle Points for Nonsmooth Weakly Convex Functions via Perturbed Proximal Algorithms
Department of Electrical and Computer Engineering, University of California, Davis(加州大学戴维斯分校电气与计算机工程系);Simon Business School, University of Rochester(罗切斯特大学西蒙商学院)
本文提出扰动近端算法,用于逃离非光滑弱凸函数的严格鞍点,并证明在标准假设下可在O(ε^{-2}log(d)^4)次迭代内找到ε-近似局部最小值。
2025-07-19 cs.LG math.OC
Stochastic Methods for Composite and Weakly Convex Optimization Problems
我们考虑随机泛函的最小化,是一个(潜在的)非光滑凸函数$h$和光滑函数$c$的组合物,更一般地说,随机弱凸泛函。我们开发了一个家庭的随机方法-包括一个随机的非线性算法和随机(广义)次梯度过程-并证明,在温和的技术条件下,每个收敛到一阶平稳点的随机目标。我们提供的实验进一步调查我们的方法对非光滑相位恢复问题,实验表明的程序的实际有效性。
2018-09-21 math.OC math.ST stat.TH
Fractional Derivatives of Convex Lyapunov Functions and Control Problems in Fractional Order Systems
本文研究了具有Caputo阶导数为$α\in (0, 1).$的分数阶常微分方程描述的冲突控制动力系统的制导控制方法。对于制导在某种意义上是系统的复制品的情况,详细阐述了初始系统和制导之间的相互瞄准过程。系统运动之间的邻近性的证明是基于凸李雅普诺夫函数和由本质上有界可测函数的分数次积分表示的函数的叠加的分数导数的估计。这个估计可以被认为是已知的这种类型的估计的推广。一个例子被认为是说明了拟议的控制程序的可行性。
2017-10-19 math.CA math.OC
Sparse Approximate Solutions to Max-Plus Equations with Application to Multivariate Convex Regression
National Technical University of Athens(雅典国家技术大学);University of Pennsylvania(宾夕法尼亚大学)
在这项工作中,我们研究的问题,找到近似,最小支撑集,解决矩阵最大-加方程,我们称之为稀疏近似解。我们展示了如何可以有效地获得这样的解决方案,并在多项式时间的任何$\ell_p$近似误差。基于这些结果,我们提出了一种新的方法,凸多元函数的分段线性拟合,最优性保证的模型参数和近似最小数量的仿射区域。
2020-12-21 cs.LG math.OC math.RA
An Efficient Framework for Global Non-Convex Polynomial Optimization over the Hypercube
该研究提出一种求解超立方体上全局非凸多项式优化的高效框架,将问题重构为无伪局部极小值的凸集非线性问题,结合增广拉格朗日与Burer-Monteiro方法求解,实现了高维难处理问题的多项式级计算缩放。
2024-05-16 cs.MS cs.NA math.NA
On the convergence of mirror descent beyond stochastic convex programming
Stanford University(斯坦福大学);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);Inria(法国国家信息与自动化研究所)
在本文中,我们研究了一类随机最优化问题的镜像下降的收敛性,这些问题不一定是凸的(甚至是拟凸的),我们称之为变分相干的。由于标准技术的“遍历平均”提供没有实际的好处以外的凸规划,我们直接专注于算法的最后生成的样本(其“最后一个”),我们表明,它收敛的概率$1$,如果根本的问题是一致的。我们进一步考虑了一个局部版本的变分相干,它确保随机镜像下降(SMD)的局部收敛的高概率。这些结果表明(准)凸性对于收敛到全局极小值并不是必需的,从而为非凸随机最优化的前景做出了贡献:相反,变分相干性(一个弱得多的要求)就足够了。最后,在上述基础上,我们揭示了一个关于SMD收敛速度的有趣见解:在具有尖锐极小值的问题(如一般线性规划或凹极小化问题)中,SMD在有限步数(a.s.)中达到极小点,即使存在持续的梯度噪声。这一结果是对比现有的黑盒收敛速度估计,只有渐近。
2018-07-16 cs.LG math.OC
Convex optimization on Banach Spaces
将只使用函数求值的贪婪算法应用于一般Banach空间$X$中的凸优化问题。随着算法,使用精确的评估,近似评估的算法进行治疗。给出了算法收敛速度的先验上界。这些界限取决于平滑的目标函数和稀疏性或压缩性(相对于一个给定的字典)的一个点在$X$,其中达到最小值。
2014-01-01 math.OC stat.ML
Nonsmooth Convex Optimization using the Specular Gradient Method with Root-Linear Convergence
Michigan State University(密歇根州立大学);Kyungpook National University(庆北国立大学)
本文提出镜面梯度法,在仅假设凸性的一维实值函数最小化中实现根线性收敛,并给出无需显式计算镜面导数的实现方法。
2026-09-09 cs.NA math.NA math.OC
Stochastic Control of Launch Vehicle Upper Stage with Minimum-Variance Splash-Down
本文提出了一种新的综合方法,用于设计运载火箭上一级不可节流的最优鲁棒制导律。在未扰动的情况下,无损和连续凸化技术的组合,制定的指导问题作为一个序列的凸问题,产生的最佳轨迹,作为一个参考的反馈控制器的设计,几乎没有计算工作。然后,基于参考状态和控制,一个随机最优控制问题被定义为寻找一个闭环控制律,以抑制随机飞行干扰。控制参数作为一个乘法反馈法,因此,只有控制方向进行调节,而幅度对应于标称值,使其用于固体火箭发动机。优化的目的是最大限度地减少飞溅分散,以确保废级尽可能接近标称点。由于采用了一种新颖的凸化策略,使得随机最优控制问题转化为半定规划问题,从而可以在多项式时间内求解。数值结果评估的随机控制器的鲁棒性,并通过广泛的Monte Carlo运动与模型预测控制算法的性能进行比较。
2022-10-26 cs.SY eess.SY math.OC
Tightened Convex Relaxations for Neural Network Robustness Certification
University of California, Berkeley(加州大学伯克利分校);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
在本文中,我们考虑的问题,证明的鲁棒性的神经网络扰动和敌对的输入数据。这种认证对于神经网络在安全关键决策和控制系统中的应用是必不可少的。已经提出了使用凸优化的认证技术,但是它们经常遭受使证书无效的松弛错误。我们的工作利用ReLU网络的结构,通过一种新的基于分区的认证程序来改善松弛错误。所提出的方法被证明是收紧现有的线性规划松弛,并渐近实现零松弛误差的分区更精细。我们开发了一个有限的分区,达到零松弛误差,并使用结果来推导出一个易于处理的分区计划,最大限度地减少最坏情况下的松弛误差。使用真实数据的实验表明,分区过程是能够发出鲁棒性证书的情况下,以前的方法失败。因此,分区为基础的认证程序被发现提供了一个直观的,有效的,理论上合理的方法收紧现有的凸松弛技术。
2020-09-18 cs.LG math.OC stat.ML
Efficient Neural Network Analysis with Sum-of-Infeasibilities
Stanford University(斯坦福大学);The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
受凸优化中的非线性和方法的启发,我们提出了一种新的方法来分析具有分段线性激活函数的神经网络上的验证查询。给定一个过逼近非凸激活函数的凸松弛,我们将激活函数的违规行为编码为代价函数,并相对于凸松弛进行优化。成本函数被称为无效和(SoI),其设计使得其最小值为零,并且仅当满足所有激活函数时才实现。我们提出了一个随机过程,DeepSoI,有效地减少SoI。通过用DeepSoI替换每个搜索状态下执行的凸过程,可以实现对基于规范案例分析的完整搜索过程的扩展。使用DeepSoI扩展完整的搜索可以同时实现多个目标:1)它引导搜索朝向反例; 2)它可以实现更明智的分支决策; 3)它为绑定派生创造了额外的机会。在不同的基准和求解器的广泛评估表明所提出的技术的好处。特别是,我们证明了SoI显着提高了现有的完整的搜索过程的性能。此外,基于SoI的实现优于其他国家的最先进的完整的验证。我们还表明,我们的技术可以有效地提高扰动界由最近的对抗攻击算法。
2022-03-19 cs.AI cs.LG cs.LO
On Monte-Carlo methods in convex stochastic optimization
当给定数据是根据$ξ$选择的有限独立样本时,我们开发了一种新的方法来估计形式为$\min_{x\in\mathcal{X}} \mathbb{E}[F(x,ξ)]$的一般凸随机最优化问题的优化器。该程序是基于平均值的比赛,是第一个程序,表现出最佳的统计性能,在重尾的情况下:我们恢复的渐近率由中心极限定理在非渐近的方式,一旦样本量超过一些明确的可计算的阈值。此外,我们的结果适用于高维设置,作为阈值样本量表现出最佳的依赖于尺寸(对数因子)。一般的设置,使我们能够恢复最近的结果,多元均值估计和线性回归的重尾情况下,并证明了第一个尖锐的,非渐近的投资组合最优化问题的结果。
2022-01-25 math.OC math.PR math.ST
Identifying and attacking the saddle point problem in high-dimensional non-convex optimization
Université de Montréal(蒙特利尔大学);Stanford University(斯坦福大学)
科学和工程的许多领域的一个中心挑战涉及在连续的高维空间上最小化非凸误差函数。梯度下降或拟牛顿方法几乎普遍用于执行这样的最小化,并且通常认为这些局部方法找到全局最小值的困难的主要来源是局部最小值的扩散,其具有比全局最小值高得多的误差。在这里,我们认为,统计物理,随机矩阵理论,神经网络理论和经验证据的基础上,更深层次和更深刻的困难源于鞍点的扩散,而不是局部极小值,特别是在高维问题的实际利益。这样的鞍点被高误差高原所包围,这会大大减缓学习速度,并给人一种存在局部最小值的错觉。受这些论点的启发,我们提出了一种新的方法来二阶优化,无鞍牛顿法,可以快速逃离高维鞍点,不同于梯度下降和拟牛顿法。我们将该算法应用于深度或递归神经网络训练,并提供了其优越的优化性能的数值证据。
2014-06-10 cs.LG math.OC stat.ML
Convexity in Disguise: A Theoretical Framework for Nonconvex Low-Rank Matrix Estimation
Department of Statistics, University of Michigan(密歇根大学统计系)
本文提出了一种理论框架,揭示了非凸方法在低秩估计中的内在凸性机制,通过良性正则化器提供新的理论保证。
2026-05-06 cs.IT cs.LG math.IT
Minimisation of Quasar-Convex Functions Using Random Zeroth-Order Oracles
School of Engineering(工程学院);Australian National University(澳大利亚国立大学);Department of Electrical and Electronic Engineering(电子与电气工程系);University of Melbourne(墨尔本大学)
本文研究随机高斯平滑零阶方法在无约束和约束设置下最小化类星凸函数及强类星凸函数的性能,证明了收敛性并给出了复杂度界,同时引入近端类星凸性概念处理约束问题,并在线性动力系统辨识等机器学习问题上验证了效果。
2026-06-24 cs.AI cs.LG cs.NA
Breaking Reversibility Accelerates Langevin Dynamics for Global Non-Convex Optimization
Department of Systems Engineering and Engineering Management, The Chinese University of Hong Kong, Shatin, N.T. Hong Kong(系统工程与工程管理系,香港中文大学(深圳));Department of Management Science and Information Systems and the DIMACS Institute, Rutgers University, Piscataway, NJ-08854, United States of America(管理科学与信息系统系及DIMACS研究所,罗杰斯大学);Department of Mathematics, Florida State University, 1017 Academic Way, Tallahassee, FL-32306, United States of America(数学系,佛罗里达州立大学)
本文研究了非可逆Langevin动力学在全局非凸优化中的应用,通过分析非可逆动力学算法的收敛性和混合速率,证明了非可逆算法在寻找局部极小值和探索状态空间方面的效率提升。
2020-10-02 cs.LG cs.NA math.NA