Approximations of unbounded convex projections and unbounded convex sets
针对现有凸投影方法仅适用于有界凸集的局限,提出基于内外近似思想、适配改进无界凸向量优化问题求解方法的新算法,可同时处理有界与无界凸投影及相关凸集近似问题。
2024-12-09 math.OC
Convex Co-Design of Control Barrier Function and Safe Feedback Controller Under Input Constraints
针对连续时间线性系统,提出通过单一半定优化程序协同设计控制障碍函数与线性反馈控制器,可处理混合相对阶并支持多种L范数输入约束,在全向小车上验证。
2024-03-18 cs.SY eess.SY math.OC
Aging-Aware Battery Control via Convex Optimization
本文针对电池短期收益与长期寿命目标的冲突,基于半经验老化模型构建凸优化问题,并用带老化动力学凸近似的MPC量化性能与退化的权衡。
2025-05-13 cs.SY eess.SY math.OC
Sequential Convex Programming Methods for Solving Nonlinear Optimization Problems with DC constraints
Department of Electrical Engineering (ESAT-SCD) and Optimization in Engineering Center (OPTEC), K.U. Leuven(鲁汶大学电气工程系(ESAT-SCD)与工程优化中心(OPTEC))
本文研究序列凸规划(SCP)与DC规划之间的关系,提出一种求解DC约束非线性优化问题的SCP算法并证明其收敛性,结合松弛技术处理不一致线性化,并通过数值测试验证算法性能。
2011-07-28 cs.SY eess.SY math.OC
Alternatives for optimization in systems and control: convex and non-convex approaches
Université Catholique de Louvain(天主教鲁汶大学)
本文概述系统与控制中优化的主要趋势,指出凸和线性矩阵不等式(LMI)方法虽流行但常被误用于非凸问题,并建议采用专门处理非凸问题的优化方法。
2012-05-01 cs.SY eess.SY math.OC
A Convex Optimization Approach for Finite-Thrust Time-Constrained Cooperative Rendezvous
本文提出了一种凸优化方法来解决合作交会问题,即两个相距较远的航天器同时运行以接近目标的问题。凸规划通过使用高效的数值算法,保证在有限的短时间内收敛到最优解。采用无损和连续凸化技术相结合来处理原问题的非凸性。具体地说,一个方便的变量变换和约束松弛进行,而一个连续的线性化的运动方程被用来处理的非线性动力学。为了提高算法的鲁棒性,提出了一种递归更新参考解的滤波技术。数值结果,并与间接方法提供的结果进行了比较。
2019-09-20 math.OC
Convex Relaxation of AC Optimal Power Flow with Flexible Transmission Line Impedances
柔性输电线路阻抗一方面为提高电网灵活性提供了一种有前途的控制资源,但另一方面也增加了相关最优化问题的复杂性。本文提出了一种求解可变线路阻抗交流最优潮流的凸化方法。首先,它被发现,一个灵活的阻抗线是等效的恒定阻抗线连接一对Transformers的相关和连续可调的抽头比。然后,利用该电路等效,将原最优化问题转化为现有凸松弛框架下的半定规划,以易于实现的方式提高了求解的易处理性和最优性。IEEE 118节点系统的数值试验验证了所提出的方法。
2022-04-09 math.OC
On a class of geodesically convex optimization problems solved via Euclidean MM methods
Harvard University(哈佛大学);MIT(麻省理工学院);University of Oxford(牛津大学)
我们研究测地线凸(g-凸)的问题,可以写为一个不同的欧几里德凸函数。这种结构出现在统计学和机器学习中的几个最优化问题中,例如,矩阵缩放,协方差的M-估计,和Brascamp-Lieb不等式。我们的工作提供了有效的算法,一方面利用g-凸性,以确保全局最优性以及迭代复杂性的保证。另一方面,分裂结构使我们能够开发欧几里德优劣化算法,帮助我们绕过需要计算昂贵的黎曼运算,如指数映射和并行传输。我们说明我们的结果,专门为一些具体的最优化问题,以前已经在机器学习文献中研究。最终,我们希望我们的工作有助于激励更广泛的搜索混合欧几里得-黎曼优化算法
2022-10-20 cs.LG math.OC
Trade-off preservation in inverse multi-objective convex optimization
本文提出了一种新的多目标凸优化的逆优化方法,该方法允许输入解可能不是Pareto最优的,并确定一个权向量,该权向量产生一个Pareto最优解,该最优解近似于输入解,并保留了决策者的意图。并展示了它与最小化最优性差距的关系。我们的逆模型保持了传统的逆凸模型的复杂性。我们提出了一个线性近似的模型和一个连续的线性规划算法,权衡保存和计算效率之间的平衡,并表明我们的模型包括许多现有的模型从文献。我们使用前列腺癌放射治疗的临床数据证明了所提出的方法。
2017-06-21 math.OC
The method of Bregman projections in deterministic and stochastic convex feasibility problems
在这项工作中,我们研究的方法Bregman预测确定性和随机凸可行性问题的三种类型的控制序列的选择集在算法过程中:贪婪,随机和自适应随机。我们深入分析仿射可行性问题的情况下,所提出的方法产生的迭代收敛Q-线性,并提供明确的全局和局部收敛速度。本文工作一方面概括了基于正交投影方法的线性系随机化求解方法的最新进展。另一方面,我们的研究结果产生的全局和局部Q-线性收敛速度的Sinkhorn和Greenhorn算法在离散熵正则化最优输运,第一次,即使在多边际设置。
2021-01-05 math.OC
Curvature of Feasible Sets in Offline and Online Optimization
众所周知,凸优化中的可行集的曲率允许算法具有更好的收敛速度,并且对于离线和在线问题都重新对这个主题感兴趣。在本文中,利用几何和凸分析的结果,我们进一步理解了曲率在优化中的作用:- 我们首先证明了两个曲率概念的等价性,即强凸性和规范体,证明了Abernethy等人的一个猜想。这表明弗兰克-沃尔夫-Wang和Abernethy的一种新的方法在强凸可行集上加快了收敛速度$O(\frac{1}{t^2})$,而不需要对目标函数作额外的假设。- 在在线线性优化中,我们确定了两个主要性质,有助于解释\emph{why/when}跟随领导者(FTL)在强凸集上只有对数遗憾。这允许人们直接恢复Huang等人的最近结果,证明了当增益向量为非负时,FTL在强凸集上具有对数后悔性。- 我们提供了一个有效的强凸逼近凸体的过程,同时顺利权衡逼近误差和曲率。这使得一个扩展的强凸集上的一般凸集的改进算法。作为一个具体的应用,我们将Dekel等人关于在线线性优化的结果推广到一般的凸集。
2021-05-11 cs.DS math.OC
MOCCA: mirrored convex/concave optimization for nonconvex composite functions
在高维统计中出现的许多最优化问题自然地分解为若干项的和,其中单个项相对简单,但是复合目标函数只能用迭代算法来优化。本文主要研究F(Kx)+ G(x)形式的最优化问题,其中K是固定的线性变换,F和G是非凸和/或不可微的函数.特别是,如果任何一项是非凸的,现有的交替最小化技术可能无法收敛;其他类型的现有方法可能无法处理不可微性。我们提出了MOCCA(镜像凸/凹)算法,一个原始/对偶优化方法,需要在每次迭代的每个术语的局部凸近似。受计算机断层扫描(CT)成像中出现的最优化问题的启发,该算法可以处理一系列非凸的复合最优化问题,并在整个问题近似凸(即,一项中的任何凸性被另一项中的凸性抵消)时提供收敛的理论保证。实验结果表明,几个结构化的信号恢复问题的快速收敛。
2016-06-29 math.OC
Relaxed Lagrangian Approach to First-Order Non-Convex Mean Field Type Control Problem
本文针对一阶平均场型控制问题中作用泛函非凸导致的困难,在Wasserstein空间上提出松弛拉格朗日方法,证明了新的松弛纳什均衡存在性,并说明该结果在凸数据条件下可涵盖经典平均场控制问题的存在性结论。
2025-06-03 math.OC
Safeguarded Learned Convex Optimization
Typal LLC(Typal有限责任公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Alibaba US, DAMO Academy(阿里巴巴美国达摩院)
在大量的应用中,最优化问题必须反复求解,每次都使用新的(但相似的)数据。解析优化算法可以手工设计,以迭代的方式可证明地解决这些问题。一方面,数据驱动算法可以“学习优化”(L2 O),迭代次数少得多,每次迭代的成本与通用优化算法相似。另一方面,不幸的是,许多L2 O算法缺乏收敛保证。为了融合这些方法的优点,我们提出了一个安全的L2 O框架。Safe-L2 O更新包含了一个保障措施,以保证使用近似和/或梯度预言机的凸问题的收敛性。该保护措施简单且计算成本低,并且仅在数据驱动的L2 O更新性能不佳或出现分歧时才会激活。这产生了使用机器学习来创建快速L2 O算法的数值优势,同时仍然保证收敛。我们的数值示例显示了Safe-L2 O算法的收敛性,即使提供的数据不是来自训练数据的分布。
2022-09-26 cs.LG math.OC
On eigenvectors of convex processes in non-pointed cones
凸过程的谱分析在凸过程的微分包含分析中得到了许多结果。特别是特征值与特征向量在一个给定的锥导致的结果可控性和稳定性。然而,这些特征只能处理尖锥。本文推广了已知的关于特征向量在给定锥内的凸过程的特征值的结果。此外,我们揭示了我们的主要定理和经典的几何控制理论的假设之间的联系。
2022-03-30 math.OC
Portfolio Optimization with Cumulative Prospect Theory Utility via Convex Optimization
研究在经验分布上最大化累积前景理论效用的投资组合优化问题,将CPT效用表示为两函数之差以推导全局下界,提出次函数最大化算法和凸-凹过程求解中小型复杂约束问题,并提供可扩展至大规模问题的简化方法。
2024-01-10 math.OC q-fin.PM
Disciplined Multi-Convex Programming
多凸优化问题是指当其他变量固定时,变量可以划分为若干个集合,在这些集合上问题是凸的。多凸问题通常使用交替或循环最小化的变化近似地解决。多凸问题出现在许多应用中,例如非负矩阵分解、广义低秩模型和结构控制综合等。在大多数应用中,迄今为止的多凸性是简单的手工验证。本文利用规则凸规划的思想研究了多凸性的自动检测与验证。我们描述了我们所提出的方法,检测和验证多凸性的实现,然后调用一般的解决方案的方法之一。
2016-10-08 math.OC
Global Solutions to Non-Convex Functional Constrained Problems with Hidden Convexity
ETH Zurich(苏黎世联邦理工学院);ETH AI Center(ETH人工智能中心);Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
针对含隐凸性的非凸约束优化问题,本文提出两类可证收敛到全局最优的算法,分别适配非光滑与光滑场景,无需约束规范,复杂度匹配无约束隐凸优化水平。
2025-11-13 cs.LG math.OC
A simplicial decomposition framework for large scale convex quadratic programming
本文深入分析了求解大规模凸二次规划的一个类单纯形分解算法框架。特别是,我们首先提出了两个量身定制的策略来处理主问题。然后,我们描述了一些技术,以加快解决定价问题。我们报告了大量的数值实验,真正的投资组合优化和一般的二次规划问题,显示的效率和鲁棒性的方法相比,Cplex。
2017-05-25 math.OC
The Implicit Convex Feasibility Problem and Its Application to Adaptive Image Denoising
隐式凸可行性问题试图在有限凸集族的交集中找到一个点,其中一些没有明确确定,但可能会有所不同。我们开发了能够处理这些问题的同时和顺序投影方法,并证明了它们在特定医学成像情况下对图像去噪的适用性。通过允许变量集进行缩放,移位和旋转,这项工作概括了以前的结果,其中隐式凸可行性问题被用于合作无线传感器网络定位,集是球,其中心是隐式的。
2016-06-19 math.OC
Online Non-convex Optimization with Long-term Non-convex Constraints
Department of Electrical and Computer Engineering(电气与计算机工程系);Johns Hopkins University(约翰霍普金斯大学);International Business School(国际商务学院);Suzhou Xi’an Jiaotong-Liverpool University(苏州市西安交通大学利物浦大学);Department of Data and Systems Engineering(数据与系统工程系);HKU Musketeers Foundation(HKU Musketeers基金会);Institute of Data Science(数据科学研究所);The University of Hong Kong(香港大学)
针对目标和约束均非凸的在线长期约束优化问题,提出结合拉格朗日重构、原始方向指数随机扰动与对偶方向强凹对数正则化的Follow-the-Perturbed-Leader类算法,首次实现次线性累积悔度,在河流污染源识别任务上性能优于现有方法。
2025-10-01 cs.LG math.OC
The Convex Geometry of Integrator Reach Sets
研究了有限维有界控制下积分动力学系统前向到达集的凸几何。我们推导出体积和直径的封闭形式表达式(即,这些集合的状态空间维度、控制界限和时间方面的最大宽度)。这些结果是新颖的,并使用凸分析给出了一个分析处理的"大小"的积分器到达集。几个具体的例子来说明我们的结果。我们设想,这里提出的想法将激励进一步的理论和算法的发展,可达集计算。
2019-11-21 math.OC
A Logic-Based Mixed-Integer Nonlinear Programming Model to Solve Non-Convex and Non-Smooth Economic Dispatch Problems: An Accuracy Analysis
提出了一种求解器友好的基于逻辑的混合整数非线性规划模型(LB-MINLP),用于求解考虑不相交运行区和阀点效应的经济调度问题。同时考虑ED问题中的传输损耗和逻辑约束会在线性化过程中或通过基于数学的方法处理时造成困难,这可能导致结果违反。不顺利的条款可能会使情况变得更糟。另一方面,具有逻辑约束的非凸非线性模型不能使用现有的非线性商业求解器求解。为了解释和弥补这些缺点,我们提出了一种新的重铸策略,以克服现有的非线性求解器的帮助下解决这样的复杂问题的障碍。该模型通过将逻辑约束转换为目标函数的混合整数项,可以方便商业求解器的预求解和探测技术。因此,它导致更高的精度的模型和更好的计算效率。实验结果表明,与现有的(基于解析器和基于求解器的)模型相比,LB-MINLP模型能够更容易地处理非光滑项和非线性项,并且能够更快地获得最优解,且不会产生任何结果冲突。
2018-10-12 math.OC
AGGLIO: Global Optimization for Locally Convex Functions
IIT Kanpur(印度理工学院坎普尔分校)
提出了AGGLIO(Accelerated Graduated广义线性模型优化)算法,它是一种分阶段的、渐进的优化技术,能够为非凸优化问题提供整体收敛保证,这些问题的目标仅具有局部凸性,甚至在全局尺度上可能不是准凸的。特别是,这包括使用流行的激活函数(如sigmoid,softplus和SiLU)的学习问题,这些函数会产生非凸训练目标。AGGLIO可以很容易地实现使用点以及小批量SGD更新,并提供可证明的收敛到一般条件下的全局最优值。在实验中,AGGLIO优于几个最近提出的优化技术,非凸和局部凸的目标方面的收敛速度以及收敛精度。AGGLIO依赖于广义线性模型的分级技术,以及一种新颖的证明策略,这两种方法可能都是独立的。
2021-11-06 cs.LG math.OC stat.ML
Convex variational methods for multiclass data segmentation on graphs
基于图的变分方法最近已被证明是非常有竞争力的各种分类问题的高维数据,但本质上是难以处理的优化的角度来看。本文提出了一个凸松弛的一组特定的基于图的多类数据分割问题,具有区域同质性条款,监督信息和/或某些约束或惩罚条款的类大小。具体应用包括高维数据的半监督分类和非结构化3D点云的无监督分割。理论分析表明,凸松弛密切接近原来的NP难问题,这些观察也证实了实验。一个有效的基于对偶的算法,处理所有的约束条件的标签功能隐式。半监督分类的实验表明,一贯更高的精度比相关的本地最小化方法,相当当训练数据不均匀分布在数据集。在三个基准数据集上,其准确性与广泛的其他已建立的方法相比也具有很强的竞争力。实验上的三维点云采集的激光雷达在室外场景中,表明场景可以准确地分割成对象类,如植被,地平面和人造结构。
2017-02-16 math.OC
A universal accelerated primal-dual method for convex optimization problems
提出了一种求解仿射约束凸优化问题的加速一阶原-对偶方法。它可以处理Lipschitz和Hölder梯度,但不需要知道目标函数的平滑度。在线搜索部分,它使用动态递减的参数,并产生近似的Lipschitz常数与适度的大小。此外,基于适当的离散李雅普诺夫函数和一些微分/差分不等式的紧衰减估计,建立了一个通用的最优混合型收敛速度.一些数值试验证实了所提出的方法的有效性。
2022-11-08 math.OC
Online convex optimization for data-driven control of dynamical systems
提出了一种基于在线凸优化的离散线性动力系统控制算法。该算法是数据驱动的,即,不需要系统的模型,并且能够处理先验未知的和时变的费用函数。为此,我们利用一个单一的持续激励的输入输出序列的系统和结果的行为系统理论,使其能够处理未知的线性定常系统。此外,我们考虑噪声输出反馈,而不是完整的状态测量,并允许一般的经济费用函数。我们的闭环分析表明,该算法是能够实现次线性遗憾,测量噪声只增加了一个额外的常数项的遗憾上界。为了做到这一点,我们推导出一个数据驱动的表征的稳态流形的未知系统。此外,我们的算法是能够渐近准确地估计测量噪声。通过一个详细的热控仿真实例说明了该方法的有效性和应用前景。
2022-11-16 math.OC
Can SGD Handle Heavy-Tailed Noise?
ETH Zürich(苏黎世联邦理工学院);Georgia Institute of Technology(佐治亚理工学院)
本文严格证明朴素SGD在仅假设随机梯度有界p阶矩(1<p≤2)时,在凸、强凸和非凸问题中分别达到极小极大最优或匹配下界的样本复杂度,挑战重尾噪声使SGD失效的观点,确立其稳健的理论基础。
2026-10-05 cs.LG math.OC
Disciplined Convex-Concave Programming
本文将约束凸规划(DCP)和凸-凹规划(CCP)的思想结合起来,提出了约束凸-凹规划(DCCP).凸-凹规划是一种有组织的启发式算法,用于解决涉及凸项和凹项之和的目标和约束函数的非凸问题。DCP是定义凸优化问题的一种结构化方法,基于一族基本凸和凹函数以及一些组合它们的规则。使用DCP表示的问题可以自动转换为标准式并由通用求解器求解;广泛使用的实现包括YALMIP、CVX、CVXPY和Convex. jl。在本文中,我们提出了一个框架,结合了这两个想法,并包括两个改进以前发表的工作凸-凹规划,特别是处理域的功能,和不可微的边界上的域的问题。我们描述了一个名为DCCP的Python实现,它扩展了CVXPY,并给出了示例。
2016-04-10 math.OC
An iterative process for the feasibility-seeking problem with sets that are unions of convex sets
本文针对凸集之并集(UCS)的可行性寻求问题提出一种迭代求解过程,该问题因在应用领域建模及处理非凸可行性方面的最新进展而重新受到关注。
2025-04-07 cs.NA math.NA math.OC
Almost surely constrained convex optimization
我们提出了一个随机梯度框架来解决随机复合凸优化问题,(可能)无限数量的线性包含约束,需要满足几乎必然。我们使用平滑和同伦技术来处理约束,而不需要矩阵值的投影。我们表明我们的随机梯度算法$\mathcal{O}(\log(k)/\sqrt{k})$收敛速度一般凸目标和$\mathcal{O}(\log(k)/k)$收敛速度的限制强凸目标。这些速率被认为是最佳的对数因子,即使没有约束。我们证明了我们的算法的性能与数值实验的基础上追求,硬保证金支持向量机和投资组合优化,并表明我们的算法达到了最先进的实用性能。
2019-01-31 math.OC
A Convex Loss Function for Set Prediction with Optimal Trade-offs Between Size and Conditional Coverage
Inria(法国国家信息与自动化研究所);PSL Research University(巴黎文理研究大学)
本文提出了一种用于集合预测的凸损失函数,通过优化集合大小与条件覆盖之间的平衡,提升分类和回归任务的性能。
2025-12-22 cs.LG math.OC stat.ML
A Stochastic Penalty Model for Convex and Nonconvex Optimization with Big Constraints
过去十年见证了涉及{ \em big data}和{ \em big models}的监督学习应用程序的重要性。大数据是指可用和所需的训练数据量在管道的训练阶段造成困难的情况。大模型是指需要大维度和过度参数化模型的情况。这两种现象都导致旨在通过设计新的复杂优化算法来解决这些问题的研究活动急剧增加。在本文中,我们将注意力转向{ \em big constraints}场景,并认为未来精心设计的机器学习系统将必然需要考虑大量的现实世界的约束,这些约束需要纳入训练过程。这一行的工作在很大程度上是未开发的,并为未来的工作和应用提供了充足的机会。为了处理{ \em大约束}制度,我们提出了一个{ \em随机惩罚}公式,{ \em将问题简化为众所周知的大数据制度}。我们的公式有许多有趣的性质,这些性质以各种方式与原始问题相关联,并具有数学保证。给出了非凸损失函数、光滑凸函数、强凸函数和凸约束的一些结果。我们通过实验表明,当需要中等精度的解决方案时,我们的方法可以击败几个数量级的竞争方法。
2018-10-31 math.OC
Faster Rates for the Frank-Wolfe Method over Strongly-Convex Sets
Technion - Israel Institute of Technology(以色列理工学院);Princeton University(普林斯顿大学)
Frank-Wolfe方法(a.k.a.近年来,在大规模优化和机器学习的背景下,用于平滑优化的条件梯度算法(conditional gradient algorithm)重新引起了人们的兴趣。该方法的一个关键优点是它避免了投影-许多应用中的计算瓶颈-用线性最优化步骤代替它。尽管有这个优点,FW方法的已知收敛速度对于大多数感兴趣的设置落后于标准的一阶方法。针对各种凸优化的设置导出更快的基于线性最优化的算法是一条活跃的研究路线。本文考虑强凸集上最优化问题的特殊情况,证明了vanila FW方法以$\frac{1}{t^2}$的速度收敛。与一般情况相比,这给出了收敛速度的二次改进,其中收敛是$\frac{1}{t}$阶的,并且已知是紧的。我们证明了由$\ell_p$范数、Schatten范数和群范数诱导的各种球一方面是强凸的,另一方面,在这些集合上的线性最优化是直接的,并且有一个封闭解.我们进一步展示了如何从我们的分析中很容易遵循FW方法的几个以前的快速率结果。
2015-08-14 cs.LG math.OC
Successive convex optimization for transformer encoder model predictive control
University of Oxford(牛津大学)
本文提出一种数据驱动的模型预测控制框架,利用transformer编码器生成多步预测。通过将非凸注意力机制转化为凸表示,并嵌入递进凸优化迭代中,保证了递归可行性与收敛性,最终得到满足约束的局部最优解。
2026-07-31 math.OC
Projections Onto Convex Sets (POCS) Based Optimization by Lifting
提出了两种新的基于凸空间投影(POCS)框架的优化技术,用于求解凸优化和某些非凸优化问题。将最小化问题的维数提升一个,并定义对应于费用函数的集合。如果费用函数是R^N中的凸函数,则对应的集合是R^(N+1)中的凸集。迭代优化方法从R^(N+1)中的任意初始估计开始,并且在最优化问题的每个步骤中以顺序的方式在集合之一上执行正交投影。该方法提供了全局最优解的总变化,过滤变化,l1,和熵费用函数。还通过实验观察到,可以通过使用支撑超平面概念来处理基于lp,p<1的费用函数。
2013-06-13 math.OC
Conditional Gradient Algorithms for Norm-Regularized Smooth Convex Optimization
受信号处理和机器学习中的一些应用的启发,我们考虑两个凸优化问题,其中,给定锥$K$,范数$\|\cdot\|$和光滑凸函数$f$,我们希望1)最小化锥和$f$的水平集的交集上的范数,或者2)最小化锥上的$f$和范数的倍数之和。我们专注于的情况下,(a)的问题的尺寸太大,允许内点算法,(b)$\|\cdot\|$是“太复杂”,允许计算便宜的Bregman预测所需的一阶近端梯度算法。另一方面,我们假设{在$K$和单位$\|\cdot\|$ -ball的交集上最小化线性型是相对容易的}。激励的例子给出了核范数与$K$是整个空间的矩阵,或半正定锥空间的对称矩阵,和全变差规范的空间的二维图像。我们讨论的版本的条件梯度算法能够处理我们感兴趣的问题,提供相关的理论效率估计,并概述了一些应用。
2013-03-28 math.OC stat.CO stat.ML
Collision Avoidance Maneuver Optimization with a Multiple-Impulse Convex Formulation
提出了一种计算短期相遇最优避碰机动的方法。机动被建模为多脉冲处理脉冲的情况下,并近似有限燃烧弧与短的警报时间或使用低推力推进。机动设计被表述为一系列凸优化问题,通过最先进的原始-对偶邻域点算法在多项式时间内求解。所提出的方法计算最优解没有假设的推力弧结构和推力方向。对于具有数百个变量和约束的最优化问题,执行时间仅为几分之一秒,因此适合于自主计算。
2021-06-09 math.OC
A Unified Convergence Analysis of First Order Convex Optimization Methods via Strong Lyapunov Functions
利用强李雅普诺夫条件的概念,给出了一阶凸优化方法的统一收敛性分析。结合适当的时间尺度因子,我们能够处理凸和强凸的情况下,并建立许多现有的常微分方程模型的李雅普诺夫函数的收缩性质。然后,我们推导出流行的一阶优化算法,如近似梯度法,重球方法(也称为动量方法),Nesterov加速梯度法,加速近似梯度法从相应的动力系统的数值离散。我们还应用强李雅普诺夫条件的离散水平,并提供了一个更系统的分析框架。另一个贡献是一个新的二阶动力系统称为Hessian驱动Nesterov加速梯度流,可用于设计和分析光滑和非光滑凸优化的加速一阶方法。
2021-07-31 math.OC
Senior Thesis for Haverford College Convex Optimization, Newton's Method and Interior Point Method
本文由四个一般部分组成:凸集、凸函数、凸优化和邻域点算法。首先介绍了凸集的定义,并给出了本文后面要用到的三个常见凸集的例子,然后证明了重要的分离定理和支撑超平面定理。进入凸函数,除了给出定义外,我还将证明函数凸性的一阶和二阶条件,然后介绍几个例子,这些例子将在后面的凸优化问题中使用。接下来,我将给出凸优化问题的正式定义,并证明它们所具有的一些特征,包括解的存在性(通过最优性准则)和唯一性。我还将生成两个凸优化问题,其中一个不能简单地解决,需要额外的技能。之后,我将引入对偶性,以便构造邻点法。在最后一节中,我将首先介绍下降法和牛顿法,它们是邻域点法的基础。然后,我将展示如何使用对数障碍函数和中心路径来建立通道点方法。
2020-09-24 math.OC
A Parallelizable Dual Smoothing Method for Large Scale Convex Regression Problems
凸回归(CR)是一种将凸函数拟合到有限个观测值的方法。它出现在不同领域的各种应用中,如统计学,运筹学,经济学和电气工程。最小二乘(LS)估计量可以通过求解二次规划(QP)来计算,是一种直观的凸回归方法,具有已经建立的强有力的理论保证。另一方面,由于QP公式中的约束的数量在观察到的数据点的数量上二次地增加,所以使用传统的内点方法求解QP很快变得不切实际。为了解决这个问题,我们提出了一种基于双重平滑的一阶方法,该方法通过并行化仔细管理内存使用,以便在实践中有效地计算大规模CR实例的LS估计量。
2016-08-07 math.OC
Learning Hierarchical Interactions at Scale: A Convex Optimization Approach
Massachusetts Institute of Technology(麻省理工学院)
在许多学习环境中,通过成对交互来增强主要特征是有益的。这样的交互模型通常可以通过在所谓的强层次约束下执行变量选择来增强:只有当其相关的主要特征非零时,交互才是非零的。现有的基于凸优化的算法面临的困难,在处理的问题,其中的主要特征的数量$p \sim 10^3$(与总数量的功能$\sim p^2$)。在本文中,我们研究了一个凸松弛,强制强层次,并开发了一个高度可扩展的算法的基础上,最近梯度下降。我们引入新的筛选规则,允许并行解决复杂的近端问题。此外,我们引入了一个专门的有效集策略,梯度筛选,以避免昂贵的梯度计算。该框架可以处理具有密集的设计矩阵的问题,与$p = 50,000$($\sim 10^9$相互作用)-实例是远远大于当前的最先进的。真实和合成数据的实验表明,我们的工具包hierScale优于最先进的预测和变量选择方面,可以实现超过4900倍的速度。
2020-07-14 cs.LG math.OC stat.CO
Multi-Period Liability Clearing via Convex Optimal Control
我们考虑的问题,确定一组实体之间的支付顺序,清除(如果可能的话)他们之间的负债。我们将其表述为最优控制问题,当目标函数为时,该问题是凸的,因此很容易解决。对于这个最优控制问题,我们给出了一些有用的和有趣的凸成本和约束,可以以任何方式结合起来,用于不同的应用。我们描述了一些扩展,例如,处理现金和负债的未知变化,允许救助,找到最短的时间来清除负债,或最小化未清除的负债数量,当完全清除负债是不可能的。
2020-05-18 math.OC q-fin.CP
Discrete Convex Functions on Graphs and Their Algorithmic Applications
本文阐述了作者近年来发展的关于某些图结构上的离散凸函数的理论。该理论是Murota的离散凸分析的衍生物,其动机是多流问题中的组合对偶和图上设施定位问题的复杂性分类。我们概述了组合最优化问题的理论和算法应用。
2017-09-07 math.OC
Numerical Methods for Convex Multistage Stochastic Optimization
Georgia Institute of Technology(佐治亚理工学院)
在随机规划、随机最优控制和马尔可夫决策过程中,研究了随机环境下的序列决策最优化问题。在本文中,我们主要集中在SP和SOC建模方法。在这些框架中,有自然的情况下,所考虑的问题是凸的。序列优化的经典方法是基于动态规划的。它具有所谓的“非线性诅咒”问题,即其计算复杂性随状态变量维数的增加而呈指数增长。凸多阶段随机问题的最新进展是基于动态规划方程的成本(价值)函数的截平面近似。动态环境下的割平面类算法是本文的主要研究内容之一。我们还讨论了应用于多阶段随机最优化问题的随机逼近型方法。从计算复杂性的角度看,这两类方法似乎是相辅相成的。割平面型方法可以处理具有大量阶段的多阶段问题,但状态(决策)变量的数量相对较少。另一方面,随机逼近型方法只能处理少量的阶段,但却处理大量的决策变量。
2023-03-28 cs.AI cs.LG math.OC
Randomized projection methods for convex feasibility problems: conditioning and convergence rates
在闭凸集集合的交集中寻找一个点,即凸可行性问题,代表了许多计算问题的主要建模策略。在本文中,我们分析了新的随机重新制定的凸可行性问题,以促进新的算法方案的发展。我们还分析了条件问题的参数使用某些(线性)的正则性假设的个人凸集。然后,我们介绍了一个通用的随机投影算法框架,它扩展到随机设置许多现有的投影计划,设计一般凸可行性问题。我们的一般随机投影算法允许同时在几个集合上进行投影,从而提供了很大的灵活性,可以在并行架构上匹配算法的实现。基于条件参数,除了渐近收敛的结果,我们还得到显式的次线性和线性收敛速率的一般算法框架。
2018-01-15 math.OC
Distributed Convex Optimization with Many Convex Constraints
Friedrich-Schiller-University Jena(耶拿弗里德里希-施特劳斯大学)
本文提出一种扩展的ADMM方法,用于解决具有众多凸约束的分布式凸优化问题,继承了ADMM和增广拉格朗日方法的收敛性保证。
2018-04-06 cs.LG cs.NA math.NA
One Gradient Frank-Wolfe for Decentralized Online Convex and Submodular Optimization
Inria(法国国家信息与自动化研究所);University Grenoble-Alpes(格勒诺布尔-阿尔卑斯大学);CNRS(法国国家科学研究中心);Grenoble INP(格勒诺布尔国立理工学院)
近年来,分散学习在联邦学习中的广泛应用引起了人们的广泛关注。以往的研究大多集中在离线设置的目标函数是静态的。然而,在众多见证海量数据变化的机器学习应用程序中,离线设置变得不切实际。在本文中,我们提出了\emph{decentralized online}算法的凸和连续DR-次模优化,两类功能,存在于各种机器学习问题。我们的算法实现的性能保证相媲美的集中式离线设置。此外,平均而言,每个参与者在每个时间步仅执行\emph{single}梯度计算。随后,我们将我们的算法扩展到强盗设置。最后,我们说明了我们的算法在现实世界的实验中的竞争力的表现。
2022-10-30 cs.DS cs.LG math.OC
Every Local Minimum Value is the Global Minimum Value of Induced Model in Non-convex Machine Learning
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
对于机器学习中的非凸优化问题,本文证明了扰动梯度基模型的每个局部极小值在任意可微点处都能达到全局最优值。因此,非凸机器学习理论上与具有手工基础的凸机器学习一样,在可微局部最小值处的损失方面得到支持,除了在优先考虑手工基础而不是可扰动梯度基础的情况下。这些结果的证明是在温和的假设下推导出来的。因此,证明的结果直接适用于许多机器学习模型,包括实际的深度神经网络,而无需对实际方法进行任何修改。此外,作为我们的一般结果的特殊情况,本文改进或补充了几个国家的最先进的理论结果,深神经网络,深残差网络,超参数化的深神经网络与统一的证明技术和新的几何见解。我们的结果的一个特例也有助于表征学习的理论基础。
2019-11-15 cs.LG cs.NE math.OC
Block stochastic gradient iteration for convex and nonconvex optimization
Rice University(莱斯大学);UCLA(加州大学洛杉矶分校)
随机梯度(SG)方法可以使由大量可微函数组成的目标函数最小化,或者以中等精度解决随机最优化问题。另一方面,块坐标下降/更新(BCD)方法通过一次更新一个变量来处理多个变量块的问题;当变量块单独更新比一起更新更容易时,BCD具有较低的每次迭代成本。本文介绍了一种结合SG和BCD特点的方法,用于解决目标中含有多个分量和多个(块)变量的问题。具体来说,提出了一种用于求解凸规划和非凸规划的块随机梯度(BSG)方法。在每次迭代中,BSG通过随机采样一小组数据或从目标中的和项中采样几个函数来近似目标的可微部分的梯度,然后使用这些样本,它以确定性或随机混洗顺序更新所有变量块。在不同的意义下,证明了它对凸和非凸情形的收敛性。在凸情形下,该方法具有与SG方法相同的收敛速度阶。在非凸的情况下,它的收敛性建立在一阶最优性条件的预期违反。所提出的方法进行了数值测试的问题,包括随机最小二乘和逻辑斯谛回归,这是凸的,以及低秩张量恢复和双线性逻辑斯谛回归,这是非凸的。
2015-03-02 cs.LG cs.NA math.NA