Universal fast gradient method for stochastic composit optimization problems
我们提出了一个新的简单的快速梯度法的变种，每次迭代只需要一个投影。我们称这种方法为三角形方法（TM），因为它有一个相应的几何描述。我们推广TM的凸和严格凸的复合最优化问题。然后，我们提出了通用三角形方法（UTM）的凸和严格凸的复合最优化问题（见余。内斯特罗夫，数学程序。2015.有关什么是通用快速梯度法的更多详细信息）。最后，基于小批量技术，我们提出了随机通用三角形法（SUTM）。SUTM可以应用于随机凸和严格凸的复合最优化问题。表示所有方法TM、UTM、SUTM在严格凸性参数上是连续的，并且所有方法都达到已知的下界。通过对问题结构的额外假设，这些方法比下界更有效。
2017-11-27 math.OC
Duality in convex problems of Bolza over functions of bounded variation
本文在Rockafellar的共轭对偶框架下研究Bolza的凸问题。我们用一个在金融经济学问题中具有直接经济解释的广义Borel测度来描述这个问题。我们推导出了最优值函数在连续对偶弧上的对偶表示，并给出了解存在的条件。结合绝对连续弧上Bolza问题的著名结果，我们得到了推广的Hamilton条件下的最优性条件.
2013-09-09 math.OC
Convexification with bounded gap for randomly projected quadratic optimization
基于Johnson-Lindenstrauss引理的随机投影技术用于随机聚集最优化问题的约束或变量，同时近似保持其最优值，从而导致较小规模的最优化问题。D 'Ambrosio等人将随机投影应用于二次最优化问题，以减少决策变量的数量。虽然问题规模变小了，但如果原始问题是非凸的，那么投影问题几乎肯定也是非凸的，因此很难解决。本文针对非凸二次最优化问题的非凸性可以通过随机投影得到缓解这一事实，通过将其归结为一个较小规模的凸问题，找到了该问题的近似全局最优值.据我们所知，我们的论文是第一个将随机投影用于非凸优化问题的凸化。本文研究了一类非凸优化问题的最优解与其凸化随机投影问题的最优解之间的逼近误差。
2021-07-12 math.OC
Universal Gradient Methods for Stochastic Convex Optimization
本研究针对随机凸优化问题，提出基于梯度差与迭代点差组合累积调整步长的通用梯度方法，可自动适配噪声与赫尔德光滑性，达当前最优最坏情况收敛率，还给出了具最优效率估计的通用快速梯度方法。
2024-07-11 math.OC
On Global Maximization of Bounded Hessian Functions over Strongly Convex Domains
在本文中，我们提出了两个框架，其中一个强凸集上的有界海森函数的全局最大化可以减少到凸优化。第一个提出的框架是我们以前的论文之一的延续[11]。在$C$不属于n个圆盘中心的凸包的条件下，改进了已有的结果，给出了n个圆盘的有限交中最远点到$C \in \mathbb{R}^{n \times 1}$的多项式时间显式算法.最后，为了克服这一限制，我们提出了第二个框架，其特征在于最远的n-磁盘与$C$在凸包的有限交叉。不幸的是，第二个框架需要能够决定我们定义的多面体是否包含在交集中，这通常很难。然而，作为我们的第二个框架的一个特殊应用，我们能够在P时间解决一些实例的子集和问题的实际项目：给定一组实数决定是否有一个子集，加起来为零。
2021-07-18 math.OC
Replacing projection on finitely generated convex cones with projection on bounded polytopes
本文讨论了由生成元有限集生成的多面体凸锥上的投影问题，并将其转化为由原锥简单截断得到的多面体上的投影问题。然后，它可以解决只有两个密切相关的投影到同一个有界多面体。这种方法的计算性能取决于关键工具的效率，用于解决在给定的有限集点的凸包中找到最小范数元素的基本问题。在我们的数值实验中，我们为此使用了在开源系统中实现的专用有限算法，用于矩阵向量计算倍频程。该算法实际上与生成器的数量和它们的维数之间的比例无关，并且当点的数量超过原始问题的维数时，该算法的性能明显优于内置于八度音阶中的活动集变量的通用二次规划算法。
2020-10-23 math.OC
Stationary Point Sets: Convex Quadratic Optimization is Universal in Nonlinear Optimization
研究了参数最优化问题中的局部拓扑结构、驻点集等。我们的主要结果表明，分层同构，任何这样的结构已经存在于小子类的参数化问题的凸二次目标函数和仿射线性约束。换句话说，凸二次问题产生了驻点集的局部拓扑结构的标准形。因此，我们看到，只要不涉及等式约束，驻点集的闭包构成一个有边界的带边流形。边界恰好是Mangasarian Fromovitz约束规格的违反集。一个副结果指出，不动点集和违反集的Mangasarian Fromovitz约束规格进行相同的一组可能的局部结构的分层空间。
2013-11-04 math.OC
Some Strongly Polynomially Solvable Convex Quadratic Programs with Bounded Variables
本文首先研究了一类变量有界的凸二次规划问题，其参数主元旋转算法具有$\mathcal{O}(n^3)$强多项式复杂性，其中$n$是问题的变量个数.本文还讨论了Hessian类的推广。我们的研究是由最近的参考文献[7]的动机，其中的二次规划的有效解与三对角黑塞矩阵的二次目标是需要的多项式时间算法的建设，以解决相关的稀疏变量选择问题。利用三对角结构，QP算法的复杂度降低到$\mathcal{O}(n^2)$。我们的强多项式性结果推广了某些P-矩阵的强多项式可解线性互补性问题的工作[9];推广结果的特殊情况除了三对角问题外还包括弱拟对角占优问题。
2022-09-27 math.OC
A Benson-Type Algorithm for Bounded Convex Vector Optimization Problems with Vertex Selection
针对有界凸向量优化问题，本文改进 2014 年的 primal 算法，引入新的高效顶点选择规则，在保持相同逼近质量的同时减少标量问题求解数并提升速度。
2020-06-28 math.OC
A Universal Primal-Dual Convex Optimization Framework
我们提出了一个新的原始-对偶算法框架的原型约束凸优化模板。我们的框架的算法实例是通用的，因为它们可以自动适应未知的霍尔德连续度和常数的对偶公式。他们也保证有最佳的收敛速度的目标残差和可行性差距为每个霍尔德平滑度。与现有的原始对偶法相比，我们的框架避免了目标函数的邻近算子。相反，我们利用计算成本更低的Fenchel型算子，这是广义条件梯度（GCG）型方法的主要工具。与GCG类方法相比，该框架不要求目标函数是可微的，并且可以处理额外的一般线性包含约束，同时保证了原问题的收敛速度
2015-11-06 math.OC
Convex envelopes of bounded monomials on two-variable cones
该研究针对受取值上下界与双齐次线性定义域约束的n元单项式函数，推导了n≥2时的上包络锥不等式、n=2时的下包络及凸包体积，为混合整数非线性优化相关分支规则设计提供理论支撑。
2023-08-24 math.OC
Approximations of unbounded convex projections and unbounded convex sets
针对现有凸投影方法仅适用于有界凸集的局限，提出基于内外近似思想、适配改进无界凸向量优化问题求解方法的新算法，可同时处理有界与无界凸投影及相关凸集近似问题。
2024-12-09 math.OC
Convex integer minimization in fixed dimension
证明了在有界凸集的整数点上极小化凸函数是固定维数的多项式。
2012-03-19 math.OC
On the Universality of Simple Trust-Region Algorithms
Weierstrass Institute for Applied Analysis and Stochastics (WIAS)（魏尔斯特拉斯应用分析与随机性研究所）
研究为二次信赖域方法建立通用复杂度保证，基于新模型减少估计确定通用行为机制。证明基本方法在凸性下通用，给出复杂度界，还表明相关变体在多情况通用，揭示信赖域机制适应性，为其实际成功提供理论支持。
2026-07-23 math.OC
Lipschitz estimates on the JKO scheme for the Fokker-Plack equation on bounded convex domains
给定凸有界区域$Ω$上的半凸势V，考虑具有势V的Fokker-Planck方程的Jordan-Kinderlehrer-Otto格式，它定义了对于固定时间步长$τ$ > 0，密度序列$ρ$ k $\in$ P（$Ω$）.设V是$α$ -凸的，即D2 V $\ge$ $α$ I，证明了log $ρ$ + V的Lipschitz常数满足如下不等式：Lip（log（$ρ$ k+1）+ V）（1 + $α$ $τ$）$\le$ Lip（log（$ρ$ k）+ V）.如果$α$ > 0，则这提供了指数衰减，Lipschitz在有界时间间隔上有界，这与连续时间方程的结果一致，并且扩展了Lee在周期情况下的先前分析。
2020-07-16 math.AP math.OC
Convex integral functionals of processes of bounded variation
本文在本质有界变差随机过程线性空间$\mathcal N^\infty$上，当$\mathcal N^\infty$等同于正则过程空间的Banach对偶时，刻画了凸积分泛函的共轭和次微分.我们的证明是基于新的结果交换的集成和最小化的BV过程的积分泛函。在较弱的条件下，证明了共轭域包含在半鞅空间中，这在随机控制和数理金融中的对偶理论中有一些应用。
2016-05-25 math.OC math.PR
Convex Potential Flows: Universal Probability Distributions with Optimal Transport and Convex Optimization
University of Montreal（蒙特利尔大学）；Mila（米拉研究所）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）；CIFAR（加拿大高级研究院）
基于流的模型是设计具有易处理密度的概率模型的有力工具。本文介绍了凸势流（CP流），一个自然和有效的参数化的可逆模型的启发，最佳运输（OT）理论。CP流是强凸神经势函数的梯度映射。凸性意味着可逆性，并允许我们诉诸凸优化来解决有效的反演凸共轭。为了使最大似然训练，我们推导出一个新的梯度估计的对数行列式的雅可比矩阵，其中涉及到求解逆海森向量积使用共轭梯度法。梯度估计器具有恒定的记忆成本，并且可以通过降低凸优化例程的误差容限水平来使其有效地无偏。在理论上，我们证明了CP流是泛密度逼近器，并且在OT意义下是最优的。我们的实证结果表明，CP-Flow在密度估计和变分推理的标准基准上具有竞争力。
2021-02-23 cs.LG math.OC
Basic convex analysis in metric spaces with bounded curvature
本文在曲率有上界的Alexandrov空间中，通过投影和法锥定义并证明次梯度的存在性，关联仿射极小化性质，进而推导出最小化两凸函数之和的必要最优性条件。
2023-11-24 math.MG math.OC
Faster Convex Optimization: Simulated Annealing with an Efficient Universal Barrier
University of Michigan（密歇根大学）；Princeton University（普林斯顿大学）
本文探讨了两种截然不同的凸优化方法之间令人惊讶的等价性。本文证明了模拟随机游动算法在某种意义上与熵泛障碍函数的中心路径内点算法是等价的。这种连接表现出几个好处。首先，我们能够改善现有的凸优化的时间复杂度下的成员预言模型。我们利用Nesterov和Nemirovskii开发的工具，基于中心路径跟踪内点算法，改进了Kalai和Vempala的随机算法的分析。我们能够收紧模拟退火的温度时间表，从而提高运行时间，在某些情况下减少了尺寸的平方根。其次，我们得到了一个有效的随机内点方法，它具有一个有效的可计算的通用障碍，适用于任何由成员预言机描述的凸集。以前，有效计算的障碍是已知的，只有特定的凸集。
2015-11-05 cs.LG math.OC
A Bisection Method to Solve The Elvis Problem With Convex Bounded Velocity Sets
文[2]研究了Elvis问题，证明了其解的存在性。然而，在非光滑的情况下，他们的计算仍然没有解决。针对一般的凸有界速度集，提出了一种求解二维Elvis问题的对分法。证明了算法的收敛速度是线性的。最后，在光滑和非光滑速度集上进行了数值试验，证明了算法的鲁棒性。
2023-03-15 cs.NA math.NA math.OC
Adaptivity and Optimality: A Universal Algorithm for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文研究了自适应在线凸优化问题，旨在设计一种通用的算法，该算法能对多种常见类型的损失函数达到最优后悔界。现有的通用方法是有限的，在这个意义上，他们是最佳的损失函数的一个子类。为了解决这个问题，我们提出了一种新的在线方法，即Maler，它享有最佳的$O(\sqrt{T})$，$O(d\log T)$和$O(\log T)$遗憾边界一般凸，指数凹，和强凸函数分别。其基本思想是并行运行具有不同学习率的多种类型的学习算法，并利用Meta算法动态跟踪最佳学习算法。实验结果证明了该方法的有效性。
2019-05-15 cs.LG math.OC stat.ML
Universal Representation of Generalized Convex Functions and their Gradients
Department of Economics, New York University（纽约大学经济学系）
本文提出一种可微层，通过凸参数空间实现广义凸函数及其梯度的通用逼近，应用于最优传输映射和多商品拍卖问题，将嵌套双层优化问题转化为可高效求解的单层问题。
2026-05-12 cs.LG math.OC
Convex and Non-convex Optimization Under Generalized Smoothness
Massachusetts Institute of Technology（麻省理工学院）
针对经典优化分析依赖梯度利普希茨条件的局限，本文推广非均匀光滑条件，提出轨迹梯度界化的分析技术，无需梯度裁剪即可得到多种方法在凸/非凸场景的经典收敛率，还可处理重尾噪声。
2023-11-03 cs.LG math.OC stat.ML
Parameterized Convex Universal Approximators for Decision-Making Problems
Seoul National University（首尔国立大学）；Institute of Advanced Aerospace Technology（先进航空航天技术研究所）
针对一般决策问题，提出了参数化极大仿射（PMA）网络和参数化对数和指数（PLSE）网络。建议的逼近器推广现有的凸逼近器，即，最大仿射（MA）和对数和指数（LSE）网络，通过考虑条件和决策变量的函数参数，并将MA和LSE网络的网络参数替换为关于条件变量的连续函数。证明了PMA和PLSE的普适逼近定理，表明PMA和PLSE是参数化凸连续函数的保形普适逼近器。提供了将深度神经网络纳入PMA和PLSE网络的实用指南。数值模拟表明所提出的逼近器的性能。仿真结果表明，PLSE优于其他现有的逼近器的最小值和最优值误差的可扩展性和高效的计算高维情况下。
2022-07-13 cs.LG cs.NE math.OC
Convex Risk Bounded Continuous-Time Trajectory Planning in Uncertain Nonconvex Environments
MIT（麻省理工学院）
在本文中，我们解决的轨迹规划问题，在不确定的非凸静态和动态环境中，包含概率位置，大小和几何形状的障碍物。为了解决这个问题，我们提供了一个风险有界的轨迹规划方法，寻找连续时间的轨迹，保证有界的风险在规划时间范围内。风险被定义为与不确定障碍物发生碰撞的概率。现有的方法来解决风险有界的轨迹规划问题要么是有限的高斯不确定性和凸障碍或依赖于基于采样的方法，需要不确定性样本和时间离散化。为了解决风险有界的轨迹规划问题，我们利用风险轮廓的概念，将风险有界的规划问题转化为一个确定性的优化问题。风险等值线是不确定环境中具有有界风险的所有点的集合。所得到的确定性优化，在一般情况下，非线性和非凸时变优化。我们提供了基于平方和优化的凸方法来有效地解决所得到的非凸时变优化问题，并获得连续时间的风险有界的轨迹，而无需时间离散化。所提供的方法处理任意概率不确定性，非凸和非线性，静态和动态的障碍，并适用于在线轨迹规划问题。
2021-06-10 cs.RO cs.SY eess.SY
Universal Online Convex Optimization Meets Second-order Bounds
National Key Laboratory for Novel Software Technology（现代软件工程国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）；College of Computing, Georgia Institute of Technology（佐治亚理工学院计算学院）；JD AI Research（京东AI研究院）
本文提出一种通用在线凸优化策略，通过专家集合与带二阶界和超额损失的元算法聚合预测，统一处理强凸、指数凹和一般凸函数，并扩展至在线复合优化，在保持极小极大最优性的同时取得问题相关遗憾界。
2024-11-20 cs.LG math.OC
A convex formulation of strict anisotropic norm bounded real lemma
Institute of Control Sciences of Russian Academy of Sciences（俄罗斯科学院控制科学研究所）
针对概率分布不精确已知的随机扰动系统，提出基于熵理论各向异性范数的H∞有界实引理扩展，通过凸优化高效计算系统各向异性范数。
2011-11-05 cs.SY eess.SY math.OC
Universal Online Convex Optimization with $1$ Projection per Round
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；School of Artificial Intelligence, Nanjing University（南京大学人工智能学院）
针对通用在线凸优化中每轮需多次投影导致的高时间开销问题，本文基于黑箱归约与专家建议框架，提出每轮仅需1次投影的通用算法，通过创新的遗憾分解与专家损失设计，同时为多种凸函数建立最优遗憾界并实现小损失遗憾。
2024-05-30 cs.LG math.OC
Convex Risk Bounded Continuous-Time Trajectory Planning and Tube Design in Uncertain Nonconvex Environments
MIT, Computer Science；Artificial Intelligence Laboratory. These authors contributed equally to the paper.
针对含概率障碍物的不确定非凸动静环境，本文利用风险等值线将规划转化为确定性优化，并通过平方和凸优化实现无时间离散化的连续时间风险有界轨迹及最大安全管设计。
2023-06-04 cs.AI cs.RO math.OC
On the Sample Complexity of Set Membership Estimation for Linear Systems with Disturbances Bounded by Convex Sets
本文研究线性系统在凸集有界扰动下的集合成员估计，放宽持续激励与扰动形状假设，利用块鞅小条件建立高概率收敛速率，并通过数值实验验证。
2025-09-10 math.OC math.ST stat.ML
Adaptivity and Universality: Problem-dependent Universal Regret for Online Convex Optimization
National Key Laboratory for Novel Software Technology, Nanjing University, China（国家新型软件技术重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）
本文提出UniGrad方法，实现在线凸优化的通用性和问题依赖性，通过两种实现方式达到不同函数类的最优遗憾界。
2025-11-25 cs.LG math.OC stat.ML
Projection-Free Bandit Convex Optimization
Yale Institute for Network Science（耶鲁网络科学研究所）；Yale University（耶鲁大学）
在本文中，我们提出了第一个计算效率高的无投影算法的强盗凸优化（BCO）。我们表明，我们的算法实现了$O(nT^{4/5})$（其中$T$是地平线和$n$是维数）的任何有界凸函数的一致有界梯度的次线性遗憾。我们还评估了我们的算法的性能对基线的合成和真实的数据集二次规划，投资组合选择和矩阵完成问题。
2018-09-07 cs.DS cs.LG math.OC
