Exact Worst-case Performance of First-order Methods for Composite Convex Optimization
我们提供了一个框架，用于计算任何算法的精确最坏情况下的性能，该算法属于基于Oracle的复合凸优化的一阶方法的广泛类别，包括执行显式，投影，邻近，条件和不精确（子）梯度步骤的算法。我们同时获得紧最坏情况下的保证和明确的最优化问题的算法达到这个最坏的情况下的实例。我们通过将最坏情况的计算减少到求解凸半定程序来实现这一点，推广了Drori和Teboulle [13]以及作者[43]以前关于性能估计的工作。我们使用这些发展，以获得一个更严格的分析的邻近点法和快速近端梯度，条件梯度，次梯度和交替投影方法的几个变种。特别是，我们提出了一个新的分析最坏情况下保证的邻近点法，是以前已知的两倍，并提高了标准的最坏情况下保证的条件梯度法的两个以上的因素。我们还展示了Kim和Fessler在[22]中提出的优化梯度法如何通过引入投影或邻近算子来扩展，这导致了一种算法，该算法在最坏情况下的收敛速度是标准加速邻近梯度法的两倍[2]。
2019-11-21 math.OC
Worst-case convergence analysis of relatively inexact gradient descent on smooth convex functions
本文利用PEP框架，对光滑凸函数上带相对误差界的梯度下降算法进行最坏情况收敛性分析，推导单步精确行为、多步上下界，并给出最优常数步长选择。
2025-09-11 math.OC
Convex Cones of Generalized Positive Rational Functions and Nevanlinna-Pick Interpolation
纯量有理函数在右半半平面上具有非负实部，称为正实部，是电网络、耗散系统、Nevanlinna-Pick插值等领域的经典研究对象。本文研究广义正函数，即在虚轴上实部非负的函数。这些功能形成一个凸可逆锥，cic在短期内，我们探讨了两个partitionings的这个集合：（i）到一对偶数和奇数subcics和（ii）（无限多个不可逆）凸锥的功能与规定的极点和零点在右半平面。然后证明了一个正函数总是可以写为偶数和奇数部分的和，只是在更大的广义正的集合上。众所周知，在正函数上Nevanlinna-Pick插值并不总是可行的。在广义正的情况下，没有简单的方法来进行这种插值。随后利用第二分区介绍一个简单的Nevanlinna-Pick插值过程。最后，我们表明，只有一些这些性质进行了广义有界函数，映射的虚轴的单位磁盘。
2012-02-06 math.OC
Convex-Concave Interpolation and Application of PEP to Bilinear-Coupled Saddle-Point Problem
Moscow Institute of Physics ans Technology（莫斯科物理科学与技术学院）；Innopolis University（因诺波利斯大学）；Yandex Research（Yandex研究院）
本文研究凸-凹插值，给出凸-凹、双线性及带双线性耦合的复合函数的插值条件，并针对复合鞍点问题的一阶方法构造性能估计问题（PEP），将算法最坏性能求解转化为优化问题。
2026-08-13 math.OC
Optimal first-order methods for convex functions with a quadratic upper bound
我们分析了一阶最优化方法在光滑和凸函数的函数类上的最坏情况收敛保证。这个类包含允许一个简单的二次上界的凸函数。它的研究动机是它在小扰动下的稳定性。我们提供了一个彻底的分析一阶方法，包括最坏情况下的收敛保证几个算法，并证明其中一些实现了最佳的最坏情况下的保证类。我们支持我们的分析，最坏情况下的保证，使用性能估计问题的数值验证。从这个分析中可以得出一些观察结果，特别是关于最优性（分别是）。和自适应性）的重球方法（分别。重球与线搜索）。最后，我们展示了如何利用我们的分析来获得更复杂的函数类的收敛保证。总的来说，这项研究带来了对标准一阶方法具有最坏情况保证的函数类的选择的见解。
2022-05-30 math.OC
The exact worst-case asymptotic rate of Nesterov acceleration for strongly convex optimization
Zuse Institute Berlin（柏林齐布研究所）；Technische Universität Berlin（柏林工业大学）；Princeton University（普林斯顿大学）
该研究刻画了Nesterov加速梯度法求解光滑强凸优化的精确最坏情况渐近速率，给出了其渐近表达式，证明该速率可由有限维函数实现且不随迭代相关参数增大。
2026-10-14 math.OC
Generalizing the optimized gradient method for smooth convex minimization
本文推广了优化梯度法（OGM），它能使光滑凸极小化一阶方法的最坏费用函数界达到最优。具体而言，本文研究了广义的制定OGM和分析其最坏情况下的利率的函数值和范数的函数梯度。本文还提出了一种新的算法称为OGM-OG，它是在OGM的广义家庭，并具有最好的已知的分析最坏情况下的限制率$O(1/N^{1.5})$的梯度范数下降固定步骤的一阶方法。本文还证明了Nesterov的快速梯度法具有$O(1/N^{1.5})$最坏情况梯度范数率，但常数大于OGM-OG。证明是基于最坏情况下的分析称为性能估计问题。
2018-04-01 math.OC
A constraint-based approach to function interpolation, with application to performance estimation for weakly convex optimisation
提出一种基于代数层面的函数插值约束获取方法，为有界次梯度的弱凸函数类推导插值约束，并借此改进了次梯度方法的性能界限。
2025-09-15 math.OC
Exact worst-case convergence rates of gradient descent: a complete analysis for all constant stepsizes over nonconvex and convex functions
KU Leuven（荷语鲁汶大学）；UCLouvain（法语鲁汶大学）
本文推导了梯度下降法在非凸和凸函数上的精确最坏收敛速率，并提出了一种改进的变体梯度下降法。
2026-01-22 math.OC
Model Construction for Convex-Constrained Derivative-Free Optimization
本文针对凸约束无导数优化（DFO）中仅采样可行点难以达到标准精度的问题，提出适用于线性回归和欠定二次插值模型的新的逼近理论，扩展了已有凸约束线性插值理论。
2024-03-22 math.OC
Some Analogue of Quadratic Interpolation for a Special Class of Non-Smooth Functionals and One Application to Adaptive Mirror Descent for Constrained Optimization Problems
许多著名的梯度型最优化方法的收敛速度的理论估计是基于二次插值，只要满足梯度的利普希茨条件。本文在局部Lipschitz拟凸泛函类中，利用本文所引入的非光滑条件（Lipschitz连续次梯度），得到了构造类似插值的可能性.作为应用，本文给出了自适应镜像下降法求解具有多个凸泛函约束的拟凸局部Lipschitz泛函极小化问题的收敛速率的估计.
2018-12-16 math.OC
Verification of Sequential Convex Programming for Parametric Non-convex Optimization
University of Pennsylvania（宾夕法尼亚大学）
本文提出一种验证框架，用于为参数非凸优化中的序列凸编程算法提供全局最坏情况性能保证。
2025-11-27 math.OC
A Unified Theory of Robust and Distributionally Robust Optimization via the Primal-Worst-Equals-Dual-Best Principle
本研究基于广义“原最坏等于对偶最优”原理构建鲁棒与分布鲁棒非线性优化的统一理论，建立两类问题的强对偶性与有限凸重构，推广了Wasserstein模糊集合的相关结果。
2023-07-19 math.OC
Performance Estimation for Smooth and Strongly Convex Sets
Johns Hopkins University（约翰斯·霍普金斯大学）
针对光滑且强凸集合，通过证明插值定理将性能估计问题转化为结构化数学规划，并应用于分离超平面法和线性优化算法的最优性分析。
2026-06-02 math.OC
Polling Set Construction and Worst-Case Complexity for Direct Search under Polyhedral Convex Constraints
University of Melbourne（墨尔本大学）；Université Paris Dauphine-PSL（巴黎第九大学-PSL）
针对多面体凸约束，提出一种新的直接搜索理论框架，通过构造包含近似切锥外方向的轮询集，实现与模型基方法相当的最坏情况复杂度保证，并验证了添加额外方向对实际性能的提升。
2026-05-27 math.OC
Optimizing the Efficiency of First-Order Methods for Decreasing the Gradient of Smooth Convex Functions
本文根据最坏情况收敛界（即，效率）的梯度范数的下降。这项工作是基于性能估计问题的方法。对于高维光滑凸极小化问题，在初始费用函数值有界的条件下，所得到的方法的最坏情况梯度界是最优的直到一个常数.然后，本文说明了所提出的方法具有计算效率的形式，是类似于优化的梯度法。
2020-10-27 math.OC
Robust Bond Portfolio Construction via Convex-Concave Saddle Point Optimization
本文指出基于敏感性的债券投资组合最坏情况价值估计偏保守，可通过凸优化精确求解，并利用凸-凹鞍点优化构建包含最坏情况价值的多头债券投资组合。
2024-01-10 math.OC q-fin.PM
A Data-Driven Convex Programming Approach to Worst-Case Robust Tracking Controller Design
研究离散线性系基于输入输出数据的有限时域鲁棒跟踪控制问题。我们利用行为理论，通过一组无噪声的历史数据来表示系统轨迹，而不是使用显式的系统模型。通过假设最近的输出数据可用于控制器的噪声项验证二次界的影响，我们制定了一个最优化问题的线性成本和LMI约束求解鲁棒跟踪问题，没有任何近似。我们的方法取决于与数据相关的系统表示兼容的噪声轨迹的参数化和重新制定的跟踪成本，这使得应用程序的S-引理。此外，我们提出了一种方法，用于减少的计算复杂性，并证明了所得到的LMI的大小不与历史数据的数量的规模。最后，我们表明，所提出的配方可以很容易地将执行器的干扰，以及对输入和输出的约束。新的控制器的性能进行了讨论，通过仿真。
2021-02-23 math.OC
Convex invertible cones and Nevanlinna-Pick interpolation: The suboptimal case
Nevanlinna-Pick插值从经典复分析中的一个主题发展成为解决控制理论和电气工程中各种问题的有用工具。多年来，许多扩展的原始问题被认为是，包括扩展到不同的函数空间，非平稳问题，几个变量的设置和插值矩阵和算子点。本文讨论了在实矩阵点上赋值的正实奇函数的Nevanlinna-Pick插值的一种变形。这个问题由Cohen和Lewkowicz使用凸可逆锥和李雅普诺夫阶进行了研究，但从未完全解决。在本文中，我们提出了一个解决这个问题的特殊情况下，我们称之为“次优”的基础上与经典的情况下连接。解决方案需要一个线性矩阵映射的表示，可以追溯到R. D。希尔和分析时，积极的线性矩阵地图是完全积极的，我们在以前的工作报告，我们将在这里简要回顾。
2022-05-27 math.FA math.OC
Convex Optimization with an Interpolation-based Projection and its Application to Deep Learning
TU Darmstadt（达姆施塔特工业大学）；Télécom Paris（巴黎高等电信学院）
凸优化器作为深度神经架构中的可微层有许多应用。这些凸层的一个应用是将点投影到凸集中。然而，这些凸层的前向和后向传递的计算都比典型的神经网络的计算要昂贵得多。在本文中，我们调查是否一个不准确的，但更便宜的投影，可以驱动下降算法的最佳。具体来说，我们提出了一个插值为基础的投影，计算成本低，易于计算给定的凸，域定义，功能。然后，我们提出了一个优化算法，遵循梯度的组成的目标和投影，并证明其收敛性的线性目标和任意凸和Lipschitz域定义的不等式约束。除了理论上的贡献，我们证明经验的插值投影的实际利益时，结合神经网络在强化学习和监督学习设置。
2020-11-13 cs.LG math.OC stat.ML
Optimal H2 moment matching-based model reduction for linear systems by (non)convex optimization
在本文中，我们计算家庭的降阶模型，匹配一个规定的一组时刻的高维线性定常系统。首先，我们完全参数化模型的插值点和自由参数，然后我们固定的插值点集和参数化模型只在自由参数。基于这两种参数化方法，以误差逼近的H ~ 2-范数为目标函数，导出了非凸最优化问题，即，我们寻找最佳的自由参数，甚至插值点，以确定近似模型产生最小的H2-范数误差。此外，我们提供了必要的一阶最优性条件，这些最优化问题给出明确的可控性和可观性Gramian的最小实现的误差系统。利用这些最优性条件，我们提出了求解相应最优化问题的梯度型方法，并给出了收敛性的数学保证。我们还推导出这些问题的凸SDP松弛和分析时，凸松弛是准确的。我们数值说明了我们的结果在几个测试例子的效率。
2018-11-18 math.OC
Some Worst-Case Datasets of Deterministic First-Order Methods for Solving Binary Logistic Regression
本文给出了求解大规模二元逻辑斯谛回归问题的确定性一阶方法的最坏情况数据集。在算法迭代次数远小于问题维数的假设下，对于我们的最差情况数据集，它至少需要$\mathcal{O}(1/\sqrt{\varepsilon})$一阶oracle查询来计算$\varepsilon$ -近似解。从传统的迭代复杂性分析的角度来看，二元逻辑斯谛回归损失函数与我们的最坏情况的数据集是新的最坏情况的函数类光滑凸优化问题的情况。
2019-08-12 math.OC
On the Worst-Case Analysis of Cyclic Block Coordinate Descent type Algorithms
INMA, UCLouvain（UCLouvain）；National University of Science and Technology Politehnica Bucharest（布加勒斯特理工大学）；Gh. Mihoc-C. Iacob Institute of Mathematical Statistics and Applied Mathematics of the Romanian Academy（罗马尼亚科学院Gh. Mihoc-C. Iacob应用数学与统计研究所）
本文针对坐标-wise 光滑凸函数无约束极小化问题，通过扩展性能估计问题方法，改进了三类循环块坐标下降算法的最坏情况收敛上界，揭示了 CCD 的尺度不变性等性质，并发现现有加速方案对确定性算法效率低下。
2026-08-20 math.OC
Model-Based Derivative-Free Methods for Convex-Constrained Optimization
我们提出了一个基于模型的衍生物的自由优化方法受到一般的凸约束，我们假设是unrelaxable和访问，只有通过一个投影算子，是廉价的评估。我们证明了整体收敛和最坏情况下的复杂性的$O(ε^{-2})$迭代和非凸函数的客观评价，匹配结果的无约束的情况下。与现有方法相比，我们引入了新的，较弱的模型精度要求。结果，仅使用可行点就可以构造足够精确的插值模型。我们开发了一个全面的理论插值集管理在这个政权的线性和复合线性模型。我们实现了我们的非线性最小二乘问题的方法，并表现出较强的实用性能相比，通用求解器。
2022-03-16 math.OC
A Unifying Complexity Certification Framework for Active-Set Methods for Convex Quadratic Programming
在模型预测控制（MPC）中，必须在每个时间步处求解优化问题，这在实时应用中使得有效地求解这些最优化问题并且具有良好的最坏情况解时间的上界变得重要。通常对于线性MPC问题，所讨论的最优化问题是取决于诸如系统状态和参考信号的参数的二次规划（QP）。求解此类QP的一种流行的方法是有效集方法，其中求解一系列线性系方程。我们提出了一个算法，用于计算有效集算法将解决的子问题的序列，对于每个感兴趣的参数。通过知道这些序列，可以确定活动集算法需要收敛的最坏情况下的迭代次数以及最终的最大时间。所提出的方法的有用性示出了一组QP，源自MPC问题，通过计算原始和对偶有效集算法需要达到最优的确切的最坏情况下的迭代次数。
2020-04-10 math.OC
Exact worst-case convergence rates for Douglas--Rachford and Davis--Yin splitting methods
本文针对凸优化问题，利用原始-对偶间隙函数作为性能度量，首次为 DRS 的两种变体和 DYS 的一种变体建立了包含常数因子的精确最坏情况收敛速率，并为 DYS 另一变体给出了已知最佳速率及变体间差异的具体示例。
2025-09-12 math.OC
Learning with Optimal Interpolation Norms
我们分析了一类范数定义通过一个最优插值问题，涉及到的组合范数和一个线性算子。这种构造，称为凸分析中的infimal后合成，被证明包含了机器学习，信号处理和统计中用作正则化器的各种规范。特别是，这些包括潜在组套索，重叠组套索，以及用于学习张量的某些范数。我们建立了这类规范的基本性质，我们提供了对偶规范。本文还讨论了对更一般的凸函数类的推广。一个随机块坐标版本的道格拉斯-Rachford算法的设计来解决最小化问题，涉及这些正则化。该算法的一个突出特点是，它产生的迭代收敛到一个解决方案的情况下，非光滑损失和随机块更新。最后，我们提出了采用潜在的组套索惩罚问题的数值实验。
2017-08-29 math.OC
Curiosities and counterexamples in smooth convex optimization
给出了光滑凸强制集上一些老的最优化问题的反例。我们表明，块坐标，最速下降精确搜索或布雷格曼下降法一般不收敛。其他失败的各种理想的功能建立：方向收敛的柯西的梯度曲线，收敛的牛顿流，有限长度的Tikhonov路径，收敛的中心路径，或光滑Kurdyka-Lojasiewicz不等式。所有示例都是平面的。这些例子是基于一般光滑凸插值结果。给定平面上正曲Ck凸紧集的递减序列，给出了Ck光滑凸函数的水平集插值，其中k $\ge$ 2是任意的.如果交是减少到一个点，我们的插值有正定的Hessian，否则它是正定的解决方案集。此外，给定一个递减多边形序列，我们提供了一个与顶点一致的插值，其梯度与规定的法线一致。
2020-01-29 math.OC
Subgradient Methods for Nonsmooth Convex Functions with Adversarial Errors
针对受有限预算对抗性破坏的非光滑凸函数最小化问题，提出三种无需动量或平均的次梯度下降法，其最坏性能随破坏预算线性下降且接近最优，并给出对应一阶方法的次优性间隙下界。
2025-10-03 math.OC
On the convergence rate of the boosted Difference-of-Convex Algorithm (DCA)
Tilburg University（蒂尔堡大学）；INRIA（法国国家数字科学研究所）
本文研究了增强型差分凸算法在最坏情况下的收敛速度，证明其在特定DC分解下优于传统DCA，并通过半定规划方法提供了理论支持。
2026-02-19 math.OC
Interpolation Conditions for Linear Operators and Applications to Performance Estimation Problems
本文推广性能估计问题框架至线性算子，给出插值条件，并据此精确分析梯度法与Chambolle-Pock方法的收敛性能，改进现有结果并发现迭代平均有益。
2024-03-15 math.OC
The exact information-based complexity of smooth convex minimization
本文给出了光滑函数和凸函数的一阶极小化问题的信息复杂度的一个新下界。我们表明，边界匹配最近推出的优化梯度法的最坏情况下的性能，从而建立边界是紧的，可以实现一个有效的算法。证明是基于一种新的构造技术的光滑和凸函数。
2016-06-04 math.OC
Interpolation by polynomials with symmetries on the imaginary axis
在这里，我们专门的标准矩阵值多项式插值的情况下，在虚轴上的插值多项式承认各种对称性：半正定，斜埃尔米特，$J$ -埃尔米特，汉密尔顿和其他。该过程是三个阶段，说明了通过的情况下，在$i\R$的插值多项式是半正定的。首先，以加倍次数为代价，得到一个极小次插值多项式$P(s)$，它在$i\R$上是Hermite的.然后，我们找到所有的多项式$Ψ(s)$，消失的插值点是半正定的$i\R$。最后，利用正半定矩阵的集合是埃尔米特矩阵的凸子锥的事实，可以计算最小标量$\hatβ\geq 0$，使得$P(s)+βΨ(s)$满足所有$β\geq\hatβ$的所有插值约束。这种方法，然后适应的情况下，当家庭的插值多项式不是凸的。只要是凸的，我们就参数化所有的最小次插值多项式。
2012-08-09 math.CV math.OC
First Order Algorithm on an Optimization Problem with Improved Convergence when Problem is Convex
针对目标函数为Lipschitz连续梯度的可能非凸函数与凸（可非光滑）函数之和的优化问题，提出FISTA改进版一阶算法，非凸时迭代复杂度$\mathcal{O}(ε^{-2})$、凸时改进为$\mathcal{O}(ε^{-2/3})$，并给出渐近收敛率。
2025-08-18 math.OC
Topology optimization with worst-case handling of material uncertainties
本文提出了一种考虑材料不确定性的拓扑最优化方法。在最坏情况下处理不确定性，即对于每个拓扑结构，考虑给定不确定性集上最坏可能的材料分布。最坏情况下的方法会导致一个极大极小问题，这是分析整个文件。提出了内部最大化问题的保守凸松弛，它允许通过最小化最优值函数来处理极大极小问题。一个Tikhonov型和障碍正则化计划的开发，使所得的最小化问题连续可微。屏障正则化方案被证明更适合于问题的实际解决方案，因为它可以与用于评估最优值函数及其梯度的高效内点方法密切相关。基于此，外部最小化问题可以通过基于梯度的优化求解器来逼近，如移动渐近线方法。增材制造以及材料降解的例子进行了检查，证明了所建议的方法的实用性和效率。最后，研究了内问题的凸松弛的影响。据观察，对于大的材料偏差，稳健的解决方案可能会变得过于保守。作为一种补救措施，RAMP型连续计划的内部问题的建议和数值试验。
2018-12-12 math.OC
Worst case complexity bounds for linesearch-type derivative-free algorithms
本文研究了线搜索类型无导数算法的最坏情况复杂度界限，证明了两种算法在非凸光滑函数优化中的O(ε^{-2})复杂度特性。
2023-02-13 math.OC
Almost Worst Case Distributions in Multiple Priors Models
最坏情况分布是在一个合理的风险因子分布族中的一些随机收益的期望的最小化。风险因子分布的可量化性由凸积分泛函。这包括相对熵、布雷格曼距离和$f$ -发散的特殊情况。（$ε$ - $γ$）-几乎最坏情况分布是一种风险因子分布，其违反可接受性约束的最大量为$γ$，并且其预期收益不比最坏情况好超过$ε$。从实践的角度来看，几乎最坏情况分布的本地化可能有助于有效对冲它们。我们证明了几乎最坏的情况下的分布的密度集群在Bregman附近的一个指定的功能，解释为最坏的情况下本地化。在常规情况下，它与最坏情况密度一致，但当后者不存在时，最坏情况定位器甚至可能不是密度。我们还讨论了最坏情况下的定位器的计算，以及它的依赖于阈值的可扩展性约束。
2015-06-04 math.OC
Proximal methods for minimizing the sum of a convex function and a composite function
本文将\cite{Nesterov2007a}和\cite{Nesterov2007b}中提出的算法方案推广到复合目标函数和凸函数之和的最小化问题。给出了两个邻近点型格式，并研究了它们的整体收敛性。在一定的利普希茨条件和非退化条件下，估计了最坏情况下的复杂性界.然后对算法进行加速，使其在强凸情形下具有更快的收敛速度。
2011-05-02 math.OC
Black-Box Min--Max Continuous Optimization Using CMA-ES with Worst-case Ranking Approximation
在这项研究中，我们研究了最小最大连续优化问题的黑箱设置$\min_{x} \max_{y}f(x,y)$。一种流行的方法同时或交替地更新$x$和$y$。然而，现有的方法有两个主要的局限性。(I)由于$x$和$y$之间的相互作用项（例如，$x^\mathrm{T} B y$）在Lipschitz光滑和强凹凸函数$f$上的收敛速度较慢。(II)如果$f$在最优解附近不是Lipschitz光滑的且不是强凹凸的，则该方法不能收敛。为了解决这些困难，我们建议最小化的最坏情况下的目标函数$F(x)=\max_{y}f(x,y)$直接使用协方差矩阵自适应演化策略，其中的解决方案的候选人的排名近似于我们提出的最坏情况下的排名近似（WRA）机制。与现有的方法相比，数值实验表明，我们提出的方法有两个重要的发现。(1)所提出的方法在$f$方面是有效的-调用具有大交互项的Lipschitz光滑且强凹凸函数。(2)所提出的方法可以收敛于函数，不是Lipschitz光滑和强凹凸周围的最优解，而现有的方法失败。
2022-04-06 cs.NE math.OC
Alternating direction method of multipliers for convex programming: a lift-and-permute scheme
针对线性约束凸规划，提出了一种交替方向法的提升置换算法。它不仅包含了新发展的平衡增广拉格朗日方法及其对偶原变分，而且还包含了近似ADMM和Douglas-Rachford分裂算法。它有助于提出加速算法的最坏情况下的$O(1/k^2)$收敛速度的情况下，要最小化的目标函数是强凸的。
2022-03-30 math.OC
Convergence rate analysis of randomized and cyclic coordinate descent for convex optimization through semidefinite programming
本文研究了凸无约束最优化问题的随机坐标下降和循环坐标下降。利用数值半定规划的性能估计方法，在某些情况下改进了已知的收敛速度。作为一个副产品，我们提供了一种方法来分析最坏情况下的性能的高斯-赛德尔迭代法的线性系的系数矩阵是半正定的正对角。
2022-12-23 math.OC
An inexact perturbed path-following method for Lagrangian decomposition in large-scale separable convex optimization
本文在拉格朗日对偶分解的框架下，提出了一种求解大规模结构凸优化问题的不精确扰动路径跟踪算法。与文献中考虑的确切版本不同，我们允许一个解决原始问题不精确到一个给定的精度。不精确扰动算法允许使用近似黑塞矩阵和近似梯度向量来计算对偶问题的牛顿型方向。该算法分为两个阶段。第一阶段利用不精确扰动阻尼牛顿型迭代计算初始点，而第二阶段利用不精确扰动全步牛顿型迭代执行路径跟踪算法。我们分析了这两个阶段的收敛性，并估计了最坏情况下的复杂度。作为一种特殊情况，导出了拉格朗日松弛的精确路径跟踪算法，并估计了其最坏情况的复杂度。该变体与先前已知的方法相比具有一些差异。实施细节进行了讨论和数值结果报告。
2011-09-15 math.OC
Iteration complexity of the Difference-of-Convex Algorithm for unconstrained optimization: a simple proof
NAXYS, University of Namur（NAXYS，南特大学）
本文通过简单证明，展示了差分凸算法在无约束优化中的迭代复杂度及收敛速率分析。
2026-01-22 math.OC
Effective reproduction number: Convexity, invariance and cordons sanitaires
研究了一类无限集合种群模型（包括SIS，SIR，SEIR，. . .),当损失函数由有效再现数Re给出时，有效再现数Re被定义为有效下一代矩阵（在有限维中）或更一般地有效下一代算子（在无限维中）的谱半径。给出了Re是接种策略的凸函数或凹函数的充分条件。然后，根据以前的工作，我们考虑的双目标问题，同时最小化成本和疫苗接种策略的损失。特别是，我们证明了防疫线可能不是最佳的，但它仍然比“最坏”的疫苗接种策略。受图论的启发，我们使用独立集来计算确保不发生感染的最小代价。使用Frobenius分解的整个人口到不可约的子群体，我们给出了一些明确的公式，最佳（“最好”和“最坏”）的疫苗接种策略。最后，我们提供等价的模型，确保功能Re是不变的。
2021-10-25 math.OC
Advancing Multi-Secant Quasi-Newton Methods for General Convex Functions
本文针对一般凸函数提出对称化且经PSD扰动的多割线拟牛顿方法，证明其超线性收敛并展示数值优势，同时研究其有限内存BFGS扩展在凸与非凸问题上的加速收敛效果。
2025-04-09 math.OC
Hessian barrier algorithms for non-convex conic optimization
我们考虑通过一类新的自适应一阶和二阶最优化方法在正则锥与仿射集的交点上最小化连续函数，该方法建立在[Bomze，Mertikopoulos，Schachinger和Staudigl，线性约束最优化问题的Hessian障碍算法，SIAM Journal on Optimization，2019]中引入的Hessian障碍技术的基础上。我们的方法是基于一个潜在的减少机制，并获得适当定义的类近似的一阶或二阶KKT点的最佳最坏情况下的迭代复杂度$O(\varepsilon^{-2})$（一阶）和$O(\varepsilon^{-3/2})$（二阶），分别。我们的方法的一个关键特征是使用自和谐的障碍函数，通过纪律分解方法，而不牺牲迭代的复杂性的方法，以构建严格可行的迭代。据我们所知，这项工作是第一次实现这些最坏情况下的复杂性界一般锥约束最优化问题在这种弱条件下。
2022-10-17 math.OC
A Second-Order Method for Strongly Convex L1-Regularization Problems
本文发展了一种鲁棒二阶方法来求解强凸l1正则化问题。主要目的是使所提出的方法尽可能便宜，而即使是困难的问题也可以有效地解决。所提出的方法是一个原始-对偶牛顿共轭矩阵（pdNCG）方法。研究了pdNCG的收敛性，并建立了最坏情况下的迭代复杂度.在合成稀疏最小二乘问题和现实世界的机器学习问题的数值结果。
2015-01-11 math.OC
An Even More Optimal Stochastic Optimization Algorithm: Minibatching and Interpolation Learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
我们提出并分析了一种算法，优化光滑和凸或强凸的目标，使用小批量随机梯度估计。该算法是最优的，它同时依赖于小批量和最小期望损失。这改进了Lan（2012）的最优方法，该方法对最小预期损失不敏感; Cotter等人的乐观加速。（2011），它对小批量大小具有次优依赖性;以及Liu和Belkin（2018）的算法，该算法仅限于最小二乘问题，并且对于小批量大小也同样是次优的。应用于插值学习，对Cotter等人和Liu和Belkin的改进转化为线性的，而不是平方根的并行化加速。
2021-10-26 cs.LG math.OC
Worst Case Competitive Analysis of Online Algorithms for Conic Optimization
在线优化包括在线资源分配、在线二分匹配、adwords（电子商务和广告的核心问题）和具有可分离凹回报的adwords等问题。我们分析了最坏情况下的竞争比的两个原始-对偶算法的一类在线凸（锥）优化问题，包含前面的例子作为特殊情况下定义的正正交。我们推导出一个充分条件的目标函数，保证一个恒定的最坏情况下的竞争比（大于或等于$\frac{1}{2}$）的单调目标函数。我们提供了新的例子，在线问题的正正交和半正定锥，满足充分条件。我们展示了如何平滑可以提高这些算法的竞争比，特别是可分离的功能，我们表明，最佳平滑可以通过求解凸优化问题。这一结果使我们能够直接优化竞争比约束一类平滑函数，从而设计有效的平滑定制给定的成本函数。
2016-11-02 cs.DS math.OC
Automated Lyapunov Analysis of Primal-Dual Optimization Algorithms: An Interpolation Approach
本文针对线性约束凸优化中的一阶原始-对偶算法，提出基于插值和线性矩阵不等式的自动李雅普诺夫分析方法，可证明比文献结果更快的指数收敛速率。
2023-09-20 cs.SY eess.SY math.OC
Energy Efficient Distributed Worst Case Robust Power Allocation in Massive MIMO
本文提出了一种大规模多输入多输出（MIMO）系统中能量有效的分布式最坏情况鲁棒功率分配算法。我们假设一个有界的信道状态信息（CSI）错误和所有的信道位于一些有界的不确定性区域。该问题被表述为具有无穷约束的最大-最小问题。首先利用三角形和Cauchy-Schwarz不等式求解内问题，然后利用分式规划和逐次凸逼近（SCA）技术将问题转化为凸优化问题。最后通过分配的方法得到发射功率的封闭形式。仿真结果证明了算法的收敛性和鲁棒性。此外，在仿真结果中示出了具有最大能量效率的发射天线的适当数量。
2019-01-02 cs.IT eess.SP math.IT
SGD for Structured Nonconvex Functions: Learning Rates, Minibatching and Interpolation
LTCI, Télécom Paris, Institut Polytechnique de Paris（巴黎综合理工学院电信学院LTCI研究所）；ENS Paris, CREST-ENSAE, CNRS（巴黎高等师范学院、CREST-ENSAE、法国国家科学研究中心）；Mila and DIRO, Université de Montréal（蒙特利尔大学Mila研究所与计算机科学与运筹学系）
随机梯度下降（SGD）通常用于优化非凸函数。然而，标准的收敛理论SGD在光滑的非凸设置给出了一个缓慢的次线性收敛到一个稳定点。在这项工作中，我们提供了几个收敛定理SGD显示收敛到一个全局极小值的非凸问题，满足一些额外的结构假设。特别是，我们专注于两个大类的结构化非凸函数：（i）类（强）凸函数（凸函数的推广）和（ii）函数满足Polyak-Lojasiewicz条件（强凸函数的推广）。我们的分析依赖于预期残差条件，我们表明这是一个严格弱于以前使用的增长条件，预期平滑或有界方差假设的假设。我们提供了不同的步长选择，包括常数，减少和最近提出的随机Polyak步长的SGD的收敛性的理论保证。此外，我们所有的分析都适用于任意采样范例，因此，我们深入了解了minibatch的复杂性，并确定了最佳的minibatch大小。最后，我们表明，对于插值训练数据的模型，我们可以免除我们的期望残差条件，并在此设置中给出最先进的结果。
2021-03-22 cs.LG math.OC stat.ML
Learning Distributionally Robust First-Order Methods for Convex Optimization
Department of Operations Research and Financial Engineering, Princeton University（普林斯顿大学运筹学与金融工程系）；Research Institute of Mathematics, Seoul National University（首尔国立大学数学研究所）
本文提出基于分布鲁棒方法的学习优化框架，通过最小化Wasserstein鲁棒PEP优化算法超参数，统一了经典L2O与最坏情况最优算法设计，在多个基准测试中展现出优越的样本外性能与鲁棒性。
2026-09-30 cs.LG math.OC
Painless Stochastic Gradient: Interpolation, Line-Search, and Convergence Rates
Mila（米拉人工智能研究所）；Université de Montréal（蒙特利尔大学）；University of British Columbia（不列颠哥伦比亚大学）；Element AI（元素人工智能公司）；QBit（1量子比特公司）；Amii（阿尔伯塔机器智能研究所）
最近的工作表明，随机梯度下降（SGD）实现了快速收敛速度的全批梯度下降满足一定的插值条件的过参数化模型。然而，在这些作品中使用的步长取决于未知量和SGD的实际性能在很大程度上依赖于这个步长的选择。我们建议使用线搜索技术来自动设置步长时，训练模型，可以插值的数据。在插值设置中，我们证明了SGD与经典的Armijo线搜索的随机变体达到凸和强凸函数的确定性收敛速度。在额外的假设下，SGD与Armijo线搜索实现非凸函数的快速收敛。此外，我们证明了随机超梯度与Lipschitz线搜索达到线性收敛的一类重要的非凸函数和鞍点问题满足插值。为了提高算法的实际性能，我们给出了使用更大步长和加速的算法。我们将所提出的算法与使用内核方法和深度网络的标准分类任务上的众多优化方法进行比较。所提出的方法在所有模型和数据集上都具有竞争力的性能，同时对超参数的精确选择具有鲁棒性。对于使用深度网络的多类分类，使用Armijo线搜索的SGD可以实现更快的收敛和更好的泛化。
2021-06-04 cs.LG math.OC stat.ML
