Universal Average-Case Optimality of Polyak Momentum
Polyak momentum（PM），也称为重球方法，是一种广泛使用的最优化方法，在二次目标上具有渐近最优的最坏情况复杂度。然而，其显着的经验成功并不能完全解释这种最优性，作为最坏情况下的分析-相反的平均情况-是不代表的预期复杂性的算法。在这项工作中，我们建立了一个新的PM和平均情况下的分析之间的联系。我们的主要贡献是证明，任何最佳的平均情况下的方法收敛于PM的迭代次数，在温和的假设。这为这种经典方法带来了一个新的视角，表明PM是渐近最坏情况和平均情况下的最优。
2021-01-21 math.OC
Analytic analysis of the worst-case complexity of the gradient method with exact line search and the Polyak stepsize
本文通过研究一族梯度法的线性收敛与渐近行为，首次以解析方式刻画了精确线搜索和 Polyak 步长梯度法的最坏情形复杂度。
2024-07-06 math.OC
Exact Worst-case Performance of First-order Methods for Composite Convex Optimization
我们提供了一个框架，用于计算任何算法的精确最坏情况下的性能，该算法属于基于Oracle的复合凸优化的一阶方法的广泛类别，包括执行显式，投影，邻近，条件和不精确（子）梯度步骤的算法。我们同时获得紧最坏情况下的保证和明确的最优化问题的算法达到这个最坏的情况下的实例。我们通过将最坏情况的计算减少到求解凸半定程序来实现这一点，推广了Drori和Teboulle [13]以及作者[43]以前关于性能估计的工作。我们使用这些发展，以获得一个更严格的分析的邻近点法和快速近端梯度，条件梯度，次梯度和交替投影方法的几个变种。特别是，我们提出了一个新的分析最坏情况下保证的邻近点法，是以前已知的两倍，并提高了标准的最坏情况下保证的条件梯度法的两个以上的因素。我们还展示了Kim和Fessler在[22]中提出的优化梯度法如何通过引入投影或邻近算子来扩展，这导致了一种算法，该算法在最坏情况下的收敛速度是标准加速邻近梯度法的两倍[2]。
2019-11-21 math.OC
Worst-case Complexity Bounds of Directional Direct-search Methods for Multiobjective Optimization
直接多重搜索是一种成熟的算法，适用于多目标无导数优化。在这项工作中，我们分析了最坏情况下的复杂性，这类方法在其最一般的配方无约束优化。考虑到非凸光滑函数，我们表明，驱动一个给定的临界性措施低于一个特定的积极的阈值，直接多重搜索需要最多的迭代次数成正比的平方的倒数的阈值，提出的目标函数的组件的数量。这个数字也与第一次不成功的迭代和紧接在满足临界条件的迭代之前的迭代之间的链接序列集的大小成比例。然后，我们专注于一个特定的实例直接多重搜索，它认为接受新的非受控点更严格的标准。在这种情况下，我们可以建立一个更好的最坏情况的复杂性界限，简单地与阈值的倒数的平方成比例，用于驱动相同的关键性度量低于所考虑的阈值。
2020-11-03 math.OC
The Row Normalization Puzzle in Muon
Columbia University（哥伦比亚大学）
本文研究 Muon 优化器中行归一化（NorMuon）的理论保证，发现其最坏情况复杂度存在维度因子，但实验显示其在 LLM 预训练中优于 Muon，揭示了理论与实践之间的谜团。
2026-10-02 cs.LG math.OC
Heuristics for the Worst Optimal Value of Interval Transportation Problems
Prague University of Economics and Business（布拉格经济商业大学）
本文提出了一种膜算法，结合遗传算法和局部搜索，用于高效近似区间运输问题的最劣最优值，并通过实验验证其有效性。
2026-02-01 math.OC
Randomized Robust Price Optimization
针对鲁棒多产品定价问题，本文提出随机鲁棒价格优化方法，通过指定价格向量分布最大化最坏收益，给出离散候选集最优随机化方案，在真实零售数据集上最坏收益提升达92%且样本外收益更高。
2025-02-14 math.OC
An Inexact Regularized Newton Framework with a Worst-Case Iteration Complexity of $\mathcal{O}(ε^{-3/2})$ for Nonconvex Optimization
提出了一种求解光滑非凸最优化问题的算法，在最坏的情况下，该算法采用$\mathcal{O}(ε^{-3/2})$迭代来驱动目标函数的梯度范数低于一个指定的正实数$ε$，并且可以采用$\mathcal{O}(ε^{-3})$迭代来驱动目标函数的Hessian的最左特征值高于$-ε$ .所提出的算法是一个通用的框架，涵盖了广泛的技术，包括二次和三次正则化牛顿方法，如自适应正则化使用三次（ARC）方法和最近提出的信赖域算法与收缩和扩张（TRACE）。我们的方法的一般性是通过引入通用的条件，每个试验步骤需要满足，特别是允许使用不精确的正则化牛顿步骤。这些条件围绕一个新的子问题，可以近似求解，以获得满足条件的试验步骤。一个新的实例的框架，不同的ARC和TRACE，可以被视为二次和三次正则化牛顿方法之间的混合。数值结果表明，我们的混合算法优于三次正则化牛顿法。
2018-03-15 math.OC
Kernel Methods for Refined Prophet Inequalities
Inria（法国国家信息与自动化研究所）；Tel-Aviv University（特拉维夫大学）；CREST（经济与统计研究中心）；ENSAE（巴黎统计与经济管理学院）；IP Paris（巴黎理工学院）；CRITEO AI Team（Criteo人工智能团队）；Rice University（莱斯大学）
该研究针对单选择先知不等式问题，提出一种通用核方法，通过最大值的分位数函数将最坏情况分析转化为无限维凸规划，得到了独立同分布有界方差曲线等多项理论结果，凸显了该技术在单阈值设置中的广泛适用性。
2026-08-11 cs.DS cs.GT cs.LG
Minimal proper non-IRUP instances of the one-dimensional Cutting Stock Problem
我们考虑著名的一维下料问题（1CSP）。基于Gilmore和Gomory的经典ILP公式的模式结构，我们可以将具有固定需求n的1CSP实例的无限集分解为有限个等价类。我们展示了一个强大的关系，加权简单对策。通过研究整数舍入性质，我们计算证明了所有具有$n\le 9$的CSP实例都是正确的IRUP，同时给出了具有$n=10$的正确的非IRUP实例的例子.对于$n=11$，出现大于1的间隙。已知的最差差距从1.003提高到1.0625。所使用的算法方法是基于穷举和整数线性规划。此外，我们给出了一些理论界表明，所有的1CSP实例与一些特定的参数有适当的IRUP。
2014-05-23 math.CO math.OC
Boundary Geometry and Global Rates of Cyclic Coordinate Descent for SVM Duals
HSE University（高等经济大学）
本文研究SVM对偶问题的循环坐标下降法，提出结合坐标交互与边界几何的全局收缩界，并证明其优于现有方法，且通过数值实验验证了实用性。
2026-10-01 math.OC
Closed-form solutions for worst-case law invariant risk measures with application to robust portfolio optimization
最坏情况风险度量指的是在只有基础分布的部分信息可用时计算风险度量的最大值。对于流行的风险度量，如风险价值（VaR）和条件风险价值（CVaR），现在已经知道，当只有前两个时刻是已知的基础分布时，它们的最坏情况对应物可以在封闭形式下进行评估。这些结果是显着的，因为它们不仅简化了最坏情况下的风险措施的使用，但也提供了很大的洞察力，最坏情况下的风险措施和现有的风险措施之间的联系。在本文中，我们表明，有些令人惊讶的相似的封闭形式的解决方案也存在一般类的法律不变的一致性风险度量，其中包括频谱风险的特殊情况下，可以说是最重要的扩展CVaR的措施。我们揭示了最坏情况不变风险度量和最坏情况CVaR（以及最坏情况VaR）之间的一一对应关系，这使得人们能够将投资组合优化背景下的最坏情况VaR的发展立即转移到最坏情况不变风险度量。
2016-09-13 math.OC q-fin.CP q-fin.MF
Worst-Case Control and Learning Using Partial Observations Over an Infinite Time-Horizon
University of Delaware（特拉华大学）
本文提出了一个在部分观测系统中进行近似控制与学习的框架，通过定义信息状态和近似信息状态，最小化无限时间跨度上的最坏情况折扣成本，并推导了性能损失界限。
2023-03-31 cs.AI cs.SY eess.SY
Automatic Performance Estimation for Decentralized Optimization
本研究提出基于PEP的两种共识步骤表示方法，可自动计算一阶去中心化优化算法的最坏情况性能界，应用于三种方法后得到更紧的界及参数调优等相关洞见。
2023-03-02 cs.MA math.OC
Adaptive first-order methods with enhanced worst-case rates
针对OGM、ITEM、TMM等一阶方法缺乏自适应性、无法适配复合问题的缺陷，提出改进估计序列框架，实现多方法统一推导与动态收敛调整，还扩展至复合场景构建了带自适应线搜索的增强加速复合梯度法。
2024-05-13 math.OC
The discrete moment problem with nonconvex shape constraints
离散矩问题是无分布鲁棒优化中的一个基本问题，其目标是找到一个满足给定矩集的最坏情况分布。本文研究了具有附加“形状约束”的离散矩问题，该约束保证了最坏情况的分布要么是对数凹的，要么具有递增的故障率。这些类的形状约束以前没有在文献中研究，部分原因是由于其固有的非凸性。尽管如此，这些类型的分布在实践中是有用的。我们的最佳极值点分布的结构的特点，通过开发新的结果，在反凸优化，一个鲜为人知的工具，以前在设计全局优化算法。我们能够显示，例如，一个最佳的极值点解决方案的时刻问题与$m$时刻和日志凹形状约束是分段几何与最多$m$件。此外，这种结构使我们能够设计一个精确的算法计算最优解在低维空间的参数。此外，我们描述了一种计算方法来解决这些低维问题，包括一组有代表性的实例的数值结果。
2017-08-07 math.OC stat.CO
Regret-Optimal Linear-Quadratic Control under Distributional Drift
Institute for Computational and Mathematical Engineering（计算与数学工程研究所）；Stanford University（斯坦福大学）
针对扰动分布随时间漂移的有限时域LQR问题，提出事前分布鲁棒遗憾优化方法，通过时间耦合矩模糊集和仿射扰动反馈合成，将问题转化为半定规划，实验验证其能显著降低最坏情况遗憾。
2026-10-08 cs.SY eess.SY math.OC
Distributionally Robust Safety Verification of Neural Networks via Worst-Case CVaR
National Institute of Informatics（国立信息研究所）
本文将最坏情况CVaR整合到基于二次约束和半定规划的神经网络验证框架中，提出一种分布鲁棒且关注尾部风险的安全性验证方法，并通过数值实验验证其在控制系统可达性和分类任务中的有效性。
2025-09-22 cs.AI cs.LG cs.SY
A robust optimal control problem with moment constraints on distribution: theoretical analysis and an algorithm
研究了一类目标函数和动态约束都含有不确定参数的最优控制问题。由于该不确定参数的分布并不完全已知，因此将目标函数作为不确定参数的一组可能分布上的最坏情况期望。这个分布的模糊集又由所涉及的随机变量的前两个矩定义。最优控制是通过最小化最坏情况下的期望在这个集合中的所有可能的分布。如果分布是离散的，随机最小最大最优控制问题可以通过对偶转化为一个常规的最优控制问题，然后通过控制参数化近似为一个有限维的最优化问题。我们导出了最优性的必要条件，并提出了一个算法来解决近似最优化问题。然后将离散型概率分布的结果推广到一维连续型随机变量的情形，并利用连续型随机变量的控制参数化方法得到了收敛性结果。最后通过一个算例说明了该模型的应用前景和算法的有效性。
2016-11-28 math.OC
Verification of Sequential Convex Programming for Parametric Non-convex Optimization
本文提出一种验证框架，用于为参数非凸优化中的序列凸编程算法提供全局最坏情况性能保证。
2025-11-27 math.OC
Private Stochastic Optimization With Large Worst-Case Lipschitz Parameter
University of Southern California（南加州大学）
本文针对损失函数最坏情况Lipschitz参数极大或无穷的差分隐私随机优化问题，提出基于随机梯度k阶矩的风险界和线性时间算法，覆盖光滑凸、非光滑凸及满足Proximal-PL不等式的非凸情形，并证明了部分结果的极小极大最优性。
2024-09-28 cs.CR cs.LG math.OC
Principled Analyses and Design of First-Order Methods with Inexact Proximal Operators
邻近操作是出现在实际和理论（或高级）最优化方法中最常见的原语之一。这个基本操作通常包括解决一个中间（希望更简单）最优化问题。在这项工作中，我们调查的概念不准确，可以用来解决这些中间最优化问题。然后，我们表明，最坏情况下的保证算法依赖于这样的不精确的邻近操作可以系统地获得通过一个通用的程序基于半定规划。该方法主要基于Drori和Teboulle（2014）介绍的方法和凸插值结果，并允许产生不可改进的最差情况分析。换句话说，对于给定的算法，该方法生成最坏情况的证书（即，证明）和实现这些界限的问题实例。依靠这种方法，我们研究了数值最坏情况下的性能依赖于不精确的邻近操作，包括加速变量的几个基本方法，并设计了一个变量优化的最坏情况下的行为。我们进一步说明了如何通过研究一个简单的相对不精确的近似最小化方法来扩展该方法以支持强凸目标。
2021-06-29 cs.NA math.NA math.OC
Automated Performance Estimation for Decentralized Optimization via Network Size Independent Problems
我们开发了一种新的配方的性能估计问题（PEP）的分散优化，其大小是独立的代理网络中的数量。PEP方法允许通过求解SDP来自动计算一阶最优化方法的最坏情况性能和最坏情况实例。与以前的工作不同，我们的新PEP配方的大小是独立的网络大小。为了这个目的，我们采取了分散的问题的全局视图，我们也解耦的共识子空间和它的正交补。我们将我们的方法应用于不同的分散方法，如DGD，DIGing和EXTRA，并获得对任何网络规模都有效的数字上严格的性能保证。
2022-10-03 cs.MA math.OC
The Simplex Algorithm in Dimension Three
本文研究了三元线性规划，即三维简单多面体上的单纯形算法的最坏情况。在我们考虑的主元规则中，“随机边缘”规则产生最好的渐近行为以及最复杂的分析。所有其他规则都变得更容易研究，但也产生更差的结果：它们中的大多数基本上表现出最坏的行为;这包括Kalai的“随机面”规则，没有维数限制，已知是次指数的，以及Zadeh的确定性历史依赖规则，迄今为止还没有发现一般维数的非多项式实例。
2004-08-20 math.CO math.OC
Direct Synthesis of Iterative Algorithms With Bounds on Achievable Worst-Case Convergence Rate
本文提出了一种直接合成迭代算法的方法，通过固定损失函数的约束并利用鲁棒控制合成技术，以获得更强大的收敛率界结果。
2020-03-21 cs.SY eess.SY math.OC
The Lovász Theta Function for Recovering Planted Clique Covers and Graph Colorings
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）；Singapore University of Technology and Design（新加坡科技设计大学）；Archimedes/Athena RC, Greece（希腊阿基米德/雅典研究中心）；Centre for Quantum Technologies, National University of Singapore（新加坡国立大学量子技术中心）
本文研究了洛瓦兹θ函数在随机图中恢复嵌入clique覆盖结构的能力，证明了其在特定模型下的有效性。
2026-02-04 cs.DS cs.IT math.CO
