A new perspective on parameter study of optimization problems
为参数化最优化问题的研究提供了一个新的视角。我们的方法结合后优化灵敏度分析和常微分方程的方法来量化的不确定性，由于在最优化问题的不确定参数的最小。我们用一个简单的解析例子和一个对流扩散方程的反问题来说明所提出的方法。
2022-09-23 cs.NA math.NA math.OC
Step-Size Stability in Stochastic Optimization: A Theoretical Perspective
Inria, Departement d'Informatique de l'Ecole Normale Superieure, PSL Research University, Paris, France（法国国家信息与自动化技术研究院，巴黎高等师范学院计算机系，巴黎理工大学，法国）；CCM, Flatiron Institute, New York City（Flatiron研究所，纽约市）
本文通过理论分析识别关键量，量化步长过大时性能下降程度，证明自适应步长方法（如SPS、NGN）比SGD更鲁棒，并实验验证理论界对实际性能的定性反映。
2026-05-26 cs.LG math.OC
Solving Coupled Nonlinear Forward-backward Stochastic Differential Equations: An Optimization Perspective with Backward Measurability Loss
本文从不动点迭代视角扩展BML方法以求解一般耦合非线性FBSDEs，证明优化BML等价于最小化连续试探解距离，为基于优化的求解方法提供理论基础，并通过四个数值实验验证其有效性。
2023-11-25 math.OC
A game theoretic perspective on Bayesian multi-objective optimization
本章讨论了如何在计算要求很高的黑盒模拟环境中有效地解决多目标最优化问题的问题。我们将通过机器学习和工程中的应用来激发这个问题，并讨论当目标数量为四个或更多时使用经典帕累托方法的具体严峻挑战。然后，我们回顾结合贝叶斯优化方法的解决方案，例如，高斯过程，以及对策论的概念，如纳什均衡，Kalai-Smorodinsky解决方案和细节扩展，如Nash-Kalai-Smorodinsky解决方案。最后介绍了相应的算法，并给出了一些示例性的结果.
2021-04-29 math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
A Variational Perspective on Accelerated Methods in Optimization
加速梯度法在优化中起着核心作用，在许多设置中实现最佳速率。虽然Nesterov的原始加速方法已经提出了许多推广和扩展，但尚不清楚加速概念的自然范围是什么。在本文中，我们从连续时间的角度研究加速方法。我们发现，有一个拉格朗日函数，我们称之为\emph{Bregman Lagrangian}，它产生了一个大类的加速方法在连续时间，包括（但不限于）加速梯度下降，其非欧几里德扩展，和加速高阶梯度法。我们证明了所有这些方法的连续时间极限对应于以不同的速度在时空中行进相同的曲线。从这个角度来看，Nesterov的技术和它的许多推广可以被看作是一种系统的方法，从Bregman Lagrangian生成的连续时间曲线到离散时间加速算法。
2016-03-14 cs.LG math.OC stat.ML
End-to-End Learning for Stochastic Optimization: A Bayesian Perspective
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Konstanz（康斯坦茨大学）
该研究从贝叶斯视角解读标准端到端学习算法，提出训练对应经验风险最小化与分布鲁棒优化解的决策映射的新算法，并通过合成与真实数据实验验证了方案差异与架构影响。
2023-06-11 cs.LG math.OC stat.ML
Multiobjective Balanced Gradient Flow: A Dynamical Perspective on a Class of Optimization Algorithms
本文提出多目标平衡梯度流（MBGF）动力系统，为多目标优化的归一化梯度方法提供动力学视角，证明凸场景下其收敛于弱帕累托点，并给出凸与非凸场景的收敛速率分别为O(1/t)和O(1/√t)。
2025-08-24 math.OC
On the Impossibility of Statistically Improving Empirical Optimization: A Second-Order Stochastic Dominance Perspective
当随机最优化中的基本概率分布仅通过数据观察时，已经研究了各种数据驱动的公式以获得近似最优解。我们表明，没有这样的配方可以，在某种意义上说，从理论上提高统计质量的经验优化得到的解决方案。我们通过证明任何数据驱动解决方案的最优性差距对Oracle最佳解决方案的一阶行为（包括偏差和方差）是由经验优化主导的二阶随机性来论证这一点，只要相对于底层分布保持适当的平滑性。我们证明了这种不可能的改进，在一系列的例子，包括正则化优化，分布鲁棒优化，参数优化和贝叶斯推广。我们还讨论了半参数统计推断和数据驱动的优化文献中的其他观点，我们的结果的连接。
2021-05-27 math.OC stat.ME
Langevin Dynamics: A Unified Perspective on Optimization via Lyapunov Potentials
Cornell University（康奈尔大学）；MIT（麻省理工学院）
本文提出基于Lyapunov势函数的新策略分析SGLD在非凸优化中的全局收敛性，给出改进的收敛速率、首个有限梯度复杂度保证，并建立了连续时间Langevin动力学与离散时间SGLD之间的成功性联系。
2024-07-05 cs.LG math.OC
Constrained Optimization From a Control Perspective via Feedback Linearization
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
本文通过反馈线性化方法解决约束优化问题，揭示其与SQP算法的联系，并提出动量加速算法以提升收敛性能。
2026-01-28 math.OC
Unified Control Framework: A Novel Perspective on Constrained Optimization, Optimization-based Control, and Parameter Estimation
本文提出统一控制框架视角，利用基于无源性与浸入（P&I）的控制设计动力系统算法，以连接约束优化、基于优化的控制和参数估计。
2024-07-02 math.OC
Distributed Computation of Linear Matrix Equations: An Optimization Perspective
本文从优化的角度研究了多智能体网络上$AXB = F$形式的线性矩阵方程的分布式计算，其中矩阵A，B，X和F具有适当的维数.在本文中，我们考虑了标准的分布式矩阵信息结构，其中所考虑的多智能体网络的每个智能体都可以访问A，B和F的子块矩阵之一。具体地说，我们首先提出了不同的分解方法，通过引入替代变量将标准结构中的矩阵方程转化为分布式约束最优化问题，证明了转化后的分布式最优化问题的解等价于原矩阵方程的最小二乘解;我们设计了分布式连续时间算法的约束最优化问题，甚至通过使用增广矩阵和导数反馈技术。此外，我们证明了算法的指数收敛到一个最小二乘解的矩阵方程的任何初始条件。
2018-06-09 math.OC
A Dynamical Systems Perspective on Discrete Optimization
本文从动力学系统视角研究离散优化，通过伊辛模型的惩罚秩二松弛联系振荡器伊辛机器，并刻画一类确保收敛的耦合函数，为硬件求解器提供理论依据。
2023-05-15 math.OC
Benchmarking for Metaheuristic Black-Box Optimization: Perspectives and Open Challenges
对新优化算法的研究通常是基于这样的动机，即这些算法可能会提高处理现实世界和工业相关优化挑战的能力。除了各种各样的不同的进化和元启发式优化算法，也有大量的测试问题和基准套件已开发和用于比较评估的算法，在全局，连续和黑盒优化的背景下。然而，对于许多常用的合成基准问题或人工适应度景观，没有可用的方法将所得到的算法性能评估与技术相关的现实世界优化问题相关联，反之亦然。此外，从理论的角度来看，许多常用的基准测试问题和方法几乎没有推广价值。基于对出版物的简短评论，评论，建议和新方法，本通信旨在对与黑盒优化的系统和可推广的基准测试相关的几个开放挑战和前瞻性研究方向提供建设性的观点。
2020-07-01 cs.NE cs.PF math.OC
Finite-Sum Optimization: A New Perspective for Convergence to a Global Solution
CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
深度神经网络（DNN）在许多机器学习任务中取得了巨大成功。它们的训练是具有挑战性的，因为网络架构的损失表面通常是非凸的，甚至是不光滑的。如何以及在何种假设下保证收敛到\textit{global}最小值？我们提出了一个重新制定的最小化问题，允许一个新的递归算法框架。通过使用有界风格的假设，我们证明了收敛到一个$\varepsilon$（全球）最小值使用$\mathcal{\tilde{O}}(1/\varepsilon^3)$梯度计算。我们的理论基础激励进一步的研究，实施和优化的新算法框架和进一步调查其非标准的有界风格的假设。这个新方向拓宽了我们对DNN训练为什么以及在什么情况下收敛到全局最小值的理解。
2022-02-07 cs.LG math.OC stat.ML
Variable Aggregation-based Perspective Reformulation for Mixed-Integer Convex Optimization with Symmetry
School of Economics and Management, North China Electric Power University（华北电力大学经济与管理学院）；Thayer School of Engineering, Dartmouth College（达特茅斯学院塔克工程学院）；School of Economics and Management, University of Chinese Academy of Sciences（中国科学院大学经济与管理学院）；Department of Industrial and Systems Engineering, North Carolina State University（北卡罗来纳州立大学工业与系统工程系）
本文提出一种基于变量聚合和视角重构的方法，用于解决具有对称性的混合整数凸优化问题，通过精确刻画可行区域的凸包来提升松弛效果。
2026-02-04 math.OC
Simulated annealing with hit-and-run for convex optimization: rigorous complexity analysis and practical perspectives for copositive programming
我们使用Abernethy和Hazan [arXiv 1507.02528v2，2015]建议的温度更新类型对Kalai和Vempala [Math of OR 31.2（2006）：253-266]的模拟退火算法进行了严格的复杂性分析。该算法只需要假设可行集的成员预言，我们证明了它返回一个解决方案在多项式时间内，这是近最优的高概率。此外，我们提出了一些修改，以提高该方法的实际性能，并提出了一些数值结果的测试问题，从共正规划。
2019-07-04 math.OC
The complexity of first-order optimization methods from a metric perspective
该研究从度量视角出发，指出KL性质核心是斜率而非次梯度，在不使用次梯度的情况下完成了度量空间上一阶优化算法的复杂度分析，还给出了非光滑半代数函数KL性质的简短证明。
2023-05-04 cs.NA math.NA math.OC
Multi-Agent Optimization and Learning: A Non-Expansive Operators Perspective
该研究从非扩张算子理论的视角审视多智能体优化与学习中的各类协同求解算法，提供统一研究框架，阐述该视角的洞见并展望其对未来原创研究的启发作用。
2024-05-20 cs.SY eess.SY math.OC
Grassmann and Flag Varieties in Linear Algebra, Optimization, and Statistics: An Algebraic Perspective
本文从代数视角研究格拉斯曼簇与旗簇，将线性代数与统计问题转化为其上的优化问题，以复临界点数量衡量代数复杂度，阐述流形的代数簇实现并计算了多类优化问题的代数复杂度。
2025-10-01 math.AG math.OC math.ST
Chance constrained problems: a bilevel convex optimization perspective
机会约束是在不确定环境中设计安全决策的一个有价值的工具，它们被用来模拟目标概率满足约束。然而，由于可能的非凸性和非光滑性，优化的机会约束集是具有挑战性的。本文建立了机会约束问题的一个精确的转化形式，将其转化为具有凸下层的双层问题。然后，我们推导出一个易于处理的惩罚方法，惩罚的目标是一个不同的凸函数，我们用一个合适的聚束法最小化。我们发布了一个易于使用的开源python工具箱来实现该方法，特别强调快速计算子例程。
2021-03-19 math.OC
Accelerating Model-Free Policy Optimization Using Model-Based Gradient: A Composite Optimization Perspective
我们开发了一种算法，结合基于模型和无模型的方法来解决一个非线性最优控制问题的二次成本，其中系统模型是由一个线性状态空间模型与一个小的添加剂非线性扰动。我们将成本分解成两个函数的和，一个具有从近似线性模型获得的显式形式，另一个是表示未知建模误差的黑盒模型。分解允许我们将问题公式化为复合最优化问题。为了解决最优化问题，我们的算法执行梯度下降使用从近似线性模型获得的梯度，直到回溯线搜索失败，基于模型的梯度与从无模型算法获得的精确梯度进行比较。然后，模型梯度和精确梯度之间的差用于补偿未来的基于梯度的更新。与传统的无模型方法相比，我们的算法在理论上和实践中都减少了函数评估的数量。
2022-03-22 math.OC
Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond
Dalian University of Technology（大连理工大学）；Southern University of Science and Technology（南方科技大学）；Xi’an Jiaotong University（西安交通大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
双层优化（BLO）是由经济博弈论发展而来，并被引入到优化领域的。BLO能够处理具有层次结构的问题，涉及两个级别的优化任务，其中一个任务嵌套在另一个任务中。在机器学习和计算机视觉领域，尽管动机和机制不同，但许多复杂问题，如超参数优化、多任务和元学习、神经结构搜索、对抗学习和深度强化学习，实际上都包含一系列密切相关的子问题。在本文中，我们首先从BLO的角度统一表达这些复杂的学习和视觉问题。然后，我们构建了一个基于最佳响应的单级重构，并建立了一个统一的算法框架，以理解和制定主流的基于梯度的BLO方法，涵盖的方面，从基本的自动微分计划，各种加速，简化，扩展及其收敛性和复杂性。最后，我们讨论了我们的统一BLO框架的潜力，设计新的算法，并指出一些有前途的方向，为未来的研究。
2021-09-28 cs.CV cs.LG math.DS
Comparing perspective reformulations for piecewise-convex optimization
我们的研究动机是通过序列凸MINLP技术解决具有可分离非凸函数的混合凸非线性规划（MINLP）问题，序列凸MINLP技术是一种迭代法，其主要特点是求解，分段凸MINLP松弛通过确定每个单变量函数是凸或凹的区间，然后用分段凸松弛凹部分而获得。线性弛豫的精度不断提高。这个过程需要引入新的二进制变量来激活定义函数的间隔。在本文中，我们比较了三种不同的标准配方的下界子问题，我们表明，无论是理论上和计算上，-不像在分段线性的情况下-他们是不等价的，当应用的角度重新制定，以加强制定在原来的功能是凸的部分。
2022-11-28 math.OC
A Continuous-time Perspective for Modeling Acceleration in Riemannian Optimization
我们提出了一个新的二阶常微分方程作为连续时间限制的黎曼加速梯度为基础的方法与曲率有界的流形从下面。这个常微分方程可以看作是欧几里得空间的常微分方程的推广，也可以作为一种分析工具。我们研究了这类常微分方程对测地凸、强凸和弱拟凸函数的收敛性。我们演示了如何使用半隐式和Nesterov启发的数值积分，经验产生稳定的算法，忠实于连续时间分析，并表现出加速收敛，这样的常微分方程可以离散化。
2020-03-08 math.OC
Primal-dual algorithm for distributed optimization: A dissipativity-based perspective
University of Notre Dame（圣母大学）
本文提出了一种基于耗散性的连续时间对偶算法，用于在非平衡有向图上解决非凸分布式优化问题，并通过选择增益或设计网络拓扑实现指数收敛。
2026-02-06 math.OC
Bilevel optimization with sustainability perspective: A survey on applications
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；ESSEC Business School（法国高等经济商业学院）
本文综述了将可持续性视角引入双层优化问题的应用，涵盖交通物流、生产规划、水资源管理等领域，并讨论了未来研究方向。
2026-04-04 math.OC
A Primal Perspective on Distributionally Robust Optimization: An Investigation on Modeling and Solution Strategies
Department of Industrial Engineering, University of Pittsburgh（匹兹堡大学工业工程系）
该研究从原始视角提出BiCS算法框架，用于处理复杂结构下的分布鲁棒优化问题，实验表明其性能优异，可求解部分现有方法难以处理的情形。
2026-08-06 math.OC math.PR
LEAD: Min-Max Optimization from a Physical Perspective
University of Montreal（蒙特利尔大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；University of California, Riverside（加州大学河滨分校）
本文从物理视角提出LEAD优化器，用于改善生成对抗网络等最小-最大博弈中的旋转动力学，通过李雅普诺夫和谱分析证明其线性收敛到纳什均衡，并在CIFAR-10上验证了训练改进。
2023-06-21 cs.GT cs.LG cs.MA
Control and Reinforcement Learning through the Lens of Optimization: An Algorithmic Perspective
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）
本文通过优化视角提出一种框架，将控制与优化算法统一起来，系统地转换算法并提供收敛保证的技术。
2025-12-08 math.OC
Smoothing Binary Optimization: A Primal-Dual Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；City University of Hong Kong（香港城市大学）
本文提出一种新的对偶框架，将无约束二元优化转化为连续极小极大问题，通过平滑离散问题使梯度方法有效，提出并行化算法在多项式时间内收敛，实验显示在大规模问题中性能优越。
2026-05-09 math.OC
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University（东北大学）
研究去中心化非光滑非凸随机优化中寻找稳定点的问题，提出ME-DOL算法，利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
A Survey of Optimization Methods for Training DL Models: Theoretical Perspective on Convergence and Generalization
New York University（纽约大学）
本文综述深度学习优化方法的理论基础，涵盖一阶、二阶及分布式算法，分析其收敛性与泛化能力，旨在提供全面理论手册。
2025-01-24 cs.DC cs.LG math.OC
Practical Perspectives on Symplectic Accelerated Optimization
本文探讨了辛加速优化算法的实用改进方法，通过动量重启方案减少振荡、时间循环避免数值精度不稳定，并比较几何积分技术以简化调参，显著提升了算法的计算效率、稳定性和鲁棒性。
2023-05-18 math.OC
Optimization with Momentum: Dynamical, Control-Theoretic, and Symplectic Perspectives
我们从动力系统的角度分析了各种基于动量的优化算法的收敛速度。我们的分析利用基本的拓扑性质，如迭代对初始条件的连续依赖性，提供了一个简单的表征收敛速度。在许多情况下，获得将算法参数与收敛速度相关联的封闭形式的表达式。分析包括离散时间和连续时间，以及时不变和时变配方，并不限于凸或欧几里德设置。此外，文章严格建立了为什么辛离散计划是重要的动量为基础的优化算法，并提供了一个表征的算法，表现出加速收敛。
2021-04-12 cs.NA math.NA math.OC
A Generalized Plant Perspective on Linear-Convex Feedback Optimization
University of Stuttgart（斯图加特大学）
本文提出广义被控对象视角，利用Zames-Falb积分二次约束分析优化器与被控对象互联的稳定性，动态乘子比静态乘子提供更紧的稳定裕度，并支持动态输出反馈控制器综合。
2026-06-23 cs.SY eess.SY math.OC
Stochastic Optimization and Data Science
本文从统计学和统计学习的角度出发，探讨随机优化问题，旨在最大化对数似然或最小化总体风险，并简要介绍了两种主要方法：离线（蒙特卡洛/样本平均逼近）和在线（随机逼近）方法，用于解决期望最小化问题。
2026-10-19 math.OC
Two-Stage Distributionally Robust Optimization: Intuitive Understanding and Algorithm Development from the Primal Perspective
本文从原始视角研究两阶段分布鲁棒优化，提出通用快速分解算法及其变体，给出理论分析，并通过设施选址问题数值实验证明其显著优于现有方法，可处理此前无法解决的实际实例。
2024-12-30 math.OC math.PR
An Optimization Perspective on the Monotonicity of the Multiplicative Algorithm for Optimal Experimental Design
本文从优化视角证明了最优实验设计中乘性算法的单调性，简化了现有证明，给出了严格单调的充分条件，并通过反例揭示了其局限性。
2025-08-09 math.OC
Perspective Functions: Proximal Calculus and Applications in High-Dimensional Statistics
透视函数在应用数学和统计数据分析中以各种形式显式或隐式出现。到目前为止，没有系统的策略可用于解决相关的，典型的非光滑，最优化问题。在本文中，我们填补了这一空白，近端的方法提供了一个有效的框架来建模和解决问题，涉及透视功能。我们研究了建设的邻近算子的透视函数的一般假设下，并提出了重要的情况下，邻近算子可以计算明确或通过简单的数值运算。这些结果构成了近端优化算法设计的核心构件。我们展示了框架的多功能性，通过设计新的最先进的回归和变量选择方案在高维统计的近端算法。
2016-12-13 math.OC
The Gradient descent method from the perspective of fractional calculus
受最优化理论中梯度法的启发，我们给出了基于$ψ$--$α$阶分数导数的方法来求解无约束最优化问题。详细分析了这些方法的收敛性。本文还提出了一种估计含$ψ$ -分数阶导数方程解的Adams-Bashforth-Moulton（ABM）方法. ABM方法的数值算例表明，分数阶$α$和权值$ψ$是可调参数，有助于提高梯度下降法的性能.
2020-12-21 math.OC
Understanding the Variance Dichotomy in Continuous Simulation Optimization: A Minimax Lower Bound Perspective
Faculty of Business for Science and Technology, School of Management, University of Science and Technology of China（中国科学技术大学管理学院）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
本文从极小下界视角研究连续模拟优化中方差二元性，揭示有限模拟预算下方差依赖项与独立项对复杂度的决定作用，指出低噪声环境下随机优化与确定性优化复杂度相近，预算增加后收敛行为受噪声方差和预算联合影响。
2026-04-15 math.OC
Accelerating Distributed Optimization: A Primal-Dual Perspective on Local Steps
Argonne National Laboratory（阿贡国家实验室）；Wayne State University（韦恩州立大学）
在分布式机器学习中，跨具有不同数据分布的多个代理的有效训练提出了重大挑战。即使使用集中式协调器，实现最佳通信复杂性的当前算法通常需要大的小批量或在梯度复杂性上妥协。在这项工作中，我们解决了强凸，凸和非凸目标的集中和分散设置。我们首先证明了一个基本的原始-对偶方法，（加速）梯度上升多随机梯度下降（GA-MSGD），适用于分布式优化的拉格朗日固有地包含本地更新，因为运行随机梯度下降的原始变量的内部循环不需要间智能体通信。值得注意的是，对于强凸目标，（加速）GA-MSGD在通信轮次中实现线性收敛，尽管拉格朗日仅在对偶变量中是线性的。这是由于对偶变量被限制在耦合矩阵的跨度上的结构性质，使得对偶问题是强凹的。当与Catalyst框架集成时，我们的方法在各种设置中实现了接近最佳的通信复杂性，而不需要小批量。
2024-08-11 cs.DC cs.LG math.OC
Discrete graphical models -- an optimization perspective
Heidelberg University（海德堡大学）
这本专著是关于离散图模型的离散能量最小化。它认为图形模型，或更准确地说，最大后验推理的图形模型，纯粹作为一个组合最优化问题。建模、应用、概率解释和许多其他方面要么被忽略，要么只在示例和注释中找到它们的位置。它涵盖了整数线性规划制定的问题，以及它的线性规划，拉格朗日和拉格朗日分解为基础的松弛。特别是，它提供了一个详细的分析多项式可解的无环和次模问题，以及相应的精确最优化方法。对主要的近似方法，如消息传递和图切割技术进行了全面的描述和分析。专着可以是有用的本科生和研究生学习优化或图形模型，以及专家在优化谁想要看看图形模型。为了使专着适合这两类读者，我们明确分离的数学优化的背景章节，从那些特定的图形模型。
2020-01-24 cs.CV cs.DM math.OC
A note on quadratic constraints with indicator variables: Convex hull description and perspective relaxation
本文研究了由连续变量上的可分二次约束给出的混合整数非线性集，其中每个连续变量由一个附加指标控制。这个集合普遍存在于具有不确定性的最优化问题和机器学习中。我们表明，在这个集合上的优化是NP-困难的。尽管这个负面的结果，我们的凸包的结构特征，并表明，它可以正式研究使用多面体理论。此外，我们表明，虽然在文献中的透视松弛这一套未能匹配的结构，其凸包，它是保证是一个密切的近似。
2022-09-03 math.OC
Zeroth-Order Constrained Optimization from a Control Perspective via Feedback Linearization
Massachusetts Institute of Technology（麻省理工学院）；UIUC, Department of Industrial and Enterprise Systems Engineering（伊利诺伊大学厄巴纳-香槟分校工业与企业系统工程系）；Harvard University, School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
本文提出了一种基于反馈线性化的零阶约束优化算法，能够在不访问一阶 oracle 的情况下保证可行性，并在非凸优化中实现高效约束满足。
2026-01-28 cs.SY eess.SY math.OC
Perspectives on Contractivity in Control, Optimization, and Learning
本文提出五个核心观点，论证收缩理论作为统一框架在控制、优化与学习中的计算友好性、鲁棒性、模块化及广泛应用潜力，并综述相关研究进展。
2024-07-28 cs.SY eess.SY math.OC
A General Multicriteria Optimization Perspective on Resilience
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Katholische Universität Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）
本文提出一般两阶段网络流多准则优化模型，将回弹、抵抗、损失和最大性能退化作为独立准则，证明问题难解并开发包络启发式算法，强调弹性决策需显式考虑多准则权衡而非单一标量指标。
2026-09-22 math.OC
Two Adjoint Perspectives on Fokker-Planck Optimization: A Microscopic-Macroscopic Correspondence
California Institute of Technology（加州理工学院）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Cornell University（康奈尔大学）
本研究针对Fokker-Planck优化，协调了宏观与微观两种伴随视角的对应关系，证明离散化后两者梯度仍为一致近似并建立了显式收敛速率。
2026-09-03 cs.NA math.AP math.NA
A New Perspective on Boosting in Linear Regression via Subgradient Optimization and Relatives
Columbia University（哥伦比亚大学）
本文从一个新的角度分析了线性回归中的boosting算法：凸优化中的现代一阶方法。我们表明，经典的提升算法在线性回归，即增量向前stagewise算法（FS $_\varepsilon$）和最小二乘提升（LS-Boost（$\varepsilon$）），可以被视为次梯度下降，以尽量减少损失函数定义为最大的绝对相关性之间的功能和残差。我们还提出了一个修改的FS $_\varepsilon$，产生一个算法的套索，可以很容易地扩展到一个算法，计算套索路径的正则化参数的不同值。此外，我们表明，这些新算法的套索也可以被解释为相同的主算法（次梯度下降），适用于最大绝对相关损失函数的正则化版本。利用凸优化中的现代一阶方法的技巧，我们为线性回归中的几种boosting算法（包括LS-Boost（$\varepsilon$）和FS $_\varepsilon$）推导出了新颖的、全面的计算保证。我们的计算保证告诉我们关于boosting算法的统计特性。特别是，它们第一次提供了对数据保真度和正则化的精确理论描述，这些数据保真度和正则化是通过对任何数据集运行具有预先指定的学习率的boosting算法来实现的，该算法用于固定但任意数量的迭代。
2015-05-16 cs.LG math.OC math.ST
Algebraic Relaxations and Hardness Results in Polynomial Optimization and Lyapunov Analysis
本论文解决了优化与控制中有关计算复杂性和基于代数、半定规划的松弛问题。
2012-01-13 cs.CC cs.DS math.OC
Stiefel optimization is NP-hard
University of Texas（德克萨斯大学）；University of Chicago（芝加哥大学）
本文证明了在Stiefel流形上的线性约束和无约束二次优化问题均为NP难，表明流形优化在最常见流形上具有计算难度。
2025-11-26 cs.CC math.OC
Optimized methods for composite optimization: a reduction perspective
本文提出一种通用框架，通过代数恒等式将无约束平滑优化的优化方法直接归约推导至复合优化设定，并据此证明了近端梯度下降的步长加速现象、比 FISTA 更快的收敛速率及最小化梯度范数的新方法。
2025-06-30 cs.DS math.OC
