On the Impossibility of Statistically Improving Empirical Optimization: A Second-Order Stochastic Dominance Perspective
当随机最优化中的基本概率分布仅通过数据观察时，已经研究了各种数据驱动的公式以获得近似最优解。我们表明，没有这样的配方可以，在某种意义上说，从理论上提高统计质量的经验优化得到的解决方案。我们通过证明任何数据驱动解决方案的最优性差距对Oracle最佳解决方案的一阶行为（包括偏差和方差）是由经验优化主导的二阶随机性来论证这一点，只要相对于底层分布保持适当的平滑性。我们证明了这种不可能的改进，在一系列的例子，包括正则化优化，分布鲁棒优化，参数优化和贝叶斯推广。我们还讨论了半参数统计推断和数据驱动的优化文献中的其他观点，我们的结果的连接。
2021-05-27 math.OC stat.ME
A game theoretic perspective on Bayesian multi-objective optimization
本章讨论了如何在计算要求很高的黑盒模拟环境中有效地解决多目标最优化问题的问题。我们将通过机器学习和工程中的应用来激发这个问题，并讨论当目标数量为四个或更多时使用经典帕累托方法的具体严峻挑战。然后，我们回顾结合贝叶斯优化方法的解决方案，例如，高斯过程，以及对策论的概念，如纳什均衡，Kalai-Smorodinsky解决方案和细节扩展，如Nash-Kalai-Smorodinsky解决方案。最后介绍了相应的算法，并给出了一些示例性的结果.
2021-04-29 math.OC
Benchmarking for Metaheuristic Black-Box Optimization: Perspectives and Open Challenges
对新优化算法的研究通常是基于这样的动机，即这些算法可能会提高处理现实世界和工业相关优化挑战的能力。除了各种各样的不同的进化和元启发式优化算法，也有大量的测试问题和基准套件已开发和用于比较评估的算法，在全局，连续和黑盒优化的背景下。然而，对于许多常用的合成基准问题或人工适应度景观，没有可用的方法将所得到的算法性能评估与技术相关的现实世界优化问题相关联，反之亦然。此外，从理论的角度来看，许多常用的基准测试问题和方法几乎没有推广价值。基于对出版物的简短评论，评论，建议和新方法，本通信旨在对与黑盒优化的系统和可推广的基准测试相关的几个开放挑战和前瞻性研究方向提供建设性的观点。
2020-07-01 cs.NE cs.PF math.OC
Multiobjective Balanced Gradient Flow: A Dynamical Perspective on a Class of Optimization Algorithms
本文提出多目标平衡梯度流（MBGF）动力系统，为多目标优化的归一化梯度方法提供动力学视角，证明凸场景下其收敛于弱帕累托点，并给出凸与非凸场景的收敛速率分别为O(1/t)和O(1/√t)。
2025-08-24 math.OC
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
A constrained optimization perspective on actor critic algorithms and application to network routing
Institute for Systems Research, University of Maryland（马里兰大学系统研究所）；Astrome Technologies Pvt Ltd（Astrome科技私人有限公司）；Indian Institute of Science（印度科学学院）
我们提出了一种新的演员-评论家算法，保证收敛到最优策略的折扣报酬马尔可夫决策过程。演员结合了下降方向，这是由一定的非线性优化问题的解决方案的动机。我们还讨论了一个扩展，将函数逼近和证明我们的算法的实用性上的网络路由应用。
2015-07-28 cs.LG math.OC
Constrained Optimization From a Control Perspective via Feedback Linearization
Massachusetts Institute of Technology（麻省理工学院）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Harvard University（哈佛大学）
本文通过反馈线性化方法解决约束优化问题，揭示其与SQP算法的联系，并提出动量加速算法以提升收敛性能。
2026-01-28 math.OC
Unified Control Framework: A Novel Perspective on Constrained Optimization, Optimization-based Control, and Parameter Estimation
本文提出统一控制框架视角，利用基于无源性与浸入（P&I）的控制设计动力系统算法，以连接约束优化、基于优化的控制和参数估计。
2024-07-02 math.OC
Distributed Computation of Linear Matrix Equations: An Optimization Perspective
本文从优化的角度研究了多智能体网络上$AXB = F$形式的线性矩阵方程的分布式计算，其中矩阵A，B，X和F具有适当的维数.在本文中，我们考虑了标准的分布式矩阵信息结构，其中所考虑的多智能体网络的每个智能体都可以访问A，B和F的子块矩阵之一。具体地说，我们首先提出了不同的分解方法，通过引入替代变量将标准结构中的矩阵方程转化为分布式约束最优化问题，证明了转化后的分布式最优化问题的解等价于原矩阵方程的最小二乘解;我们设计了分布式连续时间算法的约束最优化问题，甚至通过使用增广矩阵和导数反馈技术。此外，我们证明了算法的指数收敛到一个最小二乘解的矩阵方程的任何初始条件。
2018-06-09 math.OC
Grassmann and Flag Varieties in Linear Algebra, Optimization, and Statistics: An Algebraic Perspective
本文从代数视角研究格拉斯曼簇与旗簇，将线性代数与统计问题转化为其上的优化问题，以复临界点数量衡量代数复杂度，阐述流形的代数簇实现并计算了多类优化问题的代数复杂度。
2025-10-01 math.AG math.OC math.ST
Multi-Agent Optimization and Learning: A Non-Expansive Operators Perspective
该研究从非扩张算子理论的视角审视多智能体优化与学习中的各类协同求解算法，提供统一研究框架，阐述该视角的洞见并展望其对未来原创研究的启发作用。
2024-05-20 cs.SY eess.SY math.OC
A Dynamical Systems Perspective on Discrete Optimization
本文从动力学系统视角研究离散优化，通过伊辛模型的惩罚秩二松弛联系振荡器伊辛机器，并刻画一类确保收敛的耦合函数，为硬件求解器提供理论依据。
2023-05-15 math.OC
Learning with Submodular Functions: A Convex Optimization Perspective
INRIA（法国国家信息与自动化研究所）；Ecole Normale Supérieure（巴黎高等师范学院）
子模函数与机器学习相关至少有两个原因：（1）一些问题可以直接表示为子模函数的优化，以及（2）子模函数的lovasz扩展为监督学习和无监督学习提供了一组有用的正则化函数。在这本专著中，我们提出了理论的次模函数从凸分析的角度来看，提出了紧密的联系，某些多面体，组合优化和凸优化问题。特别是，我们展示了次模函数最小化是如何等价于解决各种各样的凸优化问题。这使得新的高效算法的近似和精确的子模函数最小化的理论保证和良好的实际性能的推导。通过列出许多子模块函数的例子，我们回顾了机器学习的各种应用，如聚类，实验设计，传感器放置，图形模型结构学习或子集选择，以及一个家庭的结构稀疏诱导规范，可以派生和使用的子模块函数。
2013-10-08 cs.LG math.OC
Variable Aggregation-based Perspective Reformulation for Mixed-Integer Convex Optimization with Symmetry
School of Economics and Management, North China Electric Power University（华北电力大学经济与管理学院）；Thayer School of Engineering, Dartmouth College（达特茅斯学院塔克工程学院）；School of Economics and Management, University of Chinese Academy of Sciences（中国科学院大学经济与管理学院）；Department of Industrial and Systems Engineering, North Carolina State University（北卡罗来纳州立大学工业与系统工程系）
本文提出一种基于变量聚合和视角重构的方法，用于解决具有对称性的混合整数凸优化问题，通过精确刻画可行区域的凸包来提升松弛效果。
2026-02-04 math.OC
A new perspective on low-rank optimization
Sloan School of Management, Massachusetts Institute of Technology（麻省理工学院斯隆管理学院）；London Business School（伦敦商学院）
本研究引入矩阵透视函数，结合正交投影矩阵提出矩阵透视重构技术，可高效生成各类低秩问题的强凸松弛，推广了混合整数优化的透视重构方法。
2022-03-02 cs.LG math.OC stat.ML
Simulated annealing with hit-and-run for convex optimization: rigorous complexity analysis and practical perspectives for copositive programming
我们使用Abernethy和Hazan [arXiv 1507.02528v2，2015]建议的温度更新类型对Kalai和Vempala [Math of OR 31.2（2006）：253-266]的模拟退火算法进行了严格的复杂性分析。该算法只需要假设可行集的成员预言，我们证明了它返回一个解决方案在多项式时间内，这是近最优的高概率。此外，我们提出了一些修改，以提高该方法的实际性能，并提出了一些数值结果的测试问题，从共正规划。
2019-07-04 math.OC
Chance constrained problems: a bilevel convex optimization perspective
机会约束是在不确定环境中设计安全决策的一个有价值的工具，它们被用来模拟目标概率满足约束。然而，由于可能的非凸性和非光滑性，优化的机会约束集是具有挑战性的。本文建立了机会约束问题的一个精确的转化形式，将其转化为具有凸下层的双层问题。然后，我们推导出一个易于处理的惩罚方法，惩罚的目标是一个不同的凸函数，我们用一个合适的聚束法最小化。我们发布了一个易于使用的开源python工具箱来实现该方法，特别强调快速计算子例程。
2021-03-19 math.OC
A Primal Perspective on Distributionally Robust Optimization: An Investigation on Modeling and Solution Strategies
Department of Industrial Engineering, University of Pittsburgh（匹兹堡大学工业工程系）
该研究从原始视角提出BiCS算法框架，用于处理复杂结构下的分布鲁棒优化问题，实验表明其性能优异，可求解部分现有方法难以处理的情形。
2026-08-06 math.OC math.PR
Accelerating Model-Free Policy Optimization Using Model-Based Gradient: A Composite Optimization Perspective
我们开发了一种算法，结合基于模型和无模型的方法来解决一个非线性最优控制问题的二次成本，其中系统模型是由一个线性状态空间模型与一个小的添加剂非线性扰动。我们将成本分解成两个函数的和，一个具有从近似线性模型获得的显式形式，另一个是表示未知建模误差的黑盒模型。分解允许我们将问题公式化为复合最优化问题。为了解决最优化问题，我们的算法执行梯度下降使用从近似线性模型获得的梯度，直到回溯线搜索失败，基于模型的梯度与从无模型算法获得的精确梯度进行比较。然后，模型梯度和精确梯度之间的差用于补偿未来的基于梯度的更新。与传统的无模型方法相比，我们的算法在理论上和实践中都减少了函数评估的数量。
2022-03-22 math.OC
Comparing perspective reformulations for piecewise-convex optimization
我们的研究动机是通过序列凸MINLP技术解决具有可分离非凸函数的混合凸非线性规划（MINLP）问题，序列凸MINLP技术是一种迭代法，其主要特点是求解，分段凸MINLP松弛通过确定每个单变量函数是凸或凹的区间，然后用分段凸松弛凹部分而获得。线性弛豫的精度不断提高。这个过程需要引入新的二进制变量来激活定义函数的间隔。在本文中，我们比较了三种不同的标准配方的下界子问题，我们表明，无论是理论上和计算上，-不像在分段线性的情况下-他们是不等价的，当应用的角度重新制定，以加强制定在原来的功能是凸的部分。
2022-11-28 math.OC
A Continuous-time Perspective for Modeling Acceleration in Riemannian Optimization
我们提出了一个新的二阶常微分方程作为连续时间限制的黎曼加速梯度为基础的方法与曲率有界的流形从下面。这个常微分方程可以看作是欧几里得空间的常微分方程的推广，也可以作为一种分析工具。我们研究了这类常微分方程对测地凸、强凸和弱拟凸函数的收敛性。我们演示了如何使用半隐式和Nesterov启发的数值积分，经验产生稳定的算法，忠实于连续时间分析，并表现出加速收敛，这样的常微分方程可以离散化。
2020-03-08 math.OC
Primal-dual algorithm for distributed optimization: A dissipativity-based perspective
University of Notre Dame（圣母大学）
本文提出了一种基于耗散性的连续时间对偶算法，用于在非平衡有向图上解决非凸分布式优化问题，并通过选择增益或设计网络拓扑实现指数收敛。
2026-02-06 math.OC
Bilevel optimization with sustainability perspective: A survey on applications
University of Modena and Reggio Emilia（摩德纳和雷焦艾米利亚大学）；ESSEC Business School（法国高等经济商业学院）
本文综述了将可持续性视角引入双层优化问题的应用，涵盖交通物流、生产规划、水资源管理等领域，并讨论了未来研究方向。
2026-04-04 math.OC
A Variational Perspective on Accelerated Methods in Optimization
加速梯度法在优化中起着核心作用，在许多设置中实现最佳速率。虽然Nesterov的原始加速方法已经提出了许多推广和扩展，但尚不清楚加速概念的自然范围是什么。在本文中，我们从连续时间的角度研究加速方法。我们发现，有一个拉格朗日函数，我们称之为\emph{Bregman Lagrangian}，它产生了一个大类的加速方法在连续时间，包括（但不限于）加速梯度下降，其非欧几里德扩展，和加速高阶梯度法。我们证明了所有这些方法的连续时间极限对应于以不同的速度在时空中行进相同的曲线。从这个角度来看，Nesterov的技术和它的许多推广可以被看作是一种系统的方法，从Bregman Lagrangian生成的连续时间曲线到离散时间加速算法。
2016-03-14 cs.LG math.OC stat.ML
A Generalized Plant Perspective on Linear-Convex Feedback Optimization
University of Stuttgart（斯图加特大学）
本文提出广义被控对象视角，利用Zames-Falb积分二次约束分析优化器与被控对象互联的稳定性，动态乘子比静态乘子提供更紧的稳定裕度，并支持动态输出反馈控制器综合。
2026-06-23 cs.SY eess.SY math.OC
End-to-End Learning for Stochastic Optimization: A Bayesian Perspective
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of Konstanz（康斯坦茨大学）
该研究从贝叶斯视角解读标准端到端学习算法，提出训练对应经验风险最小化与分布鲁棒优化解的决策映射的新算法，并通过合成与真实数据实验验证了方案差异与架构影响。
2023-06-11 cs.LG math.OC stat.ML
Control and Reinforcement Learning through the Lens of Optimization: An Algorithmic Perspective
Delft University of Technology（代尔夫特理工大学）；University of Toronto（多伦多大学）
本文通过优化视角提出一种框架，将控制与优化算法统一起来，系统地转换算法并提供收敛保证的技术。
2025-12-08 math.OC
Smoothing Binary Optimization: A Primal-Dual Perspective
University of Chinese Academy of Sciences（中国科学院大学）；Shenzhen Research Institute of Big Data（深圳大数据研究院）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；City University of Hong Kong（香港城市大学）
本文提出一种新的对偶框架，将无约束二元优化转化为连续极小极大问题，通过平滑离散问题使梯度方法有效，提出并行化算法在多项式时间内收敛，实验显示在大规模问题中性能优越。
2026-05-09 math.OC
Learning Hard Optimization Problems: A Data Generation Perspective
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
最优化问题在我们的社会中无处不在，几乎存在于经济的每一个部分。这些最优化问题中的大多数是NP难的，并且计算量很大，对于大规模的实例，通常需要近似解。机器学习框架学习近似解这些困难的最优化问题是解决这些困难的潜在有前途的途径，特别是当许多密切相关的问题实例必须重复解决时。监督学习框架可以使用预先解决的实例的输出来训练模型。然而，当输出本身是近似值时，当最优化问题具有对称解时，和/或当求解器使用随机化时，紧密相关的实例的解可能表现出大的差异，并且学习任务可能固有地变得更加困难。本文展示了这一关键挑战，将训练数据的波动性与模型近似它的能力联系起来，并提出了一种方法，用于产生更适合监督学习任务的最优化问题的（精确或近似）解决方案。该方法的有效性进行了测试，硬非线性，非凸和离散组合问题。
2021-06-21 cs.LG math.OC
Two-Stage Distributionally Robust Optimization: Intuitive Understanding and Algorithm Development from the Primal Perspective
本文从原始视角研究两阶段分布鲁棒优化，提出通用快速分解算法及其变体，给出理论分析，并通过设施选址问题数值实验证明其显著优于现有方法，可处理此前无法解决的实际实例。
2024-12-30 math.OC math.PR
Regularization vs. Relaxation: A conic optimization perspective of statistical variable selection
Department of Mathematics, Washington State University（数学系，华盛顿州立大学）；Department of Statistics, University of Connecticut（统计系，康涅狄格大学）；Department of Industrial and Systems Engineering, University of Wisconsin-Madison（工业与系统工程系，威斯康星大学麦迪逊分校）
本文从锥优化视角探讨变量选择问题，证明MCP和反Huber惩罚函数可视为视角松弛的特例，并通过半定松弛解决，结合Goemans-Williamson方法获得近似解。
2015-10-20 cs.LG cs.NA math.NA
Discrete graphical models -- an optimization perspective
Heidelberg University（海德堡大学）
这本专著是关于离散图模型的离散能量最小化。它认为图形模型，或更准确地说，最大后验推理的图形模型，纯粹作为一个组合最优化问题。建模、应用、概率解释和许多其他方面要么被忽略，要么只在示例和注释中找到它们的位置。它涵盖了整数线性规划制定的问题，以及它的线性规划，拉格朗日和拉格朗日分解为基础的松弛。特别是，它提供了一个详细的分析多项式可解的无环和次模问题，以及相应的精确最优化方法。对主要的近似方法，如消息传递和图切割技术进行了全面的描述和分析。专着可以是有用的本科生和研究生学习优化或图形模型，以及专家在优化谁想要看看图形模型。为了使专着适合这两类读者，我们明确分离的数学优化的背景章节，从那些特定的图形模型。
2020-01-24 cs.CV cs.DM math.OC
Practical Perspectives on Symplectic Accelerated Optimization
本文探讨了辛加速优化算法的实用改进方法，通过动量重启方案减少振荡、时间循环避免数值精度不稳定，并比较几何积分技术以简化调参，显著提升了算法的计算效率、稳定性和鲁棒性。
2023-05-18 math.OC
Differentiable Convex Optimization Layers in Neural Architectures: Foundations and Perspectives
Yale University（耶鲁大学）
本文综述了将凸优化问题作为可微层嵌入神经网络的方法，梳理其从二次规划到一般凸优化的发展，并结合数学证明与应用案例探讨其理论基础、当前能力与未来方向。
2024-12-30 cs.LG math.OC
Zeroth-Order Constrained Optimization from a Control Perspective via Feedback Linearization
Massachusetts Institute of Technology（麻省理工学院）；UIUC, Department of Industrial and Enterprise Systems Engineering（伊利诺伊大学厄巴纳-香槟分校工业与企业系统工程系）；Harvard University, School of Engineering and Applied Sciences（哈佛大学工程与应用科学学院）
本文提出了一种基于反馈线性化的零阶约束优化算法，能够在不访问一阶 oracle 的情况下保证可行性，并在非凸优化中实现高效约束满足。
2026-01-28 cs.SY eess.SY math.OC
Perspectives on Contractivity in Control, Optimization, and Learning
本文提出五个核心观点，论证收缩理论作为统一框架在控制、优化与学习中的计算友好性、鲁棒性、模块化及广泛应用潜力，并综述相关研究进展。
2024-07-28 cs.SY eess.SY math.OC
Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond
Dalian University of Technology（大连理工大学）；Southern University of Science and Technology（南方科技大学）；Xi’an Jiaotong University（西安交通大学）；Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）
双层优化（BLO）是由经济博弈论发展而来，并被引入到优化领域的。BLO能够处理具有层次结构的问题，涉及两个级别的优化任务，其中一个任务嵌套在另一个任务中。在机器学习和计算机视觉领域，尽管动机和机制不同，但许多复杂问题，如超参数优化、多任务和元学习、神经结构搜索、对抗学习和深度强化学习，实际上都包含一系列密切相关的子问题。在本文中，我们首先从BLO的角度统一表达这些复杂的学习和视觉问题。然后，我们构建了一个基于最佳响应的单级重构，并建立了一个统一的算法框架，以理解和制定主流的基于梯度的BLO方法，涵盖的方面，从基本的自动微分计划，各种加速，简化，扩展及其收敛性和复杂性。最后，我们讨论了我们的统一BLO框架的潜力，设计新的算法，并指出一些有前途的方向，为未来的研究。
2021-09-28 cs.CV cs.LG math.DS
Stochastic Optimization and Data Science
本文从统计学和统计学习的角度出发，探讨随机优化问题，旨在最大化对数似然或最小化总体风险，并简要介绍了两种主要方法：离线（蒙特卡洛/样本平均逼近）和在线（随机逼近）方法，用于解决期望最小化问题。
2026-10-19 math.OC
Finite-Sum Optimization: A New Perspective for Convergence to a Global Solution
CWI Amsterdam（阿姆斯特丹数学与计算机科学中心）；IBM Research（IBM研究院）；Cornell University（康奈尔大学）
深度神经网络（DNN）在许多机器学习任务中取得了巨大成功。它们的训练是具有挑战性的，因为网络架构的损失表面通常是非凸的，甚至是不光滑的。如何以及在何种假设下保证收敛到\textit{global}最小值？我们提出了一个重新制定的最小化问题，允许一个新的递归算法框架。通过使用有界风格的假设，我们证明了收敛到一个$\varepsilon$（全球）最小值使用$\mathcal{\tilde{O}}(1/\varepsilon^3)$梯度计算。我们的理论基础激励进一步的研究，实施和优化的新算法框架和进一步调查其非标准的有界风格的假设。这个新方向拓宽了我们对DNN训练为什么以及在什么情况下收敛到全局最小值的理解。
2022-02-07 cs.LG math.OC stat.ML
An Optimization Perspective on the Monotonicity of the Multiplicative Algorithm for Optimal Experimental Design
本文从优化视角证明了最优实验设计中乘性算法的单调性，简化了现有证明，给出了严格单调的充分条件，并通过反例揭示了其局限性。
2025-08-09 math.OC
Perspective Functions: Proximal Calculus and Applications in High-Dimensional Statistics
透视函数在应用数学和统计数据分析中以各种形式显式或隐式出现。到目前为止，没有系统的策略可用于解决相关的，典型的非光滑，最优化问题。在本文中，我们填补了这一空白，近端的方法提供了一个有效的框架来建模和解决问题，涉及透视功能。我们研究了建设的邻近算子的透视函数的一般假设下，并提出了重要的情况下，邻近算子可以计算明确或通过简单的数值运算。这些结果构成了近端优化算法设计的核心构件。我们展示了框架的多功能性，通过设计新的最先进的回归和变量选择方案在高维统计的近端算法。
2016-12-13 math.OC
A System Theoretical Perspective to Gradient-Tracking Algorithms for Distributed Quadratic Optimization
在本文中，我们考虑了最近发展的分布式优化算法的基础上梯度跟踪。我们提出了一个系统理论框架，分析其结构特性的初步，二次优化设置。具体来说，我们专注于一个场景中，代理在一个静态网络要合作最小化二次代价函数的总和。我们发现，梯度跟踪分布式算法的调查程序可以被看作是一个稀疏的闭环线性系统，其中的动态状态反馈控制器包括共识矩阵和优化（步长）参数。闭环系统原来是不完全可达的，渐近稳定性可以限制在一个适当的不变集。收敛到全局最小值，反过来，只能通过一个适当的初始化。分布式算法的拟议系统的解释也提供了其他的结构特性和可能的设计选择，在论文的最后一部分讨论作为未来发展的起点的额外见解。
2019-11-15 cs.MA cs.SY eess.SY
The Gradient descent method from the perspective of fractional calculus
受最优化理论中梯度法的启发，我们给出了基于$ψ$--$α$阶分数导数的方法来求解无约束最优化问题。详细分析了这些方法的收敛性。本文还提出了一种估计含$ψ$ -分数阶导数方程解的Adams-Bashforth-Moulton（ABM）方法. ABM方法的数值算例表明，分数阶$α$和权值$ψ$是可调参数，有助于提高梯度下降法的性能.
2020-12-21 math.OC
Understanding the Variance Dichotomy in Continuous Simulation Optimization: A Minimax Lower Bound Perspective
Faculty of Business for Science and Technology, School of Management, University of Science and Technology of China（中国科学技术大学管理学院）；Department of Industrial and Systems Engineering, University of Minnesota（明尼苏达大学工业与系统工程系）
本文从极小下界视角研究连续模拟优化中方差二元性，揭示有限模拟预算下方差依赖项与独立项对复杂度的决定作用，指出低噪声环境下随机优化与确定性优化复杂度相近，预算增加后收敛行为受噪声方差和预算联合影响。
2026-04-15 math.OC
LEAD: Min-Max Optimization from a Physical Perspective
University of Montreal（蒙特利尔大学）；Mila, Quebec AI Institute（米拉魁北克人工智能研究所）；University of California, Riverside（加州大学河滨分校）
本文从物理视角提出LEAD优化器，用于改善生成对抗网络等最小-最大博弈中的旋转动力学，通过李雅普诺夫和谱分析证明其线性收敛到纳什均衡，并在CIFAR-10上验证了训练改进。
2023-06-21 cs.GT cs.LG cs.MA
A note on quadratic constraints with indicator variables: Convex hull description and perspective relaxation
本文研究了由连续变量上的可分二次约束给出的混合整数非线性集，其中每个连续变量由一个附加指标控制。这个集合普遍存在于具有不确定性的最优化问题和机器学习中。我们表明，在这个集合上的优化是NP-困难的。尽管这个负面的结果，我们的凸包的结构特征，并表明，它可以正式研究使用多面体理论。此外，我们表明，虽然在文献中的透视松弛这一套未能匹配的结构，其凸包，它是保证是一个密切的近似。
2022-09-03 math.OC
Optimized methods for composite optimization: a reduction perspective
本文提出一种通用框架，通过代数恒等式将无约束平滑优化的优化方法直接归约推导至复合优化设定，并据此证明了近端梯度下降的步长加速现象、比 FISTA 更快的收敛速率及最小化梯度范数的新方法。
2025-06-30 cs.DS math.OC
Online Optimization Perspective on First-Order and Zero-Order Decentralized Nonsmooth Nonconvex Stochastic Optimization
Northeastern University（东北大学）
研究去中心化非光滑非凸随机优化中寻找稳定点的问题，提出ME-DOL算法，利用在线优化技术在一阶和零阶设置下实现了与最优集中式方案匹配的样本复杂度。
2024-06-03 cs.LG cs.SY eess.SY
Step-Size Stability in Stochastic Optimization: A Theoretical Perspective
Inria, Departement d'Informatique de l'Ecole Normale Superieure, PSL Research University, Paris, France（法国国家信息与自动化技术研究院，巴黎高等师范学院计算机系，巴黎理工大学，法国）；CCM, Flatiron Institute, New York City（Flatiron研究所，纽约市）
本文通过理论分析识别关键量，量化步长过大时性能下降程度，证明自适应步长方法（如SPS、NGN）比SGD更鲁棒，并实验验证理论界对实际性能的定性反映。
2026-05-26 cs.LG math.OC
A General Multicriteria Optimization Perspective on Resilience
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Katholische Universität Eichstätt-Ingolstadt（艾希施泰特-因戈尔施塔特天主教大学）
本文提出一般两阶段网络流多准则优化模型，将回弹、抵抗、损失和最大性能退化作为独立准则，证明问题难解并开发包络启发式算法，强调弹性决策需显式考虑多准则权衡而非单一标量指标。
2026-09-22 math.OC
First-order Methods for Unconstrained Vector Optimization Problems: A Unified Majorization-Minimization Perspective
College of Mathematics, Sichuan University（四川大学数学学院）；National Center for Applied Mathematics in Chongqing, Chongqing Normal University（重庆师范大学重庆应用数学国家中心）
本文提出了一种统一的主导最小化方法，通过缩小替代函数与目标函数之间的差距来提升一阶方法在无约束向量优化问题中的性能。
2026-01-13 math.OC
A continuous perspective on modeling of shape optimal design problems
本文利用映射方法将形状最优化问题转化为最优控制问题。而不是优化一组容许形状的参考域的介绍，它是一组容许的变换优化。重点是选择的一组转换，我们从函数空间的角度出发。为了保证容许变换的局部内射性，我们通过一个非线性约束来丰富最优化问题。该方法不需要对延拓方程进行参数调整，并且可以自然地与形状的体积和重心的几何约束相结合。给出了Stokes流阻力最小化的数值结果。
2020-04-15 math.OC
Monitoring and Optimization for Power Grids: A Signal Processing Perspective
智能电网的愿景是通过利用成熟的传感、通信、控制和机器学习技术来振兴电力网络，以解决与安全、稳定、环境影响、市场多样性和新型电力技术相关的紧迫问题。通过安装先进的计量系统和在整个电网中建立数据通信网络，已投入大量精力和投资来构建必要的基础设施。信号处理方法预计将在这方面发挥重要作用，提供智能算法，充分利用这种普遍的传感和控制能力，以实现智能电网的愿景和多种预期的好处。在这篇专题文章中，描述了信号处理工具与电力系统的分析背景和相关性，同时介绍了未来电网工程的主要挑战和机遇。从网格信息学到监控和优化工具的推理，与能源相关的问题为信号处理的发展提供了肥沃的土壤。
2013-02-04 math.OC stat.AP
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题，在线学习（OL）从显示的偏好：学习者希望学习一个非战略代理的私人效用函数，通过观察代理的效用最大化的行动，在不断变化的环境。我们采用了在线逆优化设置，学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数，然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架，使一个统一的处理损失函数，并支持各种在线凸优化算法。我们证明与理论和实证证据表明，我们的框架的基础上新的损失函数（特别是在线镜像下降）的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设，以及显着的优势。
2021-06-04 cs.LG math.OC
