An overview of optimal control optimization problems driven by non-convexity measures
最近，文献动态一致的风险措施，扩大了风险敏感的业绩评价的选择。一个运行的例子包括累积前景理论和条件方差风险。它们中的大多数可以一般地解释为给定随机变量的非线性变换。非凸性蕴含着许多数学难题和挑战。综述了非凸测度驱动的动态规划最优控制最优化问题的研究进展。
2020-12-11 math.OC
Combating Conservativeness in Data-Driven Optimization under Uncertainty: A Solution Path Approach
在数据驱动的优化中，解决方案的可行性通常通过不确定约束的“安全”重新制定来确保，使得所获得的数据驱动的解决方案对于具有高统计置信度的预言制定是可行的。这种方法通常涉及对整个可行集的隐式估计，其可以随着问题维度迅速扩展，从而导致过度保守的解决方案。在本文中，我们研究了一种基于验证的策略，以避免集估计，利用内在的低维所有可能的解决方案输出从一个给定的重新制定。我们证明了我们获得的解决方案如何满足统计可行性保证与光维依赖，以及它们是如何渐近最优的，从而被认为是最保守的考虑重新类。我们将此策略应用于几个数据驱动的优化范例，包括（分布式）鲁棒优化，样本平均近似和场景优化。数值实验表明，我们的策略相比，建立基准令人鼓舞的表现。
2019-09-13 math.OC
Gradient directions and relative inexactness in optimization and machine learning
本文研究梯度估计中与原始梯度成锐角的相对噪声对优化和机器学习的影响，通过理论定理和线性回归、逻辑回归、计算机视觉及自然语言处理实验进行验证。
2024-06-30 math.OC
First order optimization methods based on Hessian-driven Nesterov accelerated gradient flow
提出了一种新的动态惯性牛顿系统--Hessian-driven Nesterov加速梯度流（H-NAG）。通过裁剪的李雅普诺夫函数建立了连续轨迹的收敛性，并提出了新的一阶加速最优化方法。结果表明，对于凸和强凸目标，（半）隐格式总是能达到线性速率，而显格式具有最优（加速）速率。特别是，Nesterov的最佳方法是从我们的H-NAG流的显式方案中恢复的。此外，还提出了求解复合最优化问题的加速分裂算法。
2019-12-24 math.OC
Data-driven optimization of processes with degrading equipment
在化学和制造过程中，由于设备退化而导致的单元故障可能导致过程停机和显著的成本。在这种情况下，找到一个最佳的维护策略，以确保良好的单位健康，同时避免过度昂贵的维护活动是高度相关的。我们提出了一种实用的方法，能够将不确定的传感器数据设备退化的生产和维护的综合优化。为此，我们将数据驱动的随机退化模型从基于状态的维护到一个过程级的混合整数最优化问题，使用鲁棒优化。我们通过利用分析和基于数据的近似来减少计算开销，并使用贝叶斯优化来优化鲁棒优化参数。我们将我们的框架应用于五个实例的状态任务网络，并证明它可以有效地折衷设备的可用性和维护成本。
2019-01-24 math.OC
Parameter calibration with Consensus-based Optimization for interaction dynamics driven by neural networks
我们校准的神经网络的参数，相互作用动力学模型的帮助下，基于遗传算法的全局最优化方法（CBO）。我们陈述了由神经网络驱动的交互粒子系统的一般框架，并使用ESIMAS交通实验的真实数据集测试了所提出的方法。将所得力与众所周知的物理相互作用力进行比较。此外，我们将所提出的校准过程的性能与[4]中使用随机梯度下降算法的校准过程的性能进行了比较。
2021-09-10 math.OC
Data-driven Topology Optimization (DDTO) for Three-dimensional Continuum Structures
为具有非线性力学行为的新材料开发合适的基于解析函数的本构模型是非常必要的。对于这类材料，在经典的基于本构模型的拓扑优化框架下，从材料实验的集合中实现集成设计更具挑战性。提出了一种基于力学的数据驱动的三维连续体结构有限变形拓扑优化框架。在DDTO框架下，借助神经网络和显式拓扑最优化方法，仅利用单轴和等双轴试验数据，实现了三维连续体结构有限变形下的最优设计。数值算例验证了数据驱动拓扑优化方法的有效性，为新型材料组成的连续体结构的最优设计奠定了基础。
2022-11-10 math.OC
Data-Driven Bayesian Nonparametric Wasserstein Distributionally Robust Optimization
本研究提出数据驱动的贝叶斯非参数Wasserstein分布鲁棒优化框架，结合贝叶斯非参数方法与Wasserstein度量构建数据驱动模糊集，证明其有限样本保证与渐近一致性，推导等价可解重构形式，经机组组合实验验证其有效性优于现有方法。
2023-11-06 math.OC
Binary interaction methods for high dimensional global optimization and machine learning
在这项工作中，我们介绍了一类新的梯度自由的全球最优化方法的基础上的二元相互作用动力学的玻尔兹曼型方程。在每个相互作用中，粒子的行为都考虑到最佳微观二元位置和最佳宏观集体位置。在平均场的限制，我们表明，由此产生的福克-普朗克偏微分方程推广目前的一类共识为基础的优化（CBO）方法。对于后者的方法，收敛到全局最小值，可以显示为一大类功能。在动力学理论中著名的直接模拟蒙特卡罗方法的启发下，推导并讨论了数学实现。几个例子的原型检验函数的全局优化的报告，包括应用到机器学习。
2022-03-14 math.OC
Status Determination by Interior-Point Methods for Convex Optimization Problems in Domain-Driven Form
我们研究了以域驱动形式给出的凸优化问题的几何结构，并利用对偶理论对这些问题的可能状态进行了分类。我们的域驱动形式的对偶理论，它接受圆锥和非圆锥约束，让我们确定和证明一个问题的状态，严格的圆锥公式的最佳方法（已被证明是非常有效的，在这种情况下）。我们分析了一个不可行的启动原始对偶法域驱动的形式在返回证书的定义状态的性能。我们的迭代复杂性边界为这个更实际的域驱动的形式匹配最好的圆锥公式。最后，我们提出了一些停止准则的实际算法的基础上，从我们的分析得到的见解。
2019-01-21 math.OC
Multi-material topology optimization of electric machines under maximum temperature and stress constraints
RICAM, Austrian Academy of Sciences（奥地利科学院 RICAM）；TU Darmstadt（达姆施塔特工业大学）
本文提出多材料拓扑优化方法，用于设计电机构，考虑电磁场和温度分布，以最大化永磁体扭矩并满足温度和应力约束。
2025-04-16 math.OC
Mathematics for Machine Learning and Data Science: Optimization with Mathematica Applications
近年来，由于计算机技术的重大进步，优化领域引起了人们的极大兴趣。由于最优化方法和算法的快速发展，机器学习、经济学、金融学、生物物理学、分子建模、计算系统生物学、运筹学和所有工程领域中的许多问题现在都得到了解决。本专著介绍了线性代数、凸集、凸函数、单变量优化、多变量优化的主要定理及其相应的算法。本文还简要地讨论了约束非线性最优化问题。我们发现Wolfram语言非常适合以人类可读的形式指定算法。为了最小化非线性目标函数，我们创建了27个Mathematica函数，遵循18个算法的原则。为了说明算法的有效性，设计了相应的代码实例.每个算法的代码将按原样运行，除了安装Mathematica之外，不需要来自先前算法或第三方的代码。
2023-02-12 math.OC
Uncertainty Quantification in Data-Driven Inverse Optimization via Bayesian Inference
University of Toronto（多伦多大学）；Brigham Young University（杨百翰大学）；Queen’s University（女王大学）
提出层次贝叶斯框架，通过马尔可夫链蒙特卡洛算法估计未知参数的后验分布，构建可信区域并证明后验一致性，实现数据驱动逆优化中的参数不确定性量化。
2026-05-24 math.OC
Data-Driven Robust Optimization
在过去的十年里，运筹学应用程序的数据可用性出现了爆炸式增长。出于这种日益增长的可用性，我们提出了一种新的模式，利用数据来设计不确定性集强大的优化使用统计假设测试。该方法是灵活的，广泛适用的，和强大的最优化问题建立从我们的新的集合是计算上易于处理的，无论是理论上还是实践中。此外，这些问题的最优解具有强的有限样本概率保证。\edit {我们描述了为给定应用选择适当集合的具体过程，并将我们的方法应用于多个不确定约束。投资组合管理和排队的计算证据证实，我们的数据驱动集显着优于传统的强大的优化技术，只要数据可用。
2014-11-23 math.OC
Data-Driven Synthesis of Optimization-Based Controllers for Regulation of Unknown Linear Systems
本文提出了一个数据驱动的框架来解决与未知线性动力系统相关的时变最优化问题。在许多现代工程应用中，做出在线控制决策来调节动力系统以解决最优化问题是中心目标。然而，现有的方法严重依赖于系统动态的精确知识，因此在设计控制器之前需要一个初步的系统辨识阶段。在这项工作中，我们利用行为理论的结果表明，稳态的线性系统的传递函数可以从数据样本计算，没有任何知识或估计的系统模型。然后，我们使用这种数据驱动的表示设计一个控制器，灵感来自梯度下降最优化方法，调节系统的凸优化问题的解决方案，而不需要任何知识的时变干扰影响模型方程。结果是定制的成本函数满足Polyak-Jasojasiewicz不等式。
2021-09-07 math.OC
Data-driven Optimization Approaches to the Power System Planning under Uncertainty
为了保护环境和解决化石燃料短缺问题，可再生能源越来越多地用于发电。然而，由于它给电力生产带来的不确定性，确定性优化不再足以满足运营需求。因此，大量的不确定性优化技术被提出，为解决不确定性问题提供了很好的途径。本文选择了三个比较重要的不确定性优化技术介绍：随机规划（SP），鲁棒优化（RO），和一种新的方法命名为分布式鲁棒优化（DRO）的基础上的前两个。我们使用具体示例解释每种方法的基本框架和一般流程。重点是每种方法如何解决不确定性。此外，我们还比较了它们的优缺点，并讨论了未来的研究方向。
2022-12-12 math.OC
A Decision Rule Approach for Two-Stage Data-Driven Distributionally Robust Optimization Problems with Random Recourse
研究了具有随机补偿的两阶段随机最优化问题，其中自适应决策与目标函数和约束中的不确定参数相乘.为了解决无限维优化问题的计算难题，我们提出了一种基于分段线性和分段二次决策规则的可扩展近似方案。然后，我们开发了一个数据驱动的分布式鲁棒框架，具有两层鲁棒性，以解决分布式不确定性。新出现的最优化问题可以转化为一个精确的正余规划，它允许半定规划中的易处理的近似。我们设计了一个分解算法，较小的半定程序可以并行解决，这进一步降低了运行时间。最后，我们建立所提出的计划的性能保证，并通过数值例子证明其有效性。
2021-10-04 math.OC
Comparing Inverse Optimization and Machine Learning Methods for Imputing a Convex Objective Function
逆优化（IO）的目的是从观测到的决策中确定最优化模型参数。然而，在实践中，IO并不是数据科学家工具包的一部分，特别是许多通用机器学习包作为替代品广泛使用。当遇到IO时，从业者面临的问题是什么时候，甚至是否投资开发IO方法是值得的。我们的论文提供了一个出发点，回答这些问题，专注于输入的目标函数的参数凸优化问题的问题。我们将三种标准监督机器学习（ML）算法（随机森林，支持向量回归和高斯过程回归）的预测性能与Keshavarz，Wang和Boyd（2011）的IO模型的性能进行了比较。虽然IO文献的重点是针对特定问题类的方法的发展，我们的目标是评估一般的“开箱即用”的方法。我们的实验表明，确定是否使用ML或IO方法需要考虑（i）训练集大小，（ii）最优化问题对外部参数的依赖性，（iii）关于优化先验正确性的置信水平，以及（iv）解空间中临界区域的数量。
2021-02-22 math.OC
Convergence of iterates for first-order optimization algorithms with inertia and Hessian driven damping
在希尔伯特空间中，对于凸优化，证明了一类加速一阶算法的迭代收敛于最优解.它们可以被解释为离散的时间版本的惯性动态涉及粘性阻尼和海森驱动的阻尼。渐近消失的粘性阻尼与Nesterov的加速梯度法相联系，而Hessian驱动阻尼则可以显着衰减振荡。通过将Hessian驱动阻尼视为梯度项的时间导数，这给出了离散形式的一阶算法。这些结果补充了作者以前的工作，其中示出了值的快速收敛，以及梯度向零的快速收敛。
2021-07-13 math.OC
On Seven Fundamental Optimization Challenges in Machine Learning
最近机器学习的许多成功与优化的进步齐头并进。这些领域之间的思想交流是双向的，机器学习建立在标准优化程序（如梯度下降）上，以及机器学习应用程序产生的优化理论的新方向。在这篇论文中，我们讨论了受机器学习，联邦学习和数据科学的需求和实践启发的优化新发展。特别是，我们考虑数学优化的七个关键挑战，并为每个挑战制定解决方案。我们的第一个贡献是解决了联邦学习中的一个关键开放问题：我们建立了异构数据制度中著名的本地SGD算法的第一个理论保证。作为第二个挑战，我们缩小了在实践中广泛使用的两种算法（称为随机重排（RR）和Shuffle-Once）的理论上界和下界之间的差距，并将其设置为现代机器学习软件中SGD的默认数据选择策略。我们的第三个贡献可以被看作是我们的新理论的结合近端RR和本地SGD产生一个新的算法，我们称之为FedRR。与Local SGD不同，FedRR可以证明在异构数据体系中的通信复杂性方面击败梯度下降。第四个挑战与自适应方法的类别有关。特别是，我们提出了第一个无参数的步长规则梯度下降，可证明适用于任何局部光滑凸目标。第五个挑战是开发一种用于分布式优化的算法，该算法具有保留梯度下降的线性收敛的量化更新。最后，在我们的第六和第七个挑战中，我们开发了适用于基于近端操作符的非平滑设置的新VR机制。
2021-10-23 math.OC
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland（IBM爱尔兰研究院）；Ivey Business School（毅伟商学院）；University of Western Ontario（西安大略大学）
本文综述了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别地，数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步，这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论，并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
Data-driven aerodynamic shape design with distributionally robust optimization approaches
本研究采用分布鲁棒优化方法解决数据驱动气动外形设计问题，揭示了其与田口方法的联系，并在跨音速湍流中验证了设计效果。
2023-10-13 cs.CE math.OC
A Fenchel-Young Loss Approach to Data-Driven Inverse Optimization
Tsinghua University（清华大学）
本文提出一种基于Fenchel-Young损失的数据驱动反优化方法，通过高效梯度优化提升参数估计精度、决策误差和计算速度。
2026-05-11 math.OC stat.ML
High Dimensional Optimization through the Lens of Machine Learning
本文回顾了数值最优化方法与机器学习问题。由于机器学习模型是高度参数化的，我们专注于适合高维优化的方法。我们在二次模型上建立直觉，以找出哪些方法适合于非凸优化，并为这种方法的选择开发凸函数的收敛性证明。有了随机梯度下降和动量方法的理论基础，我们试图解释为什么机器学习领域常用的方法如此成功。除了解释成功的方法学之外，最后一章还对更多的理论方法进行了不太广泛的回顾，这些方法在实践中并不那么流行。因此，在某种意义上，这项工作试图回答这个问题：为什么默认的Tensorflow优化器包含在默认值中？
2021-12-31 math.OC stat.ML
Subframe resource optimization for massive machine device access in LTE networks
同步的大规模机器设备接入可能导致LTE网络的随机接入信道（RACH）中的严重拥塞。在频率资源稀缺的情况下，必须开发有效的手段来应对这一关键挑战。在这封信中，频率资源的有效分配被认为是一个优化问题，解决与效用函数。在此基础上，提出了一种估计机器设备数量的方法，并在此基础上提出了一种自适应子帧分配方案。数值和仿真结果验证了所提出的帧自适应方案在对抗RACH拥塞方面的有效性。
2019-03-23 cs.NI math.OC
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
Ecole: A Gym-like Library for Machine Learning in Combinatorial Optimization Solvers
Mila（米拉）；Polytechnique Montréal（蒙特利尔理工学院）；Technische Universiteit Delft（代尔夫特理工大学）
我们提出了Ecole，一个新的库，以简化组合优化的机器学习研究。Ecole揭示了在通用组合优化求解器中出现的几个关键决策任务，作为马尔可夫决策过程的控制问题。它的界面模仿了流行的OpenAI Gym库，可扩展且使用直观。我们的目标是使这个图书馆成为一个标准化的平台，降低进入门槛，加速该领域的创新。文档和代码可以在https://www.ecole.ai上找到。
2020-11-24 cs.LG math.OC
Data-driven Multiperiod Robust Mean-Variance Optimization
本文提出一种数据驱动的多期稳健均值-方差优化方法，利用以经验测度为中心的Wasserstein球刻画概率测度不确定性，并在美国股市模拟中验证其优于其他流行策略。
2023-07-09 math.OC q-fin.MF
OMLT: Optimization & Machine Learning Toolkit
Imperial College London（帝国理工学院）；Sandia National Laboratories（桑迪亚国家实验室）；Carnegie Mellon University（卡内基梅隆大学）
优化和机器学习工具包（OMLT）是一个开源软件包，将神经网络和梯度提升树代理模型（已使用机器学习进行训练）纳入更大的优化问题。我们讨论了优化技术的进步，使OMLT成为可能，并展示了OMLT如何无缝集成的代数建模语言Pyomo。我们演示了如何使用OMLT解决决策问题，在计算机科学和工程。
2022-11-15 cs.AI cs.LG math.OC
Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization
Department of Industrial Engineering and Operations Research, Columbia University（工业工程与运营管理系，哥伦比亚大学）
本文提出优化器信息准则（OIC），将赤池信息准则推广到数据驱动优化中，无需额外求解优化问题即可直接近似一阶偏差，从而校正“优化者的诅咒”并支持决策选择。
2025-07-21 cs.LG math.OC
Neural Optimization Machine: A Neural Network Approach for Optimization
Northwestern University（西北大学）；Arizona State University（亚利桑那州立大学）
提出了一种新的求解约束优化问题的神经网络方法。所提出的方法使用一个专门设计的神经网络架构和训练/优化过程称为神经优化机（NOM）。NOM的目标函数近似与NN模型。优化过程由神经网络的内置反向传播算法进行。NOM通过扩展NN目标函数模型的体系结构来解决优化问题。这是通过适当地设计NOM的结构、激活函数和损失函数来实现的。NN目标函数可以具有任意的结构和激活函数。NOM的应用不限于特定的优化问题，例如，线性和二次规划。结果表明，设计变量维数的增加并不会显著增加计算量。然后，NOM扩展到多目标优化。最后，使用数值优化问题测试NOM，并将其应用于增材制造工艺参数的优化设计。
2022-08-08 cs.LG math.OC stat.ML
An Ising Machine Formulation for Design Updates in Topology Optimization of Flow Channels
本研究提出一种用于流道拓扑优化中计算设计更新的新颖Ising机表述，旨在最小化耗散能，实验表明该策略能加速优化过程且产生可比设计，但探索性较低可能影响性能，为工程优化整合Ising机提供了高效替代方案并揭示了其局限性。
2024-11-13 cs.CE math.OC
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
Optimization Methods for Large-Scale Machine Learning
Facebook AI Research（脸书人工智能研究院）；Lehigh University（利哈伊大学）；Northwestern University（西北大学）
本文对数值优化算法在机器学习应用背景下的过去、现在和未来进行了回顾和评论。通过对文本分类和深度神经网络训练的案例研究，我们讨论了优化问题是如何在机器学习中出现的，以及是什么使它们具有挑战性。我们研究的一个主要主题是，大规模机器学习代表了一种独特的设置，其中随机梯度（SG）方法传统上发挥了核心作用，而传统的基于梯度的非线性优化技术通常会动摇。基于这一观点，我们提出了一个全面的理论，一个简单的，但通用的SG算法，讨论其实际行为，并强调设计算法的机会，提高性能。这导致了关于下一代大规模机器学习的优化方法的讨论，包括两个主流的研究技术，减少随机方向的噪声和方法，利用二阶导数近似的调查。
2018-02-08 cs.LG math.OC stat.ML
Optimization for Classical Machine Learning Problems on the GPU
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）；Data Assessment Solutions GmbH（数据评估解决方案有限责任公司）
约束优化问题经常出现在经典的机器学习中。存在解决约束优化的框架，例如CVXPY和GENO。然而，与深度学习框架相比，GPU支持有限。在这里，我们扩展了GENO框架，也可以在GPU上解决约束优化问题。该框架允许用户以易于阅读的建模语言指定约束优化问题。然后，求解器将根据此规范自动生成。当在GPU上运行时，该求解器的性能优于CVXPY等最先进的方法与cuOSQP或SCS等GPU加速求解器的组合。
2022-03-30 cs.LG math.OC stat.ML
Data-Driven Minimax Optimization with Expectation Constraints
Fudan University（复旦大学）；Georgia Institute of Technology（佐治亚理工学院）
本文针对带期望约束的非光滑凸-凹随机极小极大问题，提出原始-对偶算法，以最优速率收敛，并在大型现实应用中验证了效率。
2023-10-10 cs.LG math.OC
Reservoir optimization and Machine Learning methods
本文研究水库优化问题，提出改进的动态规划算法、更优的贝尔曼值神经网络估计方法，以及结合线性规划与神经网络条件割的新算法，以求解高维和随机线性存储问题。
2023-05-30 math.OC q-fin.CP
Multi-objective free-form shape optimization of a synchronous reluctance machine
TU Graz（格拉茨工业大学）；Institute of Applied Mathematics, TU Graz（格拉茨工业大学应用数学研究所）；Electric Drives and Machines Institute, TU Graz（格拉茨工业大学电力驱动与电机研究所）
本文提出基于梯度的自由形形状优化方法，用于优化X射线管中同步 reluctance 电机的扭矩输出，相比随机优化算法，该方法计算时间更短。
2020-10-20 cs.CE math.OC
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Unsupervised Machine Learning Hybrid Approach Integrating Linear Programming in Loss Function: A Robust Optimization Technique
UC Berkeley（加州大学伯克利分校）
本文提出一种将线性规划（LP）集成到无监督机器学习模型损失函数中的混合方法，通过封装LP约束和目标指导学习过程，兼具LP的可解释性与机器学习的灵活性，适用于复杂优化问题。
2025-04-18 cs.AI cs.LG math.OC
Tracing Pareto-optimal points for multi-objective shape optimization applied to electric machines
针对旋转电机多目标形状优化，提出基于二阶形状导数的同伦方法，沿帕累托前沿高效追踪帕累托最优解，兼顾计算效率与任意几何形状的灵活性。
2024-04-18 cs.NA math.NA math.OC
A Robust Scientific Machine Learning for Optimization: A Novel Robustness Theorem
University of Porto（波尔图大学）；Universidade Federal da Bahia（巴伊亚联邦大学）
科学机器学习（SciML）是一个在几个不同应用领域越来越受关注的领域。在优化上下文中，基于SciML的工具使得能够开发更有效的最优化方法。然而，实施SciML工具进行优化必须严格评估和谨慎执行。这项工作提出了一个鲁棒性测试，保证多目标SciML为基础的优化的鲁棒性，通过显示其结果尊重通用逼近定理的推导。该测试是适用于一种新的方法，这是在一系列的基准说明其一致性进行评估的框架。此外，所提出的方法的结果进行了比较与可行域的严格优化，这需要一个显着更高的计算工作量。因此，这项工作提供了一种鲁棒性测试，以保证在多目标优化中应用SciML工具时的鲁棒性，并且计算量比现有替代方案更低。
2022-09-13 cs.LG math.OC stat.ME
Adaptive machine learning based surrogate modeling to accelerate PDE-constrained optimization in enhanced oil recovery
在这方面的贡献，我们开发了一个有效的替代建模框架，基于模拟的优化提高采收率，我们特别关注聚合物驱。计算方法是基于一个自适应训练过程的神经网络，直接近似的输入输出映射的基本偏微分方程约束的最优化问题。因此，训练过程集中于仅与外部迭代优化循环的优化路径相关的准确代理模型的构造。目标函数的真实评估用于最终获得经认证的结果。通过一个异构五点基准问题的数值实验，验证了该方法的精度和效率。
2022-03-03 cs.NA math.NA math.OC
Data-Driven Inverse Optimization for Marginal Offer Price Recovery in Electricity Markets
本文提出一种数据驱动的逆优化方法，通过建立未知参数与市场出清结果的闭式关系，将边际报价恢复问题转化为单层优化问题求解，并证明了其全局最优解的存在唯一性及鲁棒性。
2023-05-16 cs.SY eess.SY math.OC
Stochastic Cutting Planes for Data-Driven Optimization
我们介绍了一个随机版本的割平面法的一大类数据驱动的混合非线性最优化（MINLO）问题。我们表明，在非常弱的假设下，随机算法是能够收敛到一个$ε$ -最优解的概率很高。几个问题的数值实验表明，随机切割平面是能够提供一个多个数量级的速度比标准的割平面法。我们进一步实验探索随机切割平面的采样下极限，并表明，对于许多问题，$O(\sqrt[3]{n})$的采样大小似乎是足够的高品质的解决方案。
2021-03-03 math.OC stat.CO stat.ML
Event excitation for event-driven control and optimization of multi-agent systems
本文提出一种新指标，通过生成势场确保梯度值在无事件时非零，从而解决事件驱动优化中事件激发不足的问题，并应用于协同多智能体数据采集问题。
2016-04-03 cs.SY eess.SY math.OC
Data-driven optimization of reliability using buffered failure probability
复杂工程系统的设计和运行依赖于可靠性优化。这种优化要求我们考虑到以复杂的高维概率分布表示的不确定性，对于这些不确定性，可能只有样本或数据可用。然而，使用数据或样本通常会降低计算效率，特别是当使用梯度未被定义为零的指示函数来估计常规故障概率时。为了解决这个问题，通过利用缓冲失效概率，本文开发了缓冲优化和可靠性方法（BORM），用于有效的，数据驱动的可靠性优化。所提出的公式、算法和策略大大提高了优化的计算效率，从而满足了高维非线性问题的需要。此外，一个解析公式来估计的可靠性灵敏度，一个充满了困难的主题时，使用传统的失效概率。在许多不同分布的背景下，缓冲失效概率进行了深入研究，导致一种新的衡量尾重称为缓冲尾指数。三个数值算例验证了所提出的优化方法的有效性和准确性，强调了缓冲失效概率在数据驱动可靠性分析中的独特优势。
2021-09-21 math.OC math.ST stat.TH
A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning
University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
在本文中，我们展示了如何将拟合机器学习模型所产生的任何优化问题转换为（1）从训练集中检测并移除污染数据，同时（2）在剩余的未污染数据上拟合修剪模型。为了解决由此产生的非凸优化问题，我们引入了一个快速随机近似梯度算法，通过非光滑正则化结合先验知识。对于大小为$n$的数据集，我们的方法需要$O(n^{2/3}/\varepsilon)$梯度评估以达到$\varepsilon$ -准确度，并且当某个错误界限成立时，复杂度提高到$O(κn^{2/3}\log(1/\varepsilon))$。这些速率比典型的全梯度方法获得的速率高$n^{1/3}$倍。
2017-02-05 cs.LG math.OC stat.ML
An inexact restoration-nonsmooth algorithm with variable accuracy for stochastic nonsmooth convex optimization problems in machine learning and stochastic linear complementarity problems
研究目标函数为非光滑凸数学期望形式的无约束最优化问题。所提出的方法近似预期的目标函数与样本平均函数使用不精确恢复为基础的适应样本量。根据不精确恢复以自适应方式选择样本量。该算法使用线搜索，并假设相对于当前近似函数的下降方向。我们能证明。在标准假设下的收敛性。对两类问题，机器学习损失函数训练分类器和随机线性互补性问题的数值结果证明了该方案的有效性.
2022-11-02 cs.NA math.NA math.OC
Data-driven Algorithm Selection and Parameter Tuning: Two Case studies in Optimization and Signal Processing
机器学习算法通常依赖于优化子例程，并且众所周知，它为许多类型的问题提供了非常有效的结果。在这里，我们翻转依赖并提出相反的问题：机器学习算法能否为优化问题带来更有效的结果？我们的目标是训练机器学习方法，以自动提高优化和信号处理算法的性能。作为概念证明，我们使用我们的方法来改进数据科学中两个流行的数据处理子程序：压缩感知中的随机梯度下降和贪婪方法。我们提供的实验结果表明，答案是“是的”，机器学习算法确实导致更有效的优化问题的结果，并显示未来的潜力，这一研究方向。
2019-07-26 cs.LG math.OC stat.ML
Data-Driven Stochastic Robust Optimization: A General Computational Framework and Algorithm for Optimization under Uncertainty in the Big Data Era
Robert Frederick Smith School of Chemical and Biomolecular Engineering, Cornell University（罗伯特·弗雷德里克·史密斯化学与生物分子工程学院，康奈尔大学）
本文提出了一种数据驱动的随机稳健优化框架，通过双层优化结构基于数据驱动的不确定性模型，结合两阶段随机规划和自适应稳健优化，解决大数据时代下的不确定性优化问题。
2017-12-29 cs.AI cs.LG cs.SY
Linearizing Binary Optimization Problems Using Variable Posets for Ising Machines
针对伊辛机求解QUBO问题时能量景观复杂、硬件图结构限制规模的问题，提出基于变量偏序集的QUBO线性化方法，注入保优辅助惩罚项简化景观并提升稀疏性，实验验证其可增强次嵌入效果与伊辛机性能。
2024-06-19 cond-mat.stat-mech cs.ET math.OC
Data-Driven Optimal Control via Linear Transfer Operators: A Convex Approach
本文研究非线性系统的数据驱动最优控制。提出了一种带折扣费用函数的最优控制问题的凸形式。我们考虑了正贴现因子和负贴现因子下的最优现金流量。凸的方法依赖于提升非线性系统动力学的密度空间中使用线性Perron-Frobenius（P-F）算子。这种提升导致一个无限维的凸优化制定的最优控制问题。最优化问题的数据驱动近似依赖于使用多项式基函数的Koopman算子的近似。我们将近似的有限维最优化问题写成多项式优化，然后使用基于平方和的优化框架有效地解决。仿真结果证明了数据驱动的最优控制框架的有效性。
2022-02-03 cs.SY eess.SY math.FA
