Multi-material topology optimization of electric machines under maximum temperature and stress constraints
RICAM, Austrian Academy of Sciences（奥地利科学院 RICAM）；TU Darmstadt（达姆施塔特工业大学）
本文提出多材料拓扑优化方法，用于设计电机构，考虑电磁场和温度分布，以最大化永磁体扭矩并满足温度和应力约束。
2025-04-16 math.OC
Mathematics for Machine Learning and Data Science: Optimization with Mathematica Applications
近年来，由于计算机技术的重大进步，优化领域引起了人们的极大兴趣。由于最优化方法和算法的快速发展，机器学习、经济学、金融学、生物物理学、分子建模、计算系统生物学、运筹学和所有工程领域中的许多问题现在都得到了解决。本专著介绍了线性代数、凸集、凸函数、单变量优化、多变量优化的主要定理及其相应的算法。本文还简要地讨论了约束非线性最优化问题。我们发现Wolfram语言非常适合以人类可读的形式指定算法。为了最小化非线性目标函数，我们创建了27个Mathematica函数，遵循18个算法的原则。为了说明算法的有效性，设计了相应的代码实例.每个算法的代码将按原样运行，除了安装Mathematica之外，不需要来自先前算法或第三方的代码。
2023-02-12 math.OC
Comparing Inverse Optimization and Machine Learning Methods for Imputing a Convex Objective Function
逆优化（IO）的目的是从观测到的决策中确定最优化模型参数。然而，在实践中，IO并不是数据科学家工具包的一部分，特别是许多通用机器学习包作为替代品广泛使用。当遇到IO时，从业者面临的问题是什么时候，甚至是否投资开发IO方法是值得的。我们的论文提供了一个出发点，回答这些问题，专注于输入的目标函数的参数凸优化问题的问题。我们将三种标准监督机器学习（ML）算法（随机森林，支持向量回归和高斯过程回归）的预测性能与Keshavarz，Wang和Boyd（2011）的IO模型的性能进行了比较。虽然IO文献的重点是针对特定问题类的方法的发展，我们的目标是评估一般的“开箱即用”的方法。我们的实验表明，确定是否使用ML或IO方法需要考虑（i）训练集大小，（ii）最优化问题对外部参数的依赖性，（iii）关于优化先验正确性的置信水平，以及（iv）解空间中临界区域的数量。
2021-02-22 math.OC
On Seven Fundamental Optimization Challenges in Machine Learning
最近机器学习的许多成功与优化的进步齐头并进。这些领域之间的思想交流是双向的，机器学习建立在标准优化程序（如梯度下降）上，以及机器学习应用程序产生的优化理论的新方向。在这篇论文中，我们讨论了受机器学习，联邦学习和数据科学的需求和实践启发的优化新发展。特别是，我们考虑数学优化的七个关键挑战，并为每个挑战制定解决方案。我们的第一个贡献是解决了联邦学习中的一个关键开放问题：我们建立了异构数据制度中著名的本地SGD算法的第一个理论保证。作为第二个挑战，我们缩小了在实践中广泛使用的两种算法（称为随机重排（RR）和Shuffle-Once）的理论上界和下界之间的差距，并将其设置为现代机器学习软件中SGD的默认数据选择策略。我们的第三个贡献可以被看作是我们的新理论的结合近端RR和本地SGD产生一个新的算法，我们称之为FedRR。与Local SGD不同，FedRR可以证明在异构数据体系中的通信复杂性方面击败梯度下降。第四个挑战与自适应方法的类别有关。特别是，我们提出了第一个无参数的步长规则梯度下降，可证明适用于任何局部光滑凸目标。第五个挑战是开发一种用于分布式优化的算法，该算法具有保留梯度下降的线性收敛的量化更新。最后，在我们的第六和第七个挑战中，我们开发了适用于基于近端操作符的非平滑设置的新VR机制。
2021-10-23 math.OC
Combinatorial Optimization and Machine Learning for Dynamic Inventory Routing
提出组合优化与机器学习结合的流水线，将动态库存路径问题转化为带容量约束的带奖励收集旅行商问题，通过机器学习学习奖励参数，实现成本节约、低推理时间并利用上下文信息。
2024-02-06 math.OC
Data-driven Local Control Design using Optimization and Machine Learning Techniques
配电网的最优控制通常需要集中式或分布式的监控和通信基础设施。然而，目前大多数配电系统缺乏这种基础设施，并依赖于次优的、适应性和遗忘性的本地控制来确保网络的安全性。在本文中，我们提出了一种数据驱动的算法，该算法使用历史数据、先进的优化技术和机器学习方法来设计本地控制，从而在不使用任何通信的情况下模拟最佳行为。我们证明了性能的优化的本地控制的三相，不平衡，低压，配电网。结果表明，我们的数据驱动的方法明显优于标准的工业本地控制，并成功地模仿了基于最优功率流的控制。
2019-06-12 math.OC
Robust Optimization on Unrelated Parallel Machine Scheduling with Setup Times
并行机排序问题由于其重要的理论和实际意义，一直是研究的热点。本文研究了具有顺序相关调整时间的不相关平行机排序问题的鲁棒最大完工时间最优化问题，其中加工时间是不确定的，唯一的知识是它们取值的区间。我们提出了一个鲁棒的最优化模型与最小-最大遗憾准则来制定这个问题。为了解决这个问题，我们证明了最坏的情况下，最大遗憾的一个给定的解决方案属于一个有限集的极端情况。在此理论分析的基础上，提出了获得最大遗憾的过程，并设计了一种增强的遗憾评估方法（ERE）来加速这一过程。提出了一种基于多起点分解的启发式算法（MDH）来解决该问题。高质量的初始解和一个上界检查，以帮助更好地解决问题。计算实验进行证明这些方法的性能。
2020-10-22 math.OC
Robust Topology Optimization of Electric Machines using Topological Derivatives
本文提出一种带偏微分方程约束的鲁棒拓扑优化框架，通过基于拓扑导数的极小极大问题建模和Clarke定理求解次梯度，实现了电机在材料和运行不确定性下的高效可靠设计。
2025-04-07 math.OC
Feasible Path SQP Algorithm for Simulation-based Optimization Surrogated with Differentiable Machine Learning Models
本文提出一种基于可行路径序列二次规划的确定性算法框架，通过计算导数并消除中间变量，高效优化嵌入可微机器学习模型的仿真优化问题。
2025-01-29 math.OC
On Constraint Qualifications for MPECs with Applications to Bilevel Hyperparameter Optimization for Machine Learning
School of Mathematics and Statistics, Beijing Institute of Technology（北京理工大学数学与统计学院）；Beijing Key Laboratory on MCAACI/Key Laboratory of Mathematical Theory and Computation in Information Security, Beijing Institute of Technology（北京信息计算安全数学理论与计算重点实验室）；School of Mathematical Sciences, University of Southampton（南安普顿大学数学科学学院）
本文研究MPEC的约束条件及其在双层超参数优化中的应用，分析了约束条件之间的关系并提供了MPEC-LICQ的完整特征。
2026-05-13 math.OC
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland（IBM爱尔兰研究院）；Ivey Business School（毅伟商学院）；University of Western Ontario（西安大略大学）
本文综述了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别地，数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步，这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论，并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
High Dimensional Optimization through the Lens of Machine Learning
本文回顾了数值最优化方法与机器学习问题。由于机器学习模型是高度参数化的，我们专注于适合高维优化的方法。我们在二次模型上建立直觉，以找出哪些方法适合于非凸优化，并为这种方法的选择开发凸函数的收敛性证明。有了随机梯度下降和动量方法的理论基础，我们试图解释为什么机器学习领域常用的方法如此成功。除了解释成功的方法学之外，最后一章还对更多的理论方法进行了不太广泛的回顾，这些方法在实践中并不那么流行。因此，在某种意义上，这项工作试图回答这个问题：为什么默认的Tensorflow优化器包含在默认值中？
2021-12-31 math.OC stat.ML
Subframe resource optimization for massive machine device access in LTE networks
同步的大规模机器设备接入可能导致LTE网络的随机接入信道（RACH）中的严重拥塞。在频率资源稀缺的情况下，必须开发有效的手段来应对这一关键挑战。在这封信中，频率资源的有效分配被认为是一个优化问题，解决与效用函数。在此基础上，提出了一种估计机器设备数量的方法，并在此基础上提出了一种自适应子帧分配方案。数值和仿真结果验证了所提出的帧自适应方案在对抗RACH拥塞方面的有效性。
2019-03-23 cs.NI math.OC
Jensen: An Easily-Extensible C++ Toolkit for Production-Level Machine Learning and Convex Optimization
Microsoft Corporation（微软公司）；University of California, Davis（加州大学戴维斯分校）
本文介绍了Jensen，这是一个易于扩展和可扩展的生产级机器学习和凸优化工具包。Jensen实现了凸（或损失）函数、凸优化算法（包括梯度下降、L-BFGS、随机梯度下降、共轭梯度等）的框架，以及一系列机器学习分类器和回归器（逻辑回归、SVM、最小二乘回归等）。该框架使得使用几行代码部署和训练模型成为可能，并且还通过集成新的损失函数和优化算法来扩展和构建模型。
2018-07-17 cs.LG math.OC stat.ML
Ecole: A Gym-like Library for Machine Learning in Combinatorial Optimization Solvers
Mila（米拉）；Polytechnique Montréal（蒙特利尔理工学院）；Technische Universiteit Delft（代尔夫特理工大学）
我们提出了Ecole，一个新的库，以简化组合优化的机器学习研究。Ecole揭示了在通用组合优化求解器中出现的几个关键决策任务，作为马尔可夫决策过程的控制问题。它的界面模仿了流行的OpenAI Gym库，可扩展且使用直观。我们的目标是使这个图书馆成为一个标准化的平台，降低进入门槛，加速该领域的创新。文档和代码可以在https://www.ecole.ai上找到。
2020-11-24 cs.LG math.OC
OMLT: Optimization & Machine Learning Toolkit
Imperial College London（帝国理工学院）；Sandia National Laboratories（桑迪亚国家实验室）；Carnegie Mellon University（卡内基梅隆大学）
优化和机器学习工具包（OMLT）是一个开源软件包，将神经网络和梯度提升树代理模型（已使用机器学习进行训练）纳入更大的优化问题。我们讨论了优化技术的进步，使OMLT成为可能，并展示了OMLT如何无缝集成的代数建模语言Pyomo。我们演示了如何使用OMLT解决决策问题，在计算机科学和工程。
2022-11-15 cs.AI cs.LG math.OC
Neural Optimization Machine: A Neural Network Approach for Optimization
Northwestern University（西北大学）；Arizona State University（亚利桑那州立大学）
提出了一种新的求解约束优化问题的神经网络方法。所提出的方法使用一个专门设计的神经网络架构和训练/优化过程称为神经优化机（NOM）。NOM的目标函数近似与NN模型。优化过程由神经网络的内置反向传播算法进行。NOM通过扩展NN目标函数模型的体系结构来解决优化问题。这是通过适当地设计NOM的结构、激活函数和损失函数来实现的。NN目标函数可以具有任意的结构和激活函数。NOM的应用不限于特定的优化问题，例如，线性和二次规划。结果表明，设计变量维数的增加并不会显著增加计算量。然后，NOM扩展到多目标优化。最后，使用数值优化问题测试NOM，并将其应用于增材制造工艺参数的优化设计。
2022-08-08 cs.LG math.OC stat.ML
An Ising Machine Formulation for Design Updates in Topology Optimization of Flow Channels
本研究提出一种用于流道拓扑优化中计算设计更新的新颖Ising机表述，旨在最小化耗散能，实验表明该策略能加速优化过程且产生可比设计，但探索性较低可能影响性能，为工程优化整合Ising机提供了高效替代方案并揭示了其局限性。
2024-11-13 cs.CE math.OC
Optimization Methods for Large-Scale Machine Learning
Facebook AI Research（脸书人工智能研究院）；Lehigh University（利哈伊大学）；Northwestern University（西北大学）
本文对数值优化算法在机器学习应用背景下的过去、现在和未来进行了回顾和评论。通过对文本分类和深度神经网络训练的案例研究，我们讨论了优化问题是如何在机器学习中出现的，以及是什么使它们具有挑战性。我们研究的一个主要主题是，大规模机器学习代表了一种独特的设置，其中随机梯度（SG）方法传统上发挥了核心作用，而传统的基于梯度的非线性优化技术通常会动摇。基于这一观点，我们提出了一个全面的理论，一个简单的，但通用的SG算法，讨论其实际行为，并强调设计算法的机会，提高性能。这导致了关于下一代大规模机器学习的优化方法的讨论，包括两个主流的研究技术，减少随机方向的噪声和方法，利用二阶导数近似的调查。
2018-02-08 cs.LG math.OC stat.ML
Optimization for Classical Machine Learning Problems on the GPU
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）；Data Assessment Solutions GmbH（数据评估解决方案有限责任公司）
约束优化问题经常出现在经典的机器学习中。存在解决约束优化的框架，例如CVXPY和GENO。然而，与深度学习框架相比，GPU支持有限。在这里，我们扩展了GENO框架，也可以在GPU上解决约束优化问题。该框架允许用户以易于阅读的建模语言指定约束优化问题。然后，求解器将根据此规范自动生成。当在GPU上运行时，该求解器的性能优于CVXPY等最先进的方法与cuOSQP或SCS等GPU加速求解器的组合。
2022-03-30 cs.LG math.OC stat.ML
Reservoir optimization and Machine Learning methods
本文研究水库优化问题，提出改进的动态规划算法、更优的贝尔曼值神经网络估计方法，以及结合线性规划与神经网络条件割的新算法，以求解高维和随机线性存储问题。
2023-05-30 math.OC q-fin.CP
Multi-objective free-form shape optimization of a synchronous reluctance machine
TU Graz（格拉茨工业大学）；Institute of Applied Mathematics, TU Graz（格拉茨工业大学应用数学研究所）；Electric Drives and Machines Institute, TU Graz（格拉茨工业大学电力驱动与电机研究所）
本文提出基于梯度的自由形形状优化方法，用于优化X射线管中同步 reluctance 电机的扭矩输出，相比随机优化算法，该方法计算时间更短。
2020-10-20 cs.CE math.OC
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Optimization Models and Interpretations for Three Types of Adversarial Perturbations against Support Vector Machines
Beijing Institute of Technology（北京理工大学）；Beihang University（北京航空航天大学）
对抗扰动在各种深度神经网络中引起了广泛的关注。它们中的大多数是通过迭代计算的，不能很好地解释。相比之下，很少关注基本的机器学习模型，如支持向量机。本文研究了支持向量机的三种对抗性扰动的优化模型和解释，包括样本对抗性扰动（sAP）、类泛对抗性扰动（cuAP）和泛对抗性扰动（uAP）。对于线性二分类/多分类支持向量机（SVM），我们给出了sAP、cuAP和uAP（二分类）的显式解，以及多分类uAP的近似解。我们还得到了uAP的愚弄率的上界。这些结果不仅增加了三种对抗扰动的可解释性，而且由于可以避免迭代过程，在计算上提供了极大的方便。数值结果表明，我们的方法是快速和有效的计算三种类型的对抗扰动。
2022-04-07 cs.LG math.OC
Unsupervised Machine Learning Hybrid Approach Integrating Linear Programming in Loss Function: A Robust Optimization Technique
UC Berkeley（加州大学伯克利分校）
本文提出一种将线性规划（LP）集成到无监督机器学习模型损失函数中的混合方法，通过封装LP约束和目标指导学习过程，兼具LP的可解释性与机器学习的灵活性，适用于复杂优化问题。
2025-04-18 cs.AI cs.LG math.OC
Tracing Pareto-optimal points for multi-objective shape optimization applied to electric machines
针对旋转电机多目标形状优化，提出基于二阶形状导数的同伦方法，沿帕累托前沿高效追踪帕累托最优解，兼顾计算效率与任意几何形状的灵活性。
2024-04-18 cs.NA math.NA math.OC
Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning
Massachusetts Institute of Technology（麻省理工学院）；IBM Thomas J. Watson Research Center（IBM托马斯·J·沃森研究中心）；University of California San Diego（加州大学圣地亚哥分校）
我们考虑一个一般的最小-最大多目标双层优化问题，并将其应用于鲁棒机器学习，如表示学习和超参数优化。我们设计了一种新的单循环梯度下降-上升双层优化算法MORBiT来解决一般问题，并给出了一个新的分析，表明MORBiT收敛到一阶稳定点的速度为$\widetilde{\mathcal{O}}(n^{1/2} K^{-2/5})$的一类弱凸问题的$n$目标后，$K$迭代的算法。我们的分析利用新的结果来处理非光滑的最小-最大多目标设置，并获得一个次线性依赖的目标数$n$。鲁棒表示学习和鲁棒超参数优化的实验结果展示了（i）考虑最小-最大多目标设置的优点，以及（ii）所提出的MORBiT的收敛特性。我们的代码在https://github.com/minimario/MORBiT。
2023-03-07 cs.LG math.OC
A Robust Scientific Machine Learning for Optimization: A Novel Robustness Theorem
University of Porto（波尔图大学）；Universidade Federal da Bahia（巴伊亚联邦大学）
科学机器学习（SciML）是一个在几个不同应用领域越来越受关注的领域。在优化上下文中，基于SciML的工具使得能够开发更有效的最优化方法。然而，实施SciML工具进行优化必须严格评估和谨慎执行。这项工作提出了一个鲁棒性测试，保证多目标SciML为基础的优化的鲁棒性，通过显示其结果尊重通用逼近定理的推导。该测试是适用于一种新的方法，这是在一系列的基准说明其一致性进行评估的框架。此外，所提出的方法的结果进行了比较与可行域的严格优化，这需要一个显着更高的计算工作量。因此，这项工作提供了一种鲁棒性测试，以保证在多目标优化中应用SciML工具时的鲁棒性，并且计算量比现有替代方案更低。
2022-09-13 cs.LG math.OC stat.ME
Adaptive machine learning based surrogate modeling to accelerate PDE-constrained optimization in enhanced oil recovery
在这方面的贡献，我们开发了一个有效的替代建模框架，基于模拟的优化提高采收率，我们特别关注聚合物驱。计算方法是基于一个自适应训练过程的神经网络，直接近似的输入输出映射的基本偏微分方程约束的最优化问题。因此，训练过程集中于仅与外部迭代优化循环的优化路径相关的准确代理模型的构造。目标函数的真实评估用于最终获得经认证的结果。通过一个异构五点基准问题的数值实验，验证了该方法的精度和效率。
2022-03-03 cs.NA math.NA math.OC
A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning
University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
在本文中，我们展示了如何将拟合机器学习模型所产生的任何优化问题转换为（1）从训练集中检测并移除污染数据，同时（2）在剩余的未污染数据上拟合修剪模型。为了解决由此产生的非凸优化问题，我们引入了一个快速随机近似梯度算法，通过非光滑正则化结合先验知识。对于大小为$n$的数据集，我们的方法需要$O(n^{2/3}/\varepsilon)$梯度评估以达到$\varepsilon$ -准确度，并且当某个错误界限成立时，复杂度提高到$O(κn^{2/3}\log(1/\varepsilon))$。这些速率比典型的全梯度方法获得的速率高$n^{1/3}$倍。
2017-02-05 cs.LG math.OC stat.ML
An inexact restoration-nonsmooth algorithm with variable accuracy for stochastic nonsmooth convex optimization problems in machine learning and stochastic linear complementarity problems
研究目标函数为非光滑凸数学期望形式的无约束最优化问题。所提出的方法近似预期的目标函数与样本平均函数使用不精确恢复为基础的适应样本量。根据不精确恢复以自适应方式选择样本量。该算法使用线搜索，并假设相对于当前近似函数的下降方向。我们能证明。在标准假设下的收敛性。对两类问题，机器学习损失函数训练分类器和随机线性互补性问题的数值结果证明了该方案的有效性.
2022-11-02 cs.NA math.NA math.OC
Data-driven Algorithm Selection and Parameter Tuning: Two Case studies in Optimization and Signal Processing
机器学习算法通常依赖于优化子例程，并且众所周知，它为许多类型的问题提供了非常有效的结果。在这里，我们翻转依赖并提出相反的问题：机器学习算法能否为优化问题带来更有效的结果？我们的目标是训练机器学习方法，以自动提高优化和信号处理算法的性能。作为概念证明，我们使用我们的方法来改进数据科学中两个流行的数据处理子程序：压缩感知中的随机梯度下降和贪婪方法。我们提供的实验结果表明，答案是“是的”，机器学习算法确实导致更有效的优化问题的结果，并显示未来的潜力，这一研究方向。
2019-07-26 cs.LG math.OC stat.ML
Linearizing Binary Optimization Problems Using Variable Posets for Ising Machines
针对伊辛机求解QUBO问题时能量景观复杂、硬件图结构限制规模的问题，提出基于变量偏序集的QUBO线性化方法，注入保优辅助惩罚项简化景观并提升稀疏性，实验验证其可增强次嵌入效果与伊辛机性能。
2024-06-19 cond-mat.stat-mech cs.ET math.OC
A survey on multi-objective hyperparameter optimization algorithms for Machine Learning
Hasselt University（哈塞尔特大学）；Ghent University（根特大学）
超参数优化（HPO）是保证机器学习（ML）算法最佳性能的必要步骤。已经开发了几种方法来执行HPO，其中大多数都集中在优化一个性能指标（通常是基于误差的措施），这样的单目标HPO问题的文献是巨大的。然而，最近出现了专注于同时优化多个冲突目标的算法。本文对2014年至2020年期间发表的关于多目标HPO算法的文献进行了系统调查，区分了基于元模型的算法，基于元模型的算法以及使用两者混合的方法。我们还讨论了用于比较多目标HPO程序的质量指标，并提出了未来的研究方向。
2022-11-15 cs.AI cs.LG math.OC
Review of Learning-Assisted Power System Optimization
随着近年来的重大突破，机器学习显示出巨大的潜力，可以升级电力系统优化工具箱。了解机器学习方法的优势和局限性对于决定何时以及如何部署它们以提高优化性能至关重要。本文特别关注机器学习方法和优化模型之间的协调，并仔细评估这种数据驱动的分析如何改善基于规则的优化。选取典型文献，将其分为四类：边界参数改进、优化方案选择、代理模型和混合模型。这种分类方法为阐述最新的研究进展和发展提供了一个新的视角。我们进一步比较了不同类别的设计模式，并讨论了几个关键的挑战和机遇。机器学习方法和优化模型之间的深度集成有望成为最有前途的技术趋势。
2020-09-02 cs.SY eess.SY math.OC
Accelerating Fleet Upgrade Decisions with Machine-Learning Enhanced Optimization
TU Berlin（柏林工业大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对传统车队优化计算成本高且不考虑升级选项的问题，本文提出扩展整数规划和机器学习增强优化方法，在汽车案例中实现近优解并显著提升可扩展性。
2025-08-08 cs.CE cs.LG math.OC
Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis
The Ohio State University（俄亥俄州立大学）
双层优化已经成为各种机器学习应用中的强大框架，包括元学习、超参数优化和网络架构搜索。机器学习通常有两类双层优化公式：1）基于问题的双层优化，其内层问题被公式化为找到给定损失函数的最小值;以及2）基于算法的双层优化，其内层解是固定算法的输出。对于第一类，已经提出了两种流行类型的基于梯度的算法通过近似隐式微分（AID）和迭代微分（ITD）的超梯度估计。第二类算法包括流行的模型不可知元学习（MAML）和几乎没有内部循环（ANIL）。然而，二层优化算法的收敛速度和基本局限性还没有得到很好的探讨。本文对上述两类双层算法的收敛速度进行了全面的分析。我们进一步提出了原则性的算法设计的双层优化具有更高的效率和可扩展性。对于基于问题的配方，我们提供了一个收敛速度分析AID和ITD为基础的双层算法。然后，我们开发的加速双层算法，我们提供的成形器收敛分析与放松的假设。我们还提供了第一个下界的双层优化，并建立在一定的条件下，通过提供匹配的上界的最优性。最后，我们提出了新的随机双层优化算法，具有较低的复杂性和较高的效率，在实践中。对于基于算法的配方，我们开发了一般的多步MAML和ANIL的理论收敛性，并表征参数选择和损失几何形状对它们的复杂性的影响。
2021-07-31 cs.LG math.OC stat.ML
Solving dynamic multi-objective optimization problems via support vector machine
Xiamen University（厦门大学）；City University of Hong Kong（香港城市大学）
动态多目标优化问题是指目标函数随时间变化的优化问题。求解DMOP意味着可以准确地找到不同时刻的Pareto最优集（POS），由于优化问题的动态性，这是一项非常困难的工作。过去获得的POS可以帮助我们更快更准确地找到下一次的POS。因此，本文提出了一种基于支持向量机的动态多目标进化优化算法SVM-DMOEA。该算法利用已获得的POS对SVM进行训练，然后利用训练好的SVM对下一时刻的动态优化问题的解进行分类，从而生成由训练好的SVM识别的不同个体组成的初始种群。初始种群可以被馈送到任何基于种群的优化算法中，例如，非支配排序遗传算法II（NSGA-II），得到此时的POS。实验结果表明了该方法的有效性。
2019-10-19 cs.AI cs.LG cs.NE
Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Boston University（波士顿大学）
我们提供了一个讨论的几个最近的结果，在某些情况下，能够克服障碍，分布式随机最优化机器学习。我们的重点是所谓的渐近网络独立性的财产，这是实现分布式方法在网络上执行的n个节点渐近收敛到最优解在一个可比的速度集中的方法具有相同的计算能力作为整个网络。我们通过一个涉及ML模型训练的例子来解释这一特性，并简要地描述了一个比较分布式随机梯度下降（DSGD）与集中式随机梯度下降（SGD）性能的数学分析。
2020-02-18 cs.DC cs.LG cs.MA
NCVX: A General-Purpose Optimization Solver for Constrained Machine and Deep Learning
University of Minnesota（明尼苏达大学）；Queens College, City University of New York（纽约城市大学皇后学院）
施加显式约束是相对较新的，但在深度学习中越来越紧迫，例如，值得信赖的人工智能，在复杂的扰动集和需要尊重物理定律和约束的科学应用程序上执行鲁棒优化。然而，如果没有优化专业知识，很难可靠地解决受约束的深度学习问题。现有的深度学习框架不承认约束。通用优化包可以处理约束，但不能执行自动微分，并且在处理非平滑性时有问题。在本文中，我们介绍了一个名为NCVX的新软件包，其初始版本包含求解器PyGRANSO，这是一个支持PyTorch的通用优化包，用于约束机器/深度学习问题，这是同类产品中的第一个。NCVX继承了PyTorch的自动微分，GPU加速和张量变量，并构建在免费提供和广泛使用的开源框架上。NCVX可在https://ncvx.org上获得，其中有详细的文档和来自机器/深度学习和其他领域的大量示例。
2022-11-14 cs.CV cs.LG cs.MS
NCVX: A User-Friendly and Scalable Package for Nonconvex Optimization in Machine Learning
University of Minnesota, Twin Cities（明尼苏达大学双城分校）；Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
优化非凸问题，特别是非光滑和约束问题，是机器学习的重要组成部分。然而，如果没有优化专业知识，很难可靠地解决这些问题。现有的通用NCVX优化包功能强大，但通常无法处理非平滑性。GRANSO是针对具有非光滑约束的一般非光滑NCVX问题的第一批优化求解器之一，但是，由于它是在MATLAB中实现的，并且需要用户提供分析梯度，因此GRANSO通常不是机器学习（特别是深度学习）应用程序的方便选择。为了大大降低技术障碍，我们引入了一个名为NCVX的新软件包，其初始版本包含求解器PyGRANSO，这是GRANSO的PyTorch支持端口，包含自动微分，GPU加速，张量输入和对新QP求解器的支持。NCVX构建在免费提供且广泛使用的开源框架之上，作为亮点，它可以解决一般的受限深度学习问题，这是同类产品中的第一个。NCVX可在www.example.com上获得，其中有详细的文档和来自机器学习和其他领域的大量示例。
2022-01-01 cs.CV cs.LG cs.MS
Connections Between Adaptive Control and Optimization in Machine Learning
Massachusetts Institute of Technology（麻省理工学院）；Brigham and Women’s Hospital and Harvard Medical School（布莱尔妇女医院和哈佛医学院）；Air Force Research Laboratory（空军研究实验室）；The Boeing Company（波音公司）
本文探讨了适应控制与机器学习中常用优化方法之间的联系，通过分析更新法则的相似性，讨论了稳定性、性能和学习等共同概念，并提出了新的交集和改进算法分析的机会，特别是通过这些交集的见解解决了高阶学习问题。
2019-04-11 cs.LG cs.SY eess.SY
GENO -- GENeric Optimization for Classical Machine Learning
Friedrich-Schiller-Universität Jena（耶拿弗里德里希-施勒斯海姆大学）
本文提出GENO框架，通过结合建模语言和通用求解器，实现了对大多数经典机器学习问题的高效自动求解，展示了其在效率上的优势。
2019-05-31 cs.LG cs.NA math.NA
