Optimization for Classical Machine Learning Problems on the GPU
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）；Data Assessment Solutions GmbH（数据评估解决方案有限责任公司）
约束优化问题经常出现在经典的机器学习中。存在解决约束优化的框架，例如CVXPY和GENO。然而，与深度学习框架相比，GPU支持有限。在这里，我们扩展了GENO框架，也可以在GPU上解决约束优化问题。该框架允许用户以易于阅读的建模语言指定约束优化问题。然后，求解器将根据此规范自动生成。当在GPU上运行时，该求解器的性能优于CVXPY等最先进的方法与cuOSQP或SCS等GPU加速求解器的组合。
2022-03-30 cs.LG math.OC stat.ML
A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning
MIT-IBM Watson AI Lab, IBM Research（IBM研究院MIT-IBM沃森人工智能实验室）；Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室）；University of Michigan, Ann Arbor（密歇根大学安娜堡分校）；Syracuse University（雪城大学）
零阶优化是无梯度优化的一个子集，出现在许多信号处理和机器学习应用中。它用于解决类似于基于梯度的方法的优化问题。但是，它不需要梯度，只使用函数求值。具体来说，ZO优化迭代地执行三个主要步骤：梯度估计、下降方向计算和解更新。在本文中，我们提供了一个全面的审查ZO优化，重点是显示基本的直觉，优化原理和收敛分析的最新进展。此外，我们展示了ZO优化的有前途的应用，例如评估鲁棒性和从黑盒深度学习模型生成解释，以及高效的在线传感器管理。
2020-06-21 cs.LG eess.SP stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Data-driven Algorithm Selection and Parameter Tuning: Two Case studies in Optimization and Signal Processing
机器学习算法通常依赖于优化子例程，并且众所周知，它为许多类型的问题提供了非常有效的结果。在这里，我们翻转依赖并提出相反的问题：机器学习算法能否为优化问题带来更有效的结果？我们的目标是训练机器学习方法，以自动提高优化和信号处理算法的性能。作为概念证明，我们使用我们的方法来改进数据科学中两个流行的数据处理子程序：压缩感知中的随机梯度下降和贪婪方法。我们提供的实验结果表明，答案是“是的”，机器学习算法确实导致更有效的优化问题的结果，并显示未来的潜力，这一研究方向。
2019-07-26 cs.LG math.OC stat.ML
Black-Box Optimization in Machine Learning with Trust Region Based Derivative Free Algorithm
Lehigh University（里海大学）
在这项工作中，我们利用基于信赖域的无导数优化（DFO-TR）方法，直接最大化的面积下的接收器工作特征曲线（AUC），这是一个非光滑的，嘈杂的功能。我们表明，AUC是一个光滑的函数，在预期中，如果正，负数据点的分布服从联合正态分布。该算法的实际性能进行了比较，三个突出的贝叶斯优化方法和随机搜索。数值结果表明，DFO-TR在各种黑箱优化问题上，如最大化AUC和超参数调整，都优于贝叶斯优化和随机搜索。
2017-03-20 cs.LG
Machine Learning for high speed channel optimization
Missouri University of Science and Technology（密苏里科技大学）；Dell, Enterprise Product Group（戴尔企业产品集团）；North Carolina State University（北卡罗来纳州立大学）
印刷电路板（PCB）叠层的设计需要考虑特性阻抗、插入损耗和串扰。由于PCB叠层设计中有许多参数，因此这些参数的优化需要高效和准确。在高速设计中，不太理想的堆叠会导致昂贵的PCB材料选择。本文提出了一种高效的带线设计全局优化方法，该方法采用并行智能贝叶斯优化。
2019-11-01 cs.LG eess.SP stat.ML
Optimization Networks for Integrated Machine Learning
Johannes Kepler University Linz（约翰内斯开普勒大学林茨分校）；University of Applied Sciences Upper Austria（上奥地利州应用科学大学）；Institute for Formal Models and Verification（形式模型与验证研究所）；Heuristic and Evolutionary Algorithms Laboratory（启发式与进化算法实验室）
优化网络是一种新的方法，用于整体解决相关的问题，已经开发了组合优化问题的头脑。在这篇文章中，我们重新审视了优化网络的核心原理，并证明了它们对解决机器学习问题的适用性。我们将特征选择与线性模型创建结合使用作为基准应用，并将优化网络的结果与具有可选弹性网络正则化的普通最小二乘法进行比较。基于此示例，我们通过调整网络来解决其他机器学习问题，证明了优化网络的优势。最后，提出了优化分析，其中必须找到系统的最优输入值以实现期望的输出值。优化分析可以分为三个子问题：模型创建，以描述系统，模型选择，选择最合适的一个和参数优化，以获得输入值。因此，优化网络是处理优化分析任务的一个明显选择。
2021-09-01 cs.LG
Bayesian Optimization for Selecting Efficient Machine Learning Models
Adobe Research（Adobe 研究院）
许多机器学习模型的性能取决于它们的超参数设置。贝叶斯优化已经成为机器学习算法超参数优化的成功工具，其目的是在迭代序列过程中识别最优超参数。然而，大多数贝叶斯优化算法的设计，选择模型的有效性，而忽略了重要的问题，模型的训练效率。考虑到模型有效性和训练时间对于实际应用都很重要，因此为有效性选择的模型可能无法满足在生产环境中部署所需的严格训练时间要求。在这项工作中，我们提出了一个统一的贝叶斯优化框架，用于联合优化模型的预测有效性和训练效率。我们提出了一个目标，捕捉这两个指标之间的权衡，并展示了我们如何可以共同优化它们在一个原则贝叶斯优化框架。推荐任务的模型选择实验表明，与最先进的贝叶斯优化算法相比，这种方式选择的模型显着提高了模型训练效率，同时保持了较强的有效性。
2020-08-02 cs.CL cs.LG cs.NE
Bilevel Optimization for Machine Learning: Algorithm Design and Convergence Analysis
The Ohio State University（俄亥俄州立大学）
双层优化已经成为各种机器学习应用中的强大框架，包括元学习、超参数优化和网络架构搜索。机器学习通常有两类双层优化公式：1）基于问题的双层优化，其内层问题被公式化为找到给定损失函数的最小值;以及2）基于算法的双层优化，其内层解是固定算法的输出。对于第一类，已经提出了两种流行类型的基于梯度的算法通过近似隐式微分（AID）和迭代微分（ITD）的超梯度估计。第二类算法包括流行的模型不可知元学习（MAML）和几乎没有内部循环（ANIL）。然而，二层优化算法的收敛速度和基本局限性还没有得到很好的探讨。本文对上述两类双层算法的收敛速度进行了全面的分析。我们进一步提出了原则性的算法设计的双层优化具有更高的效率和可扩展性。对于基于问题的配方，我们提供了一个收敛速度分析AID和ITD为基础的双层算法。然后，我们开发的加速双层算法，我们提供的成形器收敛分析与放松的假设。我们还提供了第一个下界的双层优化，并建立在一定的条件下，通过提供匹配的上界的最优性。最后，我们提出了新的随机双层优化算法，具有较低的复杂性和较高的效率，在实践中。对于基于算法的配方，我们开发了一般的多步MAML和ANIL的理论收敛性，并表征参数选择和损失几何形状对它们的复杂性的影响。
2021-07-31 cs.LG math.OC stat.ML
Multi Objective Design Optimization of Non Pneumatic Passenger Car Tires Using Finite Element Modeling, Machine Learning, and Particle swarm Optimization and Bayesian Optimization Algorithms
TCS Research（塔塔咨询服务研究院）
本研究提出基于有限元建模、机器学习和优化算法的框架，用于优化非气动客车轮胎的辐条结构，实现刚度、耐久性和振动的多目标优化。
2026-02-04 cs.AI cs.LG
Review Non-convex Optimization Method for Machine Learning
本文综述了机器学习中非凸优化的关键方法与应用，重点分析其通过稀疏正则化、逃离鞍点、随机梯度下降及模型剪枝压缩等手段降低计算成本并提升模型性能的路径，同时展望了可扩展性与泛化性等未来研究方向。
2024-10-02 cs.AI cs.LG
A Comparison of First-order Algorithms for Machine Learning
Graz University of Technology（格拉茨技术大学）
利用优化算法解决机器学习问题是当前科学领域的主流之一。在这项工作中，我们展示了一些国家的最先进的凸优化问题的一阶优化算法在机器学习的全面比较。我们专注于几个光滑和非光滑的机器学习问题的损失函数加上正则化。整体实验结果表明，原始-对偶算法在解决机器学习问题的优势，从易于构建，运行时间和准确性的角度。
2014-04-26 cs.LG
Enhancing Machine Learning Model Performance with Hyper Parameter Optimization: A Comparative Study
AI Research and Application Center（人工智能研究与应用中心）；Sakarya University of Applied Sciences（萨卡里亚应用科学大学）；Sakarya University（萨卡里亚大学）
机器学习中最关键的问题之一是为训练模型选择合适的超参数。机器学习模型可以能够达到最佳训练性能，并且可以使用超参数优化（HPO）技术来增加泛化能力。HPO是近年来人工智能研究的热点，引起了越来越多的关注。传统的HPO方法包括穷举搜索、网格搜索、随机搜索和贝叶斯优化;元启发式算法也被用作更高级的方法。元启发式算法搜索解空间，其中解收敛到最佳组合以解决特定问题。这些算法测试各种场景并评估结果以选择性能最佳的组合。在这项研究中，经典的方法，如网格，随机搜索和贝叶斯优化，和基于人口的算法，如遗传算法和粒子群优化，讨论了在HPO。相关搜索算法的使用与Scikit-learn，Sklearn Genetic和Optuna等软件包上开发的Python编程代码一起解释。在一个样本数据集上对搜索算法的性能进行了比较，结果表明粒子群优化算法优于其他算法。
2023-02-14 cs.LG
Non-Convex Optimizations for Machine Learning with Theoretical Guarantee: Robust Matrix Completion and Neural Network Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
本文针对机器学习中的黑盒问题与非凸优化易陷入局部极小值的挑战，研究了低秩矩阵补全与神经网络学习两种非凸问题，旨在设计具有理论保证的可解释学习算法。
2023-06-28 cs.LG eess.SP
End-to-End Constrained Optimization Learning: A Survey
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
本文综述了利用机器学习解决约束优化问题的最新尝试。它的重点是调查的工作集成组合求解器和优化方法与机器学习架构。这些方法有望开发新的混合机器学习和优化方法，以预测组合问题的快速、近似解决方案，并实现结构逻辑推理。本文提出了一个概念性的审查，在这一新兴领域的最新进展。
2021-03-30 cs.AI cs.LG
Adaptive Sequential Optimization with Applications to Machine Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
介绍了一个框架，用于解决一系列缓慢变化的优化问题，包括回归和分类应用中出现的问题，使用优化算法，如随机梯度下降（SGD）。优化问题的变化缓慢，在这个意义上，最小化改变在一个固定的或有界的速率。引入了一种基于最小化器和优化算法的性质的变化的估计的方法，用于自适应地从每个问题的基础分布中选择所需的样本数量，以确保过度风险，即，由优化算法产生的近似最小值和精确最小值所实现的损耗之间的预期差距不超过目标水平。用合成数据和真实数据进行的实验证实了该方法的有效性。
2015-09-24 cs.DS cs.LG
On Parallel or Distributed Asynchronous Iterations with Unbounded Delays and Possible Out of Order Messages or Flexible Communication for Convex Optimization Problems and Machine Learning
LAAS-CNRS（LAAS-法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；CNRS（法国国家科学研究中心）
我们描述了并行或分布式异步迭代算法的几个特点，如无界延迟，可能的顺序消息或灵活的通信。本文重点讨论了为了研究异步迭代的收敛性或终止性而引入的宏迭代序列的概念。本文还综述了凸优化问题的异步迭代方法。最后，给出了凸优化问题和机器学习中具有灵活通信的并行或分布式异步迭代算法收敛性的一个新结果。
2022-10-05 cs.DC cs.LG cs.NE
Autonomous optimization of nonaqueous battery electrolytes via robotic experimentation and machine learning
Carnegie Mellon University（卡内基梅隆大学）
在这项工作中，我们介绍了一种新的工作流程，将机器人技术与机器学习相结合，以有效优化非水电池电解质。一个名为“Clio”的定制自动化实验与Dragonfly -一个基于贝叶斯优化的实验规划器相结合。Clio在单盐、三元溶剂设计空间内自主优化电解质电导率。使用此工作流程，我们在2个工作日内和42个实验中确定了6种快速充电电解质（相比之下，使用1000种可能候选物的穷举搜索需要60天，或者假设仅评估10%的候选物需要6天）。我们的方法在之前文献大量探索的设计空间中找到了报道的最高电导率电解质，并聚集在表现出微妙电解质化学物理性质的高电导率混合物上。
2021-11-23 cs.LG cs.RO
Compositional optimization of quantum circuits for quantum kernels of support vector machines
University of British Columbia（不列颠哥伦比亚大学）；Stewart Blusson Quantum Matter Institute（斯图尔特·布鲁森量子物质研究所）
虽然量子机器学习（ML）已被认为是量子计算最有前途的应用之一，但如何构建优于经典ML的量子ML模型仍然是一个主要的开放问题。在这里，我们展示了一个贝叶斯算法构建量子内核的支持向量机，适应量子门序列的数据。该算法通过附加以贝叶斯信息准则选择的量子门作为电路选择度量，并对识别出的局部最优量子线路的参数进行贝叶斯优化，从而逐步增加了量子线路的复杂度。我们的目标是为SVM构建量子内核，可以用尽可能少的训练数据解决分类问题。这里考虑的分类问题的量子模型的性能显着超过传统内核的优化经典模型。
2023-03-08 cs.LG quant-ph
Support-vector-machine with Bayesian optimization for lithofacies classification using elastic properties
Delft University of Technology（代尔夫特理工大学）；Summit Exploration and Production Limited（萨米特勘探与生产有限公司）
我们研究了贝叶斯优化（BO）的适用性，以优化超参数与支持向量机（SVM），以分类相使用来自井数据在东中央地堑，UKCS的弹性属性。现场数据集的交会图产品似乎成功地与非线性边界进行了分类。虽然在BO方案中有一些因素需要预先确定，例如迭代次数，以处理预测精度和计算成本之间的权衡，但这种方法有效地减少了与SVM架构相关的可能的人为主观性。我们提出的工作流程可能是有益的资源勘探和开发方面的地下客观技术评价。
2022-03-14 cs.LG physics.geo-ph
Asymptotic Network Independence in Distributed Stochastic Optimization for Machine Learning
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））；Shenzhen Research Institute of Big Data（深圳大数据研究院）；Boston University（波士顿大学）
我们提供了一个讨论的几个最近的结果，在某些情况下，能够克服障碍，分布式随机最优化机器学习。我们的重点是所谓的渐近网络独立性的财产，这是实现分布式方法在网络上执行的n个节点渐近收敛到最优解在一个可比的速度集中的方法具有相同的计算能力作为整个网络。我们通过一个涉及ML模型训练的例子来解释这一特性，并简要地描述了一个比较分布式随机梯度下降（DSGD）与集中式随机梯度下降（SGD）性能的数学分析。
2020-02-18 cs.DC cs.LG cs.MA
Lecture Notes: Optimization for Machine Learning
Princeton University（普林斯顿大学）
关于机器学习优化的讲义，来自普林斯顿大学的一门课程和布宜诺斯艾利斯MLSS以及伯克利西蒙斯基金会的教程。
2019-09-08 cs.LG stat.ML
On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice
University of Western Ontario（西安大略大学）
机器学习算法已经广泛应用于各种应用和领域。为了使机器学习模型适应不同的问题，必须调整其超参数。为机器学习模型选择最佳超参数配置对模型的性能有直接影响。它通常需要深入了解机器学习算法和适当的超参数优化技术。虽然存在几种自动优化技术，但当应用于不同类型的问题时，它们具有不同的优点和缺点。研究了常用机器学习模型超参数的优化问题。我们将介绍几种最先进的优化技术，并讨论如何将它们应用于机器学习算法。本文介绍了超参数优化问题的各种库和框架，并讨论了超参数优化研究面临的一些挑战。此外，在基准数据集上进行实验，比较不同优化方法的性能，并提供超参数优化的实际例子。这份调查报告将帮助工业用户、数据分析师和研究人员通过有效识别适当的超参数配置来更好地开发机器学习模型。
2022-10-05 cs.LG stat.ML
Machine Learning for Combinatorial Optimization: a Methodological Tour d'Horizon
Université de Montréal（蒙特利尔大学）；Mila, Quebec Artificial Intelligence Institute（米拉-魁北克人工智能研究所）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
本文调查了最近的尝试，无论是从机器学习和运筹学社区，在利用机器学习解决组合优化问题。鉴于这些问题的困难性质，最先进的算法依赖于手工制作的算法来做出决策，否则计算成本太高或数学上没有很好的定义。因此，机器学习看起来像是以更有原则和优化的方式做出此类决策的自然候选者。我们主张进一步推动机器学习和组合优化的集成，并详细介绍了这样做的方法。本文的一个主要观点是将通用优化问题视为数据点，并询问在给定任务上用于学习的问题的相关分布是什么。
2020-03-12 cs.LG stat.ML
A Survey of Optimization Methods from a Machine Learning Perspective
East China Normal University（华东师范大学）
机器学习发展迅速，取得了许多理论突破，在各个领域得到广泛应用。优化作为机器学习的重要组成部分，受到了研究者的广泛关注。随着数据量的指数级增长和模型复杂度的增加，机器学习中的优化方法面临着越来越多的挑战。在机器学习中，人们相继提出了许多解决优化问题或改进优化方法的工作。从机器学习的角度对优化方法进行系统的回顾和总结，对优化技术的发展和机器学习的研究都具有重要的指导意义。在本文中，我们首先描述了机器学习中的优化问题。然后介绍了常用优化方法的原理和进展。接下来，我们总结了优化方法在一些热门的机器学习领域的应用和发展。最后，我们对机器学习中的优化问题进行了探讨和展望。
2019-10-23 cs.LG math.OC stat.ML
Second-Order Stochastic Optimization for Machine Learning in Linear Time
Princeton University（普林斯顿大学）
一阶随机方法是大规模机器学习优化中最先进的方法，因为它具有高效的迭代复杂度。二阶方法，虽然能够提供更快的收敛，但由于计算二阶信息的高成本，已经很少被探索。在本文中，我们开发了二阶随机方法，用于机器学习中的优化问题，该方法与基于梯度的方法的每次迭代成本相匹配，并且在某些设置中，改进了流行的一阶方法的整体运行时间。此外，我们的算法具有所需的属性是可实现的时间线性的稀疏输入数据。
2017-11-30 cs.LG stat.ML
Sherpa: Robust Hyperparameter Optimization for Machine Learning
University of California, Irvine（加州大学欧文分校）；University of Hawai’i at Mãnoa（夏威夷大学马诺阿分校）
Sherpa是一个用于机器学习模型的超参数优化库。它是专门为计算量大的迭代函数求值问题而设计的，例如深度神经网络的超参数调整。通过Sherpa，科学家可以使用各种强大且可互换的算法快速优化超参数。Sherpa可以在单个机器上运行，也可以在集群上并行运行。最后，交互式仪表板使用户能够在模型训练时查看模型的进度，取消试验，并探索哪些超参数组合最有效。Sherpa通过自动化模型调整的更繁琐的方面来增强机器学习从业者的能力。它的源代码和文档可以在https://github.com/sherpa-ai/sherpa上找到。
2020-05-08 cs.LG stat.ML
Optimization Methods for Supervised Machine Learning: From Linear Models to Deep Learning
Lehigh University（理海大学）
本教程的目标是介绍与使用优化方法解决机器学习中出现的问题相关的关键模型、算法和开放性问题。它是为INFORMS的读者而写的，特别是那些熟悉优化算法基础，但不太熟悉机器学习的读者。我们首先推导出一个监督学习问题的公式，并展示它如何导致各种优化问题，这取决于上下文和基本假设。然后，我们讨论这些优化问题的一些独特特征，重点是逻辑斯谛回归和深度神经网络的训练的例子。本教程的后半部分重点介绍优化算法，首先是凸逻辑斯谛回归，我们讨论了一阶方法，随机梯度方法，方差减少随机方法和二阶方法的使用。最后，我们讨论了如何将这些方法用于深度神经网络的训练，强调了这些模型的复杂非凸结构所带来的困难。
2017-06-30 cs.LG stat.ML
Tuning support vector machines and boosted trees using optimization algorithms
Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Harvard T.H. Chan School of Public Health（哈佛陈曾熙公共卫生学院）
近年来，统计学习方法越来越受欢迎。这些过程中的许多过程都具有必须调整的参数，以使模型表现良好。神经网络的研究已经很广泛，但对其他许多学习方法的研究还不多。我们研究了支持向量机、梯度提升机和adaboost在分类和回归设置中的参数调整行为。我们使用网格搜索来确定调整参数的范围，在这些范围内，可以在许多不同的数据集上找到良好的模型。然后，我们探索了不同的优化算法，以选择整个调整参数空间的模型。将通过优化算法选择的模型与通过网格搜索获得的最佳模型进行比较，以选择性能良好的算法。这些信息被用来创建一个R包EZtune，它可以自动调整支持向量机和提升树。
2023-03-13 cs.LG stat.ML
Optimization for Large-Scale Machine Learning with Distributed Features and Observations
Northwestern University（西北大学）
由于现代数据集的大小超过了单个计算机的磁盘和内存容量，机器学习从业者已经求助于并行和分布式计算。鉴于优化是机器学习和预测建模的支柱之一，分布式优化方法最近在文献中获得了足够的关注。虽然以前的研究主要集中在设置中的观察，或手头的问题的功能存储在分布式的方式，这两个分区跨计算机集群的节点（双重分布）的情况下，几乎没有被研究。在这项工作中，我们提出了两个双分布优化算法。第一个属于分布式双坐标上升法的保护伞下，而第二个属于一类的随机梯度/坐标下降混合方法。我们使用真实世界和模拟数据集在火花进行数值实验，并研究我们的方法的标度特性。我们的经验评估所提出的算法证明了一个块分布式ADMM方法，据我们所知，这是唯一的其他现有的双分布优化算法的性能。
2017-04-15 cs.LG stat.ML
Functional Bilevel Optimization for Machine Learning
Univ. Grenoble Alpes（格勒诺布尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；LJK（让·昆廷诺实验室）
本文提出机器学习双层优化的泛函视角，突破内层目标强凸的假设限制，支持过参数化神经网络作为内层预测函数，设计了可扩展的高效算法，在工具变量回归和强化学习任务上验证了方法优势。
2024-12-06 cs.LG stat.ML
Green Machine Learning via Augmented Gaussian Processes and Multi-Information Source Optimization
University of Milano-Bicocca（米兰比可卡大学）
搜索精确的机器和深度学习模型是一个计算成本高昂且非常耗能的过程。最近已经获得显著减少计算时间和能量消耗的重要性的策略是利用具有不同计算成本和不同“保真度”的不同信息源的可用性，通常是大数据集的较小部分。多源优化策略适用于基于高斯过程的贝叶斯优化方案。提出了一种利用多个信息源的增广高斯过程方法（AGP-MISO）。增广高斯过程仅使用可用源中的“可靠”信息进行训练。根据增广高斯过程定义了一种新的捕获函数。计算结果的报告有关的超参数的优化的支持向量机（SVM）分类器使用两个来源：一个大的数据集-最昂贵的一个-和一个较小的一部分，它的比较与传统的贝叶斯优化方法来优化的SVM分类器的超参数的大数据集只报告。
2020-06-25 cs.LG stat.ML
Multi-Objective Optimization for Self-Adjusting Weighted Gradient in Machine Learning Tasks
University of Campinas（坎皮纳斯大学）
机器学习研究的大部分焦点都放在创建新的架构和优化方法上，但总体损失函数很少受到质疑。本文从多目标优化的角度解释了机器学习，展示了数据集上损失函数的默认线性组合的局限性，并引入了超卷指标作为替代。它示出的超体积的梯度是由一个自我调整的加权平均的个人损失梯度，使其类似于一个加权平均损失的梯度，但不需要定义的权重先验定义。这实现了类似内部增强的行为，其中当前模型用于自动对损失较高的样本放置更高的权重，但不需要使用多个模型。去噪自动编码器的结果表明，新的配方是能够实现更好的平均损失比直接优化的平均损失，提供证据的猜想，自调整的权重创建一个更平滑的损失表面。
2015-07-21 cs.LG stat.ML
ZOOpt: Toolbox for Derivative-Free Optimization
Nanjing University（南京大学）；East China Normal University（华东师范大学）
无导数优化的最新进展允许有效逼近复杂函数的全局最优解，例如具有许多局部最优值的函数，不可微和非连续函数。本文介绍了ZOOpt（零阶优化）工具箱，该工具箱提供了高效的无导数求解器，并且易于使用。ZOOpt提供基于python核心的单机并行优化，以及通过结合Ray框架（一个著名的构建分布式应用程序的平台）对耗时任务的多机分布式优化。ZOOpt特别关注机器学习中的优化问题，解决高维和噪声问题，如超参数调整和直接策略搜索。工具箱的维护目标是成为现实世界机器学习任务中的即用型工具。
2022-06-02 cs.LG stat.ML
Solving machine learning optimization problems using quantum computers
U.S. Army Research Laboratory（美国陆军研究实验室）；U.S. Military Academy（美国军事学院）；Army Cyber Institute（陆军网络研究所）
机器学习中的经典优化算法在应用于多维问题时通常需要很长的计算时间，并且需要大量的CPU和GPU资源。量子并行有可能加速机器学习算法。我们描述了一个通用的数学模型来利用量子并行来加速机器学习算法。我们还将量子机器学习和量子并行应用于随时间变化的$3$维图像。
2019-11-17 cs.LG quant-ph stat.ML
Neural Optimization Machine: A Neural Network Approach for Optimization
Northwestern University（西北大学）；Arizona State University（亚利桑那州立大学）
提出了一种新的求解约束优化问题的神经网络方法。所提出的方法使用一个专门设计的神经网络架构和训练/优化过程称为神经优化机（NOM）。NOM的目标函数近似与NN模型。优化过程由神经网络的内置反向传播算法进行。NOM通过扩展NN目标函数模型的体系结构来解决优化问题。这是通过适当地设计NOM的结构、激活函数和损失函数来实现的。NN目标函数可以具有任意的结构和激活函数。NOM的应用不限于特定的优化问题，例如，线性和二次规划。结果表明，设计变量维数的增加并不会显著增加计算量。然后，NOM扩展到多目标优化。最后，使用数值优化问题测试NOM，并将其应用于增材制造工艺参数的优化设计。
2022-08-08 cs.LG math.OC stat.ML
Optimization Methods for Large-Scale Machine Learning
Facebook AI Research（脸书人工智能研究院）；Lehigh University（利哈伊大学）；Northwestern University（西北大学）
本文对数值优化算法在机器学习应用背景下的过去、现在和未来进行了回顾和评论。通过对文本分类和深度神经网络训练的案例研究，我们讨论了优化问题是如何在机器学习中出现的，以及是什么使它们具有挑战性。我们研究的一个主要主题是，大规模机器学习代表了一种独特的设置，其中随机梯度（SG）方法传统上发挥了核心作用，而传统的基于梯度的非线性优化技术通常会动摇。基于这一观点，我们提出了一个全面的理论，一个简单的，但通用的SG算法，讨论其实际行为，并强调设计算法的机会，提高性能。这导致了关于下一代大规模机器学习的优化方法的讨论，包括两个主流的研究技术，减少随机方向的噪声和方法，利用二阶导数近似的调查。
2018-02-08 cs.LG math.OC stat.ML
Optimization under Uncertainty in the Era of Big Data and Deep Learning: When Machine Learning Meets Mathematical Programming
Cornell University（康奈尔大学）
本文通过现代数据镜头回顾了不确定性优化领域的最新进展，强调了数据驱动优化的关键研究挑战和前景，该优化将机器学习和数学规划有机地集成到不确定性决策中，并确定了潜在的研究机会。首先简要回顾了经典的数学规划技术对冲不确定性，以及它们在过程系统工程中的广泛应用。然后对数据驱动的分布鲁棒优化、数据驱动的机会约束规划、数据驱动的鲁棒优化和数据驱动的基于分布鲁棒优化的相关出版物进行了全面的回顾和分类。本文还为未来的研究确定了丰富的途径，重点是闭环数据驱动的优化框架，该框架允许从数学编程到机器学习的反馈，以及利用深度学习技术的力量进行基于神经网络的优化。展望在线学习基于数据驱动的多级优化与学习，同时优化计划。
2019-04-03 cs.LG math.OC stat.ML
OMLT: Optimization & Machine Learning Toolkit
Imperial College London（帝国理工学院）；Sandia National Laboratories（桑迪亚国家实验室）；Carnegie Mellon University（卡内基梅隆大学）
优化和机器学习工具包（OMLT）是一个开源软件包，将神经网络和梯度提升树代理模型（已使用机器学习进行训练）纳入更大的优化问题。我们讨论了优化技术的进步，使OMLT成为可能，并展示了OMLT如何无缝集成的代数建模语言Pyomo。我们演示了如何使用OMLT解决决策问题，在计算机科学和工程。
2022-11-15 cs.AI cs.LG math.OC
Black-box optimization for integer-variable problems using Ising machines and factorization machines
Keio University（庆应义塾大学）；National Institute for Materials Science（国立材料科学研究所）；The University of Tokyo（东京大学）；Waseda University（早稻田大学）；Tokyo Institute of Technology（东京工业大学）
黑箱优化在许多应用中具有潜力，例如机器学习中的超参数优化和实验设计中的优化。伊辛机对于二进制优化问题是有用的，因为变量可以由伊辛机的单个二进制变量表示。然而，使用伊辛机的传统方法不能处理具有非二进制值的黑盒优化问题。为了克服这一限制，我们提出了一种整数变量黑盒优化问题的方法，通过使用伊辛/退火机和因式分解机与三种不同的整数编码方法的合作。我们的方法的性能进行了数值评估与不同的编码方法，使用一个简单的问题，计算的能量的氢分子在最稳态。所提出的方法可以使用任何整数编码方法来计算能量。然而，独热编码对于小尺寸的问题是有用的。
2022-09-01 cs.LG quant-ph
Deep learning based Meta-modeling for Multi-objective Technology Optimization of Electrical Machines
Robert Bosch GmbH（罗伯特·博世有限公司）
针对旋转电机优化耗时且不同技术需分别优化的问题，提出基于VAE的元建模方法，通过统一潜空间用深度神经网络和解码器分别预测KPI、生成新设计，实现两种电机并行多目标优化，且性能优于经典深度学习直接预测方法。
2023-07-24 cs.LG
ReinBo: Machine Learning pipeline search and configuration with Bayesian Optimization embedded Reinforcement Learning
LMU Munich（慕尼黑大学）
机器学习流水线潜在地由几个操作阶段组成，如数据预处理、特征工程和机器学习模型训练。每个操作都有一组超参数，当操作未被选择时，这些超参数可能与管道无关。这就产生了一个分层的条件超参数空间。为了优化这种混合的连续和离散条件分层超参数空间，我们提出了一种有效的管道搜索和配置算法，该算法结合了强化学习和贝叶斯优化的力量。实验结果表明，我们的方法表现良好的最先进的方法，如自动sklearn，TPOT，树Parzen窗口，随机搜索。
2019-04-10 cs.AI cs.LG stat.ML
Optimization Problems for Machine Learning: A Survey
IBM Research Ireland（IBM爱尔兰研究院）；Ivey Business School（毅伟商学院）；University of Western Ontario（西安大略大学）
本文综述了机器学习文献，并在优化框架中介绍了几种常用的机器学习方法。特别地，数学最优化模型被提出用于回归、分类、聚类、深度学习和对抗学习，以及机器教学、经验模型学习和贝叶斯网络结构学习中的新兴应用。这些模型可以受益于数值优化技术的进步，这些技术已经在几种机器学习环境中发挥了独特的作用。这些模型的优点和缺点进行了讨论，并突出了潜在的研究方向和开放的问题。
2021-01-11 cs.LG math.OC
A SMART Stochastic Algorithm for Nonconvex Optimization with Applications to Robust Machine Learning
University of Washington（华盛顿大学）；Cornell University（康奈尔大学）
在本文中，我们展示了如何将拟合机器学习模型所产生的任何优化问题转换为（1）从训练集中检测并移除污染数据，同时（2）在剩余的未污染数据上拟合修剪模型。为了解决由此产生的非凸优化问题，我们引入了一个快速随机近似梯度算法，通过非光滑正则化结合先验知识。对于大小为$n$的数据集，我们的方法需要$O(n^{2/3}/\varepsilon)$梯度评估以达到$\varepsilon$ -准确度，并且当某个错误界限成立时，复杂度提高到$O(κn^{2/3}\log(1/\varepsilon))$。这些速率比典型的全梯度方法获得的速率高$n^{1/3}$倍。
2017-02-05 cs.LG math.OC stat.ML
apsis - Framework for Automated Optimization of Machine Learning Hyper Parameters
Technische Universität München（慕尼黑工业大学）
本文提出的apsis工具包为超参数优化提供了一个灵活的框架，包括随机搜索和baidu优化器。它是用Python实现的，其架构具有对任何所需机器学习代码的适应性。它可以很容易地与常见的Python ML框架（如scikit-learn）一起使用。在MIT许可证下发布，强烈鼓励其他研究人员查看代码，贡献或提出任何建议。代码可以在github.com/FrederikDiehl/apsis上找到。
2015-03-15 cs.LG
Constrained Multi-Objective Optimization for Automated Machine Learning
SAS Institute Inc.（SAS研究所）
自动化的机器学习最近获得了很多关注。构建和选择正确的机器学习模型通常是一个多目标优化问题。同时支持多个目标和约束的通用机器学习软件很少，尽管潜在的好处很大。在这项工作中，我们提出了一个名为Autotune的框架，有效地处理机器学习问题中出现的多个目标和约束。Autotune建立在一套无导数优化方法的基础上，并在分布式计算环境中利用多级并行来自动训练、评分和选择良好的模型。在模型探索和选择过程中结合多个目标和约束提供了满足实际机器学习应用中必要的权衡所需的灵活性。标准多目标优化基准问题的实验结果表明，Autotune在捕获Pareto前沿方面非常有效。这些基准测试结果还显示了添加约束如何将搜索引导到解空间中更有希望的区域，最终产生更理想的Pareto前沿。两个真实案例研究的结果证明了Autotune提供的约束多目标优化功能的有效性。
2019-08-14 cs.DC cs.LG cs.NE
Visualization of Multi-Objective Switched Reluctance Machine Optimization at Multiple Operating Conditions with t-SNE
Georgia Institute of Technology（佐治亚理工学院）；Northwestern University（西北大学）；Ansys Inc.（Ansys公司）；Temple University（天普大学）
在多个工作点优化电机对于需要频繁改变速度和负载的应用至关重要，例如电动汽车，以在整个驾驶周期中努力实现机器的最佳性能。然而，需要优化的目标的数量将随着优化中考虑的操作点的数量而显著增加，因此在当前使用的可视化技术方面存在潜在问题，例如在帕累托前沿的散点图、平行坐标和主成分分析（PCA）中，这抑制了他们向机器设计者提供所有设计候选者的直观且信息丰富的可视化的能力，以及他们挑选几个候选者用于进一步微调性能验证的能力。因此，本文提出了利用t分布随机邻居嵌入（t-SNE）可视化所有的优化目标的各种电机设计候选人与各种操作条件，这构成了一个高维的数据集，将躺在几个不同的，但相关的，低维流形。最后，开关磁阻电机（SRM）的两个案例研究，以说明的优越性，然后t-SNE相比，传统的可视化技术用于电机优化。
2019-11-04 cs.LG cs.SY eess.SY
Towards an automated method based on Iterated Local Search optimization for tuning the parameters of Support Vector Machines
Philips Research（飞利浦研究院）
我们提供了初步的细节和制定的优化策略，根据目前的发展，是能够自动调整参数的支持向量机在新的数据集。优化策略是基于迭代局部搜索的启发式算法，迭代局部搜索是对经典爬山算法的修改，它迭代调用局部搜索例程。
2017-07-11 cs.AI cs.LG
A Collection of Quality Diversity Optimization Problems Derived from Hyperparameter Optimization of Machine Learning Models
LMU Munich（慕尼黑大学）
质量多样性优化的目标是为手头的给定问题生成一系列多样但高性能的解决方案。典型的基准问题是，例如，找到机器人手臂配置的曲目或游戏策略的集合。在本文中，我们提出了一组质量多样性优化问题，解决了机器学习模型的超参数优化-质量多样性优化的一个迄今为止尚未探索的应用。我们的基准问题涉及新的功能，如模型的可解释性或资源使用。为了实现快速有效的基准测试，我们建立在YAHPO Gym，最近提出的开源基准测试套件超参数优化，利用高性能的代理模型，并返回这些代理模型预测，而不是评估真正昂贵的黑盒功能。我们目前的初步实验研究结果比较不同的质量多样性优化我们的基准问题。此外，我们讨论了未来的方向和挑战的质量多样性优化的背景下，超参数优化。
2022-07-30 cs.LG
How to effectively use machine learning models to predict the solutions for optimization problems: lessons from loss function
Monash University（莫纳什大学）；RMIT University（皇家墨尔本理工大学）；Queensland University of Technology（昆士兰科技大学）；The University of Melbourne（墨尔本大学）
利用机器学习解决约束优化和组合问题正成为计算机科学和运筹学领域的一个活跃的研究领域。本文旨在利用先进的机器学习技术预测约束优化问题的一个好的解决方案。它扩展了\cite{abbasi2020predicting}的工作，使用机器学习模型，通过检查更先进的算法和与决策变量的预测值相关的各种成本来预测大规模随机优化模型的解决方案。它还研究了损失函数和误差准则在机器学习模型中的重要性，它们用于预测优化问题的解决方案。我们使用一个血液转运问题作为案例研究。案例研究的结果表明，LightGBM提供了有前途的解决方案，并优于其他机器学习模型使用的\cite{abbasi2020predicting}特别是当使用平均绝对偏差准则。
2021-05-14 cs.LG stat.CO
Stochastic, Distributed and Federated Optimization for Machine Learning
University of Edinburgh（爱丁堡大学）
我们研究了在机器学习应用中经常出现的有限和问题的优化算法。首先，我们提出了新的变种随机梯度下降的方差减少属性，使强凸目标的线性收敛。其次，我们研究分布式设置，其中描述优化问题的数据不适合单个计算节点。在这种情况下，传统的方法是低效的，因为分布式优化中固有的通信成本成为瓶颈。我们提出了一个有效的沟通框架，迭代地形成局部子问题，可以用任意的局部优化算法来解决。最后，我们介绍了联邦优化/学习的概念，在这里我们试图解决机器学习问题，而不需要以任何集中的方式存储数据。在处理用户生成的数据时，主要动机来自行业。目前普遍的做法是公司收集大量的用户数据并将其存储在数据中心。我们提出的一种替代方案是不首先收集数据，而是偶尔使用用户设备的计算能力来解决相同的优化问题，同时减轻隐私问题。在这种情况下，最小化的通信回合是主要目标，我们证明，在这种情况下解决优化问题是概念上容易处理的。
2017-07-04 cs.LG
Designing Machine Learning Pipeline Toolkit for AutoML Surrogate Modeling Optimization
IBM Research（IBM研究院）
机器学习中的流水线优化问题需要同时优化流水线结构和其元件的参数自适应。有一个优雅的方式来表达这些结构，可以帮助减少管理和分析其性能的复杂性，以及不同的优化策略的选择。考虑到这些问题，我们创建了AutoMLPipeline（AMLP）工具包，它可以使用简单的表达式来创建和评估复杂的机器学习管道结构。我们使用AMLP来找到最佳的管道签名，对它们进行数据挖掘，并使用这些数据挖掘的功能来加速学习和预测。我们在AMLP中使用代理建模制定了一个两阶段的管道优化，它在不到5分钟的AMLP计算时间内以4小时的时间预算优于其他AutoML方法。
2021-07-14 cs.AI cs.LG
CompileRover: Revolutionizing Virtual Machine Compiler Optimization with a Tri-Role LLM-Driven Framework
University of Chinese Academy of Sciences（中国科学院大学）
CompileRover提出三角色（裁判、顾问、操作员）LLM驱动框架，通过控制流分析、结构转换和动态模式识别优化虚拟机编译器，显著提升执行性能并降低开销。
2026-09-17 cs.CL cs.LG
Sample-Efficient Bayesian Transfer Learning for Online Machine Parameter Optimization
Fraunhofer Institute for Manufacturing Engineering and Automation IPA（弗劳恩霍夫制造工程与自动化研究所IPA）；TRUMPF SE + Co. KG（通快集团）
针对生产机器参数优化迭代成本高的问题，提出一种结合贝叶斯优化与迁移学习的样本高效方法，利用已有机器数据减少迭代次数，并在实际钣金切割激光机器上完成验证。
2025-03-21 cs.LG
