Interactive Preference Learning of Utility Functions for Multi-Objective Optimization
现实世界的工程系统通常使用多个指标进行比较和对比。对于实际的机器学习系统,性能调整通常比最小化单个预期损失目标更微妙,并且可以更现实地将其作为多目标最优化问题进行讨论。我们提出了一种新的标量值效用函数的生成模型,以捕捉人类的偏好在多目标最优化设置。我们还概述了一个交互式的主动学习系统,依次细化的利益相关者的理想效用函数使用二进制偏好查询的理解。
2016-12-15 math.OC
Speed limits in traffic emission models using multi-objective optimization
本文提出以速度限制为可控参数,结合交通排放模型和多目标优化方法,在优化交通流的同时最小化空气污染,实现生态与经济目标之间的最优折中。
2024-06-07 math.OC
A connectedness result for convex polynomial multi-objective optimization without boundedness
Ho Chi Minh City University of Technology(胡志明市理工大学)
本文证明凸多项式多目标优化问题的弱Pareto解集在无有界性和约束规范条件下仍连通,并由此得出凸二次情形解集路径连通,回答了Yen的开放问题。
2026-10-02 math.OC
Distributed Continuous-Time Optimization with Time-Varying Objective Functions and Inequality Constraints
研究了具有时变目标函数和时变非线性不等式约束约束的分布式连续时间最优化问题。与大多数具有时不变目标函数和约束条件的分布式最优化问题不同,本文的最优解是时变的,并形成一条轨迹。为了最小化全局时变目标函数受时变局部约束函数,仅使用局部信息和局部相互作用,我们提出了一种分布式控制算法,由一个滑模部分和基于Hessian的优化部分。在适当的假设条件下,研究了算法对最优解的渐近收敛性。通过仿真实例验证了该方案的有效性。
2020-09-04 math.OC
A consensus-based algorithm for multi-objective optimization and its mean-field description
提出了一种求解多目标最优化问题的多智能体算法,该算法扩展了基于共识的最优化方法,并依赖于一种标量化策略.优化是通过一组相互作用的代理探索搜索空间,并试图同时解决所有标量子问题。我们表明,这些动态所描述的平均场模型,这是合适的算法收敛性的理论分析。数值结果表明了该方法的有效性。
2022-03-30 math.OC
Multi-objective optimization of double curvature arch dams subjected to seismic loading using charged system search
本文提出了一种拱坝优化设计的多目标公式。其目标是同时减少混凝土体积和坝体的应力状态。而不是一个单一的设计,多目标问题提供了一组帕累托解决方案,其中决策者的方法可以选择最佳答案,根据其喜好。为了解决这个新问题,一个多目标充电系统搜索作为一个有效的元启发式也被开发。以一个实际双曲拱坝为算例,对该算法进行了验证。计算结果表明,该方法与现有的拱坝优化算法相比具有很强的竞争力。
2022-07-10 math.OC
Vector Optimization by Two Objective Functions
近年来,向量最优化问题在工程经济问题中得到了广泛的应用。这些问题的决策方法的发展在工程A中执行。梅萨克和其他人。所提供的方法的复杂性在于构建聚合目标函数。本文利用Pareto锥的解析表示,提出了一种求解向量最优化问题的算法。
2007-08-31 math.OC
Wind Turbine Design: Multi-Objective Optimization
在过去的20年里,风力涡轮机已经成熟,不断增长的全球风能市场将允许进一步改进。近几十年来,应用优化技术试图获得最优设计的研究论文数量不断增加。制造商的主要目标是尽量减少风力涡轮机的能源成本,以便与化石燃料竞争。因此,有人认为,将风力涡轮机设计作为由多个目标组成的最优化问题来评估更有启发性。使用多目标最优化算法,设计者能够识别称为帕累托前沿的权衡曲线,该曲线揭示了某些目标的弱点、异常和回报。在本章中,我们介绍了风力涡轮机设计中多目标最优化的基本原理,并使用遗传算法解决了一个经典的多目标风力涡轮机最优化问题。
2016-10-04 math.OC
Representing the Non-dominated Set of Multi-objective Optimization Problems with Polyhedral Ordering Cones
School of Mathematics and Natural Sciences, University of Wuppertal(韦特大学数学与自然科学学院)
本研究针对采用多面序锥的多目标优化问题,考察基于表示关系的表示方法,探究帕累托情形的现有理论与方法能否推广应用于该更一般的优化场景。
2026-10-12 math.OC
A game theoretic perspective on Bayesian multi-objective optimization
本章讨论了如何在计算要求很高的黑盒模拟环境中有效地解决多目标最优化问题的问题。我们将通过机器学习和工程中的应用来激发这个问题,并讨论当目标数量为四个或更多时使用经典帕累托方法的具体严峻挑战。然后,我们回顾结合贝叶斯优化方法的解决方案,例如,高斯过程,以及对策论的概念,如纳什均衡,Kalai-Smorodinsky解决方案和细节扩展,如Nash-Kalai-Smorodinsky解决方案。最后介绍了相应的算法,并给出了一些示例性的结果.
2021-04-29 math.OC
Pruning-Based Pareto Front Generation for Mixed-Discrete Bi-Objective Optimization
提出了一种基于剪枝的混合离散双目标优化问题的Pareto前沿生成方法。混合离散问题被分解成多个连续的子问题,两阶段修剪步骤识别和修剪出非贡献的子问题的帕累托前沿建设。所提出的方法的有效性证明了两个基准的例子。
2013-06-07 math.OC
Existence, Pareto reducibility, and connectedness in multi-objective optimization: Elementary proofs and extension
本文分为两个部分。在第一部分中,我们对多目标最优化中的一些重要结果进行了初步的证明。与现有的证明相比,给出的证明是如此简单和简短。同时,将一个Pareto约简结果从有效性推广到真有效性.第二部分研究了多目标最优化非支配解集的非空性、$R^p_{\geqq}$ -(半)紧性、外部稳定性和连通性之间的关系。此外,它表明,一些重要的结果,有关连通性的假设,是多余的,应该删除。
2018-04-24 math.OC
Optimization Problems with Nearly Convex Objective Functions and Nearly Convex Constraint Sets
Institute of Mathematics, Vietnam Academy of Science and Technology(越南科学技术院数学研究所)
本文研究了近凸优化问题,通过关联凸优化问题,推导了最优性条件和拉格朗日乘子规则,并通过实例验证了结果。
2026-02-10 math.OC
Prediction in Online Convex Optimization for Parametrizable Objective Functions
在线最优化问题的许多技术都涉及仅基于当前可用信息做出决策:利用潜在预测的作品较少。本文讨论可参数化目标的在线凸优化问题,即只依赖于参数在给定时刻的值的最优化问题。我们引入了一个新的规律性的基础上的参数的预测值的准确性,动态遗憾,并表明,在温和的假设下,准确的预测可以产生更严格的动态遗憾的界限。受学习如何优化的最新进展的启发,我们还提出了一种新的算法,可以同时预测和优化可参数化的目标,并使用模拟和真实数据研究其性能。
2019-02-01 math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法(ADMM)的收敛性.我们的收敛性分析依赖于广义中值定理,由于耦合目标函数的存在,该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明,直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Objective-Function Free Multi-Objective Optimization: Rate of Convergence and Performance of an Adagrad-like algorithm
Università degli Studi di Firenze(佛罗伦萨大学);Technische Universität Ilmenau(埃尔福特工业大学);ISTI–CNR, Italy(意大利国家研究委员会信息系统研究所)
提出一种不依赖目标函数值、仅使用公共下降方向的Adagrad类多目标优化算法,具有自适应步长,收敛速率为O(1/√(k+1)),在无约束多目标问题和多任务学习中验证了有效性。
2026-07-01 math.OC
MultiObjectiveAlgorithms.jl: a Julia package for solving multi-objective optimization problems
Dowson Farms(道森农场)
本文介绍MultiObjectiveAlgorithms.jl,一个基于JuMP的开源Julia库,通过迭代标量化将多目标问题转化为单目标子问题序列,支持多种求解器和问题类型。
2026-05-25 math.OC
Global Descent Method for Non-convex Multi-objective Optimization Problems
针对非凸多目标优化问题,提出无需预设标量与目标排序的全局下降法,通过辅助函数迭代寻优以生成全局Pareto前沿,实验验证了其鲁棒性、可扩展性与有效性。
2025-07-30 math.OC
Solving Multi-Objective Optimization via Adaptive Stochastic Search with Domination Measure
对于一般的多目标最优化问题,我们提出了一种新的性能度量,称为支配测度来度量解的质量,它可以直观地解释为支配该解的解空间部分的大小.因此,我们将原来的多目标问题转化为一个随机单目标问题,并提出了一种基于模型的方法来解决它,我们证明了所提出的方法的理想版本的算法收敛到一组表示的全局最优的重新制定的问题。我们还研究了一个可实现的版本算法的数值性能进行比较,它与许多现有的多目标最优化方法流行的基准检验函数。数值结果表明,该方法能够有效地生成多目标优化问题的Pareto最优解集的有限且均匀分布的近似解,与已有的方法相比具有很强的竞争力.
2016-12-23 math.OC
Proper efficiency, scalarization and transformation in multi-objective optimization: Unified approaches
本文研究了多目标最优化中一般标量化问题的真有效性与解的关系。我们给出了所处理的标量规划的解是真有效的条件,反之亦然。我们还证明了,在一定条件下,如果考虑的一般标量问题是无界的,那么原来的多目标问题没有任何真正的有效解。在另一部分的工作中,我们调查的一般变换的目标函数,保持适当的效率。我们表明,存在于文献中的几个重要结果是本文件的结果的直接后果。
2019-07-04 math.OC
Stochastic block coordinate and function alternation for multi-objective optimization and learning
Lehigh University(利哈伊大学)
本文提出一种框架,通过同时交替优化每个目标和变量块的梯度更新,降低计算成本并探索帕累托前沿,适用于多目标优化和学习。
2026-05-12 math.OC
On non-linear optimization with a perturbed objective function
对于不精确目标函数和精确约束的情形,导出了拉格朗日乘子定理。证明使用的分析方法,处理在一个直接的,代数的方式与不精确。它们包括不精确微分、近似费马引理和隐函数定理。这些工具是非标准分析的外部数,它是Sorites不精确的模型。
2021-06-28 math.OC
Repulsion dynamics for uniform Pareto front approximation in multi-objective optimization problems
标量化允许通过求解许多由某些参数唯一确定的单目标子问题来求解多目标最优化问题。在这项工作中,我们提出了几个自适应策略来选择这样的参数,以获得一个一致逼近的帕累托前。这是通过引入一个启发式的动力学参数通过二进制排斥势相互作用。该方法的目的是最大限度地减少相关的能量潜力,这是用来量化的多样性计算的解决方案。一个随机组件也被添加到克服非最佳的能量配置。数值实验表明,所提出的方法的有效性的双和三目标问题与不同的Pareto前的几何形状。
2022-11-07 math.OC
Complexity iteration analysis for strongly convex multi-objective optimization using a Newton path-following procedure
本文研究了强凸多目标最优化的迭代复杂性。我们讨论了这个问题的确切含义,并指出它是松散的定义,但最自然的概念是找到一组帕累托最优点跨越网格的标量化问题。我们得出,在大多数情况下,执行灵敏度为基础的路径跟踪后,获得一个解决方案是最优策略的迭代复杂度方面的这项任务。
2020-04-06 math.OC
Improved Front Steepest Descent for Multi-objective Optimization
本文讨论了求解多目标最优化问题的前最速下降算法。我们指出,从文献中的算法往往是无法,通过设计,跨越大部分的帕累托前。因此,我们引入了一些修改的算法,旨在克服这一重大限制。我们证明了该算法的渐近收敛性质的保持和数值计算表明,所提出的方法显着优于原来的。
2023-01-09 math.OC
A Homotopy Method for Large-Scale Multi-Objective Optimization
提出了一种求解多目标最优化问题的同伦方法,该方法通过构造产生均匀采样的Pareto前沿。虽然该算法是通用的,特别感兴趣的是基于仿真的工程最优化问题的经济功能的评估,结果的平滑度和时间的解决方案是至关重要的应用。该算法在求解均匀性方面比其他几何方法(如法向边界求交法和法向约束法)有数量级的提高,且计算量相近。此外,由此产生的解决方案的一致性甚至延伸到更困难的问题,如那些出现在常见的进化算法测试用例。
2015-05-12 math.OC
A Piecewise Convexification Method for Non-Convex Multi-Objective Optimization Programs with Box Constraints
提出了一种求解带框约束的非凸多目标最优化问题的分段凸化方法。基于$α$ -based Branch and Bound(${\rm αBB}$)全局优化方法的思想和区间剖分,首先得到了该非凸多目标最优化问题的一系列凸松弛子多目标问题,这些子问题构成了原问题在全箱上的分段凸化问题.然后我们构造了这个分段凸化问题的(近似的,弱的)有效解集,并用这些集来近似原问题的全局(弱的)有效解集.此外,我们提出了一个分段凸化算法,并证明了该算法也可以通过计算多目标凸子问题的有效解集的有限子集来获得近似的全局有效解。最后,通过各种测试实例证明了其性能。
2022-06-26 math.OC
An adaptive consensus based method for multi-objective optimization with uniform Pareto front approximation
在这项工作中,我们感兴趣的随机粒子方法的多目标最优化。该问题是制定使用参数化,单目标的子问题,同时解决。为此,提出了一种基于共识的多目标最优化方法的搜索空间结合一个额外的启发式策略,以适应在计算过程中的参数。自适应策略的目的是通过使用基于能量的措施来量化系统的多样性,均匀分布的粒子在图像空间。由此产生的元启发式算法进行了数学分析,使用平均场近似和收敛保证对最佳点的严格证明。此外,揭示和分析了自适应方法在参数空间中的梯度流结构。几个数值实验表明所提出的随机粒子动力学的有效性,并说明了理论研究结果。
2022-08-02 math.OC
Improvements to steepest descent method for multi-objective optimization
本文通过在迭代公式中乘法引入含二阶信息的正修正参数,提出两种改进的多目标最速下降算法,并证明其收敛性及强凸情形下的线性收敛,数值实验表明其持续优于原始算法。
2024-01-12 math.OC
Bezier Simplex Fitting: Describing Pareto Fronts of Simplicial Problems with Small Samples in Multi-objective Optimization
多目标最优化问题需要同时优化两个或多个目标函数。许多研究表明,M-目标最优化问题的解集往往形成一个(M-1)维拓扑单纯形(M=2时为一条曲线,M=3时为一个曲三角形,M=4时为一个曲四面体等)。由于解集的维数随着目标数量的增加而增加,因此需要指数级大的样本量来覆盖解集。为了减少所需的样本量,本文提出了一种Bezier单纯形模型及其拟合算法。这些技术可以利用解集的单纯形结构,并将高维曲面拟合任务分解为一系列低维任务。证明了Bezier单形的一个逼近定理。合成和现实世界的最优化问题的数值实验表明,所提出的方法实现了高维解集的小样本的精确逼近。在实践中,这种近似将在优化后过程中进行,并实现更好的权衡分析。
2018-12-13 math.OC
Bézier Flow: a Surface-wise Gradient Descent Method for Multi-objective Optimization
RIKEN AIP(理化学研究所先进智能项目中心);Fujitsu Limited(富士通有限公司);Tokyo Institute of Technology(东京工业大学);KLab Inc.(KLab株式会社)
本文提出了一种利用Bézier单纯形模型从单目标优化算法构造多目标最优化算法的策略。此外,我们扩展了概率近似正确(PAC)学习意义下的优化算法的稳定性,并定义了PAC稳定性。我们证明了它导致一个上界的推广具有很高的概率。此外,我们表明,多目标最优化算法来自基于梯度下降的单目标优化算法是PAC稳定的。数值实验表明,该方法比现有的多目标最优化算法具有更低的泛化误差。
2022-05-23 cs.LG math.OC
BMOBench: Black-Box Multi-Objective Optimization Benchmarking Platform
本文档简要介绍黑盒多目标最优化基准测试(BMOBench)平台。它介绍了测试问题、评估程序和实验设置。为此,BMOBench的证明,比较最近的多目标求解器从文献中,即SMS-EMOA,DMS和MO-SOO。
2017-07-01 cs.NE math.OC
Ordinal Optimization Through Multi-objective Reformulation
我们用序数分析组合最优化问题,即,非加性的目标函数,将类别(如好、中、差)而不是费用系数分配给可行解的元素。我们回顾了不同的有序最优化问题的最优性概念,并讨论了它们的异同。然后,我们专注于两个流行的最优性概念,被证明是等价的。我们的主要结果是一个双射线性变换,将有序优化问题转换为相关的标准多目标最优化问题与二元费用系数。由于这种转换保留了潜在问题的所有属性,因此特定于问题的解决方法仍然适用。一个突出的例子是动态规划和贝尔曼的最优性原理,可以应用于,例如,顺序最短路径和顺序背包问题。我们将我们的结果推广到结合了序数和实值目标函数的多目标最优化问题。
2022-04-05 math.CO math.OC
Optimization on Pareto sets: On a theory of multi-objective optimization
University of California, San Diego(加州大学圣迭戈分校)
研究Pareto约束优化问题,针对隐式、非凸非光滑的约束集定义最优性与稳定性概念,并提出在目标强凸且Lipschitz光滑时具有O(K^{-1/2})收敛率的算法。
2023-08-04 cs.LG math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Risk management in multi-objective portfolio optimization under uncertainty
Fraunhofer Institute for Industrial Mathematics(弗劳恩霍夫工业数学研究所);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学)
本文提出了一种基于鲁棒多目标优化的方法,通过纳入基准比较来提升投资组合在不确定性下的优化效果和适应性。
2024-07-29 math.OC q-fin.PM
Follow the bisector: a simple method for multi-objective optimization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Higher School of Economics(高等经济学院);Huawei Moscow Research Center(华为莫斯科研究中心)
提出了一种新的求解多目标最优化问题的等角方向法。我们考虑最优化问题,其中多个可微损失必须最小化。该方法在每次迭代中计算下降方向,以保证目标函数的相对减少量相等。该下降方向基于各个损失的归一化梯度。因此,它适合于解决具有多尺度损失的多目标最优化问题。我们测试所提出的方法上的不平衡分类问题和多任务学习问题,其中使用标准数据集。比较了电火花加工与其它方法的优缺点。
2020-07-14 cs.LG math.OC
Recovery-to-Efficiency: A New Robustness Concept for Multi-objective Optimization under Uncertainty
INRIA Lille-Nord Europe(法国里尔-北欧信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Université Polytechnique Hauts-de-France(上法兰西理工大学)
针对不确定多目标最优化问题,提出了一种新的鲁棒性概念。更确切地说,在本文中,所谓的恢复到效率的鲁棒性的概念,提出和研究。在多目标最优化的背景下,以及提出了几种方法来产生恢复到效率的鲁棒集。进行了广泛的实验分析,以揭示使用不同的概念,以及推导出一些有趣的意见得到的鲁棒集之间的差异。为了测试的目的,从双目标背包问题的实例被认为是。
2020-11-20 cs.AI math.OC
Some Black-box Reductions for Objective-robust Discrete Optimization Problems Based on their LP-Relaxations
我们考虑鲁棒离散最小化问题的不确定性是由一个凸集的目标。我们展示了如何完整性间隙验证的线性规划松弛的非鲁棒版本的问题,可以用来推导出近似算法的强大版本。
2019-07-15 cs.DS math.OC
Towards Fairness-Aware Multi-Objective Optimization
East China University of Science and Technology(华东理工大学);Northeastern University(东北大学);Bielefeld University(比勒费尔德大学);University of Surrey(萨里大学)
近年来,公平感知机器学习在减轻决策中的不公平或歧视方面得到了快速发展,应用范围广泛。然而,公平感知的多目标最优化问题在现实生活中确实很常见,如公平资源分配问题和数据驱动的多目标最优化问题,却很少受到关注。本文旨在从公平性的角度阐明和拓宽我们对多目标最优化的理解。为此,我们从讨论多目标最优化中的用户偏好开始,然后探索其与机器学习和多目标最优化中的公平性的关系。在此基础上,给出了公平性感知多目标优化的典型案例,进一步阐述了公平性在传统多目标最优化、数据驱动优化和联邦优化中的重要性。最后,公平意识的多目标最优化的挑战和机遇。我们希望这篇文章能够为在优化的背景下理解公平性迈出一小步,并促进对公平感知多目标最优化的研究兴趣。
2022-07-22 cs.AI cs.LG cs.NE
A Survey on Multi-Objective based Parameter Optimization for Deep Learning
本文综述了多目标优化策略在深度神经网络参数优化中的有效性,探讨了二者结合在多个应用预测与分析中的价值。
2023-05-17 cs.LG math.OC
Multi-objective beetle antennae search algorithm
在工程优化问题中,通常需要同时优化高度非线性约束下的多个目标和大量变量。寻找非线性多目标优化问题的Pareto前沿需要大量的计算工作。基于群体智能的元启发式算法已成功地应用于多目标优化问题的求解。近年来,提出了一种基于个体智能的甲虫触角搜索算法。该算法被证明是计算效率更高。因此,我们将该算法推广到求解多目标优化问题。提出的多目标甲虫天线搜索算法进行了测试,使用四个精心挑选的基准函数,并与其他多目标优化算法的性能进行了比较。结果表明,提出的多目标甲虫触角搜索算法具有较高的计算效率和令人满意的精度。
2020-08-05 cs.NE math.OC
Parameterized Convex Minorant for Objective Function Approximation in Amortized Optimization
Seoul National University(首尔大学)
提出参数化凸下包络方法,通过凸下包络加非负间隙函数逼近目标函数,实现单次凸优化求全局最小解,并验证于非凸逼近与非线性模型预测控制。
2023-11-10 cs.LG math.OC
Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning
Massachusetts Institute of Technology(麻省理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of California San Diego(加州大学圣地亚哥分校)
我们考虑一个一般的最小-最大多目标双层优化问题,并将其应用于鲁棒机器学习,如表示学习和超参数优化。我们设计了一种新的单循环梯度下降-上升双层优化算法MORBiT来解决一般问题,并给出了一个新的分析,表明MORBiT收敛到一阶稳定点的速度为$\widetilde{\mathcal{O}}(n^{1/2} K^{-2/5})$的一类弱凸问题的$n$目标后,$K$迭代的算法。我们的分析利用新的结果来处理非光滑的最小-最大多目标设置,并获得一个次线性依赖的目标数$n$。鲁棒表示学习和鲁棒超参数优化的实验结果展示了(i)考虑最小-最大多目标设置的优点,以及(ii)所提出的MORBiT的收敛特性。我们的代码在https://github.com/minimario/MORBiT。
2023-03-07 cs.LG math.OC
Multi-objective Matroid Optimization with Ordinal Weights
拟阵上的双目标最优化问题一般是难处理的,其相应的判定问题一般是NP-难的。然而,如果其中一个目标函数被限制为二进制费用系数,则问题变得可通过穷举交换算法有效地解决。二进制费用系数通常表示两个类别,因此是一般非加法的序数系数的特殊情况。在本文中,我们考虑有序的目标函数与两个以上的范畴内拟阵优化。我们介绍几个问题的变种,可以区分w.r.t.它们各自的优化目标,分析它们之间的相互关系,并推导出一种基于拟阵求交问题重复求解的多项式时间求解方法。对最小生成树问题和划分拟阵的数值试验证实了该方法的有效性。
2021-09-28 math.CO math.OC
Fairly Constricted Multi-Objective Particle Swarm Optimization
在粒子群优化算法(PSO)中使用指数平均动量(EM)比普通PSO算法具有更大的优势。在单目标设置中,它导致更快的收敛和避免局部极小值。自然,人们会期望EM的相同优点延续到多目标设置。因此,我们扩展了最先进的多目标优化(MOO)求解器,SMPSO,通过将EM在其中。因此,我们开发的数学形式主义的收缩公平性,这是在扩展的SMPSO算法的核心。建议的求解器匹配的性能SMPSO在ZDT,DTLZ和WFG问题套件,甚至在某些情况下优于它。
2022-11-13 cs.NE math.OC
Aligned Multi Objective Optimization
Meta AI;Technion(以色列理工学院)
针对机器学习中无冲突目标场景缺乏可扩展基于梯度的优化方法的问题,提出 Aligned Multi-Objective Optimization 框架及新算法,并证明了其优于朴素方法的理论保证。
2025-03-04 cs.LG math.OC
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化,简化流程,实验证明其性能匹配或超越复杂MOBO方法。
2026-11-09 cs.LG math.OC stat.ML
On the Complexity of Robust Bilevel Optimization With Uncertain Follower's Objective
我们研究了不确定性的两层组合优化的复杂性,在追随者的目标,在一个强大的优化方法。我们证明了区间不确定性下的两层问题的鲁棒对应可以是$Σ^{\text P}_2$ -硬的,即使当某些两层问题是NP-等价的和追随者的问题是易处理的。相反,在离散不确定性情况下,鲁棒双层问题最多比跟随者问题难一层。
2021-07-28 cs.DS math.OC
Multi-objective Flower Algorithm for Optimization
花授粉算法是一种新的自然启发式算法,基于显花植物的特点。在本文中,我们将这种花算法推广到解决工程中的多目标优化问题。通过使用随机权重的加权和方法,我们证明了所提出的多目标花算法可以准确地找到一组测试函数的Pareto前沿。然后,我们解决了双目标盘式制动器的设计问题,这确实收敛很快。
2014-04-02 cs.NE math.OC
Bayesian multi-objective optimization for stochastic simulators: an extension of the Pareto Active Learning method
本文主要研究具有高输出方差的随机模拟器的多目标最优化问题,其中输入空间是有限的,目标函数的计算是昂贵的。我们依靠贝叶斯优化算法,它使用概率模型来预测要优化的函数。所提出的方法是一个扩展的Pareto主动学习(PAL)算法估计的Pareto-最优解,使其适用于随机设置。我们将其命名为随机模拟器的帕累托主动学习(Pareto Active Learning for Stochastic Simulators,PALS)。PALS的性能进行了评估,通过一组二维,双目标测试问题的数值实验。与其他基于标量化和随机搜索的方法相比,PALS具有更好的性能。
2022-07-20 math.OC stat.ML
Online Multi-Objective Particle Accelerator Optimization of the AWAKE Electron Beam Line for Simultaneous Emittance and Orbit Control
多目标优化对于粒子加速器是重要的,其中必须常规地满足各种竞争目标,例如,横向发射度与束团长度。我们开发并演示了一个在线多时间尺度多目标优化算法,执行实时反馈的粒子加速器。我们证明了在CERN的先进质子驱动等离子体尾场加速实验(AWAKE)的电子束线中,同时最大限度地减少发射度和保持束的参考轨迹的能力。
2020-03-24 math.DS math.OC physics.acc-ph
Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization
Google Brain(谷歌大脑)
单目标黑箱优化(也称为零阶优化)是在自适应选择的输入$x$上给出评估的情况下,最小化标量目标$f(x)$的过程。在本文中,我们考虑多目标优化,其中$f(x)$输出一个向量的可能竞争的目标和目标是收敛到帕累托前沿。在量化方面,我们希望最大化标准超体积指标度量,该指标度量整个选定输入集的主导超体积。在本文中,我们引入了一种新的标量化函数,我们称之为超体积标量化,并表明,从适当选择的分布绘制随机标量化可以用来有效地近似超体积指标度量。我们利用这种连接表明,贝叶斯优化与我们的标量通过常见的采集功能,如汤普森采样或上置信界,可证明收敛到整个帕累托前沿推导紧超体积遗憾界的顺序$\widetilde{O}(\sqrt{T})$。此外,我们强调了我们的标量化框架的一般效用,通过显示任何可证明收敛的单目标优化过程可以毫不费力地转换为具有可证明收敛保证的多目标优化过程。
2020-06-09 cs.LG math.OC stat.ML
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML