Towards Fairness-Aware Multi-Objective Optimization
East China University of Science and Technology(华东理工大学);Northeastern University(东北大学);Bielefeld University(比勒费尔德大学);University of Surrey(萨里大学)
近年来,公平感知机器学习在减轻决策中的不公平或歧视方面得到了快速发展,应用范围广泛。然而,公平感知的多目标最优化问题在现实生活中确实很常见,如公平资源分配问题和数据驱动的多目标最优化问题,却很少受到关注。本文旨在从公平性的角度阐明和拓宽我们对多目标最优化的理解。为此,我们从讨论多目标最优化中的用户偏好开始,然后探索其与机器学习和多目标最优化中的公平性的关系。在此基础上,给出了公平性感知多目标优化的典型案例,进一步阐述了公平性在传统多目标最优化、数据驱动优化和联邦优化中的重要性。最后,公平意识的多目标最优化的挑战和机遇。我们希望这篇文章能够为在优化的背景下理解公平性迈出一小步,并促进对公平感知多目标最优化的研究兴趣。
2022-07-22 cs.AI cs.LG cs.NE
Multi-stage stochastic linear programming for shared autonomous vehicle system operation and design with on-demand and pre-booked requests
针对含即时与预约请求的SAV系统,提出多阶段随机线性规划联合优化网络设计、车队规模及路径拼车匹配,并用SDDP求解。
2024-09-18 math.OC
Multi-objective beetle antennae search algorithm
在工程优化问题中,通常需要同时优化高度非线性约束下的多个目标和大量变量。寻找非线性多目标优化问题的Pareto前沿需要大量的计算工作。基于群体智能的元启发式算法已成功地应用于多目标优化问题的求解。近年来,提出了一种基于个体智能的甲虫触角搜索算法。该算法被证明是计算效率更高。因此,我们将该算法推广到求解多目标优化问题。提出的多目标甲虫天线搜索算法进行了测试,使用四个精心挑选的基准函数,并与其他多目标优化算法的性能进行了比较。结果表明,提出的多目标甲虫触角搜索算法具有较高的计算效率和令人满意的精度。
2020-08-05 cs.NE math.OC
Fairly Constricted Multi-Objective Particle Swarm Optimization
在粒子群优化算法(PSO)中使用指数平均动量(EM)比普通PSO算法具有更大的优势。在单目标设置中,它导致更快的收敛和避免局部极小值。自然,人们会期望EM的相同优点延续到多目标设置。因此,我们扩展了最先进的多目标优化(MOO)求解器,SMPSO,通过将EM在其中。因此,我们开发的数学形式主义的收缩公平性,这是在扩展的SMPSO算法的核心。建议的求解器匹配的性能SMPSO在ZDT,DTLZ和WFG问题套件,甚至在某些情况下优于它。
2022-11-13 cs.NE math.OC
Multi-objective Flower Algorithm for Optimization
花授粉算法是一种新的自然启发式算法,基于显花植物的特点。在本文中,我们将这种花算法推广到解决工程中的多目标优化问题。通过使用随机权重的加权和方法,我们证明了所提出的多目标花算法可以准确地找到一组测试函数的Pareto前沿。然后,我们解决了双目标盘式制动器的设计问题,这确实收敛很快。
2014-04-02 cs.NE math.OC
The interval greedy algorithm for discrete optimization problems with interval objective function
本文研究了一类具有区间目标函数的离散优化问题。我们给出了一个推广的贪心算法的问题。利用该算法,我们得到了所有可能的贪婪解的集合和所有可能的目标函数的值的集合的解决方案。对于给定的目标函数系数在区间上的概率分布,我们计算解的概率,目标函数的期望值以及问题的其他概率特征。
2020-09-28 cs.DM cs.DS math.CO
A Review on Constraint Handling Techniques for Population-based Algorithms: from single-objective to multi-objective optimization
这项研究提供了一个新的分析学术文献的约束处理技术的单目标和多目标人口为基础的算法,根据最相关的期刊,关键字,作者和文章。本文回顾了多目标群体优化中最先进的约束处理技术的主要思想,然后研究了该领域的文献计量学分析。所提取的论文包括2000年至2020年期间发表的研究文章,评论,书籍/书籍章节和会议论文。结果表明,与单目标优化相比,多目标最优化的约束处理技术受到的关注较少。这种优化最有前途的算法被确定为遗传算法,差分进化算法和粒子群智能。
2022-06-28 math.OC
A bi-objective optimization framework for three-dimensional road alignment design
三维道路线形优化是一个非线性非凸优化问题。由于涉及众多因素和线形几何规范的复杂性,开发完全优化三维道路线形问题的模型具有挑战性。在这项研究中,我们开发了一种新的双目标优化方法来解决三维道路线形问题的水平和垂直路线同时优化。两个相互冲突的成本目标函数,\emph{earthwork}成本和\emph{utility}成本,投在一个双目标最优化问题。我们数值比较几个多目标最优化求解器,并发现它是可能的,以确定在一个合理的时间内的Pareto前沿。
2016-02-03 math.OC
Bézier Flow: a Surface-wise Gradient Descent Method for Multi-objective Optimization
RIKEN AIP(理化学研究所先进智能项目中心);Fujitsu Limited(富士通有限公司);Tokyo Institute of Technology(东京工业大学);KLab Inc.(KLab株式会社)
本文提出了一种利用Bézier单纯形模型从单目标优化算法构造多目标最优化算法的策略。此外,我们扩展了概率近似正确(PAC)学习意义下的优化算法的稳定性,并定义了PAC稳定性。我们证明了它导致一个上界的推广具有很高的概率。此外,我们表明,多目标最优化算法来自基于梯度下降的单目标优化算法是PAC稳定的。数值实验表明,该方法比现有的多目标最优化算法具有更低的泛化误差。
2022-05-23 cs.LG math.OC
Few for Many: Tchebycheff Set Scalarization for Many-Objective Optimization
City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
本文提出了一种新的Tchebycheff集标量化方法,通过少量代表性解覆盖大量目标,以高效处理多目标优化问题。
2026-01-17 cs.AI cs.LG cs.NE
Multi-objective Optimization: A Case Study
本文献的目的是通过一个端面铣削加工的案例研究来说明多目标最优化程序的应用。为此,面铣操作被设计为多目标最优化问题,然后使用优化例程求解以获得加工参数-切削速度(Vc)、进给速率(fz)和切削深度(t)的最佳值。面铣操作的公式化问题包括两个相互冲突的目标-最大化材料去除率(MRR)和最小化表面粗糙度(Ra)。在各种多目标最优化方法中,本文采用了五种方法,即全局准则法、字典法、加权和法、迭代约束法和遗传算法。然后比较这些多目标最优化例程的结果以反映它们的相对吸引力。
2023-01-22 math.OC
Multi-objective minmax robust combinatorial optimization with cardinality-constrained uncertainty
在本文中,我们发展了两种方法来寻找具有基数约束的不确定性的多目标组合最优化问题的极小极大鲁棒有效解。首先,我们将Bertsimas和Sim(2003)的单目标优化算法推广到多目标最优化。我们还提出了一个增强,以加速算法,即使是单目标的情况下,我们开发了一个更快的版本,为特殊的多目标实例。其次,我们引入了一个确定性的多目标问题的总和和瓶颈功能,它提供了一个超集的鲁棒有效解。在此基础上,提出了一种求解多目标不确定最短路问题的标号设置算法。我们在源于危险材料运输的多目标不确定最短路问题的实例中比较了这两种方法。
2017-01-23 math.OC
Pareto front generation with knee-point based pruning for mixed discrete multi-objective optimization
提出了一种基于无关子问题剪枝的混合离散多目标最优化问题Pareto前沿生成算法。通过引入一个新的修剪决策参考点--拐点,将现有的基于修剪的混合离散双目标问题的方法推广到一般的多目标问题。所提出的程序的有效性证明通过案例研究。
2017-09-27 math.OC
Smooth Tchebycheff Scalarization for Multi-Objective Optimization
City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
针对多目标优化中现有方法计算复杂度高或理论性质不足的问题,提出基于平滑优化技术的轻量高效平滑Tchebycheff标量化方法,能找到所有有效权衡偏好的Pareto解且计算复杂度更低。
2024-07-23 cs.AI cs.LG cs.NE
A dynamic gradient approach to Pareto optimization with nonsmooth convex objective functions
在一般的Hilbert框架下,研究了一类非光滑凸目标函数约束多目标优化问题的连续类梯度动力系统.我们的方法是在以前的工作中,被认为是凸dierentiable目标函数的情况下。通过对系统中的细分算子进行Yosida正则化,得到了强全局轨线的存在性.我们证明了每个目标函数的下降属性,和弱Pareto最小的轨迹收敛。该方法提供了目标函数的动态内生加权。应用合作对策,反问题,和数值多目标优化。
2014-06-06 math.OC
Time-Varying Multi-Objective Optimization: Tradeoff Regret Bounds
Czech Technical University in Prague(布拉格捷克理工大学)
本文研究了时间变化多目标优化问题,通过证明权衡遗憾界,提供了一种在动态环境中调整决策变量以适应目标变化的方法。
2025-04-19 math.OC
Interactive Preference Learning of Utility Functions for Multi-Objective Optimization
现实世界的工程系统通常使用多个指标进行比较和对比。对于实际的机器学习系统,性能调整通常比最小化单个预期损失目标更微妙,并且可以更现实地将其作为多目标最优化问题进行讨论。我们提出了一种新的标量值效用函数的生成模型,以捕捉人类的偏好在多目标最优化设置。我们还概述了一个交互式的主动学习系统,依次细化的利益相关者的理想效用函数使用二进制偏好查询的理解。
2016-12-15 math.OC
Speed limits in traffic emission models using multi-objective optimization
本文提出以速度限制为可控参数,结合交通排放模型和多目标优化方法,在优化交通流的同时最小化空气污染,实现生态与经济目标之间的最优折中。
2024-06-07 math.OC
Ordinal Optimization Through Multi-objective Reformulation
我们用序数分析组合最优化问题,即,非加性的目标函数,将类别(如好、中、差)而不是费用系数分配给可行解的元素。我们回顾了不同的有序最优化问题的最优性概念,并讨论了它们的异同。然后,我们专注于两个流行的最优性概念,被证明是等价的。我们的主要结果是一个双射线性变换,将有序优化问题转换为相关的标准多目标最优化问题与二元费用系数。由于这种转换保留了潜在问题的所有属性,因此特定于问题的解决方法仍然适用。一个突出的例子是动态规划和贝尔曼的最优性原理,可以应用于,例如,顺序最短路径和顺序背包问题。我们将我们的结果推广到结合了序数和实值目标函数的多目标最优化问题。
2022-04-05 math.CO math.OC
A connectedness result for convex polynomial multi-objective optimization without boundedness
Ho Chi Minh City University of Technology(胡志明市理工大学)
本文证明凸多项式多目标优化问题的弱Pareto解集在无有界性和约束规范条件下仍连通,并由此得出凸二次情形解集路径连通,回答了Yen的开放问题。
2026-10-02 math.OC
Distributed Continuous-Time Optimization with Time-Varying Objective Functions and Inequality Constraints
研究了具有时变目标函数和时变非线性不等式约束约束的分布式连续时间最优化问题。与大多数具有时不变目标函数和约束条件的分布式最优化问题不同,本文的最优解是时变的,并形成一条轨迹。为了最小化全局时变目标函数受时变局部约束函数,仅使用局部信息和局部相互作用,我们提出了一种分布式控制算法,由一个滑模部分和基于Hessian的优化部分。在适当的假设条件下,研究了算法对最优解的渐近收敛性。通过仿真实例验证了该方案的有效性。
2020-09-04 math.OC
A consensus-based algorithm for multi-objective optimization and its mean-field description
提出了一种求解多目标最优化问题的多智能体算法,该算法扩展了基于共识的最优化方法,并依赖于一种标量化策略.优化是通过一组相互作用的代理探索搜索空间,并试图同时解决所有标量子问题。我们表明,这些动态所描述的平均场模型,这是合适的算法收敛性的理论分析。数值结果表明了该方法的有效性。
2022-03-30 math.OC
Simple Extensions of Single-Objective Acquisition Functions and Hedge Strategies for Multi-Objective Bayesian Optimization
本文提出通过超体积变换和对冲策略扩展单目标采集函数至多目标贝叶斯优化,简化流程,实验证明其性能匹配或超越复杂MOBO方法。
2026-11-09 cs.LG math.OC stat.ML
Multi-objective optimization of double curvature arch dams subjected to seismic loading using charged system search
本文提出了一种拱坝优化设计的多目标公式。其目标是同时减少混凝土体积和坝体的应力状态。而不是一个单一的设计,多目标问题提供了一组帕累托解决方案,其中决策者的方法可以选择最佳答案,根据其喜好。为了解决这个新问题,一个多目标充电系统搜索作为一个有效的元启发式也被开发。以一个实际双曲拱坝为算例,对该算法进行了验证。计算结果表明,该方法与现有的拱坝优化算法相比具有很强的竞争力。
2022-07-10 math.OC
Vector Optimization by Two Objective Functions
近年来,向量最优化问题在工程经济问题中得到了广泛的应用。这些问题的决策方法的发展在工程A中执行。梅萨克和其他人。所提供的方法的复杂性在于构建聚合目标函数。本文利用Pareto锥的解析表示,提出了一种求解向量最优化问题的算法。
2007-08-31 math.OC
Wind Turbine Design: Multi-Objective Optimization
在过去的20年里,风力涡轮机已经成熟,不断增长的全球风能市场将允许进一步改进。近几十年来,应用优化技术试图获得最优设计的研究论文数量不断增加。制造商的主要目标是尽量减少风力涡轮机的能源成本,以便与化石燃料竞争。因此,有人认为,将风力涡轮机设计作为由多个目标组成的最优化问题来评估更有启发性。使用多目标最优化算法,设计者能够识别称为帕累托前沿的权衡曲线,该曲线揭示了某些目标的弱点、异常和回报。在本章中,我们介绍了风力涡轮机设计中多目标最优化的基本原理,并使用遗传算法解决了一个经典的多目标风力涡轮机最优化问题。
2016-10-04 math.OC
Representing the Non-dominated Set of Multi-objective Optimization Problems with Polyhedral Ordering Cones
School of Mathematics and Natural Sciences, University of Wuppertal(韦特大学数学与自然科学学院)
本研究针对采用多面序锥的多目标优化问题,考察基于表示关系的表示方法,探究帕累托情形的现有理论与方法能否推广应用于该更一般的优化场景。
2026-10-12 math.OC
A game theoretic perspective on Bayesian multi-objective optimization
本章讨论了如何在计算要求很高的黑盒模拟环境中有效地解决多目标最优化问题的问题。我们将通过机器学习和工程中的应用来激发这个问题,并讨论当目标数量为四个或更多时使用经典帕累托方法的具体严峻挑战。然后,我们回顾结合贝叶斯优化方法的解决方案,例如,高斯过程,以及对策论的概念,如纳什均衡,Kalai-Smorodinsky解决方案和细节扩展,如Nash-Kalai-Smorodinsky解决方案。最后介绍了相应的算法,并给出了一些示例性的结果.
2021-04-29 math.OC
Pruning-Based Pareto Front Generation for Mixed-Discrete Bi-Objective Optimization
提出了一种基于剪枝的混合离散双目标优化问题的Pareto前沿生成方法。混合离散问题被分解成多个连续的子问题,两阶段修剪步骤识别和修剪出非贡献的子问题的帕累托前沿建设。所提出的方法的有效性证明了两个基准的例子。
2013-06-07 math.OC
Optimization on Pareto sets: On a theory of multi-objective optimization
University of California, San Diego(加州大学圣迭戈分校)
研究Pareto约束优化问题,针对隐式、非凸非光滑的约束集定义最优性与稳定性概念,并提出在目标强凸且Lipschitz光滑时具有O(K^{-1/2})收敛率的算法。
2023-08-04 cs.LG math.OC
Existence, Pareto reducibility, and connectedness in multi-objective optimization: Elementary proofs and extension
本文分为两个部分。在第一部分中,我们对多目标最优化中的一些重要结果进行了初步的证明。与现有的证明相比,给出的证明是如此简单和简短。同时,将一个Pareto约简结果从有效性推广到真有效性.第二部分研究了多目标最优化非支配解集的非空性、$R^p_{\geqq}$ -(半)紧性、外部稳定性和连通性之间的关系。此外,它表明,一些重要的结果,有关连通性的假设,是多余的,应该删除。
2018-04-24 math.OC
Online Stochastic Optimization with Multiple Objectives
Michigan State University(密歇根州立大学);GE Global Research(通用电气全球研究中心)
在本文中,我们提出了一个通用的框架来描述和解决多目标随机优化问题的许多现实世界的学习应用。我们首先提出了一个基于投影的算法,达到了$O(T^{-1/3})$收敛速度。然后,利用约束优化中的拉格朗日理论,设计了一种新的原始-对偶随机近似算法,该算法在一般Lipschitz连续目标下获得了$O(T^{-1/2})$的最优收敛速度.
2013-07-14 cs.LG math.OC
Optimization Problems with Nearly Convex Objective Functions and Nearly Convex Constraint Sets
Institute of Mathematics, Vietnam Academy of Science and Technology(越南科学技术院数学研究所)
本文研究了近凸优化问题,通过关联凸优化问题,推导了最优性条件和拉格朗日乘子规则,并通过实例验证了结果。
2026-02-10 math.OC
Risk management in multi-objective portfolio optimization under uncertainty
Fraunhofer Institute for Industrial Mathematics(弗劳恩霍夫工业数学研究所);University of Kaiserslautern-Landau(凯泽斯劳滕-兰道大学)
本文提出了一种基于鲁棒多目标优化的方法,通过纳入基准比较来提升投资组合在不确定性下的优化效果和适应性。
2024-07-29 math.OC q-fin.PM
Follow the bisector: a simple method for multi-objective optimization
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院);Higher School of Economics(高等经济学院);Huawei Moscow Research Center(华为莫斯科研究中心)
提出了一种新的求解多目标最优化问题的等角方向法。我们考虑最优化问题,其中多个可微损失必须最小化。该方法在每次迭代中计算下降方向,以保证目标函数的相对减少量相等。该下降方向基于各个损失的归一化梯度。因此,它适合于解决具有多尺度损失的多目标最优化问题。我们测试所提出的方法上的不平衡分类问题和多任务学习问题,其中使用标准数据集。比较了电火花加工与其它方法的优缺点。
2020-07-14 cs.LG math.OC
Online Multi-Objective Particle Accelerator Optimization of the AWAKE Electron Beam Line for Simultaneous Emittance and Orbit Control
多目标优化对于粒子加速器是重要的,其中必须常规地满足各种竞争目标,例如,横向发射度与束团长度。我们开发并演示了一个在线多时间尺度多目标优化算法,执行实时反馈的粒子加速器。我们证明了在CERN的先进质子驱动等离子体尾场加速实验(AWAKE)的电子束线中,同时最大限度地减少发射度和保持束的参考轨迹的能力。
2020-03-24 math.DS math.OC physics.acc-ph
Prediction in Online Convex Optimization for Parametrizable Objective Functions
在线最优化问题的许多技术都涉及仅基于当前可用信息做出决策:利用潜在预测的作品较少。本文讨论可参数化目标的在线凸优化问题,即只依赖于参数在给定时刻的值的最优化问题。我们引入了一个新的规律性的基础上的参数的预测值的准确性,动态遗憾,并表明,在温和的假设下,准确的预测可以产生更严格的动态遗憾的界限。受学习如何优化的最新进展的启发,我们还提出了一种新的算法,可以同时预测和优化可参数化的目标,并使用模拟和真实数据研究其性能。
2019-02-01 math.OC
On the convergence properties of a majorized ADMM for linearly constrained convex optimization problems with coupled objective functions
本文研究了目标函数为耦合函数的线性约束凸优化问题的优化交替方向乘子法(ADMM)的收敛性.我们的收敛性分析依赖于广义中值定理,由于耦合目标函数的存在,该定理在正确控制交叉项方面起着重要作用。我们的结果特别表明,直接应用2-块ADMM与一个大的步长的线性约束凸优化问题与二次耦合目标函数是收敛的温和条件。我们还提供了几个迭代算法的复杂性结果。
2015-01-31 math.OC
Recovery-to-Efficiency: A New Robustness Concept for Multi-objective Optimization under Uncertainty
INRIA Lille-Nord Europe(法国里尔-北欧信息与自动化研究所);Univ. Lille(里尔大学);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学院);Université Polytechnique Hauts-de-France(上法兰西理工大学)
针对不确定多目标最优化问题,提出了一种新的鲁棒性概念。更确切地说,在本文中,所谓的恢复到效率的鲁棒性的概念,提出和研究。在多目标最优化的背景下,以及提出了几种方法来产生恢复到效率的鲁棒集。进行了广泛的实验分析,以揭示使用不同的概念,以及推导出一些有趣的意见得到的鲁棒集之间的差异。为了测试的目的,从双目标背包问题的实例被认为是。
2020-11-20 cs.AI math.OC
Objective-Function Free Multi-Objective Optimization: Rate of Convergence and Performance of an Adagrad-like algorithm
Università degli Studi di Firenze(佛罗伦萨大学);Technische Universität Ilmenau(埃尔福特工业大学);ISTI–CNR, Italy(意大利国家研究委员会信息系统研究所)
提出一种不依赖目标函数值、仅使用公共下降方向的Adagrad类多目标优化算法,具有自适应步长,收敛速率为O(1/√(k+1)),在无约束多目标问题和多任务学习中验证了有效性。
2026-07-01 math.OC
Random Hypervolume Scalarizations for Provable Multi-Objective Black Box Optimization
Google Brain(谷歌大脑)
单目标黑箱优化(也称为零阶优化)是在自适应选择的输入$x$上给出评估的情况下,最小化标量目标$f(x)$的过程。在本文中,我们考虑多目标优化,其中$f(x)$输出一个向量的可能竞争的目标和目标是收敛到帕累托前沿。在量化方面,我们希望最大化标准超体积指标度量,该指标度量整个选定输入集的主导超体积。在本文中,我们引入了一种新的标量化函数,我们称之为超体积标量化,并表明,从适当选择的分布绘制随机标量化可以用来有效地近似超体积指标度量。我们利用这种连接表明,贝叶斯优化与我们的标量通过常见的采集功能,如汤普森采样或上置信界,可证明收敛到整个帕累托前沿推导紧超体积遗憾界的顺序$\widetilde{O}(\sqrt{T})$。此外,我们强调了我们的标量化框架的一般效用,通过显示任何可证明收敛的单目标优化过程可以毫不费力地转换为具有可证明收敛保证的多目标优化过程。
2020-06-09 cs.LG math.OC stat.ML
Some Black-box Reductions for Objective-robust Discrete Optimization Problems Based on their LP-Relaxations
我们考虑鲁棒离散最小化问题的不确定性是由一个凸集的目标。我们展示了如何完整性间隙验证的线性规划松弛的非鲁棒版本的问题,可以用来推导出近似算法的强大版本。
2019-07-15 cs.DS math.OC
MultiObjectiveAlgorithms.jl: a Julia package for solving multi-objective optimization problems
Dowson Farms(道森农场)
本文介绍MultiObjectiveAlgorithms.jl,一个基于JuMP的开源Julia库,通过迭代标量化将多目标问题转化为单目标子问题序列,支持多种求解器和问题类型。
2026-05-25 math.OC
Global Descent Method for Non-convex Multi-objective Optimization Problems
针对非凸多目标优化问题,提出无需预设标量与目标排序的全局下降法,通过辅助函数迭代寻优以生成全局Pareto前沿,实验验证了其鲁棒性、可扩展性与有效性。
2025-07-30 math.OC
Solving Multi-Objective Optimization via Adaptive Stochastic Search with Domination Measure
对于一般的多目标最优化问题,我们提出了一种新的性能度量,称为支配测度来度量解的质量,它可以直观地解释为支配该解的解空间部分的大小.因此,我们将原来的多目标问题转化为一个随机单目标问题,并提出了一种基于模型的方法来解决它,我们证明了所提出的方法的理想版本的算法收敛到一组表示的全局最优的重新制定的问题。我们还研究了一个可实现的版本算法的数值性能进行比较,它与许多现有的多目标最优化方法流行的基准检验函数。数值结果表明,该方法能够有效地生成多目标优化问题的Pareto最优解集的有限且均匀分布的近似解,与已有的方法相比具有很强的竞争力.
2016-12-23 math.OC
Proper efficiency, scalarization and transformation in multi-objective optimization: Unified approaches
本文研究了多目标最优化中一般标量化问题的真有效性与解的关系。我们给出了所处理的标量规划的解是真有效的条件,反之亦然。我们还证明了,在一定条件下,如果考虑的一般标量问题是无界的,那么原来的多目标问题没有任何真正的有效解。在另一部分的工作中,我们调查的一般变换的目标函数,保持适当的效率。我们表明,存在于文献中的几个重要结果是本文件的结果的直接后果。
2019-07-04 math.OC
A Survey on Multi-Objective based Parameter Optimization for Deep Learning
本文综述了多目标优化策略在深度神经网络参数优化中的有效性,探讨了二者结合在多个应用预测与分析中的价值。
2023-05-17 cs.LG math.OC
Stochastic block coordinate and function alternation for multi-objective optimization and learning
Lehigh University(利哈伊大学)
本文提出一种框架,通过同时交替优化每个目标和变量块的梯度更新,降低计算成本并探索帕累托前沿,适用于多目标优化和学习。
2026-05-12 math.OC
On non-linear optimization with a perturbed objective function
对于不精确目标函数和精确约束的情形,导出了拉格朗日乘子定理。证明使用的分析方法,处理在一个直接的,代数的方式与不精确。它们包括不精确微分、近似费马引理和隐函数定理。这些工具是非标准分析的外部数,它是Sorites不精确的模型。
2021-06-28 math.OC
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca(米兰比可卡大学);OAKS srl(OAKS有限责任公司)
有一个共识是,只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差,导致不公平的预测和决策支持。最近,多目标超参数优化已经被提出来搜索机器学习模型,这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下,它们可能会大幅增加能耗。在本文中,我们提出了FangG-HPO,一个公平的和绿色的超参数优化(HPO)方法的基础上,多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集(又名信息源)来获得准确性和公平性的廉价近似值,并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准(公平性)数据集和两种机器学习算法(XGBoost和多层感知器),并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估,BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Repulsion dynamics for uniform Pareto front approximation in multi-objective optimization problems
标量化允许通过求解许多由某些参数唯一确定的单目标子问题来求解多目标最优化问题。在这项工作中,我们提出了几个自适应策略来选择这样的参数,以获得一个一致逼近的帕累托前。这是通过引入一个启发式的动力学参数通过二进制排斥势相互作用。该方法的目的是最大限度地减少相关的能量潜力,这是用来量化的多样性计算的解决方案。一个随机组件也被添加到克服非最佳的能量配置。数值实验表明,所提出的方法的有效性的双和三目标问题与不同的Pareto前的几何形状。
2022-11-07 math.OC
Parameterized Convex Minorant for Objective Function Approximation in Amortized Optimization
Seoul National University(首尔大学)
提出参数化凸下包络方法,通过凸下包络加非负间隙函数逼近目标函数,实现单次凸优化求全局最小解,并验证于非凸逼近与非线性模型预测控制。
2023-11-10 cs.LG math.OC
Complexity iteration analysis for strongly convex multi-objective optimization using a Newton path-following procedure
本文研究了强凸多目标最优化的迭代复杂性。我们讨论了这个问题的确切含义,并指出它是松散的定义,但最自然的概念是找到一组帕累托最优点跨越网格的标量化问题。我们得出,在大多数情况下,执行灵敏度为基础的路径跟踪后,获得一个解决方案是最优策略的迭代复杂度方面的这项任务。
2020-04-06 math.OC
Min-Max Bilevel Multi-objective Optimization with Applications in Machine Learning
Massachusetts Institute of Technology(麻省理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);University of California San Diego(加州大学圣地亚哥分校)
我们考虑一个一般的最小-最大多目标双层优化问题,并将其应用于鲁棒机器学习,如表示学习和超参数优化。我们设计了一种新的单循环梯度下降-上升双层优化算法MORBiT来解决一般问题,并给出了一个新的分析,表明MORBiT收敛到一阶稳定点的速度为$\widetilde{\mathcal{O}}(n^{1/2} K^{-2/5})$的一类弱凸问题的$n$目标后,$K$迭代的算法。我们的分析利用新的结果来处理非光滑的最小-最大多目标设置,并获得一个次线性依赖的目标数$n$。鲁棒表示学习和鲁棒超参数优化的实验结果展示了(i)考虑最小-最大多目标设置的优点,以及(ii)所提出的MORBiT的收敛特性。我们的代码在https://github.com/minimario/MORBiT。
2023-03-07 cs.LG math.OC