Fairness-informed Pareto Optimization : An Efficient Bilevel Framework
Lab. Jean Alexandre Dieudonn\'e, CNRS, Nice, 06000, France；Lab. Jean Alexandre Dieudonn\'e, Universit\'e C\ o te d'Azur, Nice, 06000, France
本文提出BADR框架，通过双层自适应重标定方法实现公平性引导的帕累托优化，提供高效算法和开源工具，验证其在公平性提升上的优势。
2026-01-22 cs.LG math.OC stat.ML
To the Fairness Frontier and Beyond: Identifying, Quantifying, and Optimizing the Fairness-Accuracy Pareto Frontier
Rice University（莱斯大学）；University of Florida（佛罗里达大学）
在使用机器学习做出高风险的社会决策时，公平性已经成为一个重要的考虑因素。然而，提高公平性往往是以牺牲模型准确性为代价的。虽然已经研究了公平性-准确性权衡的各个方面，但大多数工作分别报告了各种模型的公平性和准确性;这使得如果没有反映两个必要条件的平衡的模型不可知度量，模型比较几乎是不可能的。我们寻求识别，量化和优化的公平性和准确性权衡的经验帕累托边界。具体来说，我们确定和概述的经验帕累托边界之间的权衡公平和准确性（TAF）曲线，然后我们开发了一个度量，通过加权面积下的TAF曲线，我们称之为公平面积下的曲线（FAUC）来量化这个帕累托边界。TAF曲线提供了帕累托边界的第一个经验性的、模型不可知的特征，而FAUC提供了第一个公正地比较模型家族公平性和准确性的指标。TAF曲线和FAUC都可以用于所有组公平性定义和准确性测量。接下来，我们问：是否有可能扩大经验帕累托前沿，从而提高FAUC为一个给定的集合拟合模型？我们肯定地回答开发一种新的公平的模型堆叠框架，FairStacks，解决了一个凸计划，以最大限度地提高模型集成的精度受到分数偏差约束。我们表明，优化与FairStacks总是扩大了经验帕累托前沿，提高了FAUC，我们还研究了我们提出的方法的其他理论属性。最后，我们通过对几个真实基准数据集的研究，实证验证了TAF，FAUC和FairStacks，表明FairStacks导致FAUC的重…
2022-05-31 cs.CY cs.LG stat.ME
How to Find the Exact Pareto Front for Multi-Objective MDPs?
The Ohio State University（俄亥俄州立大学）；University of Kentucky（肯塔基大学）
针对多目标马尔可夫决策过程（MO-MDPs）难以找到精确帕累托前沿的问题，本文揭示其几何结构性质，提出仅需一次单目标MDP求解并遍历边的高效算法，大幅降低复杂度。
2025-02-10 cs.LG stat.ML
Pushing the Efficiency-Regret Pareto Frontier for Online Learning of Portfolios and Quantum States
Google Research（谷歌研究院）
我们重新审视经典的在线投资组合选择问题。人们普遍认为，计算复杂性和遗憾之间的权衡是不可避免的，与封面的通用Portfolio算法，B-BAYES和ADA-BARRONS目前构成其最先进的帕累托前沿。在本文中，我们提出了第一个有效的算法，BISONS，获得多对数遗憾的内存和每一步的运行时间的要求是多项式的维度，取代ADA-BARRONS从帕累托前沿。此外，我们解决了COLT 2020公开问题，通过显示具有对数屏障正则化的某个Follow-The-Regularized-Leader算法对维度的依赖性比以前所描述的要大得多。因此，我们排除了这个算法作为帕累托边界的候选者。我们还将我们的算法和分析扩展到比在线投资组合选择更一般的问题，即具有对数损失的量子态的在线学习。这种算法，称为薛定谔的BISONS，是第一个有效的算法与多对数遗憾这个更一般的问题。
2022-02-06 cs.LG stat.ML
Learning the Pareto Front Using Bootstrapped Observation Samples
Columbia University（哥伦比亚大学）
针对线性老虎机中的帕累托前沿识别问题，提出一种样本复杂度最优且遗憾可控的算法，其核心在于沿多方向更新参数估计并重用探索样本，实验验证了其有效性。
2024-05-22 cs.LG stat.ML
Sequential Learning of the Pareto Front for Multi-objective Bandits
ENS Lyon（里昂高等师范学院）；CWI（荷兰数学和计算机科学研究学会）；Twente University（特文特大学）
研究多目标多臂老虎机中Pareto前沿的序贯学习问题，提出在风险δ较小时达到最优样本复杂度的高效算法，每轮运行时间为O(Kp^d)。
2025-01-29 cs.LG stat.ML
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
Variational Model Merging for Pareto Front Estimation in Multitask Finetuning
RIKEN Center for AI Project, Japan（日本人工智能研究中心（AI项目））；Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany（大众知识处理实验室（UKP实验室），计算机科学系，达姆施塔特技术大学和应用网络安全国家研究中心ATHENE，德国）
提出变分模型合并方法，通过贝叶斯后验合并直接改进帕累托前沿质量，理论上证明更灵活的后验分布能获得更好的帕累托前沿估计，并在视觉和语言模型上验证。
2026-06-24 cs.AI cs.LG stat.ML
Budgeted Multi-Objective Optimization with a Focus on the Central Part of the Pareto Front -- Extended Version
Groupe PSA（标致雪铁龙集团）；CNRS（法国国家科学研究中心）；École Nationale Supérieure des Mines de Saint-Étienne（圣艾蒂安国立高等矿业学校）
优化非线性系统涉及昂贵的计算机实验方面的冲突的目标是一个共同的挑战。当实验的数量受到严格限制和/或当目标的数量增加时，发现整个帕累托最优解集是遥不可及的，即使是基于代理的方法：所提出的解决方案是次优的或不覆盖前端。由于不妥协的最优解通常在应用程序中没有什么意义，这项工作限制了搜索的解决方案，接近帕累托前中心。文章首先描述了这个中心，它是为任何类型的前线定义的。接下来，提出了一种贝叶斯多目标优化方法，用于指导搜索。针对帕累托前沿的一个子集，可以提高解决方案的最优性，并更好地覆盖这一区域，这是我们的主要关注点。描述了一种检测收敛到中心的准则。如果该标准被触发，则帕累托前沿的加宽的中心部分被作为目标，使得在剩余预算内预测到足够准确的收敛。数值实验表明，所得到的算法，C-EHI，更好地定位帕累托前的中心部分相比，国家的最先进的贝叶斯算法。
2019-07-15 cs.LG math.OC stat.ML
Separation-Utility Pareto Frontier: An Information-Theoretic Characterization
Department of Mathematics University of California Davis（数学系加州大学戴维斯分校）
研究效用与分离间的帕累托前沿，通过信息论证明其表征方式与凹性。基于此开发CMI正则化器，与深度模型兼容。数值实验表明该方法能减少分离违规，在多数据集上匹配或超越基线方法效用，为深度学习中实施分离提供新途径。
2026-07-14 cs.LG stat.ML
Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM（弗劳恩霍夫技术与经济数学研究所ITWM）
针对二元约束的黑箱多目标优化问题，提出了一种基于贝叶斯优化的自适应优化算法。我们的方法是基于概率回归和分类模型，它作为一个替代的优化目标，并允许我们建议在每次迭代中一次多个设计点。所提出的采集功能直观易懂，并且可以根据手头问题的需求进行调整。我们还提出了一种新的椭球截断方法，以一种简单的方式加速具有正态概率密度的回归模型的预期超体积计算。我们基准我们的方法与进化算法在多个测试问题。
2021-02-26 cs.LG stat.ML
Random Pareto front surfaces
Imperial College London（帝国理工学院）；BASF SE（巴斯夫公司）
本研究提出用极坐标下的标量长度函数参数化Pareto前沿曲面，构建随机Pareto前沿的理论与统计量，支持实验设计中的不确定性量化与决策，可应用于多元极值理论并经真实数据验证。
2024-06-21 cs.LG math.OC stat.ME
Pareto-depth for Multiple-query Image Retrieval
University of Michigan, Ann Arbor（密歇根大学安娜堡分校）
大多数基于内容的图像检索系统要么考虑单个查询，要么考虑包括相同对象或表示相同语义信息的多个查询。在本文中，我们考虑基于内容的图像检索问题的多个查询图像对应于不同的图像语义。提出了一种新的多查询信息检索算法，该算法结合了Pareto前沿方法（PFM）和有效流形排序（EMR）。我们表明，我们提出的算法优于最先进的多查询检索算法在现实世界的图像数据库。我们把这种性能的改善归因于Pareto前沿的渐近性质，并证明了一个理论结果，表征了前沿的渐近性质。
2014-02-21 cs.IR cs.LG stat.ML
On the (In)Compatibility between Group Fairness and Individual Fairness
University of California Davis（加州大学戴维斯分校）；Center of Data Science and Artificial Intelligence Research（数据科学与人工智能研究中心）
本文研究最优统计均等与个体公平的兼容性条件，在冲突时通过 Pareto 前沿刻画二者最优权衡，并给出后处理模型的个体公平保证，为实践者提供兼顾统计均等 Pareto 最优性与个体公平约束的方法。
2024-01-13 cs.CY cs.LG math.ST
Fair Data Representation for Machine Learning at the Pareto Frontier
University of California Davis（加州大学戴维斯分校）
提出一种基于最优仿射传输的公平数据表示预处理算法，通过逼近Wasserstein-2重心刻画预测误差与统计差异的帕累托前沿，兼具计算高效性与敏感信息保护能力。
2023-11-24 cs.LG math.PR stat.ML
Pareto-optimal clustering with the primal deterministic information bottleneck
Massachusetts Institute of Technology（麻省理工学院）；The NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互研究所）
有损压缩和聚类的核心是学习表示的保真度和大小之间的权衡。我们的目标是绘制和研究量化这种权衡的帕累托边界。我们专注于优化的确定性信息瓶颈（DIB）的硬聚类空间的目标。为此，我们介绍了原始DIB问题，我们在一个更丰富的前沿比以前研究的拉格朗日松弛离散搜索空间优化时，显示结果。我们提出了一种算法，用于映射出原始DIB权衡的帕累托前沿，也适用于其他两个目标的聚类问题。我们研究一般性质的帕累托前沿，我们给出了分析和数值证据的对数稀疏的前沿一般。我们提供的证据表明，我们的算法具有多项式缩放，尽管超指数搜索空间，此外，我们提出了一个修改的算法，可用于采样噪声预计是显着的。最后，我们使用我们的算法映射DIB边界的三个不同的任务：压缩英文字母，提取信息丰富的颜色类从自然图像，并压缩一组理论启发的数据集，揭示有趣的功能的前沿，并演示如何的结构的前沿可以用于模型选择，重点放在以前隐藏的凸包的斗篷点。
2022-07-28 cs.IT cs.LG math.IT
SURF: Steering the Scalarization Weight to Uniformly Traverse the Pareto Front
Department of Electrical and Computer Engineering（电气与计算机工程系）
本文提出SURF方法，通过调整标量化权重以实现帕累托前沿的均匀覆盖，解决了传统标量化方法在多目标优化中导致非均匀覆盖的问题。
2026-10-12 cs.LG math.OC stat.ML
The stochastic multi-gradient algorithm for multi-objective optimization and its application to supervised machine learning
冲突函数的优化在决策制定中至关重要，现实世界的应用经常涉及不确定或未知的数据，导致随机型的多目标最优化（MOO）问题。我们研究了随机多梯度（SMG）方法，作为经典的单目标优化随机梯度法的扩展。在SMG方法的每一次迭代中，通过求解一个二次子问题来计算一个随机多梯度方向，并且证明了即使所有的梯度估计都是无偏的，这个方向也是有偏的。我们建立率计算一个点的帕累托前，类似于已知的随机梯度在凸和强凸的情况下。该分析处理了多梯度中的偏差和限制Pareto点的未知先验权重。SMG方法被构造成用于计算整个Pareto前沿的Pareto前沿型算法。帕累托前沿SMG算法能够鲁棒地确定帕累托前沿的合成测试问题的数量。人们可以将其应用于监督机器学习产生的任何随机MOO问题，我们报告了逻辑二进制分类的结果，其中多个目标对应于不同来源的数据组。
2021-02-05 cs.NA math.NA math.OC
