Adaptive Sampling of Pareto Frontiers with Binary Constraints Using Regression and Classification
Fraunhofer Center for Machine Learning（弗劳恩霍夫机器学习中心）；Fraunhofer-Institut für Techno- und Wirtschaftsmathematik ITWM（弗劳恩霍夫技术与经济数学研究所ITWM）
针对二元约束的黑箱多目标优化问题，提出了一种基于贝叶斯优化的自适应优化算法。我们的方法是基于概率回归和分类模型，它作为一个替代的优化目标，并允许我们建议在每次迭代中一次多个设计点。所提出的采集功能直观易懂，并且可以根据手头问题的需求进行调整。我们还提出了一种新的椭球截断方法，以一种简单的方式加速具有正态概率密度的回归模型的预期超体积计算。我们基准我们的方法与进化算法在多个测试问题。
2021-02-26 cs.LG stat.ML
Fairness With Minimal Harm: A Pareto-Optimal Approach For Healthcare
Duke University（杜克大学）
机器学习中常见的公平性定义侧重于平衡差异和效用的概念。在这项工作中，我们研究的公平性的背景下，子人群之间的风险差距。我们对学习模型感兴趣，这些模型可以最大限度地减少敏感群体之间的性能差异，而不会造成不必要的伤害。这与医疗保健等高风险领域有关，在这些领域，不伤害是一项核心原则。我们正式使用帕累托边界这一目标，并提供分析，根据最近的作品在公平性，以避免方案完美的公平可能是不可行的，而不做不必要的伤害。我们提出了一种训练神经网络的方法，通过动态重新平衡子组风险来实现我们的目标。我们认为，即使在需要成本公平的领域，找到一个非不必要的伤害公平模型是最佳的初始步骤。我们在预测ICU患者死亡率的真实案例研究中证明了这种方法，并从皮肤镜图像中对皮肤病变进行分类。
2019-11-16 cs.LG stat.ML
Pareto-optimal clustering with the primal deterministic information bottleneck
Massachusetts Institute of Technology（麻省理工学院）；The NSF AI Institute for Artificial Intelligence and Fundamental Interactions（美国国家科学基金会人工智能与基础交互研究所）
有损压缩和聚类的核心是学习表示的保真度和大小之间的权衡。我们的目标是绘制和研究量化这种权衡的帕累托边界。我们专注于优化的确定性信息瓶颈（DIB）的硬聚类空间的目标。为此，我们介绍了原始DIB问题，我们在一个更丰富的前沿比以前研究的拉格朗日松弛离散搜索空间优化时，显示结果。我们提出了一种算法，用于映射出原始DIB权衡的帕累托前沿，也适用于其他两个目标的聚类问题。我们研究一般性质的帕累托前沿，我们给出了分析和数值证据的对数稀疏的前沿一般。我们提供的证据表明，我们的算法具有多项式缩放，尽管超指数搜索空间，此外，我们提出了一个修改的算法，可用于采样噪声预计是显着的。最后，我们使用我们的算法映射DIB边界的三个不同的任务：压缩英文字母，提取信息丰富的颜色类从自然图像，并压缩一组理论启发的数据集，揭示有趣的功能的前沿，并演示如何的结构的前沿可以用于模型选择，重点放在以前隐藏的凸包的斗篷点。
2022-07-28 cs.IT cs.LG math.IT
Pareto Efficient Fairness in Supervised Learning: From Extraction to Tracing
The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
随着算法决策系统变得越来越普遍，确保此类系统不会成为基于性别、种族、民族、宗教等的不公平歧视机制至关重要。此外，由于公平性度量和准确性之间的固有权衡，希望在不显著影响准确性的情况下学习公平性增强的模型。在本文中，我们提出了帕累托有效公平（PEF）作为一个合适的公平性概念的监督学习，可以确保整体损失和其他公平性标准之间的最佳权衡。所提出的PEF概念是定义不可知的，这意味着任何定义良好的公平性概念都可以简化为PEF概念。为了有效地找到一个PEF分类器，我们铸造的公平性增强的分类作为一个双层优化问题，并提出了一种基于梯度的方法，可以保证解决方案属于帕累托前沿与可证明的保证凸和非凸目标。我们还概括了所提出的算法解决方案，以提取和跟踪任意的解决方案，从帕累托前沿的精度和公平性措施的给定偏好。这种方法是通用的，可以推广到任何多目标优化问题，跟踪点的帕累托前沿曲线，这是有趣的本身。我们经验证明了PEF解决方案的有效性和提取的帕累托前沿在现实世界的数据集相比，国家的最先进的方法。
2021-04-04 cs.AI cs.LG stat.ML
No Certificate for Alignment: Two Independent Impossibilities and the Pareto Frontier of Achievable Safety Guarantees
Independent Researcher（独立研究者）
本文通过两个独立的不可行性定理证明，在标准计算复杂性和学习理论假设下，对开放或无界输入域的AI对齐进行形式化认证是不可能的，并刻画了可实现的安全保证的帕累托前沿。
2026-05-26 cs.LG stat.ML
Efficient Fairness-Performance Pareto Front Computation
Technion - Israel Institute of Technology（技术离子-以色列理工学院）；NVIDIA（英伟达）
本文提出一种无需训练复杂表示模型即可高效计算公平性-性能最优帕累托前沿的方法，利用结构性质简化为离散问题，并通过凹凸规划求解，可作为表示学习算法的基准。
2025-10-24 cs.LG stat.ML
Causal Bandits: The Pareto Optimal Frontier of Adaptivity, a Reduction to Linear Bandits, and Limitations around Unknown Marginals
University of Toronto（多伦多大学）；Vector Institute（向量研究院）；Ben-Gurion University（本-古里安大学）
本文研究多臂赌博机中因果结构的自适应问题，建立了自适应率的帕累托最优前沿，首次通过归约到线性赌博机获得实例相关界，并揭示了未知边际分布对改进极小极大率的根本限制。
2024-07-01 cs.LG stat.ML
Learning the Pareto Frontier of Predictive Models under Distribution Shift
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
本研究提出Frontier Learning框架，将预训练模型库视为互补信息源，通过拼接白盒内部表示与黑盒预测输出构建特征，在分布偏移场景中提升预测性能，表现优于或相当于最强的单个复用策略。
2026-08-04 cs.LG stat.ML
The Pareto Frontier of Instance-Dependent Guarantees in Multi-Player Multi-Armed Bandits with no Communication
Microsoft Research（微软研究院）
研究了随机多人多臂强盗问题。在这个问题中，$m$参与者合作以最大化他们从$K > m$武器中获得的总奖励。然而，玩家不能交流，如果他们在同一时间拉同一只手臂，就会受到惩罚（例如没有奖励）。我们问是否有可能获得最佳的实例依赖的遗憾$\tilde{O}(1/Δ)$，其中$Δ$是$m$-th和$m+1$-st最佳臂之间的差距。这种保证最近在一个模型中实现，该模型允许参与者通过故意碰撞进行隐式通信。令人惊讶的是，我们表明，没有沟通，这样的保证是无法实现的。事实上，对于$Δ$的某些值，获得最佳的$\tilde{O}(1/Δ)$后悔必然意味着在其他制度中严格的次优后悔。我们的主要结果是帕累托最优的实例相关的权衡，可能没有通信的一个完整的表征。我们的算法概括了Bubeck，Budzinski和第二作者。在那里，我们的算法成功，即使碰撞后的反馈可以被破坏的自适应对手，由于一个强大的无碰撞属性。我们的下界是基于多尺度的拓扑障碍，是全新的。
2022-06-06 cs.LG cs.MA stat.ML
Achieving the Pareto Frontier of Regret Minimization and Best Arm Identification in Multi-Armed Bandits
University of Alberta（阿尔伯塔大学）；National University of Singapore（新加坡国立大学）
该研究针对多臂老虎机中固定时间跨度的遗憾最小化与最优臂识别目标，设计了BoBW-lil'UCB$(γ)$算法，证明两目标无法同时最优，该算法可通过调参实现阶数最优，且性能优于UCB$_α$。
2023-06-09 cs.AI cs.IT cs.LG
Pareto Frontiers in Neural Feature Learning: Data, Compute, Width, and Luck
Harvard University（哈佛大学）；University of Pennsylvania（宾夕法尼亚大学）；Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Microsoft Research NYC（微软研究院纽约分院）
本文通过稀疏奇偶学习任务揭示深度学习中数据、计算、宽度和运气之间的帕累托前沿，证明稀疏初始化与增大网络宽度可显著提升样本效率，并在表格分类基准上验证了该方法有时优于调优的随机森林。
2023-10-30 cs.AI cs.LG stat.ML
Accuracy and Fairness Trade-offs in Machine Learning: A Stochastic Multi-Objective Approach
Lehigh University（理海大学）；University of Coimbra（科英布拉大学）
在将机器学习应用于现实生活中的决策系统中，例如，信用评分和刑事司法，预测结果可能会歧视具有敏感属性的人，导致不公平。公平机器学习中常用的策略是将公平性作为预测损失最小化的约束或惩罚项，这最终限制了提供给决策者的信息。在本文中，我们介绍了一种新的方法来处理公平性，制定一个随机多目标优化问题，相应的帕累托前沿唯一和全面定义的准确性，公平性权衡。然后，我们应用了随机近似型方法，有效地获得良好的传播和准确的帕累托前沿，这样做，我们可以处理训练数据到达流的方式。
2022-03-18 cs.LG stat.ML
The Frontiers of Fairness in Machine Learning
Heinz College, Carnegie Mellon University（卡内基梅隆大学海因茨学院）；Department of Computer and Information Science, University of Pennsylvania（宾夕法尼亚大学计算机与信息科学系）
在过去的几年里，学术界和大众对算法公平性的兴趣激增。尽管有这种兴趣以及最近产生的工作量和速度，机器学习中的公平性基础科学仍然处于新生状态。2018年3月，我们召集了一组专家，作为CCC愿景研讨会的一部分，以评估该领域的现状，并提炼出未来最有前途的研究方向。本报告概述了该讲习班的结果。在此过程中，它调查了该领域最近的理论工作，并指出了有前途的研究方向。
2018-10-20 cs.DS cs.GT cs.LG
Fair Policy Targeting
在社会福利项目中，针对个人的干预措施的一个主要问题是歧视：个性化治疗可能会导致年龄、性别或种族等敏感属性的差异。本文讨论了公平和有效的待遇分配规则的设计问题。我们采用首先不伤害的非恶意观点：我们选择帕累托边界内最公平的分配。我们将优化转换为混合整数线性规划公式，可以使用现成的算法来解决。在一般公平性概念下，我们得到了关于估计的政策函数的不公平性和帕累托边界上的小样本保证的遗憾界。最后，我们说明了我们的方法，从教育经济学的应用。
2022-06-29 econ.EM math.ST stat.ME
Pareto-optimal data compression for binary classification tasks
Massachusetts Institute of Technology（麻省理工学院）
有损数据压缩的目标是降低数据集$X$的存储成本，同时尽可能多地保留有关您所关心的内容（$Y$）的信息。例如，图像$X$的哪些方面包含关于它是否描绘猫的最多信息？在数学上，这对应于找到使互信息$I(Z,Y)$最大化而熵$H(Z)$保持低于某个固定阈值的映射$X\to Z\equiv f(X)$。我们提出了一种方法来映射出分类任务的帕累托边界，反映保留熵和类信息之间的权衡。首先，我们展示了如何从类$Y\in\{1,...,n\}$中提取的随机变量$X$（例如，图像）可以被提取到向量$W=f(X)\in \mathbb{R}^{n-1}$中，从而使$I(W,Y)=I(X,Y)$ ;例如，对于猫和狗的二进制分类任务，每个图像$X$被映射到一个单一的实数$W$中，保留有助于区分猫和狗的所有信息。对于$n=2$的情况下，二进制分类，然后，我们展示了如何$W$可以进一步压缩成一个离散变量$Z=g_β(W)\in\{1,...,m_β\}$通过将$W$到$m_β$箱，在这样一种方式，改变参数$β$扫出完整的帕累托边界，解决了广义的离散信息瓶颈（DIB）问题。我们认为，最有趣的点在这个前沿是“角落”最大化$I(Z,Y)$为一个固定数量的箱$m=2,3...$，可以方便地找到没有多目标优化。我们将此方法应用于CIFAR-10，MNIST和Fashion-MNIST数据集，说明它可以被解释为一个信息理论…
2020-01-15 cs.CV cs.IT cs.LG
Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization
University of Milano-Bicocca（米兰比可卡大学）；OAKS srl（OAKS有限责任公司）
有一个共识是，只关注搜索最佳机器学习模型的准确性会放大数据中包含的偏差，导致不公平的预测和决策支持。最近，多目标超参数优化已经被提出来搜索机器学习模型，这些模型在准确性和公平性之间提供同样的帕累托有效的权衡。虽然这些方法被证明比公平感知的机器学习算法更通用-优化精度限制在某个公平阈值上-但在大型数据集的情况下，它们可能会大幅增加能耗。在本文中，我们提出了FangG-HPO，一个公平的和绿色的超参数优化（HPO）方法的基础上，多目标和多信息源贝叶斯优化。FanG-HPO使用大型数据集的子集（又名信息源）来获得准确性和公平性的廉价近似值，并使用多目标贝叶斯优化来有效地识别帕累托有效的机器学习模型。实验考虑了两个基准（公平性）数据集和两种机器学习算法（XGBoost和多层感知器），并通过BoTorch中的多目标单源优化算法对FanG-HPO进行了评估，BoTorch是最先进的贝叶斯优化平台。
2022-05-18 cs.LG math.OC stat.ML
Efficient Fair Principal Component Analysis
College of Information Sciences and Technology（信息科学与技术学院）；School of Electrical Engineering and Computer Science（电气工程与计算机科学学院）；The Pennsylvania State University（宾夕法尼亚州立大学）；Microsoft Bing（微软必应）
已经表明，诸如PCA的降维方法可能固有地倾向于不公平，并且处理来自不同敏感群体（诸如种族、肤色、性别等）的数据，不公平为了追求公平性增强的降维，使用帕累托最优的概念，我们提出了一个自适应的一阶算法来学习一个子空间，保持公平性，同时稍微妥协的重建损失。从理论上讲，我们提供了充分的条件，该算法的解决方案属于帕累托边界的所有敏感组，从而保证了整体重建损失和公平性约束之间的最佳权衡。我们还提供了我们的算法的收敛性分析，并显示其有效性，通过不同的数据集上的实证研究，表现出优越的性能相比，国家的最先进的算法。该算法可以有效地推广到多个组敏感特征，并有效地减少下游任务（如分类）中的不公平决策。
2020-03-08 cs.DS cs.LG math.OC
