Learning Optimal Data Augmentation Policies via Bayesian Optimization for Image Classification Tasks
Jilin University（吉林大学）
近年来，深度学习在计算机视觉、自然语言处理、语音识别等多个领域取得了令人瞩目的成就。充足的训练数据是保证深度模型有效性的关键。然而，获取有效数据需要大量的时间和人力资源。数据增强（DA）是一种有效的替代方法，它可以使用标签保持变换基于现有数据生成新的标签数据。虽然我们可以从DA中受益匪浅，但设计合适的DA策略需要大量的专家经验和时间消耗，并且搜索最优策略的评估是昂贵的。因此，本文提出了一个新的问题：如何以尽可能低的成本实现自动化的数据增强？我们提出了一种方法，名为BO-Aug的自动化过程中，通过使用贝叶斯优化方法找到最佳的DA政策。我们的方法可以以相对较低的搜索代价找到最优策略，并且基于特定数据集的搜索策略可以在不同的神经网络架构甚至不同的数据集之间转移。我们在三个广泛使用的图像分类数据集上验证了BO-Aug，包括CIFAR-10，CIFAR-100和SVHN。实验结果表明，该方法可以达到国家的最先进的或接近先进的分类精度。复制我们实验的代码可在https://github.com/zhangxiaozao/BO-Aug上获得。
2019-05-23 cs.CV cs.LG stat.ML
FairPOT: Balancing AUC Performance and Fairness with Proportional Optimal Transport
本文提出与模型无关的后处理框架FairPOT，利用最优传输选择性地转换劣势群体中可控比例的风险分数，有效平衡了高风险领域中AUC性能与公平性，并在全局和部分AUC场景下优于现有方法。
2025-08-12 cs.AI cs.CY cs.LG
Obtaining Dyadic Fairness by Optimal Transport
East China Normal University（华东师范大学）
公平性是机器学习模型中的一个重要指标，也是可信机器学习的重要组成部分。在本文中，我们专注于获得流行的链接预测任务，这是衡量二元公平的公平性。基于最优传输理论，提出了一种新的预处理方法，通过数据修复来建立并元公平性。基于图链接预测的二元公平性与条件分布对齐问题之间的理论联系，二元修复方案可以等价地转化为条件分布对齐问题。在此基础上，通过有效地解决对齐问题，得到了一种基于传输的最优二元公平算法DyadicOT，该算法满足灵活性和无二义性的要求。所提出的DyadicOT算法在两个基准图数据集上显示出优于其他公平性方法的结果。
2022-11-29 cs.AI cs.LG
Fair and Optimal Classification via Post-Processing
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文刻画多群体、多类别含噪分类中人口统计 parity 与错误率的内在权衡，并提出由评分函数构造最优公平分类器的 Wasserstein 重心后处理算法。
2023-06-05 cs.AI cs.CY cs.LG
Optimal Transport under Group Fairness Constraints
University of California, Berkeley（加州大学伯克利分校）
针对最优运输中的群体公平问题，提出通过修正Sinkhorn算法实现完美公平，并开发两种松弛策略（惩罚OT和双层优化学习成本）以平衡公平与匹配质量，给出理论保证和实证结果。
2026-06-03 cs.LG math.ST stat.ML
Learning to Re-rank with Constrained Meta-Optimal Transport
Rakuten Institute of Technology, Rakuten Group, Inc.（乐天集团乐天技术研究所）
针对现有随机重排序策略计算成本高、内存消耗大且难泛化新查询的问题，提出约束元最优传输方法与Gumbel匹配采样方案，实现了快速轻量、可泛化的公平重排序，性能与传统优化方法相当。
2023-04-29 cs.LG
Everything is Relative: Understanding Fairness with Optimal Transport
Brown University（布朗大学）；University of Rhode Island（罗德岛大学）
为了研究自动决策系统中的歧视，学者们提出了几种公平的定义，每一种都表达了不同的公平理想。这些定义要求从业人员就采用哪种概念做出复杂的决定，而且往往难以在实践中使用，因为它们对系统是否公平做出二元判断，而不是解释所发现的不公平的结构。我们提出了一个最佳的运输为基础的公平性，提供了一个可解释的和可量化的探索偏见及其结构，通过比较一对结果彼此。在这项工作中，我们使用的最佳运输地图来检查个人，子群和组的公平性。我们的框架能够恢复众所周知的算法歧视的例子，当其他指标失败时检测不公平，并探索追索机会。
2021-02-20 cs.CY cs.LG
Testing Group Fairness via Optimal Transport Projections
Stanford University（斯坦福大学）；Singapore University of Technology and Design（新加坡科技设计大学）；VinAI Research（VinAI研究院）
我们提出了一个统计测试框架来检测给定的机器学习分类器是否无法满足广泛的组公平性概念。所提出的测试是一种灵活的，可解释的，统计上严格的工具，用于审计是否表现出的偏见是固有的算法或由于数据的随机性。统计的挑战，这可能会出现从多个影响标准，定义组公平性和模型参数是不连续的，方便地解决了投影的经验措施组公平的概率模型，使用最佳运输。这个统计量是有效地计算使用线性规划和它的渐近分布明确获得。该框架还可以用于测试复合公平性假设和多敏感属性的公平性。最佳的运输测试配方，提高了可解释性的特点，最小的协变量扰动，消除了在审计中观察到的偏见。
2021-06-02 cs.CY cs.LG math.ST
Fair Incentives for Repeated Engagement
Massachusetts Institute of Technology（麻省理工学院）；University of Southern California（南加州大学）
研究公平约束下智能体留存的货币激励优化问题，提出一种渐近最优的静态启发式策略，避免动态政策因系统类型组成变化而产生的无意歧视。
2024-07-29 cs.GT cs.LG cs.MA
Learning Fair Pareto-Optimal Policies in Multi-Objective Reinforcement Learning
针对多目标强化学习中固定用户偏好无法提供多样化策略的问题，提出基于广义基尼福利函数的多策略方法，学习公平帕累托最优策略集。
2026-06-17 cs.AI cs.LG
Cooperative Multi-Agent Fairness and Equivariant Policies
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技学院）
我们通过合作多智能体学习的镜头来研究公平性。我们的工作是由经验证据，天真的团队奖励最大化产生不公平的结果，为个别团队成员的动机。为了解决多智能体环境中的公平性问题，我们引入了团队公平性，这是一种基于组的多智能体学习公平性度量。然后，我们证明了它是可能的，以加强团队的公平性，在政策优化过程中，通过将团队的联合政策转化为一个等变映射。我们将我们的多智能体学习策略称为通过等方差的公平性（Fair-E），并以经验证明其有效性。然后，我们引入公平通过等变正则化（公平ER）作为公平E的软约束版本，并表明它达到更高水平的效用比公平E和公平的结果比非等变政策。最后，我们提出了新的发现，在多代理设置的公平性效用权衡，显示权衡的幅度是依赖于代理的技能。
2022-01-19 cs.AI cs.LG cs.MA
Learning Fair Policies for Infectious Diseases Mitigation using Path Integral Control
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对传染病缓解政策的公平性问题，提出基于随机多组SIR模型的序贯决策框架，采用路径积分控制算法学习公平的疫苗接种和封锁策略，案例研究显示其公平性优于传统方法，可为政策制定者提供参考。
2025-02-14 cs.LG math.OC
Residual Unfairness in Fair Machine Learning from Prejudiced Data
Cornell University（康奈尔大学）
最近在机器学习公平性方面的工作提出了通过均衡各组之间的准确性指标来调整公平性，并且还研究了受历史偏见影响的数据集如何可能导致不公平的决策策略。我们将这些工作联系起来，研究当公平性调整后的预测因子对目标人群实际上并不公平时产生的剩余不公平性，这是由于现有偏见政策对训练数据进行了系统性审查。这种情况在关注公平性的相同应用程序中特别常见。我们从理论上描述了这种审查对二进制分类器的标准公平性度量的影响，并提供了残留不公平性可能出现或可能不会出现的标准。我们证明，在某些条件下，公平调整的分类器实际上会导致剩余的不公平，使同样的不公平持续下去，对相同的群体，这使数据产生偏见，从而表明，即使是最先进的公平机器学习也可能具有“偏入，偏出”属性。当某些基准数据可用时，我们展示了样本重新加权如何在考虑删失的同时估计和调整公平性指标。我们用这个研究的情况下，停止，问题，和弗里斯克（SQF），并证明，试图调整公平的政策是臭名昭著的同样的不公正。
2018-06-07 cs.LG stat.ML
Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Shanghai Jiao Tong University（上海交通大学）
我们考虑在（深度）合作多智能体强化学习（MARL）中学习公平策略的问题。我们形式化的原则性的方式作为优化的福利函数，明确编码公平的两个重要方面：效率和公平的问题。作为一种解决方法，我们提出了一种新的神经网络架构，它是由两个子网络专门设计考虑到公平性的两个方面。在实验中，我们证明了公平优化的两个子网络的重要性。我们的整体方法是通用的，因为它可以容纳任何（次）可微福利函数。因此，它与文献中提出的各种公平概念（例如，字典式极大极小、广义基尼社会福利函数、比例公平）。我们的解决方案方法是通用的，可以在各种MARL设置中实现：集中式培训和分散式执行，或完全分散式。最后，我们在各个领域的实验验证我们的方法，并表明它可以比以前的方法更好地执行。
2021-06-22 cs.AI cs.LG cs.MA
Inherent Trade-offs in the Fair Allocation of Treatments
University of Southern California（南加利福尼亚大学）；USC Information Sciences Institute（南加利福尼亚大学信息科学研究所）
显性和隐性的偏见蒙蔽了人的判断，导致对少数群体的歧视性待遇。算法公平性的一个基本目标是通过学习改善总体结果的策略，同时为受保护的类提供公平待遇，从而避免人类判断中的陷阱。在本文中，我们提出了一个因果框架，学习最优的干预政策，从数据的公平性约束。我们定义了两种治疗偏倚的测量方法，并推断出最佳治疗分配，最大限度地减少偏倚，同时优化总体结局。我们证明，有一个平衡的公平和整体利益的困境，但是，允许优惠待遇，在某些情况下（平权行动）的保护类可以显着提高整体利益，同时也保持公平。我们将我们的框架应用于包含学生标准化考试成绩的数据，并展示了如何使用它来设计现实世界的政策，以公平地提高学生的考试成绩。我们的框架提供了一种原则性的方法来学习现实世界中的公平待遇政策。
2020-10-30 cs.AI cs.CY cs.LG
LFQ: Online Learning of Per-flow Queuing Policies using Deep Reinforcement Learning
Technische Universität Wien（维也纳工业大学）
不同的、不兼容的拥塞控制算法数量的增加导致了公平排队部署的增加。公平排队隔离每个网络流，并且因此即使流的拥塞控制不是固有公平的，也可以保证每个流的公平性。到目前为止，公平排队系统中的每个队列要么有一个固定的、静态的最大长度，要么由一个主动队列管理（AQM）算法（如CoDel）管理。在本文中，我们设计了一个主动队列管理机制（学习公平Qdisc（LFQ）），动态学习的最佳缓冲区大小为每个流根据一个指定的奖励函数在线。我们表明，我们的基于深度学习的算法可以动态分配最佳队列大小，每个流取决于其拥塞控制，延迟和带宽。与竞争公平的AQM队列管理器相比，它提供了显着更小的队列，同时实现相同或更高的吞吐量。
2020-10-15 cs.LG cs.NI
A Causal Lens for Learning Long-term Fair Policies
Department of Electrical Engineering and Computer Science（电气工程与计算机科学系）；University of Arkansas（阿肯色大学）
针对现有公平感知学习多关注静态即时偏差的问题，本文在强化学习框架下用因果视角分解长期公平指标，分析其与收益公平的关联，并提出平衡多种公平概念的有效方法。
2025-06-12 cs.AI cs.LG
Comparing Fairness Criteria Based on Social Outcome
The University of Tokyo（东京大学）；Santa Fe Institute（圣塔菲研究所）
算法决策过程中的公平性正引起越来越多的关注。当一个算法被应用于与人类相关的决策时，一个仅仅优化其预测能力的估计器可以在现有数据上学习偏差，这激发了我们在机器学习中的公平性概念。虽然文献中研究了几种不同的概念，但很少研究这些概念如何影响个人。我们证明了这样的比较引起的几个政策的公知的公平标准，包括色盲（CB），人口平价（DP），和均衡的赔率（EO）。我们表明，EO是唯一的标准，其中消除组水平的差距。对这些政策的社会福利和差距进行了实证研究。
2018-06-13 cs.AI cs.LG stat.ML
Dynamic Modeling and Equilibria in Fair Decision Making
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
最近关于自动决策系统公平性的研究都调查了这些决策对整个人口的潜在未来影响，并强调强加“典型”的公平性限制，如人口均等或机会均等，并不能保证弱势群体的利益。然而，这些以前的研究集中在简单的一步成本/效益标准，或离散的基本状态空间。在这项工作中，我们首先提出了一个自然的连续表示的人口状态，由贝塔分布，使用贷款发放设置作为一个运行的例子。接下来，我们应用了一个贷款决策下的人口动态模型，并表明当条件回报概率被正确估计时，1）贷款人的“最优”行为可能导致“马太福音”分叉（即，“富人越来越富，穷人越来越穷”），但2）对允许的政策的许多共同的公平约束导致群体收敛到同一个平衡点。最后，我们对比我们的结果在错误指定的条件概率估计的情况下，与以前的工作，并表明，对于这个模型，不同程度的群体误判保证，即使是公平的政策导致分叉。我们说明了一些信用评分的真实数据的建模结论。
2019-11-15 cs.LG stat.ML
Learning Fair Policies in Multiobjective (Deep) Reinforcement Learning with Average and Discounted Rewards
UM-SJTU Joint Institute, Shanghai Jiao Tong University（上海交通大学密西根学院）；Department of Automation, Shanghai Jiao Tong University（上海交通大学自动化系）
由于自治系统的操作通常同时影响多个用户，因此其设计考虑公平性至关重要。与标准（深度）强化学习（RL）相比，我们研究了学习公平对待用户的策略的问题。在本文中，我们制定了这个新的RL问题，其中的目标函数，它编码的公平性，我们正式定义的概念，是优化的。对于这个问题，我们提供了一个理论上的讨论，我们检查的情况下，折扣奖励和平均奖励。在此分析中，我们特别得出一个新的结果，在标准RL设置，这是独立的利益：它指出了一个新的边界上的近似误差相对于最佳平均奖励的政策最优的折扣奖励。由于使用折扣奖励的学习通常更容易，因此本讨论进一步证明了通过学习折扣奖励的公平策略来找到平均奖励的公平策略。因此，我们描述了几种经典的深度强化学习算法如何适应我们的公平优化问题，并在三个不同的领域进行了广泛的实验来验证我们的方法。
2020-08-18 cs.AI cs.LG
Policy-Gradient Training of Fair and Unbiased Ranking Functions
Cornell University（康奈尔大学）；Tsinghua University（清华大学）
虽然隐式反馈（例如，点击、停留时间等）是学习排序的一个丰富而有吸引力的数据来源，但它可能会产生不公平的排名政策，无论是外部的还是内部的原因。外生原因通常表现为训练数据中的偏差，然后反映在学习的排名策略中，并经常导致富人越来越富的动态。此外，即使在纠正了这些偏差之后，学习算法设计的内在原因仍然可能导致排名策略不能以公平的方式在项目之间分配曝光。为了解决外源性和内源性的不公平性，我们提出了第一个学习排名的方法，同时解决介绍偏见和择优公平的曝光。具体来说，我们定义了一类摊销公平的曝光限制，可以选择基于应用程序的需求，我们展示了如何执行这些公平的标准，尽管隐式反馈数据中的选择偏差。关键的结果是一个有效的和灵活的政策梯度算法，称为FULTR，这是第一个使使用反事实估计效用估计和公平性约束。除了框架的理论依据，我们的经验表明，该算法可以学习准确和公平的排名政策，从偏见和嘈杂的反馈。
2021-05-09 cs.CY cs.IR cs.LG
Learning Fairness in Multi-Agent Systems
Peking University（北京大学）
公平对人类社会至关重要，有助于稳定和生产力。同样，公平性也是许多多智能体系统的关键。将公平性引入多智能体学习可以帮助多智能体系统变得高效和稳定。然而，学习效率和公平性的同时是一个复杂的，多目标，联合政策优化。为了解决这些困难，我们提出了FEN，一种新的分层强化学习模型。我们首先分解每个代理的公平性，并提出公平有效的奖励，每个代理学习自己的策略来优化。为了避免多目标冲突，我们设计了一个由控制器和多个子策略组成的层次结构，其中控制器通过在提供与环境交互的不同行为的子策略之间切换来最大化公平有效的回报。FEN可以以完全分散的方式进行训练，使其易于部署在现实世界的应用程序中。从经验上讲，我们表明，FEN很容易学习公平性和效率，并显着优于基线在各种多代理场景。
2019-10-31 cs.AI cs.LG cs.MA
Learning Efficient and Fair Policies for Uncertainty-Aware Collaborative Human-Robot Order Picking
Eindhoven University of Technology（埃因霍温理工大学）；Vanderlande Industries B.V.（范德兰德工业有限公司）
针对人机协作订单拣选的随机分配优化问题，提出基于图建模的多目标DRL方法，兼顾效率与公平性，性能优于基准且具备跨仓库规模的迁移能力。
2024-04-09 cs.AI cs.LG cs.RO
Learning Optimal and Fair Policies for Online Allocation of Scarce Societal Resources from Data Collected in Deployment
USC CAIS Center for Artificial Intelligence in Society（USC 人工智能与社会中心）；Luxembourg Centre for Logistics and Supply Chain Management, University of Luxembourg（卢森堡物流与供应链管理中心，卢森堡大学）
本文研究稀缺社会资源的在线分配问题，提出一种基于部署数据的策略，在满足预算约束下最大化预期结果，并支持公平性约束，在洛杉矶住房分配实验中使退出无家可归的比率提高5.16%。
2025-08-11 cs.LG math.OC physics.soc-ph
Bayes-Optimal Fair Classification with Multiple Sensitive Features
Department of Information Systems, Arizona State University（信息系统系，亚利桑那州立大学）；Department of Information Systems and Intelligent Business, School of Management, Xi’an Jiaotong University（信息系统与智能商业系，管理学院，西安交通大学）
针对现有贝叶斯最优公平分类仅考虑单一敏感特征的局限，本文刻画多敏感特征下的贝叶斯最优公平分类器形式，提出两种实用算法，实验验证其性能优于现有方法。
2025-11-16 cs.LG stat.ML
Don't Throw it Away! The Utility of Unlabeled Data in Fair Decision Making
MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Saarland University（萨尔大学）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；ETH Zürich（苏黎世联邦理工学院）
在实践中，决策算法通常是在表现出各种偏见的数据上训练的。决策者通常旨在根据一些假设或预期是无偏见的地面实况目标做出决策，即，平均分布在社会显著群体中。在许多实际环境中，地面实况不能直接观察到，相反，我们必须依赖地面实况的有偏见的代理测量，即，有偏见的标签。此外，数据通常被选择性地标记，即，甚至仅对于接收到肯定判决的数据的一小部分观察到有偏标签。为了克服标签和选择偏差，最近的工作提出了学习随机，通过i）在每个时间步在线训练新策略和ii）强制公平性作为对性能的约束来探索决策策略。然而，现有的方法只使用标记的数据，忽略了大量的未标记的数据，从而遭受高不稳定性和变化的学习决策政策在不同的时间。在本文中，我们提出了一种新的方法的基础上变分自动编码器的实际公平决策。我们的方法学习一个无偏的数据表示，利用标记和未标记的数据，并使用表示学习在线过程中的策略。使用合成数据，我们实证验证，我们的方法收敛到最佳（公平）的政策，根据地面真理与低方差。在现实世界的实验中，我们进一步表明，我们的训练方法不仅提供了一个更稳定的学习过程，而且产生的政策比以前的方法具有更高的公平性和实用性。
2022-07-04 cs.AI cs.HC cs.LG
Learning Fair Policies for Multi-stage Selection Problems from Observational Data
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Southern California（南加州大学）；Georgia Institute of Technology（佐治亚理工学院）
本研究提出一个可加公平约束的多阶段选择框架，通过可解释线性规则和混合二元锥优化，从观测数据中学习公平策略，在UCI数据集上实现精度提升11.6%、不公平性降低38%。
2023-12-20 cs.LG math.OC
Meta Optimality for Demographic Parity Constrained Regression via Post-Processing
University of Tsukuba（筑波大学）；RIKEN AIP（日本理化学研究所人工智能项目）
针对人口统计奇偶约束下的回归问题，提出可验证公平极小极大最优回归算法的元定理，并证明该最优回归可通过后处理实现，便于传统回归技术适配公平场景。
2025-06-16 cs.LG stat.ML
Bayes Optimal Early Stopping Policies for Black-Box Optimization
Google Research（谷歌研究）
我们推导出一个最佳的政策，自适应重新启动的随机算法，根据观察到的功能运行到目前为止，以尽量减少所需的预期时间的算法成功终止。给定合适的贝叶斯先验，该结果可用于从包括随机搜索、连续减半和Hyperband的算法的大家族中选择最佳黑盒优化算法。在CIFAR-10和ImageNet超参数调整问题上，所提出的策略在达到给定目标准确度的预期时间方面比随机搜索提高了13倍，并且比基线自适应策略提高了3倍，只要其准确度低于中位数，就终止运行。
2019-02-21 cs.LG stat.ML
PyCFRL: A Python library for counterfactually fair offline reinforcement learning via sequential data preprocessing
Department of Statistics, University of Michigan, USA（统计学系，密歇根大学）；Department of Biostatistics, University of Michigan, USA（生物统计学系，密歇根大学）；Department of Statistics, London School of Economics, UK（统计学系，伦敦经济学院）；Department of Health Behavior and Health Equity, School of Public Health, University of Michigan, USA（健康行为与健康公平系，公共卫生学院，密歇根大学）
PyCFRL是一个Python库，通过新颖的数据预处理算法实现离线强化学习中的反事实公平，并提供策略评估工具，已在PyPI和GitHub上公开。
2025-10-08 cs.LG stat.ML
From Fair Decision Making to Social Equality
American University of Beirut（贝鲁特美国大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
智能决策系统中的公平性研究大多忽略了对底层群体的长期影响。然而，公平方面的考虑（例如扶持行动）往往隐含着实现人口中各群体之间平衡的目标。平衡的最基本概念是各群体资格之间的最终平等。我们如何将影响力动态纳入决策？动态遗忘公平政策在实现平等方面表现如何？在本文中，我们提出了一个简单而揭示模型，其中包括（1）一个选择过程中，一个机构从多个群体中选择，根据他们的资格，以最大限度地提高制度效用和（2）动态管理的演变集团的资格，根据强加的政策。我们把人口均等作为平权行动的形式。然后，我们给出了条件下，一个不受约束的政策达到平等的本身。在这种情况下，令人惊讶的是，强制实行人口均等可能会打破平等。当它不，人们会期望额外的约束，以减少效用，然而，我们表明，效用实际上可能会增加。在更现实的场景中，不受约束的策略不会导致平等。在这种情况下，我们表明，虽然实施人口均等可能会弥补这一点，有一个危险，群体解决在一套更差的资格。作为一线希望，我们还确定了约束何时不仅会导致平等，而且会改善所有群体。这为失配假说的两个方面提供了可量化的见解。这些案例和权衡有助于确定何时以及如何在选拔过程中实行人口均等，从长远来看，对机构和社会都是有益的。
2020-02-27 cs.CY cs.LG stat.ML
First-See-Then-Design: A Multi-Stakeholder View for Optimal Performance-Fairness Trade-Offs
Department of Computer Science, Saarland University（萨尔兰大学计算机科学系）；Zurich University of Applied Sciences（苏黎世应用科学大学）
本文提出多利益相关者框架，通过福利经济学和分配正义理论，建模决策者与决策主体的效用，定义公平性为社会规划者的效用，探讨决策策略对性能-公平性权衡的影响。
2026-04-15 cs.AI cs.LG
An Optimal Online Method of Selecting Source Policies for Reinforcement Learning
迁移学习通过利用来自先前经验的相关知识来显著加速强化学习过程。在学习过程中如何选择最优的源策略是一个非常重要而又具有挑战性的问题。对这个问题的理论分析很少。在本文中，我们开发了一个最佳的在线方法来选择源策略的强化学习。该方法将在线源策略选择问题转化为多臂强盗问题，并通过策略重用增强Q学习。我们提供了理论保证的最优选择过程和收敛到最优策略。此外，我们进行实验，基于网格的机器人导航域，以证明其效率和鲁棒性，通过比较国家的最先进的迁移学习方法。
2017-09-24 cs.AI cs.LG stat.ML
Remembering to Be Fair: Non-Markovian Fairness in Sequential Decision Making
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Schwartz Reisman Institute for Technology and Society（施瓦茨·赖斯曼技术与社会研究所）；University of Waterloo（滑铁卢大学）
针对序列决策中公平性依赖历史、需过程中评估的非马尔可夫特性，本文界定其多类性质，探究记忆与公平策略构建的关联，提出可自动扩充训练数据提升强化学习公平策略合成样本效率的FairQCM算法。
2024-06-19 cs.AI cs.CY cs.LG
Optimal Fairness under Local Differential Privacy
Department of Computing and Software, McMaster University（计算与软件系，麦斯特大学）
本文提出一种基于局部差分隐私的最优机制，通过减少数据不公平性提升分类公平性，同时在保持隐私和准确性方面优于现有方法。
2026-01-30 cs.CR cs.LG stat.ML
Learning Optimal Policies from Observational Data
University of California Los Angeles（加州大学洛杉矶分校）；University of Oxford（牛津大学）
选择最佳（或至少更好）的政策是从医学到教育到金融等许多领域的一个重要问题。解决这个问题的一种方法是通过控制实验/试验-但控制实验是昂贵的。因此，重要的是根据观测数据选择最佳政策。这提出了两个困难的挑战：（i）缺少反事实，（ii）选择偏差。本文结合领域自适应理论，给出了观测数据中反事实估计误差的理论界。它还提出了一个原则性的方式来选择最佳的政策，使用领域对抗神经网络。我们在半合成乳腺癌数据集和监督UCI数据集（Statlog）上说明了域对抗训练的有效性以及我们算法的各种功能。
2018-02-23 cs.AI cs.LG stat.ML
Policy Optimization with Advantage Regularization for Long-Term Fairness in Decision Systems
UC San Diego（加州大学圣迭戈分校）；UT Austin（得克萨斯大学奥斯汀分校）
长期公平性是在高风险决策环境中设计和部署基于学习的决策系统时考虑的一个重要因素。最近的工作提出了使用马尔可夫决策过程（MDP）制定决策与长期的公平性要求，在动态变化的环境中，并表现出直接部署启发式和基于规则的政策，在静态环境中工作良好的主要挑战。我们表明，与以前已知的策略相比，深度强化学习的策略优化方法可以用来找到更好的决策策略，这些策略通常可以实现更高的整体效用和更少的公平性要求。特别是，我们提出了新的方法，在政策优化的公平性要求，通过正规化的优势评估不同的行动。我们提出的方法可以很容易地施加公平性约束，而无需奖励工程或牺牲训练效率。我们在三个已建立的案例研究中进行了详细的分析，包括事件监测中的注意力分配，银行贷款审批和人口网络中的疫苗分配。
2022-10-22 cs.AI cs.CY cs.LG
Discovering Diverse Nearly Optimal Policies with Successor Features
DeepMind
对同一问题找到不同的解决方案是智力的一个关键方面，与创造力和适应新情况有关。在强化学习中，一组不同的策略可以用于探索、转移、层次和鲁棒性。我们提出了不同的连续政策，发现政策的继任者功能的空间是不同的方法，同时确保他们是接近最优的。我们正式的问题作为一个约束马尔可夫决策过程（CMDP）的目标是找到政策，最大限度地提高多样性，其特征在于一个内在的多样性奖励，同时保持接近最优的外在奖励的MDP。我们还分析了最近提出的鲁棒性和歧视性奖励的执行情况，发现它们对过程的初始化很敏感，并且可能会收敛到次优解。为了缓解这一问题，我们提出了新的明确多样性奖励，旨在最大限度地减少集合中政策的后继特征之间的相关性。我们比较了DeepMind控制套件中的不同多样性机制，发现我们提出的明确多样性类型对于发现不同的行为非常重要，例如不同的运动模式。
2022-01-04 cs.AI cs.LG stat.ML
Causal Conceptions of Fairness and their Consequences
Stanford University（斯坦福大学）；New York University（纽约大学）；Harvard University（哈佛大学）
本文将因果公平定义分为约束反事实差异与约束保护特征影响两类，证明并实证其几乎总是产生被强帕累托支配的策略，揭示形式局限与不良后果。
2022-07-12 cs.AI cs.CY cs.LG
Fair Resource Allocation in Weakly Coupled Markov Decision Processes
GERAD & Department of Decision Sciences, HEC Montréal（GERAD与决策科学系，蒙特利尔HEC学院）；MILA - Quebec AI Institute, Montréal（魁北克人工智能研究所MILA，蒙特利尔）；GERAD & Department of Logistics and Operations Management, HEC Montréal（GERAD与物流与运营管理系，蒙特利尔HEC学院）
研究弱耦合马尔可夫决策过程中的公平资源分配，采用广义基尼函数定义公平性，首次证明同质情形可简化为排列不变策略上的功利主义优化，并提出基于计数比例的深度强化学习方法，实验验证其有效性。
2025-04-27 cs.LG
Sequential Cohort Selection under Uncertainty
研究不确定性下公平队列选择问题，提出结合结果概率建模与策略梯度方法的框架，在顺序设置中联合更新策略和模型，实验表明自适应策略在预期效用上优于静态基线。
2026-07-07 cs.LG
Hierarchical Reinforcement Learning: Approximating Optimal Discounted TSP Using Local Policies
Google（谷歌）；The Technion（以色列理工学院）；Tel Aviv University（特拉维夫大学）
在这项工作中，我们提供了理论上的保证，在确定性的MDP的奖励分解。奖励分解是分层强化学习的一个特例，它允许人们并行学习许多策略，并将它们组合成一个复合解决方案。我们的方法建立在将这个问题映射成一个奖励折扣旅行商问题，然后推导出它的近似解。特别地，我们专注于局部的近似解，即，仅观察关于当前状态的信息的解决方案。本地策略易于实现，并且不需要大量的计算资源，因为它们不执行规划。虽然局部确定性策略，如最近邻，在实践中被用于分层强化学习，我们提出了三个随机策略，保证比任何确定性策略更好的性能。
2018-03-13 cs.AI cs.LG stat.ML
Bayes-Optimal Fair Classification with Linear Disparity Constraints via Pre-, In-, and Post-processing
Department of Statistics and Data Science, Xiamen University（厦门大学统计与数据科学系）；Department of Statistics and Data Science, University of Pennsylvania（宾夕法尼亚大学统计与数据科学系）；Dept of Statistics and Data Science, University of California, Los Angeles（加州大学洛杉矶分校统计与数据科学系）
本文提出基于线性与双线性差异度量的贝叶斯最优公平分类理论，并据此设计预处理、处理中和后处理三类方法，在直接控制群体差异的同时实现接近最优的公平性-准确性权衡。
2025-08-27 cs.CY cs.LG stat.ML
CAMEO: Curiosity Augmented Metropolis for Exploratory Optimal Policies
Ecole Polytechnique（巴黎综合理工学院）；IRT SystemX（法国系统X技术研究所）；Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）；IP-Paris（巴黎理工学院）
强化学习作为解决最优控制问题的一种工具，已经引起了人们极大的兴趣。解决一个给定的问题（任务或环境）涉及收敛到一个最优的策略。然而，可能存在多个最优策略，它们的行为可能会有很大的不同;例如，有些策略可能比其他策略更快，但代价是更大的风险。我们考虑并研究了最优策略的分布。我们设计了一个好奇心增强的大都会算法（CAMEO），这样我们就可以采样最优策略，并使这些策略有效地采用不同的行为，因为这意味着更大的覆盖面不同的可能的最优策略。在实验模拟中，我们表明，CAMEO确实获得的政策，所有解决经典的控制问题，甚至在具有挑战性的情况下，提供稀疏的奖励环境。我们进一步表明，不同的政策，我们采样呈现不同的风险状况，对应于有趣的实际应用中的可解释性，并代表了第一步学习的最优政策本身的分布。
2023-02-15 cs.AI cs.LG
A General Markov Decision Process Framework for Directly Learning Optimal Control Policies
IBM Research（IBM研究院）
我们考虑一种新形式的强化学习（RL），这是基于直接学习的机会，最优控制政策和一般马尔可夫决策过程（MDP）的框架，旨在支持这些机会。我们的控制为基础的强化学习方法的一般类的推导，连同形式的探索和开发学习和应用的最优控制政策随着时间的推移。我们的一般MDP框架扩展了经典的贝尔曼算子和最优性准则，概括了任何给定状态的政策的定义和范围。我们建立了收敛性和最优性--无论是在一般情况下还是在各种控制范例中（例如，分段线性控制策略）-我们的基于控制的方法，通过这个一般的MDP框架，包括收敛的$Q$ -学习的上下文中，我们的MDP框架。我们的实证结果证明和量化我们的方法的显着好处。
2021-04-01 cs.LG math.OC stat.ML
On the Power of Randomization in Fair Classification and Representation
Northeastern University（东北大学）；Microsoft Research（微软研究院）
本文研究随机化在公平分类与公平表示中的作用，细化了最优公平分类器的刻画，证明随机化分类器可超越确定性分类器，还构建了具有可证明最优准确率的多类公平表示，无准确率损失。
2024-10-07 cs.LG
Combinations and Mixtures of Optimal Policies in Unichain Markov Decision Processes are Optimal
我们表明，在单链马尔可夫决策过程中的最优（平稳）政策的组合是最优的。也就是说，设M是一个具有状态空间S，动作空间A和策略π_j^* 的单链马尔可夫决策过程：S -> A（1 \leq j \leq n），具有最优的平均无限时域报酬。然后这些策略的任何组合π，其中对于S中的每个状态i，存在j使得π（i）=π_j^*（i），也是最优的。此外，我们证明了任何最优策略的混合，其中在状态i的每次访问中，选择最优策略的任意动作π_j^*（i），也会产生最优平均奖励。
2005-08-17 cs.DM cs.LG math.CO
Fair Resource Allocation in Virtualized O-RAN Platforms
TU Delft（代尔夫特理工大学）；NEC Labs Europe（欧洲 NEC 实验室）；i2CAT；ICREA（加泰罗尼亚研究与高级研究所）
本文针对虚拟化 O-RAN 平台的高能耗问题，提出结合计算与无线策略及新型在线学习框架，在保障长期公平性的同时实现节能与性能的平衡，并在真实场景中验证了其有效性。
2024-02-17 cs.AI cs.LG cs.NI
Optimal Mixture Weights for Off-Policy Evaluation with Multiple Behavior Policies
Tsinghua University（清华大学）
离线策略评估是强化学习的一个关键组成部分，它利用从行为策略中收集的离线数据来评估目标策略。它是迈向安全强化学习的关键一步，已被用于广告、推荐系统和许多其他应用。在这些应用程序中，有时会从多个行为策略中收集离线数据。以前的作品认为数据从不同的行为政策平等。然而，一些行为策略更好地产生良好的估计，而其他人则不是。本文首先讨论了如何正确地混合不同行为策略产生的估计量。当所有子估计量均无偏或渐近无偏时，我们提出了三种减小混合估计量方差的方法。此外，在模拟推荐系统上的实验表明，我们的方法是有效的，在减少估计的均方误差。
2020-11-29 cs.LG
Optimal Policies for the Homogeneous Selective Labels Problem
IBM Research（IBM研究）
选择性标签是后果性决策应用程序的一个共同特征，指的是在一个可能的决策下缺乏观察到的结果。本文报告了在面对选择性标签的学习决策政策方面的工作进展。所考虑的设置是一个简化的同质的，不考虑个人的特点，以方便确定最佳的政策，和一个在线的，以平衡在学习中产生的成本与未来的效用。对于最大化折扣总报酬，最优策略是一个门限策略，问题是一个最优停止问题。相比之下，对于未贴现的无限时域平均奖励，最优策略在所有状态下都有正的接受概率。未来的工作源于这些结果进行了讨论。
2020-11-02 cs.AI cs.LG
On the Use of Non-Stationary Policies for Stationary Infinite-Horizon Markov Decision Processes
Inria（法国国家信息与自动化研究所）
我们考虑无限时域平稳$γ$折扣马尔可夫决策过程，它是已知的，存在一个平稳的最优策略。使用在每次迭代时具有一些误差$ε$的值和策略迭代，众所周知，可以计算$\frac{2γ}{(1-γ)^2}ε$最优的固定策略。在认为这种保证是紧的，我们开发的变化值和政策迭代计算非平稳的政策，可以达到$\frac{2γ}{1-γ}ε$ -最优的，这构成了一个显着的改善通常情况下，当$γ$接近1。令人惊讶的是，这表明“计算近最优非平稳策略”的问题比“计算近最优平稳策略”的问题简单得多。
2012-11-29 cs.AI cs.LG
Optimal Decision Tree Policies for Markov Decision Processes
Delft University of Technology（代尔夫特理工大学）
针对强化学习策略可解释性难题，提出基于混合整数线性规划的OMDT方法，直接为MDP优化尺寸受限决策树以最大化期望折扣回报，发现其性能接近最优且优于模仿学习。
2024-02-14 cs.AI cs.LG
Demystifying the Optimal Fair Classifier in Multi-Class Classification
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；College of Computer Science（计算机科学学院）；Technology, Zhejiang University（技术，浙江大学）；School of Communication Engineering, Hangzhou Dianzi University（杭州电子科技大学通信工程学院）
本文针对多类分类中的公平性问题，提出了一种在公平约束下最优分类器的概率公式，并设计了两种属性盲算法（处理中与处理后）以逼近最优精度-公平帕累托前沿。
2026-05-30 cs.AI cs.LG
Fair and Optimal Cohort Selection for Linear Utilities
算法决策的兴起引发了围绕这些算法的公平性的研究爆炸。虽然有许多令人信服的个人公平的概念，开始与德沃克等人的工作，这些概念通常不能满足所需的组合物性能。为此，Dwork和Ilvento引入了公平队列选择问题，该问题捕获了一个特定的应用，其中单个公平分类器与其自身组成，以挑选一组大小正好为$k$的候选者。在这项工作中，我们介绍了一个具体的例子，队列选择的目标是选择一个队列最大化的线性效用函数。我们给出了近似最优的多项式时间算法，这个问题在离线设置，其中整个公平的分类器是一次给定的，或在线设置，候选人到达一个时间和分类，因为他们到达。
2022-10-05 cs.DS cs.LG
