Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam（阿姆斯特丹大学）
本文提出一种结合公平性保证的多目标强化学习算法，通过洛伦兹支配识别公平奖励分布，提升多目标问题的可扩展性，在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
Balancing Efficiency and Fairness in Traffic Light Control through Deep Reinforcement Learning
University of Padova（帕多瓦大学）
本文提出一种新型深度强化学习代理，通过整合公平性考虑平衡车辆和行人交通流，实验证明能有效减少拥堵并保障服务公平性。
2026-05-11 cs.LG
Attack-Resistant Uniform Fairness for Linear and Smooth Contextual Bandits
National University of Singapore（新加坡国立大学）
本文提出了一种对抗鲁棒的均匀公平性算法，以在保证公平性的同时实现线性和平滑奖励函数的最小最大最优后悔。
2026-09-22 cs.LG stat.ME stat.ML
Learning Robust Rewards with Adversarial Inverse Reinforcement Learning
University of California, Berkeley（加州大学伯克利分校）
强化学习为决策和控制提供了一个强大而通用的框架，但其在实践中的应用往往受到广泛特征和奖励工程需求的阻碍。深度强化学习方法可以消除对策略或值特征的显式工程的需要，但仍然需要手动指定的奖励函数。逆强化学习有望实现自动奖励获取，但已被证明非常难以应用于具有未知动态的大型高维问题。在这项工作中，我们提出了adverserial逆强化学习（AIRL），一个实用的和可扩展的逆强化学习算法的基础上的对抗奖励学习制定。我们证明了AIRL能够恢复对动态变化具有鲁棒性的奖励函数，即使在训练过程中看到的环境发生重大变化的情况下，我们也能够学习策略。我们的实验表明，AIRL大大优于以前的方法，在这些传输设置。
2018-08-13 cs.LG
Loss is its own Reward: Self-Supervision for Reinforcement Learning
UC Berkeley（加州大学伯克利分校）；OpenAI
强化学习针对期望累积奖励优化策略。监管需要如此狭窄吗？对于许多任务来说，奖励是延迟和稀疏的，这使得它成为端到端优化的困难和贫困信号。为了增加奖励，我们考虑了一系列自我监督的任务，包括状态，动作和后继者，以提供辅助损失。即使在没有奖励的情况下，这些损失也为表示学习提供了无处不在的即时监督。虽然目前的结果表明，仅从奖励中学习是可行的，但纯强化学习方法受到计算和数据效率问题的限制，这些问题可以通过辅助损失来弥补。自我监督的预训练和联合优化提高了端到端强化学习的数据效率和策略回报。
2017-03-09 cs.LG
Hyperbolically-Discounted Reinforcement Learning on Reward-Punishment Framework
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
提出了一种新的基于双曲折扣的强化学习。结合一种新的时间差误差和双曲贴现的递归方式和奖惩框架，一个新的方案来学习最优策略。在模拟中，它被发现的建议优于标准的强化学习，虽然性能取决于奖励和惩罚的设计。此外，贴现因素的平均值w.r.t.奖励和惩罚是不同的，就像动物行为中的符号效应。
2021-06-03 cs.LG
Striking a Balance in Fairness for Dynamic Systems Through Reinforcement Learning
University of Arkansas（阿肯色大学）
本文针对动态系统中的顺序决策公平性问题，提出将传统公平与长期公平统一纳入强化学习的算法框架，并通过三个案例验证其能在公平与效用间取得平衡。
2024-01-12 cs.AI cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs（VECTOR实验室）
PGSRM通过嵌入相似度生成语义奖励，为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Fairness in Reinforcement Learning with Bisimulation Metrics
McGill University（麦吉尔大学）；Mila（米拉研究所）；DeepMind（深度思维公司）
本文建立互模拟度量与强化学习群体公平性的联系，提出利用互模拟度量学习奖励函数和观测动态的新方法，并在贷款与大学录取基准上验证其减少序列决策差异的有效性。
2024-12-31 cs.CY cs.LG
Multi Task Inverse Reinforcement Learning for Common Sense Reward
Bar-Ilan University（巴伊兰大学）
本文提出将奖励分解为任务特定与常识两部分，并证明多任务逆强化学习能从专家示范中学习有效的常识奖励，避免奖励黑客问题。
2025-10-23 cs.LG
Reinforcement Learning with Stepwise Fairness Constraints
Harvard University（哈佛大学）；Carnegie Mellon University（卡内基梅隆大学）；Rutgers University（罗格斯大学）
人工智能方法用于社会重要环境，从信贷到就业再到住房，在算法决策方面提供公平性至关重要。此外，许多设置是动态的，人口响应顺序决策政策。我们介绍了逐步公平性约束的强化学习（RL）的研究，要求在每个时间步的组公平性。我们的重点是表情节RL，我们提供学习算法的政策最优性和公平违反方面的强有力的理论保证。我们的框架提供了有用的工具来研究公平性约束在顺序设置中的影响，并提出了新的挑战。
2022-11-08 cs.AI cs.CY cs.LG
ELO-Rated Sequence Rewards: Advancing Reinforcement Learning Models
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（人工智能与自动化学院，华中科技大学）
针对长期强化学习中状态-动作对奖励分配困难的问题，提出基于ELO评级的强化学习算法ERRL，利用专家轨迹偏好计算ELO评级作为奖励，并引入奖励重分配算法缓解训练不稳定性，在5000步长期场景中优于现有基线。
2025-05-31 cs.LG
Group Fairness in Multi-Task Reinforcement Learning
University of Virginia（弗吉尼亚大学）；Columbia University（哥伦比亚大学）
本文针对多任务强化学习中的群体公平性问题，提出一种显式多任务公平约束的优化算法，在RiverSwim和MuJoCo上验证其能缩小公平差距并保持回报。
2025-03-10 cs.AI cs.LG
Reinforcement Learning by Comparing Immediate Reward
Jaypee University Of Engineering And Technology（杰皮尔工程与技术大学）
本文介绍了一种强化学习算法，通过比较它们的即时奖励，使用Q-学习算法的变体。与传统的Q学习不同，该算法将当前奖励与过去移动的即时奖励进行比较，并相应地工作。基于相对奖励的Q学习是一种实现交互式学习的方法。Q-Learning是一种无模型强化学习方法，用于学习智能体。研究表明，在正常情况下，由于算法的正常回报或负回报，算法需要更多的事件来达到最优Q值。在这种新形式的算法中，代理只选择那些与前一个相比具有更高即时奖励信号的动作。本文的贡献是提出了新的Q-学习算法，以最大限度地提高算法的性能，并减少达到最佳Q值所需的事件数。在一个20 × 20的网格世界确定性环境中对所提算法的有效性进行了仿真，并给出了两种形式的Q-学习算法的仿真结果。
2010-09-14 cs.LG
OptionGAN: Learning Joint Reward-Policy Options using Generative Adversarial Inverse Reinforcement Learning
School of Computer Science, McGill University（麦吉尔大学计算机科学学院）；Department of Electrical, Computer, and Software Engineering, McGill University（麦吉尔大学电气、计算机与软件工程系）
强化学习在学习策略方面显示出了解决复杂问题的前景。然而，手动指定一个好的奖励函数可能很困难，特别是对于复杂的任务。逆强化学习提供了一个有用的范例，可以直接从专家演示中学习潜在的奖励函数。然而，在现实中，演示的语料库可能包含的轨迹产生于一组不同的潜在奖励功能，而不是一个单一的。因此，在逆强化学习中，考虑这样的分解是有用的。强化学习中的选项框架专门设计用于以类似的方式分解策略。因此，我们扩展的选项框架，并提出了一种方法，同时恢复奖励选项，除了政策选项。我们利用对抗方法来学习联合奖励政策选项，只使用观察到的专家状态。我们证明了这种方法在简单和复杂的连续控制任务中都能很好地工作，并且在一次性迁移学习中表现出显着的性能提高。
2017-11-24 cs.LG
Online Restless Multi-Armed Bandits with Long-Term Fairness Constraints
Stony Brook University（石溪大学）
针对多臂赌博机缺乏公平性问题，提出RMAB-F模型与Fair-UCRL算法，在未知MDP下实现长期公平约束，并证明遗憾次线性界，计算高效且实验有效。
2023-12-22 cs.LG
Procedural Fairness Failures in RLHF from Preference Averaging
Vishnu Institute of Technology（维什努理工学院）
该研究指出标准RLHF因偏好平均引发程序公平性失败，提出PA-RLHF分开优化不同偏好模式，提升了对齐准确率并缩小了群体公平差距，对大模型和智能体系统有重要意义。
2026-08-12 cs.AI cs.CL cs.LG
Towards a Reward-Free Reinforcement Learning Framework for Vehicle Control
针对车辆控制中强化学习奖励设计易引入偏差、模仿学习需高质量专家动作的问题，提出无奖励强化学习框架，通过目标状态预测网络和无奖励状态引导策略网络优化行为，提升学习效率并适应无奖励环境。
2025-04-18 cs.LG
On Feasible Rewards in Multi-Agent Inverse Reinforcement Learning
Department of Computer Science University of Zurich（计算机科学系苏黎世大学）
本文提出熵正则化的马尔可夫博弈，解决多智能体逆强化学习中奖励函数的可行集问题，并分析误差对策略学习的影响。
2025-11-25 cs.LG
PAGAR: Taming Reward Misalignment in Inverse Reinforcement Learning-Based Imitation Learning with Protagonist Antagonist Guided Adversarial Reward
Boston University（波士顿大学）
本文提出PAGAR半监督奖励设计范式，通过混合奖励函数训练策略，解决IRL中奖励错位导致的任务失败，并在复杂任务中优于标准IL基线。
2024-02-07 cs.LG
Diffusion Classifier-Driven Reward for Offline Preference-based Reinforcement Learning
针对离线偏好强化学习中轨迹级偏好难以精确学习逐步奖励的问题，提出扩散分类器驱动的奖励方法（DPR及条件变体C-DPR），通过判别性推断提升奖励质量，实验验证优于Bradley-Terry模型。
2025-09-24 cs.LG
Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning
本文提出一种结合因果推断与多模态表示学习的反事实奖励模型，通过反事实信任分数缓解RLHF中的多模态偏差，在假新闻检测中达到89.12%准确率并减少虚假相关性和不公平强化信号。
2025-08-27 cs.LG
Versatile Inverse Reinforcement Learning via Cumulative Rewards
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
逆向强化学习从专家演示中推断出奖励函数，旨在对专家的行为和意图进行编码。目前的方法通常使用生成和单峰模型来实现这一点，这意味着它们编码单个行为。在常见的情况下，有各种解决方案的问题和专家表现出多才多艺的行为，这严重限制了这些方法的泛化能力。我们提出了一种新的逆强化学习方法，通过将恢复的奖励公式化为迭代训练的鉴别器的总和来克服这些问题。我们在模拟任务上表明，我们的方法能够恢复一般的，高质量的奖励函数，并产生与为通用行为设计的行为克隆方法相同质量的政策。
2021-11-15 cs.LG
Effective Reward Specification in Deep Reinforcement Learning
Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
该论文综述深度强化学习中的有效奖励规范策略，分析奖励失配与学习低效等挑战，并提出改善样本效率和对齐的原创贡献。
2024-12-10 cs.LG
Informativeness of Reward Functions in Reinforcement Learning
MPI-SWS（马克斯·普朗克软件系统研究所）；The Alan Turing Institute（艾伦·图灵研究所）
本文研究强化学习中奖励函数的信息量设计问题，提出一种能够自适应智能体当前策略的奖励信息量准则，以加速智能体收敛并提供可解释的奖励，理论和导航实验均验证了其有效性。
2024-02-10 cs.LG
Exploration in Deep Reinforcement Learning: A Survey
Ulsan National Institute of Science and Technology（蔚山国立科学技术院）；OpenAI LP（OpenAI有限合伙公司）
本文回顾了深度强化学习中的探索技术。探索技术是解决稀疏奖励问题时最重要的。在稀疏奖励问题中，奖励是罕见的，这意味着智能体不会通过随机行动经常找到奖励。在这种情况下，强化学习学习奖励和动作关联是具有挑战性的。因此，需要设计更复杂的勘探方法。本文对现有的探索方法进行了全面的综述，并根据其主要贡献将其分为奖励新状态、奖励不同行为、基于目标的方法、概率方法、基于模仿的方法、安全探索和基于随机的方法。最后，讨论了目前尚待解决的问题，为今后的研究提供了有价值的方向。最后，从复杂度、计算量和总体性能等方面对不同类别的方法进行了比较。
2022-05-02 cs.LG
Actively Learning Costly Reward Functions for Reinforcement Learning
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Université de Strasbourg（斯特拉斯堡大学）
将深度强化学习的最新进展转移到现实世界的应用程序受到高数据需求的阻碍，因此效率和可扩展性较低。通过对组件（如重放缓冲区或更稳定的学习算法）的独立改进，以及通过大规模分布式系统，标准基准测试任务的训练时间可以从几天减少到几个小时。然而，虽然模拟环境中的奖励是明确定义的并且易于计算，但奖励评估在许多现实世界环境中成为瓶颈，例如，在分子优化任务中，需要计算要求很高的模拟甚至实验来评估状态并量化奖励。因此，如果没有大量的计算资源和时间，训练可能会变得过于昂贵。我们建议通过用神经网络建模的奖励取代昂贵的地面真实奖励来缓解这个问题，用主动学习组件来抵消训练过程中状态和奖励分布的非平稳性。我们证明，使用我们提出的ACRL方法（主动学习强化学习的昂贵奖励），可以更快地在复杂的现实环境中训练代理。通过将强化学习方法应用于新的领域，我们证明了我们可以为化学，材料科学和工程中的现实世界优化问题找到有趣且非平凡的解决方案。
2022-11-23 cs.LG
Reward-Conditioned Reinforcement Learning
University of Warsaw（华沙大学）；Nomagic；UC Berkeley, Amazon FAR（伯克利大学，亚马逊FAR）
本文提出基于奖励的强化学习（RCRL），通过在收集经验时使用单一名义目标，使智能体在不额外交互的情况下暴露于多种奖励目标，从而提高样本效率并支持零样本行为调整。
2026-05-19 cs.LG
Adapting to Reward Progressivity via Spectral Reinforcement Learning
RMIT University（皇家墨尔本理工大学）
在本文中，我们考虑了具有渐进奖励的强化学习任务;也就是说，奖励的大小往往会随着时间的推移而增加。我们假设这种属性对于基于值的深度强化学习代理来说可能是有问题的，特别是如果代理必须首先在任务的相对无回报区域取得成功，以便到达更多有回报的区域。为了解决这个问题，我们提出了Spectral DQN，它将奖励分解为频率，这样只有在发现大奖励时才会激活高频。这使得训练损失得到平衡，从而在小奖励区域和大奖励区域之间提供更均匀的权重。在两个具有极端奖励累进性的领域中，标准的基于价值的方法显着挣扎，Spectral DQN能够取得更大的进展。此外，当对一组六款标准的Atari游戏进行评估时，Spectral DQN仍然具有竞争力：虽然它在一款游戏中表现不佳，但它在三款游戏中轻松超越了基准。这些结果表明，该方法并不过拟合其目标问题，并表明频谱DQN可能具有超越解决奖励累进性的优势。
2021-04-29 cs.LG
Improving the Effectiveness of Potential-Based Reward Shaping in Reinforcement Learning
L3S Research Center（L3S研究中心）
本文研究基于势能的奖励塑形在强化学习中的有效性，提出通过势能函数的线性平移在不改变编码偏好和初始Q值的情况下提升塑形效果，并给出理论局限性与实验验证。
2025-02-03 cs.LG
Deep Reinforcement Learning with Hybrid Intrinsic Reward Model
The Hong Kong Polytechnic University（香港理工大学）；Eastern Institute of Technology（东方理工学院）；Ningbo Institute of Digital Twin（宁波数字孪生研究院）
针对单一内在奖励限制探索多样性与效率的问题，提出HIRE框架，通过融合策略构建混合内在奖励，在通用与无监督RL基准上系统验证，显著提升探索效率、多样性与技能获取。
2025-01-22 cs.LG
Bayesian Inverse Reinforcement Learning for Non-Markovian Rewards
University of Central Florida（中佛罗里达大学）；University of Colorado Boulder（科罗拉多大学博尔德分校）
针对现有逆强化学习多适配马尔可夫奖励、非马尔可夫奖励推断需奖励信号的问题，提出可直接从专家行为推断奖励机的贝叶斯逆强化学习框架，改进模拟退火最大化奖励后验，性能优于现有二元非马尔可夫奖励学习方法。
2024-06-20 cs.LG
Beyond Binary Rewards: A Comparative Study of Reward Design for Reinforcement Unlearning
Technical University of Munich（慕尼黑工业大学）；Sapienza University of Rome（罗马大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
该研究在RUL框架下提出两种新型奖励函数，经RWKU基准实验，其遗忘效率较二元奖励提升，速度快达3倍且保留模型效用，表明奖励设计是机器遗忘效率的关键驱动因素。
2026-07-31 cs.LG
From Novelty to Imitation: Self-Distilled Rewards for Offline Reinforcement Learning
ReLOAD通过自蒸馏生成内在奖励，解决离线强化学习中显式奖励标注的难题，实现稳健的策略学习并达到传统方法的性能水平。
2025-12-22 cs.LG
Revisiting Social Welfare in Bandits: UCB is (Nearly) All You Need
Indian Institute of Technology Kharagpur（印度理工学院卡拉格普尔分校）；Indian Institute of Technology Kanpur（印度理工学院坎普尔分校）
本文证明标准UCB算法配合初始均匀探索即可在仅依赖加性霍夫丁界的情况下实现接近最优的纳什遗憾，并推广至p-均值遗憾，统一达到接近最优界，克服了现有方法对奖励分布的严格限制。
2025-10-24 cs.LG
Intersectional Fairness in Reinforcement Learning with Large State and Constraint Spaces
University of Pennsylvania（宾夕法尼亚大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文研究强化学习中面向交叉群体的多目标公平优化，提出基于状态奖励重加权的框架，并给出即使目标数指数庞大时仍 oracle-efficient 的算法，覆盖表格型与结构化大型 MDP，且通过优先连接图 MDP 实验验证。
2025-02-17 cs.GT cs.LG
FairDICE: Fairness-Driven Offline Multi-Objective Reinforcement Learning
Korea University（韩国大学）；Yonsei University（延世大学）；Gauss Labs Inc.（Gauss实验室公司）
针对离线多目标强化学习中非线性公平福利目标优化的空白，提出FairDICE框架，借助分布校正估计实现无需偏好权重搜索的稳定高效学习，在基准测试中取得优于基线的公平感知性能。
2025-11-18 cs.AI cs.LG
Fairness in Reinforcement Learning
Shanghai Jiao Tong University（上海交通大学）；University of Michigan-Shanghai Jiao Tong University Joint Institute（上海交通大学密西根学院）
决策支持系统（例如，用于生态保护）和自治系统（例如，智能城市中的自适应控制器）开始部署在实际应用中。虽然它们的操作通常会影响许多用户或利益相关者，但它们的设计通常不会考虑公平性，这可能会导致对某些用户或利益相关者完全不公平的结果。为了解决这个问题，我们提倡使用社会福利函数来编码公平性，并在（深度）强化学习的背景下提出这个普遍的新问题，尽管它可能会扩展到其他机器学习任务。
2019-07-24 cs.AI cs.LG stat.ML
Merit-based Fair Combinatorial Semi-Bandit with Unrestricted Feedback Delays
Sun Yat-sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）
本文研究了在无限制反馈延迟和基于功绩公平性约束下的随机组合半老虎机问题，提出了能实现次线性奖励遗憾与公平性遗憾的新算法，并通过实验验证了其有效性。
2024-07-29 cs.LG stat.ML
Fairness Aware Reinforcement Learning via Proximal Policy Optimization
针对多智能体系统的奖励公平分配问题，提出融合回顾性与前瞻性惩罚分量的Fair-PPO算法，在两个测试场景中实现了优于PPO的公平性，性能比肩现有先进公平强化学习算法。
2025-09-02 cs.LG cs.MA
FairTest: Search-Based Fairness Testing for Multi-Agent Reinforcement Learning Systems
Macau University of Science and Technology（澳门科技大学）
针对多智能体强化学习系统公平性测试缺失的问题，提出基于搜索的FairTest方法，结合三适应度引导与优先级排序，在三个环境上检测到最多公平性故障，故障数平均超最强基线221%。
2026-09-24 cs.LG cs.SE
Fairness-Aware Reinforcement Learning (FAReL): A Framework for Transparent and Balanced Sequential Decision-Making
Vrije Universiteit Brussel（布鲁塞尔自由大学）；Technische Universiteit Delft（代尔夫特理工大学）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）；Universiteit Leiden（莱顿大学）；Universiteit Hasselt（哈塞尔特大学）
本文提出公平感知强化学习框架FAReL，通过扩展MDP（$f$MDP）显式建模个体与群体，在招聘和欺诈检测场景中实现性能与公平性的可探索权衡，以轻微性能损失换取更公平的策略。
2025-09-26 cs.AI cs.LG
Evolution of fairness in multi-objective reinforcement learning framework
Shaanxi Normal University（陕西师范大学）；Inner Mongolia University（内蒙古大学）；Ningxia University（宁夏大学）
本文提出多目标强化学习框架，通过公平压力系数权衡收益与公平，模拟最后通牒博弈，发现中等压力下响应者变得宽容，揭示了策略逆转机制，扩展了RL范式以解释人类社交行为。
2026-09-29 cond-mat.dis-nn cs.LG
Fairness in Reinforcement Learning: A Survey
Stanford University（斯坦福大学）；University of Pennsylvania（宾夕法尼亚大学）
本文针对强化学习公平性研究尚不成熟的现状，梳理了该领域前沿进展，涵盖公平性的产生场景、定义、单/多智能体实现方法及应用领域，并指出RLHF公平性等待填补的研究空白。
2024-05-11 cs.AI cs.CY cs.LG
Dynamic Multichannel Access via Multi-agent Reinforcement Learning: Throughput and Fairness Guarantees
Hanyang University（汉阳大学）
我们考虑一个多信道随机接入系统，其中每个用户在每个时隙访问一个单一的信道与接入点（AP）进行通信。用户随机到达系统，并在一定的时隙内被激活，然后从系统中消失。在这样的动态网络环境下，我们提出了一个分布式多通道接入协议的基础上，多代理强化学习（RL），以提高吞吐量和活跃用户之间的公平性。与以前的方法调整信道接入概率在每个时隙，建议RL算法确定性地选择一组信道接入策略，为几个连续的时隙。为了有效地降低所提出的RL算法的复杂性，我们采用了分支决斗Q网络架构，并提出了一种有效的训练方法，用于在时变用户集上产生适当的Q值。我们进行了广泛的模拟现实的交通环境，并证明了所提出的在线学习提高了吞吐量和公平性相比，传统的RL方法和集中式调度策略。
2021-05-10 cs.LG eess.SP
Group Meritocratic Fairness in Linear Contextual Bandits
Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）；ENSAE（法国国立统计与经济管理学院）；Institut Polytechnique de Paris（巴黎理工学院）
我们研究了线性上下文强盗问题，其中一个代理必须从一个池中选择一个候选人，每个候选人属于一个敏感组。在这种情况下，候选人的报酬在不同群体之间可能无法直接比较，例如，当代理人是雇用来自不同族裔群体的候选人的雇主，而某些群体由于歧视性偏见和/或社会不公正而获得较低的报酬时。我们提出了一个公平的概念，指出代理的政策是公平的，当它选择一个候选人与最高的相对排名，这衡量如何好的奖励是从同一组的候选人相比。这是一个非常强的公平性概念，因为相对排名不是由代理直接观察到的，而是取决于潜在的奖励模型和奖励的分配。因此，我们研究的问题，学习的政策，近似一个公平的政策的条件下，组之间的上下文是独立的，每个组的奖励分配是绝对连续的。特别是，我们设计了一个贪婪的政策，在每一轮构造一个岭回归估计所观察到的上下文奖励对，然后使用经验累积分布函数计算每个候选人的相对排名的估计。我们证明，尽管它的简单性和缺乏一个初始的探索阶段，贪婪的政策实现，日志因子和高概率，一个公平的伪遗憾的顺序$\sqrt{dT}$后，$T$轮，其中$d$是上下文向量的维度。该政策还满足人口均等在每一轮时，平均所有可能的信息选择之前。最后，我们使用模拟设置和美国人口普查数据上的实验表明，我们的政策实现了次线性公平伪遗憾也在实践中。
2022-12-20 cs.LG stat.ML
Fairness of Exposure in Stochastic Bandits
Cornell University（康奈尔大学）
上下文强盗算法已被广泛用于在线系统（例如市场，音乐流媒体，新闻）中的推荐，在这些系统中，它们现在对哪些项目被暴露给用户产生重大影响。这就提出了对这些物品以及从这种曝光中受益的卖家、艺术家和作家的公平性的问题。我们认为，传统的强盗公式可能会导致一个不可取的和不公平的赢家通吃的风险分配。为了解决这个问题，我们提出了一个新的强盗目标，保证基于价值的公平暴露的项目，同时优化效用的用户。我们制定公平后悔和奖励后悔在这种情况下，随机多武装土匪和随机线性土匪的算法。我们证明了该算法实现了次线性公平后悔和奖励后悔。除了理论分析，我们还提供了经验证据，这些算法可以公平地分配暴露于不同的武器有效。
2021-09-12 cs.IR cs.LG
Towards Better Fairness-Utility Trade-off: A Comprehensive Measurement-Based Reinforcement Learning Framework
East China Normal University（华东师范大学）；Tianjin University（天津大学）；Nanyang Technological University（南洋理工大学）；Singapore Management University（新加坡管理大学）
本文提出基于强化学习的CFU框架，通过综合测量多种公平性指标与效用，在6个任务和3个模型上平均提升37.5%，在不牺牲效用的情况下全面改善分类器公平性。
2023-07-21 cs.CY cs.LG cs.SE
Achieving Fairness in Multi-Agent Markov Decision Processes Using Reinforcement Learning
The Ohio State University（俄亥俄州立大学）
针对未知环境下多智能体有限视野MDP的公平决策问题，提出基于置信界与在线凸优化的强化学习方法，并给出次线性遗憾、PAC保证、离线算法及策略梯度方案。
2023-06-01 cs.LG cs.MA
AdaFair-MARL: Enforcing Adaptive Fairness Constraints in Multi-Agent Reinforcement Learning
Cornell Tech（康奈尔科技）；Cornell University（康奈尔大学）；Bala-Cynwyd, PA, USA（巴拉-辛威德, 美国宾夕法尼亚州）
本文提出AdaFair-MARL框架，通过将工作负载公平性作为显式约束，使智能体在优化团队性能的同时保持贡献平衡，实验表明其在医院协调环境中的有效性。
2026-04-22 cs.AI cs.GT cs.LG
A Hierarchical Bayesian Approach to Inverse Reinforcement Learning with Symbolic Reward Machines
Boston University（波士顿大学）
在强化学习（RL）问题中，错误的奖励会降低样本效率并导致不期望的行为。我们提出了符号奖励机，将高层次的任务知识时，指定的奖励信号。符号奖励机通过允许转换携带谓词和符号奖励输出来增强现有的奖励机形式。这种形式主义很适合逆强化学习，其中的关键挑战是从一些专家演示中确定符号值的适当分配。我们提出了一个层次贝叶斯方法推断最有可能的任务，使具体化的奖励机可以区分专家演示的轨迹，从其他轨迹具有高精度。实验结果表明，学习奖励机可以显着提高复杂RL任务的训练效率，并在不同的任务环境配置之间具有很好的泛化能力。
2022-04-20 cs.AI cs.LG
Distributional Reward Decomposition for Reinforcement Learning
Tsinghua University（清华大学）；Microsoft Research（微软研究院）；UC San Diego（加州大学圣地亚哥分校）
许多强化学习（RL）任务具有特定的属性，可以利用这些属性来修改现有的RL算法以适应这些任务并进一步提高性能，并且此类属性的一般类别是多奖励通道。在这些环境中，完整的奖励可以分解为从不同渠道获得的子奖励。现有的工作奖励分解要么需要事先了解的环境分解的全部奖励，或分解奖励没有先验知识，但性能下降。在本文中，我们提出了分布式奖励分解强化学习（DRDRL），一种新的奖励分解算法，捕捉多个奖励通道结构下的分布式设置。从经验上讲，我们的方法捕获了多通道结构，并发现了有意义的奖励分解，而不需要任何先验知识。因此，我们的代理实现了更好的性能比现有的方法在多个奖励通道的环境。
2019-11-06 cs.AI cs.LG
Dynamic Fair Federated Learning Based on Reinforcement Learning
Beijing University of Posts and Telecommunications（北京邮电大学）
针对联邦学习数据异构导致的设备间不公平问题，本文提出强化学习驱动的 DQFFL 算法，利用 α-公平性动态分配客户端权重，并在性能、公平性与收敛速度上超越现有方法。
2023-11-02 cs.CY cs.IT cs.LG
FaiR-IoT: Fairness-aware Human-in-the-Loop Reinforcement Learning for Harnessing Human Variability in Personalized IoT
University of California, Irvine（加州大学欧文分校）
由于可穿戴技术的快速发展，监测复杂的人类环境变得可行，为开发人在环物联网系统铺平了道路，这些系统可以自然进化以自主适应人类和环境状态。然而，设计这种个性化物联网应用程序的一个核心挑战来自人类的可变性。这种可变性源于以下事实：不同的人在与IoT应用交互时表现出不同的行为（人内可变性），同一个人在与同一个IoT应用交互时可能会随着时间的推移而改变行为（人间可变性），并且人类行为可能会受到同一环境中其他人的行为的影响（多人可变性）。为此，我们提出了FaiR-IoT，这是一个基于强化学习的通用框架，用于自适应和公平感知的人在环物联网应用。在FaiR-IoT中，三个级别的强化学习代理相互作用，以不断学习人类偏好，并最大限度地提高系统的性能和公平性，同时考虑到人类内部，人类之间和多人的可变性。我们验证了两个应用程序，即（i）人在环汽车高级驾驶辅助系统和（ii）人在环智能家居提出的框架。在这两个应用程序上获得的结果验证了FaiR-IoT的通用性及其提供个性化体验的能力，同时与非个性化系统相比，将系统性能提高了40%-60%，并将多人系统的公平性提高了1.5个数量级。
2021-03-30 cs.LG cs.MA
