From Parity to Preference-based Notions of Fairness in Classification
MPI-SWS（马克斯·普朗克软件系统研究所）；MPI-IS（马克斯·普朗克智能系统研究所）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）
在不断扩大的应用程序中采用自动化，数据驱动的决策已经引起了人们对其对某些社会群体的潜在不公平的担忧。在这种情况下，最近的一些研究集中在定义，检测和消除数据驱动的决策系统中的不公平。然而，现有的公平概念，基于不同社会群体的待遇或结果的均等（平等），往往是相当严格的，限制了整体决策的准确性。在本文中，我们从经济学和博弈论中的公平分工和无嫉妒文献中汲取灵感，并提出了基于偏好的公平概念--在各种决策处理或结果之间进行选择，任何一组用户都会集体偏好其处理或结果，而不管与其他组相比的（差异）平价。然后，我们引入易处理的代理设计的边缘为基础的分类器，满足这些基于偏好的公平性的概念。最后，我们用各种合成和真实世界的数据集进行实验，并表明基于偏好的公平性比基于奇偶校验的公平性允许更高的决策准确性。
2017-11-28 cs.LG stat.ML
Preference-Informed Fairness
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；Weizmann Institute of Science（魏茨曼科学研究所）
我们研究决策系统中的公平概念，当个人对决策的可能结果有不同的偏好时。我们的出发点是Dwork等人的开创性工作，其中引入了个体公平性（IF）的概念：给定特定任务的相似性度量，根据该度量具有相似资格的每对个体都应该获得相似的结果。我们表明，当个人对结果有不同的偏好时，要求IF可能会无意中导致IF旨在保护的个人不太喜欢的结果。一个自然的替代IF是公平分配的经典概念，无嫉妒（EF）：没有人应该喜欢另一个人的结果超过自己的。虽然EF允许所有个体都获得高度偏好的结果的解决方案，但EF也可能过度限制。例如，如果许多人都同意最佳结果，那么如果任何一个人接受了这个结果，他们都必须接受它，而不管每个人对结果的潜在资格。我们引入并研究了一个新的概念，偏好知情的个人公平（PIIF），这是一个放松的个人公平和嫉妒自由。在高层次上，PIIF要求结果满足IF式约束，但允许偏差，只要它们符合个人的偏好。我们表明，PIIF可以允许的结果是更有利于个人比任何IF解决方案，同时提供了更多的灵活性，决策者比EF。此外，我们展示了如何有效地优化任何凸目标的结果受到PIIF丰富的个人偏好。最后，我们证明了广泛的适用性的PIIF框架，通过扩展我们的定义和算法，多任务有针对性的广告设置Dwork和Ilvento介绍。
2019-09-10 cs.CY cs.DS cs.LG
FAIRO: Fairness-aware Adaptation in Sequential-Decision Making for Human-in-the-Loop Systems
University of California, Irvine（加州大学尔湾分校）
针对人在回路序贯决策系统中人类偏好动态变化引发的公平性偏差问题，提出基于Options强化学习的FAIRO算法，支持公平性-效用权衡，在三类场景中平均提升公平性35.36%。
2023-11-06 cs.AI cs.CY cs.LG
Fairness Begins with State: Purifying Latent Preferences for Hierarchical Reinforcement Learning in Interactive Recommendation
Chongqing Institute of Green and Intelligent Technology, Chinese Academy of Sciences（中国科学院重庆绿色智能技术研究所）；Chongqing School, University of Chinese Academy of Sciences（中国科学院大学重庆学院）；The First Affiliated Hospital, University of Science and Technology of China（中国科学技术大学第一附属医院）；City University of Hong Kong（香港城市大学）
本文提出DSRM-HRL框架，通过净化潜在偏好解决交互推荐中的公平与准确冲突，实现推荐效用与曝光公平的平衡。
2026-03-04 cs.AI cs.LG
Learning Heterogeneous Performance-Fairness Trade-offs in Federated Learning
Department of Computer Science and Engineering and the Research Institute of Trustworthy Autonomous Systems at Southern University of Science and Technology（计算机科学与工程系和可信自主系统研究 institute at 南方科技大学）
为解决联邦学习中均匀偏好采样忽视客户端异构性及局部与全局 Pareto 前沿差距的问题，提出 HetPFL 框架，通过自适应偏好采样和偏好感知超网络融合有效学习局部与全局 Pareto 前沿，实现线性收敛并显著优于基线。
2025-04-30 cs.AI cs.LG
PraFFL: A Preference-Aware Scheme in Fair Federated Learning
Southern University of Science and Technology（南方科技大学）；The University of Hong Kong（香港大学）
针对现有公平联邦学习方法仅支持客户端单一偏好的局限，提出偏好感知方案PraFFL，可实时生成适配客户端任意偏好的最优模型，具备线性收敛性，性能优于六种同类算法。
2025-01-11 cs.CY cs.DC cs.LG
HCRide: Harmonizing Passenger Fairness and Driver Preference for Human-Centered Ride-Hailing
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）；Department of Computer Science and Engineering, Lehigh University（莱斯利大学计算机科学与工程系）
本研究设计了基于Habic算法的HCRide网约车系统，在不损害效率的前提下协调乘客公平性与司机偏好，经深圳和纽约数据集验证，其效率、公平性及司机偏好满意度均优于现有基线。
2026-08-07 cs.LG cs.SI
$ϕ$-DPO: Fairness Direct Preference Optimization Approach to Continual Learning in Large Multimodal Models
CVIU Lab, University of Arkansas（阿肯色大学 CVIU 实验室）；Dep. of Geosciences, University of Arkansas（阿肯色大学地球科学系）；Carnegie Mellon University（卡内基梅隆大学）
本文提出$ϕ$-DPO框架，通过直接偏好优化缓解持续学习中的灾难性遗忘问题，并解决数据不平衡导致的公平性问题，实验表明其在多个基准上表现优异。
2026-03-30 cs.CV cs.LG
Learning Social Fairness Preferences from Non-Expert Stakeholder Opinions in Kidney Placement
Missouri University of Science and Technology（密苏里科技大学）；Michigan State University（密歇根州立大学）
针对肾脏分配推荐系统的社会偏见问题，本文设计公平反馈众包调查，并提出基于 logit 公平反馈模型和社会反馈遗憾最小化的偏好学习算法，以验证接受率预测器的公平性。
2024-04-04 cs.HC cs.LG
Fairer Preferences Elicit Improved Human-Aligned Large Language Model Judgments
University of Cambridge（剑桥大学）；University of Oxford（牛津大学）
本文揭示LLM评估器的偏好脆弱性，并提出零样本提示优化框架ZEPO，通过优化偏好决策公平性，在无标注数据下显著提升了LLM评估器与人类评判的对齐度。
2024-10-12 cs.AI cs.CL cs.CY
Fairness based Multi-Preference Resource Allocation in Decentralised Open Markets
Nagoya Institute of Technology（名古屋工业大学）；Kyoto University（京都大学）
在这项工作中，我们专注于资源分配在一个分散的开放市场。在分散的开放市场中，由多个供应商和多个动态到达的买家组成，从而使市场变得复杂和动态。因为，在这些市场中，供应商和买家之间的谈判发生在多个冲突的问题，如价格，可扩展性，鲁棒性，延迟等，因此，优化资源分配在这样的开放市场成为直接依赖于两个关键的决定，这是;纳入不同类型的买家的喜好，和公平的供应商启发策略。为此，在这项工作中，我们提出了一个三步资源分配的方法，采用了反向拍卖的范例。在第一步，优先级标签被附加到每个投标供应商的基础上提出的优先级机制。然后，在第二步骤中，针对购买者的所有不同种类的偏好计算偏好得分。最后，在第三步，基于供应商的优先级标签和偏好得分，确定获胜者。最后，我们比较了所提出的方法与两个国家的最先进的资源定价和分配策略。实验结果表明，该方法优于其他两种资源分配方法的独立效用的买方和公开市场的整体效用。
2021-09-01 cs.GT cs.LG cs.MA
Towards Reward Fairness in RLHF: From a Resource Allocation Perspective
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学人工智能学院）；Beijing Key Laboratory of Research on Large Models and Intelligent Governance（北京大型模型与智能治理研究重点实验室）；Engineering Research Center of Next-Generation Intelligent Search and Recommendation, MOE（下一代智能搜索与推荐工程技术研究中心，教育部）；Kuaishou Technology（快手科技）；University of Chinese Academy of Sciences（中国科学院大学）
针对RLHF中奖励存在多种偏差导致的不公平问题，本文从资源分配视角提出与偏差无关的方法，通过公平性正则化和公平性系数实现奖励公平，实验表明该方法能更公平地使LLMs与人类偏好对齐。
2025-05-29 cs.AI cs.LG
Integrating Fairness and Explainability in a Multiple Instance Reinforcement Learning System
University of Amsterdam（阿姆斯特丹大学）
本研究提出一个结合强化学习多重实例学习、对抗性去偏和偏好条件超网络的多目标框架，用于学生风险预测，发现偏好条件无法稳定控制公平性与性能的权衡，需显式梯度平衡机制。
2026-10-02 cs.CL cs.LG
Fairness Perceptions in Regression-based Predictive Models
Missouri University of Science and Technology（密苏里科技大学）；United Network for Organ Sharing（器官共享联合网络）
针对肾脏移植回归预测中的偏见问题，提出三种基于散度的群体公平性概念，并通过85人众包反馈与 Mixed-Logit 模型识别社会偏好，发现分离性和充分性更受认可，且年龄维度存在不公平。
2025-05-09 cs.HC cs.LG
Aiming to Minimize Alcohol-Impaired Road Fatalities: Utilizing Fairness-Aware and Domain Knowledge-Infused Artificial Intelligence
University of Hartford（哈特福德大学）；Rutgers University - Camden（罗格斯大学卡姆登分校）；Iona University（艾奥纳大学）；Edith Cowan University（伊迪丝·考恩大学）
本文提出一种融合公平感知与领域知识的人工智能预测器，用于分析不同地理位置的酒驾致死情况，以指导警务资源公平高效配置，减少酒驾相关死亡并提升道路安全。
2023-11-25 cs.AI cs.CY cs.LG
Quadratic Metric Elicitation for Fairness and Beyond
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Google Research Accra（谷歌研究院阿克拉分部）
度量引出是最近的框架，引出分类性能指标，最好地反映隐式用户偏好的基础上的任务和上下文。然而，可用的启发策略已被限制为预测率的线性（或准线性）函数，这对于包括公平性在内的许多应用来说实际上是限制性的。本文开发了一种策略，以引出更灵活的多类指标定义的二次函数率，旨在更好地反映人类的喜好。我们展示了它在引出基于二次违反的组公平度量中的应用。我们的策略只需要相对的偏好反馈，是强大的噪音，并达到接近最佳的查询复杂度。我们进一步扩展了这种策略，以引出多项式度量-从而扩大了度量引出的用例。
2022-08-21 cs.LG stat.ML
Inverse Optimality for Fair Digital Twins: A Preference-based approach
Gran Sasso Science Institute（gran sass science institute）；Scuola IMT Alti Studi Lucca；Fondazione Ugo Bordoni
本文提出一种基于偏好的方法，通过引入公平性作为可学习目标，改进数字孪生的决策过程，以更好地反映人类感知的公平性。
2025-12-09 cs.LG cs.SE math.OC
Pareto-Guided Teacher Alignment for Fair Personalized Text Generation
Purdue University（普渡大学）
提出帕累托引导的教师对齐框架，通过修订候选生成、对感知可行性门控、帕累托候选选择和偏好优化，在减少人口统计差异的同时保持个性化保真度，实验表明公平缓解效果依赖于目标且跨域迁移不一致。
2026-06-08 cs.AI cs.CL cs.CY
Inference-Time Policy Alignment for Fair Reinforcement Learning
该研究提出乘法策略塑造框架，在不更新预训练RL策略参数的情况下，于推理时提升公平性，同时保留核心任务性能，适用于各类深度RL智能体。
2026-08-04 cs.AI cs.LG
Privacy-Preserving Orthogonal Aggregation for Guaranteeing Gender Fairness in Federated Recommendation
University of Science and Technology of China（中国科学技术大学）；Aarhus University（奥胡斯大学）
针对联邦推荐中性别公平性与隐私保护的问题，提出PPOA方法，通过安全聚合、量化技术和正交映射，在保护用户属性隐私的同时提升不同性别群体推荐效果，实现最优公平性。
2024-11-29 cs.LG
PluralLLM: Pluralistic Alignment in LLMs via Federated Learning
University of California, Irvine（加利福尼亚大学欧文分校）
本文提出 PluralLLM，利用 FedAvg 联邦学习让多用户群体在不共享敏感数据的情况下训练偏好预测器，在问答对齐任务中实现更快收敛、更高对齐分且保持公平性。
2025-03-13 cs.CL cs.LG
Scalable Multi-Objective Reinforcement Learning with Fairness Guarantees using Lorenz Dominance
University of Amsterdam（阿姆斯特丹大学）
本文提出一种结合公平性保证的多目标强化学习算法，通过洛伦兹支配识别公平奖励分布，提升多目标问题的可扩展性，在西安和阿姆斯特丹两个大型城市中展示出优于传统方法的性能。
2026-03-26 cs.LG
Direct Preference Optimization With Unobserved Preference Heterogeneity: The Necessity of Ternary Preferences
Stanford University（斯坦福大学）
针对 RLHF 与 DPO 忽视标注者异质性和二元反馈局限的问题，本文证明三元以上排序的可识别性，并提出 EM 版 DPO 与最小-最大遗憾聚合框架。
2025-10-17 cs.LG
Fairness Reprogramming
UC Santa Barbara（加州大学圣巴巴拉分校）；Michigan State University（密歇根州立大学）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）；The Hong Kong Polytechnic University（香港理工大学）
尽管最近在促进机器学习（ML）公平性方面取得了巨大进展，但现有的主流方法大多需要重新训练或微调神经网络的整个权重以满足公平性标准。然而，由于计算和存储成本高、数据效率低以及模型隐私问题，这对于那些大规模训练模型来说在实践中通常是不可行的。在本文中，我们提出了一个新的通用公平性学习范式，称为FairReprogram，它结合了模型重编程技术。具体来说，FairReprogram考虑了模型不能改变的情况，并在输入中附加了一组扰动，称为公平触发器，该触发器根据最小-最大公式调整为公平标准。我们进一步介绍了一个信息理论框架，解释了为什么以及在什么条件下可以实现公平的目标，使用公平触发器。我们从理论上和经验上证明，公平性触发器可以通过提供错误的人口统计信息来有效地掩盖固定ML模型输出预测中的人口统计偏差，从而阻碍模型利用正确的人口统计信息进行预测。在NLP和CV数据集上进行的大量实验表明，在两个广泛使用的公平性标准下，我们的方法可以实现比基于再训练的方法更好的公平性改进，并且数据依赖性要小得多。代码可在https://github.com/UCSB-NLP-Chang/Fairness-Reprogramming.git上获得。
2022-12-12 cs.AI cs.CY cs.LG
Fairness Aware Reward Optimization
CSAIL, Department of EECS, Massachusetts Institute of Technology（计算机科学与人工智能实验室，电气工程与计算机科学系，麻省理工学院）；School of CIT, MCML, MDSI, Technical University of Munich（信息科技学院，MCML，MDSI，慕尼黑技术大学）
Faro通过在处理过程中训练奖励模型，实现公平性、准确性与校准性的平衡，减少偏见并提升模型质量。
2026-02-08 cs.AI cs.LG
Fair Performance Metric Elicitation
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Google Research（谷歌研究院）；Google Research Accra（谷歌研究院阿克拉分院）
什么是公平的绩效指标？我们认为公平性指标的选择，通过镜头的指标启发-一个原则性的框架，选择性能指标，最能反映隐含的偏好。使用指标启发使从业者能够调整性能和公平性指标的任务，上下文和人口。具体来说，我们提出了一种新的策略，以引出组公平的多类分类问题与多个敏感组，还包括选择预测性能和公平违反之间的权衡性能指标。所提出的启发式策略只需要相对偏好反馈，对有限样本和反馈噪声都具有鲁棒性。
2020-11-03 cs.LG stat.ML
Multiple Fairness and Cardinality constraints for Students-Topics Grouping Problem
L3S Research Center（L3S研究中心）；Leibniz University Hannover（汉诺威莱布尼茨大学）；Institute for Didactics of Mathematics and Physics（数学与物理教学法研究所）；Institute of Computer Science（计算机科学研究所）；Free University Berlin（柏林自由大学）
小组活动是教育环境中的一种普遍活动，学生经常根据自己的喜好分为特定主题的小组。分组应尽可能反映学生的愿望。通常，由此产生的群体也应该在性别或种族等受保护的属性方面保持平衡，因为研究表明，学生在多样化的群体中可能学得更好。此外，平衡组基数也是跨组公平分配工作负载的基本要求。在本文中，我们介绍了多公平容量限制（MFC）分组问题，公平地划分学生到非重叠组，同时确保平衡组基数（下限和上限），并最大限度地提高多样性的成员在受保护的属性。我们提出了两种方法：一个探试法和背包为基础的方法来获得MFC分组。在真实数据集和半合成数据集上的实验表明，我们提出的方法可以很好地满足学生的偏好，并分别提供关于基数和保护属性的平衡和多样化的组。
2022-06-20 cs.CY cs.LG
Context matters for fairness -- a case study on the effect of spatial distribution shifts
L3S Research Center（L3S研究中心）；Leibniz Universität Hannover（汉诺威莱布尼茨大学）；Freie Universität Berlin（柏林自由大学）；The Open University（开放大学）
随着数据驱动的基于人工智能的决策技术越来越多地参与我们的日常社会生活，这些系统的公平性正在成为一个至关重要的现象。然而，在利用这样的系统中的一个重要且通常具有挑战性的方面是区分它们的应用范围的有效性，特别是在分布偏移下，即，当模型部署在具有与训练集不同的分布的数据上时。在本文中，我们提出了一个新发布的美国人口普查数据集，流行的成人数据集重建的案例研究，以说明公平的背景下的重要性，并显示如何显着的空间分布偏移影响预测和公平相关的性能模型。这个问题仍然存在的公平意识的学习模型与特定背景的公平干预的影响不同的国家和不同的人口群体。我们的研究表明，在将模型部署到另一个环境之前，对分布偏移的鲁棒性是必要的。
2022-06-24 cs.AI cs.LG
Loss Aversion in Recommender Systems: Utilizing Negative User Preference to Improve Recommendation Quality
University of Zürich（苏黎世大学）
负面用户偏好是一个重要的背景，没有充分利用许多现有的推荐系统。在负项的成本对用户来说很高的情况下，此上下文特别有用。在这项工作中，我们描述了一个新的推荐算法，明确地模型消极的用户偏好，以推荐更多的积极项目在顶部的提示列表。我们建立在现有的机器学习模型，将负面用户偏好提供的上下文信息。通过对两个公开数据集的实验评估，我们证明了我们的方法能够提高推荐质量：通过提高准确性，同时减少在推荐列表顶部的负面项目的数量。我们的工作证明了负反馈提供的上下文信息的价值，也可以扩展到签名社交网络和其他网络中的链接预测。
2018-12-29 cs.IR cs.LG stat.ML
Multi-User Dueling Bandits: A Fair Approach using Nash Social Welfare
Electrical and Computer Engineering, Purdue University（电子与计算机工程系，普渡大学）
针对多用户偏好异质的决斗式赌博机问题，采用纳什社会福利目标最大化用户效用乘积，提出Fair-Explore-Then-Commit和Fair-ε-Greedy算法，并证明其遗憾上界匹配下界。
2026-09-09 cs.LG
Facets of Disparate Impact: Evaluating Legally Consistent Bias in Machine Learning
Washington State University（华盛顿州立大学）
本文提出“客观公平指数”，在法律标准下结合边际收益与客观测试，用于区分机器学习中的歧视性测试与系统性差异，并在COMPAS等应用中验证其价值。
2025-05-08 cs.CY cs.LG
Convex Fairness Constrained Model Using Causal Effect Estimators
The University of Tokyo（东京大学）；RIKEN（理化学研究所）
近年来，人们对机器学习中的公平性进行了大量研究。在这里，平均差异（MD）或人口均等是最流行的公平措施之一。然而，MD不仅量化了歧视，还量化了解释性偏差，即由解释性特征证明的结果差异。在本文中，我们设计了新的模型，称为FairCEEs，消除歧视，同时保持解释性偏见。该模型基于利用倾向得分分析的因果效应估计值。我们证明了FairCEEs的平方损失理论上优于一个天真的MD约束模型。我们提供了一种有效的算法来解决回归和二进制分类任务中的FairCEE。在我们对这两项任务中的合成和真实数据进行的实验中，FairCEE的表现优于现有的模型，该模型考虑了特定情况下的解释性偏差。
2020-02-16 cs.AI cs.LG stat.ML
FinA: Fairness of Adverse Effects in Decision-Making of Human-Cyber-Physical-System
University of California, Irvine（加利福尼亚大学尔湾分校）
该研究针对人-信息-物理系统决策中的公平性问题，提出考虑瞬时与长期不利影响的FinA公平概念及5种表述形式，经智能家居场景验证，其公平感知较现有最优方法平均提升66.7%。
2023-11-06 cs.AI cs.CY cs.HC
Track2Vec: fairness music recommendation with a GPU-free customizable-driven framework
National Yang Ming Chiao Tung University（国立阳明交通大学）
推荐系统已经说明了在基于用户过去的行为来描述用户偏好方面所取得的重大进展。尽管准确推荐的有效性，但存在几个因素对于评估推荐系统的各个方面来说是必不可少的，但尚未探索，例如，公平性、多样性和有限的资源。为了解决这些问题，我们提出了Track 2 Vec，一个免费的GPU可定制驱动的公平音乐推荐框架。为了兼顾准确性和公平性，我们的解决方案由三个模块组成，一个定制的公平性感知组，用于根据可配置的设置建模不同的功能，一个跟踪表示学习模块，用于学习更好的用户嵌入，和一个集成模块，用于排名不同的跟踪表示学习模块的推荐结果。此外，受自然语言处理中广泛使用的TF-IDF的启发，我们引入了一个称为Miss Rate - Inverse Ground Truth Frequency（MR-ITF）的度量来衡量公平性。大量的实验表明，我们的模型在EvalRS @ CIKM 2022挑战赛的排行榜上在无GPU环境中获得了第四名的价格排名，就官方分数而言，这比官方基线高出约200%。此外，消融研究表明，有必要将每组进行整合，以获得准确和公平的建议。
2022-10-29 cs.IR cs.LG
Genetic programming approaches to learning fair classifiers
University of Pennsylvania（宾夕法尼亚大学）
社会已经开始依赖分类器等算法来进行重要决策，从而需要公平等道德保证。公平性通常通过要求分类器的某些统计数据在群体内的受保护组上近似相等来定义。在本文中，目前的公平性方法进行了讨论，并用于激励算法的建议，将公平性纳入遗传编程分类。我们提出两个想法。第一种是将公平性目标纳入多目标优化。第二个是适应词典选择，以动态地定义保护组的交叉点上的情况。我们描述了为什么词典选择是非常适合的压力模型，以及在潜在的无限多的子组，其中公平性是必要的。我们使用最近的遗传编程的方法来构建模型的四个数据集的公平性约束是必要的，并根据经验比较性能，以前的方法，利用博弈论的解决方案。方法评估的基础上，他们的能力，以产生子组的公平性和准确性的帕累托最优的权衡。结果表明，一般的遗传编程方法，特别是随机搜索方法，很适合于这一任务。
2020-04-28 cs.LG cs.NE
