Fair and Calibrated Toxicity Detection with Robust Training and Abstention
University of Illinois Chicago（伊利诺伊大学芝加哥分校）
本文探讨了毒性检测中公平性、校准和回避的多轴框架，比较了ERM、实例重加权和组DRO等方法，揭示了训练干预和后处理机制对公平性和校准的影响。
2026-05-13 cs.LG
CFA: Class-wise Calibrated Fair Adversarial Training
Peking University（北京大学）
对抗性训练被广泛认为是提高深度神经网络（DNN）对抗性鲁棒性的最有效方法。到目前为止，大多数现有的工作集中在提高整体模型的鲁棒性，在训练和测试阶段平等对待每个类。虽然揭示了类之间鲁棒性的差异，但很少有作品试图在不牺牲整体鲁棒性的情况下使对抗训练在类级别上公平。在本文中，我们是第一个从理论和经验上研究不同类别的对抗配置，包括扰动裕度，正则化和加权平均的偏好。受此启发，我们进一步提出了一个\textbf{C} lass-wise校准\textbf{F}空气\textbf{A}对抗训练框架，命名为CFA，它自定义特定的训练配置为每个类自动。基准数据集上的实验表明，我们提出的CFA可以提高整体的鲁棒性和公平性显着超过其他国家的最先进的方法。代码可从\url{https://github.com/PKU-ML/CFA}获得。
2023-03-25 cs.CV cs.LG
Beyond Impossibility: Balancing Sufficiency, Separation and Accuracy
University of Oxford（牛津大学）；Google（谷歌）；University of Grenoble-Alpes（格勒诺布尔-阿尔卑斯大学）；King’s College London（伦敦国王学院）
在近年来研究的算法公平性的各个方面中，同时满足\textit{sufficiency}和\textit{separation}之间的紧张关系-例如阳性或阴性预测值的比率，以及跨组的假阳性或假阴性率-受到了广泛关注。在刑事司法预测系统COMPAS引发的辩论之后，学术界通过阐述重要的理论理解做出了回应，表明当标签在群体之间没有平等分布时，人们无法用不完美的预测器实现这两个目标。在本文中，我们揭示了更多的光在什么可能仍然是可能的不可能的-存在的权衡手段，我们应该旨在找到一个很好的平衡内it.After完善现有的理论结果，我们提出了一个目标，旨在平衡\textit{sufficiency}和\textit{separation}措施，同时保持类似的准确性水平。我们在两个实证案例研究中展示了这样一个目标的使用，一个涉及多目标框架，另一个涉及预先训练的模型的微调。我们展示了有希望的结果，与现有的替代品相比，实现了更好的权衡。
2022-05-24 cs.CY cs.LG
FairlyUncertain: A Comprehensive Benchmark of Uncertainty in Algorithmic Fairness
New York University（纽约大学）
本文提出 FairlyUncertain 公理化基准，系统评估公平性中的不确定性估计，发现二分类中简单方法更一致且校准良好、弃权（不执行）无法缓解群体结果不平衡，而回归中纳入校准不确定性可无需显式干预即改善公平性。
2024-10-02 cs.LG stat.ML
Differentially Private and Fair Classification via Calibrated Functional Mechanism
University of Houston（休斯顿大学）；Guilin University of Electronic Technology（桂林电子科技大学）；Guangdong University of Technology（广东工业大学）
机器学习正日益成为在各种应用中做出决策的强大工具，例如医疗诊断和自动驾驶。与训练数据有关的隐私问题和关于某些属性的某些决策的不公平行为（例如，性别、种族）变得越来越重要。因此，构建一个公平的机器学习模型，同时提供隐私保护成为一个具有挑战性的问题。本文将功能机制与决策边界公平性相结合，重点研究了具有公平性和差分隐私保证的分类模型的设计。为了增强$ε$ -差分隐私和公平性，我们利用函数机制，在考虑公平性约束的情况下，对目标函数的多项式系数添加关于不同属性的不同数量的拉普拉斯噪声。我们进一步提出了一种效用增强方案，称为松弛函数机制，通过加入高斯噪声代替拉普拉斯噪声，从而实现$(ε,δ)$ -差分隐私.在此基础上，设计了$(ε,δ)$ --差分隐私公平分类模型。此外，我们的理论分析和实验结果表明，我们的两种方法实现了公平性和差分隐私，同时保持良好的效用，并优于国家的最先进的算法。
2020-03-12 cs.CR cs.LG
Cali3F: Calibrated Fast Fair Federated Recommendation System
University of Science and Technology of China（中国科学技术大学）；Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
越来越严格的隐私保护法规引发了人们对联邦学习的兴趣。作为一个分布式机器学习框架，它通过在设备上训练一个全局模型，同时保持数据本地化，从而弥合了孤立的数据孤岛。针对推荐系统，人们提出了许多联合推荐算法来实现隐私保护的协同推荐。然而，若干制约因素基本上仍未得到探讨。一个大的问题是如何确保联邦学习的参与者之间的公平性，也就是说，保持跨设备推荐性能的一致性。另一方面，由于数据的异构性和有限的网络，在收敛速度方面出现了额外的挑战。针对这些问题，本文首先提出了一种个性化的联邦推荐系统训练算法，以提高推荐性能的公平性。然后，我们采用基于聚类的聚合方法来加速训练过程。结合这两个组件，我们提出了Cali3F，一个校准的快速和公平的联邦推荐框架。Cali3F不仅通过集群内参数共享方法解决了收敛问题，而且通过用全局模型校准局部模型来显着提高公平性。我们展示了Cali3F在标准基准数据集上的性能，并与传统的聚合方法进行了比较。
2022-05-26 cs.CY cs.IR cs.LG
Toward Calibrated, Fair, and accurate Deepfake Detection
University of Oxford（牛津大学）
提出Face-Fairness框架，通过Face-Feature Tuning实现无需人口统计标签的深度伪造检测公平性，同时保持或提升整体准确率。
2026-06-03 cs.CR cs.CV cs.LG
When the Server Steps In: Calibrated Updates for Fair Federated Learning
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Notre Dame（圣母大学）；North Carolina State University（北卡罗来纳州立大学）；University of North Texas（北德克萨斯大学）；University of Louisville（路易斯维尔大学）
本文提出EquFL，一种服务器端去偏方法，通过生成校准更新以减少联邦学习中的偏差，理论和实验均证明其有效性。
2026-04-01 cs.CR cs.IR cs.LG
Calibrating sufficiently
Swiss Financial Market Supervisory Authority (FINMA)（瑞士金融市场监管局（FINMA））
当概率分类器被训练和校准时，校准损失的所谓分组损失分量很容易被忽略。损失是指可观察到的信息与校准工作中实际利用的信息之间的差距。我们研究分组损失和充分性的概念之间的关系，确定共单调性作为一个有用的充分性标准。我们重新审视了Langford & Zadrozny（2005）的探测约简方法，发现它产生了一个概率分类器的估计，减少了分组损失。最后，我们讨论了Brier曲线作为工具，以支持训练和“充分”的概率分类器校准。
2021-12-06 cs.LG math.ST stat.ML
Differential Parity: Relative Fairness Between Two Sets of Decisions
Rochester Institute of Technology（罗切斯特理工学院）
本文提出差分奇偶性概念，通过比较两组决策对敏感属性的独立性来评估相对公平性，避免了绝对公平定义的模糊性，并可在有或无参考集时分别作为群体公平度量或揭示偏好/偏见。
2026-05-04 cs.LG
From Soft Classifiers to Hard Decisions: How fair can we be?
Boston University（波士顿大学）；Tel Aviv University（特拉维夫大学）；MIT（麻省理工学院）
在存在不完美信息的情况下构建二元决策分类器的一种流行方法是首先构建一个非二元“评分”分类器，该分类器在所有受保护组上进行校准，然后对该评分进行后处理以获得二元决策。我们研究了通过后处理校准分数实现各种公平属性的可行性，然后表明，推迟后处理器允许更多的公平条件，以保持最终的决定。具体来说，我们显示：1。不存在对校准的分类器进行后处理以使受保护组的阳性或阴性预测值（PPV或NPV）相等的一般方法。对于某些“好”的校准分类器，当后处理器跨保护组使用不同的阈值时，PPV或NPV可以被均衡，尽管存在校准分数的分布，其中两个度量不能被均衡。当后处理由跨所有组的单个全局阈值组成时，自然的公平性属性，例如以非平凡的方式均衡PPV，即使对于“好”分类器也不成立。2.当后处理被允许“推迟”某些决策时（即，通过将某些示例移交给单独的过程来避免做出决策），则对于非推迟的决策，可以使所得分类器在受保护组之间均衡PPV、NPV、假阳性率（FPR）和假阴性率（FNR）。这表明了一种方法，以部分回避Chouldechova和Kleinberg等人的不可能性结果，这妨碍了同时均衡所有这些措施。我们还提出了不同的延迟策略，并展示了它们如何影响整个系统的公平性。我们使用2016年的COMPAS数据集评估我们的后处理技术。
2019-01-21 cs.CY cs.LG stat.ML
Fair Data Adaptation with Quantile Preservation
ETH Zürich（苏黎世联邦理工学院）
分类和回归的公平性最近受到了广泛的关注，并提出了各种部分不相容的标准。可以针对给定的分类器强制执行公平性标准，或者可选地，可以调整数据以确保在数据上训练的每个分类器将遵守期望的公平性标准。提出了一种基于分位数保持的因果结构方程模型数据自适应方法。数据自适应基于数据的假定反事实模型。虽然反事实模型本身无法通过实验验证，但我们表明，即使反事实模型被错误指定，某些人口公平概念仍然得到保证。实现非因果公平概念的确切性质（如人口均等、分离或充分性）取决于基本因果模型的结构和解决变量的选择。我们描述了一种基于随机森林的数据自适应过程的实现，并展示了其在模拟和真实数据上的实际应用。
2019-11-15 cs.AI cs.LG stat.ML
Calibrated Credit Intelligence: Shift-Robust and Fair Risk Scoring with Bayesian Uncertainty and Gradient Boosting
本文提出校准的信用智能（CCI），结合贝叶斯不确定性与梯度提升，实现稳健且公平的风险评分，提升准确性与公平性。
2026-03-06 cs.AI cs.LG q-fin.RM
Fair Bayes-Optimal Classifiers Under Predictive Parity
Shenzhen Research Institute of Big Data（深圳大数据研究院）；University of Pennsylvania（宾夕法尼亚大学）；University of California, Los Angeles（加州大学洛杉矶分校）
对人工智能不同影响的日益关注激发了大量关于公平机器学习的工作。现有工作主要侧重于基于独立和分离的措施（例如，人口均等、机会均等、机会均等），而预测均等等基于生育率的衡量标准则研究得少得多。本文认为预测奇偶校验，这需要均衡的成功概率给出了积极的预测之间的不同保护组。我们证明，如果不同群体的整体表现只有适度的变化，预测奇偶校验下的所有公平贝叶斯最优分类器是组明智的阈值规则。也许令人惊讶的是，这可能不成立，如果组的性能水平变化很大，在这种情况下，我们发现，受保护的群体之间的预测奇偶性可能会导致组内的不公平。然后，我们提出了一个算法，我们称之为FairBayes-DPP，旨在确保预测奇偶校验时，我们的条件得到满足。FairBayes-DPP是一种自适应阈值算法，旨在实现预测奇偶校验，同时还寻求最大化测试精度。我们提供支持的合成和经验数据进行的实验。
2022-06-03 cs.LG stat.ML
Group Fairness in Prediction-Based Decision Making: From Moral Assessment to Implementation
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科学大学）
确保基于预测的决策的公平性是基于统计组公平性标准。这些标准中哪一个在道德上是最合适的取决于上下文，它的选择需要伦理分析。在本文中，我们提出了一个逐步的过程，集成了三个要素：（a）根据最近提出的“公平机会均等”的一般原则，对特定情况下公平的含义进行道德评估的框架;（b）将评估结果与既定统计群体公平标准相对应，以及（c）一种用于将如此定义的公平性集成到最优决策中的方法。作为第二个贡献，我们展示了FEC原则的新应用，并表明，通过这种扩展，FEC框架涵盖了所有类型的组公平性标准：独立性，分离性和充分性。第三，我们引入了FEC原则的扩展版本，它还允许考虑公平性评估中与道德无关的元素，并链接到众所周知的公平性标准放宽。本文提出了一个框架，开发公平的决策系统在一个概念上健全的方式，结合道德和计算元素的公平预测为基础的决策在一个综合的方法。复制我们结果的数据和代码可在https://github.com/joebaumann/fair-prediction-based-decision-making上获得。
2022-10-19 cs.CY cs.LG
Fair-CDA: Continuous and Directional Augmentation for Group Fairness
The Future Network of Intelligence Institute, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）未来智能网络研究院）；School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳）理工学院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Beijing Normal University（北京师范大学）；Tsinghua University（清华大学）
本文提出Fair-CDA，一种细粒度数据增强策略，通过特征解耦提取敏感特征并在群体间转移路径上进行正则化以实现可控的群体公平性，同时引入校准模型填补标签以缓解准确率下降，在多个基准和在线推荐系统中均取得优异表现。
2023-04-01 cs.LG
Fair admission risk prediction with proportional multicalibration
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
提出比例多校准准则，通过约束群体内和预测分箱的百分比校准误差，同时控制多校准与微分校准，并在急诊入院预测中验证其以几乎零分类性能代价提升公平性与可信度。
2023-08-31 cs.CY cs.LG
On the Within-Group Fairness of Screening Classifiers
Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文揭示了使用校准分类器的筛选策略存在组内不公平性问题，提出组内单调性作为避免该问题的条件，并设计了基于动态规划的后处理算法，在美国人口普查数据上验证了其能以较小代价实现组内单调性。
2023-08-07 cs.CY cs.DS cs.LG
Fair Policy Optimization in Major-Minor Weakly Coupled Markov Decision Processes
GERAD；HEC Montréal（蒙特利尔高等商学院）；MILA - Quebec AI Institute（MILA - 魁北克人工智能研究所）
针对主从弱耦合马尔可夫决策过程，提出公平策略优化框架，利用对称性归约和计数比例深度强化学习，在机器更换及出租车调度中验证了公平与可扩展性。
2026-09-30 cs.LG
Towards Fair Graph Representation Learning in Social Networks
China University of Mining and Technology（中国矿业大学）；University of South Australia（南澳大学）；Guangxi Normal University（广西师范大学）
本文针对社交网络中因社会同质性导致GNN表示学习不公平的问题，提出Equity-Aware GNN（EAGNN）方法，通过充分性、独立性和分离性约束实现公平表示学习，并在多个数据集上取得领先的公平性与有效性。
2024-10-22 cs.AI cs.LG cs.SI
FairNVT: Fair Classification via Noise Injection in Vision Transformers
University of British Columbia（不列颠哥伦比亚大学）；RBC Borealis；Simon Fraser University（西蒙 Fraser大学）
FairNVT通过在视觉变换器中注入噪声，提升表示和预测层面的公平性，同时保持任务准确性，采用轻量适配器学习任务相关和敏感嵌入，并通过校准高斯噪声和正交约束减少敏感属性泄露。
2026-08-19 cs.AI cs.CV cs.LG
A Possibility in Algorithmic Fairness: Can Calibration and Equal Error Rates Be Reconciled?
MIT（麻省理工学院）
决策者越来越依赖算法风险评分来确定是否可以获得二元治疗，包括保释、贷款和医疗干预。在这些设置中，我们调和两个公平性标准，以前被证明是在冲突：校准和出错率平等。特别是，我们推导出必要和充分的条件存在的校准分数，产生分类实现相等的出错率在任何给定的组盲阈值。然后，我们提出了一种算法，搜索最准确的分数校准和最小的出错率差距。应用于COMPAS刑事风险评估工具，我们表明，我们的方法可以消除误差的差异，同时保持校准。在一个单独的应用程序，以信贷，我们比较我们的程序省略的敏感功能，并表明，它提高了利润和概率，信誉良好的个人获得贷款。
2021-06-07 cs.LG stat.ML
Does calibration mean what they say it means; or, the reference class problem rises again
本文论证组内校准不能保证风险评分跨个体具有相同含义，指出其存在参照类谬误，并将该问题扩展至其他群体公平性统计标准。
2025-03-14 cs.LG
Introducing a Framework and a Decision Protocol to Calibrate Recommender Systems
Federal University of Bahia（巴伊亚联邦大学）
推荐系统使用用户的配置文件生成一个推荐列表，其中包含目标用户的未知项目。虽然传统推荐系统的主要目标是提供最相关的项目，但这种努力可能会无意中导致附带影响，包括低多样性和不平衡的流派或类别，从而使特定类别的群体受益。本文提出了一种方法来创建推荐列表与校准平衡的体裁，避免用户的个人资料的兴趣和推荐列表之间的不成比例。校准后的推荐同时考虑从用户偏好和推荐列表中提取的流派分布之间的相关性和分歧。主要主张是，校准可以积极促进产生更公平的建议。特别是，我们提出了一个新的权衡方程，它考虑了用户的偏见，提供一个推荐列表，寻求用户的倾向。此外，我们提出了一个概念框架和决策协议，以产生一千多个校准系统的组合，以找到最佳组合。我们将我们的方法与使用多个域数据集的最先进方法进行比较，这些数据集通过秩和校准度量进行分析。结果表明，权衡，考虑用户的偏见，产生积极的影响，精度和公平性，从而产生的推荐列表，尊重体裁分布，并通过决策协议，我们还找到了最好的系统为每个数据集。
2022-04-07 cs.IR cs.LG
On the Burden of Achieving Fairness in Conformal Prediction
McGill University（麦吉尔大学）；TD Insurance（TD保险）；Layer 6 AI
研究揭示了单一阈值校准在符合预测中隐藏的跨组异质性，证明了公平性定义之间的根本矛盾，并量化了不同校准策略的成本。
2026-05-15 cs.LG stat.ML
Parameterized Fair Resource Allocation under Diversity Constraints
Huazhong University of Science and Technology（华中科技大学）；McGill University（麦吉尔大学）；The University of British Columbia（不列颠哥伦比亚大学）；National University of Singapore（新加坡国立大学）
本文提出PRA及自适应变体APRA框架，将多样性约束下的资源分配从硬性条件优化转为柔性参数调节，兼顾公平性与效率，在真实应用中性能优于现有基准。
2026-07-30 cs.LG cs.SI
Data Decisions and Theoretical Implications when Adversarially Learning Fair Representations
Google Research（谷歌研究院）
当我们不知道分类器的输入是否属于受保护的组时，我们如何学习对受保护的或敏感的组“公平”的分类器？当受保护组的数据难以获得时，我们如何训练这样的分类器？在许多设置中，即使在模型训练期间，找出敏感的输入属性也可能非常昂贵，并且有时在模型服务期间是不可能的。例如，在推荐系统中，如果我们想预测用户是否会点击给定的推荐，我们通常不知道用户的许多属性，例如，种族或年龄，并且内容的许多属性难以确定，例如，语言或主题。因此，使用基于敏感属性的知识校准的不同分类器是不可行的。在这里，我们使用对抗训练过程来从神经网络学习的潜在表示中删除有关敏感属性的信息。特别是，我们研究了对抗训练的数据选择如何影响所产生的公平性。我们发现了两个有趣的结果：训练这些对抗性模型只需要少量的数据，而数据分布经验地驱动了对手的公平概念。
2017-07-07 cs.CY cs.LG
Size-adaptive Hypothesis Testing for Fairness
CENTAI；Graz University of Technology（格拉茨技术大学）；Sapienza University（拉瓦尔大学）；EURECAT
本文提出一种统一的大小适应性假设检验框架，用于解决公平性评估中的统计决策问题，通过中央极限定理和贝叶斯方法提高小群体的估计精度。
2026-03-19 cs.AI cs.CY cs.LG
The Calibrated Deepfake Trust Score (CDTS): Competence-Coupled Trust Degradation Across Deepfake Detectors
School of Computing, University of Portsmouth（普利茅斯大学计算学院）
提出校准深度伪造信任分数（CDTS），发现检测器的判别能力下降会导致信任分数校准退化，并在多种架构和数据集上验证了该耦合关系，进而提出无标签的能力估计方法以改善校准风险。
2026-08-12 cs.CR cs.CV cs.LG
Variable-Based Calibration for Machine Learning Classifiers
University of California, Irvine（加州大学欧文分校）
本文提出基于变量的校准概念，推广了传统的期望校准误差（ECE）指标，揭示了具有近乎完美ECE的模型可能在数据特征函数上表现出显著校准不良，并提出了检测、可视化和量化该误差的策略，强调超越简单聚合度量理解校准对公平性和模型可解释性的重要性。
2023-04-05 cs.LG
Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making
Columbia University（哥伦比亚大学）
本文从因果视角研究预测与决策中的偏差放大，提出边际补余概念，将预测器差异分解为真实结果与优化过程的影响，并引入业务必要性概念及评估算法以加强监管。
2024-05-24 cs.AI cs.LG stat.ML
