Towards Auditing Unsupervised Learning Algorithms and Human Processes For Fairness
University of California, Davis（加州大学戴维斯分校）；University of Virginia（弗吉尼亚大学）；University at Albany – State University of New York（纽约州立大学奥尔巴尼分校）
关于公平性的现有工作通常集中在使已知的机器学习算法更公平。存在分类、聚类、离群值检测和其他类型的算法的公平变体。然而，一个未充分研究的领域是审计算法的输出以确定公平性的主题。现有的工作已经探讨了两组分类问题的二进制保护状态变量使用标准定义的统计奇偶校验。在这里，我们建立在审计领域，探索多组设置下更复杂的公平性定义。
2022-09-20 cs.AI cs.CY cs.LG
Statistical and Structural Approaches to Algorithmic Fairness
Graz University of Technology（格拉茨技术大学）；Institute of Human-Centred Computing（人本计算研究所）
针对现代机器学习系统嵌入结构性不平等的问题，本文批判了当前公平性范式依赖确定性点估计和忽视个体结构背景的两大局限，并提出统计与结构相结合的方法。
2026-06-26 cs.AI cs.LG stat.ML
Argumentative Debates for Transparent Bias Detection [Technical Report]
针对现有偏见检测方法缺乏透明度的问题，提出基于论证图的论辩式偏见检测框架ABIDE，通过辩论形式实现透明的偏见检测，实验验证其性能优于论辩式基线。
2025-11-17 cs.AI cs.LG
Position: Beyond Sensitive Attributes, ML Fairness Should Quantify Structural Injustice via Social Determinants
University of California, Berkeley（加州大学伯克利分校）；University of Cambridge（剑桥大学）；University of Washington（华盛顿大学）；University of Michigan（密歇根大学）；University of Toronto（多伦多大学）
本文主张算法公平性研究应超越敏感属性，通过社会决定因素量化结构性不公正，并通过理论模型和实证研究证明仅关注敏感属性的缓解策略可能引入新的结构性不公正。
2026-05-29 cs.AI cs.CY cs.LG
The Unseen Hand: Manipulating Model Fairness and SHAP with Targeted Identity Re-Association Attacks
National University of Sciences and Technology (NUST)（国立科技大学（NUST））
提出目标身份重新关联（TIRA）攻击，通过概率性微扰操纵模型输出，在不留痕迹的情况下扭曲公平性指标和SHAP解释。
2026-06-23 cs.AI cs.LG
Auditing and Achieving Intersectional Fairness in Classification Problems
QuantumBlack, a McKinsey company（QuantumBlack，麦肯锡旗下公司）；University of Warwick（华威大学）
机器学习算法被广泛用于对人做出越来越重要的决策，因此实现最佳预测性能不再是唯一的焦点。一个特别重要的考虑因素是种族、性别或任何其他敏感属性的公平性。本文研究交叉公平性，其中考虑多个敏感属性的交集。先前的研究主要集中在相对于单个敏感属性的公平性上，尽管交叉公平性对于现代机器学习系统的安全性至关重要，但交叉公平性的研究相对较少。我们提出了一个全面的框架，审计和实现交叉公平的分类问题：我们定义了一套指标，以评估交叉公平的数据或模型输出，通过扩展已知的单属性公平性指标，并提出了方法，即使在一些交叉分组代表性不足的稳健估计。此外，我们还开发了后处理技术，以减轻分类模型中检测到的任何交叉偏倚。我们的技术不依赖于关于基础模型的任何假设，并在保证公平的水平上保持预测性能。最后，我们给出了一个实际实现的指导，展示了所提出的方法如何在真实世界的数据集上执行。
2020-06-08 cs.AI cs.CY cs.LG
On the Need and Applicability of Causality for Fairness: A Unified Framework for AI Auditing and Legal Analysis
CISPA, Helmholtz Center for Information Security（亥姆霍兹信息安全中心CISPA）；University of Liège（列日大学）；INRIA, Saclay Ile-de-France（法国国家信息与自动化研究所萨克雷-法兰西岛分部）
本文聚焦AI公平性评估中的因果关系需求，结合法律与社会视角，分析欧盟相关案例与监管下证明AI决策因果性的挑战及方法局限，提出提升算法透明度、问责制与公平性的可行方案。
2025-03-19 cs.AI cs.CY cs.LG
Auditing Fairness under Model Updates: Fundamental Complexity and Property-Preserving Updates
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL（Scool团队，里尔大学，INRIA，CNRS，里尔中央理工大学，UMR 9189-CRIStAL）
本文研究了在模型更新下审查公平性的基本复杂性，提出了一种基于经验属性优化的通用PAC审查框架，并建立了无分布审查界限，扩展到其他审查目标。
2026-01-09 cs.AI cs.CY cs.LG
Active Fairness Auditing
Carnegie Mellon University（卡内基梅隆大学）；University of Arizona（亚利桑那大学）
各行各业的公司对机器学习（ML）的快速普及带来了重大的监管挑战。其中一个挑战是可扩展性：监管机构如何有效地审计这些ML模型，确保它们是公平的？在本文中，我们开始研究基于查询的审计算法，该算法可以以查询高效的方式估计ML模型的人口统计学奇偶性。我们提出了一个最佳的确定性算法，以及一个实用的随机，预言机高效的算法具有可比的保证。此外，我们取得进展，了解随机主动公平性估计算法的最佳查询复杂度。我们对主动公平性评估的首次探索旨在将人工智能治理置于更坚实的理论基础之上。
2022-06-16 cs.CY cs.DS cs.LG
Efficient Active Auditing of Multi-Group Fairness with Bias Probes
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL（里尔大学、法国国家信息与自动化研究所、法国国家科学研究中心、里尔中央理工学院、CRIStAL实验室）
本文提出偏差探针框架及主动审计器ALeBi，在不重建模型的情况下高效估计多群体公平性指标，并揭示模型机密性与可靠审计间的权衡。
2026-10-01 cs.AI cs.CY cs.LG
Distribution-Specific Auditing For Subgroup Fairness
Columbia University（哥伦比亚大学）；Washington University in St. Louis（圣路易斯华盛顿大学）
本文研究统计子群公平性审计的计算复杂性，利用高斯分布下的不可知半空间学习进展，为齐次半空间子群给出首个 PTAS，并证明一般半空间子群在密码学假设下不存在多项式时间非平凡审计算法。
2024-02-29 cs.CC cs.CY cs.LG
Audit Me If You Can: Query-Efficient Active Fairness Auditing of Black-Box LLMs
Weizenbaum Institut Berlin（魏泽恩堡研究所柏林）；Technische Universität Berlin（柏林技术大学）；FIZ Karlsruhe（卡尔斯鲁厄FIZ）；KU Leuven（鲁汶大学）；Aleph Alpha（Aleph Alpha公司）
BAFA通过主动查询减少资源消耗，实现高效黑盒LLM公平性审计
2026-09-01 cs.CL cs.CY cs.LG
The Right Tool for the Job: Open-Source Auditing Tools in Machine Learning
Complex Adaptive Systems Research（复杂自适应系统研究机构）
近年来，关于机器学习、人工智能伦理和算法审计公平性的讨论越来越多。许多实体制定了框架指导，以确定公平和问责的基线标准。然而，尽管有越来越多的讨论和多种框架，算法和数据审计在实践中仍然难以执行。许多开源审计工具都是可用的，但用户并不总是知道这些工具，它们有什么用，或者如何访问它们。模型审计和评估在机器学习中并不是经常强调的技能。主动采用这些工具也有法律上的原因，这些工具超出了对机器学习更公平的渴望。在我们高度联系的全球社会中，公众的看法和善意存在着积极的社会问题。更多地了解这些工具以及积极利用它们的原因可能有助于程序员、数据科学家、工程师、研究人员、人工智能和机器学习产品的用户和消费者。重要的是，每个人都要更好地了解输入和输出差异，它们是如何发生的，以及可以做些什么来促进机器和深度学习中的FATE（公平性，问责制，透明度和道德）。自由访问开源审计工具的能力消除了机器学习最基本级别的公平性评估障碍。本文旨在强调实际使用这些工具的迫切需要，并提供这样做的动机。本文强调的示例性工具是开源的，具有软件或代码库，可供全球任何人立即使用。
2022-06-20 cs.AI cs.CY cs.LG
Peer-induced Fairness: A Causal Approach for Algorithmic Fairness Auditing
提出融合反事实公平与同伴比较的“peer-induced fairness”审计框架，可区分算法歧视与主体内在局限，并在中小企业融资场景中发现41.51%的微型企业遭受歧视。
2024-09-05 cs.CY q-fin.CP q-fin.ST
Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems
Ducaltus；School of Computing, Engineering & Digital Technologies（计算、工程与数字技术学院）；Teesside University（泰赛德大学）
本文探讨了在执法场景中，面部识别系统的聚合准确率作为公平性评估指标的不足，通过分析子群体误差分布，指出聚合指标可能掩盖不同群体间的显著差异，并强调需要更全面的评估框架来确保负责任的AI部署。
2026-05-19 cs.AI cs.CV cs.LG
GF-Score: Certified Class-Conditional Robustness Evaluation with Fairness Guarantees
IIT Gandhinagar（印度加尔各答理工学院）
GF-Score通过分解认证GREAT分数并量化类间差异，提供无对抗攻击的鲁棒性审计方法，揭示模型在不同类别的鲁棒性分布及公平性问题。
2026-04-14 cs.AI cs.LG
Auditing Fairness by Betting
Machine Learning Department, Carnegie Mellon University（卡内基梅隆大学机器学习系）；Carnegie Mellon University（卡内基梅隆大学）；Department of Statistics and Data Science, Carnegie Mellon University（卡内基梅隆大学统计与数据科学系）
该研究提出基于“通过投注检验”框架的序贯非参数公平性审计方法，支持持续监测、非均匀采样数据及分布偏移场景，在三个基准数据集上验证了有效性。
2025-05-15 cs.AI cs.CY cs.LG
Under the Radar -- Auditing Fairness in ML for Humanitarian Mapping
German Aerospace Center (DLR)（德国航空航天中心）；Technical University of Munich (TUM)（慕尼黑工业大学）
利用机器学习从太空进行人道主义测绘有助于决策者及时准确地识别有需要的人。然而，最近对算法决策的公平性和透明度的担忧是将这些方法应用于实践的一个重大障碍。在本文中，我们研究，如果从空间人道主义测绘方法容易在他们的预测偏见。我们绘制乡村一级的贫困和电力价格在印度的基础上夜间灯光（NTLs）与线性回归和随机森林和分析，如果预测系统地显示对预定种姓或部落社区的偏见。为了实现这一点，我们设计了一个因果关系的方法来衡量反事实的公平性的基础上倾向得分匹配。这允许将利益共同体中的村庄与合成反事实进行比较。我们的研究结果表明，贫困是系统性的高估和电力系统低估了预定部落相比，一个合成的反事实的村庄。对贱民种姓的影响则相反，因为这些种姓的贫困被低估，而电气化被高估。这些结果是一个警告信号，在人道主义绘图的各种应用中，公平问题会损害政策目标。
2021-08-04 cs.AI cs.CY cs.LG
seeBias: A Comprehensive Tool for Assessing and Visualizing AI Fairness
Duke-NUS Medical School（杜克-新加坡国立大学医学院）；National University of Singapore（新加坡国立大学）；NUS Artificial Intelligence Institute（新加坡国立大学人工智能研究院）
本文提出 seeBias R 包，通过整合分类、校准等多维度评估与可视化，弥补现有公平性工具忽视校准等关键方面的不足，并在刑事司法和医疗数据上验证其能发现传统指标遗漏的差异。
2025-04-11 cs.AI cs.LG
Fair Like Us? Auditing LLM Alignment in Resource Allocation
Rutgers University（罗格斯大学）；Pennsylvania State University（宾夕法尼亚州立大学）；Binghamton University（宾汉姆顿大学）
本研究提出一种通用方法评估大型语言模型在资源分配中的公平推理，发现其比人类更偏好严格约束、更自利且难以通过现有数据集微调对齐人类判断。
2026-09-25 cs.AI cs.CY cs.GT
Auditing LLMs for Algorithmic Fairness in Casenote-Augmented Tabular Prediction
本文研究了在住房安置预测任务中，结合街道走访案例笔记的大型语言模型在算法公平性方面的表现，发现通过案例笔记摘要微调模型可提升准确性并减少公平性差异。
2026-04-21 cs.CY cs.LG
Statistical Inference for Fairness Auditing
Stanford University（斯坦福大学）
本文将公平性审计建模为多重假设检验，提出基于 bootstrap 的模型无关方法，以统计保证同时界定、标记或认证模型在丰富子群体及分布漂移下的表现差异。
2023-06-08 cs.CY cs.LG stat.ME
FALE: Fairness-Aware ALE Plots for Auditing Bias in Subgroups
Athena Research Center（雅典娜研究中心）；Université Libre de Bruxelles（布鲁塞尔自由大学）
本文提出FALE（公平性感知累积局部效应）图方法，通过扩展ALE图来识别和可视化子群中的潜在偏见，作为检测子群公平性问题的初级工具。
2024-04-29 cs.CY cs.LG
Fairness Is Not Enough: Auditing Competence and Intersectional Bias in AI-powered Resume Screening
研究对八个用于简历筛选的AI平台进行审核，通过实验发现其存在情境依赖和交叉性的种族及性别偏差，部分看似无偏差的模型无评估能力，仅公平评估不足，进而提出双重验证框架以确保AI负责任部署。
2026-07-29 cs.AI cs.CL cs.CY
When LLMs Imagine People: A Human-Centered Persona Brainstorm Audit for Bias and Fairness in Creative Applications
Amadeus Nice France (2026)（法国Nice阿马德斯）
本文提出了一种人格脑暴审计方法，用于评估LLM在创意应用中的偏见和公平性，通过量化偏见并分析多个交集身份和社会角色，揭示模型生成中潜在的不公平现象。
2026-02-24 cs.AI cs.CY
Auditing for Spatial Fairness
Université Libre de Bruxelles（布鲁塞尔自由大学）；Athena Research Center（雅典娜研究中心）；Tampere University（坦佩雷大学）
研究了当保护属性为位置时的算法公平性。为了处理受保护的连续属性，如年龄或收入，标准方法是将域离散化为预定义的组，并比较各组的算法结果。然而，将这一想法应用于位置引起了对不公正划分选区的担忧，并可能引入统计偏差。以前的工作解决了这些问题，但只为定期间隔的位置，同时提出了其他问题，最显着的是它无法辨别的区域，可能会表现出空间不公平。与算法公平性的既定概念类似，我们将空间公平性定义为结果与位置的统计独立性。这意味着要求每个空间区域的结果分布在区域内外是相同的。为了允许局部差异的分布结果，我们比较两个竞争的假设如何解释观察到的结果。原假设假设空间公平，而备用允许不同的分布内部和外部区域。然后通过似然比检验评估其拟合优度。如果这两个假设在解释观察到的结果方面没有显著差异，我们可以得出结论，该算法在空间上是公平的。
2023-02-23 cs.CY cs.DB cs.LG
Auditing the Fairness of the US COVID-19 Forecast Hub's Case Prediction Models
University of Maryland（马里兰大学）；College of Information（信息学院）；UMIACS（马里兰大学高级计算机研究所）；Abt Global（雅培全球公司）
本文对美国COVID-19预测中心的病例预测模型进行公平性审计，发现其在少数种族群体及低城市化地区预测误差更高，呼吁建模者和CDC同步报告准确性与公平性指标以避免潜在危害。
2025-02-18 cs.CY cs.LG stat.AP
Assessing the accuracy of the Australian Senate count: Key steps for a rigorous and transparent audit
本文解释了澳大利亚参议院选票扫描和数字化审计的主要原则和一些技术细节。我们简要总结了审计纸质选票的动机，解释了严格和透明审计的必要支持步骤，并提出了一些适合澳大利亚参议院的统计方法。2022年6月22日更新：更新包括对2022年澳大利亚大选参议院偏好数据的分析。
2022-06-22 cs.CY stat.AP
PopResume: Causal Fairness Evaluation of LLM/VLM Resume Screeners with Population-Representative Dataset
ECE, Seoul National University（首尔国立大学电子与计算机工程系）；IPAI, Seoul National University（首尔国立大学人工智能研究所）；ASRI / INMC / AIIS, Seoul National University（首尔国立大学人工智能研究所）
PopResume通过人口统计数据和自然属性关系，实现对LLM和VLM简历筛选系统的因果公平性评估，识别出五种传统指标无法捕捉的歧视模式。
2026-09-09 cs.AI cs.CY
Auditing the Imputation Effect on Fairness of Predictive Analytics in Higher Education
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
学院和大学以各种方式使用预测分析来提高学生的成功率。尽管预测分析具有潜力，但在高等教育中采用它们存在两个主要障碍：（a）部署缺乏民主化，（b）可能加剧不平等。教育研究人员和政策制定者在实践中部署预测建模时遇到了许多挑战。这些挑战存在于建模的不同步骤中，包括数据准备、模型开发和评估。然而，如果执行不当，这些步骤中的每一个都可能给系统引入额外的偏倚。大多数大规模和具有全国代表性的教育数据集都受到研究参与者大量不完整答复的困扰。虽然许多与教育相关的研究解决了缺失数据的挑战，但在实践中，处理缺失值对预测结果公平性的影响知之甚少。在本文中，我们首先评估了大学生成功预测建模结果的差异，然后使用一组常用的指标来研究插补技术对模型性能和公平性的影响。我们进行前瞻性评估，以提供比历史数据评估更少的未来绩效和公平性偏差估计。我们对一个真实的大规模教育数据集的全面分析揭示了建模差异的关键见解，以及插补技术如何影响不同测试场景下学生成功预测结果的公平性。我们的研究结果表明，如果测试集遵循历史分布，插补会引入偏倚。然而，如果社会中的不公正得到解决，因此即将到来的一批观察结果是平等的，模型将减少偏见。
2022-12-29 cs.CY cs.LG
Auditing Yelp's Business Ranking and Review Recommendation Through the Lens of Fairness
本研究首次通过数据驱动方法审计了Yelp商业排名与评论推荐系统的偏差，发现普通用户评论更易被标为不推荐，且热点区域餐厅曝光度更高，部分城市存在基于人口结构的严重差异偏见。
2025-01-28 cs.CY cs.DB
Auditing Fairness under Unobserved Confounding
Carnegie Mellon University（卡内基梅隆大学）
针对未观测混杂下难以审计决策系统公平性的问题，本文利用分配前数据推导无偏风险估计，计算高风险个体治疗率边界，并通过Paxlovid分配研究验证框架，证明观测到的种族不平等无法由同等强度的未观测混杂因素解释。
2024-12-09 cs.CY cs.LG stat.ME
Towards Integrating Fairness Transparently in Industrial Applications
AT&T Labs - Research（AT&T实验室-研究部）
近年来，许多与机器学习（ML）偏见相关的失败导致了对公司如何在其ML生命周期中纳入透明度和问责制方面的审查。公司有责任监控ML流程中的偏见，并减轻检测到的任何偏见，确保业务产品的完整性，维护客户忠诚度，并保护品牌形象。行业ML项目所面临的挑战可以大致分为原则性文档、人为监督以及对实现信息重用和提高成本效率的机制的需求。我们强调了具体的障碍，并为ML从业者和组织主题专家提出了基于每个类别的概念解决方案。我们的系统方法通过在ML生命周期的各个阶段将机械化和人在环组件集成到偏差检测、缓解和项目文档中来应对这些挑战。为了激励我们的系统的实施- SIFT（系统整合公平性）-我们提出了它的结构原语与一个示例现实世界的用例，它可以用来识别潜在的偏见，并确定适当的缓解策略，在参与的方式。
2021-02-13 cs.AI cs.CY cs.LG
Monotone Individual Fairness
University of Pennsylvania（宾夕法尼亚大学）
本文研究带个体公平性的在线学习，提出基于单调聚合函数的多审计员框架，并给出全信息与部分反馈下的 oracle-efficient 算法，改进遗憾、违规次数及 oracle 调用复杂度界。
2024-03-11 cs.CY cs.LG stat.ML
Sublinear Algorithms for Wasserstein and Total Variation Distances: Applications to Fairness and Privacy Auditing
Équipe Scool, Univ. Lille, Inria, CNRS, Centrale Lille, UMR 9189- CRIStAL（Lille大学、Inria、CNRS、Centrale Lille、UMR 9189-CRIStAL）；Indian Statistical Institute Kolkata, India（印度统计研究所（加尔各答））
提出次线性空间算法，从流式样本估计次韦布尔分布的Wasserstein与全变差距离，并用于公平性与隐私审计，显著优于现有方法。
2026-10-14 cs.CY cs.DS cs.LG
FairSHAP: Preprocessing for Fairness Through Attribution-Based Data Augmentation
Technical University of Denmark（技术大学）
FairSHAP通过基于属性的数据增强方法，提升机器学习模型的公平性，减少歧视风险并保持数据和模型准确性。
2026-02-21 cs.AI cs.CY cs.LG
Transparent and Fair Profiling in Employment Services: Evidence from Switzerland
本文通过瑞士行政数据比较传统统计、可解释和黑箱模型，发现可解释 boosting 机器在预测性能上接近最佳黑箱模型，且通过模型稀疏性、特征平滑和公平性缓解可提升透明度和公平性。
2025-09-15 cs.CY cs.LG
Aequitas: A Bias and Fairness Audit Toolkit
Center for Data Science and Public Policy（数据科学与公共政策中心）；University of Chicago（芝加哥大学）
最近的工作引起了人们对当今使用的人工智能系统中存在意外偏见的风险的担忧，这些偏见可能会基于种族，性别或宗教等可能的特征对个人产生不公平的影响。虽然近年来已经提出了许多偏见指标和公平性定义，但对于应该使用哪个指标/定义没有达成共识，并且很少有可用资源来操作它们。因此，尽管最近意识到，在开发和部署人工智能系统时对偏见和公平性进行审计还不是一种标准做法。我们提出了Aequitas，一个开源的偏见和公平性审计工具包，它是机器学习工作流程的一个直观且易于使用的补充，使用户能够无缝地测试模型的几个偏见和公平性指标，与多个人口子组。Aequitas为数据科学家、机器学习研究人员和政策制定者开发和部署算法决策系统提供了明智和公平的决策。
2019-04-29 cs.AI cs.CY cs.LG
Fairness Score and Process Standardization: Framework for Fairness Certification in Artificial Intelligence Systems
Telecommunication Engineering Centre（电信工程中心）；Ministry of Communications（通信部）；Adobe Inc.（奥多比公司）；Manipal Institute of Technology（马尼帕尔理工学院）
各种人工智能（AI）系统做出的决策极大地影响着我们的日常生活。随着人工智能系统的使用越来越多，知道它们是公平的，识别其决策中的潜在偏见，并创建一个标准化框架来确定其公平性变得至关重要。在本文中，我们提出了一种新的公平分数来衡量数据驱动的AI系统的公平性，以及为此类系统颁发公平认证的标准操作程序（SOP）。公平评分和审计流程标准化将确保质量，减少歧义，实现比较并提高人工智能系统的可信度。它还将提供一个框架，以实施公平的概念，并促进此类系统的商业部署。此外，由指定的第三方审计机构按照标准化流程颁发的公平证书将增强组织对其打算部署的人工智能系统的信心。本文提出的偏差指数还揭示了数据集中各种受保护属性之间的比较偏差。为了证实所提出的框架，我们使用多个数据集迭代地训练有偏和无偏数据的模型，并检查公平性分数和所提出的过程正确地识别偏差并判断公平性。
2022-01-10 cs.AI cs.CY cs.LG
Auditing for Bias in Ad Delivery Using Inferred Demographic Attributes
针对广告投放偏见黑盒审计中人口统计属性推断误差导致漏检偏差的问题，提出通过调整预期误差的缓解方法，提升推断属性下的偏差检测敏感度。
2025-05-29 cs.CY
Having your Privacy Cake and Eating it Too: Platform-supported Auditing of Social Media Algorithms for Public Interest
社交媒体平台促进了对信息和机会的获取，因此在塑造当今的公共话语方面发挥着关键作用。这些平台用于策划内容的算法的不透明性引发了社会问题。以前的研究使用黑箱方法来表明，这些算法可能会导致有偏见或歧视性的结果。然而，现有的审计方法面临着根本的限制，因为它们的功能独立于平台。对潜在危害的担忧促使美国和欧盟提出立法建议。授权一种新的审计形式，经过审查的外部研究人员可以优先访问社交媒体平台。不幸的是，到目前为止还没有具体的技术建议来提供这种审计，因为大规模审计有可能泄露用户的私人数据和平台的专有算法。我们提出了一种新的平台支持审计方法，可以满足拟议立法的目标。我们的第一个贡献是列举现有的审计方法的挑战，以实现这些政策的规模。其次，我们认为，有限的，特权访问相关性估计是关键，使外部研究人员的可推广的平台支持的审计。第三，我们通过提出一个保护用户隐私和平台商业利益的审计框架，证明了平台支持的审计不需要冒这些风险。对于一个特定的公平性指标，我们表明，确保隐私只施加一个小的常数因子增加（6.34倍的上限，和4倍的典型参数）的样本数量需要准确的审计。我们的技术贡献，加上正在进行的法律和政策努力，可以通过超越隐私与透明度的障碍，使公众监督社交媒体平台如何影响个人和社会。
2023-03-07 cs.CY cs.SI
The Fair Game: Auditing & Debiasing AI Algorithms Over Time
Équipe Scool, Inria, Univ. Lille, CNRS, Centrale Lille, UMR 9189- CRIStAL Lille（Inria、里尔大学、CNRS、Centrale Lille、CRIStAL Lille）
提出动态机制“Fair Game”，利用强化学习将审计器与去偏算法循环结合，随时间调整公平目标，以在部署前后构建灵活适应的公平机器学习系统。
2025-08-08 cs.AI cs.CY cs.ET
FairLens: Auditing Black-box Clinical Decision Support Systems
Scuola Normale Superiore（比萨高等师范学院）；ISI Foundation（ISI基金会）；University of Pisa（比萨大学）
算法决策的普遍应用引起了人们对部署在医疗保健等关键环境中的人工智能系统中意外偏见风险的担忧。检测和缓解有偏见的模型是一项非常微妙的任务，应该小心处理，并让领域专家参与其中。在本文中，我们介绍了FairLens，这是一种发现和解释偏见的方法。我们展示了如何使用我们的工具来审计一个虚构的商业黑盒模型作为临床决策支持系统。在这种情况下，医疗机构专家可以使用FairLens对自己的历史数据进行分析，以发现模型的偏差，然后将其纳入临床决策流程。FairLens首先根据年龄、种族、性别和保险等属性对可用的患者数据进行分层;然后评估模型对这些患者亚组的性能，以确定需要专家评估的患者。最后，基于最新的XAI（可解释的人工智能）技术，FairLens解释了患者临床病史中的哪些因素导致了所选亚组中的模型误差。因此，FairLens允许专家调查是否信任该模型，并关注可能构成潜在公平问题的特定群体偏见。
2020-11-08 cs.AI cs.CY cs.LG
Fairness in Agentic AI: A Unified Framework for Ethical and Equitable Multi-Agent System
Carnegie Mellon University（卡内基梅隆大学）；BIT Sindri（辛德里理工学院）
本文综述了去中心化多智能体AI中的公平性问题，提出一个将公平性视为动态涌现属性的统一框架，通过整合公平性约束、偏见缓解策略和激励机制来对齐智能体行为，经实证证明能促进更公平的决策，为构建负责任的多智能体系统奠定基础。
2025-03-02 cs.AI cs.CY cs.MA
Navigating Fairness in Radiology AI: Concepts, Consequences,and Crucial Considerations
Duke-NUS Medical School（杜克-新加坡国立大学医学院）；I-MED Radiology Network（I-MED放射学网络）；Hospital Israelita Albert Einstein（阿尔伯特·爱因斯坦以色列医院）
本文综述放射学AI公平性问题，介绍开源偏见审计工具Aequitas及多项公平性指标，并通过疾病筛查假设场景说明群体与设备差异的现实影响。
2023-06-02 cs.AI cs.CY cs.LG
Failing on Bias Mitigation: A Case Study on the Challenges of Fairness in Government Data
Hongbo Bo（1. 香港大学）；Debbie Watson（2. 英国皇家统计学会）
本文通过布里斯托尔市议会犯罪率预测数据，探讨政府数据中公平性问题的持续存在，发现偏见缓解方法失效源于数据本身的固有属性而非模型缺陷。
2026-03-17 cs.AI cs.CY
Who Gets Which Message? Auditing Demographic Bias in LLM-Generated Targeted Text
Department of Computer Science（计算机科学系）
本文系统分析了LLM在人口条件定向信息生成中的行为，发现性别和年龄差异在不同模型中表现显著，且上下文提示放大了这些偏见，强调需建立偏见意识生成流程和透明审计框架。
2026-04-20 cs.AI cs.CL cs.CY
Auditing Bias and Safety in Voice AI Customer Care
NetoAI
该研究针对作为有状态多轮工具介导系统的客户服务语音AI，提出验证门控审计框架，区分架构、匹配服务事实、多维度验证并记录结果与负担，以评估其偏见与安全性。
2026-09-07 cs.CL cs.CY cs.HC
FAT Forensics: A Python Toolbox for Implementing and Deploying Fairness, Accountability and Transparency Algorithms in Predictive Systems
University of Bristol（布里斯托大学）
预测系统，特别是机器学习算法，可以对我们的日常生活做出重要的、有时具有法律约束力的决定。然而，在大多数情况下，这些系统和决定既没有受到管制，也没有得到认证。考虑到这些算法可能造成的潜在危害，它们的公平性，问责制和透明度（FAT）等质量至关重要。为了确保高质量、公平、透明和可靠的预测系统，我们开发了一个名为FAT Forensics的开源Python软件包。它可以检查预测算法的重要公平性，问责制和透明度方面，以自动客观地将其报告给此类系统的工程师和用户。我们的工具箱可以评估预测管道的所有元素：数据（及其特征），模型和预测。FAT Forensics在BSD 3-Clause开源许可证下发布，可供个人和商业使用。
2022-09-08 cs.AI cs.CY cs.LG
Demographic Benchmarking: Bridging Socio-Technical Gaps in Bias Detection
本文提出一个人口统计基准测试框架，通过构建定制控制数据集、对比总体与受影响人群差异及持续量化漂移，将社会人口统计洞察整合至AI审计中以减少偏见并提升公平性。
2025-01-27 cs.CY
Active Fourier Auditor for Estimating Distributional Properties of ML Models
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文提出主动傅里叶审计器（AFA）框架，通过查询样本点估计机器学习模型的鲁棒性和公平性等特性，无需重构目标模型，并证明了其高概率误差界限和样本复杂度下界，在多数据集上表现优于基线。
2024-10-10 cs.AI cs.CY cs.LG
A Confidence-Based Approach for Balancing Fairness and Accuracy
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
我们在算法公平性的背景下研究了三种经典的机器学习算法：自适应提升，支持向量机和逻辑回归。我们的目标是保持这些学习算法的高准确性，同时减少他们歧视个人的程度，因为他们在一个受保护的群体的成员。我们的第一个贡献是一种方法，通过改变受保护组的决策边界来实现公平。该方法是基于提高的理论的边缘。我们的方法在准确性和低歧视性方面表现优于或优于公平性文献中以前的算法，同时允许快速和透明地量化偏差和误差之间的权衡。我们的第二个贡献解决了大多数算法公平性文献中研究的偏差误差权衡的缺点。我们证明，即使是无可救药的天真的修改有偏见的算法，这不能合理地说是公平的，仍然可以实现低偏差和高精度。为了帮助区分这些天真的算法和更明智的算法，我们提出了一个新的公平性措施，称为弹性随机偏差（RRB）。我们证明，RRB区分我们的天真和明智的公平算法。RRB与偏差和准确性一起提供了算法公平性的更完整的画面。
2016-01-21 cs.CY cs.LG
Fairness Through Robustness: Investigating Robustness Disparity in Deep Learning
University of Maryland（马里兰大学）；MPI-SWS（马克斯·普朗克软件系统研究所）
深度神经网络（DNN）越来越多地用于现实世界的应用（例如面部识别）。这导致了人们对这些模型所做决定的公平性的担忧。人们提出了各种公平的概念和措施，以确保决策制度不会不成比例地损害（或有利于）人口中的特定亚群体。在本文中，我们认为，传统的公平性的概念，只基于模型的输出是不够的，当模型容易受到对抗攻击。我们认为，在某些情况下，攻击者可能更容易针对特定的子组，从而导致\textit{robustness bias}的形式。我们证明了测量鲁棒性偏差对DNN来说是一项具有挑战性的任务，并提出了两种方法来测量这种形式的偏差。然后，我们对最先进的神经网络在常用的现实世界数据集（如CIFAR-10，CIFAR-100，Adience和UTKFace）上进行了实证研究，并表明在几乎所有情况下，都存在鲁棒性较差的子组（在某些情况下，基于种族，性别等敏感属性），因此处于不利地位。我们认为，这种偏见的出现是由于数据分布和学习的决策边界在DNN的情况下，高度复杂的性质，从而使减轻这种偏见的一个不平凡的任务。我们的研究结果表明，鲁棒性偏差是审计依赖DNN进行决策的真实世界系统时需要考虑的一个重要标准。代码重现我们所有的结果可以在这里找到：\url{https://github.com/nvedant07/Fairness-Through-Robustness}
2021-01-21 cs.CY cs.LG
