Evaluating Large Language Models for Fair and Reliable Organ Allocation
University of Southern California(南加州大学)
本文评估了大型语言模型在器官分配中的公平性,发现基于暴露的指标显示公平结果,而基于概率的指标揭示了系统性的偏好排序,强调了对公平性评估和人类监督的必要性。
2026-01-14 cs.AI cs.CY cs.LG
Fairness in Large Language Models: A Taxonomic Survey
Florida International University(佛罗里达国际大学)
本综述全面回顾了大型语言模型(LLMs)公平性研究的最新进展,系统分析了偏见来源、公平性概念分类、评估指标与算法,并总结了相关工具包、数据集及未来研究挑战。
2024-12-19 cs.AI cs.CL
PEDANTS: Cheap but Effective and Interpretable Answer Equivalence
University of Maryland(马里兰大学)
针对现有问答评估指标在处理LLMs冗长答案时面临的成本高、数据多样性不足及依赖性强等问题,本文提供了源自Trivia的评分标准与数据集,并提出一种比精确匹配和BERTScore更稳定、高效且可解释的答案等价性评估方法PEDANTS。
2024-10-11 cs.AI cs.CL
Distributive Fairness in Large Language Models: Evaluating Alignment with Human Values
Penn State University(宾夕法尼亚州立大学)
本文研究了大语言模型在分配公平性方面的表现,发现其与人类价值观存在偏差,并探讨了提升对齐性的策略。
2025-11-22 cs.AI cs.CL cs.GT
Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
University of Tübingen(蒂宾根大学);ELLIS Institute Tübingen(ELLIS研究所蒂宾根);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(蒂宾根人工智能中心);École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎综合理工学院);CNRS(法国国家科学研究中心);KAIST AI(韩国科学技术院人工智能研究所)
本研究提出BOTTLED基准,检验LLM智能体能否将通用能力转化为廉价可扩展的特定任务解决方案,发现零样本性能不等于装瓶能力,但装瓶可大幅降低成本并保持较高性能。
2026-10-07 cs.AI
Where Should I Study? Biased Language Models Decide! Evaluating Fairness in LMs for Academic Recommendations
Centre for Responsible AI (CeRAI), Wadhwani School of Data Science and AI (WSAI)(负责任人工智能中心(CeRAI)、Wadhwani数据科学与人工智能学校(WSAI));Indian Institute of Technology Madras(印度理工学院马德拉斯学院)
本文实证考察LLaMA-3.1-8B等3个开源LLM在学术推荐中的地理、人口和经济偏见,提出多维评估框架,发现其存在系统性偏差,强调需解决偏见以保障高等教育公平获取。
2025-11-12 cs.AI cs.CL
Evaluating Gender Bias Transfer between Pre-trained and Prompt-Adapted Language Models
Apple(苹果公司)
本文考察提示适配场景下的性别偏见迁移,发现 Mistral、Falcon 和 Llama 的预训练内在偏见与零样本、少样本及公平/偏见提示下的表现高度相关。
2024-12-04 cs.AI cs.CL cs.LG
Evaluating LLM Behavior in Hiring: Implicit Weights, Fairness Across Groups, and Alignment with Human Preferences
Malt
本文提出评估LLM招聘决策的框架,发现模型重视核心生产力信号,但对某些特征的解释超出显性匹配价值,且不同群体间权重存在差异。
2026-01-16 cs.AI cs.CL cs.CY
Principled Frameworks for Evaluating Ethics in NLP Systems
Carnegie Mellon University(卡内基梅隆大学)
我们批评最近的工作伦理自然语言处理。这些讨论集中在数据汇集,实验设计和干预建模。但我们认为,我们应该首先理解用于评估算法系统公平性和正义性的伦理框架。在这里,我们开始讨论,概述义务论伦理,并设想一个研究议程的优先事项。
2019-06-14 cs.AI cs.CL
Evaluating Binary Decision Biases in Large Language Models: Implications for Fair Agent-Based Financial Simulations
UNSW Sydney(新南威尔士大学悉尼分校)
本文评估了三种GPT模型在二元决策中的偏差,发现模型子版本和采样方法显著影响输出分布,强调将LLM谨慎整合到基于智能体的金融市场模型中的重要性。
2025-01-20 cs.AI cs.LG
FairFund-Bench: Evaluating Distributive Bias in LLM Resource Allocation
University of Toronto(多伦多大学)
FairFund-Bench基准通过调整审计格式等特征,发现LLM资源分配的偏差受审计类型影响,且因果框架效应强于人口统计效应,可用于评估LLM的分配偏差。
2026-09-15 cs.AI cs.CL cs.CY
Evaluating Bias in Spoken Dialogue LLMs for Real-World Decisions and Recommendations
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Soul AI Lab, China(灵魂AI实验室,中国)
该研究首次系统评估口语对话大语言模型的偏见,采用GUS和SNSR指标测试多类开源与闭源模型,发现闭源模型偏见更低、推荐任务易放大群体差异,还发布了FairDialogue数据集助力相关研究。
2025-09-27 cs.AI cs.CL
A Use-Case Specific Dataset for Measuring Dimensions of Responsible Performance in LLM-generated Text
AWS Responsible AI(AWS负责任人工智能)
针对现有LLM评估缺乏应用特定性的问题,构建了以产品描述生成为背景、由公平性属性与性别化形容词及产品类别参数化的数据集,用于识别质量、真实性、安全性和公平性差距,为负责任AI评估提供资源。
2025-10-23 cs.AI cs.CL
Fair Like Us? Auditing LLM Alignment in Resource Allocation
Rutgers University(罗格斯大学);Pennsylvania State University(宾夕法尼亚州立大学);Binghamton University(宾汉姆顿大学)
本研究提出一种通用方法评估大型语言模型在资源分配中的公平推理,发现其比人类更偏好严格约束、更自利且难以通过现有数据集微调对齐人类判断。
2026-09-25 cs.AI cs.CY cs.GT
Evaluating AI fairness in credit scoring with the BRIO tool
University of Milan(米兰大学);MIRAI S.r.l.(米拉伊有限公司);University of Bologna(博洛尼亚大学);INFN(意大利核物理国家研究院);CRIF S.p.A.(CRIF股份公司);Alkemy S.p.A.(阿尔克米股份公司)
本文提出使用BRIO工具对信用评分AI系统进行公平性定量分析,通过在UCI German Credit Dataset上应用公平性指标识别潜在偏差与歧视,并结合收益分析评估不公平风险。
2024-06-05 cs.AI
Auditing Path-Specific Fairness Across Causal Discovery Algorithms: A Heart Failure Case Study
University of California Irvine(加州大学尔湾分校);University of Orléans(奥尔良大学)
本文评估了三种因果发现算法在结构恢复和路径特定公平分解中的表现,发现Peter-Clark在合成数据中表现最佳,Fast Causal Inference在心力衰竭数据中效用最高,路径特定效应分析揭示了公平-效用比的差异。
2026-11-19 cs.AI cs.LG
SVEva Fair: A Framework for Evaluating Fairness in Speaker Verification
Delft University of Technology(代尔夫特理工大学)
尽管深度神经网络(DNN)在支持设备上的语音助手方面取得了成功,但越来越多的证据表明,机器学习存在偏见和歧视,这使得调查这些系统的公平性变得更加紧迫。说话人验证是一种生物识别形式,可以访问语音助手。由于缺乏公平性指标和评估框架,适合于测试的公平性说话人验证组件,很少有人知道模型的性能如何在不同的子组,以及什么因素影响性能变化。为了应对这一新出现的挑战,我们设计和开发了SVEva Fair,这是一个可访问的,可操作的和模型无关的框架,用于评估说话人验证组件的公平性。该框架提供了评估措施和可视化,以询问跨扬声器子组的模型性能,并比较模型之间的公平性。我们在一个案例研究中展示了SVEva Fair,该案例研究使用在VoxCeleb数据集上训练的端到端DNN来揭示基于扬声器人口统计属性的现有嵌入式语音识别系统中的潜在偏见。我们的评估表明,公开访问的基准模型是不公平的,并始终产生一些民族,大多数民族的女性发言人更差的预测。为了为公平和可靠的嵌入式说话人验证铺平道路,SVEva Fair已被实现为开源python库,并可集成到嵌入式ML开发管道中,以方便开发人员和研究人员对不可靠的说话人验证性能进行故障排除,并选择高影响力的方法来缓解公平性挑战。
2022-10-04 cs.AI cs.SD eess.AS
When Fairness Metrics Disagree: Evaluating the Reliability of Demographic Fairness Assessment in Machine Learning
Founder, Ducaltus(Ducaltus创始人);BSc (Hons) Artificial Intelligence(人工智能学士(荣誉));School of Computing, Engineering & Digital Technologies(计算、工程与数字技术学院);Teesside University, UK(英国泰赛德大学)
本文研究了公平性评估的一致性问题,通过多指标分析评估机器学习模型中的人口偏见,发现不同公平性指标可能导致矛盾的评估结果,引入了公平性分歧指数(FDI)来量化指标间的不一致程度。
2026-05-19 cs.AI cs.CV cs.LG
Fairness Under Cover: Evaluating the Impact of Occlusions on Demographic Bias in Facial Recognition
Faculty of Engineering of the University of Porto(波尔图大学工程学院);Institute for Systems and Computer Engineering, Technology and Science(系统与计算机工程、技术与科学研究所)
本研究探究遮挡对人脸识别系统公平性及人口统计偏差的影响,通过多数据集实验验证遮挡会加剧偏差,还提出FOIR指标量化遮挡对不同群体的影响差异。
2024-08-19 cs.AI cs.CV
Evaluating and Mitigating Skin Color Bias in Skin Lesion Classificatio
School of Computer Science and DAIM University of Hull(计算机科学学院和DAIM赫尔大学)
针对肤色张量数据的公平性研究缺口,提出无需标注的公平性评估方法(将肤色转概率分布后用统计距离度量捕捉细粒度公平差异),以及基于贝叶斯回归多项式颜色距离估计的偏差缓解训练方法,提升ML模型肤色处理的公平性与精细度。
2026-11-18 cs.AI cs.CV cs.LG
Evaluating AI Group Fairness: a Fuzzy Logic Perspective
Centre for Research & Technology Hellas(希腊研究与技术中心)
本文提出基于基本模糊逻辑(BL)的框架,将群体公平性定义与社会背景及放宽不确定性解耦,通过连续真值评估公平性,并据此重新解释现有算法公平性公式与参数。
2024-06-27 cs.AI cs.CY cs.LG
Why Aggregate Accuracy is Inadequate for Evaluating Fairness in Law Enforcement Facial Recognition Systems
Ducaltus;School of Computing, Engineering & Digital Technologies(计算、工程与数字技术学院);Teesside University(泰赛德大学)
本文探讨了在执法场景中,面部识别系统的聚合准确率作为公平性评估指标的不足,通过分析子群体误差分布,指出聚合指标可能掩盖不同群体间的显著差异,并强调需要更全面的评估框架来确保负责任的AI部署。
2026-05-19 cs.AI cs.CV cs.LG
Symbolic AI for XAI: Evaluating LFIT Inductive Programming for Fair and Explainable Automatic Recruitment
Universidad Autonoma de Madrid(马德里自治大学);Laboratoire des Sciences du Numérique de Nantes(南特数字科学实验室);National Institute of Informatics(国立信息学研究所)
机器学习方法与法医学、电子健康、招聘和电子学习等领域的生物识别和个人信息处理的相关性越来越大。在这些领域,对基于机器学习方法构建的系统的白盒(人类可读)解释可能变得至关重要。归纳逻辑程序设计(ILP)是符号人工智能的一个子领域,旨在自动学习关于数据处理的声明性理论。从解释转换中学习(LFIT)是一种ILP技术,可以学习与给定黑盒系统等价的命题逻辑理论(在某些条件下)。目前的工作迈出了第一步,通过检查LFIT在特定AI应用场景中的可行性,将准确的声明性解释纳入经典机器学习的一般方法:基于机器学习方法生成的自动工具的公平招聘,用于对包含软生物特征信息(性别和种族)的简历进行排名。我们展示了LFIT对这个特定问题的表现力,并提出了一个可适用于其他领域的方案。
2020-12-01 cs.AI cs.LG
Evaluating the Impact of Medical Image Reconstruction on Downstream AI Fairness and Performance
Department of Data Science, Dana-Farber Cancer Institute(丹娜-法伯癌症研究所数据科学系);AI in Medicine, Technical University of Munich(慕尼黑工业大学医学人工智能);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Department of Computing, Imperial College London(伦敦帝国理工学院计算系);Harvard Medical School(哈佛医学院)
研究通过结合重建与诊断AI模型,评估不同重建方法对下游任务性能和公平性的影响,发现传统指标无法准确反映任务表现,且重建可能放大性别偏见,但整体偏移量较小。
2026-04-13 cs.AI cs.CV
Is Fairness Only Metric Deep? Evaluating and Addressing Subgroup Gaps in Deep Metric Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);University of Tübingen(蒂宾根大学);Massachusetts Institute of Technology(麻省理工学院)
深度度量学习(DML)通过强调表示的相似性结构,使学习具有更少的监督。在zero-shot检索等环境中,人们已经做了很多工作来提高DML的泛化能力,但对其公平性的影响知之甚少。在本文中,我们首先评估了在不平衡数据上训练的最先进的DML方法,并展示了这些表示在用于下游任务时对少数子群性能的负面影响。在这项工作中,我们首先定义公平性在DML通过分析的表示空间的三个属性-类间对齐,类内对齐,和均匀性-并提出findDML,公平性在非平衡的DML基准来表征表示公平性。利用findDML,我们发现在DML表示的偏见传播到常见的下游分类任务。令人惊讶的是,即使在下游任务中的训练数据被重新平衡时,这种偏差也会传播。为了解决这个问题,我们提出了部分属性去相关(PARADE),从敏感属性的特征表示去相关,并减少子组之间的性能差距,在嵌入空间和下游指标。
2022-03-23 cs.AI cs.CY cs.LG
Fair ASR: Re-Evaluating Black-Box Jailbreaks under Shared Target-Call Budgets
Shanghai AI Laboratory(上海人工智能实验室);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
本研究提出Fair-ASR评估协议,重新评估11种黑盒越狱攻击,发现攻击排名随预算变化,进而提出ReCode攻击,在20次目标调用预算下于GPT-5实现85% ASR且效率优异。
2026-08-19 cs.AI cs.CR
Unmasking Gender Bias in Recommendation Systems and Enhancing Category-Aware Fairness
Deakin University(迪肯大学)
本文提出一套细粒度类别感知指标量化推荐系统性别偏见,并用作正则化项训练,在三个数据集上验证其能显著提升公平性且不损性能。
2025-02-25 cs.AI cs.CY cs.HC
FeDa4Fair: Client-Level Federated Datasets for Fairness Evaluation
Institute of Computer Science, Johannes Gutenberg University(约翰内斯·古滕贝格大学计算机科学研究所);University of Pisa(比萨大学)
本文提出FeDa4Fair框架,旨在解决联邦学习中客户端层面的公平性问题,通过定制化数据集和标准化评估流程提升公平性研究的鲁棒性和可重复性。
2026-05-09 cs.AI cs.LG
From Efficiency to Equity: Measuring Fairness in Preference Learning
Birla Institute of Technology and Science, Pilani(毕拉理工学院皮拉尼分校);University of Montréal(蒙特利尔大学)
本文借鉴不平等与罗尔斯正义理论,提出基于 Gini Coefficient、Atkinson Index 和 Kuznets Ratio 的偏好学习认知公平评估框架,并通过两个数据集验证及缓解策略分析效率与公平的权衡。
2024-10-24 cs.AI cs.LG
Integrating Social Determinants of Health into Knowledge Graphs: Evaluating Prediction Bias and Fairness in Healthcare
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Texas at Austin(德克萨斯大学奥斯汀分校);Temple University(天普大学)
本文基于 MIMIC-III 与 PrimeKG 构建富含 SDoH 的知识图谱,利用 heterogeneous-GCN 检测药物—疾病链接预测偏差,并通过边重加权后处理提升公平性。
2024-11-29 cs.AI cs.CY cs.LG
Algorithmic decision making methods for fair credit scoring
Alexandru Ioan Cuza University(亚历山德鲁·伊万·库扎大学)
本文评估了12种偏见缓解方法在5种公平性指标上的效果,并分析了其对金融机构的准确性和盈利能力,旨在平衡公平与性能,弥合机器学习研究与金融实践的差距。
2023-06-22 cs.AI cs.CY cs.LG
Do Counterfactually Fair Image Classifiers Satisfy Group Fairness? -- A Theoretical and Empirical Study
Seoul National University(首尔国立大学);NAVER AI Lab(NAVER人工智能实验室);ASRI/INMC/IPAI/AIIS, Seoul National University(首尔国立大学ASRI/INMC/IPAI/AIIS)
研究图像分类中反事实公平与群体公平的关系,构建新数据集评估二者,发现CF不意味着GF,原因是潜在属性G,提出CKD基线,实验表明减少对G的依赖可使实现CF的模型满足GF。
2026-07-09 cs.AI cs.CV
AI Fairness: from Principles to Practice
Accenture(埃森哲);Lancaster University(兰卡斯特大学)
本文总结和评价了人工智能(AI)系统中追求公平性的各种途径、方法和技术。它研究了这些措施的优点和缺点,并提出了定义,测量和防止AI偏见的实用指南。特别是,它警告不要使用一些简单但常见的方法来评估人工智能系统中的偏见,并提供更复杂和有效的替代方案。本文还通过在高影响力人工智能系统的不同利益相关者之间提供共同语言,解决了该领域广泛存在的争议和困惑。它描述了涉及AI公平性的各种权衡,并提供了平衡它们的实用建议。它提供了评估公平目标的成本和收益的技术,并定义了人类判断在设定这些目标中的作用。本文为人工智能从业者、组织领导者和政策制定者提供了讨论和指导方针,并为技术性更强的受众提供了指向其他材料的各种链接。提供了许多真实世界的例子,以澄清概念,挑战和建议,从实践的角度来看。
2022-07-20 cs.AI cs.CY cs.LG
Measure Twice, Cut Once: Quantifying Bias and Fairness in Deep Neural Networks
Texas State University(得克萨斯州立大学);Illinois Institute of Technology(伊利诺伊理工学院)
算法偏见越来越受到研究界和整个社会的关注。人工智能中的偏见比传统形式的歧视更加抽象和不直观,并且更难以检测和减轻。在目前的文献中存在一个明显的差距,在多类分类器的性能评估的相对偏差。在这项工作中,我们提出了两个简单而有效的度量,组合误差方差(CEV)和对称距离误差(EFT),以定量评估两个模型之间的类偏差。通过评估这些新指标的性能,并通过展示其实际应用,我们表明,它们可以用来衡量公平性以及偏见。这些演示表明,我们的指标可以解决测量多类分类中的偏差的特定需求。
2021-10-08 cs.AI cs.CY cs.LG
FairX: A comprehensive benchmarking tool for model analysis using fairness, utility, and explainability
Institute for Experiential AI, Northeastern University(东北大学体验式人工智能研究院)
FairX是一个开源Python基准测试工具,统一支持公平性、效用和可解释性分析,并新增公平生成模型训练与合成数据质量评估能力,支持表格和图像数据集。
2024-09-03 cs.AI cs.LG
Standing on FURM ground -- A framework for evaluating Fair, Useful, and Reliable AI Models in healthcare systems
Stanford University School of Medicine(斯坦福大学医学院);Stanford Health Care(斯坦福医疗中心);Stanford University(斯坦福大学);Stanford Law School(斯坦福法学院)
本文提出FURM框架,通过伦理审查、模拟、财务预测等方法评估医疗AI模型的公平性、有用性和可靠性,并报告了六项评估案例,为医疗系统提供可操作的评估工具。
2024-03-14 cs.AI cs.CY
Appropriate Fairness Perceptions? On the Effectiveness of Explanations in Enabling People to Assess the Fairness of Automated Decision Systems
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
人们经常认为,解释自动决策系统(ADS)的一个目标是促进积极的看法(例如,公平性或可信度)。然而,这种观点隐含了一个假设,即给定的ADS是公平和值得信赖的。如果ADS发布了不公平的结果,那么人们可能会期望对该系统的运作的解释将揭示其缺点,从而导致公平感的下降。因此,我们建议,更有意义的是根据解释的有效性来评估它们,使人们能够适当地评估质量(例如,一个关联的ADS。我们认为,一个有效的解释,公平的看法应该增加,当且仅当基础ADS是公平的。在这项正在进行的工作中,我们介绍了适当的公平感的必要条件,提出了一种新的研究设计,以评估它,并概述了下一步的综合实验。
2021-08-14 cs.AI cs.HC
FFB: A Fair Fairness Benchmark for In-Processing Group Fairness Methods
Texas A&M University(德克萨斯农工大学);Meta AI;Anytime AI;UIUC(伊利诺伊大学厄巴纳-香槟分校);University of Houston(休斯顿大学);Rice University(莱斯大学)
本文提出开源基准框架FFB,通过统一实验设置、提供可扩展代码和标准化流程,对处理中群体公平性方法进行大规模评估,以促进公平性研究社区发展。
2024-06-11 cs.AI cs.CY cs.LG
On the Need and Applicability of Causality for Fairness: A Unified Framework for AI Auditing and Legal Analysis
CISPA, Helmholtz Center for Information Security(亥姆霍兹信息安全中心CISPA);University of Liège(列日大学);INRIA, Saclay Ile-de-France(法国国家信息与自动化研究所萨克雷-法兰西岛分部)
本文聚焦AI公平性评估中的因果关系需求,结合法律与社会视角,分析欧盟相关案例与监管下证明AI决策因果性的挑战及方法局限,提出提升算法透明度、问责制与公平性的可行方案。
2025-03-19 cs.AI cs.CY cs.LG
Exploring How Fair Model Representations Relate to Fair Recommendations
Norwegian University of Science and Technology(挪威科学与技术大学)
本文探讨了公平模型表示与公平推荐之间的关系,提出两种新方法衡量推荐中公平性,并通过实验表明优化公平表示能提升推荐公平性,但表示层面评估不适用于模型比较。
2026-03-25 cs.AI cs.IR cs.LG