Multi-Scale Adaptive Neighborhood Awareness Transformer For Graph Fraud Detection
School of Computer Science and Technology, Tongji University, Shanghai, China(计算机科学与技术学院,同济大学,上海,中国)
MANDATE通过多尺度位置编码和自注意力机制提升图欺诈检测性能,缓解同质性偏差和多关系分布偏移,实现更有效的欺诈识别。
2026-03-03 cs.AI cs.LG
Application of AI-based Models for Online Fraud Detection and Analysis
University College London(伦敦大学学院);Anglia Ruskin University(安格利亚鲁斯金大学)
针对AI在在线欺诈检测与分析中研究不足的问题,本文通过系统性文献综述分析AI和NLP技术在该领域的应用,识别16类欺诈类型,为相关方提供见解并指出当前研究的泛化性等局限。
2025-04-15 cs.AI cs.CL cs.LG
Dual-channel Heterophilic Message Passing for Graph Fraud Detection
University of Chinese Academy of Science(中国科学院大学);Fuzhou University(福州大学);Northeast Normal University(东北师范大学);Hainan University(海南大学);Tsinghua University(清华大学);The Australian National University(澳大利亚国立大学)
针对图欺诈检测中排除异配邻居破坏拓扑结构的问题,提出双通道异配消息传递框架DHMP,通过分离同配与异配子图并独立捕获不同频率信号,自适应平衡节点信号贡献,在真实数据集上优于现有方法。
2025-04-26 cs.AI cs.LG
Multi-Stream Temporal Fusion for Financial Fraud Detection
Amazon Web Services(亚马逊网络服务)
提出多流欺诈Transformer(MSFT),通过独立编码交易、登录、风险等多事件流并融合表示,在千万用户数据集上AUROC达0.996,优于单流Transformer和XGBoost。
2026-06-25 cs.LG q-fin.ST
User-oriented Fairness in Recommendation
Rutgers University(罗格斯大学)
作为一个高度数据驱动的应用,推荐系统可能会受到数据偏差的影响,导致对不同数据组的结果不公平,这可能是影响系统性能的一个原因。因此,识别和解决推荐场景中的不公平问题非常重要。在本文中,我们从用户的角度来解决推荐系统中的不公平问题。我们根据用户的活跃程度将其分为弱势群体和弱势群体,并进行实验,以表明目前的推荐系统将表现出不公平的两组用户之间。具体而言,在数据中只占很小比例的弱势用户(活跃)比弱势用户(不活跃)享有更高的推荐质量。这种偏见也会影响整体性能,因为弱势用户占大多数。为了解决这个问题,我们提供了一个重新排名的方法,以减轻这种不公平的问题,通过增加约束的评估指标。我们在几个真实世界的数据集上进行了各种推荐算法的实验表明,我们的方法不仅可以提高用户在推荐系统中的群体公平性,但也取得了更好的整体推荐性能。
2021-04-21 cs.AI cs.HC cs.IR
EmDT: Embedding Diffusion Transformer for Tabular Data Generation in Fraud Detection
Arizona State University – School of Mathematical and Statistical Sciences(亚利桑那州立大学数学与统计科学学院)
EmDT通过UMAP聚类识别欺诈模式,并利用Transformer去噪网络生成欺诈样本,提升分类性能,同时保持隐私保护和特征相关性。
2026-04-29 cs.LG stat.ML
Beyond Parity: Fairness Objectives for Collaborative Filtering
Virginia Tech(弗吉尼亚理工大学)
我们研究了协同过滤推荐系统的公平性,该系统对历史数据中存在的歧视很敏感。有偏见的数据可能导致协作过滤方法对少数群体的用户做出不公平的预测。我们确定现有的公平性指标的不足,并提出了四个新的指标,解决不同形式的不公平。这些公平性度量可以通过向学习目标添加公平性项来优化。在合成数据和真实数据上的实验表明,我们的新指标可以更好地衡量公平性比基线,公平性目标有效地帮助减少不公平。
2017-11-30 cs.AI cs.IR cs.LG
SAGE: Scalable Automatic Gating Ensemble for Confident Negative Harvesting in Fraud Detection
Amazon Music(亚马逊音乐)
本文提出SAGE,一种结合SimHash基于的分层抽样和模块化门控集成的反事实意识负面采样方法,以在欺诈检测中实现对未标记数据的自信负面识别,解决了正例未标记学习中的表示偏差问题。
2026-05-19 cs.CR cs.IR cs.LG
Equal Experience in Recommender Systems
KRAFTON Inc.(魁匠团公司);KAIST(韩国科学技术院)
我们探讨了推荐系统中出现的公平性问题。由于特定群体固有的刻板印象而产生的有偏见的数据(例如,男生对数学的平均评分通常高于人文学科,女生则相反)可能会为某类用户提供有限的建议项目。我们的主要贡献在于引入了一种新的公平概念(我们称之为平等经验),它可以在存在偏见的数据中调节这种不公平。这个概念捕捉了不同群体之间项目推荐的平等体验的程度。我们提出了一个优化框架,采用公平的概念作为一个正规化术语,以及引入计算效率高的算法,解决优化。在合成和基准真实数据集上的实验表明,所提出的框架确实可以减轻这种不公平性,同时显示出推荐准确性的轻微下降。
2022-10-12 cs.IR cs.LG stat.ML
Multi-task CNN Behavioral Embedding Model For Transaction Fraud Detection
eBay, Decision Sciences(eBay决策科学);eBay, Risk Engineering(eBay风险工程)
针对交易欺诈检测中深度学习方法难平衡建模能力与效率、难融入领域知识的问题,提出多任务CNN行为嵌入模型,采用多范围核单层CNN、结合位置编码、随机权重多任务学习,在真实数据上提升下游性能且与TST模型竞争力相当。
2024-11-29 cs.LG
Improving Credit Card Fraud Detection with an Optimized Explainable Boosting Machine
ReDi School(ReDi学院)
本文通过优化可解释提升机算法,提升信用卡欺诈检测的准确性和可解释性,实验结果显示其在ROC-AUC指标上优于多种传统方法。
2026-02-06 cs.LG
Q-SYNTH: Hybrid Quantum-Classical Adversarial Augmentation for Imbalanced Fraud Detection
Quantum Physics and Spintronics Team, LPMC, Faculty of Sciences Ben M'sick(量子物理与自旋电子团队,拉瓦尔学院,本·马西克科学学院);eBRAIN Lab, Division of Engineering, New York University Abu Dhabi (NYUAD)(eBRAIN实验室,工程学院,纽约大学阿布扎比分校(NYUAD));Center for Quantum and Topological Systems (CQTS), NYUAD Research Institute(量子与拓扑系统中心(CQTS),NYUAD研究机构)
本文提出Q-SYNTH,一种混合量子-经典对抗框架,用于生成不平衡欺诈检测中的少数类样本,通过量子电路生成器和经典神经网络判别器,提升欺诈检测的召回率和F1分数。
2026-05-20 cs.LG quant-ph
Graph-Based Financial Fraud Detection with Calibrated Risk Scoring and Structural Regularization
Brandeis University(布雷纳大学);University of California, Los Angeles(加州大学洛杉矶分校);Georgetown University(乔治城大学);Columbia University(哥伦比亚大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文提出一种图神经网络表示学习与风险鉴别框架,通过整合交易记录和身份信息构建交易图,利用多层消息传递机制和结构正则化提升欺诈检测的准确性和稳定性。
2026-05-12 cs.LG
Bias and unfairness in machine learning models: a systematic literature review
SENAI CIMATEC(巴西国家工业培训服务中心先进工业技术与创新中心);HP Inc.(惠普公司);Surrey Institute for People-Centred AI(萨里以人为本人工智能研究所);University of Surrey(萨里大学)
人工智能的难点之一是确保模型决策是公平的,没有偏见。在研究中,数据集,指标,技术和工具被应用于检测和减轻算法的不公平性和偏见。本研究的目的是检查现有的知识偏见和不公平的机器学习模型,确定缓解方法,公平性指标和支持工具。一项系统性文献综述发现,2017年至2022年间在Scopus、IEEE Xplore、Web of Science和Google Scholar知识库中发表了40篇合格文章。结果显示,ML技术有许多偏见和不公平的检测和缓解方法,在文献中有明确定义的指标,并且可以突出显示不同的指标。我们建议进一步研究,以定义在每种情况下应采用的技术和指标,以标准化和确保机器学习模型的公正性,从而允许最合适的指标在给定的上下文中检测偏见和不公平。
2022-11-03 cs.AI cs.LG
Turning the Tables: Biased, Imbalanced, Dynamic Tabular Datasets for ML Evaluation
Feedzai;Faculdade de Ciências da Universidade do Porto(波尔图大学理学院);INESCTEC Universidade do Porto(波尔图大学系统与计算机工程、技术与科学研究所)
在现实数据集上评估新技术在ML研究的发展及其被从业者更广泛采用方面起着至关重要的作用。近年来,用于计算机视觉和NLP任务的公开可用的非结构化数据资源显著增加。然而,表格数据-在许多高风险领域普遍存在-一直落后。为了弥合这一差距,我们提出了银行账户欺诈(BAF),这是第一个公开的隐私保护,大规模,现实的表格数据集套件。该套件是通过将最先进的表格数据生成技术应用于匿名的真实世界银行开户欺诈检测数据集而生成的。这种设置带来了一系列现实应用中常见的挑战,包括时间动态和显著的类不平衡。此外,为了允许从业者对ML方法的性能和公平性进行压力测试,BAF的每个数据集变体都包含特定类型的数据偏差。有了这个资源,我们的目标是为研究界提供一个更现实,完整和强大的测试平台,以评估新的和现有的方法。
2022-11-28 cs.LG
Auditing ML Models for Individual Bias and Unfairness
Department of Statistics University of Michigan(密歇根大学统计系);IBM Research(IBM研究);MIT-IBM Watson AI lab(麻省理工学院-IBM沃森人工智能实验室)
我们考虑审计ML模型的个人偏见/不公平性的任务。我们正式的任务在一个优化问题,并开发了一套推理工具的最佳值。我们的工具使我们能够获得渐近置信区间和假设检验,覆盖目标/控制第一类错误率。为了证明我们的工具的实用性,我们用它们来揭示性别和种族偏见在Northpointe的COMPAS累犯预测工具。
2020-03-11 cs.LG stat.ML
Interpreting Unfairness in Graph Neural Networks via Training Node Attribution
University of Virginia(弗吉尼亚大学);University of Georgia(佐治亚大学)
图神经网络(GNN)已经成为解决各种现实世界应用中的图分析问题的领先范式。然而,GNN可能会对某些人口统计子群体进行有偏见的预测。理解预测中的偏差是如何产生的至关重要,因为它指导了GNN去偏差机制的设计。然而,大多数现有的工作压倒性地集中在GNN去偏,但没有解释这种偏见是如何引起的。在本文中,我们研究了一个新的问题,解释GNN的不公平性,通过归因于训练节点的影响。具体来说,我们提出了一种名为概率分布差异(PDD)的新策略来衡量GNN中表现出的偏差,并开发了一种算法来有效地估计每个训练节点对这种偏差的影响。我们通过在真实数据集上的实验验证了PDD的有效性和影响估计的有效性。最后,我们还演示了如何将所提出的框架用于去偏置GNN。开源代码可以在https://github.com/yushundong/BIND上找到。
2022-11-25 cs.CY cs.LG
Intersectional Unfairness Discovery
University of Western Ontario(西安大略大学);Vector Institute(向量研究院);University of Toronto(多伦多大学)
本文提出偏见引导生成网络BGGN,将偏见值作为奖励以高效发现交叉敏感属性下的高偏见子群体,并通过生成式AI验证了现代AI系统中潜在的不公平。
2024-06-07 cs.CY cs.LG
Leakage Safe Graph Features for Interpretable Fraud Detection in Temporal Transaction Networks
The University of Tulsa(塔尔萨大学)
本文提出了一种用于时间交易网络中可解释欺诈检测的泄漏安全图特征提取方法,通过构建交易图并计算结构描述符,结合因果变异特征和随机森林分类器,提升欺诈检测的可解释性和实用性。
2026-02-24 cs.CR cs.LG
FiFAR: A Fraud Detection Dataset for Learning to Defer
Feedzai(Feedzai公司);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
为填补学习延迟决策(L2D)研究缺乏金融欺诈数据集的空白,提出合成数据集FiFAR,含50位合成分析师预测及工作容量约束,并开发容量感知方法,在300个场景下基准测试,促进人机协作评估。
2023-12-20 cs.AI cs.LG
A Causal Approach for Unfair Edge Prioritization and Discrimination Removal
Robert Bosch Center for Data Science and Artificial Intelligence, IIT Madras(印度理工学院马德拉斯分校罗伯特·博世数据科学与人工智能中心);IIT Madras(印度理工学院马德拉斯分校)
在执法等旨在减轻不公平现象的非理性约束环境中,在采取措施减轻现实世界中的不公平现象之前,必须优先考虑不公平现象的根源。与以前的作品,这只是作为一个警告,对可能的歧视和数据生成后的去偏置数据,这项工作提供了一个工具包,以减轻不公平的边缘优先级算法,在数据生成过程中的不公平,除了去偏置数据生成后,由歧视消除算法。我们假设一个非参数马尔可夫因果模型的数据生成过程的代表。从因果图中的敏感节点发出的边,如种族,被假定为不公平的来源。我们首先量化任何边X -> Y中的边流,这是由于沿X -> Y的X的特定值的影响而观察到Y的特定值的信念。然后,我们量化边缘不公平,制定一个非参数模型的边缘流。然后,我们证明,累积的不公平对敏感群体的决定,如种族的保释决定,是不存在的边缘不公平是缺席。我们证明了这一结果的非平凡的非参数模型设置时,累积的不公平不能表示在边缘不公平。然后,我们测量的潜力,以减轻累积不公平时,边缘不公平减少。基于这些测量,我们提出了不公平的边缘优先级算法,然后可以使用的政策制定者。我们还提出了歧视消除过程,消除偏见的数据分布,通过消除优化约束,指数增长的敏感属性和值的数量。大量的实验验证了用于量化上述措施的定理和规格。
2021-11-29 cs.CY cs.LG
Challenging Gradient Boosted Decision Trees with Tabular Transformers for Fraud Detection at Booking.com
Maastricht University(马斯特里赫特大学)
针对欺诈检测中的选择偏差问题,提出利用自监督学习预训练表格Transformer并微调的方法,在离线与在线A/B实验中均显著优于调优后的GBDT。
2025-06-30 cs.LG
A Causal Linear Model to Quantify Edge Flow and Edge Unfairness for UnfairEdge Prioritization and Discrimination Removal
Robert Bosch Centre for Data Science and Artificial Intelligence, IIT Madras(罗伯特博世数据科学与人工智能中心,印度马德拉斯理工学院);Department of Computer Science and Engineering, IIT Madras(计算机科学与工程系,印度马德拉斯理工学院)
考虑到资源有限,执法部门必须优先处理不公平的根源,然后才能减轻其根本的不公平。与以往的作品,只有提出警告性的歧视和去偏见的数据生成后,本文试图优先考虑不公平的来源之前,减轻他们在现实世界中的不公平。我们假设一个因果baidu网络,代表的数据生成过程,以及敏感的节点,导致不公平,给出。我们量化边缘流,这是通过衰减间接路径影响沿着边缘流动的信念,并使用它来量化边缘不公平。我们证明,累积的不公平是不存在的任何决定,如司法保释,对任何敏感群体,如种族,当边缘不公平是缺席的,给出了一个无误差的线性模型的条件概率。然后,我们衡量的潜力,以减轻累积的不公平时,边缘不公平减少。基于这些措施,我们提出了一个不公平的边缘优先级算法,优先考虑不公平的边缘和歧视消除程序,去偏见生成的数据分布。实验部分验证了用于量化上述测量的规范。
2021-03-11 cs.AI cs.CY cs.LG
Partitioning Message Passing for Graph Fraud Detection
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);National University of Singapore(新加坡国立大学);GrabTaxi Holdings Pte. Ltd.(GrabTaxi控股私人有限公司)
针对GNN应用于图欺诈检测时的标签不平衡和同质性-异质性混合问题,提出分区消息传递(PMP)范式,通过区分不同标签邻居的聚合函数,自适应调整信息聚合,提升检测性能。
2024-11-16 cs.AI cs.LG cs.SI
A Sandbox Tool to Bias(Stress)-Test Fairness Algorithms
Carnegie Mellon University(卡内基梅隆大学);University of Minnesota(明尼苏达大学)
由于减少ML预测中的不公平性越来越重要,Fair-ML研究人员提出了一套广泛的算法“公平性增强”补救措施。然而,大多数现有的算法是不可知的观察到的不公平的来源。因此,文献目前缺乏指导框架来指定每种算法干预可能减轻不公平的根本原因的条件。为了缩小这一差距,我们仔细研究了潜在的偏见(例如,在训练数据或设计选择中)引起观测不公平。我们提出的概念思想和第一个实现的偏见注入沙箱工具,调查各种偏见的公平后果,并评估算法补救措施的有效性,在特定类型的偏见的存在。我们称这个过程为算法干预的偏差(压力)测试。与现有的工具包不同,我们提供了一个受控的环境,可以在ML管道中反事实地注入偏见。这种程式化的设置提供了超越观察数据和无偏见基准测试公平干预的独特能力。特别是,我们可以测试一个给定的补救措施是否可以减轻注入的偏见,通过比较的预测结果后,在有偏见的设置与真正的标签在无偏见的制度,也就是说,在任何偏见注入。我们通过对合成数据的概念验证案例研究来说明我们的工具包的实用性。我们的实证分析展示了通过我们的模拟可以获得的见解类型。
2022-12-13 cs.CY cs.LG
Residual Unfairness in Fair Machine Learning from Prejudiced Data
Cornell University(康奈尔大学)
最近在机器学习公平性方面的工作提出了通过均衡各组之间的准确性指标来调整公平性,并且还研究了受历史偏见影响的数据集如何可能导致不公平的决策策略。我们将这些工作联系起来,研究当公平性调整后的预测因子对目标人群实际上并不公平时产生的剩余不公平性,这是由于现有偏见政策对训练数据进行了系统性审查。这种情况在关注公平性的相同应用程序中特别常见。我们从理论上描述了这种审查对二进制分类器的标准公平性度量的影响,并提供了残留不公平性可能出现或可能不会出现的标准。我们证明,在某些条件下,公平调整的分类器实际上会导致剩余的不公平,使同样的不公平持续下去,对相同的群体,这使数据产生偏见,从而表明,即使是最先进的公平机器学习也可能具有“偏入,偏出”属性。当某些基准数据可用时,我们展示了样本重新加权如何在考虑删失的同时估计和调整公平性指标。我们用这个研究的情况下,停止,问题,和弗里斯克(SQF),并证明,试图调整公平的政策是臭名昭著的同样的不公正。
2018-06-07 cs.LG stat.ML
AIM: Attributing, Interpreting, Mitigating Data Unfairness
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IBM Research(IBM研究院)
针对公平机器学习领域数据偏差溯源研究不足的问题,提出AIM框架,通过样本偏差准则与算法实现偏差的样本级归因解释,并设计基于最小数据编辑的策略,以极低效用损失同时缓解群体与个体不公平性。
2024-06-18 cs.AI cs.LG stat.ML
Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors
Carnegie Mellon University(卡内基梅隆大学)
本研究通过审计不同以数据为中心的因素,揭示了无监督异常检测中不公平性的来源,发现数据属性与算法设计选择的相互作用会导致不公平,证明OD算法偏差不仅是数据偏差问题。
2024-08-24 cs.CY cs.LG
Learning Informative Representation for Fairness-aware Multivariate Time-series Forecasting: A Group-based Perspective
Beijing Institute of Technology(北京理工大学);Tongji University(同济大学);University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学)
针对多变量时间序列预测中模型偏向优势变量导致的性能不公平问题,提出基于对抗学习的FairFor框架,通过生成组无关和组相关表示并利用正交性正则化,实现知识共享以保证公平性。
2023-10-23 cs.LG eess.SP
LUCID-GAN: Conditional Generative Models to Locate Unfairness
Vrije Universiteit Brussel(布鲁塞尔自由大学);Oxford University(牛津大学);Harvard University(哈佛大学)
提出LUCID-GAN,利用条件生成模型替代梯度逆向设计生成规范输入,以检测黑盒模型中的不道德偏见,克服了传统统计指标缺乏可解释性及不可微模型适用性等局限。
2023-07-28 cs.CY cs.LG
Modeling and Counteracting Exposure Bias in Recommender Systems
University of Louisville(路易斯维尔大学)
我们在网上发现和看到的东西,以及我们的观点和决定,越来越多地受到自动化机器学习预测的影响。同样,学习机器的预测准确性在很大程度上取决于我们提供给它们的反馈数据。这种相互影响可能导致闭环交互,这可能导致未知的偏差,在机器学习预测和用户反馈的多次迭代之后,这种偏差可能会加剧。机器造成的偏见有可能导致不良的社会影响,从两极分化到不公平和过滤泡沫。在本文中,我们研究了广泛使用的推荐策略,如矩阵分解固有的偏见。然后,我们模型的曝光,从用户和推荐系统之间的互动承担,并提出新的去偏置这些系统的策略。最后,我们试图减轻推荐系统的偏见工程解决方案的几个国家的最先进的推荐系统模型。我们的研究结果表明,推荐系统是有偏见的,并依赖于用户的事先曝光。我们还表明,研究的偏见迭代减少多样性的输出建议。我们的去偏置方法表明,需要考虑到曝光过程,以减少偏见的替代推荐策略。我们的研究结果表明,理解机器学习模型(如直接与人类交互的推荐系统)的性质并处理其中的偏见非常重要,因此对人类的发现和决策产生了越来越大的影响
2020-01-01 cs.IR cs.LG stat.ML
Unfairness Discovery and Prevention For Few-Shot Regression
The University of Texas at Dallas(德克萨斯大学达拉斯分校)
我们研究了监督式Few-Shot元学习模型中的公平性,该模型对历史数据中的歧视(或偏见)敏感。基于偏见数据训练的机器学习模型往往会对少数群体的用户做出不公平的预测。虽然之前已经研究了这个问题,但是现有方法主要针对基于大量训练数据检测和控制受保护变量(例如种族、性别)对目标预测的依赖性影响。这些方法有两个主要缺点:(1)缺乏对所有变量的全局因果可视化;(2)缺乏对看不见的任务的准确性和公平性的概括。在这项工作中,我们首先发现歧视的数据使用因果贝叶斯知识图谱,它不仅展示了依赖的保护变量的目标,但也表明所有变量之间的因果关系。接下来,我们开发了一种新的算法的基础上的风险差异,以量化的歧视性影响,为每个保护变量的图。此外,为了保护预测不受不公平性的影响,提出了一种元学习中的快速自适应偏差控制方法,该方法有效地减轻了每个任务的统计差异,从而确保了受保护属性对基于有偏和Few-Shot数据样本的预测的独立性。不同于现有的元学习模型,组不公平的任务,有效地减少利用(联合国)保护组之间的平均差异回归问题。通过对合成数据集和真实数据集的广泛实验,我们证明了我们提出的不公平发现和预防方法可以有效地检测歧视并减轻模型输出的偏差,并将准确性和公平性推广到具有有限训练样本的看不见的任务。
2020-09-23 cs.LG stat.ML
Prisoners of Their Own Devices: How Models Induce Data Bias in Performative Prediction
Feedzai(Feedzai公司);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
机器学习算法从数据中学习模式的无与伦比的能力也使它们能够将偏见嵌入其中。一个有偏见的模型可以做出不成比例地伤害社会中某些群体的决定。很多工作都致力于测量静态ML环境中的不公平性,但在大多数真实用例运行的动态,表演性预测环境中却没有。在后者中,预测模型本身在塑造数据分布方面起着关键作用。然而,很少有人注意到这些互动的不公平性。因此,为了进一步理解这些设置中的不公平,我们提出了一个分类来描述数据中的偏差,并研究了模型行为塑造的情况。以一个真实的开户欺诈检测案例为例,研究了行为预测中两种典型偏差对性能和公平性的危害:分布偏移和选择性标签问题。
2022-06-27 cs.LG
Algorithmic Unfairness through the Lens of EU Non-Discrimination Law: Or Why the Law is not a Decision Tree
Eindhoven University of Technology(埃因霍温理工大学);Sciences Po Law School(巴黎政治学院法学院);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);University of Copenhagen(哥本哈根大学)
本文通过欧盟非歧视法视角分析算法不公的典型案例,揭示法律推理与算法公平性指标在规范假设上的差异及其局限,并为AI从业者和监管者提供启示。
2023-05-24 cs.AI cs.CY cs.LG
Differentially Private Data Release on Graphs: Inefficiencies and Unfairness
University of Virginia(弗吉尼亚大学);Georgia Institute of Technology(佐治亚理工学院)
本文研究图网络中差分隐私边权发布对最短路径推荐的影响,揭示隐私噪声导致的误差、偏差及跨群体不公平,并提供理论与实证依据。
2024-08-08 cs.AI cs.CR cs.CY
RAGUEL: Recourse-Aware Group Unfairness Elimination
University of Warwick(华威大学);Amazon Web Services(亚马逊云科技)
虽然机器学习和基于排名的系统广泛用于敏感的决策过程(例如,确定工作候选人,分配信用评分),他们对结果中的非预期偏差充满担忧,这使得算法公平性(例如,人口均等、机会均等)是一个令人感兴趣的目标。“民事追索权”提供了可行的恢复行动,通过修改属性来改变不想要的结果。我们引入了排名组级追索公平的概念,并开发了一个“资源感知排名”的解决方案,满足排名追索公平的约束,同时最大限度地减少建议修改的成本。我们的解决方案提出了干预措施,可以重新排序数据库记录的排名列表,并减轻组级的不公平性,特别是,不成比例的代表性的子组和追索权的成本不平衡。这种重新排序确定了对数据点的最小修改,这些属性修改根据其求助的难易程度进行加权。然后,我们提出了一个有效的基于块的扩展,使重新排名在任何粒度(例如,银行贷款利率的多个括号、搜索引擎结果的多个页面)。真实数据集上的评估表明,虽然现有的方法甚至可能加剧追索权的不公平性,我们的解决方案- RAGUEL -显着提高追索权感知的公平性。RAGUEL在提高追索权公平性方面优于其他方法,通过反事实生成和重新排序的组合过程,同时保持大规模数据集的效率。
2022-08-30 cs.CY cs.LG
FairLay-ML: Intuitive Remedies for Unfairness in Data-Driven Social-Critical Algorithms
THE PENNSYLVANIA STATE UNIVERSITY(宾夕法尼亚州立大学);SCHREYER HONORS COLLEGE(施赖尔荣誉学院);University of Texas at El Paso(德克萨斯大学埃尔帕索分校)
本论文提出FairLay-ML概念验证GUI,整合现有ML解释工具与Streamlit界面,让非专业人士能够直观理解并针对ML决策系统中的不公平性提出可操作的补救建议,并通过Parfait-ML和Themis验证了其有效性。
2023-07-11 cs.CY cs.LG
Fairness Feedback Loops: Training on Synthetic Data Amplifies Bias
University of Toronto(多伦多大学);Vector Institute(矢量研究院);University of Oxford(牛津大学)
本研究提出追踪多代模型诱导分布偏移的框架,发现其会引发性能与公平性下降等问题,同时提出算法补偿框架,通过构建代表性训练批次开展干预,为识别和缓解不公平反馈循环提供新思路。
2024-03-12 cs.LG
A Cognitive-Aware QML-CRL Framework for Detecting Affinity and Romance-Investment Fraud
Fujitsu Research of America, Inc.(富士通美国研究院)
提出混合量子-经典框架,通过量子电路建模认知偏差并联合强化学习智能体逐轮决策,用于检测亲和与婚恋投资欺诈,在含硬负样本的合成对话上评估性能。
2026-10-08 cs.LG quant-ph
Networked Inequality: Preferential Attachment Bias in Graph Neural Network Link Prediction
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Meta
本文揭示了图卷积网络链路预测中存在组内优先连接偏差,并提出新的组内公平性指标和训练时策略以缓解不公平性。
2024-06-04 cs.CY cs.LG cs.SI
FairEM360: A Suite for Responsible Entity Matching
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Rochester(罗切斯特大学);AT&T Chief Data Office(美国电话电报公司首席数据办公室)
FairEM360是一个用于审计、解释和缓解实体匹配中偏见的框架,通过集成匹配器与人在回路反馈促进公平性评估。
2024-07-18 cs.CY cs.DB cs.LG
Faking Fairness via Stealthily Biased Sampling
University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所人工智能研究中心);Osaka University(大阪大学)
对决策者的审计公正性提出了更高的要求。为了回应这一社会需求,一些公平审计工具已经开发出来。本研究的重点是提高对恶意决策者的风险的认识,他们通过滥用审计工具来伪造公平,从而欺骗社会群体。问题是,决策者的这种欺诈行为是否可以被发现,以便社会能够避免虚假公平的风险。在这项研究中,我们对这个问题的回答是否定的。我们特别关注这样一种情况:决策者发布基准数据集作为他/她的公平性证据,并试图欺骗使用计算公平性度量的审计工具的人。为了评估欺诈行为的可检测性,我们明确地构建了一个算法,即隐形偏置采样,它可以通过子采样故意构建一个邪恶的基准数据集。我们发现,欺诈的秘密为基础的抽样确实是很难发现的理论和经验。
2019-11-29 cs.CR cs.LG stat.ML
Everything is Relative: Understanding Fairness with Optimal Transport
Brown University(布朗大学);University of Rhode Island(罗德岛大学)
为了研究自动决策系统中的歧视,学者们提出了几种公平的定义,每一种都表达了不同的公平理想。这些定义要求从业人员就采用哪种概念做出复杂的决定,而且往往难以在实践中使用,因为它们对系统是否公平做出二元判断,而不是解释所发现的不公平的结构。我们提出了一个最佳的运输为基础的公平性,提供了一个可解释的和可量化的探索偏见及其结构,通过比较一对结果彼此。在这项工作中,我们使用的最佳运输地图来检查个人,子群和组的公平性。我们的框架能够恢复众所周知的算法歧视的例子,当其他指标失败时检测不公平,并探索追索机会。
2021-02-20 cs.CY cs.LG
Assessing Electricity Service Unfairness with Transfer Counterfactual Learning
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Argonne National Laboratory(阿贡国家实验室)
针对能源行业偏见识别难的问题,该研究提出基于迁移学习的反事实不公平性估计方法,结合亚组分析处理异质性,通过大规模停电数据验证发现低收入和老年聚居区停电时间更长,揭示电力服务系统性不公并呼吁干预。
2024-01-24 cs.LG stat.ME
Bias, Fairness, and Accountability with AI and ML Algorithms
Wells Fargo(富国银行)
AI和ML算法的出现带来了机遇和挑战。在本文中,我们概述了使用ML算法时出现的偏见和公平性问题。我们描述了数据偏差的类型和来源,并讨论了算法不公平的性质。其次是公平性指标在文献中的审查,讨论其局限性,并在模型的生命周期中的去偏置(或缓解)技术的描述。
2021-05-13 cs.LG stat.ML
Stacked Generalizations in Imbalanced Fraud Data Sets using Resampling Methods
Northwestern University(西北大学)
这项研究使用堆叠式泛化,这是一个两步结合机器学习方法的过程,称为Meta学习者或超级学习者,为了提高第一步中算法的性能(通过最小化每个单独算法的出错率以减少其在学习集中的偏差),然后在步骤2中,将结果输入到具有其堆叠混合输出的Meta学习器中(证明了最弱算法学习得更好的改进性能)。该方法本质上是一种增强的交叉验证策略。虽然该过程使用了大量的计算资源,但对重新采样的欺诈数据的性能指标表明,增加的系统成本是合理的。欺诈数据的一个根本关键是它本质上是不系统的,而且迄今为止,尚未确定最佳的重新调查方法。构建一个解释算法样本集对的所有排列的测试工具,证明了复杂的、内在的数据结构都得到了彻底的测试。使用对欺诈数据的比较分析,应用堆叠概括提供了有用的洞察力,需要找到用于不平衡的欺诈数据集的最佳数学公式。
2020-04-03 cs.LG stat.AP stat.ML
EAB-FL: Exacerbating Algorithmic Bias through Model Poisoning Attacks in Federated Learning
University of Tennessee, Knoxville(田纳西大学诺克斯维尔分校)
本文提出模型投毒攻击EAB-FL,在保持模型效用的同时加剧联邦学习中的群体不公平性,并通过三数据集实验验证其有效性。
2024-10-02 cs.AI cs.CR cs.LG
The Devil is in the Conflict: Disentangled Information Graph Neural Networks for Fraud Detection
Beijing Institute of Technology(北京理工大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于图的欺诈检测迄今已受到相当大的关注。由于图神经网络(GNNs)的巨大成功,许多采用GNNs进行欺诈检测的方法已经获得了发展势头。然而,大多数现有的方法是基于同质性的强归纳偏差,这表明上下文邻居往往有相同的标签或相似的功能。在现实场景中,欺诈者往往会进行伪装行为,以躲避检测系统。因此,同性恋假设不再成立,这被称为不一致问题。在本文中,我们认为,性能下降的主要原因是拓扑和属性之间的不一致性。为了解决这个问题,我们建议将欺诈网络分解为两个视图,每个视图分别对应于拓扑和属性。然后,我们提出了一个简单而有效的方法,使用注意力机制,自适应融合两个视图,捕捉数据特定的偏好。此外,通过引入拓扑和属性的互信息约束,进一步改进了该算法。为此,我们提出了一个解纠缠信息图神经网络(DIGNN)模型,它利用变分边界找到我们提出的优化目标函数的近似解。大量的实验表明,我们的模型在真实世界的欺诈检测数据集上的表现可以显著优于最先进的基线。
2022-10-22 cs.AI cs.LG cs.SI
Bias-inducing geometries: an exactly solvable data model with fairness implications
University College London(伦敦大学学院);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学中心);Sainsbury Wellcome Centre(桑斯伯里惠康中心);Scuola Internazionale Superiore di Studi Avanzati(国际高等研究学院);Google(谷歌);Bocconi University(博科尼大学)
本研究引入可精确求解的高维数据不平衡模型,探索数据几何结构在ML偏差产生中的作用,分析表征偏差缓解策略,发现耦合学习模型能实现更优的公平性-准确性权衡。
2024-11-29 cond-mat.dis-nn cs.LG stat.ML
Fairness in Missing Data Imputation
University of Pennsylvania(宾夕法尼亚大学)
在大数据时代,缺失数据无处不在,如果处理不当,已知会导致有偏见的结果,并对数据驱动的决策产生有害影响。为了减轻其影响,许多缺失值估算方法已经开发出来。然而,这些估算方法在敏感群体中的公平性尚未得到研究。在本文中,我们进行了已知的第一个缺失数据填补的公平性研究。通过对三种常用数据集的插补方法的性能研究,证明了缺失值插补的不公平性普遍存在,且可能与多种因素有关。我们的研究结果表明,在实践中,对相关因素的仔细调查可以为减轻与缺失数据插补相关的不公平提供有价值的见解。
2021-10-22 cs.AI cs.LG stat.ME
Fairness-Aware Data Valuation for Supervised Learning
Feedzai(Feedzai公司);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所)
数据估值是一个ML领域,研究训练实例对给定预测任务的价值。虽然数据偏差是下游模型不公平的主要来源之一,但以前的数据评估工作并没有考虑训练实例如何影响ML模型的性能和公平性。因此,我们提出了公平感知数据评估(FADO),这是一个数据评估框架,可用于将公平性问题纳入一系列ML相关任务(例如,数据预处理、探索性数据分析、主动学习)。我们提出了一个基于熵的数据评估指标,适合于解决我们的双管齐下的目标,最大限度地提高性能和公平性,这是更有效的计算比现有的指标。然后,我们将展示如何FADO可以应用为基础的不公平缓解预处理技术。我们的方法取得了令人鼓舞的结果-与基线相比,公平性提高了40个百分点,性能损失不到1个百分点-并以数据为中心的方式促进公平性,其中对数据质量的更深入理解占据了中心地位。
2023-03-29 cs.CY cs.LG
Heterophily-Aware Fair Recommendation using Graph Convolutional Networks
本文提出HetroFair,一种基于图卷积网络的公平推荐系统,通过公平感知注意力和异质性特征加权,在六个数据集上减轻物品侧不公平和流行度偏差,同时提升用户侧准确性。
2025-08-05 cs.IR cs.LG cs.SI
Fairness Implications of Encoding Protected Categorical Attributes
University of Southampton(南安普顿大学);Scuola Normale Superiore(比萨高等师范学校);University of Pisa(比萨大学);University of Stuttgart(斯图加特大学)
本文比较独热编码与目标编码对含受保护分类属性模型的准确率和公平性影响,区分不可约与可约偏差,并分析正则化及高基数交叉编码带来的交叉性不公平。
2023-05-05 cs.CY cs.DS cs.LG
Do the Machine Learning Models on a Crowd Sourced Platform Exhibit Bias? An Empirical Study on Model Fairness
Iowa State University(爱荷华州立大学)
机器学习模型越来越多地用于重要的决策软件中,例如批准银行贷款,推荐刑事判决,雇用员工等。重要的是确保这些模型的公平性,以便不会基于受保护的属性(例如,种族、性别、年龄)。已经开发了算法来测量不公平并在一定程度上减轻它们。在本文中,我们专注于对真实世界机器学习模型的公平性和缓解措施的实证评估。我们创建了一个由Kaggle中的40个顶级模型组成的基准,用于5个不同的任务,然后使用一套全面的公平性指标来评估它们的公平性。然后,我们在这些模型上应用了7种缓解技术,并分析了公平性,缓解结果以及对性能的影响。我们已经发现,一些模型优化技术的结果诱导模型中的不公平。另一方面,虽然在机器学习库中有一些公平性控制机制,但它们没有被文档化。缓解算法还表现出常见的模式,例如后处理中的缓解通常是昂贵的(就性能而言),并且在大多数情况下,预处理阶段中的缓解是优选的。我们还提出了不同的权衡选择的公平缓解决策。我们的研究提出了未来的研究方向,以减少理论上的公平意识算法和软件工程方法之间的差距,以利用它们在实践中。
2020-09-22 cs.LG cs.SE stat.ML