Adaptive Data Debiasing through Bounded Exploration
Ohio State University(俄亥俄州立大学);University of California, Santa Cruz(加州大学圣克鲁兹分校)
用于训练算法决策规则的现有数据集中的偏见可能会引起伦理和经济问题,因为这会导致对不同群体的不同对待。我们提出了一种算法,通过自适应和有界探索在一个昂贵的和审查反馈的分类问题,顺序去偏置这样的数据集。在这种情况下,探索意味着决策者有时会在明智选择的程度上偏离其(当前)损失最小化规则,而是接受一些否则会被拒绝的个体,以减少统计数据偏差。我们提出的算法包括可用于在消除数据偏差的最终目标(这反过来又会导致更准确和公平的决策)与实现这一目标所带来的探索风险之间进行平衡的参数。我们分析表明,这样的探索可以帮助debias数据在某些分布。我们进一步研究如何公平的标准可以与我们的数据去偏置算法。我们说明了我们的算法使用合成和真实世界的数据集上的实验的性能。
2023-01-10 cs.CY cs.LG
When Fairness Meets Privacy: Fair Classification with Semi-Private Sensitive Attributes
Illinois Institute of Technology(伊利诺伊理工学院);Cisco Research(思科研究院);University of Connecticut(康涅狄格大学)
本文提出FairSP框架,利用少量干净敏感属性纠正受本地差分隐私保护的敏感属性,并通过对抗式联合建模实现半私有设置下的公平分类,在保护隐私的同时保持高准确率。
2023-05-29 cs.AI cs.CR cs.CY
Fair Learning with Private Demographic Data
Massachusetts Institute of Technology(麻省理工学院);University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Toyota Technological Institute at Chicago(芝加哥丰田工业大学)
敏感属性,如种族,在现实世界中很少提供给学习者,因为他们的收集往往受到法律和法规的限制。我们给出了一个方案,允许个人私下发布他们的敏感信息,同时仍然允许任何下游实体学习非歧视性的预测。我们展示了如何适应非歧视性学习者的工作与私有化的保护属性的理论保证性能。最后,我们强调了该方法如何适用于学习公平的预测设置中,受保护的属性只适用于一个子集的数据。
2020-07-13 cs.CY cs.LG stat.ML
The Challenges of Exploration for Offline Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校);DeepMind(深度思维)
离线强化学习(ORL)使我们能够分别研究强化学习的两个相互关联的过程:收集信息经验和推断最佳行为。第二步已经在离线环境中得到了广泛的研究,但对于数据高效的RL来说,同样重要的是收集信息数据。数据汇集的任务不可知设置(其中任务不是先验已知的)特别令人感兴趣,因为可以收集单个数据集并在出现时使用它来解决多个下游任务。我们通过好奇心为基础的内在动机,一个家庭的探索方法,鼓励代理人探索那些状态或过渡,它还没有学会模型的设置。使用Explore2Offline,我们建议通过传输收集的数据并使用奖励重新标记和标准离线RL算法推断策略来评估收集的数据的质量。我们评估了各种各样的数据汇集策略,包括一个新的勘探代理,内在模型预测控制(IMPC),使用该计划,并展示其性能的各种任务。我们使用这个解耦的框架来加强关于探索的直觉和有效离线RL的数据先决条件。
2022-02-19 cs.LG
More Data Can Lead Us Astray: Active Data Acquisition in the Presence of Label Bias
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文研究存在标签偏差时主动数据收集的公平性问题,发现忽视标签偏差时更多数据反而会加剧偏差,强调必须明确区分公平算法所针对的偏差类型并重视标签偏差风险。
2022-07-15 cs.CY cs.LG
An Unbiased Data Collection and Content Exploitation/Exploration Strategy for Personalization
Yahoo Research(雅虎研究院);Yahoo Personalization Team(雅虎个性化团队)
个性化系统和推荐系统的任务之一是根据用户的个人兴趣显示内容项。为了实现这样的目标,这些系统随着时间的推移学习用户兴趣,并且尝试呈现针对用户简档定制的内容项。根据用户的偏好推荐商品在过去几年中得到了广泛的研究,这主要归功于Netflix竞争的流行。在真实环境中,用户可能会被这些项目的子集所吸引并与它们进行交互,只留下部分反馈给系统,以便在下一个周期中学习,这会导致系统出现重大偏差,从而导致用户参与度指标无法随着时间的推移而改善的情况。问题不仅仅是系统的一个组成部分。从用户收集的数据通常用于许多不同的任务,包括学习排名功能,构建用户简档和构建内容分类器。一旦数据出现偏差,所有这些下游用例也会受到影响。因此,通过用户交互收集无偏见的数据将是有益的。传统上,无偏的数据汇集是通过显示从内容池中均匀采样的项来完成的。然而,这种简单的方案是不可行的,因为它会危及用户参与度指标,并且需要很长时间来收集用户反馈。在本文中,我们介绍了一个用户友好的无偏数据汇集框架,利用开发和勘探文献中开发的方法。我们讨论的框架是如何不同于正常的多臂强盗问题,为什么需要这样的方法。为了有效地平衡用户体验和数据汇集,我们设计了一种新的伯努利排序列表的汤普森抽样。该方法是从一个真正的桶测试验证,我们表现出强大的结果相比,旧的算法
2016-04-12 cs.IR cs.LG
Consistent Range Approximation for Fair Predictive Modeling
University of California, San Diego(加州大学圣地亚哥分校);Cornell University(康奈尔大学)
本文提出一致范围近似(CRA)框架,利用数据收集背景知识与有偏数据计算公平性查询范围,构建在目标群体上可证明公平的预测模型,效果显著优于现有方法。
2023-07-28 cs.AI cs.DB cs.LG
Adaptive Bounded Exploration and Intermediate Actions for Data Debiasing
Ohio State University(俄亥俄州立大学);UC, Santa Cruz(加州大学圣克鲁兹分校);UC, San Diego(加州大学圣迭戈分校)
本文提出通过自适应有界探索和低成本中间动作对训练数据进行顺序去偏的算法,以在降低探索风险的同时提升决策的准确性与公平性,并通过理论分析和数值实验验证其有效性。
2025-04-10 cs.LG
Fair Active Learning in Low-Data Regimes
University of Washington(华盛顿大学)
针对数据稀缺环境下现有公平主动学习需大量标记数据、难满足总体公平约束的问题,提出结合后验采样式探索与公平分类子例程的框架,在低数据场景下实现高概率满足公平约束的同时提升准确率,性能优于现有最优方法。
2023-12-13 cs.CY cs.LG stat.ML
FAIR: Fair Adversarial Instance Re-weighting
University of Belgrade - Faculty of Organizational Sciences(贝尔格莱德大学组织科学学院);University of Belgrade - Faculty of Mathematics(贝尔格莱德大学数学学院)
随着人们对人工智能的社会影响的日益认识,公平性已经成为机器学习算法的一个重要方面。问题是,人类对某些群体的偏见,由种族和性别等敏感特征定义,通过数据汇集和标记引入训练数据。公平性保证研究的两个重要方向集中在(i)实例加权,以减少更有偏见的实例的影响和(ii)对抗性训练,以构建目标变量的数据表示信息,但不提供敏感属性的信息。在本文中,我们提出了一种公平对抗性实例重新加权(FAIR)方法,该方法使用对抗性训练来学习实例加权函数,以确保公平的预测。合并这两种范式,它继承了两者的理想属性-重新加权的可解释性和对抗训练的端到端可训练性。我们提出了四种不同的变体的方法,除其他外,演示了如何在一个完全概率的框架中铸造的方法。此外,FAIR模型的性质的理论分析也得到了广泛的研究。我们比较FAIR模型与其他7个相关和国家的最先进的模型,并证明FAIR是能够实现更好的准确性和不公平之间的权衡。据我们所知,这是第一个通过加权函数合并重新加权和对抗方法的模型,该加权函数可以提供有关单个实例公平性的可解释信息。
2020-11-15 cs.AI cs.LG stat.ML
Why Is My Classifier Discriminatory?
MIT(麻省理工学院)
最近在预测模型中实现公平性的尝试集中在公平性和准确性之间的平衡。在医疗保健或刑事司法等敏感应用中,这种权衡往往是不可取的,因为预测误差的任何增加都可能造成破坏性后果。在这项工作中,我们认为,预测的公平性应在数据的背景下进行评估,并通过数据收集,而不是通过约束模型,解决样本量不足或不可测的预测变量引起的不公平。我们将基于成本的歧视指标分解为偏差,方差和噪声,并提出旨在估计和减少每个术语的行动。最后,我们对收入、死亡率和评论评级的预测进行了案例研究,证实了这种分析的价值。我们发现,数据收集通常是一种在不牺牲准确性的情况下减少歧视的手段。
2018-12-10 cs.LG stat.ML
Learning Interpretable Fair Representations
针对现有公平表示可解释性不足、限制数据效用的问题,提出在表示学习中引入可解释先验知识的通用框架,在ColorMNIST和Dsprite数据集上验证了其在可解释性、准确率和公平性上的优势。
2024-06-24 cs.CY cs.LG
FairX: A comprehensive benchmarking tool for model analysis using fairness, utility, and explainability
Institute for Experiential AI, Northeastern University(东北大学体验式人工智能研究院)
FairX是一个开源Python基准测试工具,统一支持公平性、效用和可解释性分析,并新增公平生成模型训练与合成数据质量评估能力,支持表格和图像数据集。
2024-09-03 cs.AI cs.LG
Evaluating Online Bandit Exploration In Large-Scale Recommender System
Meta AI
针对Bandit学习算法在A/B测试中因探索特性导致评估不公平的问题,将UCB应用于大规模短视频推荐系统,提出一种生产级测试框架及新指标,实现公平评估。
2023-07-30 cs.AI cs.IR cs.LG
Causal Feature Selection for Algorithmic Fairness
University of Chicago(芝加哥大学);IBM Research AI(IBM研究院人工智能部门)
在高风险的社会决策中使用机器学习(ML)鼓励在整个ML生命周期中考虑公平性。虽然数据集成是生成高质量训练数据的主要步骤之一,但大多数公平性文献都忽略了这一阶段。在这项工作中,我们在数据管理的集成组件中考虑公平性,旨在确定在不向数据集添加任何偏差的情况下提高预测的特征。我们在因果干预公平范式下工作。在不需要先验的基础结构因果模型的情况下,我们提出了一种方法来确定一个子集合的功能,通过执行不同的功能子集之间的条件独立性测试,确保数据集的公平性。我们使用组测试来提高方法的复杂性。我们从理论上证明了所提出的算法的正确性,以确定功能,确保干预的公平性,并表明,次线性条件独立性测试是足够的,以确定这些变量。在真实世界的数据集上进行了详细的经验评估,以证明我们的技术的有效性和效率。
2022-03-31 cs.CY cs.DB cs.LG
An Exploration of Multicalibration Uniform Convergence Bounds
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);University of California, San Diego(加利福尼亚大学圣地亚哥分校)
最近的工作已经调查了公平的机器学习所需的样本复杂度。最先进的这种样本复杂性界的开发,通过分析多校准一致收敛为一个给定的预测类。我们提出了一个框架,通过重新参数化经验风险最小化(ERM)学习的样本复杂性,产生多校准误差一致收敛界。从这个框架中,我们证明了多校准误差表现出依赖于分类器架构以及底层数据分布。我们进行了实验评估,调查不同的家庭分类器的多校准错误的行为。我们比较多校准误差集中界限的评价结果。我们的调查提供了额外的视角,算法公平性和多校准误差收敛范围。鉴于普遍存在的ERM样本复杂性界限,我们提出的框架使机器学习从业者能够轻松地理解无数分类器架构的多校准误差的收敛行为。
2022-02-09 cs.LG
MMM-fair: An Interactive Toolkit for Exploring and Operationalizing Multi-Fairness Trade-offs
University of the Bundeswehr(德国联邦国防军大学);Free University Berlin(柏林自由大学)
本文介绍mmm-fair,一个开源交互式工具包,通过提升集成方法实现多目标优化,联合最小化分类错误与公平性违规,支持无代码界面、LLM解释和帕累托探索,以探索和操作多公平性权衡。
2025-09-09 cs.CY cs.LG
Safe Exploration for Efficient Policy Evaluation and Comparison
North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊)
高质量的数据在确保政策评估的准确性方面发挥着核心作用。本文提出了一种有效安全的数据汇集方法,用于对土匪政策的评估。我们制定的问题,并调查其几个有代表性的变种。对于每一个变异体,我们分析了它的统计特性,推导出相应的探索策略,并设计了一个有效的算法来计算它,理论分析和实验都证明了所提出方法的有效性.
2022-06-18 cs.LG
When Fair Classification Meets Noisy Protected Attributes
Northeastern University(东北大学)
本文首次系统对比依赖属性、容忍噪声和属性盲三类公平分类算法,在四个真实数据集上验证了属性盲和容忍噪声方法在受保护属性带噪时仍可接近依赖属性算法的性能,为实际部署提供了指导。
2023-07-11 cs.CY cs.LG
Where to Explore: A Reach and Cost-Aware Approach for Unbiased Data Collection in Recommender Systems
st Qiang Chen(第一作者);nd Venkatesh Ganapati Hegde(第二作者)
本文提出一种兼顾覆盖与成本的无偏数据收集方法,通过优化内容展示位置,提升推荐系统长期质量的同时保持业务指标稳定。
2025-12-11 cs.IR cs.LG
Disentangling Exploration of Large Language Models by Optimal Exploitation
Technical University of Clausthal(Clausthal 技术大学);University of Mannheim(曼海姆大学);University of Rostock(罗斯托克大学)
针对LLMs在部分隐藏状态空间的探索能力不明确问题,本研究将探索作为唯一目标,分解缺失奖励为探索与利用组件,实验发现多数模型探索困难但探索性能与推理能力正相关,为优化探索任务提供工具。
2025-08-24 cs.AI cs.CL cs.LG
Off-Policy Safe Reinforcement Learning with Constrained Optimistic Exploration
Faculty of Mechanical Engineering(机械工程学院);Delft University of Technology(代尔夫特理工大学);Faculty of Electrical Engineering, Mathematics and Computer Science(电气工程、数学和计算机科学学院)
本文提出COX-Q算法,通过约束乐观探索和保守离线分布价值学习,解决非策略安全强化学习中的约束违反问题,实现在安全关键应用中的高效样本利用和可控数据收集成本。
2026-03-25 cs.LG cs.RO
Batch Exploration with Examples for Scalable Robotic Reinforcement Learning
Stanford University(斯坦福大学)
从不同的离线数据集学习是学习通用机器人代理的一条有前途的道路。然而,这种模式的核心挑战在于收集大量有意义的数据,同时不依赖于循环中的人进行数据汇集。解决这一挑战的一种方法是通过任务不可知的探索,其中代理尝试在没有特定于任务的奖励函数的情况下进行探索,并收集对任何下游任务有用的数据。虽然这些方法在简单的领域已经显示出一些前景,但它们通常难以在更具挑战性的设置中探索状态空间的相关区域,例如基于视觉的机器人操作。这一挑战源于一个目标,即鼓励在潜在的巨大状态空间中探索一切。为了减轻这一挑战,我们建议集中探索的重要组成部分的状态空间使用弱的人的监督。具体地说,我们提出了一种探索技术,即带示例的批量探索(BEE),它在人类提供的少量重要状态图像的指导下探索状态空间的相关区域。这些人类提供的图像只需要在数据汇集开始时收集一次,并且可以在几分钟内收集,使我们能够可扩展地收集不同的数据集,然后可以与任何批量RL算法相结合。我们发现BEE能够在模拟和真实的Franka机器人上处理具有挑战性的基于视觉的操作任务,并观察到与任务不可知和弱监督的探索技术相比,它(1)与相关对象的交互频率是其两倍以上,并且(2)当与离线RL结合使用时,提高了下游任务的性能。
2021-04-23 cs.AI cs.LG cs.RO
Sampling a Near Neighbor in High Dimensions -- Who is the Fairest of Them All?
IT University of Copenhagen(哥本哈根信息技术大学);University of Illinois at Urbana-Champaign (UIUC)(伊利诺伊大学厄巴纳-香槟分校(UIUC));Toyota Technological Institute at Chicago (TTIC)(芝加哥丰田理工学院(TTIC));University of Copenhagen(哥本哈根大学);University of Padova(帕多瓦大学)
相似性搜索是一种基本的算法原语,广泛应用于计算机科学的许多学科。给定一组点$S$和半径参数$r>0$,$r$ -近邻($r$ -NN)问题要求一个数据结构,该数据结构在给定任何查询点$q$的情况下,返回距离$q$至多$r$的点$p$。在本文中,我们研究了$r$ -NN问题的光个人的公平性和提供平等的机会:距离$r$从查询的所有点应该有相同的概率被返回。在低维情况下,这个问题首先由Hu,Qiao和Tao(PODS 2014)研究。局部敏感哈希(LSH),理论上最强的方法,在高维相似性搜索,不提供这样的公平性保证。在这项工作中,我们表明,基于LSH的算法可以做到公平,而没有显着的效率损失。我们提出了几个有效的数据结构的准确和近似的公平NN问题的变种。我们的方法更普遍地适用于从给定集合的集合的子集合中均匀采样,并且可以在其他一些应用中使用。我们还开发了一个数据结构公平的相似性搜索下的内积,需要近线性空间,并利用局部敏感的过滤器。最后,本文的实验评估,突出了固有的不公平的NN数据结构,并显示我们的算法在现实世界的数据集上的性能。
2021-01-26 cs.DB cs.DS cs.LG
Network Embedding Exploration Tool (NEExT)
Toronto Metropolitan University(多伦多都会大学);Tutte Institute for Mathematics and Computing(塔特数学与计算研究所)
针对图集合分析缺乏标签、现有图机器学习方法可解释性差的问题,提出可通过自定义节点特征实现图嵌入的NEExT框架,在有监督分类上性能比肩SOTA且可解释,还支持无监督高质量嵌入生成。
2025-03-20 cs.LG
Data Collection and Quality Challenges in Deep Learning: A Data-Centric AI Perspective
KAIST(韩国科学技术院);Naver AI Lab(Naver人工智能实验室)
以数据为中心的人工智能是软件工程根本性转变的核心,在这种转变中,机器学习成为由大数据和计算基础设施驱动的新软件。在这里,软件工程需要重新思考,数据成为与代码同等重要的一等公民。一个引人注目的观察结果是,机器学习过程的很大一部分都花在了数据准备上。没有好的数据,即使是最好的机器学习算法也无法很好地执行。因此,以数据为中心的人工智能实践现在正成为主流。不幸的是,现实世界中的许多数据集都很小,肮脏,有偏见,甚至有毒。在本调查中,我们研究了数据汇集和数据质量的研究前景,主要用于深度学习应用。数据汇集很重要,因为最近的深度学习方法对特征工程的需求较少,而是更多地需要大量数据。对于数据质量,我们研究数据验证,清洗和集成技术。即使数据不能被完全清理,我们仍然可以在模型训练期间使用鲁棒的模型训练技术来处理不完美的数据。此外,虽然偏见和公平性在传统的数据管理研究中研究得较少,但这些问题在现代机器学习应用中成为必不可少的主题。因此,我们研究公平性措施和不公平缓解技术,可以在模型训练之前,期间或之后应用。我们相信,数据管理社区已经做好了解决这些问题的准备。
2022-12-26 cs.LG
Incentivizing Exploration with Linear Contexts and Combinatorial Actions
本文研究激励bandit探索问题,证明了在linear bandits中用凸性条件替代先验独立性后,Thompson sampling算法在收集足够初始样本后满足贝叶斯激励兼容性,并改进了semibandit模型中初始数据收集阶段的样本复杂度,为高维动作空间的高效探索提供了可能。
2024-09-24 cs.GT cs.LG
Initial Exploration of Zero-Shot Privacy Utility Tradeoffs in Tabular Data Using GPT-4
Kansas State University(堪萨斯州立大学);Louisiana State University(路易斯安那州立大学)
本研究探索GPT-4以零样本文本提示方式处理表格数据隐私-效用权衡,发现该简单方法性能可媲美复杂对抗优化方法,且在公平性指标上展现出潜在有效性。
2024-04-07 cs.CR cs.LG
Fair Distributed Cooperative Bandit Learning on Networks for Intelligent Internet of Things Systems (Technical Report)
School of Electronics and Communication Engineering, Sun Yat-sen University(中山大学电子与通信工程学院);China Academy of Electronics and Information Technology(中国电子科技集团公司电子科学研究院)
本文针对智能物联网系统提出公平分布式协作赌博机模型及DC-ULCB算法,实现服务器协作选传感器以最大化数据速率并保证公平,理论证明遗憾对数上界,仿真验证优于现有算法。
2024-03-18 cs.DC cs.LG
Collect, Measure, Repeat: Reliability Factors for Responsible AI Data Collection
University of Zurich(苏黎世大学);Delft University of Technology(代尔夫特理工大学);Google Research(谷歌研究院)
本文提出 RAI 数据收集方法,通过细粒度内部可靠性与外部稳定性指标迭代评估数据质量,并在九个数据集、四类模态上验证其有效性。
2023-09-27 cs.HC cs.LG
Fair Generalized Linear Mixed Models
Trier University(特里尔大学)
针对分层抽样导致的样本不独立易引发公平机器学习结果偏差的问题,提出一种可同时兼顾公平性与分层相关性的算法,并通过模拟研究验证了分层抽样对公平预测质量的影响。
2024-12-09 cs.LG math.OC