Graph Neural Network Surrogates of Fair Graph Filtering
Information Technologies Institute(信息技术研究所);Centre for Research and Technology—Hellas(希腊研究与技术中心)
通过边传播将先前节点值转换为后验分数的图过滤器通常支持影响人类的图挖掘任务,例如推荐和排名。因此,重要的是使它们在满足节点组之间的统计奇偶性约束(例如,在性别之间按比例分配评分质量)。为了实现这一点,同时最小限度地扰动原始后验,我们引入了一个过滤器感知的通用近似框架后验目标。这定义了在运行时训练的适当的图神经网络,类似于过滤器,但也局部优化了一大类目标,包括公平性感知的目标。在8个过滤器和5个图的集合上的实验表明,我们的方法在满足奇偶性约束的同时,保持基于分数的社区成员推荐的AUC,并在先前的扩散中产生最小的效用损失。
2023-03-16 cs.CY cs.IR cs.LG
The trade-off between data minimization and fairness in collaborative filtering
Brown University(布朗大学);Tufts University(塔夫茨大学);University of Bergen(卑尔根大学);Max-Planck Institute for Security and Privacy(马克斯·普朗克安全与隐私研究所)
本文研究了推荐系统中GDPR要求的数据最小化与公平性原则之间的矛盾,通过主动学习策略实现数据最小化,发现不同策略对准确率影响各异且普遍损害公平性,为开发合规推荐系统提供了重要见解。
2024-09-21 cs.CY cs.IR cs.LG
[Re] FairDICE: A Fair Tradeoff in Multi-objective Offline RL
University of Amsterdam(阿姆斯特丹大学)
该研究探讨了多目标离线强化学习中公平权衡的问题,提出FairDICE算法通过自适应学习多目标权重来实现公平妥协,但发现代码错误导致其在连续环境中退化为标准行为克隆,并需修正超参数以提升实验有效性。
2026-05-21 cs.LG
A Fair Federated Learning Framework With Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
联邦学习(FL)是一种范例,其中许多客户端在中央服务器的协调下协作地训练模型,同时保持训练数据本地存储。然而,异构数据分布在不同的客户端仍然是一个挑战,主流FL算法,这可能会导致收敛速度慢,整体性能下降和性能的不公平的客户端之间。为了解决这些问题,在这项研究中,我们提出了一个强化学习框架,称为PG-FFL,它自动学习的政策分配聚合权重的客户端。此外,我们提出利用基尼系数作为公平性的衡量FL。更重要的是,我们应用基尼系数和验证准确率的客户端在每一轮的通信构建一个奖励函数的强化学习。我们的PG-FFL也兼容许多现有的FL算法。我们在不同的数据集上进行了广泛的实验,以验证我们的框架的有效性。实验结果表明,我们的框架可以优于基线方法的整体性能,公平性和收敛速度。
2022-05-26 cs.LG
Falcon: Fair Active Learning using Multi-armed Bandits
KAIST(韩国科学技术院);Georgia Institute of Technology(佐治亚理工学院)
本文提出可扩展的公平主动学习框架 Falcon,通过试错样本选择与对抗式多臂老虎机自动权衡信息量和推迟率,在公平性、准确率及效率上显著超越现有方法。
2024-01-24 cs.LG
Improving Recommendation Fairness via Data Augmentation
Hefei University of Technology(合肥工业大学);University of Science and Technology of China(中国科学技术大学);Ant Group(蚂蚁集团);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
基于协同过滤的推荐技术从用户的历史行为数据中学习用户的偏好,以帮助用户进行决策。近年来,推荐的公平性问题变得越来越重要。当推荐系统不能根据用户的敏感属性对不同的用户组表现得同样好时,它被认为是不公平的(例如,性别、种族)。已经提出了许多方法来通过优化预定义的公平性目标或改变不平衡的训练数据的分布来减轻不公平。然而,它们要么受到特定公平性优化指标的影响,要么依赖于重新设计当前的推荐架构。本文从数据增强的角度研究如何提高推荐公平性。推荐模型放大了不平衡的训练数据固有的不公平性。我们将不平衡的训练数据增加到平衡的数据分布,以提高公平性。所提出的框架通常适用于任何基于嵌入的推荐,并且不需要预先定义公平性度量。在两个真实数据集上的大量实验清楚地表明了我们所提出的框架的优越性。我们在https://github.com/newlei/FDA上发布源代码。
2023-02-21 cs.IR cs.LG
Fair Training of Decision Tree Classifiers
University of Padova(帕多瓦大学);INRIA(法国国家信息与自动化研究所)
我们研究的问题,正式验证个人公平的决策树集成,以及训练树模型,最大限度地提高准确性和个人的公平性。在我们的方法中,公平性验证和公平性感知训练都依赖于分类模型的稳定性概念,这是对抗性机器学习中使用的输入扰动下的标准鲁棒性的变体。我们的验证和训练方法利用抽象解释,一个完善的技术,静态程序分析,能够自动推断断言的稳定性属性的决策树。通过依赖于对抗训练的决策树的工具,我们的公平意识的学习方法已经实现,并在用于评估公平性的参考数据集上进行了实验评估。实验结果表明,我们的方法是能够训练树模型表现出高度的个人公平性w.r.t.最先进的天然CART树和随机森林。此外,作为副产品,这些公平的决策树变得非常紧凑,从而增强了其公平性的可解释性。
2021-01-04 cs.CY cs.LG cs.PL
Parallel Corpus Filtering via Pre-trained Language Models
DiDi Labs(滴滴实验室)
网络爬行数据为训练机器翻译模型提供了一个很好的并行语料库。它是自动获得的,但噪音极大,最近的工作表明,神经机器翻译系统比传统的统计机器翻译方法对噪音更敏感。在本文中,我们提出了一种新的方法来过滤噪音的句子对从网络爬行语料库通过预先训练的语言模型。我们通过利用BERT的多语言能力来测量句子并行性,并使用生成预训练(GPT)语言模型作为域过滤器来平衡数据域。我们在WMT 2018并行语料库过滤共享任务和我们自己的网络爬行日中并行语料库上评估了所提出的方法。我们的方法显着优于基线,并实现了一个新的国家的最先进的。在无监督的设置,我们的方法实现了相当的性能前1监督的方法。我们还评估了网络爬行的日本,中国平行语料库,我们公开。
2020-05-13 cs.CL cs.LG
Binary Stochastic Filtering: feature selection and beyond
特征选择是理解数据和机器学习模型的最具决定性的工具之一。在其他方法中,由$L^{1}$惩罚引起的稀疏性是解决这个问题的最简单和最好的研究方法之一。虽然这种正则化经常用于神经网络以实现权重或单元激活的稀疏性,但尚不清楚如何将其用于特征选择问题。这项工作的目的是扩展神经网络的能力,自动选择功能,重新思考如何稀疏正则化可以使用,即,通过随机惩罚功能的参与,而不是层的权重。所提出的方法已经证明了优越的效率相比,一些经典的方法,实现了最小或没有计算开销,并可以直接应用到任何现有的架构。此外,该方法是很容易推广的神经元修剪和光谱数据的重要区域的选择。
2020-07-08 cs.LG stat.ML
Impossibility results for fair representations
University of Waterloo(滑铁卢大学);Vector Institute(向量研究所)
随着人们对机器学习中公平性的认识不断提高,以及对数据表示在数据处理任务中的核心作用的认识,人们对公平数据表示的概念产生了明显的兴趣。这种表示的目标是在表示下的数据上训练的模型(例如,分类器)将保证遵守某些公平性约束。当它们可以固定用于在各种不同任务上训练模型时,以及当它们用作原始数据(表示设计者已知的)和使用表示下的数据来学习预测模型并做出决策的潜在恶意代理之间的数据过滤时,这样的表示是有用的。最近的一长串研究论文努力为实现这些目标提供工具。然而,我们证明这基本上是徒劳的努力。粗略地说,我们证明,没有表示可以保证公平的分类器为不同的任务训练使用它,即使是实现标签独立的人口公平的基本目标失败,一旦边际数据分布偏移。更精确的公平性概念,如赔率平等,不能通过不考虑任务特定标签规则的表示来保证,该规则将评估这种公平性(即使边际数据分布已知为先验)。此外,除了琐碎的情况下,没有表示可以保证任何两个不同的任务的赔率平等公平,同时允许两者的准确标签预测。虽然我们的一些结论是直观的,我们制定(和证明)清晰的声明,这种不可能性,往往对比的印象传达了许多最近的作品公平代表。
2021-07-07 cs.LG stat.ML
CFA: Class-wise Calibrated Fair Adversarial Training
Peking University(北京大学)
对抗性训练被广泛认为是提高深度神经网络(DNN)对抗性鲁棒性的最有效方法。到目前为止,大多数现有的工作集中在提高整体模型的鲁棒性,在训练和测试阶段平等对待每个类。虽然揭示了类之间鲁棒性的差异,但很少有作品试图在不牺牲整体鲁棒性的情况下使对抗训练在类级别上公平。在本文中,我们是第一个从理论和经验上研究不同类别的对抗配置,包括扰动裕度,正则化和加权平均的偏好。受此启发,我们进一步提出了一个\textbf{C} lass-wise校准\textbf{F}空气\textbf{A}对抗训练框架,命名为CFA,它自定义特定的训练配置为每个类自动。基准数据集上的实验表明,我们提出的CFA可以提高整体的鲁棒性和公平性显着超过其他国家的最先进的方法。代码可从\url{https://github.com/PKU-ML/CFA}获得。
2023-03-25 cs.CV cs.LG
PROFET: Construction and Inference of DBNs Based on Mathematical Models
National University of Ireland Galway(爱尔兰国立大学戈尔韦分校)
本文介绍,评估和讨论了一种新的软件工具,自动建立动态贝叶斯网络(DBN)从常微分方程(ODE)输入的用户。从ODE模型生成的DBN可以以原则性的方式处理数据不确定性和模型不确定性。该应用程序,名为PROFET,可用于时间数据采掘与噪声或丢失的变量。它能够使用数据流形式的时间证据自动重新估计模型参数。对于时间推断,PROFET包括标准的固定时间步长粒子滤波及其扩展,自适应时间粒子滤波算法。自适应时间粒子滤波使DBN能够自动调整其时间步长以匹配模型的动态特性。我们证明PROFET的功能,使用它来推断模型变量,估计模型参数的四个基准ODE系统。从DBN模型的生成到时间推断,整个过程都是自动化的,并作为具有全面用户界面的开源平台独立软件应用程序提供。PROFET在Apache License 2.0下发布。其源代码、可执行文件和文档可在http://profet.it.nuigalway.ie上查阅。
2019-10-14 cs.LG stat.ML
A collaborative digital twin built on FAIR data and compute infrastructure
本文提出一种基于nanoHUB的分布式自驱动实验室框架,结合FAIR数据管理与主动学习序贯优化,以食用染料配色为例,实现跨地域协作者共享数据并自动更新机器学习模型来指导实验选择。
2025-06-24 cond-mat.mtrl-sci cs.AI cs.CE
Fair Diffusion: Instructing Text-to-Image Generation Models on Fairness
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心(hessian.AI));German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));LAION;Huggingface(Hugging Face)
针对文本到图像生成模型因海量网络数据而继承并强化社会偏见的问题,本文提出 Fair Diffusion,在模型部署后按人类指令任意调节群体比例,无需过滤数据或额外训练。
2023-07-17 cs.AI cs.CV cs.CY
Threshold Filtering Packing for Supervised Fine-Tuning: Training Related Samples within Packs
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Emory University(埃默里大学)
针对监督微调中随机打包导致的序列交叉污染问题,提出阈值过滤打包(TFP)方法,在包内选择相关且多样的样本,显著提升性能(GSM8K提升7%,HumanEval提升4%,公平性提升15%)。
2025-02-26 cs.CL cs.LG
FLEA: Provably Robust Fair Multisource Learning from Unreliable Training Data
IST Austria(奥地利科学技术研究所);ETH AI Center(苏黎世联邦理工学院人工智能中心);ETH Department of Computer Science(苏黎世联邦理工学院计算机科学系)
公平感知学习的目标是构建分类器,不仅可以做出准确的预测,而且不会歧视特定的群体。它是机器学习的一个快速发展的领域,具有深远的社会影响。然而,现有的公平学习方法容易受到训练数据中的意外或恶意伪像的影响,这可能导致它们在不知不觉中产生不公平的分类器。在这项工作中,我们解决了公平学习的问题,从不可靠的训练数据在强大的multisbrands设置,其中可用的训练数据来自多个来源,其中一小部分可能不代表真实的数据分布。我们引入了FLEA,这是一种基于过滤的算法,可以识别和抑制那些如果用于训练会对公平性或准确性产生负面影响的数据源。因此,FLEA不是先前的公平性感知学习方法的替代品,而是一种增强,使它们中的任何一种对不可靠的训练数据都是鲁棒的。我们通过在多个数据集上进行的各种实验证明了我们方法的有效性。此外,我们正式证明-有足够的数据- FLEA保护学习者免受腐败,只要受影响的数据源的比例小于一半。我们的源代码和文档可以在https://github.com/ISTAustria-CVML/FLEA上找到。
2023-01-11 cs.LG stat.ML
Vectorized Context-Aware Embeddings for GAT-Based Collaborative Filtering
University of Windsor(温莎大学)
推荐系统经常与数据稀疏和冷启动场景作斗争,限制了它们为新用户或不常使用的用户提供准确建议的能力。提出了一种基于图注意力网络的协同过滤框架,并在该框架中引入了大语言模型(LLM)驱动的上下文感知嵌入。具体来说,我们生成简洁的文本用户简档和统一项目元数据(标题,流派,概述)到丰富的文本嵌入,注入这些作为初始节点功能的二分用户项目图。为了进一步优化排名性能,我们引入了一个混合的损失函数,结合贝叶斯个性化排名(BPR)与余弦相似项和鲁棒的负采样,确保明确的负反馈是从未观察到的数据。在MovieLens 100k和1M数据集上的实验显示,在精度、NDCG和MAP方面,与最先进的基线相比,有了一致的改进,同时证明了交互历史有限的用户的鲁棒性。消融研究证实了LLM增强嵌入和余弦相似性项在捕捉细微语义关系中的关键作用。我们的方法通过将LLM派生的上下文理解集成到基于图的架构中,有效地减轻了稀疏性和冷启动限制。未来的发展方向包括平衡推荐准确性与覆盖率和多样性,并引入公平意识的约束和可解释性功能,以进一步提高系统性能。
2025-10-30 cs.IR cs.LG
Towards Self-Adaptive Pseudo-Label Filtering for Semi-Supervised Learning
本文提出自适应伪标签过滤器SPF,通过在线混合模型建模置信度分布,使伪标签过滤随模型演化自动调整,无需人工调参,有效提升半监督学习在标签数据稀缺时的性能。
2023-09-18 cs.CV cs.LG
AutoFAIR : Automatic Data FAIRification via Machine Reading
Shanghai Jiao Tong University(上海交通大学);Institute of Geographic Sciences and Natural Resources Research, Chinese Academy of Sciences(中国科学院地理科学与资源研究所)
本文提出 AutoFAIR 架构,通过操作对齐、Web Reader 元数据抽取及本体引导的语义匹配,自动提升数据的 FAIR 性,并在山地灾害等数据上验证其效果。
2024-08-07 cs.AI cs.CL cs.LG
Speckle2Speckle: Unsupervised Learning of Ultrasound Speckle Filtering Without Clean Data
Technical University Munich(慕尼黑工业大学);OneProjects Design Innovation GmbH(OneProjects设计创新有限责任公司)
在超声成像中,组织的均匀区域的外观受到散斑的影响,对于某些应用,这可能使组织不规则性的检测变得困难。为了解决这个问题,通常的做法是将斑点减少滤波器应用于图像。大多数传统的滤波技术是相当手工制作的,并且通常需要根据当前的硬件、成像方案和应用进行微调。另一方面,基于学习的技术需要用于训练的目标图像(在完全监督技术的情况下),或者需要可能不适用于所有情况的散斑外观的狭窄的、复杂的基于物理的模型。通过这项工作,我们提出了一种基于深度学习的方法来消除斑点,而没有这些限制。为了实现这一点,我们利用现实的超声模拟技术,允许实例化的几个独立的斑点实现,表示完全相同的组织,从而允许应用图像重建技术,与不同损坏的数据对工作。与其他两种最先进的方法(非局部均值和优化贝叶斯非局部均值滤波器)相比,我们的方法在定性比较和定量评估方面表现良好,尽管仅在模拟上进行了训练,并且速度快了几个数量级。
2022-07-31 cs.CV cs.LG eess.IV
Decentralized, Adaptive, Look-Ahead Particle Filtering
University of British Columbia(不列颠哥伦比亚大学)
分散式粒子滤波器(DPF)是近年来提出的一种提高粒子滤波并行性的方法。给定将状态空间分解成两个嵌套的变量集合,DPF使用粒子滤波器对第一集合进行采样,然后对该样本进行调节以生成第二变量集合的样本集合。DPF可以理解为流行的Rao-Blackwellized粒子滤波器(RBPF)的变体,其中第二步使用蒙特卡罗近似而不是分析推理来执行。因此,DPF的应用范围比RBPF的应用范围更广。本文从两个方面对DPF进行了改进。首先,我们推导出一个蒙特卡罗近似的最佳建议分布,因此,设计和实现一个更有效的前瞻DPF。虽然分散式过滤器最初的设计是利用并行实现,我们表明,前瞻性DPF可以优于标准的粒子滤波器,即使在一台机器上。其次,我们提出使用强盗算法来自动配置DPF的状态空间分解。
2012-03-12 cs.LG stat.CO stat.ML
Algorithm Selection for Collaborative Filtering: the influence of graph metafeatures and multicriteria metatargets
Instituto de Ciências Matemáticas e de Computação - Universidade de São Paulo(圣保罗大学数学与计算机科学研究所);Faculdade de Engenharia da Universidade do Porto(波尔图大学工程学院)
为一个新问题选择最好的算法是一项昂贵而困难的任务。然而,有自动解决方案来解决这个问题:使用元学习,它利用问题的特点(即元特征),人们能够预测算法的相对性能。在协同过滤的范围内,最近的作品提出了不同的元特征描述这个问题的几个方面。尽管有有趣和有效的发现,但仍然不知道这些是否是最有效的元特征。因此,这项工作提出了一组新的图元特征,从图论的角度来处理协同过滤问题。此外,为了了解是否从多个维度的元特征是一个更好的配合,我们调查的影响,全面的元特征。这些元特征是从所有现有的协同过滤元特征中选择的最佳元特征。最具代表性的元特征的影响进行了研究,在一个受控的实验装置。我们提出的另一个贡献是使用一个帕累托有效的排名过程,以创建多准则元目标。这些新的算法排名考虑了多种评估措施,可以更公平,更详细地探索算法选择问题。实验结果表明,图元特征是工作元特征的一个很好的替代。然而,结果表明,用于创建综合元特征的特征选择过程是无效的,因为在预测性能方面没有增益。最后,进行了广泛的元知识分析,以确定最有影响力的元特征。
2018-07-23 cs.IR cs.LG stat.ML
Particle Filtering for PLCA model with Application to Music Transcription
Sorbonne Universités(索邦大学);UPMC University Paris 06(巴黎第六大学);CNRS(法国国家科学研究中心)
自动音乐转录(AMT)包括通过三个属性自动估计音频记录中的音符:开始时间,持续时间和音高。概率潜在成分分析(PLCA)已成为这项任务非常流行。PLCA是一种谱图分解方法,能够将幅度谱图建模为来自字典的谱向量的线性组合。这种方法使用期望最大化(EM)算法来估计声学模型的参数。该算法提出了众所周知的固有缺陷(局部收敛,初始化依赖性),使EM为基础的系统限制在其应用AMT,特别是在数学形式和先验的数量。为了克服这些限制,我们建议在本文中采用不同的估计框架的基础上粒子滤波(PF),其中包括采样的后验分布在更大的参数范围。该框架在参数估计方面具有较强的鲁棒性,在系统先验知识的整合方面具有较强的灵活性和统一性。在两种不同乐器曲目的评估声音数据集上实现了61.8 $\%$和59.5 $\%$的音符级转录准确度,包括古典钢琴(来自MAPS数据集)和marovany齐特琴,并提供了与以前基于PLCA的方法的直接比较。还概述了进一步发展的步骤。
2017-03-28 cs.LG cs.SD stat.ML
AdvFilter: Predictive Perturbation-aware Filtering against Adversarial Attack via Multi-domain Learning
East China Normal University(华东师范大学);Nanyang Technological University(南洋理工大学);Alibaba Group(阿里巴巴集团);University of Alberta(阿尔伯塔大学);Zhejiang Sci-Tech University(浙江理工大学)
高级表示引导像素去噪和对抗训练是独立的解决方案,分别通过预处理输入数据和重新训练模型来增强CNN对对抗攻击的鲁棒性。最近,对抗训练技术得到了广泛的研究和改进,而基于像素去噪的方法越来越不受欢迎。然而,是否存在更先进的基于像素去噪的方法以及这两种解决方案的组合是否相互受益仍然是值得怀疑的。为此,我们首先全面研究了两种用于对抗鲁棒性增强的像素去噪方法(即,现有的基于加法的和未开发的基于滤波的方法)分别在图像级和语义级的损失函数下的比较,表明逐像素滤波可以获得高得多的图像质量(例如,更高的PSNR)以及更高的鲁棒性(例如,在对抗性示例上的更高准确度)比现有的逐像素基于加法的方法。然而,我们也观察到,基于过滤的方法的鲁棒性结果依赖于用于训练的对抗性示例的扰动幅度。为了解决这个问题,我们提出了预测扰动感知和逐像素滤波,其中设计了双扰动滤波和不确定性感知融合模块,并用于在训练和测试过程中自动感知扰动幅度。该方法被称为AdvFilter。此外,我们将对抗性像素去噪方法与三种基于对抗性训练的方法相结合,暗示联合考虑数据和模型能够实现更强大的CNN。在NeurIPS-2017 DEV、SVHN和CIFAR 10数据集上进行的实验显示了增强CNN鲁棒性、对不同模型和噪声水平的高度泛化的优势。
2021-10-18 cs.CV cs.LG eess.IV
Towards Fair, Robust and Efficient Client Contribution Evaluation in Federated Learning
University of Memphis(孟菲斯大学)
本文提出FRECA方法,利用FedTruth框架估计全局模型真实更新,平衡客户端贡献并过滤恶意影响,实现对联邦学习客户端贡献的公平、稳健且高效评估。
2024-02-06 cs.AI cs.CR cs.DC
Query Attribute Modeling: Improving search relevance with Semantic Search and Meta Data Filtering
提出查询属性建模(QAM)混合框架,通过将文本查询分解为元数据标签和语义元素提升搜索精度,在亚马逊玩具数据集上mAP@5达52.99%,优于传统搜索方法。
2025-08-06 cs.AI cs.CL cs.IR