Fair Outlier Detection
Indian Institute of Technology Madras（印度马德拉斯理工学院）
如果离群值检测的结果不偏向于在这种敏感属性上定义的特定组，则离群值检测方法可以被认为对指定的敏感属性是公平的。在这项任务中，我们认为，第一次我们最好的知识，公平离群点检测的任务。在这项工作中，我们考虑了多个多值敏感属性（例如，性别、种族、宗教、国籍、婚姻状况等）。我们提出了一个公平的离群点检测方法，FairLOF，这是受流行的LOF制定基于邻域的离群点检测。我们概述了LOF中可能导致不公平的方法，并制定了三个启发式原则，以提高公平性，这构成了FairLOF方法的基础。作为一个新的任务，我们开发了一个公平离群点检测的评估框架，并使用该框架对FairLOF的质量和结果的公平性进行基准测试。通过对真实世界数据集的广泛实证评估，我们说明了FairLOF能够实现公平性的显着改善，有时对公平性不可知LOF方法测量结果质量的边际退化。
2020-08-04 cs.AI cs.DB cs.LG
Outlier Detection by Consistent Data Selection Method
eBay Inc（eBay公司）
通常，与欺诈和垃圾邮件检测等任务相关的挑战[1]是缺乏训练合适的监督学习模型所需的所有可能模式。为了克服这种限制，尝试将这样的任务作为离群值或异常检测任务。我们还假设离群者的行为模式会随着时间的推移而改变。有限的数据和不断变化的模式使学习变得非常困难。在这项工作中，我们提出了一种方法，通过依赖于一致的数据点来检测大型数据集中的离群值。这项工作的主要贡献是，它将快速帮助检索一致和非离群数据集的样本，并注意到新的离群模式。提取样本不需要每个集合的先验知识。该方法分为两个阶段，第一阶段采用无监督聚类技术的集成方法检索一致数据点（非离群点），第二阶段采用在一致数据点集上训练的一类分类器对剩余样本集进行离群点识别。该方法在三个公开的数据集上进行了测试，性能得分具有竞争力。
2018-08-21 cs.LG stat.ML
ASE: Anomaly Scoring Based Ensemble Learning for Imbalanced Datasets
South China University of Technology（华南理工大学）
如今，许多分类算法已被应用于各个行业，以帮助他们解决在现实生活中遇到的问题。然而，在许多二值分类任务中，少数类的样本只占全部样本的一小部分，这导致我们得到的数据集往往具有很高的不平衡率。现有的模型有时会将少数类别视为噪音，或将其视为遇到数据偏斜的离群值而忽略。为了解决这一问题，本文提出了一个基于异常评分的Bagging集成学习框架$ASE$（Anomaly Scoring Based Enseminary Learning）。该框架具有基于异常检测算法的评分系统，该评分系统可以通过将多数类中的样本划分为子空间来指导重新排序策略。然后从每个子空间中抽取一定数量的实例，与少数类结合构造子集。并根据异常检测模型的分类结果和子空间的统计特性，计算由这些子集训练的基分类器的权值。实验结果表明，该集成学习模型在不平衡率、数据规模和数据维数变化范围较大的情况下，都能显著提高基分类器的性能，并且比现有的其他方法更有效. $ASE$可以与各种分类器相结合，我们的框架的每一部分都被证明是合理和必要的。
2022-08-21 cs.AI cs.LG
Deep Clustering based Fair Outlier Detection
Brandeis University（布兰迪斯大学）；Michtom School of Computer Science（米奇托姆计算机科学学院）
在本文中，我们专注于无监督离群点检测的公平性问题。传统的算法，没有一个具体的设计，算法公平性，可以隐含编码和传播数据中的统计偏差，并引起社会的关注。为了纠正这种不公平并提供一组公平的潜在离群点候选者，我们提出了基于深度聚类的公平离群点检测（DCFOD），它学习一个好的表示以实现效用最大化，同时强制可学习的表示在敏感属性上保持子群不变。考虑到聚类和离群点检测之间的耦合和互惠性质，我们利用深度聚类来发现内在的聚类结构和结构外实例。同时，对抗性训练擦除实例的敏感模式以进行公平性自适应。从技术上讲，我们提出了一种实例级加权表示学习策略来增强联合深度聚类和离群点检测，其中动态权重模块重新强调了可能的内点的贡献，同时减轻了离群点的负面影响。通过对8个数据集和17个离群点检测算法的实验表明，我们的DCFOD方法在离群点检测有效性和两种类型的公平性概念上都取得了优异的性能。
2021-06-09 cs.CY cs.LG
Balancing Performance and Fairness in Explainable AI for Anomaly Detection in Distributed Power Plants Monitoring
African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；Rhodes University（罗德斯大学）；National Institute for Theoretical and Computational Sciences (NITheCS)（国家理论与计算科学研究所）；Ludwig Maximilian University of Munich（慕尼黑路易斯·马克西米利安大学）；University of Ferrara（费拉拉大学）
本文提出结合集成方法和先进重采样技术的监督机器学习框架，通过SHAP和DIR提升可解释性和公平性，实验表明LightGBM在性能和公平性上表现优异，为工业电力管理提供更公平的AI解决方案。
2026-03-19 cs.LG
A Bayesian Ensemble for Unsupervised Anomaly Detection
Columbia University（哥伦比亚大学）；Facebook Data Engineering（Facebook数据工程）
无监督异常检测方法的缺点是数据是未标记的，这使得难以评估检测算法的最优性。包围学习在分类和聚类问题中表现出了出色的结果，但在离群点检测方面的研究并不多。现有的方法侧重于结合输出分数的各个检测器，但这导致输出，是不容易解释。在本文中，我们介绍了一个理论基础，结合个人检测器与贝叶斯分类器组合。后验分布不仅很容易被解释为异常的概率分布，而且检测器的偏差、方差和个体错误率都很容易获得。在实际数据集上的性能表明，在不同类型的时间序列数据中具有很高的准确性。
2016-10-24 cs.LG stat.ML
SPINEX: Similarity-based Predictions with Explainable Neighbors Exploration for Anomaly and Outlier Detection
Clemson University（克莱姆森大学）；University of Manitoba（曼尼托巴大学）
本文提出新型异常检测算法SPINEX，通过相似度与多子空间高阶交互识别离群点，在39个数据集上对比21种常用算法表现优异且复杂度适中，同时具备可解释性。
2024-07-05 cs.LG
Credit Card Fraud Detection in e-Commerce: An Outlier Detection Approach
eBay Inc（eBay公司）
通常，与欺诈和垃圾邮件检测等任务相关的挑战是缺乏训练合适的监督学习模型所需的所有可能模式。当欺诈模式不仅稀少，而且随着时间的推移而变化时，这一问题就更加突出。欺诈模式的变化是因为欺诈者不断创新新方法来规避为防止欺诈而采取的措施。有限的数据和不断变化的模式使学习变得非常困难。我们假设良好行为不随时间变化，并且代表良好行为的数据点在不同分组下具有一致的空间特征。基于这一假设，我们提出了一种方法，通过使用聚类方法的集成为每个数据点分配一个一致性得分来检测大数据集中的离群值。我们的主要贡献是提出了一种新的方法，可以检测大型数据集中的离群值，并对不断变化的模式具有鲁棒性。我们还认为，ROC曲线下面积，虽然一个常用的指标来评估离群值检测方法是不是正确的度量。由于异常值检测问题具有类别的偏斜分布，因此精确度-召回率曲线更适合，因为精确度将假阳性与真阳性（异常值）而不是真阴性（内值）进行比较，因此不受类别不平衡问题的影响。我们的经验表明，精确度-召回率曲线下的面积是一个比ROC更好的评估指标。所提出的方法进行了测试的修改版本的Landsat卫星数据集，修改版本的ann甲状腺数据集和一个大型的现实世界的信用卡欺诈检测数据集，通过Kaggle，我们表现出显着的改善基线方法。
2019-05-07 cs.LG stat.ML
Fairness-Enhancing Ensemble Classification in Water Distribution Networks
Center for Cognitive Interaction Technology, Bielefeld University（比勒费尔德大学认知交互技术中心）
针对配水管网（WDNs）中AI决策的公平性问题，本文扩展了受保护群体与群体公平性定义，揭示现有泄漏检测方法的不公平性，并提出一种适用于不可微集成分类的公平性增强补救措施。
2024-10-17 cs.AI cs.LG
An Efficient Hashing-based Ensemble Method for Collaborative Outlier Detection
School of Computer Science, University of Auckland（奥克兰大学计算机科学学院）
在协作离群值检测中，多个参与者交换在分散设备上训练的本地检测器，而不交换自己的数据。协同离群点检测的一个关键问题是在不侵犯参与者数据隐私和降低检测精度的前提下，有效地聚合多个局部检测器形成全局检测器。我们研究了位置敏感的基于散列的集成方法来检测协作离群值，因为它们是可合并的，并且与差分私有机制兼容。我们提出的LSH iTables很简单，在许多真实世界的数据集上，在集中式和分散式场景中的表现优于最近的集成竞争对手。
2022-01-18 cs.LG
Revisiting Priority $k$-Center: Fairness and Outliers
Dartmouth College（达特茅斯学院）；Katana Graph
在优先级$k$ -中心问题中，输入由度量空间$(X,d)$、整数$k$和每个点的优先级半径$v \in X$组成，优先级半径$r(v)$。目标是选择以$k$为中心的$S \subseteq X$以最小化$\max_{v \in X} \frac{1}{r(v)} d(v,S)$。如果所有的$r(v)$都是一致的，则得到$k$ -中心问题. Plesnik [Plesnik，Disc. Appl.Math.1987]引入了优先级$k$ -中心问题，并给出了与$k$ -中心问题的最佳可能算法相匹配的$2$ -近似算法.我们展示了这个问题如何与两个不同的公平聚类概念相关[Harris等人，NeurIPS 2018; Jung等人，FORC 2020]。出于这些发展，我们重新审视的问题，并在我们的主要技术贡献，开发一个框架，产生恒定因子近似算法优先级$k$ -中心离群值。我们的框架扩展到优先级$k$ -中心到拟阵和背包约束的推广，并且作为推论，还在Harris等人的彩票模型中产生具有公平性保证的算法[Harris等人，JMLR 2019]。
2022-12-20 cs.DS cs.LG
Improving Fairness with Ensemble Combination: Margin-Dependent Bounds
University of Copenhagen（哥本哈根大学）
本文提出了一种判别风险度量，通过扰动受保护属性来提升公平性，并建立了Oracle界限及剪枝方法，以实现更公平的集成模型。
2026-03-11 cs.AI cs.CY cs.LG
Towards Understanding Fairness and its Composition in Ensemble Machine Learning
Iowa State University（爱荷华州立大学）；Carnegie Mellon University（卡内基梅隆大学）
本文系统研究了bagging、boosting、stacking和voting四类集成学习中的公平性组合机制，通过168个Kaggle集成模型基准揭示无需缓解技术即可设计更公平集成，并分析了数据特征与公平性组合的交互关系。
2023-04-25 cs.LG
Anomaly Detection With Partitioning Overfitting Autoencoder Ensembles
Technische Universität Berlin（柏林工业大学）
在本文中，我们提出了POTATOES（分区过拟合自动编码器EnSemble），这是一种用于无监督离群值检测（UOD）的新方法。更确切地说，给定UOD的任何自动编码器，这种技术可以用来提高其准确性，同时消除调整其正则化的负担。这个想法是根本不正则化，而是随机地将数据划分为足够多的相等大小的部分，用自己的自动编码器过拟合每个部分，并使用所有自动编码器重建误差的最大值作为异常分数。我们将我们的模型应用于各种现实数据集，并表明如果内点集足够密集，我们的方法确实可以显着提高给定自动编码器的UOD性能。为了重现性，代码在github上可用，因此读者可以在本文中重新创建结果，并将该方法应用于其他自动编码器和数据集。
2021-09-28 cs.CV cs.LG stat.ML
Unsupervised Outlier Detection using Random Subspace and Subsampling Ensembles of Dirichlet Process Mixtures
Nexon（奈森（韩国游戏公司））；Danggeun Market（당근마켓（韩国电商公司））；University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）；Yonsei University（延世大学）
针对 Dirichlet Process Mixtures 计算低效且对非高斯数据建模困难的问题，提出一种结合随机子空间与子采样集成及变分推断的无监督离群点检测方法，有效提升了计算效率、鲁棒性和检测性能。
2024-07-25 cs.AI cs.LG stat.ML
Efficient variational Bayesian neural network ensembles for outlier detection
Imperial College London（帝国理工学院）
在这项工作中，我们进行离群值检测使用的神经网络的集合通过变分近似的贝叶斯神经网络设置中的后验。变分参数通过梯度下降法从真实后验样本中采样得到。我们表明，我们的离群值检测结果与使用其他有效的集成方法获得的结果相当。
2017-04-22 cs.LG stat.ML
FedTilt: Towards Multi-Level Fairness-Preserving and Robust Federated Learning
Illinois Institue of Technology（伊利诺伊理工学院）
本文提出 FedTilt 联邦学习框架，利用可调倾斜经验风险最小化同时保障客户端与客户端数据两级公平性，并增强对持续性异常值的鲁棒性。
2025-03-15 cs.DC cs.LG
The Disparate Benefits of Deep Ensembles
JKU Linz（林茨约翰内斯·开普勒大学）；ELLIS Alicante（欧洲学习与智能系统研究所阿利坎特分部）
本文研究深度集成模型的性能提升与算法公平性的关系，发现其收益在不同受保护群体间不均衡，提出差异性收益效应，并用预测多样性解释成因，证明Hardt后处理可有效缓解该效应。
2025-06-04 cs.AI cs.LG
Sequential Ensemble Learning for Outlier Detection: A Bias-Variance Perspective
Stony Brook University（石溪大学）
用于分类和聚类的集成方法已经有效地使用了几十年，而用于离群点检测的集成学习只是最近才被研究。在这项工作中，我们设计了一个新的集成方法在多维点数据中的离群点检测，它提供了更高的精度，通过减少偏差和方差的错误。虽然分类和异常值检测看起来是不同的问题，但它们的理论基础在偏差-方差权衡方面非常相似[1]，其中异常值检测被认为是具有未观察到的标签的二进制分类任务，但类似的偏差-方差误差分解。在本文中，我们提出了一个顺序集成的方法，称为照顾，采用两个阶段的聚合的中间结果，在每次迭代，以达到最终的结果。与现有的离群值集成不同，现有的离群值集成仅通过聚合独立基础检测器的结果来合并并行框架以减少方差，我们的集成合并了并行和顺序构建块以减少偏差以及方差，（$i$）从原始数据集中连续地消除离群值以建立更好的数据模型，在该数据模型上估计离群值（顺序地），以及（$ii$）组合来自各个基本检测器的结果和跨迭代（重复）。通过对主要来自UCI机器学习库[2]的16个真实世界数据集进行广泛的实验，我们表明CARE的表现明显优于或至少类似于单个基线。我们还将CARE与最先进的离群值合奏进行了比较，当它是赢家时，它也提供了显着的改进，否则仍然接近。
2016-09-18 cs.LG stat.ML
Automatic Unsupervised Ensemble Outlier Model Selection--Extended Version
Department of Software Engineering, FPT University, Vietnam（FPT大学软件工程系）；Department of Information Technology, Can Tho University of Technology, Vietnam（胡志明市技术大学信息科技系）；School of Business, RMIT University, Vietnam（RMIT大学商学院）；Department of Computer Science, Aalborg University, Denmark（阿阿尔堡大学计算机科学系）；School of Data Science and Engineering, East China Normal University, China（华东师范大学数据科学与工程学院）
本文提出MetaEns框架，通过学习预测边际增益模型，自动选择高质异常检测模型集成，无需标注数据，实验显示其在39个真实数据集上表现优异。
2026-05-15 cs.AI cs.DB cs.LG
Unsupervised Boosting-based Autoencoder Ensembles for Outlier Detection
George Mason University（乔治梅森大学）；Sapienza University of Rome（罗马第一大学）；University of L’Aquila（拉奎拉大学）
自编码器作为一种降维技术，近年来已被应用于离群点检测。然而，已知神经网络易受过拟合的影响，因此在无监督离群值检测设置中具有有限的潜力。目前基于集成的自动编码器的方法不能产生足够的多样性来避免过拟合问题。为了克服上述限制，我们开发了一种基于Boosting的自动编码器Encoder方法（简称BAE）。BAE是一种无监督的集成方法，与boosting方法类似，它构建了自适应级联的自动编码器，以实现改进和鲁棒的结果。BAE通过对数据进行加权采样来依次训练自动编码器组件，旨在减少训练期间使用的离群值数量，并在集合中注入多样性。我们进行了广泛的实验，并表明所提出的方法优于国家的最先进的方法在各种条件下。
2019-10-22 cs.LG stat.ML
LSCP: Locally Selective Combination in Parallel Outlier Ensembles
University of Toronto（多伦多大学）；PricewaterhouseCoopers Canada（加拿大普华永道）；Northeastern University（东北大学）
在无监督的离群值集成中，缺乏基础事实使得基础离群值检测器的组合成为一项具有挑战性的任务。具体而言，现有的并行离群值集成缺乏一种可靠的方式来选择合格的基础检测器，影响准确性和稳定性，在模型组合。在本文中，我们提出了一个框架-所谓的本地选择性组合在并行离群集成（LSCP）-它解决了这个问题，通过定义一个本地区域周围的测试实例，使用其最近的邻居在随机选择的特征子空间的共识。选择该局部区域中表现最好的基本检测器，并将其组合为模型的最终输出。四个变种的LSCP框架进行了比较，与七个广泛使用的并行框架。实验结果表明，其中一个变体LSCP_AOM在20个真实世界数据集的大多数上始终优于基线。
2019-01-23 cs.IR cs.LG stat.ML
Benefits of Online Tilted Empirical Risk Minimization: A Case Study of Outlier Detection and Robust Regression
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文提出一种在线倾斜经验风险最小化方法，通过去除经典目标中的对数项保留倾斜效应，以与ERM相当的单样本计算成本在流式学习中同时实现异常值鲁棒性与少数类公平性。
2025-09-18 cs.LG stat.ML
Navigating Ensemble Configurations for Algorithmic Fairness
Carnegie Mellon University（卡内基梅隆大学）；IBM Research（IBM研究院）
偏差缓和器可以提高机器学习模型中的算法公平性，但它们对公平性的影响在数据分割中往往不稳定。训练更稳定模型的一种流行方法是集成学习，但不幸的是，目前还不清楚如何将集成与缓解器相结合，以最好地在公平性和预测性能之间进行权衡。为此，我们构建了一个开源库，使8个缓解器，4个集合及其相应的超参数的模块化组合成为可能，我们根据经验探索了13个数据集上的配置空间。我们从这种探索中提炼出我们的见解，以实践者的指导图的形式，我们证明是强大的和可复制的。
2022-10-11 cs.CY cs.LG
FAE: A Fairness-Aware Ensemble Framework
Leibniz University Hanover（莱布尼茨汉诺威大学）；L3S Research Center（L3S研究中心）
基于大数据和机器学习（ML）算法的自动决策可能会导致针对性别、种族、性取向等个人数据定义的某些受保护群体的歧视性决策。这种旨在发现大数据模式的算法不仅可能会在训练数据中发现任何编码的社会偏见，更糟糕的是，它们可能会加强这种偏见，导致更严重的歧视。迄今为止提出的大多数公平感知机器学习方法仅关注机器学习过程的预处理、处理中或处理后步骤，即，分别是输入数据、学习算法或导出模型。然而，公平性问题不能孤立于ML过程的单步的。相反，歧视往往是大数据和算法之间复杂相互作用的结果，因此，需要采取更全面的方法。建议FAE（公平意识包围）框架结合了公平相关的干预措施，在数据分析过程的前处理和后处理步骤。在预处理步骤中，我们通过生成平衡的训练样本来解决受保护组的代表性不足（组不平衡）和类不平衡的问题。在后处理步骤中，我们通过将决策边界向公平的方向移动来解决类重叠的问题。
2020-02-03 cs.AI cs.LG stat.ML
Graph-based Selective Outlier Ensembles
George Mason University（乔治梅森大学）；Sapienza, University of Rome（罗马大学萨皮恩扎学院（萨皮恩扎大学））
集成技术的特征在于生成组件的机制和组合组件的机制。达成共识的一种常见方法是使每个组件平等地参与聚合过程。这种方法的一个问题是，差的组件可能会对共识结果的质量产生负面影响。为了解决这个问题，在文献中已经探索了替代方案来构建选择性分类器和聚类集合，其中只有组件的子集有助于共识的计算。在集成方法中，离群值集成是研究最少的。直到最近，离群集合的选择问题才被讨论。在这项工作中，我们定义了一个新的基于图的类的排名选择方法。这类方法的特征在于两个主要步骤：（1）将排名映射到图结构上;以及（2）挖掘结果图以识别排名的子集。我们定义了一个基于图的排名选择类的具体实例。具体来说，我们将选择集成组件的问题映射到图中的挖掘问题上。对各种异构数据和方法进行了广泛的评估。我们的实证结果表明，我们的方法优于国家的最先进的选择性离群值集成技术。
2018-04-17 cs.LG stat.ML
Huge Ensembles Part II: Properties of a Huge Ensemble of Hindcasts Generated with Spherical Fourier Neural Operators
Lawrence Berkeley National Laboratory (LBNL)（劳伦斯伯克利国家实验室）；University of California, Berkeley（加州大学伯克利分校）；NVIDIA Corporation（英伟达公司）；National Energy Research Scientific Computing Center (NERSC)（国家能源研究科学计算中心）；Indiana University（印第安纳大学）；University of California, Irvine（加州大学欧文分校）
本文基于球面傅里叶神经算子生成了包含7,424个成员的巨型集合HENS，精确采样极端天气分布尾部，提升预报技能与不确定性量化，并降低异常事件概率。
2025-04-03 cs.LG physics.ao-ph
ORSA: Outlier Robust Stacked Aggregation for Best- and Worst-Case Approximations of Ensemble Systems\
University of Stuttgart（斯图加特大学）；Advantest Europe GmbH（爱德万测试欧洲有限公司）
近年来，集成学习在应用中的使用显著增长，这是由于计算能力的增加允许在合理的时间范围内训练大型集成。许多应用，例如，恶意软件检测、面部识别或财务决策使用有限的学习算法集合，并且以获得比任何其它单独的学习算法更好的预测性能的方式聚集它们。在半导体器件的硅后验证（Post-Silicon Validation for Semiconductor Devices，PSV）领域中，通常提供由各种器件组成的数据集，例如，不同生产线的芯片。在PSV中，任务是使用多个学习算法来近似数据的底层函数，每个学习算法都在特定于设备的子集上进行训练，而不是提高任意分类器在整个数据集上的性能。此外，期望是未知数量的子集描述显示非常不同特征的函数。相应的系综成员，被称为离群值，可以严重影响近似。我们的方法旨在找到一个合适的近似值，该近似值对离群值具有鲁棒性，并以适用于尽可能多的类型的方式代表最佳或最差情况。使用“soft-max”或“soft-min”函数代替最大值或最小值运算符。一个神经网络（NN）被训练成在两个阶段的过程中学习这个“软函数”。首先，我们选择代表最佳或最差情况的集合成员的子集。其次，我们结合这些成员，并定义一个权重，使用本地离群值因子（LOF）的属性，以增加非离群值的影响，并减少离群值。加权确保了对离群值的鲁棒性，并确保近似值适用于大多数类型。
2021-11-17 cs.LG
Outlier Detection Ensemble with Embedded Feature Selection
National University of Defense Technology（国防科技大学）
特征选择在提高离群点检测的性能方面发挥着重要作用，特别是对于噪声数据。现有的方法通常分别进行特征选择和离群值评分，这会选择可能不适合离群值检测的特征子集，导致性能不令人满意。在本文中，我们提出了一个孤立点检测集成框架与嵌入式特征选择（ODEFS），以解决这个问题。具体而言，对于每个基于随机子采样的学习组件，ODEFS将特征选择和离群值检测统一到成对排序公式中，以学习为离群值检测方法定制的特征子集。此外，我们采用阈值化的自定进度学习，同时优化特征选择和样本选择，这有助于提高训练集的可靠性。之后，我们设计了一个交替算法，证明了收敛性，以解决由此产生的优化问题。此外，我们还分析了该框架的泛化误差界，为该方法提供了理论保证和实践指导。在不同领域的12个真实数据集上的综合实验结果验证了所提出的ODEFS的优越性。
2020-01-15 cs.LG stat.ML
Parity-based Cumulative Fairness-aware Boosting
Leibniz University Hannover（汉诺威莱布尼茨大学）；L3S Research Center（L3S研究中心）；Freie Universität Berlin（柏林自由大学）
数据驱动的人工智能系统可能会导致基于性别或种族等受保护属性的歧视。这种行为的一个原因是训练数据中编码的社会偏见（例如，女性代表不足），这在阶级分布不平衡的情况下更加严重（例如，“被授予”是少数人阶级）。最先进的公平性感知机器学习方法专注于在提高公平性的同时保持\emph{overall}分类准确性。在存在阶级不平衡的情况下，这种方法可能进一步加剧歧视问题，因为它剥夺了已经代表性不足的群体（例如，\textit{females}）平等社会特权的基本权利（例如，平等的信贷机会）。为此，我们提出了AdaFair，一个公平性感知的提升集成，它在每一轮改变数据分布，不仅考虑到类错误，而且还考虑到基于部分集成累积定义的模型的公平性相关性能。除了在训练中提升每一轮被区分的组之外，AdaFair通过优化集成学习器的数量来直接解决训练后阶段的不平衡问题，以实现平衡的错误性能（BER）。AdaFair可以促进不同的基于均等的公平概念，并有效地减少歧视性结果。我们的实验表明，我们的方法可以实现统计奇偶性，平等的机会，和不同的虐待方面的奇偶性，同时保持良好的预测性能的所有类。
2022-01-04 cs.AI cs.LG
A Model Ensemble-Based Post-Processing Framework for Fairness-Aware Prediction
本文提出一种基于模型集成的后处理框架，用于提升预测中的公平性，通过实验验证该框架在分类、回归和生存分析中能有效提升公平性同时保持预测准确性。
2026-10-16 cs.LG stat.ML
Debiasing Text Safety Classifiers through a Fairness-Aware Ensemble
Google DeepMind（谷歌DeepMind）；Meta；Google Research（谷歌研究院）
本文提出一种公平感知集成后处理方法，通过结合阈值无关公平指标与公平数据重加权，在几乎不影响性能的前提下缓解闭源文本安全分类器的反事实偏见。
2024-10-22 cs.AI cs.CL cs.LG
Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution
Carnegie Mellon University（卡内基梅隆大学）
离群值检测（OD）文献展示了许多算法，因为它适用于不同的领域。然而，给定一个新的检测任务，目前还不清楚如何选择要使用的算法，也不清楚如何在无监督设置中设置其超参数（HP）。随着许多基于深度学习的新检测器的出现，HP调优是一个日益严重的问题，这些检测器通常带有一长串HP。令人惊讶的是，在离群值挖掘文献中，模型选择的问题一直是“房间里的大象”;这是释放深度方法最大潜力的一个重要因素，但很少有人说或做系统地解决这个问题。在本文的第一部分，我们对深度OD方法的HP敏感性进行了首次大规模分析，并通过超过35，000个训练模型，定量地证明了模型选择是不可避免的。接下来，我们设计了一个HP健壮的和可扩展的深度超集成模型，称为ROBOD，它组装了具有不同HP配置的模型，绕过了选择瘫痪。重要的是，我们引入了新的策略来加速集成训练，如参数共享，批量/同时训练和数据子采样，使我们能够用更少的参数训练更少的模型。在图像和表格数据集上的大量实验表明，ROBOD实现并保持了与其现代同行相比的鲁棒的、最先进的检测性能，同时通过具有独立训练的朴素超集成仅花费$2$ - $10$ \%的时间。
2022-10-19 cs.AI cs.LG stat.ME
A Fairness Analysis on Private Aggregation of Teacher Ensembles
Syracuse University（锡拉丘兹大学）
教师集合私有聚合（Private Aggregation of Teacher Ensembles，PATE）是一个重要的私有机器学习框架。它结合了多个学习模型作为教师的学生模型，学习预测教师之间的嘈杂投票选择的输出。由此产生的模型满足差分隐私，并已被证明有效地学习高质量的私人模型在半监督设置或当一个人希望保护数据标签。本文问这种隐私保护框架是否会引入或加剧偏见和不公平，并表明PATE可以引入个人和群体之间的准确性差距。本文分析了哪些算法和数据属性造成了不成比例的影响，为什么这些方面对不同群体的影响不成比例，并提出了减轻这些影响的指导方针。所提出的方法进行了评估，在几个数据集和设置。
2021-09-17 cs.AI cs.CR cs.LG
Quantitative Verification of Fairness in Tree Ensembles
University of Electro-Communications（电通大学）
本研究提出了一种高效方法，用于树集成中公平性的定量验证，通过提供任意时间的上界和下界，有效提升了公平性测试的性能。
2025-12-18 cs.LG
Diversity Drives Fairness: Ensemble of Higher Order Mutants for Intersectional Fairness of Machine Learning Software
Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）；China-Singapore International Joint Research Institute（中新国际联合研究院）
针对机器学习软件的交叉公平性需求，提出无需重新训练模型、基于输入高阶突变体集成的FairHOME方法，在24项任务中公平性提升效果优于现有7种SOTA方法。
2024-12-11 cs.LG cs.SE
Mitigating Unfairness via Evolutionary Multi-objective Ensemble Learning
Research Institute of Trustworthy Autonomous System, Southern University of Science and Technology（南方科技大学可信自主系统研究院）；Trustworthiness Theory Research Center, Huawei Technologies Co., Ltd.（华为技术有限公司可信理论研究中心）；School of Computer Science, University of Birmingham（伯明翰大学计算机学院）
本文将缓解机器学习不公平性视为多目标学习问题，提出多目标进化学习框架同时优化准确率与多个公平性度量，并基于生成的高质量模型构建集成以自动平衡各项指标，在八个数据集上表现出优于现有方法的权衡能力。
2022-10-30 cs.AI cs.CY cs.LG
On Fairness, Diversity and Randomness in Algorithmic Decision Making
Max Planck Institute for Software Systems (MPI-SWS)（马克斯·普朗克软件系统研究所 (MPI-SWS)）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；Leverhulme Centre for the Future of Intelligence（李弗休姆未来智能中心）
考虑一个二元决策过程，其中单个机器学习分类器取代了大量人类。我们提出的问题，在决策过程中造成的多样性损失。我们研究了在公平感知学习的背景下使用随机分类器集合而不是单个分类器的潜在好处，并展示了各种有吸引力的特性：（i）对于若干不同的公平性度量，公平分类器的集合被保证是公平的，（ii）不公平分类器的集合仍然可以实现公平的结果，以及（iii）分类器的集合可以实现比单个分类器更好的准确性-公平性权衡。最后，我们引入了分布公平性的概念，以进一步表征随机分类器集成的潜在好处。
2017-06-30 cs.LG stat.ML
Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles -- Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
针对时间序列异常检测在准确性和效率上的不足，提出一种基于卷积序列到序列自编码器的多样性驱动卷积集成方法，通过维持模型多样性提升准确性，并利用高度并行化和参数迁移提高效率。
2021-11-22 cs.LG
Linear Programming based Approximation to Individually Fair k-Clustering with Outliers
Indian Institute of Technology, Gandhinagar（印度理工学院甘地纳格尔分校）
本文针对含离群点的k均值聚类，提出基于线性规划识别离群点并排除，再通过舍入算法计算中心，满足个体公平性约束，提供理论近似保证并实证验证。
2024-12-14 cs.DS cs.LG stat.ML
DCSO: Dynamic Combination of Detector Scores for Outlier Ensembles
University of Toronto（多伦多大学）；PricewaterhouseCoopers（普华永道）
在没有地面实况的情况下，选择和组合离群值集合中使用的不同基础检测器的离群值分数可能非常具有挑战性。在本文中，一个无监督的离群检测器组合框架DCSO的建议，演示和评估的动态选择最称职的基地检测器，重点是数据的局部性。DCSO框架首先通过测试实例的k个最近邻定义测试实例的局部区域，然后在局部区域内识别性能最好的基本检测器。十个基准数据集上的实验结果表明，DCSO提供了一致的性能提高现有的静态组合方法在挖掘边远对象。为了促进所提出的方法的可解释性和可靠性，DCSO进行了分析，使用理论框架和可视化技术，并提出了与经验参数设置指令，可用于提高整体性能。
2019-11-23 cs.DB cs.IR cs.LG
FairSISA: Ensemble Post-Processing to Improve Fairness of Unlearning in LLMs
IBM Research（IBM研究院）
该研究首次探究大语言模型遗忘与公平性的相互作用，针对SISA遗忘框架会降低模型公平性的问题，提出三种适配集成模型的后处理偏差缓解方法，证明其中一种为最优公平预测器，验证了FairSISA框架的有效性。
2023-12-12 cs.CY cs.LG
On the Fairness Impacts of Private Ensembles Models
Syracuse University（雪城大学）；University of Virginia（弗吉尼亚大学）
本文探讨了私有集成模型（PATE）是否会导致不公平，发现其会在不同群体间引发准确率差异，并分析了相关算法与数据属性，最后提出了缓解建议。
2023-05-19 cs.AI cs.CY cs.LG
FADE: FAir Double Ensemble Learning for Observable and Counterfactual Outcomes
Carnegie Mellon University（卡内基梅隆大学）；J. P. Morgan AI Research（摩根大通人工智能研究院）
建立公平预测的方法通常涉及公平性和准确性之间以及不同公平性标准之间的权衡，但这些权衡的性质各不相同。最近的工作旨在描述这些权衡在特定的问题设置，但这些方法往往不适应用户谁希望提高现有的基准模型的公平性，而不牺牲准确性，反之亦然。这些结果通常也限于可观察的准确性和公平性标准。我们开发了一个灵活的公平集成学习框架，允许用户有效地探索公平性-准确性空间或提高基准模型的公平性或准确性。我们的框架可以同时针对多个可观察或反事实的公平标准，它使用户能够结合大量以前训练和新训练的预测。我们提供理论保证，我们的估计收敛速度快。我们将我们的方法应用于模拟和真实数据，以及可观察和反事实的准确性和公平性标准。我们发现，令人惊讶的是，多个不公平的措施，有时可以同时最小化，对准确性的影响很小，相对于无约束的预测或现有的基准模型。
2021-09-01 cs.LG stat.ML
Robust PAC$^m$: Training Ensemble Models Under Misspecification and Outliers
EURECOM（欧洲通信学院）；King’s College London（伦敦国王学院）
本文提出鲁棒 PAC$^m$ 自由能训练准则，将广义对数得分与集成 PAC-Bayes 界结合，以同时应对似然、先验误设及异常值影响。
2023-04-23 cs.IT cs.LG math.IT
Alpha and Prejudice: Improving $α$-sized Worst-case Fairness via Intrinsic Reweighting
Institute of High Performance Computing, Agency for Science, Technology and Research（新加坡科技研究局高性能计算研究所）；Centre for Frontier AI Research, Agency for Science, Technology and Research（新加坡科技研究局前沿人工智能研究中心）；School of Computer Science, Beihang University（北京航空航天大学计算机学院）
本文针对人口统计信息缺失场景，提出基于内在重要性的样本重加权方法，实现$\alpha$规模最坏情况公平性，并引入稳健变体处理异常值，实验证明其优越性。
2024-11-05 cs.LG
FAIR-Ensemble: When Fairness Naturally Emerges From Deep Ensembling
Cohere For AI Community（Cohere For AI 社区）；UC Berkeley（加州大学伯克利分校）；Cohere For AI
本文发现简单的同质深度神经网络集成能自然提升少数群体性能，实现公平性涌现，并揭示随机性来源差异是导致公平性变化的原因。
2023-12-20 cs.AI cs.CV cs.CY
Outlier Detection Bias Busted: Understanding Sources of Algorithmic Bias through Data-centric Factors
Carnegie Mellon University（卡内基梅隆大学）
本研究通过审计不同以数据为中心的因素，揭示了无监督异常检测中不公平性的来源，发现数据属性与算法设计选择的相互作用会导致不公平，证明OD算法偏差不仅是数据偏差问题。
2024-08-24 cs.CY cs.LG
EntropyStop: Unsupervised Deep Outlier Detection with Loss Entropy
East China Normal University（华东师范大学）；Guangzhou University（广州大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出基于损失分布零标签熵度量Loss Entropy和自动早停算法EntropyStop，在无标签受污染数据上于性能退化前停止训练，使AE以不到2%的训练时间超越集成AE。
2024-06-29 cs.AI cs.LG
Fairness of Deep Ensembles: On the interplay between per-group task difficulty and under-representation
CONICET（阿根廷国家科学技术研究委员会）；Universidad Nacional del Litoral（国立利托拉尔大学）；Cohere For AI（Cohere人工智能研究院）；Institute of Computer Sciences, CONICET & Universidad de Buenos Aires（布宜诺斯艾利斯大学计算机科学研究所（隶属于阿根廷国家科学技术研究委员会））
本研究证明同构深度集成能缓解人口统计亚群的性能差距，且不牺牲整体性能，并揭示数据平衡在任务难度不均时可能反而有害，强调公平性需考虑多因素交互。
2025-01-24 cs.LG
LimeOut: An Ensemble Approach To Improve Process Fairness
Université de Lorraine（洛林大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）；LORIA（洛林计算机科学及其应用实验室）
人工智能和机器学习越来越多地出现在人类生活的几个方面，特别是那些与决策有关的方面。这些算法决策中的许多决策都是在没有人类监督的情况下做出的，并且是通过不透明的决策过程做出的。这引起了人们对这些进程可能偏向社会某些群体的关切，这可能导致不公平的结果，并可能侵犯人权。如何处理这些有偏见的模型是维护公众信任的主要问题之一。在本文中，我们讨论的问题的过程或程序的公平性。更确切地说，我们考虑的问题，使分类器公平，减少其依赖敏感的功能，同时增加（或至少保持）其准确性。为了实现这两个目标，我们从基于神经的方法中的“dropout”技术中汲取灵感，并提出了一个依赖于“feature dropout”来解决过程公平性的框架。我们使用“LIME澄清”来评估分类器的公平性，并确定要删除的敏感特征。这产生了一个分类器池（通过特征丢弃），其集合根据经验显示出对敏感特征的依赖性较低，并且对准确性有改善或没有影响。
2020-06-17 cs.LG stat.ML
Tilted Empirical Risk Minimization
CMU（卡内基梅隆大学）；Facebook AI（脸书人工智能研究院）
经验风险最小化（ERM）通常被设计为在平均损失上表现良好，这可能导致估计量对离群值敏感，概括性差，或不公平地对待子组。虽然许多方法旨在单独解决这些问题，但在这项工作中，我们通过一个统一的框架-倾斜的经验风险最小化（TERM）来探索它们。特别是，我们表明，它是可以灵活地调整个人损失的影响，通过一个简单的扩展到ERM使用一个超参数称为倾斜。我们提供了几种解释所得到的框架：我们表明，TERM可以增加或减少离群值的影响，分别使公平性或鲁棒性;具有方差减少属性，可以有利于推广;可以被视为一个光滑的近似superquantile方法。我们开发了批量和随机一阶优化方法解决TERM，并表明，相对于常见的替代品，该问题可以有效地解决。最后，我们证明了$TERM可以用于多种应用，例如子组之间的公平性，减轻离群值的影响，以及处理类不平衡。$TERM不仅与针对这些个别问题量身定制的现有解决方案相比具有竞争力，而且还可以实现全新的应用，例如同时解决离群值和促进公平。
2021-03-17 cs.IT cs.LG math.IT
An Outlier Detection-based Tree Selection Approach to Extreme Pruning of Random Forests
Robert Gordon University（罗伯特戈登大学）
随机森林（RF）是Breiman在十多年前开发的一种集成分类技术。通过与其他集成技术的比较，证明了该方法的准确性和优越性。然而，许多研究人员认为，在预测准确性方面，仍有提高和改善其性能的空间。这就解释了为什么在过去的十年里，RF有许多扩展，每个扩展都采用了各种技术和策略来改进RF的某些方面。由于它已被经验证明，合奏往往会产生更好的结果时，有一个显着的多样性之间的组成模型，本文的目的是双重的。首先，它研究了如何使用无监督学习技术，即局部离群因子（LOF）来识别RF中的不同树。其次，具有最高LOF分数的树然后被用于产生RF的扩展，称为LOFB-DRF，其在尺寸上比RF小得多，并且至少表现得与RF一样好，但是在准确性方面大多表现出更高的性能。后者指的是一种称为整体修剪的已知技术。在10个真实数据集上的实验结果证明了我们提出的扩展比传统RF的优越性。在提高集成预测准确性的同时，达到了前所未有的99%的修剪水平。显着的高修剪水平，使该技术的实时应用程序的一个很好的候选人。
2015-03-17 cs.LG
Towards an Ensemble Regressor Model for Anomalous ISP Traffic Prediction
University of Western Ontario（西安大略大学）；Juniper Networks（瞻博网络）
网络流量行为预测对于现代电信网络的有效管理具有重要意义。然而，使用管理经验和市场分析数据预测网络流量的直观方法对于有效的预测框架是不够的。因此，人们研究了许多不同的数学模型来捕捉网络流量的总体趋势并进行相应的预测。但是，不同的回归模型和他们的集成的综合性能分析还没有研究之前，用于分析现实世界的异常流量。本文分析了几种回归模型，如XGBoost、LightGBM、随机梯度下降、梯度提升回归量（GBR）和CatBoost回归量，并将其应用于无异常和有异常的实际流量预测中，说明了异常检测在实际流量预测中的重要性。此外，我们还展示了集合回归模型优于个体预测模型的表现。我们比较了基于长度为6、9、12、15和18的五个不同特征集的不同回归模型的性能。我们的集成回归模型实现了实际流量和预测流量之间的最小平均差距为5.04%，有9个离群值调整输入。总的来说，我们的实验结果表明，数据中的离群值会显著影响预测的质量。因此，离群值检测和缓解有助于回归模型学习总体趋势并做出更好的预测。
2022-05-03 cs.LG cs.NI
