Detection of Thin Boundaries between Different Types of Anomalies in Outlier Detection using Enhanced Neural Networks
Islamic Azad University（伊斯兰阿扎德大学）；Institute for Advanced Studies in Basic Sciences（基础科学高级研究所）；Petanux GmbH（佩塔努克斯有限公司）
离群点检测在各个领域都受到了特别的关注，主要是那些处理机器学习和人工智能的领域。异常作为强异常，分为点异常、上下文异常和集体异常。异常值检测中最重要的挑战包括远程点和自然区域之间的薄边界、新数据和噪声模仿真实数据的趋势、未标记的数据集以及不同应用中异常值的不同定义。考虑到上述挑战，我们定义了新类型的异常，称为集合正态异常和集合点异常，以提高对不同类型异常之间的薄边界的更好检测。基本的领域独立的方法被引入到检测这些定义的异常在无监督和监督数据集。利用遗传算法对多层感知器神经网络进行了增强，以更高的精度检测新定义的异常，从而确保测试误差小于传统多层感知器神经网络的计算误差。在基准数据集上的实验结果表明，与基线相比，异常检测过程的错误减少。
2020-01-24 cs.LG cs.NE stat.ML
An Improved Genetic Algorithm and Its Application in Neural Network Adversarial Attack
Yangtze University（长江大学）
交叉和变异策略的选择对遗传算法的可搜索性、收敛效率和精度起着至关重要的作用。本文通过对简单遗传算法的交叉和变异操作进行改进，提出了一种新的改进遗传算法，并通过15个测试函数进行了验证。定性结果表明，与其他三种主流的群体智能优化算法相比，该算法不仅提高了全局搜索能力、收敛效率和精度，而且在相同的实验条件下，提高了收敛到最优值的成功率。定量结果表明，该算法在15个测试函数中的13个上表现优异。使用Wilcoxon秩和检验进行统计学评价，显示该算法在$95\%$置信区间的显著优势。最后将该算法应用于神经网络的对抗攻击。应用结果表明，该方法不需要神经网络模型内部的结构和参数信息，仅利用神经网络输出的分类和置信度信息，就能在较短时间内获得高置信度的对抗样本。
2022-03-06 cs.CR cs.LG cs.NE
ALTBI: Constructing Improved Outlier Detection Models via Optimization of Inlier-Memorization Effect
Sungshin Women's University（诚信女子大学）；Data Science Center, Sungshin Women's University（诚信女子大学数据科学中心）
本文面向无监督异常值检测，提出ALTBI，通过批量递增、自适应截断损失与集成策略增强内点记忆效应，以更低计算成本达到SOTA并兼容隐私保护。
2025-01-07 cs.LG stat.ML
Improved Outlier Robust Seeding for k-means
Microsoft Research（微软研究院）；IIT Hyderabad（印度理工学院海得拉巴分校）
针对k-means对离群点敏感的问题，提出D²采样的鲁棒变体，在常数比例离群点下达到O(1)近似，时间O(ndk)，输出O(k)簇，优于现有鲁棒方法。
2023-09-06 cs.CG cs.DS cs.LG
XGBOD: Improving Supervised Outlier Detection with Unsupervised Representation Learning
University of Toronto（多伦多大学）；PricewaterhouseCoopers（普华永道）
提出了一种新的半监督集成算法XGBOD（Extreme梯度提升Outlier Detection），描述并演示了该算法在实际数据集上对正态观测数据中的离群点的增强检测。建议的框架结合了监督和无监督机器学习方法的优势，通过创建一个混合的方法，利用他们各自的性能能力在离群值检测。XGBOD使用多个无监督离群值挖掘算法从底层数据中提取有用的表示，以增强嵌入式监督分类器在改进的特征空间上的预测能力。新的方法相比，竞争的个人检测器，完整的合奏和两个现有的表示学习为基础的算法在七个离群数据集提供卓越的性能。
2019-12-01 cs.DB cs.IR cs.LG
Out-of-Distribution Detection Using Outlier Detection Methods
Friedrich-Schiller-University Jena（耶拿弗里德里希·席勒大学）
分布外检测（OOD）处理神经网络的异常输入。在过去，已经提出了专门的方法来拒绝对异常输入的预测。类似地，示出了结合离群值检测算法的特征提取模型非常适合于检测异常输入。我们使用离群值检测算法来检测异常输入，其可靠性与OOD领域的专业方法一样。不需要神经网络自适应;检测基于模型的softmax得分。我们的方法使用隔离森林进行无监督工作，并且可以通过使用梯度提升等监督学习方法来进一步改进。
2022-01-24 cs.LG
Comparative Analysis of Data Preprocessing Methods, Feature Selection Techniques and Machine Learning Models for Improved Classification and Regression Performance on Imbalanced Genetic Data
Evergreen Valley College（埃弗格林谷学院）；Gilead Sciences（吉利德科学公司）
本研究针对遗传数据不平衡、高基数等问题，对比分析不同预处理、特征选择与机器学习模型组合的性能，发现随机森林最适配不平衡回归任务，相关结论可推广至同类数据集。
2024-02-22 cs.LG q-bio.QM stat.ML
Outlier-robust moment-estimation via sum-of-squares
Princeton University（普林斯顿大学）；Institute for Advanced Study（高等研究院）；ETH Zürich（苏黎世联邦理工学院）；Cornell University（康奈尔大学）
我们开发了有效的算法来估计存在对抗性离群值的未知分布的低阶矩。我们的算法的保证在许多情况下显着改善最好的以前的，在最近的作品Diakonikolas等人，赖等人，和Charikar等人。我们还表明，我们的算法的保证相匹配的信息理论的下限类的分布，我们考虑。这些改进的保证，使我们能够提供改进的算法，独立成分分析和学习混合高斯在离群值的存在。我们的算法是基于一个标准的平方和松弛以下概念上简单的优化问题：在所有的分布，其时刻是有界的未知分布以相同的方式，找到一个最接近的统计距离的经验分布的adversarially-corrupted样本。
2017-12-23 cs.DS cs.LG stat.ML
Angular Embedding: A New Angular Robust Principal Component Analysis
Dalian University of Technology（大连理工大学）
主成分分析（PCA）作为机器学习中一种广泛应用的方法，具有良好的降维特性。主成分分析对离群值敏感是一个严重的问题，许多鲁棒主成分分析（RPCA）已经改善了这一问题。然而，现有的国家的最先进的RPCA方法不能轻易地删除或容忍离群值的非迭代方式。为了解决这个问题，本文提出了角度嵌入（AE）制定一个简单的RPCA方法的基础上的角度密度，这是改进的大规模或高维数据。此外，一个修剪AE（TAE）被引入到处理大规模的离群数据。在具有矢量级或像素级异常值的合成数据集和真实数据集上的大量实验表明，所提出的AE/TAE优于最先进的基于RPCA的方法。
2020-11-22 cs.LG stat.ML
Contextual Unsupervised Outlier Detection in Sequences
Purdue University（普渡大学）
本文提出了一个无监督学习框架，结合排序测试和用户序列模型进行轨迹（序列）离群点检测。整个框架以期望的假阳性率（FPR）以另外的无参数方式识别序列异常值。我们评估我们的方法收集的真实和模拟数据集的基础上，在网站last.fm和msnbc.com，在那里我们知道地面真相的用户操作，并证明了现有方法的准确性提高。我们还将我们的方法应用于Pinterest和Facebook用户的大型真实数据集，在那里我们发现用户倾向于重新分享Facebook朋友的Pinterest帖子，比其他类型的用户要多得多，这表明Facebook友谊对Pinterest上的分享行为有潜在的影响。
2021-11-06 cs.LG
Improving the K-means algorithm using improved downhill simplex search
Ferdowsi University（菲尔多西大学）；University of East London（东伦敦大学）
k-means算法是一种著名的和最流行的聚类算法。K-means通过迭代优化过程最小化平方误差之和来寻求数据的最佳分区，这属于爬山算法的范畴。众所周知，爬山搜索以收敛到局部最优而闻名。由于k-means可以收敛到局部最优，不同的初始点通常会导致不同的收敛cancroids，这使得从合理的初始划分开始以获得高质量的聚类解决方案变得非常重要。然而，在理论上，不存在用于确定这样的初始划分的有效且通用的方法。在本文中，我们试图找到一个最佳的初始划分的k-means算法。为了实现这一目标，我们提出了一个新的改进版本的下坡单纯形搜索，然后我们使用它，以找到一个最佳的结果，聚类方法，然后比较该算法与遗传算法基地（GA），遗传K-means（GKM），改进的遗传K-means（IGKM）和k-means算法。
2012-09-05 cs.LG
An ensemble of Density based Geometric One-Class Classifier and Genetic Algorithm
单类分类（One-Class Classification）是近年来机器学习研究中的热点问题之一。在处理某些问题数据集或特殊情况时，它比传统的多类分类更合理。通常，OCC方法认为分类精度和用户的可解释性是一个折衷。基于超矩形的分类器（H-RTGL）是一种分类器，可以弥补这种权衡，并使用H-RTGL的几何规则称为间隔的结合制定。该间隔可以是可解释性的基础，因为它可以被用户容易地理解。然而，现有的基于H-RTGL的OCC分类器存在以下局限性：（i）大多数分类器不能反映目标类的密度;（ii）考虑密度的OCC分类器具有原始区间生成方法;（iii）基于H-RTGL的OCC分类器的超参数没有系统的过程，影响了分类器的分类性能。在此基础上，我们提出了基于密度的一类超矩形描述子（1-HRD_d），并给出了更精细的区间生成方法，包括参数和非参数方法。此外，我们设计了遗传算法（GA），其中包括染色体结构和遗传算子的系统生成的1-HRD_d的超参数优化。我们的工作是通过一个数值实验，使用实际的数据集与现有的OCC算法以及其他H-RTGL为基础的分类比较进行验证。
2021-02-25 cs.LG cs.NE
GAAF: Searching Activation Functions for Binary Neural Networks through Genetic Algorithm
Zhejiang University（浙江大学）；Pacific Northwest National Laboratory（太平洋西北国家实验室）
二进制神经网络（BNN）在边缘设备和移动系统等成本和功耗受限的领域显示出良好的应用前景。这是因为它的计算和存储需求显著减少，但代价是性能下降。为了缩小精度差距，在本文中，我们提出了一个补充激活函数（AF）之前的符号为基础的二值化，并依靠遗传算法（GA）自动搜索理想的AF。这些AF可以帮助在前向传递中从输入数据提取额外信息，同时允许在后向传递中改进梯度近似。通过我们基于遗传算法的搜索识别出了15个新的AF，而在不同的数据集和网络模型上测试时，其中大多数AF的性能都有所提高（在ImageNet上高达2.54%）。我们的方法提供了一种新的方法来设计通用和特定应用的BNN架构。我们的代码可在http://github.com/flying-Yan/GAAF上获得。
2022-06-05 cs.LG cs.NE
Feature Explosion: a generic optimization strategy for outlier detection algorithms
School of Information Science and Technology, Beijing Forestry University（北京林业大学信息科学与技术学院）
针对异常检测算法因高度定制化优化导致的冗余问题，提出基于特征爆炸的通用优化策略OSD，实验显示其能使14种算法在24个数据集上的AUC平均提升15%、AP平均提升63.7%，无需为各算法单独设计优化版本。
2025-02-08 cs.LG
Unsupervised Time Series Outlier Detection with Diversity-Driven Convolutional Ensembles -- Extended Version
Aalborg University（奥尔堡大学）；Huawei Cloud Database Innovation Lab（华为云数据库创新实验室）；University of Electronic Science and Technology of China（电子科技大学）
针对时间序列异常检测在准确性和效率上的不足，提出一种基于卷积序列到序列自编码器的多样性驱动卷积集成方法，通过维持模型多样性提升准确性，并利用高度并行化和参数迁移提高效率。
2021-11-22 cs.LG
Unsupervised Boosting-based Autoencoder Ensembles for Outlier Detection
George Mason University（乔治梅森大学）；Sapienza University of Rome（罗马第一大学）；University of L’Aquila（拉奎拉大学）
自编码器作为一种降维技术，近年来已被应用于离群点检测。然而，已知神经网络易受过拟合的影响，因此在无监督离群值检测设置中具有有限的潜力。目前基于集成的自动编码器的方法不能产生足够的多样性来避免过拟合问题。为了克服上述限制，我们开发了一种基于Boosting的自动编码器Encoder方法（简称BAE）。BAE是一种无监督的集成方法，与boosting方法类似，它构建了自适应级联的自动编码器，以实现改进和鲁棒的结果。BAE通过对数据进行加权采样来依次训练自动编码器组件，旨在减少训练期间使用的离群值数量，并在集合中注入多样性。我们进行了广泛的实验，并表明所提出的方法优于国家的最先进的方法在各种条件下。
2019-10-22 cs.LG stat.ML
A comparative study on machine learning models combining with outlier detection and balanced sampling methods for credit scoring
Beihang University（北京航空航天大学）；HuaRong RongTong (Beijing) Technology Co., Ltd（华融融通（北京）科技有限公司）
随着网络基础设施的改善和个人借贷需求的增长，P2P借贷平台在过去十年中迅速发展。这些平台允许用户在没有传统金融机构帮助的情况下建立点对点借贷关系。评估借款人的信用对于降低P2P平台的违约率和良性发展至关重要。构建个人信用评分机器学习模型，可以有效预测用户是否会在P2P平台上还款。而数据异常值和样本不平衡问题的处理会影响机器学习模型的最终效果。目前已经有一些关于平衡采样方法的研究，但是离群点检测方法及其与平衡采样方法的结合对机器学习模型有效性的影响还没有得到充分的研究。本文研究了使用不同的离群点检测方法和平衡采样方法对常用机器学习模型的影响。对44,487个Lending Club样本的实验表明，适当的离群点检测可以提高机器学习模型的有效性，而平衡采样方法只对少数机器学习模型有较好的效果，如MLP。
2021-12-25 cs.LG
An Isolation Forest Learning Based Outlier Detection Approach for Effectively Classifying Cyber Anomalies
Chittagong University of Engineering & Technology（吉大港工程技术大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）；Canberra Institute of Technology（堪培拉理工学院）；Kuwait University（科威特大学）
由于物联网（IoT）的普及、移动网络的大幅增长以及许多相关应用程序，网络安全最近对当今的安全问题产生了相当大的兴趣。因此，检测网络中的大量网络攻击并创建有效的入侵检测系统在当今的安全中起着至关重要的作用。在本文中，我们提出了一个隔离森林学习为基础的离群检测模型，有效地分类网络异常。为了评估所得到的离群点检测模型的有效性，我们还使用了几种传统的机器学习方法，如Logistic回归（LR），支持向量机（SVM），AdaBoost分类器（ABC），朴素贝叶斯（NB）和K-最近邻（KNN）。我们提出的离群检测模型的有效性进行评估进行实验的网络入侵数据集的评价指标，如精度，召回率，F1分数，和准确性。实验结果表明，去除离群点后，网络异常的分类精度得到了提高。
2020-12-09 cs.CR cs.LG
Outlier Detection of Poisson-Distributed Targets Using a Seabed Sensor Network
Georgia Southern University（佐治亚南方大学）；Virginia Polytechnic Institute and State University（弗吉尼亚理工大学和州大学）；Johns Hopkins University Applied Physics Laboratory（约翰霍普金斯大学应用物理实验室）
本文提出基于海底声学传感器网络和对数高斯考克斯过程的异常检测框架，通过二阶概率近似和动态传感器部署，提高海事空间异常的分类与检测性能。
2025-08-18 cs.IT cs.LG math.IT
Sequential Ensemble Learning for Outlier Detection: A Bias-Variance Perspective
Stony Brook University（石溪大学）
用于分类和聚类的集成方法已经有效地使用了几十年，而用于离群点检测的集成学习只是最近才被研究。在这项工作中，我们设计了一个新的集成方法在多维点数据中的离群点检测，它提供了更高的精度，通过减少偏差和方差的错误。虽然分类和异常值检测看起来是不同的问题，但它们的理论基础在偏差-方差权衡方面非常相似[1]，其中异常值检测被认为是具有未观察到的标签的二进制分类任务，但类似的偏差-方差误差分解。在本文中，我们提出了一个顺序集成的方法，称为照顾，采用两个阶段的聚合的中间结果，在每次迭代，以达到最终的结果。与现有的离群值集成不同，现有的离群值集成仅通过聚合独立基础检测器的结果来合并并行框架以减少方差，我们的集成合并了并行和顺序构建块以减少偏差以及方差，（$i$）从原始数据集中连续地消除离群值以建立更好的数据模型，在该数据模型上估计离群值（顺序地），以及（$ii$）组合来自各个基本检测器的结果和跨迭代（重复）。通过对主要来自UCI机器学习库[2]的16个真实世界数据集进行广泛的实验，我们表明CARE的表现明显优于或至少类似于单个基线。我们还将CARE与最先进的离群值合奏进行了比较，当它是赢家时，它也提供了显着的改进，否则仍然接近。
2016-09-18 cs.LG stat.ML
Cascade Watchdog: A Multi-tiered Adversarial Guard for Outlier Detection
Baylor University（贝勒大学）
针对神经网络分布外检测受可用数据限制的问题，提出基于GAN生成数据的多层级联看门狗机制，通过对抗训练扩充难检测样本的相似数据并增设二级防护，显著提升了难样本检测效果且保持极低假阳性率。
2022-06-14 cs.LG
Improved Modeling of Persistence Diagram
Hebrew University（希伯来大学）
高维约简方法是描述大数据中主要模式的有力工具。拓扑数据分析（TDA）就是其中之一，它根据数据的拓扑特性对数据的形状进行建模。该方法专门将原始数据转换为二维系统，并通过“持久化”图形化表示。此图上的离群点表示数据模式，而其他点则表现为随机噪声。为了确定哪些点是显著的离群值，需要对原始数据集进行复制。一旦只有一个原始数据可用，就可以通过为持久性图上的点拟合模型，然后使用MCMC方法来创建副本。其中一个模型是复制统计拓扑（Replicating Statistical Topology）。在本文中，我们提出了一个修改的模型。使用模拟研究，我们表明，修改后的ESTA提高了性能的ESTA的拟合优度。我们使用MCMC梅特罗波利斯-黑斯廷斯算法根据拟合模型进行抽样。
2022-05-22 cs.LG stat.ME stat.ML
POEM: Out-of-Distribution Detection with Posterior Sampling
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
对于部署在开放世界中的机器学习模型，分发外（OOD）检测是必不可少的。最近，在训练过程中使用辅助离群值数据集（也称为离群值暴露）已经显示出有希望的性能。由于潜在OOD数据的样本空间可能非常大，因此采样信息离群值至关重要。在这项工作中，我们提出了一种新的基于后验采样的离群数据挖掘框架，POEM，它有利于有效地利用离群数据，并促进学习ID和OOD数据之间的紧凑决策边界，以提高检测。我们表明，POEM建立国家的最先进的性能，共同的基准。与目前使用贪婪采样策略的最佳方法相比，POEM在CIFAR-10和CIFAR-100上的相对性能分别提高了42.0%和24.2%（FPR 95）。我们进一步提供了理论见解的有效性POEM OOD检测。
2022-06-28 cs.AI cs.CV cs.LG
Improved Training Technique for Latent Consistency Models
Rutgers University（罗格斯大学）；Movian AI（莫维安人工智能公司）；Monash University（莫纳什大学）
针对潜变量空间中离群值导致一致性训练性能下降的问题，提出Cauchy损失、扩散损失、最优传输耦合及自适应缩放调度器等改进，成功训练出单步或两步高质量采样的潜变量一致性模型，缩小了与扩散模型的性能差距。
2025-03-25 cs.CV cs.LG
MSS-PAE: Saving Autoencoder-based Outlier Detection from Unexpected Reconstruction
School of Marine Science and Technology, Northwestern Polytechnical University（西北工业大学海洋科学与技术学院）；Faculty of Technology, University of Turku（图尔库大学技术学院）；School of Computing, University of Eastern Finland（东芬兰大学计算机学院）；Engineering Cluster, Singapore Institute of Technology（新加坡理工学院工程集群）
针对基于自编码器的异常检测存在的过度自信、异常重构意外问题，提出加权负对数似然与均值偏移评分方法，在32个真实数据集上实现显著性能提升，推动该领域发展。
2024-07-09 cs.LG
Enhancement of Short Text Clustering by Iterative Classification
Dalhousie University（达尔豪西大学）
短文本聚类是一个具有挑战性的任务，由于缺乏信号包含在这样的短文本。在这项工作中，我们提出了迭代分类作为一种方法来浪费聚类质量（例如，准确性）的短文本。给定使用任意聚类算法获得的短文本的聚类，迭代分类应用离群值去除以获得无离群值的聚类。然后，它训练一个分类算法，使用非离群值的基础上，他们的集群分布。使用训练好的分类模型，迭代分类对离群值进行重新分类，以获得一组新的聚类。通过多次重复，我们获得了更好的文本聚类。我们的实验结果表明，所提出的聚类增强方法不仅提高了不同聚类方法的聚类质量（例如，k-means、k-means和分层聚类），而且在几个短文本数据集上的性能也优于现有技术的短文本聚类方法，具有统计上显著的优势。
2020-01-31 cs.CL cs.IR cs.LG
Genetic Algorithms for Evolving Computer Chess Programs
Bar-Ilan University（巴伊兰大学）；Tilburg University（蒂尔堡大学）；University of Maryland（马里兰大学）
本文演示了使用遗传算法进化：1）一个大师级的评价函数，2）一个搜索机制的国际象棋程序，其参数值是随机初始化。该程序的评价函数是通过从（人类）特级大师比赛数据库中学习而进化的。首先，生物体进化为模仿人类大师的行为，然后这些生物体通过共同进化进一步改进。搜索机制是通过从战术测试套件中学习而发展起来的。我们的研究结果表明，进化程序优于两次世界计算机国际象棋冠军，并与其他领先的计算机国际象棋程序。
2017-11-21 cs.LG cs.NE stat.ML
SSB: Simple but Strong Baseline for Boosting Performance of Open-Set Semi-Supervised Learning
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔 informatics 校区）
针对开放集半监督学习，提出SSB基线，通过纳入高置信度伪标记数据、非线性特征分离和伪负样本挖掘，同时提升内点分类与离群点检测性能。
2023-11-17 cs.CV cs.LG
A Comparison of Recent Algorithms for Symbolic Regression to Genetic Programming
University of Applied Sciences Upper Austria（上奥地利应用科学大学）
本文比较了端到端transformer符号回归模型与基于遗传编程的传统方法，在新数据集上的实验表明Operon等传统遗传编程方法仍优于两种近期提出的符号回归方法。
2024-06-05 cs.AI cs.LG
A Novel Community Detection Based Genetic Algorithm for Feature Selection
University of Kurdistan（库尔德斯坦大学）；Queensland University of Technology（昆士兰科技大学）；University of Applied Science and Technology（应用科学与技术大学）
特征选择是数据采掘中一个重要的数据预处理阶段。特征选择的核心原则似乎是通过排除几乎没有预测信息的特征以及高度关联的冗余特征来挑选可能特征的子集。在过去的几年中，各种Meta探试法被引入到尽可能多地消除冗余和不相关的高维数据集的功能。目前基于元启发式的方法的主要缺点之一是，它们往往忽略了一组选定的功能之间的相关性。针对特征选择问题，提出了一种基于社区发现的遗传算法。在第一步中计算特征相似度。在整个第二步中，通过社区发现算法将特征分类成聚类。在第三步中，特征是由遗传算法与一个新的社区为基础的修复操作。九个基准分类问题进行了分析所提出的方法的性能。此外，作者还比较了所提出的方法的效率，从四个可用的算法特征选择的结果。研究结果表明，新方法不断提高分类精度。
2020-08-08 cs.LG cs.NE stat.ML
