Randomized PCA Forest for Unsupervised Outlier Detection
Department of Mathematics and Computer Science（数学与计算机科学系）；University of Southern Denmark（南丹麦大学）；Faculty of Information Technology and Communication Sciences（信息科技与通信科学学院）；Tampere University（塔尔库大学）
本文提出一种基于随机PCA的无监督异常检测方法，利用RPCA森林的内在特性生成异常评分，在多个数据集上优于经典和最新方法，展现出鲁棒性和高效性。
2026-05-08 cs.AI cs.LG stat.ML
A Probabilistic Transformation of Distance-Based Outliers
BMW Group（宝马集团）；Johannes Kepler University（约翰开普勒大学）；University of Applied Sciences Upper Austria（上奥地利应用科技大学）
针对基于距离的离群点得分难解释、阈值难确定的问题，提出一种通用概率转换方法，复用已有距离计算构建概率分布，在不影响检测性能、不增加显著开销的前提下得到可解释且区分度更高的离群概率。
2023-07-18 cs.LG stat.ML
Federated Nearest Neighbor Classification with a Colony of Fruit-Flies: With Supplement
IBM Research AI（IBM人工智能研究院）；Wichita State University（威奇托州立大学）
果蝇嗅觉回路中神经机制的数学形式化为局部敏感散列（Flyhash）和布隆过滤器（FBF），最近已经被提出并“重新编程”用于各种机器学习任务，如相似性搜索、离群值检测和文本嵌入。我们提出了一种新的重新编程这种哈希和布隆过滤器，以模拟具有挑战性的联邦学习（FL）设置中的规范最近邻分类器（NNC），其中训练和测试数据分布在各方，没有数据可以离开各自的当事人。具体来说，我们利用Flyhash和FBF来创建FlyNN分类器，并在理论上建立FlyNN匹配NNC的条件。我们展示了FlyNN是如何在FL设置中以低通信开销进行训练以产生FlyNNFL的，以及它是如何具有差异性的。从经验上讲，我们证明了（i）FlyNN在70个OpenML数据集上与NNC的准确性相匹配，（ii）FlyNNFL训练具有高度可扩展性，通信开销低，与$16$方提供高达$8\times$的加速。
2021-12-14 cs.LG
Local projections for high-dimensional outlier detection
在本文中，我们提出了一种用于离群值检测的新方法，称为局部投影，其基于局部离群值因子（LOF）的概念（Breunig等人，2000）和RobPCA（Hubert等人，2005年）。通过使用这两种方法的各个方面，我们的算法对噪声变量是鲁棒的，并且能够在多组情况下执行离群值检测。我们进一步不依赖于特定的底层数据分布。对于数据集的每个观测，我们基于k-最近邻算法的修改来识别密集附近观测的局部组，我们称之为核心。通过将数据集投影到这些观测所跨越的空间上，揭示了两个方面。首先，我们可以分析从观测到投影空间内的核心中心的距离，以提供通过投影对观测的描述质量的度量。其次，我们考虑观察到投影空间的距离，以评估核心是否适合描述观察的异常性。这些新颖的解释导致基于所有局部投影上的聚合的异常度的单变量测量，其优于LOF和RobPCA以及其他流行方法如PCOut（Filzmoser等人，2008）和基于子空间的离群值检测（Kriegel等人，2009）在我们的模拟设置。在实际应用中，采用不同维度的数据集的实验证明了局部投影的优势。
2017-08-04 stat.ME
The Geometry of Nodal Sets and Outlier Detection
设$(M,g)$是紧致流形，$-Δϕ_k = λ_k ϕ_k$是Laplacian特征函数序列.我们提出了一个奇怪的新现象，到目前为止，我们只设法了解在一些高度专业化的情况下：家庭的功能$f_N:M \rightarrow \mathbb{R}_{\geq 0}$ $$ f_N(x) = \sum_{k \leq N}{ \frac{1}{\sqrt{λ_k}} \frac{|ϕ_k(x)|}{\|ϕ_k\|_{L^{\infty}(M)}}}$$似乎奇怪地适合检测异常点的流形。它可以解释为距离最近的节线的距离之和，并可能暗示光谱几何中的一种新现象。我们给出严格的声明单位平方$[0,1]^2$（其中极小值本地化$\mathbb{Q}^2$）和佩利图（其中$f_N$恢复几何二次剩余的基础有限域$\mathbb{F}_p$）。数值例子表明，这种现象似乎出现在相当一般的流形。
2017-06-05 math-ph math.AP math.FA
Efficient Estimation of High Information Projections using Nearest Neighbours
Lancaster University（兰卡斯特大学）
本文提出一种基于最近邻的降维方法，该方法的矩阵是密度信息矩阵的一致估计量，可辅助聚类分析与异常检测等下游任务。
2026-08-27 cs.LG stat.ML
Unsupervised Space Partitioning for Nearest Neighbor Search
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；Monash University（莫纳什大学）
高维空间中的近似最近邻搜索（ANNS）对于许多现实生活中的应用（例如，电子商务、网络、多媒体等）处理大量的数据。本文提出了一个端到端的学习框架，耦合分区（一个关键步骤的人工神经网络）和学习搜索步骤使用自定义损失函数。我们提出的解决方案的一个关键优势是，它不需要对数据集进行任何昂贵的预处理，这是最先进方法的关键限制之一。我们通过制定一个多目标自定义损失函数来实现上述优势，该函数不需要地面真值标签来量化给定数据空间分区的质量，使其完全无监督。我们还提出了一种集成技术，通过增加不同的输入权重的损失函数，训练一个整体的模型，以提高搜索质量。在ANNS的几个标准基准测试中，我们证明了我们的方法击败了最先进的空间划分方法和无处不在的K-means聚类方法，同时使用更少的参数和更短的离线训练时间。我们还表明，将我们的空间划分策略纳入最先进的人工神经网络技术，如ScaNN可以显着提高其性能。最后，我们提出了我们的无监督分割方法作为一个有前途的替代许多广泛使用的聚类方法，如K-均值聚类和DBSCAN。
2022-10-19 cs.DB cs.IR cs.LG
A Multilabel Classification Framework for Approximate Nearest Neighbor Search
University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
监督和无监督机器学习算法都已被用于学习基于分区的索引结构，以用于近似最近邻（ANN）搜索。现有的监督算法将学习任务表述为找到一个分区，其中训练集点的最近邻居属于与点本身相同的分区元素，使得最近邻居候选者可以通过朴素查找或回溯搜索来检索。我们制定的候选集选择人工神经网络搜索直接作为一个多标签分类问题，标签对应的查询点的最近邻居，并解释分区分区分类器解决这个任务。实证结果表明，基于这种解释的自然分类器与任何无监督或有监督的分区策略相结合时，会导致严格的性能提高。我们还证明了一个充分条件的分割分类器的ANN搜索的一致性，并通过验证这个条件的时序$k$ -d树的结果。
2022-10-13 cs.LG stat.ML
Financial Data Analysis with Robust Federated Logistic Regression
Princeton University（普林斯顿大学）
本文提出了一种基于鲁棒联邦逻辑回归的金融数据分析框架，兼顾隐私保护、模型可解释性与异常值鲁棒性，在IID和non-IID数据上的表现与经典集中式算法相当。
2025-04-28 cs.LG q-fin.GN q-fin.ST
Neighborhood Averaging for Improving Outlier Detectors
Northwestern Polytechnical University（西北工业大学）；Singapore Institute of Technology（新加坡理工大学）；University of Eastern Finland（东芬兰大学）
我们假设相似的对象应该具有相似的离群值分数。据我们所知，所有现有的离群值检测器都独立地计算每个对象的离群值分数，而不管其他对象的离群值分数。因此，它们不能保证相似的对象具有相似的离群值分数。为了验证我们提出的假设，我们提出了一种离群值检测器的离群值得分后处理技术，称为邻域平均（NA），它关注对象及其邻居，并保证它们具有比原始得分更相似的离群值得分。给定一个对象及其来自任何离群值检测器的离群值得分，NA通过将其与其k个最近邻居的得分相结合来修改其离群值得分。我们证明了NA的有效性，通过使用著名的k-近邻（k-NN）。实验结果表明，NA将所有10个测试的基线检测器平均提高了13%（从0.70到0.79 AUC）。此外，即使是已经基于k-NN的离群检测器也得到了改进。实验还表明，在某些应用中，当检测器与NA联合使用时，检测器的选择不再重要，这可能对通常认为的数据模型是最重要因素的想法提出挑战。我们在www.outlierNet.com上打开代码以获得可重复性。
2023-03-17 cs.CV cs.DS cs.LG
$β$-integrated local depth and corresponding partitioned local depth representation
本文提出$β$-积分局部深度（$β$-ILD）作为局部深度的推广，通过分区方法构建贡献矩阵，应用于分类和异常检测，显著提升深度算法性能。
2025-06-20 math.ST stat.ME stat.TH
Learning Space Partitions for Nearest Neighbor Search
Microsoft（微软）；MIT（麻省理工学院）；Microsoft Research（微软研究院）
$\mathbb{R}^d$的空间划分是一类重要的快速近邻搜索算法的基础。受最近关于一般度量空间的NNS理论工作的启发[Andoni，Naor，Nikolov，Razenshteyn，Waingarten STOC 2018，FOCS 2018]，我们开发了一个新的框架来构建空间分区，将问题减少到平衡图分区，然后进行监督分类。我们分别使用KaHIP图分割器[Sanders，Schulz SEA 2013]和神经网络实例化这种通用方法，以获得称为神经局部敏感散列（Neural Locality-Sensitive Hashing，Neural LSH）的新分割过程。在NNS的几个标准基准测试中，我们的实验表明，通过神经LSH获得的分区始终优于基于量化和基于树的方法以及经典的数据无关LSH发现的分区。
2020-09-29 cs.CG cs.DS cs.LG
An Isolation Forest Learning Based Outlier Detection Approach for Effectively Classifying Cyber Anomalies
Chittagong University of Engineering & Technology（吉大港工程技术大学）；Jahangirnagar University（贾汉吉尔纳加尔大学）；Canberra Institute of Technology（堪培拉理工学院）；Kuwait University（科威特大学）
由于物联网（IoT）的普及、移动网络的大幅增长以及许多相关应用程序，网络安全最近对当今的安全问题产生了相当大的兴趣。因此，检测网络中的大量网络攻击并创建有效的入侵检测系统在当今的安全中起着至关重要的作用。在本文中，我们提出了一个隔离森林学习为基础的离群检测模型，有效地分类网络异常。为了评估所得到的离群点检测模型的有效性，我们还使用了几种传统的机器学习方法，如Logistic回归（LR），支持向量机（SVM），AdaBoost分类器（ABC），朴素贝叶斯（NB）和K-最近邻（KNN）。我们提出的离群检测模型的有效性进行评估进行实验的网络入侵数据集的评价指标，如精度，召回率，F1分数，和准确性。实验结果表明，去除离群点后，网络异常的分类精度得到了提高。
2020-12-09 cs.CR cs.LG
Fast k-Nearest Neighbour Search via Dynamic Continuous Indexing
University of California, Berkeley（加州大学伯克利分校）
现有的方法检索k-最近邻遭受灾难的维度。我们认为，这部分是由于空间划分的固有缺陷，这是大多数现有方法所使用的基本策略。我们设计了一种新的策略，避免了分割的向量空间，并提出了一种新的随机算法，运行在时间上的线性的空间维度和次线性的内在维度和大小的数据集，并采取空间常数的空间维度和线性的大小的数据集。该算法允许细粒度控制的准确性和速度在每个查询的基础上，自动适应数据密度的变化，支持动态更新的数据集，易于实现。我们展示了吸引人的理论属性，并实证表明，该算法优于局部敏感性哈希（LSH）的近似质量，速度和空间效率。
2017-04-06 cs.AI cs.DS cs.IR
IPOF: An Extremely and Excitingly Simple Outlier Detection Booster via Infinite Propagation
Brandeis University（布兰迪斯大学）；Adobe Research（奥多比研究院）
离群点检测是数据采掘领域中最热门且不断兴起的研究课题之一，具有重要的学术价值和广泛的工业应用前景。在各种背景下，无监督离群点检测是最具挑战性和实用性的一个，吸引了来自不同角度的巨大努力。在本文中，我们考虑了基于分数的离群点检测类别，并指出，目前的离群点检测算法的性能可能会进一步提高分数传播。具体来说，我们提出了离群值因子的无限传播（iPOF）算法，这是一种通过无限传播的极其简单且令人兴奋的离群值检测助推器。通过采用基于分数的离群值检测器进行初始化，iPOF通过对其最近的公共邻居的离群值因子进行平均来更新每个数据点的离群值分数。在不同领域的大量数据集上进行的大量实验结果表明，iPOF的有效性和效率显着超过几个经典和最近的最先进的方法。我们还提供了参数分析的邻居的数量，在iPOF的唯一参数，和不同的初始离群检测器的一般验证。值得注意的是，iPOF带来了平均2%到46%的积极改进，在某些情况下，iPOF比原始离群值检测算法的性能提高了3000%以上。
2021-08-01 cs.LG
Partitioning Well-Clustered Graphs: Spectral Clustering Works!
Georgia Institute of Technology（佐治亚理工学院）；University of Bristol（布里斯托大学）
在本文中，我们研究了广泛使用的谱聚类的变体，该谱聚类通过（1）使用拉普拉斯矩阵的底部特征向量将图的顶点嵌入到低维空间中，以及（2）通过k-means算法将嵌入的点分组到k个聚类中，将图划分为k个聚类。我们表明，对于广泛的一类图，谱聚类给出了一个很好的近似的最佳聚类。虽然这种方法是在20世纪90年代初提出的，并具有广泛的应用，在我们的工作之前，类似的结果只知道从随机模型生成的图。我们还给出了一个近似线性时间算法划分良好的聚类图的基础上计算矩阵指数和近似最近邻数据结构。
2017-01-31 cs.DS cs.LG
$γ$-ABC: Outlier-Robust Approximate Bayesian Computation Based on a Robust Divergence Estimator
The University of Tokyo（东京大学）；RIKEN AIP（理化学研究所先进智能项目中心）
近似贝叶斯计算（ABC）是一种无似然性的推理方法，已在各种应用中采用。然而，如果数据差异度量选择不当，ABC可能对离群值敏感。在本文中，我们建议使用最近邻为基础的$γ$ -分歧估计作为数据差异的措施。我们表明，我们的估计具有一个合适的理论鲁棒性的属性称为降序属性。此外，我们的估计享有各种理想的属性，如高灵活性，渐近无偏性，几乎必然收敛，线性时间的计算复杂度。通过实验，我们证明了我们的方法实现了显着更高的鲁棒性比现有的差异措施。
2021-03-05 cs.LG stat.CO stat.ME
SOAR: Improved Indexing for Approximate Nearest Neighbor Search
Google Research（谷歌研究院）
SOAR提出正交性放大残差损失来优化多个冗余数据表示，从而提升近似最近邻搜索索引质量，在保持快速索引和低内存的同时取得领先基准性能。
2024-03-31 cs.LG
Simple KNN-Based Outlier Detection Achieves Robust Clustering
Duke University（杜克大学）
本文证明在合理假设下，简单移除KNN距离大的点可将稳健k均值转化为标准k均值，且在聚类成本和运行时间上优于其他算法。
2026-05-08 cs.DS cs.LG
Comparative Study of Neighbor-based Methods for Local Outlier Detection
School of Software, Shandong University（山东大学软件学院）；School of Mathematics and Computer, Shantou University（汕头大学数学与计算机学院）；School of Chemistry and Life Sciences, Suzhou University of Science and Technology（苏州科技大学化学与生命科学学院）
本文针对局部离群点检测，提出基于信息、邻居和方法论三层级组件的分类法，通过大量对比实验验证了基于反向K近邻方法及动态选择方法的优势，并证明合理组合组件可优于现有算法。
2024-05-29 cs.LG
Clustering by Hierarchical Nearest Neighbor Descent (H-NND)
University of Electronic Science and Technology of China（电子科技大学）
在2014年之前，我们提出了最近下降（ND）方法，能够生成一个高效的图，称为入树（IT）。由于一些漂亮而有效的特性，这种IT结构被证明非常适合数据聚类。虽然IT中存在一些冗余边，但它们通常具有显著的特征，因此删除它们并不难。随后，为了防止出现看似冗余的边缘，我们提出了最近邻下降（NND），通过添加“邻居”约束ND。因此，集群自动出现，而无需删除冗余边缘的额外要求。然而，NND被证明仍然不是完美的，因为它带来了一个新的但更糟糕的问题，“过度划分”问题。现在，在本文中，我们提出了一种方法，称为分层最近邻下降（H-NND），它克服了NND的过度划分问题，通过使用分层策略。具体来说，H-NND使用ND来有效地合并NND产生的过度分段的子图或聚类。与ND一样，H-NND也生成IT结构，其中冗余边再次出现。这似乎又回到了ND面临的情况。然而，与ND相比，由H-NND生成的IT结构中的冗余边通常变得更加突出，因此即使通过将边长度作为唯一度量的最简单的边去除方法也更容易和更可靠地被识别。换句话说，由H-NND构造的IT结构变得更适合数据聚类。我们证明了这几个不同形状，尺寸和属性的聚类数据集。此外，与ND相比，H-NND通常需要更少的计算时间来构造输入数据的IT数据结构。
2016-03-04 cs.CV cs.LG stat.ME
Unsupervised Outlier Detection in Audit Analytics: A Case Study Using USA Spending Data
Rutgers, The State University of New Jersey（罗格斯大学，新泽西州立大学）
本研究以美国卫生与公众服务部支出数据为案例，比较多种无监督异常检测算法，发现混合方法能提升审计中异常识别的稳健性与准确性。
2025-09-19 cs.AI cs.LG
LUNAR: Unifying Local Outlier Detection Methods via Graph Neural Networks
School of Computing, National University of Singapore（新加坡国立大学计算学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）；Institute for Infocomm Research, A*STAR（新加坡科技研究局资讯通信研究院）
许多成熟的异常检测方法使用样本与其局部邻域中的样本的距离：所谓的“局部离群值方法”，如LOF和DBSCAN。它们因其简单的原理和在许多实际应用中常见的非结构化、基于特征的数据上的强大性能而广受欢迎。然而，由于缺乏可训练的参数，它们无法学习适应特定的数据集。在本文中，我们开始统一的本地离群值的方法，表明他们是特殊情况下，更一般的消息传递框架中使用的图神经网络。这使我们能够将可学习性引入到局部离群值方法中，以神经网络的形式，以获得更大的灵活性和表现力：具体而言，我们提出了LUNAR，一种新颖的基于图神经网络的异常检测方法。LUNAR学习以可训练的方式使用来自每个节点最近邻居的信息来发现异常。我们表明，我们的方法比现有的局部离群值方法以及最先进的深基线表现得更好。我们还表明，我们的方法的性能对局部邻域大小的不同设置更加鲁棒。
2021-12-10 cs.AI cs.LG
Analyzing and Improving Representations with the Soft Nearest Neighbor Loss
Google Brain（谷歌大脑(Google Brain)）
我们探索并扩展了$\textit{Soft Nearest Neighbor Loss}$来度量表示空间中类流形的$\textit{entanglement}$：即，来自同一类的点对相对于来自不同类的点对的接近程度。我们展示了损失的几个用例。作为一种分析工具，它提供了深入了解学习过程中类相似性结构的演变。令人惊讶的是，我们发现，$\textit{maximizing}$的纠缠表示的隐藏层中的不同类是有益的歧视在最后一层，可能是因为它鼓励表示，以确定类独立的相似性结构。最大化隐藏层中的软最近邻损失不仅可以提高泛化能力，还可以更好地校准离群数据的不确定性估计。不是来自训练分布的数据可以通过观察在隐藏层中，它具有少于预测类的正常数量的邻居来识别。
2019-02-05 cs.LG stat.ML
Active Nearest Neighbor Regression Through Delaunay Refinement
Royal Institute of Technology (KTH)（皇家理工学院（KTH））
提出了一种基于最近邻回归的有效函数逼近算法。我们的主动最近邻回归器（ANNR）依赖于从计算几何的Voronoi-Delaunay框架细分的空间到细胞与恒定的估计功能值和选择新的查询点的方式，考虑到功能图的几何形状。我们认为最近国家的最先进的主动函数逼近称为DEFER，这是基于增量矩形分割的空间，作为主要的基线。ANNR解决了DEFER中使用的空间细分策略所产生的一些限制。我们提供了一个计算效率的实现我们的方法，以及理论上的停机保证。实验结果表明，ANNR在封闭函数和真实世界的例子中都优于基线，例如引力波参数推断和生成模型潜在空间的探索。
2022-06-16 cs.CG cs.LG
SSDBCODI: Semi-Supervised Density-Based Clustering with Outliers Detection Integrated
DePaul University（德保罗大学）；College of Computing and Digital Media, DePaul University（德保罗大学计算与数字媒体学院）
聚类分析是机器学习的关键任务之一。传统上，聚类是一项独立的任务，与离群值检测分离。由于离群点会严重影响聚类的性能，因此有少数算法尝试在聚类过程中加入离群点检测。然而，这些算法中的大多数都是基于无监督的基于分区的算法，如k-means。鉴于这些算法的性质，它们通常无法处理复杂的非凸形状的集群。为了应对这一挑战，我们提出了SSDBCODI，一种基于密度的半监督算法。SSDBCODI结合了基于密度的算法的优势，能够处理复杂形状的聚类，具有半监督元素，可以根据一些用户标签灵活地调整聚类结果。我们还将离群值检测组件与聚类过程合并。基于在该过程期间生成的三个分数来检测潜在的离群值：（1）可达性分数，其测量点到标记的正常对象的密度可达性，（2）局部密度分数，其测量数据对象的相邻密度，以及（3）相似性分数，其测量点到其最近的标记离群值的接近度。然后在接下来的步骤中，在用于训练分类器以进行进一步聚类和离群值检测之前，基于这三个分数为每个数据实例生成实例权重。为了增强对所提出算法的理解，为了进行评估，我们在多个数据集上对一些最先进的方法运行了我们提出的算法，并分别列出了聚类之外的离群值检测结果。我们的研究结果表明，我们的算法可以实现优越的结果与一个小的标签百分比。
2022-08-10 cs.AI cs.LG
Learning to Solve Combinatorial Graph Partitioning Problems via Efficient Exploration
InstaDeep；University College London（伦敦大学学院）
从物流到自然科学，图的组合优化支撑着许多现实世界的应用。强化学习（RL）在这种情况下表现出了特别的前景，因为它可以适应特定的问题结构，并且不需要预先解决这些NP困难问题的实例。然而，最先进的（SOTA）方法通常遭受严重的可扩展性问题，主要是由于它们在每个决策步骤都依赖于昂贵的图神经网络（GNN）。我们介绍ECORD;一种新的RL算法，通过将GNN限制为单个预处理步骤，在进入由递归单元指导的快速作用的探索阶段之前，减少了这种费用。实验上，ECORD在最大割问题上实现了一种新的RL算法SOTA，同时还提供了速度和可扩展性的数量级改进。与最接近的竞争对手相比，ECORD在500个顶点图上减少了73%的最优性差距，同时减少了挂钟时间。此外，ECORD保持强大的性能时，推广到更大的图与多达10000个顶点。
2022-05-27 cs.AI cs.LG
An Entropy Based Outlier Score and its Application to Novelty Detection for Road Infrastructure Images
CARISSMA, Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学 CARISSMA）；Technical University Munich（慕尼黑工业大学）
本文提出了一种新的无监督离群值，它可以嵌入到基于图的降维技术中。分数使用这些技术的有向最近邻图。因此，用于将数据投影到较低维度的相同相似性度量也用于确定离群值分数。通过相似性的加权归一化熵来实现离群值得分。该分数适用于道路基础设施图像。其目的是在预先收集的基础数据集的情况下识别新观察到的基础设施。检测未知场景是自动驾驶车辆加速验证的关键。结果表明，所提出的技术的高潜力。为了验证离群值分数的泛化能力，它还被应用于各种真实世界的数据集。与最先进的方法相比，使用所提出的方法识别离群值的总体平均性能更高。为了生成基础设施图像，开发了一个用于Matlab的openDRIVE解析和绘图工具作为这项工作的一部分。该工具以及基于熵的离群值得分与均匀流形近似和投影相结合的实现是公开可用的。
2021-05-05 cs.CV cs.LG stat.ML
AIDA: Analytic Isolation and Distance-based Anomaly Detection Algorithm
Utrecht University（乌得勒支大学）；ZHAW School of Law and Management（苏黎世应用科技大学法律与管理学院）；Zurich University of Applied Sciences（苏黎世应用科技大学）
我们结合距离和隔离度的指标，开发分析隔离和基于距离的异常（AIDA）检测算法。AIDA是第一个基于距离的方法，不依赖于最近邻的概念，使其成为一个无参数模型。从流行的文献中，其中的隔离度量总是通过模拟计算，我们表明，AIDA承认一个分析表达式的离群值得分，提供了新的见解的隔离度量。此外，我们提出了一种基于AIDA的异常解释方法，即基于回火隔离的扩展（TIX）算法，该算法即使在具有数百个维度的数据集中也能找到最相关的离群特征。我们测试这两种算法的合成和经验数据：我们表明，AIDA是竞争力相比，其他国家的最先进的方法，它是优越的发现隐藏在多维特征子空间的离群值。最后，我们说明了TIX算法是如何能够发现异常值在多维特征子空间，并使用这些解释来分析常见的异常检测中使用的基准。
2022-12-08 cs.LG
Incremental Outlier Detection Modelling Using Streaming Analytics in Finance & Health Care
National Institute of Technology Warangal（瓦朗加尔国家理工学院）；Jawaharlal Nehru Technological University – Gurajada Vizianagaram (JNTU-GV)（贾瓦哈拉尔·尼赫鲁技术大学古拉贾达维齐亚纳格拉姆分校）
本文提出一个结合传统与增量学习的混合异常检测框架，采用8种模型在7个金融和医疗任务上评估，发现增量学习显著提升不平衡数据集性能，且IForest ASD模型表现最佳。
2025-04-04 cs.LG
Comparison of Possibilistic Fuzzy Local Information C-Means and Possibilistic K-Nearest Neighbors for Synthetic Aperture Sonar Image Segmentation
University of Florida（佛罗里达大学）；University of Missouri（密苏里大学）
合成孔径声纳（SAS）图像可以生成高分辨率的海底图像。因此，分割算法可用于将图像划分为不同的海底环境。在本文中，我们比较了两种可能性分割方法。可能性方法允许检测新的或异常的环境以及已知的类的能力。可能性模糊局部信息C均值（PPLICM）算法已被应用于分割SAS图像。此外，可能性K最近邻（PKNN）算法已被用于其他领域，如地雷探测和高光谱图像。在本文中，我们比较了分割性能的半监督方法，使用PFLICM和监督方法，使用可能性K-NN。我们包括多个SAS图像的最终分割结果和每个算法的定量评估。
2019-04-01 cs.LG eess.IV stat.ML
SPINEX: Similarity-based Predictions with Explainable Neighbors Exploration for Anomaly and Outlier Detection
Clemson University（克莱姆森大学）；University of Manitoba（曼尼托巴大学）
本文提出新型异常检测算法SPINEX，通过相似度与多子空间高阶交互识别离群点，在39个数据集上对比21种常用算法表现优异且复杂度适中，同时具备可解释性。
2024-07-05 cs.LG
Efficient Autotuning of Hyperparameters in Approximate Nearest Neighbor Search
Kvasir Ltd.（Kvasir有限公司）；University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所（HIIT））
近似最近邻算法被广泛用于加速最近邻搜索。然而，目前的索引方法具有几个超参数，需要调整以达到可接受的精度-速度权衡。在参数空间中的网格搜索往往是不切实际的缓慢，由于一个耗时的索引建设过程。因此，我们提出了一个算法，自动调整超参数的索引方法的基础上随机空间划分树。特别是，我们目前的结果使用随机k-d树，随机投影树和随机PCA树。调优算法给索引构建过程增加了最小的开销，但能够准确地找到最佳超参数。我们证明，该算法是显着快于现有的方法，并且所使用的索引方法是有竞争力的最先进的方法在查询时间，同时更快地建立。
2018-12-18 cs.DS cs.LG stat.ML
Quantum SMOTE with Angular Outliers: Redefining Minority Class Handling
University of Technology Sydney（悉尼科技大学）
本文提出Quantum-SMOTEV2方法，利用量子旋转和交换测试合成少数类样本并引入角度异常值，在较低SMOTE水平下显著提升了类不平衡数据集上的分类性能。
2025-01-31 cs.LG quant-ph
Nonparametric Nearest Neighbor Random Process Clustering
ETH Zurich（苏黎世联邦理工学院）
我们考虑的问题，聚类噪声有限长度的观察平稳遍历随机过程根据其非参数生成模型，没有先验知识的模型统计和生成模型的数量。两种算法，都使用估计功率谱密度（PSD）之间的L1距离作为一种措施的相异性，进行了分析。第一种算法，称为最近邻过程聚类（NNPC），据我们所知，是新的，并依赖于分区的最近邻图的观察，通过谱聚类。第二种算法，简称为k-均值（KM），由一个单一的k-均值迭代与最远点初始化，并被认为是在文献中，虽然有不同的措施相异性和渐近性能的结果。我们表明，NNPC和KM成功的概率高噪声下，即使当生成过程的PSD重叠显着，所有的观察长度是足够大的。我们的研究结果量化了生成过程PSD的重叠，噪声方差和观察长度之间的权衡。最后，我们提出了合成和真实数据的数值性能结果。
2015-04-20 cs.IT cs.LG math.IT
CFOF: A Concentration Free Measure for Anomaly Detection
University of Calabria（卡拉布里亚大学）
我们提出了一种新的离群值概念，称为无浓度离群值因子或CFOF。作为一个主要的贡献，我们形式化的概念集中的离群分数，并从理论上证明CFOF不集中在欧氏空间中的任何任意大的维度。据我们所知，没有其他与欧几里得距离相关的数据分析措施的建议，已经提供了理论证据表明它们不受浓度效应的影响。我们确定的封闭形式的分布的CFOF分数在任意大的维度，并表明，CFOF分数的一个点取决于其平方范数标准分数和峰度的数据分布，从而提供了一个明确的和统计上成立的表征这一概念。此外，我们利用这个封闭的形式提供的证据表明，定义不受影响其他措施的枢纽问题。我们证明了来自每个聚类的CFOF离群值的数量与聚类大小和峰度成正比，这是一个我们称之为半局部性的属性。我们确定，半局部性的特点现有的反向最近邻为基础的离群值定义，从而澄清其观察到的本地行为的确切性质。我们还正式证明了经典的基于距离和基于密度的离群值集中有界和无界的样本大小和固定和可变值的邻域参数。本文提出了一种快速的CFOF算法来检测高维数据中的离群点。该算法具有线性代价，支持多分辨率分析，并具有良好的并行性。实验表明，该技术能够有效地处理大型数据集，甚至处理大的邻域参数值，避免集中，并获得良好的精度。
2019-09-17 cs.LG stat.ML
A flexible outlier detector based on a topology given by graph communities
Computer Vision Center - Dept. of Computer Science（计算机视觉中心 - 计算机科学系）；Universitat Autònoma de Barcelona（巴塞罗那自治大学）
离群值或异常检测对于机器学习方法和统计预测模型的最佳性能至关重要。它不仅是数据清理过程中的一个技术步骤，而且是许多领域的关键主题，例如欺诈性文档检测，医疗应用和辅助诊断系统或检测安全威胁。与基于群体的方法相比，基于邻域的局部方法是简单灵活的方法，具有在小样本量不平衡问题中表现良好的潜力。然而，局部方法的一个主要问题是每个样本邻域的计算对方法性能的影响。大多数方法使用特征空间中的距离来定义单个邻域，这需要仔细选择几个参数。这项工作提出了一种局部方法的基础上的局部措施的异质性的样本标签的特征空间被认为是一个拓扑流形。拓扑计算使用加权图的社区编码在特征空间中的相互最近的邻居。通过这种方式，我们提供了一组多个邻域，能够描述复杂空间的结构，而无需参数微调。在真实数据集上的大量实验表明，我们的方法在多视图和单视图设置中的整体性能优于局部和全局策略。
2020-02-18 cs.LG cs.SI stat.ML
Robust nonparametric nearest neighbor random process clustering
ETH Zurich（苏黎世联邦理工学院）
我们考虑的问题，聚类噪声有限长度的观察平稳遍历随机过程根据其生成模型，而无需先验知识的模型统计和生成模型的数量。两种算法，都使用的$L^1$估计功率谱密度（PSD）之间的距离作为一种措施的相异性，进行了分析。第一个，称为最近邻过程聚类（NNPC），依赖于分区的最近邻图的观察，通过谱聚类。第二种算法，简称为$k$ -手段（KM），由一个单一的$k$ -手段迭代与最远点初始化，被认为是以前在文献中，虽然与不同的相异性措施。我们证明，这两种算法成功的概率很高，在存在噪声和丢失条目，甚至当生成过程的PSD重叠显着，所有的观察长度是足够大的。我们的研究结果量化了生成过程PSD的重叠，观察长度，丢失条目的分数和噪声方差之间的权衡。最后，我们提供了广泛的数值模拟结果的合成和真实的数据，发现NNPC优于国家的最先进的算法在人体运动序列聚类。
2017-09-28 cs.IT cs.LG math.IT
Outlyingness Scores with Cluster Catch Digraphs
Department of Mathematics and Statistics（数学与统计学系）
本文基于簇捕获有向图（CCDs）提出外向（OOS）和内向（IOS）两种新型异常程度得分，增强异常检测可解释性，适用于高维数据，经模拟验证性能优于现有方法，IOS表现最佳。
2025-11-11 cs.LG stat.ML
A Novel Pseudo Nearest Neighbor Classification Method Using Local Harmonic Mean Distance
School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；College of Big Data, Weifang Institute of Technology（潍坊理工学院大数据学院）
提出LMPHNN方法，利用局部调和平均距离改进伪最近邻分类，在UCI数据集上平均精确率97%，显著优于七种KNN变体，尤其适用于小样本场景。
2024-05-28 cs.LG
Scaling Laws for Grid-Based Approximate Nearest Neighbor Search in High Dimensions
University of California, Berkeley（加州大学伯克利分校）；University of Toronto, St. George（多伦多大学圣乔治校区）；Independent Researcher（独立研究员）；University of Waterloo（滑铁卢大学）
本研究系统刻画了多探针网格算法在数据集大小N和维度d上的缩放行为，发现其在GloVe嵌入上具有恒定的维度缩放指数，优于图、树和分区方法，且索引成本更低。
2026-07-03 cs.AI cs.LG
A Note on Graph-Based Nearest Neighbor Search
Donghua University（东华大学）；University of New South Wales（新南威尔士大学）；Tianjin University of Technology（天津理工大学）
最近邻搜索在机器学习、数据采掘和海量数据处理系统中有着广泛的应用。在过去的几年里，基于图的最近邻搜索范式的流行，因为它的优越性比空间划分算法。虽然大量的实证研究证明了基于图的算法的效率，但没有太多的注意力放在一个更基本的问题上：为什么基于图的算法在实践中工作得这么好？哪些数据属性会影响效率以及如何影响？在本文中，我们试图回答这些问题。我们的见解是，“点o的邻居倾向于成为KNN图中邻居的概率”是查询效率的关键数据属性。对于一个给定的数据集，这种性质可以定性地衡量KNN图的聚类系数。为了说明聚类系数如何影响性能，我们发现，而不是全局连接，一些给定的查询q周围的局部连接有更直接的影响召回。具体地说，我们观察到，高聚类系数使得q的k个最近邻的大部分位于图中的最大强连通分量（SCC）中。从算法的角度来看，我们表明，搜索过程实际上是由两个阶段-一个最大SCC外，另一个在它，这是不同于广泛接受的单路径或多路径搜索模型。我们证明了常用的基于图的搜索算法在访问最大SCC中的任何一点时都能遍历最大SCC，分析表明，聚类系数越高，最大SCC的大小越大，因此，两阶段搜索过程提供了良好的答案质量。广泛的实证结果在一个全面的收集数据集验证了我们的研究结果。
2020-12-21 cs.LG
On Storage Neural Network Augmented Approximate Nearest Neighbor Search
Kioxia Corporation（铠侠公司）
本文提出一种基于神经网络预测正确簇的存储增强型近似最近邻搜索方法，通过交替监督学习和重复簇分配逐步优化网络，在最大化召回率的同时显著减少从存储设备获取的数据量。
2025-01-23 cs.AI cs.IR cs.LG
An enhanced KNN-based twin support vector machine with stable learning rules
Islamic Azad University（伊斯兰阿扎德大学）；Iranian Research Institute for Information Science and Technology (IranDoc)（伊朗信息科学与技术研究所（IranDoc））
在双支持向量机（TSVM）的扩展中，有学者利用K-近邻（KNN）图来提高TSVM的分类精度。然而，这些基于KNN的TSVM分类器有两个主要问题，如高计算成本和过拟合。为了解决这些问题，本文提出了一种增强的正则化K-最近邻的孪生支持向量机（RKNN-TSVM）。它有三个额外的优点：（1）通过考虑与其最近邻的距离来给每个样本加权。这进一步降低了噪声和离群值对输出模型的影响。(2)在每个目标函数中增加了一个稳定项。结果表明，该方法的学习规则是稳定的。(3)为了减少为所有样本寻找KNN的计算量，将基于多距离的位置差k-近邻算法（LDMDBA）嵌入到该方法的学习过程中。在几个合成数据集和基准数据集上的实验结果表明，我们提出的RKNN-TSVM在分类精度和计算时间上都是有效的。此外，在所提出的方法中，最大的加速比达到14倍。
2019-06-22 cs.AI cs.LG stat.ML
Learning Partition Trees for Nearest Neighbor Search
NYU（纽约大学）；University of Pennsylvania（宾夕法尼亚大学）
从数据驱动算法设计角度研究最近邻搜索，专注平衡半空间树。在类似高斯边际条件下给出算法，能学习到\(o(nd)\)查询时间的树。核心是平衡半空间切割问题，设计非恰当学习算法规避NP难，输出特定平衡多项式阈值函数。
2026-07-14 cs.DS cs.LG
DTI-SNNFRA: Drug-Target interaction prediction by shared nearest neighbors and fuzzy-rough approximation
RCC Institute of Information Technology（RCC信息技术学院）；Aliah University（阿里亚大学）
可重复利用药物的计算机预测是一种有效的药物发现策略，可以补充从头开始的药物发现。减少开发时间，降低成本和没有严重的副作用是使用药物重新定位的显着优势。最新和最先进的人工智能（AI）方法极大地提高了药物再利用的吞吐量和准确性。然而，随着药物、靶标及其大量相互作用的数量不断增加，产生了不平衡的数据，这些数据可能不适合直接作为分类模型的输入。在这里，我们提出了DTI-SNNFRA，预测药物靶点相互作用（DTI）的框架，基于共享最近邻（SNN）和模糊粗糙近似（FRA）。它使用采样技术来共同减少覆盖可用药物、靶标以及它们之间数百万种相互作用的巨大搜索空间。DTI-SNNFRA分两个阶段进行操作：首先，它使用SNN，然后使用分区聚类对搜索空间进行采样。然后，从第一阶段得到的所有可能的药物与靶点相互作用对中，计算模糊粗糙近似度，并选择合适的度阈值进行负样本欠采样。最后，使用阳性样本和所选阴性样本进行分类。我们使用AUC（ROC曲线下面积）、几何平均值和F1评分评价了DTI-SNNFRA的疗效。该模型表现非常好，ROC-AUC的预测得分高达0.95。通过现有的药物-靶标数据库（连接图（Cmap））验证预测的药物-靶标相互作用。
2021-02-20 cs.LG q-bio.QM
Aperon Technical Report: Hierarchical No-Pointer Tangent-Local Search for High-Dimensional Approximate Nearest Neighbors
Substratum Labs（Substratum实验室）
提出HNTL框架，通过无指针块SoA布局和局部切空间划分，实现高维向量索引与候选生成，在768维数据上以C=20候选池达到Rerank Recall@10=1.0000，相比指针追踪图遍历加速3.61倍。
2026-06-07 cs.DB cs.DC cs.IR
An alternative proof of the vulnerability of retrieval in high intrinsic dimensionality neighborhood
Univ Rennes（雷恩大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；IRISA（信息与随机系统研究所）
本文研究了数据分析和机器学习中的关键工具最近邻搜索的脆弱性。该漏洞被衡量为攻击者需要添加到数据集点上以修改其邻居排名w.r.t.的相对扰动量。查询。这个数量的统计分布是从简单的假设中得出的。六个大规模数据集上的实验验证了该模型的一些离群值，这些离群值被解释为违反了假设。
2022-05-20 cs.LG math.PR stat.ML
Clustering of Big Data with Mixed Features
Trinity College Dublin（都柏林圣三一学院）
对大规模混合数据进行聚类是数据挖掘的核心问题。许多方法采用k-means的思想，因此对初始化敏感，仅检测球形聚类，并且需要先验未知的聚类数量。本文提出了一种新的混合类型大数据聚类算法，旨在提高峰值发现技术的适用性和效率。改进有三个方面：（1）该算法适用于混合数据;（2）该算法能够检测出离群点和密度值相对较低的聚类;（3）该算法能够确定正确的聚类数。通过应用快速k-近邻方法和缩小到分量集，大大降低了算法的计算复杂度。我们目前的实验结果，以验证我们的算法在实践中工作得很好。关键词：聚类;大数据;混合属性;密度峰;最近邻图;电导。
2020-11-11 cs.LG stat.ML
CARMI: A Cache-Aware Learned Index with a Cost-based Construction Algorithm
Tsinghua University（清华大学）
学习索引使用机器学习模型来取代传统的索引结构，在最近的研究中显示出有希望的结果。然而，现有的学习索引在合成数据集和真实数据集之间表现出性能差距，使它们远离实用索引。在本文中，我们发现，在模型训练过程中忽略数据划分的重要性是这个问题的主要原因。因此，我们明确地应用数据分区索引建设，并提出了一个新的高效和可更新的缓存感知RMI框架，称为CARMI。具体而言，本文引入熵作为度量指标，量化和表征学习索引中树节点数据划分的有效性，并提出了一种新的代价模型，为后续研究奠定了新的理论基础。然后，基于我们的新的成本模型，CARMI可以自动确定树结构和模型类型下的各种数据集和工作负载的混合构建算法，而无需任何手动调整。此外，由于内存访问限制了RMI的性能，一个新的缓存感知的设计也应用在CARMI中，它充分利用CPU缓存的特性，有效地减少内存访问的次数。我们的实验研究表明，CARMI的性能优于基线，实现了2.2倍/1.9倍的平均加速比相比，B+树/ALEX，而只使用约0.77倍的B+树的内存空间。在SOSD平台上，CARMI的性能优于所有基线，平均加速比最接近的竞争对手RMI高出1.2倍，后者已提前针对每个数据集进行了精心调整。
2022-05-19 cs.DB cs.LG
Robust Subspace Clustering via Thresholding
ETH Zurich（苏黎世联邦理工学院）
考虑了将噪声和不完全观测的高维数据点聚类到低维子空间和一组离群点的联合中的问题。假设子空间的数量、维度和方向是未知的。我们提出了一个简单的低复杂度的子空间聚类算法，该算法将谱聚类应用于通过对数据点之间的相关性进行阈值化而获得的邻接矩阵。换句话说，邻接矩阵是从每个数据点在球面距离上的最近邻居构造的。统计性能分析表明，该算法具有鲁棒性加性噪声，即使在子空间相交。具体来说，我们的研究结果揭示了一个明确的折衷之间的亲和力的子空间和可容忍的噪声水平。我们还证明了该算法的成功，即使当数据点不完全观察到的缺失条目的数量允许是（最多一个对数因子）在环境维度的线性。我们还提出了一个简单的方案，可证明检测离群值，我们提出了真实和合成数据的数值结果。
2015-08-21 cs.IT cs.LG math.IT
Streaming algorithms for robust max-min diversification
University of Padova（帕多瓦大学）
针对鲁棒最大最小多样化问题，提出一种确定性基于核心集的流式算法，在内部点-离群点分离假设下返回恰好 $k$ 个内部点，达到 $(2+\varepsilon)$ 近似，内存和更新代价与 $n$ 无关。
2026-10-02 cs.LG
Elastic Product Quantization for Time Series
KU Leuven（鲁汶大学）
由于高存储成本和计算要求，分析大量或长时间序列在实践中是困难的。因此，已经提出了生成时间序列的紧凑的相似性保持表示的技术，使得能够对大型存储器内数据汇集进行实时相似性搜索。然而，现有的技术并不理想地适合于评估相似性时，序列是局部异相。在本文中，我们提出了使用产品量化有效的相似性为基础的时间序列比较下的时间扭曲。其思想是首先通过将时间序列划分为由短代码表示的等长子序列来压缩数据。两个时间序列之间的距离，然后可以有效地近似预先计算的弹性距离之间的代码。分割成子序列迫使不需要的对齐，我们使用最大重叠离散小波变换（MODWT）的预对齐步骤解决。为了证明我们的方法的效率和准确性，我们在最近邻分类和聚类应用程序的基准数据集上进行了广泛的实验评估。总的来说，所提出的解决方案出现作为一个高效的（无论是在内存使用和计算时间）的时间序列应用程序中的弹性措施的替代品。
2022-08-26 cs.DB cs.LG
Learning conditional distributions on continuous spaces
Université d’Évry-Val-d’Essonne（埃夫里-瓦尔德埃松大学）；ENSIIE（国立信息与电子高等学校）；University of Toronto（多伦多大学）
本文研究连续空间中的条件分布学习，分析固定半径球与 kNN 聚类的收敛速率，并将近邻、近似搜索、Sinkhorn 算法和稀疏传输计划集成到神经网络训练中。
2024-06-13 cs.LG math.ST stat.ML
