修剪最近邻聚类树

插值最近邻算法的统计最优性

Statistical Optimality of Interpolated Nearest Neighbor Algorithms

Purdue University（普渡大学）

在深度学习时代，理解过拟合现象变得越来越重要。据观察，精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是，对于许多现代机器学习算法，过拟合可以大大降低估计偏差，同时不会过多增加估计方差。为了说明上述思想，我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度，并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。

2018-11-30cs.LGstat.ML

在复杂抽样设计下k最近邻回归器的一致性

Consistency of the $k$-Nearest Neighbor Regressor under Complex Survey Designs

研究了在复杂抽样设计下k最近邻回归器的一致性，推导了收敛速率下界并展示了维度灾难现象，通过模拟和真实数据验证理论结果。

2026-03-18cs.LGstat.ML

深度最近邻异常检测

Deep Nearest Neighbor Anomaly Detection

The Hebrew University of Jerusalem（耶路撒冷希伯来大学）

最近邻是一种成功的和长期存在的异常检测技术。最近，自我监督的深度方法（例如RotNet）取得了重大进展。然而，自监督特征通常表现不佳Imagenet预训练特征。在这项工作中，我们研究了最近的进展是否真的可以优于最近邻方法在Imagenet预训练的特征空间上操作。实验表明，简单的最近邻方法优于自监督方法：准确性，Few Shot泛化，训练时间和噪声鲁棒性，同时对图像分布的假设较少。

2020-02-24cs.CVcs.LGstat.ML

度量测度空间中Lebesgue点的近邻刻划

A Nearest Neighbor Characterization of Lebesgue Points in Metric Measure Spaces

Toulouse School of Economics (TSE)（图卢兹经济学院（TSE））；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Milano（米兰大学）

几乎每个点都是Lebesgue点的属性已被证明是基于最近邻的几种分类算法的一致性的关键。我们的特点勒贝格点的1-最近邻回归算法逐点估计，充实了相应的收敛问题中所发挥的作用，打破平局规则。然后，我们给出了我们的结果的应用，证明了收敛的风险的一大类1-最近邻分类算法在一般度量空间中，几乎每一个点都是Lebesgue点。

2021-01-12cs.LGmath.PRstat.ML

最佳治疗方案的因果最近邻规则

Causal nearest neighbor rules for optimal treatment regimes

最佳治疗方案的估计是相当感兴趣的精确医学。在这项工作中，我们提出了一个因果$k$ -最近邻法估计的最佳治疗方案。该方法基于因果推断的框架，在最近邻域内估计因果处理效应。该方法虽然简单，但具有良好的理论性质。我们表明，因果$k$ -最近邻制度是普遍一致的。也就是说，随着样本量的增加，因果$k$ -最近邻方案最终将学习最佳治疗方案。我们还建立了它的收敛速度。然而，因果$k$ -最近邻机制可能遭受维数灾难，即性能随着维数增加而恶化。为了缓解这个问题，我们开发了一个自适应因果$k$ -最近邻方法，同时进行度量选择和变量选择。所提出的方法的性能说明在模拟研究和慢性抑郁症的临床试验的分析。

2017-11-22stat.ML

最近邻分类的收敛速度

Rates of Convergence for Nearest Neighbor Classification

University of California, San Diego（加州大学圣地亚哥分校）

最近邻方法是一类流行的非参数估计方法，具有一些理想的性质，例如对不同空间区域中不同距离尺度的适应性。最近邻分类的收敛速度的先前工作没有完全反映这些微妙的性质。我们分析了这些估计量在度量空间中的行为，并在最小假设下提供了有限样本，分布相关的收敛速度。作为一个副产品，我们能够在比以前已知的更广泛的数据空间中建立最近邻的普遍一致性。我们说明了我们的上限和下限，通过引入平滑类定制的最近邻分类。

2014-07-02cs.LGmath.STstat.ML

k-近邻分类器的一种改进

An improvement to k-nearest neighbor classifier

NRI Institute of Technology-Guntur（NRI理工学院（贡图尔校区））

K-Nearest Neighbor Classifier（k-NNC）具有使用简单、设计时间短等优点，适合处理动态变化的数据集。有一些基本的改进k-NNC，如加权k-最近邻分类器（其中权重最近邻的基础上线性插值），使用人工生成的训练集称为自举训练集等，这些改进是正交的空间减少和分类时间减少技术，因此可以与它们中的任何一个耦合。本文提出了对基本k-NNC的另一种改进，其中基于高斯分布（而不是加权k-NNC中所做的线性插值）给出最近邻的权重，这也独立于任何空间减少和分类时间减少技术。我们正式表明，我们提出的方法是密切相关的非参数密度估计使用高斯核。我们使用各种标准数据集的实验表明，所提出的方法是优于现有的在大多数情况下。

2013-01-27cs.CVcs.LGstat.ML

近似k-近邻计算的自适应估计

Adaptive Estimation for Approximate k-Nearest-Neighbor Computations

Rice University（莱斯大学）

算法通常对“简单”和“困难”问题实例执行同样多的计算。特别地，用于寻找最近邻的算法通常具有相同的运行时间，而不管特定的问题实例。在本文中，我们考虑近似的k-最近邻问题，这是在一个给定的点集，包含一个给定的查询点的k个最近邻的集合中找到一个O（k）点的子集的问题。我们提出了一种算法的基础上自适应估计的距离，并表明，它本质上是最佳的算法，只允许自适应估计距离。然后，我们从理论上和实验上证明，该算法可以实现显着的加速比相对于天真的方法。

2019-02-25cs.DScs.LGstat.ML

基于CW-SSIM核的最近邻手写数字分类方法

A Simple CW-SSIM Kernel-based Nearest Neighbor Method for Handwritten Digit Classification

本文提出了一种基于核函数的最近邻分类方法。这里的“距离”实际上是定义两个图像之间相似性的内核。我们仔细研究了不同数量的邻居和权重方案的影响，并报告了结果。在MNIST数据库上，只需对少数最近邻（或最相似的图像）进行投票，测试集错误率可达1.5%-2.0%，与许多先进模型非常接近。

2010-09-03stat.ML

k-最近邻分类器的推测校正误差界

Speculate-Correct Error Bounds for k-Nearest Neighbor Classifiers

Verizon（威瑞森）；LinkedIn（领英）；Sorin Capital Management（索林资本管理）

我们引入了投机正确的方法来获得局部分类器的误差界。使用它，我们表明，k近邻分类器，尽管他们著名的断裂决策边界，具有指数误差界与O（sqrt（（k + ln n）/ n））的误差界范围为n个样本的例子。

2017-09-15cs.ITcs.LGmath.IT

FAISS与FENSHSES在Hamming空间中最近邻搜索的比较

An Empirical Comparison of FAISS and FENSHSES for Nearest Neighbor Search in Hamming Space

Walmart Labs（沃尔玛实验室）

在本文中，我们比较FAISS和FENSHSES的性能最近邻搜索在汉明空间-一个基本的任务，在当今的电子商务中无处不在的应用。从索引速度、搜索延迟和RAM消耗等方面进行了综合评价。这种比较是为了更好地理解最近邻搜索系统在主存储器中实现的和在辅助存储器中实现的，这在很大程度上是未解决的文献之间的权衡。

2019-07-28cs.CVcs.IRcs.LG

依赖采样下的最近邻半径

Nearest-Neighbor Radii under Dependent Sampling

Department of Statistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校统计系）；Department of Biostatistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校生物统计学系）

研究依赖采样下最近邻半径的几何性质，建立分布无关的几乎必然收敛和尖锐非渐近矩界，适用于高维数据集中的低维流形。

2026-05-14cs.LGmath.STstat.ML

贝叶斯K近邻法对模型不确定性的低估

On the underestimation of model uncertainty by Bayesian K-nearest neighbors

当使用K-最近邻方法时，人们经常忽略K的选择中的不确定性。为了解释这种不确定性，Holmes和Adams（2002）提出了一个贝叶斯框架，用于K-最近邻（KNN）。他们的贝叶斯KNN（BKNN）方法使用伪似然函数和标准的马尔可夫链蒙特卡罗（MCMC）技术来绘制后验样本。Holmes和Adams（2002）关注BKNN在误分类错误方面的性能，但没有评估其量化不确定性的能力。我们提出了一些证据表明，BKNN仍然显着低估了模型的不确定性。

2008-04-08stat.ML

共享最近邻图上的图拉普拉斯算子与具有相同极限的$k$-最近邻图上的图拉普拉斯算子

Graph Laplacians on Shared Nearest Neighbor graphs and graph Laplacians on $k$-Nearest Neighbor graphs having the same limit

针对高维数据中广泛使用但缺乏理论支撑的共享最近邻（SNN）图，本文首次证明其图拉普拉斯算子的大规模渐近性质达到与$k$-NN图相同的连续统极限，并给出了高概率下的线性逐点收敛速率。

2023-04-01math.PRstat.ML

用于矩阵补全的自适应加权最近邻

Adaptively-weighted Nearest Neighbors for Matrix Completion

Cornell University（康奈尔大学）；The Wharton School（沃顿商学院）；Cornell Tech（康奈尔科技）

本文提出 AWNN 自适应加权最近邻矩阵补全方法，通过平衡偏差—方差权衡自动选择半径与权重，并在最少假设下给出理论保证及合成实验验证。

2025-05-14cs.LGmath.STstat.ME

最近邻匹配的$L_2$ -一致性

On $L_2$-consistency of nearest neighbor matching

有偏抽样和缺失数据使从因果推理到强化学习的统计问题变得复杂。我们经常使用匹配方法和重要性加权来校正汇总统计量的有偏抽样。本文研究了最近邻匹配（NNM），它通过用有偏样本中的最近邻变量代替未观测变量来估计有偏样本的总体数量。我们表明，NNM是$L_2$ -一致的光滑性和有限维有界性假设的情况下。我们讨论了NNM的应用，概述了将这项工作推广到可分度量空间的障碍，并将这一结果与逆概率加权进行了比较。

2022-05-31math.STstat.MLstat.TH

高维近似最近邻搜索

Approximate Nearest Neighbor Search in High Dimensions

最近邻问题定义如下：给定某个度量空间$(X,D)$中的$n$点的集合$P$，构建一个数据结构，该数据结构在给定任何点$q$的情况下，返回$P$中最接近$q$的点（它在$P$中的“最近邻”）。该数据结构存储关于集合$P$的附加信息，然后使用该信息来查找最近邻，而不计算$q$和$P$之间的所有距离。该问题在机器学习、计算机视觉、数据库等领域有着广泛的应用。为了减少寻找最近邻所需的时间和数据结构所使用的内存量，可以用公式表示{ \em approximate}最近邻问题，其中目标是返回任何点$p' \in P$，使得对于某些$c \geq 1$，从$q$到$p'$的距离至多为$c \cdot \min_{p \in P} D(q,p)$。在过去的二十年里，开发了许多有效的解决方案。在这篇文章中，我们调查这些发展，以及它们的连接问题的几何功能分析和组合几何。

2018-06-26cs.CGcs.DBcs.DS