A Two-Stage Active Learning Algorithm for $k$-Nearest Neighbors
University of California - San Diego（加州大学圣地亚哥分校）
针对 $k$-近邻分类缺乏保留局部投票机制的主动学习方法的问题，提出两阶段主动学习算法，并证明其在光滑性与 Tsybakov 噪声条件下具有一致性和更快的 Bayes 最优收敛速率。
2023-08-19 cs.LG
Active Search for Nearest Neighbors
Handong Global University（韩东国际大学）
在模式识别或机器学习中，寻找给定点的最近邻是一项非常基本的任务。任务的所有方法基本上都是通过将给定点与数据集中的所有点进行比较来工作的。这就是为什么计算成本随着数据点的数量而增加。然而，人类的视觉系统似乎以不同的方式工作。当人类视觉系统试图在地图上找到一个点的邻居时，它直接关注该点周围的区域，并通过查看或放大和缩小该点来主动搜索邻居。在本文中，我们提出了一种创新的搜索方法，最近的邻居，这似乎非常类似于人类视觉系统的工作方式的任务。
2019-12-08 cs.LG
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里，使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现，而且非常有效。在本文中，我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术，我们表明，贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
PL-kNN: A Parameterless Nearest Neighbors Classifier
São Paulo State University（圣保罗州立大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在机器学习模型中需要最小参数设置，以避免耗时的优化过程。$k$ -最近邻模型是在许多问题中使用的最有效和最直接的模型之一。尽管其众所周知的性能，它需要$k$的值用于特定的数据分布，因此需要昂贵的计算工作。本文提出了一个$k$ -最近邻分类器，绕过需要定义的值的$k$。该模型考虑训练集的数据分布自适应地计算$k$值。我们将所提出的模型与标准的$k$ -最近邻分类器和文献中的两个无参数版本进行了比较。在11个公共数据集上的实验结果表明，该方法具有较好的鲁棒性，其结果与同类方法相似甚至更好。
2022-09-30 cs.LG
Uncertain Nearest Neighbor Classification
这项工作涉及不确定数据的分类问题。为此，本文引入了不确定最近邻（UNN）规则，它代表了确定性最近邻规则对不确定对象可用的情况的概括。UNN规则依赖于最近邻类的概念，而不是最近邻对象的概念。测试对象的最近邻类是最大化提供其最近邻的概率的类。它提供的证据表明，前者的概念是更强大的比后者在存在的不确定性，因为它正确地建模的最近邻决策规则的正确语义时，应用到不确定的情况下。设计了一种有效和高效的算法来执行不确定的最近邻分类的一般（不）一定的测试对象，基于属性，大大降低了时间成本与最近邻类概率计算。实验结果表明，UNN规则是有效的和高效的分类不确定数据。
2011-08-09 cs.AI cs.LG
Near-optimal sample compression for nearest neighbors
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Tel-Aviv University（特拉维夫大学）
我们提出了第一个样本压缩算法的最近邻居与非平凡的性能保证。我们补充这些保证，证明几乎匹配的硬度下限，这表明我们的界限是接近最优的。我们的结果产生了新的洞察力基于边缘的最近邻分类度量空间，并允许我们显着锐化和简化现有的界限。一些令人鼓舞的实证结果也被提出。
2018-03-26 cs.CC cs.LG
K-Nearest Neighbor Classification Using Anatomized Data
Purdue University（普渡大学）
本文分析了使用解剖学匿名的训练数据的k近邻分类。解剖学保留所有数据值，但在识别值和敏感值之间的映射中引入不确定性。我们首先研究了解剖的训练数据对k近邻出错率界、近邻收敛速度和贝叶斯误差的理论影响。然后，我们验证所得出的界限经验。我们表明，1）从解剖数据的学习接近学习的限制，通过未受保护的数据（虽然需要更大的训练数据），和2）最近的邻居使用解剖数据优于最近的邻居基于泛化的匿名。
2016-10-19 cs.CR cs.DB cs.LG
Improving the Predictive Performances of $k$ Nearest Neighbors Learning by Efficient Variable Selection
Rochester Institute of Technology（罗切斯特理工学院）
本文计算证明了一个急剧改善的预测性能$k$最近的邻居由于一个有效的前向选择的预测变量。我们展示了模拟和真实世界的数据，这种新的方法反复优于逐步选择下的回归模型
2022-11-04 cs.LG stat.ML
Unsupervised K-Nearest Neighbor Regression
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
在许多科学学科中，必须找到高维数据的结构，例如，恒星光谱、基因组数据或人脸识别任务。在这项工作中，我们提出了一种新的方法来非线性降维。它基于将K-最近邻回归拟合到用于学习低维流形的无监督回归框架。与大多基于核方法的相关方法类似，无监督K-最近邻（UNN）回归优化了潜在变量w.r.t.采用K-最近邻启发式的数据空间重构误差。优化潜在邻域的问题很难解决，但UNN公式允许设计有效的策略，迭代地将潜在点嵌入到固定的邻域拓扑结构中。UNN非常适合于高维数据的排序。迭代变量进行了实验分析。
2011-09-26 cs.LG stat.ML
Nearest Neighbor-based Importance Weighting
University of Copenhagen（哥本哈根大学）；Delft University of Technology（代尔夫特理工大学）
重要性加权通常广泛应用于机器学习中，特别是处理数据协变量偏移问题的技术中。一种新的，直接的方法来确定这样的重要性加权。它依赖于最近邻分类方案，并且实现起来相对简单。各种分类任务的比较实验表明，我们所谓的最近邻加权（NNeW）计划的有效性。考虑到其性能，我们的程序可以作为一个简单而有效的基线方法的重要性加权。
2021-02-03 cs.LG stat.ML
Asymmetric Learning Vector Quantization for Efficient Nearest Neighbor Classification in Dynamic Time Warping Spaces
Technische Universität Berlin（柏林工业大学）
最近邻法和动态时间规整距离是时间序列分类中最常用的方法之一。这种方法对于大型训练集具有高存储和计算要求。为了解决这两个问题，本文将学习矢量量化（LVQ）从欧氏空间扩展到DTW空间。所提出的LVQ方案使用非对称加权平均作为更新规则。实验结果表明，非对称广义LVQ（GLVQ）优于其他国家的最先进的原型生成方法的最近邻分类的性能。
2017-03-24 cs.LG stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Tensor-Train Point Cloud Compression and Efficient Approximate Nearest-Neighbor Search
Skolkovo（斯科尔科沃）；AIRI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出基于张量列低秩分解的点云表示新方法，结合概率解释与密度估计损失实现鲁棒压缩，利用其内在层次结构加速近似最近邻搜索，在OOD检测、ANN搜索等场景中验证了有效性。
2024-10-06 cs.CV cs.LG
One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
James B. Conant High School（詹姆斯·B·柯南特高中）；Illinois Institute of Technology（伊利诺伊理工大学）
该研究将单层Transformer与最近邻分类器的等价性从二分类扩展至多分类，证明带argmax头的单层Transformer等价于多分类单最近邻，填补了前期研究的空白。
2026-09-02 cs.LG stat.ML
Deep Nearest Neighbor Anomaly Detection
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
最近邻是一种成功的和长期存在的异常检测技术。最近，自我监督的深度方法（例如RotNet）取得了重大进展。然而，自监督特征通常表现不佳Imagenet预训练特征。在这项工作中，我们研究了最近的进展是否真的可以优于最近邻方法在Imagenet预训练的特征空间上操作。实验表明，简单的最近邻方法优于自监督方法：准确性，Few Shot泛化，训练时间和噪声鲁棒性，同时对图像分布的假设较少。
2020-02-24 cs.CV cs.LG stat.ML
Statistical Optimality of Interpolated Nearest Neighbor Algorithms
Purdue University（普渡大学）
在深度学习时代，理解过拟合现象变得越来越重要。据观察，精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是，对于许多现代机器学习算法，过拟合可以大大降低估计偏差，同时不会过多增加估计方差。为了说明上述思想，我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度，并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。
2018-11-30 cs.LG stat.ML
Consistency of the $k$-Nearest Neighbor Regressor under Complex Survey Designs
研究了在复杂抽样设计下k最近邻回归器的一致性，推导了收敛速率下界并展示了维度灾难现象，通过模拟和真实数据验证理论结果。
2026-03-18 cs.LG stat.ML
Unit Commitment using Nearest Neighbor as a Short-Term Proxy
Technion, Israel Institute of Technology（以色列理工学院）；University of Liège（列日大学）
我们设计的机组承诺最近邻（UCNN）算法被用来作为一个代理快速逼近短期决策的结果，使易处理的分层长期评估和规划的大型电力系统。IEEE-RTS 79和IEEE-RTS 96的更新版本上的实验结果表明，在运行时，在几个数量级低于传统方法的操作成本测量的高精度。
2018-02-28 cs.AI cs.LG
Rates of Convergence for Nearest Neighbor Classification
University of California, San Diego（加州大学圣地亚哥分校）
最近邻方法是一类流行的非参数估计方法，具有一些理想的性质，例如对不同空间区域中不同距离尺度的适应性。最近邻分类的收敛速度的先前工作没有完全反映这些微妙的性质。我们分析了这些估计量在度量空间中的行为，并在最小假设下提供了有限样本，分布相关的收敛速度。作为一个副产品，我们能够在比以前已知的更广泛的数据空间中建立最近邻的普遍一致性。我们说明了我们的上限和下限，通过引入平滑类定制的最近邻分类。
2014-07-02 cs.LG math.ST stat.ML
A Nearest Neighbor Characterization of Lebesgue Points in Metric Measure Spaces
Toulouse School of Economics (TSE)（图卢兹经济学院（TSE））；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Milano（米兰大学）
几乎每个点都是Lebesgue点的属性已被证明是基于最近邻的几种分类算法的一致性的关键。我们的特点勒贝格点的1-最近邻回归算法逐点估计，充实了相应的收敛问题中所发挥的作用，打破平局规则。然后，我们给出了我们的结果的应用，证明了收敛的风险的一大类1-最近邻分类算法在一般度量空间中，几乎每一个点都是Lebesgue点。
2021-01-12 cs.LG math.PR stat.ML
Approximate Nearest Neighbor Search through Comparisons
School of Computer
本文讨论了在n个对象的数据库中寻找查询对象q的最近邻（或R-最近邻之一）的问题。与大多数现有的方法相比，我们只能通过相似性预言来访问对象所处的“隐藏”空间。给定两个引用对象和一个查询对象，oracle返回最接近查询对象的引用对象。甲骨文试图模拟人类用户的行为，能够对相似性进行陈述，但不能为对象之间的距离分配有意义的数值。
2009-09-11 cs.DB cs.DS cs.LG
Nearest neighbor Methods and their Applications in Design of 5G & Beyond Wireless Networks
The University of Leeds（利兹大学）
在本文中，我们提出了最近邻（NN）的方法，这是经常使用监督学习解决分类问题的概述。文章简要介绍了理论背景，算法和实现方面的关键应用。从应用的角度来看，本文探讨了与5G及以后无线网络相关的挑战，这些挑战可以使用NN分类技术来解决。
2021-07-16 cs.LG cs.NI eess.SP
Speculate-Correct Error Bounds for k-Nearest Neighbor Classifiers
Verizon（威瑞森）；LinkedIn（领英）；Sorin Capital Management（索林资本管理）
我们引入了投机正确的方法来获得局部分类器的误差界。使用它，我们表明，k近邻分类器，尽管他们著名的断裂决策边界，具有指数误差界与O（sqrt（（k + ln n）/ n））的误差界范围为n个样本的例子。
2017-09-15 cs.IT cs.LG math.IT
An Empirical Comparison of FAISS and FENSHSES for Nearest Neighbor Search in Hamming Space
Walmart Labs（沃尔玛实验室）
在本文中，我们比较FAISS和FENSHSES的性能最近邻搜索在汉明空间-一个基本的任务，在当今的电子商务中无处不在的应用。从索引速度、搜索延迟和RAM消耗等方面进行了综合评价。这种比较是为了更好地理解最近邻搜索系统在主存储器中实现的和在辅助存储器中实现的，这在很大程度上是未解决的文献之间的权衡。
2019-07-28 cs.CV cs.IR cs.LG
Nearest-Neighbor Radii under Dependent Sampling
Department of Statistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校统计系）；Department of Biostatistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校生物统计学系）
研究依赖采样下最近邻半径的几何性质，建立分布无关的几乎必然收敛和尖锐非渐近矩界，适用于高维数据集中的低维流形。
2026-11-10 cs.LG math.ST stat.ML
An improvement to k-nearest neighbor classifier
NRI Institute of Technology-Guntur（NRI理工学院（贡图尔校区））
K-Nearest Neighbor Classifier（k-NNC）具有使用简单、设计时间短等优点，适合处理动态变化的数据集。有一些基本的改进k-NNC，如加权k-最近邻分类器（其中权重最近邻的基础上线性插值），使用人工生成的训练集称为自举训练集等，这些改进是正交的空间减少和分类时间减少技术，因此可以与它们中的任何一个耦合。本文提出了对基本k-NNC的另一种改进，其中基于高斯分布（而不是加权k-NNC中所做的线性插值）给出最近邻的权重，这也独立于任何空间减少和分类时间减少技术。我们正式表明，我们提出的方法是密切相关的非参数密度估计使用高斯核。我们使用各种标准数据集的实验表明，所提出的方法是优于现有的在大多数情况下。
2013-01-27 cs.CV cs.LG stat.ML
Adaptive Estimation for Approximate k-Nearest-Neighbor Computations
Rice University（莱斯大学）
算法通常对“简单”和“困难”问题实例执行同样多的计算。特别地，用于寻找最近邻的算法通常具有相同的运行时间，而不管特定的问题实例。在本文中，我们考虑近似的k-最近邻问题，这是在一个给定的点集，包含一个给定的查询点的k个最近邻的集合中找到一个O（k）点的子集的问题。我们提出了一种算法的基础上自适应估计的距离，并表明，它本质上是最佳的算法，只允许自适应估计距离。然后，我们从理论上和实验上证明，该算法可以实现显着的加速比相对于天真的方法。
2019-02-25 cs.DS cs.LG stat.ML
Approximate Nearest Neighbor Search with Window Filters
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
本文研究了$c$-近似窗口搜索问题，提出了一种基于树的模块化框架，将传统近似最近邻索引转换为支持任意标签范围查询的数据结构，在相同召回率下实现了高达75倍的加速。
2024-06-04 cs.DS cs.IR cs.LG
Adaptively-weighted Nearest Neighbors for Matrix Completion
Cornell University（康奈尔大学）；The Wharton School（沃顿商学院）；Cornell Tech（康奈尔科技）
本文提出 AWNN 自适应加权最近邻矩阵补全方法，通过平衡偏差—方差权衡自动选择半径与权重，并在最少假设下给出理论保证及合成实验验证。
2025-05-14 cs.LG math.ST stat.ME
