Approximate Nearest Neighbor Search with Window Filters
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
本文研究了$c$-近似窗口搜索问题，提出了一种基于树的模块化框架，将传统近似最近邻索引转换为支持任意标签范围查询的数据结构，在相同召回率下实现了高达75倍的加速。
2024-06-04 cs.DS cs.IR cs.LG
Discriminative Learning of the Prototype Set for Nearest Neighbor Classification
Tokyo University of Science（东京理科大学）
最近邻规则是一种经典的分类模型，特别是在监督信息由两两相异性给出且嵌入函数不易获得的问题中。原型选择提供了推广和提高最近邻模型效率的手段，但许多现有的方法假设和依赖于对输入向量空间的分析。在本文中，我们探讨了一个基于差异的，参数化模型的最近邻规则。在所提出的模型中，最近的原型的选择是由各自的原型的参数的影响。它提供了一个公式，用于最大限度地减少对训练集的扩展最近邻规则的违反，以易于处理的形式利用数值技术。我们表明，最小化问题减少到一个大利润率的原则学习，并证明其优势与其他原型选择方法的实证比较。
2018-01-06 cs.LG
Weighted Distance Nearest Neighbor Condensing
Ariel University（阿里尔大学）
本文提出加权距离最近邻压缩问题，通过为压缩集的点分配权重来标记新点，理论证明其泛化界与标准方法相近但压缩效果更优，并提出具有贝叶斯一致性的启发式方法。
2023-10-24 cs.LG
Online nearest neighbor classification
University of California, San Diego（加州大学圣地亚哥分校）
本文研究可实现对支配或平滑对手下的在线1-最近邻分类，证明其能取得次线性遗憾和消失的错误率。
2023-07-03 cs.LG
Twin Neural Network Improved k-Nearest Neighbor Regression
Homes Plus Magazine Inc.（霍姆斯普拉斯杂志公司）
本研究提出基于双神经网络的改进k近邻回归算法，通过预测目标差值并集成近邻锚点的预测结果求解回归问题，在中小型数据集上表现优于神经网络与传统k近邻回归。
2023-10-01 cs.LG
Deep Nearest Neighbor Anomaly Detection
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
最近邻是一种成功的和长期存在的异常检测技术。最近，自我监督的深度方法（例如RotNet）取得了重大进展。然而，自监督特征通常表现不佳Imagenet预训练特征。在这项工作中，我们研究了最近的进展是否真的可以优于最近邻方法在Imagenet预训练的特征空间上操作。实验表明，简单的最近邻方法优于自监督方法：准确性，Few Shot泛化，训练时间和噪声鲁棒性，同时对图像分布的假设较少。
2020-02-24 cs.CV cs.LG stat.ML
Near-optimal sample compression for nearest neighbors
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Tel-Aviv University（特拉维夫大学）
我们提出了第一个样本压缩算法的最近邻居与非平凡的性能保证。我们补充这些保证，证明几乎匹配的硬度下限，这表明我们的界限是接近最优的。我们的结果产生了新的洞察力基于边缘的最近邻分类度量空间，并允许我们显着锐化和简化现有的界限。一些令人鼓舞的实证结果也被提出。
2018-03-26 cs.CC cs.LG
A Two-Stage Active Learning Algorithm for $k$-Nearest Neighbors
University of California - San Diego（加州大学圣地亚哥分校）
针对 $k$-近邻分类缺乏保留局部投票机制的主动学习方法的问题，提出两阶段主动学习算法，并证明其在光滑性与 Tsybakov 噪声条件下具有一致性和更快的 Bayes 最优收敛速率。
2023-08-19 cs.LG
Rates of Convergence for Nearest Neighbor Classification
University of California, San Diego（加州大学圣地亚哥分校）
最近邻方法是一类流行的非参数估计方法，具有一些理想的性质，例如对不同空间区域中不同距离尺度的适应性。最近邻分类的收敛速度的先前工作没有完全反映这些微妙的性质。我们分析了这些估计量在度量空间中的行为，并在最小假设下提供了有限样本，分布相关的收敛速度。作为一个副产品，我们能够在比以前已知的更广泛的数据空间中建立最近邻的普遍一致性。我们说明了我们的上限和下限，通过引入平滑类定制的最近邻分类。
2014-07-02 cs.LG math.ST stat.ML
Improving the Predictive Performances of $k$ Nearest Neighbors Learning by Efficient Variable Selection
Rochester Institute of Technology（罗切斯特理工学院）
本文计算证明了一个急剧改善的预测性能$k$最近的邻居由于一个有效的前向选择的预测变量。我们展示了模拟和真实世界的数据，这种新的方法反复优于逐步选择下的回归模型
2022-11-04 cs.LG stat.ML
Active Search for Nearest Neighbors
Handong Global University（韩东国际大学）
在模式识别或机器学习中，寻找给定点的最近邻是一项非常基本的任务。任务的所有方法基本上都是通过将给定点与数据集中的所有点进行比较来工作的。这就是为什么计算成本随着数据点的数量而增加。然而，人类的视觉系统似乎以不同的方式工作。当人类视觉系统试图在地图上找到一个点的邻居时，它直接关注该点周围的区域，并通过查看或放大和缩小该点来主动搜索邻居。在本文中，我们提出了一种创新的搜索方法，最近的邻居，这似乎非常类似于人类视觉系统的工作方式的任务。
2019-12-08 cs.LG
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里，使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现，而且非常有效。在本文中，我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术，我们表明，贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
Unsupervised K-Nearest Neighbor Regression
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
在许多科学学科中，必须找到高维数据的结构，例如，恒星光谱、基因组数据或人脸识别任务。在这项工作中，我们提出了一种新的方法来非线性降维。它基于将K-最近邻回归拟合到用于学习低维流形的无监督回归框架。与大多基于核方法的相关方法类似，无监督K-最近邻（UNN）回归优化了潜在变量w.r.t.采用K-最近邻启发式的数据空间重构误差。优化潜在邻域的问题很难解决，但UNN公式允许设计有效的策略，迭代地将潜在点嵌入到固定的邻域拓扑结构中。UNN非常适合于高维数据的排序。迭代变量进行了实验分析。
2011-09-26 cs.LG stat.ML
PL-kNN: A Parameterless Nearest Neighbors Classifier
São Paulo State University（圣保罗州立大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在机器学习模型中需要最小参数设置，以避免耗时的优化过程。$k$ -最近邻模型是在许多问题中使用的最有效和最直接的模型之一。尽管其众所周知的性能，它需要$k$的值用于特定的数据分布，因此需要昂贵的计算工作。本文提出了一个$k$ -最近邻分类器，绕过需要定义的值的$k$。该模型考虑训练集的数据分布自适应地计算$k$值。我们将所提出的模型与标准的$k$ -最近邻分类器和文献中的两个无参数版本进行了比较。在11个公共数据集上的实验结果表明，该方法具有较好的鲁棒性，其结果与同类方法相似甚至更好。
2022-09-30 cs.LG
Nearest Neighbor-based Importance Weighting
University of Copenhagen（哥本哈根大学）；Delft University of Technology（代尔夫特理工大学）
重要性加权通常广泛应用于机器学习中，特别是处理数据协变量偏移问题的技术中。一种新的，直接的方法来确定这样的重要性加权。它依赖于最近邻分类方案，并且实现起来相对简单。各种分类任务的比较实验表明，我们所谓的最近邻加权（NNeW）计划的有效性。考虑到其性能，我们的程序可以作为一个简单而有效的基线方法的重要性加权。
2021-02-03 cs.LG stat.ML
Asymmetric Learning Vector Quantization for Efficient Nearest Neighbor Classification in Dynamic Time Warping Spaces
Technische Universität Berlin（柏林工业大学）
最近邻法和动态时间规整距离是时间序列分类中最常用的方法之一。这种方法对于大型训练集具有高存储和计算要求。为了解决这两个问题，本文将学习矢量量化（LVQ）从欧氏空间扩展到DTW空间。所提出的LVQ方案使用非对称加权平均作为更新规则。实验结果表明，非对称广义LVQ（GLVQ）优于其他国家的最先进的原型生成方法的最近邻分类的性能。
2017-03-24 cs.LG stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Tensor-Train Point Cloud Compression and Efficient Approximate Nearest-Neighbor Search
Skolkovo（斯科尔科沃）；AIRI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出基于张量列低秩分解的点云表示新方法，结合概率解释与密度估计损失实现鲁棒压缩，利用其内在层次结构加速近似最近邻搜索，在OOD检测、ANN搜索等场景中验证了有效性。
2024-10-06 cs.CV cs.LG
A Nearest Neighbor Characterization of Lebesgue Points in Metric Measure Spaces
Toulouse School of Economics (TSE)（图卢兹经济学院（TSE））；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Milano（米兰大学）
几乎每个点都是Lebesgue点的属性已被证明是基于最近邻的几种分类算法的一致性的关键。我们的特点勒贝格点的1-最近邻回归算法逐点估计，充实了相应的收敛问题中所发挥的作用，打破平局规则。然后，我们给出了我们的结果的应用，证明了收敛的风险的一大类1-最近邻分类算法在一般度量空间中，几乎每一个点都是Lebesgue点。
2021-01-12 cs.LG math.PR stat.ML
One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
James B. Conant High School（詹姆斯·B·柯南特高中）；Illinois Institute of Technology（伊利诺伊理工大学）
该研究将单层Transformer与最近邻分类器的等价性从二分类扩展至多分类，证明带argmax头的单层Transformer等价于多分类单最近邻，填补了前期研究的空白。
2026-09-02 cs.LG stat.ML
Speculate-Correct Error Bounds for k-Nearest Neighbor Classifiers
Verizon（威瑞森）；LinkedIn（领英）；Sorin Capital Management（索林资本管理）
我们引入了投机正确的方法来获得局部分类器的误差界。使用它，我们表明，k近邻分类器，尽管他们著名的断裂决策边界，具有指数误差界与O（sqrt（（k + ln n）/ n））的误差界范围为n个样本的例子。
2017-09-15 cs.IT cs.LG math.IT
Statistical Optimality of Interpolated Nearest Neighbor Algorithms
Purdue University（普渡大学）
在深度学习时代，理解过拟合现象变得越来越重要。据观察，精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是，对于许多现代机器学习算法，过拟合可以大大降低估计偏差，同时不会过多增加估计方差。为了说明上述思想，我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度，并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。
2018-11-30 cs.LG stat.ML
Nearest-Neighbor Radii under Dependent Sampling
Department of Statistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校统计系）；Department of Biostatistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校生物统计学系）
研究依赖采样下最近邻半径的几何性质，建立分布无关的几乎必然收敛和尖锐非渐近矩界，适用于高维数据集中的低维流形。
2026-11-10 cs.LG math.ST stat.ML
Approximate Nearest Neighbor Search through Comparisons
School of Computer
本文讨论了在n个对象的数据库中寻找查询对象q的最近邻（或R-最近邻之一）的问题。与大多数现有的方法相比，我们只能通过相似性预言来访问对象所处的“隐藏”空间。给定两个引用对象和一个查询对象，oracle返回最接近查询对象的引用对象。甲骨文试图模拟人类用户的行为，能够对相似性进行陈述，但不能为对象之间的距离分配有意义的数值。
2009-09-11 cs.DB cs.DS cs.LG
Consistency of the $k$-Nearest Neighbor Regressor under Complex Survey Designs
研究了在复杂抽样设计下k最近邻回归器的一致性，推导了收敛速率下界并展示了维度灾难现象，通过模拟和真实数据验证理论结果。
2026-03-18 cs.LG stat.ML
Accelerating Large-Scale Graph-based Nearest Neighbor Search on a Computational Storage Platform
Korea Advanced Institute of Science and Technology（韩国高等科学技术研究院）；Amazon Alexa AI（亚马逊Alexa人工智能部门）；Microsoft Research（微软研究院）；Samsung Electronics（三星电子）
K近邻搜索是各种应用中的基本任务之一，分层可导航小世界（HNSW）最近在大规模云服务中引起了人们的关注，因为它可以轻松扩展数据库，同时提供快速搜索。另一方面，将可编程逻辑和存储模块组合在单板的上的计算存储设备（CSD）变得流行，以解决现代计算系统的数据带宽瓶颈。在本文中，我们提出了一个计算存储平台，可以加速基于SmartSSD CSD的大规模基于图的最近邻搜索算法。为此，我们修改的算法更适合硬件和实现两种类型的加速器使用HLS和RTL为基础的方法与各种优化方法。此外，我们还将所提议的平台扩展为具有4个SmartSSD，并应用图并行来进一步提升系统性能。因此，所提出的计算存储平台在258.66W功耗下实现了SIFT 1B数据集每秒75.59次查询的吞吐量，比传统的基于CPU和基于GPU的服务器平台分别快12.83倍和17.91倍，能效分别高10.43倍和24.33倍。凭借多TB的存储和自定义加速能力，我们相信所提出的计算存储平台是对成本敏感的云计算中心的一个有前途的解决方案。
2022-07-12 cs.AR cs.DC cs.LG
Nearest neighbor Methods and their Applications in Design of 5G & Beyond Wireless Networks
The University of Leeds（利兹大学）
在本文中，我们提出了最近邻（NN）的方法，这是经常使用监督学习解决分类问题的概述。文章简要介绍了理论背景，算法和实现方面的关键应用。从应用的角度来看，本文探讨了与5G及以后无线网络相关的挑战，这些挑战可以使用NN分类技术来解决。
2021-07-16 cs.LG cs.NI eess.SP
An improvement to k-nearest neighbor classifier
NRI Institute of Technology-Guntur（NRI理工学院（贡图尔校区））
K-Nearest Neighbor Classifier（k-NNC）具有使用简单、设计时间短等优点，适合处理动态变化的数据集。有一些基本的改进k-NNC，如加权k-最近邻分类器（其中权重最近邻的基础上线性插值），使用人工生成的训练集称为自举训练集等，这些改进是正交的空间减少和分类时间减少技术，因此可以与它们中的任何一个耦合。本文提出了对基本k-NNC的另一种改进，其中基于高斯分布（而不是加权k-NNC中所做的线性插值）给出最近邻的权重，这也独立于任何空间减少和分类时间减少技术。我们正式表明，我们提出的方法是密切相关的非参数密度估计使用高斯核。我们使用各种标准数据集的实验表明，所提出的方法是优于现有的在大多数情况下。
2013-01-27 cs.CV cs.LG stat.ML
Adaptive Estimation for Approximate k-Nearest-Neighbor Computations
Rice University（莱斯大学）
算法通常对“简单”和“困难”问题实例执行同样多的计算。特别地，用于寻找最近邻的算法通常具有相同的运行时间，而不管特定的问题实例。在本文中，我们考虑近似的k-最近邻问题，这是在一个给定的点集，包含一个给定的查询点的k个最近邻的集合中找到一个O（k）点的子集的问题。我们提出了一种算法的基础上自适应估计的距离，并表明，它本质上是最佳的算法，只允许自适应估计距离。然后，我们从理论上和实验上证明，该算法可以实现显着的加速比相对于天真的方法。
2019-02-25 cs.DS cs.LG stat.ML
Adaptively-weighted Nearest Neighbors for Matrix Completion
Cornell University（康奈尔大学）；The Wharton School（沃顿商学院）；Cornell Tech（康奈尔科技）
本文提出 AWNN 自适应加权最近邻矩阵补全方法，通过平衡偏差—方差权衡自动选择半径与权重，并在最少假设下给出理论保证及合成实验验证。
2025-05-14 cs.LG math.ST stat.ME
