One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
James B. Conant High School（詹姆斯·B·柯南特高中）；Illinois Institute of Technology（伊利诺伊理工大学）
该研究将单层Transformer与最近邻分类器的等价性从二分类扩展至多分类，证明带argmax头的单层Transformer等价于多分类单最近邻，填补了前期研究的空白。
2026-09-02 cs.LG stat.ML
Statistical Optimality of Interpolated Nearest Neighbor Algorithms
Purdue University（普渡大学）
在深度学习时代，理解过拟合现象变得越来越重要。据观察，精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是，对于许多现代机器学习算法，过拟合可以大大降低估计偏差，同时不会过多增加估计方差。为了说明上述思想，我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度，并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。
2018-11-30 cs.LG stat.ML
Consistency of the $k$-Nearest Neighbor Regressor under Complex Survey Designs
研究了在复杂抽样设计下k最近邻回归器的一致性，推导了收敛速率下界并展示了维度灾难现象，通过模拟和真实数据验证理论结果。
2026-03-18 cs.LG stat.ML
Deep Nearest Neighbor Anomaly Detection
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
最近邻是一种成功的和长期存在的异常检测技术。最近，自我监督的深度方法（例如RotNet）取得了重大进展。然而，自监督特征通常表现不佳Imagenet预训练特征。在这项工作中，我们研究了最近的进展是否真的可以优于最近邻方法在Imagenet预训练的特征空间上操作。实验表明，简单的最近邻方法优于自监督方法：准确性，Few Shot泛化，训练时间和噪声鲁棒性，同时对图像分布的假设较少。
2020-02-24 cs.CV cs.LG stat.ML
A Nearest Neighbor Characterization of Lebesgue Points in Metric Measure Spaces
Toulouse School of Economics (TSE)（图卢兹经济学院（TSE））；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Milano（米兰大学）
几乎每个点都是Lebesgue点的属性已被证明是基于最近邻的几种分类算法的一致性的关键。我们的特点勒贝格点的1-最近邻回归算法逐点估计，充实了相应的收敛问题中所发挥的作用，打破平局规则。然后，我们给出了我们的结果的应用，证明了收敛的风险的一大类1-最近邻分类算法在一般度量空间中，几乎每一个点都是Lebesgue点。
2021-01-12 cs.LG math.PR stat.ML
On the Resistance of Nearest Neighbor to Random Noisy Labels
Nanjing University（南京大学）
最近邻算法一直是机器学习、模式识别、计算机视觉等领域最具吸引力的非参数方法之一。本文给出了随机噪声背景下最近邻一致性的有限样本和分布相关的界。理论结果表明，对于非对称噪声，k-近邻算法具有足够的鲁棒性，除了少数样本的标签完全被随机噪声误导外，其余样本都能正确分类.而对于对称噪声，k-近邻算法的一致率与无噪声情况下的一致率相同，验证了k-近邻算法对随机噪声标签的抵抗能力。在理论分析的基础上，提出了鲁棒k-近邻（RkNN）方法来处理噪声标签。其基本思想是对标签完全被随机噪声误导的样本进行单方面修正，利用k-近邻的鲁棒性直接进行分类。我们从理论和实验两方面验证了该算法的有效性。
2018-09-13 cs.LG
Rates of Convergence for Nearest Neighbor Classification
University of California, San Diego（加州大学圣地亚哥分校）
最近邻方法是一类流行的非参数估计方法，具有一些理想的性质，例如对不同空间区域中不同距离尺度的适应性。最近邻分类的收敛速度的先前工作没有完全反映这些微妙的性质。我们分析了这些估计量在度量空间中的行为，并在最小假设下提供了有限样本，分布相关的收敛速度。作为一个副产品，我们能够在比以前已知的更广泛的数据空间中建立最近邻的普遍一致性。我们说明了我们的上限和下限，通过引入平滑类定制的最近邻分类。
2014-07-02 cs.LG math.ST stat.ML
Generalized Linear Tree Space Nearest Neighbor
Gradient Ascent LLC（Gradient Ascent 有限责任公司）
提出了一种新的决策树堆叠方法，该方法通过投影到有序时间分裂出折（OOF）的一个最近邻（1NN）空间。这些最近邻的预测通过线性模型组合。此过程重复多次并取平均值以减小方差。广义线性树空间最近邻（GLTSNN）在几个公开可用的数据集上与随机森林（RF）相比在均方误差（MSE）方面具有竞争力。GLTSNN的一些理论和应用优势进行了讨论。我们推测一个基于GLTSNN的分类器将有一个误差，该误差渐近地以贝叶斯出错率的两倍为界，比如k = 1最近邻。
2021-03-30 cs.LG
Uncertain Nearest Neighbor Classification
这项工作涉及不确定数据的分类问题。为此，本文引入了不确定最近邻（UNN）规则，它代表了确定性最近邻规则对不确定对象可用的情况的概括。UNN规则依赖于最近邻类的概念，而不是最近邻对象的概念。测试对象的最近邻类是最大化提供其最近邻的概率的类。它提供的证据表明，前者的概念是更强大的比后者在存在的不确定性，因为它正确地建模的最近邻决策规则的正确语义时，应用到不确定的情况下。设计了一种有效和高效的算法来执行不确定的最近邻分类的一般（不）一定的测试对象，基于属性，大大降低了时间成本与最近邻类概率计算。实验结果表明，UNN规则是有效的和高效的分类不确定数据。
2011-08-09 cs.AI cs.LG
An improvement to k-nearest neighbor classifier
NRI Institute of Technology-Guntur（NRI理工学院（贡图尔校区））
K-Nearest Neighbor Classifier（k-NNC）具有使用简单、设计时间短等优点，适合处理动态变化的数据集。有一些基本的改进k-NNC，如加权k-最近邻分类器（其中权重最近邻的基础上线性插值），使用人工生成的训练集称为自举训练集等，这些改进是正交的空间减少和分类时间减少技术，因此可以与它们中的任何一个耦合。本文提出了对基本k-NNC的另一种改进，其中基于高斯分布（而不是加权k-NNC中所做的线性插值）给出最近邻的权重，这也独立于任何空间减少和分类时间减少技术。我们正式表明，我们提出的方法是密切相关的非参数密度估计使用高斯核。我们使用各种标准数据集的实验表明，所提出的方法是优于现有的在大多数情况下。
2013-01-27 cs.CV cs.LG stat.ML
Adaptive Estimation for Approximate k-Nearest-Neighbor Computations
Rice University（莱斯大学）
算法通常对“简单”和“困难”问题实例执行同样多的计算。特别地，用于寻找最近邻的算法通常具有相同的运行时间，而不管特定的问题实例。在本文中，我们考虑近似的k-最近邻问题，这是在一个给定的点集，包含一个给定的查询点的k个最近邻的集合中找到一个O（k）点的子集的问题。我们提出了一种算法的基础上自适应估计的距离，并表明，它本质上是最佳的算法，只允许自适应估计距离。然后，我们从理论上和实验上证明，该算法可以实现显着的加速比相对于天真的方法。
2019-02-25 cs.DS cs.LG stat.ML
Discriminative Learning of the Prototype Set for Nearest Neighbor Classification
Tokyo University of Science（东京理科大学）
最近邻规则是一种经典的分类模型，特别是在监督信息由两两相异性给出且嵌入函数不易获得的问题中。原型选择提供了推广和提高最近邻模型效率的手段，但许多现有的方法假设和依赖于对输入向量空间的分析。在本文中，我们探讨了一个基于差异的，参数化模型的最近邻规则。在所提出的模型中，最近的原型的选择是由各自的原型的参数的影响。它提供了一个公式，用于最大限度地减少对训练集的扩展最近邻规则的违反，以易于处理的形式利用数值技术。我们表明，最小化问题减少到一个大利润率的原则学习，并证明其优势与其他原型选择方法的实证比较。
2018-01-06 cs.LG
Weighted Distance Nearest Neighbor Condensing
Ariel University（阿里尔大学）
本文提出加权距离最近邻压缩问题，通过为压缩集的点分配权重来标记新点，理论证明其泛化界与标准方法相近但压缩效果更优，并提出具有贝叶斯一致性的启发式方法。
2023-10-24 cs.LG
Online nearest neighbor classification
University of California, San Diego（加州大学圣地亚哥分校）
本文研究可实现对支配或平滑对手下的在线1-最近邻分类，证明其能取得次线性遗憾和消失的错误率。
2023-07-03 cs.LG
Speculate-Correct Error Bounds for k-Nearest Neighbor Classifiers
Verizon（威瑞森）；LinkedIn（领英）；Sorin Capital Management（索林资本管理）
我们引入了投机正确的方法来获得局部分类器的误差界。使用它，我们表明，k近邻分类器，尽管他们著名的断裂决策边界，具有指数误差界与O（sqrt（（k + ln n）/ n））的误差界范围为n个样本的例子。
2017-09-15 cs.IT cs.LG math.IT
An Empirical Comparison of FAISS and FENSHSES for Nearest Neighbor Search in Hamming Space
Walmart Labs（沃尔玛实验室）
在本文中，我们比较FAISS和FENSHSES的性能最近邻搜索在汉明空间-一个基本的任务，在当今的电子商务中无处不在的应用。从索引速度、搜索延迟和RAM消耗等方面进行了综合评价。这种比较是为了更好地理解最近邻搜索系统在主存储器中实现的和在辅助存储器中实现的，这在很大程度上是未解决的文献之间的权衡。
2019-07-28 cs.CV cs.IR cs.LG
Twin Neural Network Improved k-Nearest Neighbor Regression
Homes Plus Magazine Inc.（霍姆斯普拉斯杂志公司）
本研究提出基于双神经网络的改进k近邻回归算法，通过预测目标差值并集成近邻锚点的预测结果求解回归问题，在中小型数据集上表现优于神经网络与传统k近邻回归。
2023-10-01 cs.LG
Nearest-Neighbor Radii under Dependent Sampling
Department of Statistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校统计系）；Department of Biostatistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校生物统计学系）
研究依赖采样下最近邻半径的几何性质，建立分布无关的几乎必然收敛和尖锐非渐近矩界，适用于高维数据集中的低维流形。
2026-05-14 cs.LG math.ST stat.ML
DenMune: Density peak based clustering using mutual nearest neighbors
Egypt-Japan University of Science and Technology（埃及日本科技大学）
DenMune 利用互最近邻和密度峰值思想，仅需一个参数 K，即可在任意形状、变密度及不平衡数据中稳健聚类，并自动去噪。
2023-09-23 cs.LG
A Two-Stage Active Learning Algorithm for $k$-Nearest Neighbors
University of California - San Diego（加州大学圣地亚哥分校）
针对 $k$-近邻分类缺乏保留局部投票机制的主动学习方法的问题，提出两阶段主动学习算法，并证明其在光滑性与 Tsybakov 噪声条件下具有一致性和更快的 Bayes 最优收敛速率。
2023-08-19 cs.LG
K-Nearest Neighbor Classification Using Anatomized Data
Purdue University（普渡大学）
本文分析了使用解剖学匿名的训练数据的k近邻分类。解剖学保留所有数据值，但在识别值和敏感值之间的映射中引入不确定性。我们首先研究了解剖的训练数据对k近邻出错率界、近邻收敛速度和贝叶斯误差的理论影响。然后，我们验证所得出的界限经验。我们表明，1）从解剖数据的学习接近学习的限制，通过未受保护的数据（虽然需要更大的训练数据），和2）最近的邻居使用解剖数据优于最近的邻居基于泛化的匿名。
2016-10-19 cs.CR cs.DB cs.LG
Active Search for Nearest Neighbors
Handong Global University（韩东国际大学）
在模式识别或机器学习中，寻找给定点的最近邻是一项非常基本的任务。任务的所有方法基本上都是通过将给定点与数据集中的所有点进行比较来工作的。这就是为什么计算成本随着数据点的数量而增加。然而，人类的视觉系统似乎以不同的方式工作。当人类视觉系统试图在地图上找到一个点的邻居时，它直接关注该点周围的区域，并通过查看或放大和缩小该点来主动搜索邻居。在本文中，我们提出了一种创新的搜索方法，最近的邻居，这似乎非常类似于人类视觉系统的工作方式的任务。
2019-12-08 cs.LG
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里，使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现，而且非常有效。在本文中，我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术，我们表明，贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
PL-kNN: A Parameterless Nearest Neighbors Classifier
São Paulo State University（圣保罗州立大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在机器学习模型中需要最小参数设置，以避免耗时的优化过程。$k$ -最近邻模型是在许多问题中使用的最有效和最直接的模型之一。尽管其众所周知的性能，它需要$k$的值用于特定的数据分布，因此需要昂贵的计算工作。本文提出了一个$k$ -最近邻分类器，绕过需要定义的值的$k$。该模型考虑训练集的数据分布自适应地计算$k$值。我们将所提出的模型与标准的$k$ -最近邻分类器和文献中的两个无参数版本进行了比较。在11个公共数据集上的实验结果表明，该方法具有较好的鲁棒性，其结果与同类方法相似甚至更好。
2022-09-30 cs.LG
DMN4: Few-shot Learning via Discriminative Mutual Nearest Neighbor Neural Network
State Key Lab of CAD&CG, Zhejiang University（浙江大学计算机辅助设计与图形学国家重点实验室）；Zhejiang Lab（之江实验室）
少样本学习（FSL）的目标是在低数据量的情况下对图像进行分类，在这种情况下，传统的合并全局特征可能会丢失有用的局部特征。最近的工作已经取得了很好的性能，通过使用深度描述符。他们通常考虑来自神经网络的所有深度描述符，而忽略了其中一些由于其有限的感受野而在分类中无用，例如，与任务无关的描述符可能是误导性的，并且来自背景杂波的多个聚合描述符甚至可能掩盖对象的存在。在本文中，我们认为，一个相互最近邻（MNN）的关系应该建立明确选择的查询描述符是最相关的每个任务，并丢弃不相关的聚集杂波FSL。具体来说，我们提出了用于FSL的判别式相互最近邻神经网络（DMN 4）。大量的实验表明，我们的方法优于现有的国家的最先进的细粒度和广义数据集。
2021-09-08 cs.CV cs.LG
Near-optimal sample compression for nearest neighbors
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Tel-Aviv University（特拉维夫大学）
我们提出了第一个样本压缩算法的最近邻居与非平凡的性能保证。我们补充这些保证，证明几乎匹配的硬度下限，这表明我们的界限是接近最优的。我们的结果产生了新的洞察力基于边缘的最近邻分类度量空间，并允许我们显着锐化和简化现有的界限。一些令人鼓舞的实证结果也被提出。
2018-03-26 cs.CC cs.LG
Adaptively-weighted Nearest Neighbors for Matrix Completion
Cornell University（康奈尔大学）；The Wharton School（沃顿商学院）；Cornell Tech（康奈尔科技）
本文提出 AWNN 自适应加权最近邻矩阵补全方法，通过平衡偏差—方差权衡自动选择半径与权重，并在最少假设下给出理论保证及合成实验验证。
2025-05-14 cs.LG math.ST stat.ME
Tensor-Train Point Cloud Compression and Efficient Approximate Nearest-Neighbor Search
Skolkovo（斯科尔科沃）；AIRI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出基于张量列低秩分解的点云表示新方法，结合概率解释与密度估计损失实现鲁棒压缩，利用其内在层次结构加速近似最近邻搜索，在OOD检测、ANN搜索等场景中验证了有效性。
2024-10-06 cs.CV cs.LG
Unit Commitment using Nearest Neighbor as a Short-Term Proxy
Technion, Israel Institute of Technology（以色列理工学院）；University of Liège（列日大学）
我们设计的机组承诺最近邻（UCNN）算法被用来作为一个代理快速逼近短期决策的结果，使易处理的分层长期评估和规划的大型电力系统。IEEE-RTS 79和IEEE-RTS 96的更新版本上的实验结果表明，在运行时，在几个数量级低于传统方法的操作成本测量的高精度。
2018-02-28 cs.AI cs.LG
Approximate Nearest Neighbor Search through Comparisons
School of Computer
本文讨论了在n个对象的数据库中寻找查询对象q的最近邻（或R-最近邻之一）的问题。与大多数现有的方法相比，我们只能通过相似性预言来访问对象所处的“隐藏”空间。给定两个引用对象和一个查询对象，oracle返回最接近查询对象的引用对象。甲骨文试图模拟人类用户的行为，能够对相似性进行陈述，但不能为对象之间的距离分配有意义的数值。
2009-09-11 cs.DB cs.DS cs.LG
Nearest neighbor Methods and their Applications in Design of 5G & Beyond Wireless Networks
The University of Leeds（利兹大学）
在本文中，我们提出了最近邻（NN）的方法，这是经常使用监督学习解决分类问题的概述。文章简要介绍了理论背景，算法和实现方面的关键应用。从应用的角度来看，本文探讨了与5G及以后无线网络相关的挑战，这些挑战可以使用NN分类技术来解决。
2021-07-16 cs.LG cs.NI eess.SP
Neural Estimators for Conditional Mutual Information Using Nearest Neighbors Sampling
KTH Royal Institute of Technology（瑞典皇家理工学院）
从一组样本中估计互信息（MI）或条件互信息（CMI）是一个长期存在的问题。在该领域中的最近的工作路线已经利用了人工神经网络的近似能力，并且已经显示出对传统方法的改进。这种新方法的一个重要挑战是，给定原始数据集，需要获得一个不同的集合，其中样本根据特定的产品密度函数分布。这在估算CMI时尤其具有挑战性。在本文中，我们引入了一种基于k个最近邻（k-NN）的新技术来执行重采样并推导样本平均值的高置信度浓度界。然后，该技术被用来训练一个神经网络分类器和CMI估计相应。我们提出了三个估计使用这种技术，并证明他们的一致性，使它们之间的比较和类似的方法在文献中，并通过实验表明改进估计CMI的精度和方差的估计。
2020-12-30 cs.IT cs.LG math.IT
Approximate Nearest Neighbor Search with Window Filters
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
本文研究了$c$-近似窗口搜索问题，提出了一种基于树的模块化框架，将传统近似最近邻索引转换为支持任意标签范围查询的数据结构，在相同召回率下实现了高达75倍的加速。
2024-06-04 cs.DS cs.IR cs.LG
