Nearest Neighbor Classifier with Margin Penalty for Active Learning
Beijing University of Posts and Telecommunications（北京邮电大学）；China Telecom Corporation Limited Research Institute（中国电信股份有限公司研究院）
随着深度学习成为自然语言处理领域的主流，对合适的主动学习方法的需求变得前所未有的迫切。提出了一种基于最近邻分类器的主动学习方法，并取得了较好的效果.然而，现有的最近邻分类器不适合分类互斥类，因为类间的差异不能保证最近邻分类器。结果，边缘区域中的信息样本不能被发现，并且AL性能受损。为此，我们提出了一种新的最近邻分类器与间隔惩罚主动学习（NCMAL）。首先，在类间加入强制性的间隔惩罚，从而保证了类间的差异性和类内的紧凑性。其次，提出了一种新的样本选择策略，以发现边缘区域内的信息样本。为了证明这些方法的有效性，我们使用其他最先进的方法对数据集进行了广泛的实验。实验结果表明，我们的方法取得了更好的结果与更少的注释样本比所有的基线方法。
2022-10-05 cs.IR cs.LG
K-Nearest Neighbor Classification Using Anatomized Data
Purdue University（普渡大学）
本文分析了使用解剖学匿名的训练数据的k近邻分类。解剖学保留所有数据值，但在识别值和敏感值之间的映射中引入不确定性。我们首先研究了解剖的训练数据对k近邻出错率界、近邻收敛速度和贝叶斯误差的理论影响。然后，我们验证所得出的界限经验。我们表明，1）从解剖数据的学习接近学习的限制，通过未受保护的数据（虽然需要更大的训练数据），和2）最近的邻居使用解剖数据优于最近的邻居基于泛化的匿名。
2016-10-19 cs.CR cs.DB cs.LG
Generalized Linear Tree Space Nearest Neighbor
Gradient Ascent LLC（Gradient Ascent 有限责任公司）
提出了一种新的决策树堆叠方法，该方法通过投影到有序时间分裂出折（OOF）的一个最近邻（1NN）空间。这些最近邻的预测通过线性模型组合。此过程重复多次并取平均值以减小方差。广义线性树空间最近邻（GLTSNN）在几个公开可用的数据集上与随机森林（RF）相比在均方误差（MSE）方面具有竞争力。GLTSNN的一些理论和应用优势进行了讨论。我们推测一个基于GLTSNN的分类器将有一个误差，该误差渐近地以贝叶斯出错率的两倍为界，比如k = 1最近邻。
2021-03-30 cs.LG
Stabilized Nearest Neighbor Classifier and Its Statistical Properties
Yahoo! Labs（雅虎实验室）；Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）；Purdue University（普渡大学）；Princeton University（普林斯顿大学）
统计分析的稳定性是再现性的重要指标，是科学方法的主要原则之一。这意味着可以根据来自同一基本人口的独立样本得出类似的统计结论。在本文中，我们介绍了一个一般的措施，分类不稳定性（CIS）量化的抽样变异的预测分类方法。有趣的是，任何加权最近邻分类器的渐近CIS都与其权重向量的欧几里德范数成比例。基于这种简洁的形式，我们提出了一个稳定的最近邻（SNN）分类器，它区别于其他最近邻分类器，通过考虑稳定性。在理论上，我们证明了SNN在风险下具有极大极小最优收敛速度，在CIS下具有锐收敛速度。后者率的结果是建立在低噪声条件下的一般插件分类器。大量的模拟和真实的例子表明，SNN实现了相当大的改善CIS比现有的最近邻分类器，具有相当的分类精度。我们在一个公开可用的R包snn中实现了该算法。
2015-08-30 cs.LG stat.ML
k-Nearest Neighbour Classifiers: 2nd Edition (with Python examples)
University College Dublin（都柏林大学）；Technological University Dublin（都柏林理工大学）
也许最直接的分类器或机器学习技术是最近邻分类器--分类是通过识别查询示例的最近邻并使用这些邻居来确定查询的类来实现的。这种分类方法是特别重要的，因为运行时性能差的问题是不是这样一个问题，这些天的计算能力是可用的。本文介绍了最近邻分类技术的概述，重点是评估相似性（距离）的机制，确定最近邻的计算问题和减少数据的维数的机制。本文是以前作为技术报告发表的论文的第二版。增加了关于时间序列相似性度量、检索速度和内在维度的章节。包括一个附录，提供对关键方法的Python代码的访问。
2020-04-29 cs.LG stat.ML
Discriminative Learning of the Prototype Set for Nearest Neighbor Classification
Tokyo University of Science（东京理科大学）
最近邻规则是一种经典的分类模型，特别是在监督信息由两两相异性给出且嵌入函数不易获得的问题中。原型选择提供了推广和提高最近邻模型效率的手段，但许多现有的方法假设和依赖于对输入向量空间的分析。在本文中，我们探讨了一个基于差异的，参数化模型的最近邻规则。在所提出的模型中，最近的原型的选择是由各自的原型的参数的影响。它提供了一个公式，用于最大限度地减少对训练集的扩展最近邻规则的违反，以易于处理的形式利用数值技术。我们表明，最小化问题减少到一个大利润率的原则学习，并证明其优势与其他原型选择方法的实证比较。
2018-01-06 cs.LG
An improvement to k-nearest neighbor classifier
NRI Institute of Technology-Guntur（NRI理工学院（贡图尔校区））
K-Nearest Neighbor Classifier（k-NNC）具有使用简单、设计时间短等优点，适合处理动态变化的数据集。有一些基本的改进k-NNC，如加权k-最近邻分类器（其中权重最近邻的基础上线性插值），使用人工生成的训练集称为自举训练集等，这些改进是正交的空间减少和分类时间减少技术，因此可以与它们中的任何一个耦合。本文提出了对基本k-NNC的另一种改进，其中基于高斯分布（而不是加权k-NNC中所做的线性插值）给出最近邻的权重，这也独立于任何空间减少和分类时间减少技术。我们正式表明，我们提出的方法是密切相关的非参数密度估计使用高斯核。我们使用各种标准数据集的实验表明，所提出的方法是优于现有的在大多数情况下。
2013-01-27 cs.CV cs.LG stat.ML
Weighted Distance Nearest Neighbor Condensing
Ariel University（阿里尔大学）
本文提出加权距离最近邻压缩问题，通过为压缩集的点分配权重来标记新点，理论证明其泛化界与标准方法相近但压缩效果更优，并提出具有贝叶斯一致性的启发式方法。
2023-10-24 cs.LG
A Two-Stage Active Learning Algorithm for $k$-Nearest Neighbors
University of California - San Diego（加州大学圣地亚哥分校）
针对 $k$-近邻分类缺乏保留局部投票机制的主动学习方法的问题，提出两阶段主动学习算法，并证明其在光滑性与 Tsybakov 噪声条件下具有一致性和更快的 Bayes 最优收敛速率。
2023-08-19 cs.LG
Online nearest neighbor classification
University of California, San Diego（加州大学圣地亚哥分校）
本文研究可实现对支配或平滑对手下的在线1-最近邻分类，证明其能取得次线性遗憾和消失的错误率。
2023-07-03 cs.LG
Twin Neural Network Improved k-Nearest Neighbor Regression
Homes Plus Magazine Inc.（霍姆斯普拉斯杂志公司）
本研究提出基于双神经网络的改进k近邻回归算法，通过预测目标差值并集成近邻锚点的预测结果求解回归问题，在中小型数据集上表现优于神经网络与传统k近邻回归。
2023-10-01 cs.LG
Deep Nearest Neighbor Anomaly Detection
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）
最近邻是一种成功的和长期存在的异常检测技术。最近，自我监督的深度方法（例如RotNet）取得了重大进展。然而，自监督特征通常表现不佳Imagenet预训练特征。在这项工作中，我们研究了最近的进展是否真的可以优于最近邻方法在Imagenet预训练的特征空间上操作。实验表明，简单的最近邻方法优于自监督方法：准确性，Few Shot泛化，训练时间和噪声鲁棒性，同时对图像分布的假设较少。
2020-02-24 cs.CV cs.LG stat.ML
Rates of Convergence for Nearest Neighbor Classification
University of California, San Diego（加州大学圣地亚哥分校）
最近邻方法是一类流行的非参数估计方法，具有一些理想的性质，例如对不同空间区域中不同距离尺度的适应性。最近邻分类的收敛速度的先前工作没有完全反映这些微妙的性质。我们分析了这些估计量在度量空间中的行为，并在最小假设下提供了有限样本，分布相关的收敛速度。作为一个副产品，我们能够在比以前已知的更广泛的数据空间中建立最近邻的普遍一致性。我们说明了我们的上限和下限，通过引入平滑类定制的最近邻分类。
2014-07-02 cs.LG math.ST stat.ML
Near-optimal sample compression for nearest neighbors
Ariel University（阿里埃勒大学）；Ben-Gurion University of the Negev（内盖夫本-古里安大学）；Tel-Aviv University（特拉维夫大学）
我们提出了第一个样本压缩算法的最近邻居与非平凡的性能保证。我们补充这些保证，证明几乎匹配的硬度下限，这表明我们的界限是接近最优的。我们的结果产生了新的洞察力基于边缘的最近邻分类度量空间，并允许我们显着锐化和简化现有的界限。一些令人鼓舞的实证结果也被提出。
2018-03-26 cs.CC cs.LG
Improving the Predictive Performances of $k$ Nearest Neighbors Learning by Efficient Variable Selection
Rochester Institute of Technology（罗切斯特理工学院）
本文计算证明了一个急剧改善的预测性能$k$最近的邻居由于一个有效的前向选择的预测变量。我们展示了模拟和真实世界的数据，这种新的方法反复优于逐步选择下的回归模型
2022-11-04 cs.LG stat.ML
On high-dimensional modifications of the nearest neighbor classifier
Indian Statistical Institute（印度统计研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对最近邻分类器在HDLSS且类间尺度差异显著时的性能退化问题，本文提出改进方法并结合理论分析与模拟、基准数据集实验验证其性能。
2024-10-24 cs.LG stat.ML
Distributed Adaptive Nearest Neighbor Classifier: Algorithm and Theory
Texas Tech University（德克萨斯理工大学）；University of Miami（迈阿密大学）；New Jersey Institute of Technology（新泽西理工学院）
针对大规模分布式数据分类，提出一种由数据驱动随机选择近邻数并采用早停规则的分布式自适应 NN 分类器，证明其在子样本量足够大时达到近优超额风险收敛速率，并通过模拟和真实数据验证有效性。
2023-06-03 cs.LG stat.ME stat.ML
Unsupervised K-Nearest Neighbor Regression
Carl von Ossietzky Universität Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
在许多科学学科中，必须找到高维数据的结构，例如，恒星光谱、基因组数据或人脸识别任务。在这项工作中，我们提出了一种新的方法来非线性降维。它基于将K-最近邻回归拟合到用于学习低维流形的无监督回归框架。与大多基于核方法的相关方法类似，无监督K-最近邻（UNN）回归优化了潜在变量w.r.t.采用K-最近邻启发式的数据空间重构误差。优化潜在邻域的问题很难解决，但UNN公式允许设计有效的策略，迭代地将潜在点嵌入到固定的邻域拓扑结构中。UNN非常适合于高维数据的排序。迭代变量进行了实验分析。
2011-09-26 cs.LG stat.ML
Active Search for Nearest Neighbors
Handong Global University（韩东国际大学）
在模式识别或机器学习中，寻找给定点的最近邻是一项非常基本的任务。任务的所有方法基本上都是通过将给定点与数据集中的所有点进行比较来工作的。这就是为什么计算成本随着数据点的数量而增加。然而，人类的视觉系统似乎以不同的方式工作。当人类视觉系统试图在地图上找到一个点的邻居时，它直接关注该点周围的区域，并通过查看或放大和缩小该点来主动搜索邻居。在本文中，我们提出了一种创新的搜索方法，最近的邻居，这似乎非常类似于人类视觉系统的工作方式的任务。
2019-12-08 cs.LG
Nearest Neighbor-based Importance Weighting
University of Copenhagen（哥本哈根大学）；Delft University of Technology（代尔夫特理工大学）
重要性加权通常广泛应用于机器学习中，特别是处理数据协变量偏移问题的技术中。一种新的，直接的方法来确定这样的重要性加权。它依赖于最近邻分类方案，并且实现起来相对简单。各种分类任务的比较实验表明，我们所谓的最近邻加权（NNeW）计划的有效性。考虑到其性能，我们的程序可以作为一个简单而有效的基线方法的重要性加权。
2021-02-03 cs.LG stat.ML
Asymmetric Learning Vector Quantization for Efficient Nearest Neighbor Classification in Dynamic Time Warping Spaces
Technische Universität Berlin（柏林工业大学）
最近邻法和动态时间规整距离是时间序列分类中最常用的方法之一。这种方法对于大型训练集具有高存储和计算要求。为了解决这两个问题，本文将学习矢量量化（LVQ）从欧氏空间扩展到DTW空间。所提出的LVQ方案使用非对称加权平均作为更新规则。实验结果表明，非对称广义LVQ（GLVQ）优于其他国家的最先进的原型生成方法的最近邻分类的性能。
2017-03-24 cs.LG stat.ML
Bayesian Kernel and Mutual $k$-Nearest Neighbor Regression
R2 Research（R2 研究公司）
我们提出了两种非参数回归方法的贝叶斯扩展，这两种方法是核回归方法和互$k$ -最近邻回归方法。基于高斯过程回归模型导出，扩展提供了目标值估计的分布和选择超参数的框架。结果表明，这两种方法分别渐近收敛于核回归方法和互$k$ -最近邻回归方法.仿真结果表明，所提出的方法可以选择合适的超参数，并优于或相当于人工数据集和真实世界数据集的前方法。
2016-08-04 cs.LG stat.ML
Improving spam filtering by combining Naive Bayes with simple k-nearest neighbor searches
在过去的几个月里，使用朴素贝叶斯进行电子邮件分类已经变得非常流行。它们很容易实现，而且非常有效。在本文中，我们要提出的经验结果的电子邮件分类使用朴素贝叶斯和k-最近邻搜索的组合。使用这种技术，我们表明，贝叶斯过滤器的准确性可以稍微提高了大量的功能和显着的少量功能。
2003-11-30 cs.LG
A Nearest Neighbor Characterization of Lebesgue Points in Metric Measure Spaces
Toulouse School of Economics (TSE)（图卢兹经济学院（TSE））；Artificial and Natural Intelligence Toulouse Institute (ANITI)（图卢兹人工智能与自然智能研究所（ANITI））；Istituto Italiano di Tecnologia（意大利技术研究院）；Università degli Studi di Milano（米兰大学）
几乎每个点都是Lebesgue点的属性已被证明是基于最近邻的几种分类算法的一致性的关键。我们的特点勒贝格点的1-最近邻回归算法逐点估计，充实了相应的收敛问题中所发挥的作用，打破平局规则。然后，我们给出了我们的结果的应用，证明了收敛的风险的一大类1-最近邻分类算法在一般度量空间中，几乎每一个点都是Lebesgue点。
2021-01-12 cs.LG math.PR stat.ML
An Empirical Comparison of FAISS and FENSHSES for Nearest Neighbor Search in Hamming Space
Walmart Labs（沃尔玛实验室）
在本文中，我们比较FAISS和FENSHSES的性能最近邻搜索在汉明空间-一个基本的任务，在当今的电子商务中无处不在的应用。从索引速度、搜索延迟和RAM消耗等方面进行了综合评价。这种比较是为了更好地理解最近邻搜索系统在主存储器中实现的和在辅助存储器中实现的，这在很大程度上是未解决的文献之间的权衡。
2019-07-28 cs.CV cs.IR cs.LG
Nearest-Neighbor Radii under Dependent Sampling
Department of Statistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校统计系）；Department of Biostatistics, University of California, Berkeley, CA 94720, USA（加州大学伯克利分校生物统计学系）
研究依赖采样下最近邻半径的几何性质，建立分布无关的几乎必然收敛和尖锐非渐近矩界，适用于高维数据集中的低维流形。
2026-05-14 cs.LG math.ST stat.ML
Tensor-Train Point Cloud Compression and Efficient Approximate Nearest-Neighbor Search
Skolkovo（斯科尔科沃）；AIRI；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
本研究提出基于张量列低秩分解的点云表示新方法，结合概率解释与密度估计损失实现鲁棒压缩，利用其内在层次结构加速近似最近邻搜索，在OOD检测、ANN搜索等场景中验证了有效性。
2024-10-06 cs.CV cs.LG
One-Layer Transformer Provably Learns Multiclass One-Nearest Neighbor in Context
James B. Conant High School（詹姆斯·B·柯南特高中）；Illinois Institute of Technology（伊利诺伊理工大学）
该研究将单层Transformer与最近邻分类器的等价性从二分类扩展至多分类，证明带argmax头的单层Transformer等价于多分类单最近邻，填补了前期研究的空白。
2026-09-02 cs.LG stat.ML
Statistical Optimality of Interpolated Nearest Neighbor Algorithms
Purdue University（普渡大学）
在深度学习时代，理解过拟合现象变得越来越重要。据观察，精心设计的深度神经网络即使在训练误差接近于零的情况下也能实现小的测试误差。一种可能的解释是，对于许多现代机器学习算法，过拟合可以大大降低估计偏差，同时不会过多增加估计方差。为了说明上述思想，我们证明了建议的插值最近邻算法实现最小最大的最优率在回归和分类制度，并观察到他们是经验优于传统的$k$最近邻方法在某些情况下。
2018-11-30 cs.LG stat.ML
Approximate Nearest Neighbor Search through Comparisons
School of Computer
本文讨论了在n个对象的数据库中寻找查询对象q的最近邻（或R-最近邻之一）的问题。与大多数现有的方法相比，我们只能通过相似性预言来访问对象所处的“隐藏”空间。给定两个引用对象和一个查询对象，oracle返回最接近查询对象的引用对象。甲骨文试图模拟人类用户的行为，能够对相似性进行陈述，但不能为对象之间的距离分配有意义的数值。
2009-09-11 cs.DB cs.DS cs.LG
Nearest neighbor Methods and their Applications in Design of 5G & Beyond Wireless Networks
The University of Leeds（利兹大学）
在本文中，我们提出了最近邻（NN）的方法，这是经常使用监督学习解决分类问题的概述。文章简要介绍了理论背景，算法和实现方面的关键应用。从应用的角度来看，本文探讨了与5G及以后无线网络相关的挑战，这些挑战可以使用NN分类技术来解决。
2021-07-16 cs.LG cs.NI eess.SP
Consistency of the $k$-Nearest Neighbor Regressor under Complex Survey Designs
研究了在复杂抽样设计下k最近邻回归器的一致性，推导了收敛速率下界并展示了维度灾难现象，通过模拟和真实数据验证理论结果。
2026-03-18 cs.LG stat.ML
Analyzing the Robustness of Nearest Neighbors to Adversarial Examples
University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
受安全关键型应用的启发，通过对抗性示例对分类器进行测试时攻击最近受到了极大的关注。然而，人们普遍缺乏对对抗性示例产生的原因的理解;它们是由于数据的固有属性还是由于缺乏训练样本而产生的仍然不清楚。在这项工作中，我们引入了一个类似于偏差方差理论的理论框架来理解这些影响。我们使用我们的框架来分析规范非参数分类器（k-最近邻居）的鲁棒性。我们的分析表明，它的鲁棒性关键取决于k的值-分类器可能是固有的小k的非鲁棒性，但其鲁棒性的贝叶斯最佳分类器的快速增长的k。提出了一种改进的1-近邻分类器，并保证了其在大样本情况下的鲁棒性。我们的实验表明，即使对于合理的数据集大小，该分类器也可能具有良好的鲁棒性。
2019-06-19 cs.CR cs.LG stat.ML
Adaptive Estimation for Approximate k-Nearest-Neighbor Computations
Rice University（莱斯大学）
算法通常对“简单”和“困难”问题实例执行同样多的计算。特别地，用于寻找最近邻的算法通常具有相同的运行时间，而不管特定的问题实例。在本文中，我们考虑近似的k-最近邻问题，这是在一个给定的点集，包含一个给定的查询点的k个最近邻的集合中找到一个O（k）点的子集的问题。我们提出了一种算法的基础上自适应估计的距离，并表明，它本质上是最佳的算法，只允许自适应估计距离。然后，我们从理论上和实验上证明，该算法可以实现显着的加速比相对于天真的方法。
2019-02-25 cs.DS cs.LG stat.ML
Approximate Nearest Neighbor Search with Window Filters
Massachusetts Institute of Technology（麻省理工学院）；University of Maryland（马里兰大学）
本文研究了$c$-近似窗口搜索问题，提出了一种基于树的模块化框架，将传统近似最近邻索引转换为支持任意标签范围查询的数据结构，在相同召回率下实现了高达75倍的加速。
2024-06-04 cs.DS cs.IR cs.LG
Adaptively-weighted Nearest Neighbors for Matrix Completion
Cornell University（康奈尔大学）；The Wharton School（沃顿商学院）；Cornell Tech（康奈尔科技）
本文提出 AWNN 自适应加权最近邻矩阵补全方法，通过平衡偏差—方差权衡自动选择半径与权重，并在最少假设下给出理论保证及合成实验验证。
2025-05-14 cs.LG math.ST stat.ME
