A Novel Nearest Neighbors Algorithm Based on Power Muirhead Mean
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文提出PMM-KNN算法，将K最近邻与自适应幂Muirhead均值结合，通过计算局部均值提升分类精度，在复杂高维数据集上表现优越。
2024-05-24 cs.AI cs.LG
Approximate kNN Classification for Biomedical Data
University of Thessaly（色萨利大学）
我们正处于大数据分析改变了解释各种生物医学现象的方式的时代，随着生成的数据的增加，对新的机器学习方法来处理这种演变的需求也在增长。一个典型的例子是单细胞RNA-seq（scRNA-seq），这是一种新兴的DNA测序技术，具有很有前途的能力，但由于大规模生成的数据而面临重大的计算挑战。关于scRNA-seq数据的分类过程，一种合适的方法是k最近邻（kNN）分类器，因为它通常用于大规模预测任务，这是由于其简单性、最小参数化和无模型性质。然而，scRNA-seq的超高维度特征造成了计算瓶颈，而预测能力可能受到“诅咒”的影响。在这项工作中，我们提出了利用近似最近邻搜索算法来完成scRNA-seq数据中的kNN分类任务，重点是针对高维数据量身定制的特定方法。我们认为，即使是宽松的近似解决方案将不会影响预测性能显着。实验结果证实了原来的假设，提供了更广泛的适用性的潜力。
2020-12-03 cs.LG
Near-Exponential Convergence Rates for kNN Classification based on Boltzmann Margin
School of Computer Science, University of Oklahoma（计算机科学系，俄克拉荷马大学）
提出玻尔兹曼间隔条件，介于Tsybakov与Massart间隔之间，首次证明kNN分类器可实现近指数收敛速率。
2026-10-16 cs.LG stat.ML
TK-KNN: A Balanced Distance-Based Pseudo Labeling Approach for Semi-Supervised Intent Classification
University of Notre Dame（圣母大学）；ServiceNow Research（ServiceNow研究院）
本文提出TK-KNN方法，通过基于嵌入空间距离的伪标签技术和基于排序的类别平衡机制，解决半监督意图分类中伪标签样本不平衡问题，在标记数据稀缺时显著优于现有模型。
2023-10-17 cs.LG
Extend natural neighbor: a novel classification method with self-adaptive neighborhood parameters in different stages
Chongqing University（重庆大学）
各种基于k-近邻（KNN）的分类方法是许多成熟的、高性能的模式识别技术的基础，但它们都容易受到参数选择的影响。从本质上讲，挑战在于检测各种数据集的邻域，而完全不知道数据特征。本文介绍了一种新的监督分类方法--扩展自然近邻（ENaN）方法，并证明了该方法无需人为选择邻域参数就能获得较好的分类结果。与需要先验k的原始基于KNN的方法不同，ENaNE方法在不同阶段预测不同的k。因此，ENaNE方法能够在训练阶段和测试阶段从灵活的邻居信息中学习更多，并提供更好的分类结果。
2016-12-07 cs.AI cs.LG
kNN Classification of Malware Data Dependency Graph Features
The College of Wooster（伍斯特学院）；University of Cincinnati（辛辛那提大学）
本文提出基于数据依赖图特征与kNN非参数学习进行恶意软件分类，在Kaggle 2015数据集上实现高准确率，并证明该特征表示能同时捕获语义与结构信息以增强可解释性。
2024-07-06 cs.AI cs.CR cs.LG
Human Emotion Classification based on EEG Signals Using Recurrent Neural Network And KNN
SRM Institute Of Science And Technology（SRM科学技术学院）；SSJ Government Institute Of Medical Science And Research（SSJ政府医学科学研究所）
本文利用离散小波变换结合RNN和kNN算法对EEG信号进行情绪三分类，通过通道选择预处理构建特征向量，平均准确率分别达到94.844%和93.438%。
2022-05-10 cs.AI cs.HC cs.LG
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology（国际商业农业技术大学）；Islamic University of Technology（伊斯兰科技大学）
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis（NCA）降维方法，并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先，通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性，这些数据集的维度已经减少到原始维度的50%。然后，每个数据集分类应用K-最近邻（KNN），扩展最近邻（ENN）和支持向量机（SVM）分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中，训练测试数据比率始终设置为90%：10%。在分类时，观察和分析精度之间的变化，以找到每个降维技术与每个分类器的兼容程度，并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
Missing Data Imputation for Classification Problems
University of North Carolina（北卡罗来纳大学）
缺失数据的填补是特征训练矩阵具有缺失性的各种分类问题中的常见应用。一个广泛使用的解决方案，这个插补问题是基于懒惰的学习技术，$k$ -最近邻（kNN）的方法。然而，大多数以前的工作缺失数据没有考虑到分类问题中的类标签的存在。此外，现有的kNN插补方法使用Minkowski距离的变体作为距离的度量，这对于异构数据不起作用。本文提出了一种新的基于类加权灰色距离的迭代kNN填补技术。灰距离在具有缺失实例的异构数据中工作良好。距离由互信息（MI）加权，互信息是特征和类标签之间的特征相关性的度量。这确保了训练数据的插补是针对提高分类性能。这类加权灰色kNN插补算法相比，其他kNN插补算法，以及标准的插补算法，如MICE和missForest，在插补和分类问题的表现有所改善。这些问题是基于模拟场景和UCI数据集与各种率的缺失。
2020-02-25 cs.LG stat.AP stat.ME
Making informed decisions in cutting tool maintenance in milling: A KNN-based model agnostic approach
Modern Education Society’s Wadia College of Engineering（现代教育协会瓦迪亚工程学院）；COEP Technological University（COEP理工大学）；Institute of Fluid Flow Machinery, Polish Academy of Sciences（波兰科学院流体机械研究所）；Cummins College of Engineering for Women（康明斯女子工程学院）
本文提出一种基于KNN的白盒模型，用于在铣削中通过揭示特征影响来提高切削工具维护决策的透明性。
2026-03-03 cs.LG
On the Inflation of KNN-Shapley Value
Brandeis University（布兰迪斯大学）；Tsinghua University（清华大学）
针对Shapley值数据估值中的价值膨胀问题，提出CKNN-Shapley方法，通过校准零阈值区分有害与有益样本，实验证明其能有效缓解膨胀、检测有害样本并适用于多种实际学习场景。
2024-05-25 cs.AI cs.LG
Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification
xAILab, University of Bamberg（班贝格大学xAILab）
本文提出将k-NN分类器与自监督视觉基础模型结合，通过独立存储训练数据嵌入实现无需重训的动态数据修改，在基准和医学图像分类任务中验证了性能提升、持续学习与数据删除鲁棒性，并兼顾隐私与可解释性。
2024-02-19 cs.CV cs.LG eess.IV
Minimax Rate Optimal Adaptive Nearest Neighbor Classification and Regression
University of California, Davis（加州大学戴维斯分校）
k最近邻（kNN）方法是一种简单而流行的分类和回归统计方法。对于分类和回归问题，现有的工作已经表明，如果特征向量的分布有界的支持和密度函数有界远离零的支持，标准的kNN方法，其中k是相同的所有测试样本的收敛速度，是最小最大最优的。相反，如果分布有无界的支持，我们表明，有一个差距之间的收敛速度实现的标准kNN方法和极大极小界。为了缩小这一差距，我们提出了一种自适应kNN方法，其中不同的k是为不同的样本选择。我们的选择规则不需要精确的知识的基本分布的功能。新提出的方法显着优于标准的。我们刻画了所提出的自适应方法的收敛速度，并表明它符合极大极小下界。
2019-10-22 cs.LG math.ST stat.ML
Performance Evaluation of t-SNE and MDS Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
IUBAT（孟加拉国际大学（IUBAT））；IUT（伊斯兰科技大学（IUT））
本文的主要目的是在Matlab中建立两种常用的降维方法，即t分布随机邻域嵌入（t-SNE）和多维尺度（MDS），并观察它们在几个数据集上的应用。这些DR技术应用于九个不同的数据集，即CNAE 9，分割，种子，皮马印第安人糖尿病，帕金森氏症，运动天秤座，乳房摄影质量，知识，和电离层从UCI机器学习库中获得。通过应用t-SNE和MDS算法，通过从数据集中消除不必要的特征，每个数据集被转换到其原始维度的一半。随后，这些数据集与减少的维度被送入三个监督分类算法进行分类。这些分类算法是K最近邻（KNN）、扩展最近邻（ENN）和支持向量机（SVM）。同样，所有这些算法都在Matlab中实现。每个数据集的训练数据和测试数据比率保持为90%：10%。在准确率观察的基础上，分析了每种维度技术与有效分类算法的效率，并对每种分类器的性能进行了评估。
2020-06-20 cs.LG stat.ML
Learning a metric for class-conditional KNN
Janelia Research Campus, HHMI（珍利亚研究园区，霍华德·休斯医学研究所）；University of Guelph（圭尔夫大学）
朴素贝叶斯最近邻（NBNN）是一个简单而有效的框架，它解决了K-最近邻（KNN）分类的许多陷阱。它在几个计算机视觉基准测试中取得了有竞争力的结果。它的核心原则是在NN搜索过程中，查询不会与数据库中的每个示例进行比较，忽略了类信息。相反，NN搜索在每个类内执行，从而为每个类生成分数。NN技术（包括NBNN）的一个关键问题是，当数据表示不能捕获感知（例如，基于类的）相似性。NBNN通过使用独立的工程描述符（例如~ SIFT）。为了将其适用性扩展到基于图像的领域之外，我们建议学习一种捕获感知相似性的度量。类似于邻域成分分析如何优化KNN分类的可微形式，我们提出了“类条件”度量学习（CCML），它优化了NBNN选择规则的软形式。典型的度量学习算法学习全局或局部度量。然而，我们提出的方法可以通过调整单个参数来调整到特定的局部水平。对分类和检索任务的实证评估表明，我们提出的方法在各种图像和非图像数据集上明显优于现有的学习距离度量。
2016-07-11 cs.LG stat.ML
A Random Projection k Nearest Neighbours Ensemble for Classification via Extended Neighbourhood Rule
Abdul Wali Khan University（阿卜杜勒·瓦利·汗大学）；King Abdul Aziz University（阿卜杜勒·阿齐兹国王大学）
基于k近邻（kNN）的集成组合了大量的基础学习器，每个学习器都是在从给定的训练数据中获取的样本上构建的。典型的基于kNN的集成确定训练数据中的k个最接近的观测值，该训练数据通过球形区域被限制到测试样本点以预测其类别。本文提出了一种新的随机投影扩展邻域规则（RPExNRule）集成，其中从给定的训练数据的引导样本被随机投影到较低的维度，以增加基础模型中的随机性并保留特征信息。它使用扩展的邻域规则（ExNRule）来拟合kNN作为随机投影自举样本的基础学习器。
2023-03-21 cs.LG stat.ML
Instance-based learning using the Half-Space Proximal Graph
CICESE（墨西哥下加利福尼亚科学研究与高等教育中心）
基于实例的学习的主要例子是$k$ -最近邻规则（kNN），因其简单性和适应新的不可见数据和丢弃旧数据的能力而受到称赞。经常提到的主要缺点是分类复杂性，即$O(n)$，以及参数$k$的估计，即要使用的最近邻的数量。在分类时使用指标弥补了前者的不足，而后者则没有定论。提出了一种基于{ \em Half-Space Proximal}（HSP）图的无参数实例学习算法。HSP的邻居同时具有接近性和多样性的中心节点。为了对给定的查询进行分类，我们计算它的HSP邻居，并对它们应用简单的多数规则。在我们的实验中，所得到的分类器优于$KNN$的任何$k$在电池的数据集。这种改进即使在将加权多数规则应用于kNN和HSP分类器时也是如此。令人惊讶的是，当使用概率指数来近似HSP图并因此加速分类任务时，我们的方法可以{ \em提高}其准确性，这与使用概率指数的kNN分类器形成鲜明对比。
2021-02-04 cs.LG
Fast kNN mode seeking clustering applied to active learning
PRLab, Delft University of Technology（代尔夫特理工大学模式识别实验室）；Prime Vision（Prime Vision 公司）
一个显着更快的算法，提出了原来的kNN模式搜索过程。它的优点是在高维向量空间中是可行的，并导致唯一的，定义良好的模式。此外，没有任何额外的计算工作，它可以产生一个多尺度层次的聚类。时间复杂度为O（n^1.5）结果计算时间从10^4个物体的秒到10^5个物体的分钟到10^6个物体的不到一小时不等。时间复杂度为O（n）。该程序非常适合于寻找大的小集群集，从而是一个候选人，以分析数以百万计的对象中的数千个集群。kNN模式搜索过程可以通过将聚类分配给聚类的模态对象的类来用于主动学习。最多可达150万个手写体数字的实例表明了该方法的可行性。将基于聚类得到的分类结果与最近邻规则和基于相同标记对象训练的支持向量分类器得到的分类结果进行了比较。可以得出结论，使用聚类结构进行分类可以明显优于使用训练的分类器。然而，使用聚类进行分类的缺点在于，没有获得可以用于样本外对象的分类器。
2017-12-20 cs.LG stat.ML
POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification
College of Business and Economics（商业与经济学院）；United Arab Emirates University（阿拉伯联合酋长国大学）
针对固定邻域不符合局部类别几何时近邻分类性能下降的问题，提出POSSE-kNN路径式k近邻集成方法，在10个二分类基准数据集上的三个核心指标均取得最佳汇总结果。
2026-08-03 cs.LG stat.ML
Deep vs. Diverse Architectures for Classification Problems
Kaplan University（卡普兰大学）
这项研究比较了各种超级学习者和深度学习架构（基于机器学习和基于神经网络）在几个模拟和工业数据集上的分类问题，以评估性能和计算效率，因为这两种方法都具有良好的理论收敛特性。在非线性和混合线性/非线性预测关系数据集上，超级学习者公式在小到中等样本量（500-2500）下的表现优于其他方法，而深度神经网络在所有大小的线性预测关系数据集上表现良好。这表明与深度神经网络架构相比，超级学习器在现实世界数据的许多混乱分类问题上的收敛速度更快。超级学习者还产生可解释的模型，允许用户检查数据中的重要信号;此外，它们提供灵活的公式，用户可以通过低计算成本的基础算法保持良好的性能。K-最近邻（KNN）回归也证明了使用超级学习器框架的改进; KNN超级学习器始终优于深度架构和KNN回归，这表明超级学习器可以通过利用各种算法来探测数据空间来更好地捕获局部和全局几何特征。
2017-08-21 cs.LG stat.ML
Classification of Pedagogical content using conventional machine learning and deep learning model
University for Business and Technology（商业与技术大学）
互联网和大量数字技术的出现带来了许多不同的挑战。在网络上发现了大量的数据，在大多数情况下，这些数据是非结构化和无组织的，这导致了这样一个事实，即使用和操纵这些数据是一个相当困难的过程。由于这一事实，使用不同的机器和深度学习技术进行文本分类已经获得了它的重要性，这改进了这门学科，并使科学家和研究人员对进一步研究更加感兴趣。本文旨在使用两种不同的模型对教学内容进行分类，即传统模型中的K最近邻（KNN）和深度学习模型中的长短期记忆（LSTM）递归神经网络。实验结果表明，KNN模型对教学内容的分类准确率达到92.52%，LSTM模型达到87.71%。
2021-01-18 cs.AI cs.IR cs.LG
Non-Intrusive Electrical Appliances Monitoring and Classification using K-Nearest Neighbors
Vanderbilt University（范德堡大学）；International University of Business Agriculture and Technology（国际商业农业技术大学）
非侵入式负载监控（NILM）是一种从聚合能耗特征中检测单个设备的能量信号的方法[1]。由于现有的能量计除了提供聚合的额定功率之外几乎不提供关于各个电器的能量消耗的信息，所以通过NILM发现各个电器的能量使用不仅将向消费者提供电器特定的能量使用的反馈，而且还导致他们的消费行为的改变，这促进了节能。B Neenan等人[2]已经证明，直接的个人特定于电器的能量使用信号导致消费者的行为变化，从而将能量效率提高多达15%。在分解能量信号时，需要根据适当的器具对信号进行分类。因此，本文的目标是将总能耗数据分解为单个设备签名，然后使用称为K-最近邻（KNN）的突出监督分类方法对特定于设备的能源负载进行分类。为了执行此操作，我们使用了一个可公开访问的来自几个房屋的电力信号数据集，称为REDD数据集。在应用KNN之前，为每个设备预处理数据。然后应用KNN检验它们的能耗特征是否可分离。在K=5时应用KNN。
2019-11-22 cs.LG eess.SP
Dynamic Ensemble Selection Using Fuzzy Hyperboxes
École de technologie supérieure（高等技术学院）
大多数动态集成选择（DES）方法利用K-最近邻（KNN）算法来估计查询样本周围小区域中分类器的能力。然而，KNN对数据的局部分布非常敏感。此外，它还具有很高的计算成本，因为它需要将整个数据存储在内存中，并在推理期间执行多次距离计算。因此，对KNN算法的依赖最终限制了DES技术在大规模问题中的使用。提出了一种基于模糊超盒的DES框架FH-DES。每个超盒可以仅使用两个数据点（最小和最大角）来表示一组样本。因此，基于超盒的系统将具有比其他动态选择方法更少的计算复杂性。此外，尽管基于KNN的方法，模糊超盒是不敏感的本地数据分布。因此，样本的局部分布不会影响系统的性能。此外，在这项研究中，第一次，误分类样本被用来估计的能力的分类器，这是没有观察到在以前的融合方法。实验结果表明，该方法具有较高的分类精度，同时具有较低的复杂度相比，最先进的动态选择方法。实现的代码可在https://github.com/redavtalab/FH-DES_IJCNN.git上获得。
2022-05-20 cs.AI cs.LG
A Novel Pseudo Nearest Neighbor Classification Method Using Local Harmonic Mean Distance
School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；College of Big Data, Weifang Institute of Technology（潍坊理工学院大数据学院）
提出LMPHNN方法，利用局部调和平均距离改进伪最近邻分类，在UCI数据集上平均精确率97%，显著优于七种KNN变体，尤其适用于小样本场景。
2024-05-28 cs.LG
The Alchemy of Thought: Understanding In-Context Learning Through Supervised Classification
Department of Computer Science, University of Arizona（计算机科学系，亚利桑那大学）
本文通过比较LLM与监督分类器的行为，发现ICL在高相关性时更接近kNN，而在低相关性时LLM表现更优，揭示了注意力机制与GD的区别。
2026-01-03 cs.LG
Not Far Away, Not So Close: Sample Efficient Nearest Neighbour Data Augmentation via MiniMax
University of Alberta（阿尔伯塔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在自然语言处理（NLP）中，寻找能够产生高质量人类可解释示例的数据增强技术一直是一项挑战。最近，利用kNN，从大型未标记句子库中检索增强的示例，朝着可解释的增强迈出了一步。受这种范式的启发，我们引入Minimax-kNN，一个样本有效的数据增强策略量身定制的知识蒸馏（KD）。我们利用一种基于KD的半监督方法在增强数据上训练模型。与现有的盲目合并所有样本的kNN增强技术相比，我们的方法动态地选择了一个增强样本的子集，使教师和学生模型之间的KL分歧最大化。此步骤旨在提取最有效的样本，以确保我们的增强数据覆盖输入空间中具有最大损失值的区域。我们在几个文本分类任务上评估了我们的技术，并证明了Minimax-kNN始终优于强基线。我们的研究结果表明，Minimax-kNN需要更少的增强的例子和更少的计算，以实现优越的性能比最先进的基于kNN的增强技术。
2021-06-02 cs.CL cs.LG
Efficient Estimation of the number of neighbours in Probabilistic K Nearest Neighbour Classification
School of Mathematical Sciences, University College Dublin, Ireland（爱尔兰都柏林大学数学科学学院）
概率最近邻（PKNN）分类已被引入，以提高性能的原始k-最近邻（KNN）分类算法，明确建模的不确定性，在每个特征向量的分类。然而，KNN和PKNN的共同问题是选择最佳的邻居数$k$。本文的贡献是将$k$中的不确定性纳入决策中，并在这样做时使用贝叶斯模型平均来提供改进的分类。实际上，评估$k$中的不确定性的问题可以被视为统计模型选择的问题之一，这是统计和机器学习领域中最重要的技术问题之一。在本文中，一个新的功能近似算法，提出了重建密度的模型（阶），而不依赖于耗时的蒙特卡罗模拟。此外，该算法采用贝叶斯框架，避免了交叉验证。该算法的性能在几个真实的实验数据集上取得了非常好的性能。
2013-05-05 cs.LG stat.ML
TRAKNN: Efficient Trajectory Aware Spatiotemporal kNN for Rare Meteorological Trajectory Detection
University of Montpellier（蒙彼利埃大学）；Inria（法国国家信息与自动化技术研究所）；CNRS（法国国家科学研究中心）；LIRMM（蒙彼利埃信息与多媒体研究所）；Laboratoire des Sciences du Climat et de l’Environnement（气候与环境科学实验室）；UMR 8212 CEA-CNRS-UVSQ（CEA-CNRS-UVSQ联合实验室）；Université Paris-Saclay（巴黎-萨克雷大学）；IPSL（国际行星科学实验室）；London Mathematical Laboratory（伦敦数学实验室）；LMD/IPSL；ENS（法兰西公学）；Université PSL（巴黎政治学院）；École Polytechnique（巴黎高等理工学院）；Institut Polytechnique de Paris（巴黎理工学院）；Sorbonne Université（索邦大学）
TRAKNN通过高效算法检测稀有气象轨迹，利用无监督方法在时空数据中发现罕见的大气异常。
2026-03-02 cs.LG stat.ML
Shapley-Based Data Valuation with Mutual Information: A Key to Modified K-Nearest Neighbors
1 Department of Electrical；Computer Engineering, Aarhus University, Denmark 2 Department of Electrical；Computer Engineering, Universitat Polit\`ecnica de Val\`encia, Spain 3 Department of Electrical；Computer Engineering, University of Tehran, Iran
针对KNN算法同等对待所有样本的局限，提出IM-KNN方法，利用互信息和Shapley值为邻居分配加权值，在多个数据集上显著提升了准确率、精确率、召回率及对噪声的鲁棒性。
2025-07-10 cs.IT cs.LG math.IT
Learning Minimum Volume Sets and Anomaly Detectors from KNN Graphs
提出了一种高维数据的非参数异常检测算法。我们首先对来自$n$点标称训练数据的最近邻图的分数进行排名。然后，我们训练有限的复杂度模型来模仿这些分数的基础上的最大利润率学习排名框架。如果预测分数在$α$百分位数内，则将测试点声明为$α$ -假警报水平的异常。所得到的异常检测器被证明是渐近最优的，在任何虚警率$α$，其决策区域收敛到$α$百分位数的最小体积水平集的未知的底层密度。此外，我们测试了我们的算法的统计性能和计算效率上的一些合成和真实数据的实验。我们的研究结果表明，我们的算法优于现有的$K$ -NN基于异常检测算法，具有显着的计算节省。
2016-01-22 cs.LG stat.ML
PL-kNN: A Parameterless Nearest Neighbors Classifier
São Paulo State University（圣保罗州立大学）；University of Wolverhampton（伍尔弗汉普顿大学）
在机器学习模型中需要最小参数设置，以避免耗时的优化过程。$k$ -最近邻模型是在许多问题中使用的最有效和最直接的模型之一。尽管其众所周知的性能，它需要$k$的值用于特定的数据分布，因此需要昂贵的计算工作。本文提出了一个$k$ -最近邻分类器，绕过需要定义的值的$k$。该模型考虑训练集的数据分布自适应地计算$k$值。我们将所提出的模型与标准的$k$ -最近邻分类器和文献中的两个无参数版本进行了比较。在11个公共数据集上的实验结果表明，该方法具有较好的鲁棒性，其结果与同类方法相似甚至更好。
2022-09-30 cs.LG
Modulation and signal class labelling using active learning and classification using machine learning
NIT Surathkal（苏拉特卡尔国家理工学院）
机器学习（ML）中的监督学习需要标记数据集。进一步的实时数据分类需要一种易于获得的标记方法。无线调制和信号分类在军事、商业、电子侦察、认知无线电等领域有着广泛的应用。本文主要研究了基于主动学习框架的实时无线调制和信号类别标注问题。进一步的调制和信号分类是用机器学习算法，如KNN，SVM，朴素贝叶斯。主动学习有助于用最少的数据样本来标记属于不同类的数据点。对于信噪比为18 dB的信号，主动学习算法的准确率为86%。此外，基于KNN的调制和信号分类模型在信噪比范围内表现良好，对18 dB信号的准确率为99.8%。这项工作的新颖性存在于应用主动学习无线调制和信号类标签。调制和信号类别都是在给定的时间标记的帮助下，从数据样本的偶联形成。
2022-02-23 cs.LG eess.SP
Order-Preserving Dimension Reduction for Multimodal Semantic Embedding
本文提出保序降维方法OPDR，通过新的KNN质量全局度量与闭式映射，在降低多模态嵌入维度的同时保持近邻排序，实验证明其能在显著减少计算成本的同时维持高召回准确率。
2025-08-22 cs.AI cs.IR cs.LG
A new hashing based nearest neighbors selection technique for big datasets
Beijing Institute of Technology（北京理工大学）
KNN被认为是用于分类或回归的最简单但有效的监督学习算法。KNN预测效率高度依赖于其训练数据的大小，但是当该训练数据增长时，KNN在做出决策时遭受缓慢，因为它需要在每次决策时在整个数据集内搜索最近的邻居。本文提出了一种新的技术，使选择最近的邻居直接在附近的一个给定的观察。所提出的方法包括将数据空间划分为子单元的虚拟网格上建立的数据空间。数据点和子单元之间的映射使用散列来执行。在选择给定观测值的最近邻居时，我们首先使用散列来识别观测值所属的单元格，然后逐层从该中心单元格及其周围的单元格中寻找最近邻居。从我们在公开数据集上的实验性能分析来看，我们的算法在时间效率上优于原始KNN，并且预测质量与KNN一样好，并且与KDtree等解决方案相比具有竞争力的性能。
2021-02-10 cs.DS cs.LG stat.ML
A Note on "Efficient Task-Specific Data Valuation for Nearest Neighbor Algorithms"
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出一种基于新效用函数的 soft-label KNN-SV 数据估值方法，并利用 LSH 设计高效近似算法，在保持同等时间复杂度的同时，于误标数据检测任务中优于原始方法。
2023-11-26 cs.LG stat.ML
Fast k-means based on KNN Graph
Xiamen University（厦门大学）
在大数据时代，k-means聚类已被广泛采用作为各种背景下的基本处理工具。然而，它的计算成本可能会过高，因为数据大小和聚类数很大。众所周知，k-means的处理瓶颈在于每次迭代中寻找最近质心的操作。在本文中，一个新的解决方案对可扩展性问题的k-means。在该建议中，k-means由近似k-最近邻图支持。在k-means迭代中，每个数据样本仅与其最近邻居所在的聚类进行比较。由于我们考虑的最近邻居的数量远小于k，因此这一步的处理成本变得很小，与k无关。因此，克服了处理瓶颈。最有趣的是，k-最近邻图是通过迭代调用快速$k$ -means本身来构造的。与现有的快速k-means算法相比，该算法在保持高聚类质量的同时，实现了数百到数千倍的加速。当它在1000万个512维数据上进行测试时，生成100万个集群只需要5.2小时。相比之下，要实现相同规模的聚类，传统的k-means需要3年时间。
2017-05-04 cs.AI cs.CV cs.LG
Learning with Mandelbrot and Julia
Faculty of Mathematics and Natural Sciences（数学与自然科学学院）；Institut Teknologi Bandung（万隆技术大学）；Sorbonne University Abu Dhabi（阿布扎赫尔索邦大学）；Sorbonne Center for Artificial Intelligence（索邦人工智能中心）；Institut Teknologi Sepuluh Nopember（十月份技术大学）；Khalifa University（卡利法大学）
本研究将监督学习拓展至分形集分类与结构分析，以Mandelbrot集和Julia集为对象，证实多种ML模型相比传统阈值法准确率更高、成本更低，还为纯数学研究提供新思路。
2025-08-31 cs.LG nlin.CD
Participation anticipating in elections using data mining methods
Universiti Teknologi Malaysia（马来西亚理工大学）；Science and Research Branch Islamic Azad University（伊斯兰阿扎德大学科学与研究分校）
预测人们的政治行为将大大有助于选举候选人评估他们成功的可能性，并承认公众选择他们的动机。本文利用KNN、分类树和朴素贝叶斯方法，以及基于crisp的预测工具orange，给出了总统选举参与预测系统的总体结构。为了测试和评估所提出的模型，我们开始使用的案例研究，选择100名合格的人谁参加第11届伊朗伊斯兰共和国总统选举，并预计他们在Kohkiloye和Boyerahmad的参与。我们表明，KNN可以进行预测和分类过程中，与其他两种算法相比，预测参与具有较高的准确性。
2013-07-29 cs.CY cs.LG
Clustering and Classification with Non-Existence Attributes: A Sentenced Discrepancy Measure Based Technique
World University of Bangladesh (WUB)（孟加拉世界大学）
对于一些或所有的数据实例，一些独立世界聚类问题遭受不完整的数据表征，由于丢失或缺失属性。典型的聚类方法不能直接应用于这样的数据，除非预处理的技术，如插补或边缘化。我们已经克服了这个缺点，利用一个句子离散措施，我们称之为属性加权惩罚的离散（AWPD）。利用AWPD度量，对聚类算法K-MEANS++和Scalable K-MEANS++以及分类算法k近邻（kNN）进行了改进，使其直接适用于不存在属性的数据集。理论分析表明，基于AWPD的K-MEANS++算法、Scalable K-MEANS++算法和kNN算法在迭代次数有限的情况下合并成一个局部素数。我们已经报告了针对各种形式的不存在的许多基准数据集的深入实验，表明与通常用于处理此类不充分数据的一些著名的插补方法相比，投影聚类和分类技术通常显示出更好的结果。该技术的目的是跟踪宝贵的数据：直接应用我们的方法对数据集的非存在属性，并建立一个方法来检测非结构化的非存在属性具有最佳的准确率和最小的成本。
2020-02-24 cs.LG stat.ML
A computational study on imputation methods for missing environmental data
École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）
数据采集和以数据库形式记录是常规操作。然而，收集数据的过程可能会出现不规范的情况，导致数据库出现数据缺失。缺失的条目可能会改变分析效率，从而影响相关的决策过程。本文着重于收集与自然环境有关的信息的数据库。鉴于记录的活动范围广泛，这些数据库通常具有混合性质。因此，考虑到这一特征，评价缺失数据处理方法的性能是相关的。本文研究了几种缺失数据填补方法的性能及其在环境缺失数据问题中的应用。进行了计算研究，比较方法missForest（MF）与其他两种插补方法，即多元插补链方程（MICE）和K-最近邻（KNN）。对10个不同类型的预处理数据集进行了测试。结果显示，MF在插补误差方面通常优于MICE和KNN，与其他方法相比，MF将插补误差降低至150%的混合类型数据库的性能差距更明显。KNN通常是最快的方法。MF，然后成功地应用到魁北克污水处理厂的性能监测的案例研究。我们认为，本研究表明，使用MF作为填补方法时，处理缺失的环境数据的相关性。
2021-08-21 cs.DB cs.LG stat.AP
A new network-base high-level data classification methodology (Quipus) by modeling attribute-attribute interactions
FFCLRP-USP（巴西 Ribeirão Preto 哲学院（圣保罗大学））
高级分类算法关注实例之间的交互。这些产生了一种新的形式来评估和分类数据。在这个过程中，核心是复杂网络构建方法论。目前的方法使用kNN的变化来产生这些图。然而，这些技术忽略了属性之间的一些隐藏模式，并要求规范化是准确的。在本文中，我们提出了一种新的方法，网络建设的基础上属性的相互作用，不需要规范化。目前的结果表明，这种方法提高了基于介数中心性的高级分类算法的准确性。
2020-09-28 cs.LG stat.ML
AffinityNet: semi-supervised few-shot learning for disease type prediction
University at Buffalo（布法罗大学）
虽然深度学习在计算机视觉和许多其他领域取得了巨大的成功，但目前它在具有“大p，小N”问题的患者基因组数据上并不能很好地工作（即，相对少量的具有高维特征的样本）。为了使深度学习能够使用少量的训练数据，我们必须设计新的模型来促进少样本学习。在这里，我们提出了亲和网络模型（AffinityNet），这是一种数据高效的深度学习模型，可以从有限数量的训练样本中学习，并具有良好的泛化能力。AffinityNet模型的主干由堆叠的k-最近邻（kNN）注意力池层组成。kNN注意力池层是图注意力模型（GAM）的推广，不仅可以应用于图，还可以应用于任何对象集，无论图是否给定。作为一种新的深度学习模块，kNN注意力池层可以像卷积层一样插入任何神经网络模型。作为kNN注意力池层的一个简单特例，特征注意力层可以直接选择对分类任务有用的重要特征。在TCGA项目的合成数据和癌症基因组数据上的实验表明，我们的AffinityNet模型比传统的神经网络模型具有更好的泛化能力，几乎没有训练数据。该代码可在https://github.com/BeautyOfWeb/AffinityNet上免费获得。
2018-09-05 cs.LG stat.ML
Integrating Product Coefficients for Improved 3D LiDAR Data Classification (Part II)
New York City College of Technology, CUNY（纽约城市科技学院，CUNY）；Worcester Polytechnic Institute（沃斯顿理工学院）
本研究在先前工作基础上，将乘积系数与自编码器及KNN分类器结合，逐级添加系数，显著提升3D LiDAR点云分类的类别可分性和准确率。
2025-10-17 cs.LG
Instance-based Learning with Prototype Reduction for Real-Time Proportional Myocontrol: A Randomized User Study Demonstrating Accuracy-preserving Data Reduction for Prosthetic Embedded Systems
German Aerospace Center (DLR)（德国航空航天中心）；CERN（欧洲核子研究组织）；University of Trento（特伦托大学）
本研究针对假肢肌电控制的实时计算需求，提出结合DSM原型约简的kNN手势检测方法，经随机双盲用户研究验证，该方法在数据约简超99%的情况下保持准确率，且复杂度线性，适配嵌入式可穿戴假肢设备。
2023-08-21 cs.HC cs.LG cs.RO
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America（NEC美国实验室）；National Research Council Canada（加拿大国家研究委员会）
与k-最近邻（kNN）相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而，这些方法中的大多数涉及成对的训练数据比较，并且因此具有关于训练集的大小的二次计算复杂性，从而阻止它们扩展到相当大的数据集。此外，在测试期间，将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外，以前的指标要么太受约束，要么太有表现力，无法很好地学习。为了有效地解决这些问题，我们提出了一个样本为中心的监督浅参数数据嵌入模型，使用最大塌陷度量学习（MCML）的目标。我们的策略学习浅高阶参数嵌入函数，并仅将训练/测试数据与学习或预先计算的样本进行比较，从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明，对于二维嵌入空间中的分类，我们的方法不仅使kNN的加速提高了数百倍，而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Touch Analysis: An Empirical Evaluation of Machine Learning Classification Algorithms on Touch Data
North Carolina A&T State University（北卡罗来纳A&T州立大学）
本研究基于Touch-Analytics数据集评估多种机器学习分类算法在触摸屏用户认证上的表现，通过提取新特征并提出三全连接层的DNN架构，使决策树和DNN分类器达到100%的分类准确率。
2023-11-23 cs.LG cs.NE
