Approximate kNN Classification for Biomedical Data
University of Thessaly（色萨利大学）
我们正处于大数据分析改变了解释各种生物医学现象的方式的时代，随着生成的数据的增加，对新的机器学习方法来处理这种演变的需求也在增长。一个典型的例子是单细胞RNA-seq（scRNA-seq），这是一种新兴的DNA测序技术，具有很有前途的能力，但由于大规模生成的数据而面临重大的计算挑战。关于scRNA-seq数据的分类过程，一种合适的方法是k最近邻（kNN）分类器，因为它通常用于大规模预测任务，这是由于其简单性、最小参数化和无模型性质。然而，scRNA-seq的超高维度特征造成了计算瓶颈，而预测能力可能受到“诅咒”的影响。在这项工作中，我们提出了利用近似最近邻搜索算法来完成scRNA-seq数据中的kNN分类任务，重点是针对高维数据量身定制的特定方法。我们认为，即使是宽松的近似解决方案将不会影响预测性能显着。实验结果证实了原来的假设，提供了更广泛的适用性的潜力。
2020-12-03 cs.LG
Near-Exponential Convergence Rates for kNN Classification based on Boltzmann Margin
School of Computer Science, University of Oklahoma（计算机科学系，俄克拉荷马大学）
提出玻尔兹曼间隔条件，介于Tsybakov与Massart间隔之间，首次证明kNN分类器可实现近指数收敛速率。
2026-10-16 cs.LG stat.ML
TK-KNN: A Balanced Distance-Based Pseudo Labeling Approach for Semi-Supervised Intent Classification
University of Notre Dame（圣母大学）；ServiceNow Research（ServiceNow研究院）
本文提出TK-KNN方法，通过基于嵌入空间距离的伪标签技术和基于排序的类别平衡机制，解决半监督意图分类中伪标签样本不平衡问题，在标记数据稀缺时显著优于现有模型。
2023-10-17 cs.LG
Extend natural neighbor: a novel classification method with self-adaptive neighborhood parameters in different stages
Chongqing University（重庆大学）
各种基于k-近邻（KNN）的分类方法是许多成熟的、高性能的模式识别技术的基础，但它们都容易受到参数选择的影响。从本质上讲，挑战在于检测各种数据集的邻域，而完全不知道数据特征。本文介绍了一种新的监督分类方法--扩展自然近邻（ENaN）方法，并证明了该方法无需人为选择邻域参数就能获得较好的分类结果。与需要先验k的原始基于KNN的方法不同，ENaNE方法在不同阶段预测不同的k。因此，ENaNE方法能够在训练阶段和测试阶段从灵活的邻居信息中学习更多，并提供更好的分类结果。
2016-12-07 cs.AI cs.LG
kNN Classification of Malware Data Dependency Graph Features
The College of Wooster（伍斯特学院）；University of Cincinnati（辛辛那提大学）
本文提出基于数据依赖图特征与kNN非参数学习进行恶意软件分类，在Kaggle 2015数据集上实现高准确率，并证明该特征表示能同时捕获语义与结构信息以增强可解释性。
2024-07-06 cs.AI cs.CR cs.LG
Human Emotion Classification based on EEG Signals Using Recurrent Neural Network And KNN
SRM Institute Of Science And Technology（SRM科学技术学院）；SSJ Government Institute Of Medical Science And Research（SSJ政府医学科学研究所）
本文利用离散小波变换结合RNN和kNN算法对EEG信号进行情绪三分类，通过通道选择预处理构建特征向量，平均准确率分别达到94.844%和93.438%。
2022-05-10 cs.AI cs.HC cs.LG
Performance Analysis of Deep Autoencoder and NCA Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
International University of Business Agriculture and Technology（国际商业农业技术大学）；Islamic University of Technology（伊斯兰科技大学）
本文的主要目的是在Matlab中实现Deep Autoencoder和Neighborhood Components Analysis（NCA）降维方法，并观察这些算法在UCI机器学习库中9个不同数据集上的应用。这些数据集包括CNAE 9、Movement Libras、Pima Indians diabetes、Parkinsons、Knowledge、Segmentation、Seeds、Mammographic Masses和Ionosphere。首先，通过使用Deep Autoencoder和NCA降维技术选择和提取最相关和最合适的特征或属性，这些数据集的维度已经减少到原始维度的50%。然后，每个数据集分类应用K-最近邻（KNN），扩展最近邻（ENN）和支持向量机（SVM）分类算法。所有的分类算法都是在Matlab环境下开发的。在每个分类中，训练测试数据比率始终设置为90%：10%。在分类时，观察和分析精度之间的变化，以找到每个降维技术与每个分类器的兼容程度，并评估每个分类器在每个数据集上的性能。
2019-12-24 cs.LG
Missing Data Imputation for Classification Problems
University of North Carolina（北卡罗来纳大学）
缺失数据的填补是特征训练矩阵具有缺失性的各种分类问题中的常见应用。一个广泛使用的解决方案，这个插补问题是基于懒惰的学习技术，$k$ -最近邻（kNN）的方法。然而，大多数以前的工作缺失数据没有考虑到分类问题中的类标签的存在。此外，现有的kNN插补方法使用Minkowski距离的变体作为距离的度量，这对于异构数据不起作用。本文提出了一种新的基于类加权灰色距离的迭代kNN填补技术。灰距离在具有缺失实例的异构数据中工作良好。距离由互信息（MI）加权，互信息是特征和类标签之间的特征相关性的度量。这确保了训练数据的插补是针对提高分类性能。这类加权灰色kNN插补算法相比，其他kNN插补算法，以及标准的插补算法，如MICE和missForest，在插补和分类问题的表现有所改善。这些问题是基于模拟场景和UCI数据集与各种率的缺失。
2020-02-25 cs.LG stat.AP stat.ME
Making informed decisions in cutting tool maintenance in milling: A KNN-based model agnostic approach
Modern Education Society’s Wadia College of Engineering（现代教育协会瓦迪亚工程学院）；COEP Technological University（COEP理工大学）；Institute of Fluid Flow Machinery, Polish Academy of Sciences（波兰科学院流体机械研究所）；Cummins College of Engineering for Women（康明斯女子工程学院）
本文提出一种基于KNN的白盒模型，用于在铣削中通过揭示特征影响来提高切削工具维护决策的透明性。
2026-03-03 cs.LG
On the Inflation of KNN-Shapley Value
Brandeis University（布兰迪斯大学）；Tsinghua University（清华大学）
针对Shapley值数据估值中的价值膨胀问题，提出CKNN-Shapley方法，通过校准零阈值区分有害与有益样本，实验证明其能有效缓解膨胀、检测有害样本并适用于多种实际学习场景。
2024-05-25 cs.AI cs.LG
Integrating kNN with Foundation Models for Adaptable and Privacy-Aware Image Classification
xAILab, University of Bamberg（班贝格大学xAILab）
本文提出将k-NN分类器与自监督视觉基础模型结合，通过独立存储训练数据嵌入实现无需重训的动态数据修改，在基准和医学图像分类任务中验证了性能提升、持续学习与数据删除鲁棒性，并兼顾隐私与可解释性。
2024-02-19 cs.CV cs.LG eess.IV
Minimax Rate Optimal Adaptive Nearest Neighbor Classification and Regression
University of California, Davis（加州大学戴维斯分校）
k最近邻（kNN）方法是一种简单而流行的分类和回归统计方法。对于分类和回归问题，现有的工作已经表明，如果特征向量的分布有界的支持和密度函数有界远离零的支持，标准的kNN方法，其中k是相同的所有测试样本的收敛速度，是最小最大最优的。相反，如果分布有无界的支持，我们表明，有一个差距之间的收敛速度实现的标准kNN方法和极大极小界。为了缩小这一差距，我们提出了一种自适应kNN方法，其中不同的k是为不同的样本选择。我们的选择规则不需要精确的知识的基本分布的功能。新提出的方法显着优于标准的。我们刻画了所提出的自适应方法的收敛速度，并表明它符合极大极小下界。
2019-10-22 cs.LG math.ST stat.ML
Performance Evaluation of t-SNE and MDS Dimensionality Reduction Techniques with KNN, ENN and SVM Classifiers
IUBAT（孟加拉国际大学（IUBAT））；IUT（伊斯兰科技大学（IUT））
本文的主要目的是在Matlab中建立两种常用的降维方法，即t分布随机邻域嵌入（t-SNE）和多维尺度（MDS），并观察它们在几个数据集上的应用。这些DR技术应用于九个不同的数据集，即CNAE 9，分割，种子，皮马印第安人糖尿病，帕金森氏症，运动天秤座，乳房摄影质量，知识，和电离层从UCI机器学习库中获得。通过应用t-SNE和MDS算法，通过从数据集中消除不必要的特征，每个数据集被转换到其原始维度的一半。随后，这些数据集与减少的维度被送入三个监督分类算法进行分类。这些分类算法是K最近邻（KNN）、扩展最近邻（ENN）和支持向量机（SVM）。同样，所有这些算法都在Matlab中实现。每个数据集的训练数据和测试数据比率保持为90%：10%。在准确率观察的基础上，分析了每种维度技术与有效分类算法的效率，并对每种分类器的性能进行了评估。
2020-06-20 cs.LG stat.ML
Learning a metric for class-conditional KNN
Janelia Research Campus, HHMI（珍利亚研究园区，霍华德·休斯医学研究所）；University of Guelph（圭尔夫大学）
朴素贝叶斯最近邻（NBNN）是一个简单而有效的框架，它解决了K-最近邻（KNN）分类的许多陷阱。它在几个计算机视觉基准测试中取得了有竞争力的结果。它的核心原则是在NN搜索过程中，查询不会与数据库中的每个示例进行比较，忽略了类信息。相反，NN搜索在每个类内执行，从而为每个类生成分数。NN技术（包括NBNN）的一个关键问题是，当数据表示不能捕获感知（例如，基于类的）相似性。NBNN通过使用独立的工程描述符（例如~ SIFT）。为了将其适用性扩展到基于图像的领域之外，我们建议学习一种捕获感知相似性的度量。类似于邻域成分分析如何优化KNN分类的可微形式，我们提出了“类条件”度量学习（CCML），它优化了NBNN选择规则的软形式。典型的度量学习算法学习全局或局部度量。然而，我们提出的方法可以通过调整单个参数来调整到特定的局部水平。对分类和检索任务的实证评估表明，我们提出的方法在各种图像和非图像数据集上明显优于现有的学习距离度量。
2016-07-11 cs.LG stat.ML
A Random Projection k Nearest Neighbours Ensemble for Classification via Extended Neighbourhood Rule
Abdul Wali Khan University（阿卜杜勒·瓦利·汗大学）；King Abdul Aziz University（阿卜杜勒·阿齐兹国王大学）
基于k近邻（kNN）的集成组合了大量的基础学习器，每个学习器都是在从给定的训练数据中获取的样本上构建的。典型的基于kNN的集成确定训练数据中的k个最接近的观测值，该训练数据通过球形区域被限制到测试样本点以预测其类别。本文提出了一种新的随机投影扩展邻域规则（RPExNRule）集成，其中从给定的训练数据的引导样本被随机投影到较低的维度，以增加基础模型中的随机性并保留特征信息。它使用扩展的邻域规则（ExNRule）来拟合kNN作为随机投影自举样本的基础学习器。
2023-03-21 cs.LG stat.ML
Instance-based learning using the Half-Space Proximal Graph
CICESE（墨西哥下加利福尼亚科学研究与高等教育中心）
基于实例的学习的主要例子是$k$ -最近邻规则（kNN），因其简单性和适应新的不可见数据和丢弃旧数据的能力而受到称赞。经常提到的主要缺点是分类复杂性，即$O(n)$，以及参数$k$的估计，即要使用的最近邻的数量。在分类时使用指标弥补了前者的不足，而后者则没有定论。提出了一种基于{ \em Half-Space Proximal}（HSP）图的无参数实例学习算法。HSP的邻居同时具有接近性和多样性的中心节点。为了对给定的查询进行分类，我们计算它的HSP邻居，并对它们应用简单的多数规则。在我们的实验中，所得到的分类器优于$KNN$的任何$k$在电池的数据集。这种改进即使在将加权多数规则应用于kNN和HSP分类器时也是如此。令人惊讶的是，当使用概率指数来近似HSP图并因此加速分类任务时，我们的方法可以{ \em提高}其准确性，这与使用概率指数的kNN分类器形成鲜明对比。
2021-02-04 cs.LG
AEkNN: An AutoEncoder kNN-based classifier with built-in dimensionality reduction
University of Jaén（哈恩大学）
高维度，即具有大量变量的数据，往往是大多数机器学习任务（包括分类）的挑战。分类器通常建立一个模型，表示一组输入如何解释输出。输入和/或输出的集合越大，该模型就越复杂。有一类分类算法，称为惰性学习方法，它不建立模型。这个家族中最著名的成员之一是kNN算法。它的策略依赖于搜索一组最近的邻居，使用输入变量作为位置向量，并计算它们之间的距离。这些距离在高维空间中失去了意义。因此，kNN和许多其他分类器一样，随着输入变量数量的增加，其性能往往会变差。在这项工作中AEkNN，一个新的kNN为基础的算法与内置的【形】降维，提出。为了获得新的数据表示，具有更低的维度，但具有更多的信息特征，AEkNN内部使用自动编码器。从这个新的特征向量中，计算出的距离应该更重要，从而提供了一种选择更好邻居的方法。新的建议进行了实验评估，分析了几种配置，并将它们与经典的kNN算法进行比较。所得到的结论表明，AEkNN提供了更好的预测和运行时性能的结果。
2018-03-09 cs.LG cs.NE
Fast kNN mode seeking clustering applied to active learning
PRLab, Delft University of Technology（代尔夫特理工大学模式识别实验室）；Prime Vision（Prime Vision 公司）
一个显着更快的算法，提出了原来的kNN模式搜索过程。它的优点是在高维向量空间中是可行的，并导致唯一的，定义良好的模式。此外，没有任何额外的计算工作，它可以产生一个多尺度层次的聚类。时间复杂度为O（n^1.5）结果计算时间从10^4个物体的秒到10^5个物体的分钟到10^6个物体的不到一小时不等。时间复杂度为O（n）。该程序非常适合于寻找大的小集群集，从而是一个候选人，以分析数以百万计的对象中的数千个集群。kNN模式搜索过程可以通过将聚类分配给聚类的模态对象的类来用于主动学习。最多可达150万个手写体数字的实例表明了该方法的可行性。将基于聚类得到的分类结果与最近邻规则和基于相同标记对象训练的支持向量分类器得到的分类结果进行了比较。可以得出结论，使用聚类结构进行分类可以明显优于使用训练的分类器。然而，使用聚类进行分类的缺点在于，没有获得可以用于样本外对象的分类器。
2017-12-20 cs.LG stat.ML
POSSE-kNN: Pathwise Out-of-Bag Selected Subspace Ensembles for Binary Classification
College of Business and Economics（商业与经济学院）；United Arab Emirates University（阿拉伯联合酋长国大学）
针对固定邻域不符合局部类别几何时近邻分类性能下降的问题，提出POSSE-kNN路径式k近邻集成方法，在10个二分类基准数据集上的三个核心指标均取得最佳汇总结果。
2026-08-03 cs.LG stat.ML
KNN and K-means in Gini Prametric Spaces
CNES（法国国家太空研究中心）；UQAM（魁北克大学）；Univ. Nîmes（尼姆大学）；CHROME and UMP6（CHROME和UMP6）；AIRESS
本文提出基于基尼拟度量空间的K-means与KNN改进算法，结合值与秩信息以增强噪声鲁棒性，在16个UCI数据集上验证了聚类与分类的优越性能。
2025-08-26 cs.LG
Deep vs. Diverse Architectures for Classification Problems
Kaplan University（卡普兰大学）
这项研究比较了各种超级学习者和深度学习架构（基于机器学习和基于神经网络）在几个模拟和工业数据集上的分类问题，以评估性能和计算效率，因为这两种方法都具有良好的理论收敛特性。在非线性和混合线性/非线性预测关系数据集上，超级学习者公式在小到中等样本量（500-2500）下的表现优于其他方法，而深度神经网络在所有大小的线性预测关系数据集上表现良好。这表明与深度神经网络架构相比，超级学习器在现实世界数据的许多混乱分类问题上的收敛速度更快。超级学习者还产生可解释的模型，允许用户检查数据中的重要信号;此外，它们提供灵活的公式，用户可以通过低计算成本的基础算法保持良好的性能。K-最近邻（KNN）回归也证明了使用超级学习器框架的改进; KNN超级学习器始终优于深度架构和KNN回归，这表明超级学习器可以通过利用各种算法来探测数据空间来更好地捕获局部和全局几何特征。
2017-08-21 cs.LG stat.ML
Classification of Pedagogical content using conventional machine learning and deep learning model
University for Business and Technology（商业与技术大学）
互联网和大量数字技术的出现带来了许多不同的挑战。在网络上发现了大量的数据，在大多数情况下，这些数据是非结构化和无组织的，这导致了这样一个事实，即使用和操纵这些数据是一个相当困难的过程。由于这一事实，使用不同的机器和深度学习技术进行文本分类已经获得了它的重要性，这改进了这门学科，并使科学家和研究人员对进一步研究更加感兴趣。本文旨在使用两种不同的模型对教学内容进行分类，即传统模型中的K最近邻（KNN）和深度学习模型中的长短期记忆（LSTM）递归神经网络。实验结果表明，KNN模型对教学内容的分类准确率达到92.52%，LSTM模型达到87.71%。
2021-01-18 cs.AI cs.IR cs.LG
Non-Intrusive Electrical Appliances Monitoring and Classification using K-Nearest Neighbors
Vanderbilt University（范德堡大学）；International University of Business Agriculture and Technology（国际商业农业技术大学）
非侵入式负载监控（NILM）是一种从聚合能耗特征中检测单个设备的能量信号的方法[1]。由于现有的能量计除了提供聚合的额定功率之外几乎不提供关于各个电器的能量消耗的信息，所以通过NILM发现各个电器的能量使用不仅将向消费者提供电器特定的能量使用的反馈，而且还导致他们的消费行为的改变，这促进了节能。B Neenan等人[2]已经证明，直接的个人特定于电器的能量使用信号导致消费者的行为变化，从而将能量效率提高多达15%。在分解能量信号时，需要根据适当的器具对信号进行分类。因此，本文的目标是将总能耗数据分解为单个设备签名，然后使用称为K-最近邻（KNN）的突出监督分类方法对特定于设备的能源负载进行分类。为了执行此操作，我们使用了一个可公开访问的来自几个房屋的电力信号数据集，称为REDD数据集。在应用KNN之前，为每个设备预处理数据。然后应用KNN检验它们的能耗特征是否可分离。在K=5时应用KNN。
2019-11-22 cs.LG eess.SP
A Novel Pseudo Nearest Neighbor Classification Method Using Local Harmonic Mean Distance
School of Artificial Intelligence, Hebei University of Technology（河北工业大学人工智能学院）；College of Big Data, Weifang Institute of Technology（潍坊理工学院大数据学院）
提出LMPHNN方法，利用局部调和平均距离改进伪最近邻分类，在UCI数据集上平均精确率97%，显著优于七种KNN变体，尤其适用于小样本场景。
2024-05-28 cs.LG
Dynamic Ensemble Selection Using Fuzzy Hyperboxes
École de technologie supérieure（高等技术学院）
大多数动态集成选择（DES）方法利用K-最近邻（KNN）算法来估计查询样本周围小区域中分类器的能力。然而，KNN对数据的局部分布非常敏感。此外，它还具有很高的计算成本，因为它需要将整个数据存储在内存中，并在推理期间执行多次距离计算。因此，对KNN算法的依赖最终限制了DES技术在大规模问题中的使用。提出了一种基于模糊超盒的DES框架FH-DES。每个超盒可以仅使用两个数据点（最小和最大角）来表示一组样本。因此，基于超盒的系统将具有比其他动态选择方法更少的计算复杂性。此外，尽管基于KNN的方法，模糊超盒是不敏感的本地数据分布。因此，样本的局部分布不会影响系统的性能。此外，在这项研究中，第一次，误分类样本被用来估计的能力的分类器，这是没有观察到在以前的融合方法。实验结果表明，该方法具有较高的分类精度，同时具有较低的复杂度相比，最先进的动态选择方法。实现的代码可在https://github.com/redavtalab/FH-DES_IJCNN.git上获得。
2022-05-20 cs.AI cs.LG
On pattern classification with weighted dimensions
Aliah University（阿利亚大学）
本文提出一种维度加权方案并整合到KNN分类器中，通过加权闵可夫斯基距离调节邻域形状，在基因表达等数据集上显著提升分类准确率约10%。
2025-10-23 cs.LG
Reachable Sets of Classifiers and Regression Models: (Non-)Robustness Analysis and Robust Training
Technical University of Munich（慕尼黑工业大学）
神经网络在分类和回归任务中实现了出色的准确性。然而，理解它们的行为仍然是一个开放的挑战，需要解决预测的鲁棒性，可解释性和可靠性问题。我们通过计算神经网络的可达集来回答这些问题，即由连续输入集产生的输出集。我们提供了两种有效的方法，导致过和下近似的可达集。正如我们所展示的，这个原则是高度通用的。首先，我们使用它来分析和增强分类器和回归模型的鲁棒性。这与现有的主要侧重于分类的工作形成对比。具体来说，我们验证（非）鲁棒性，提出了一个强大的训练过程，并表明我们的方法优于对抗攻击以及最先进的方法验证分类器的非范数界扰动。其次，我们提供了区分未标记输入的可靠和不可靠预测的技术，以量化每个特征对预测的影响，并计算特征排名。
2021-05-12 cs.CV cs.LG stat.ML
Regression with reject option and application to kNN
Université Gustave Eiffel（Gustave Eiffel大学）；LAMA, UMR-CNRS 8050（LAMA，法国国家科学研究中心UMR 8050实验室）
我们研究的问题，回归，其中一个是允许放弃预测。我们把这个框架称为带有拒绝选项的回归，作为带有拒绝选项的分类的扩展。在这种情况下，我们专注于拒绝率是固定的情况下，推导出依赖于阈值的条件方差函数的最佳规则。我们提供了一个半监督估计过程的最佳规则，涉及两个数据集：第一个标记的数据集是用来估计回归函数和条件方差函数，而第二个未标记的数据集是用来校准所需的拒绝率。由此产生的预测与拒绝选项被证明是几乎一样好的最佳预测与拒绝选项的风险和拒绝率。我们还应用我们的方法与kNN算法，并建立在温和的条件下所产生的kNN预测的收敛速度。最后，进行了数值研究，以说明使用所提出的程序的好处。
2021-03-05 cs.LG stat.ML
The Alchemy of Thought: Understanding In-Context Learning Through Supervised Classification
Department of Computer Science, University of Arizona（计算机科学系，亚利桑那大学）
本文通过比较LLM与监督分类器的行为，发现ICL在高相关性时更接近kNN，而在低相关性时LLM表现更优，揭示了注意力机制与GD的区别。
2026-01-03 cs.LG
Not Far Away, Not So Close: Sample Efficient Nearest Neighbour Data Augmentation via MiniMax
University of Alberta（阿尔伯塔大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
在自然语言处理（NLP）中，寻找能够产生高质量人类可解释示例的数据增强技术一直是一项挑战。最近，利用kNN，从大型未标记句子库中检索增强的示例，朝着可解释的增强迈出了一步。受这种范式的启发，我们引入Minimax-kNN，一个样本有效的数据增强策略量身定制的知识蒸馏（KD）。我们利用一种基于KD的半监督方法在增强数据上训练模型。与现有的盲目合并所有样本的kNN增强技术相比，我们的方法动态地选择了一个增强样本的子集，使教师和学生模型之间的KL分歧最大化。此步骤旨在提取最有效的样本，以确保我们的增强数据覆盖输入空间中具有最大损失值的区域。我们在几个文本分类任务上评估了我们的技术，并证明了Minimax-kNN始终优于强基线。我们的研究结果表明，Minimax-kNN需要更少的增强的例子和更少的计算，以实现优越的性能比最先进的基于kNN的增强技术。
2021-06-02 cs.CL cs.LG
Efficient Estimation of the number of neighbours in Probabilistic K Nearest Neighbour Classification
School of Mathematical Sciences, University College Dublin, Ireland（爱尔兰都柏林大学数学科学学院）
概率最近邻（PKNN）分类已被引入，以提高性能的原始k-最近邻（KNN）分类算法，明确建模的不确定性，在每个特征向量的分类。然而，KNN和PKNN的共同问题是选择最佳的邻居数$k$。本文的贡献是将$k$中的不确定性纳入决策中，并在这样做时使用贝叶斯模型平均来提供改进的分类。实际上，评估$k$中的不确定性的问题可以被视为统计模型选择的问题之一，这是统计和机器学习领域中最重要的技术问题之一。在本文中，一个新的功能近似算法，提出了重建密度的模型（阶），而不依赖于耗时的蒙特卡罗模拟。此外，该算法采用贝叶斯框架，避免了交叉验证。该算法的性能在几个真实的实验数据集上取得了非常好的性能。
2013-05-05 cs.LG stat.ML
Shapley-Based Data Valuation with Mutual Information: A Key to Modified K-Nearest Neighbors
1 Department of Electrical；Computer Engineering, Aarhus University, Denmark 2 Department of Electrical；Computer Engineering, Universitat Polit\`ecnica de Val\`encia, Spain 3 Department of Electrical；Computer Engineering, University of Tehran, Iran
针对KNN算法同等对待所有样本的局限，提出IM-KNN方法，利用互信息和Shapley值为邻居分配加权值，在多个数据集上显著提升了准确率、精确率、召回率及对噪声的鲁棒性。
2025-07-10 cs.IT cs.LG math.IT
Modulation and signal class labelling using active learning and classification using machine learning
NIT Surathkal（苏拉特卡尔国家理工学院）
机器学习（ML）中的监督学习需要标记数据集。进一步的实时数据分类需要一种易于获得的标记方法。无线调制和信号分类在军事、商业、电子侦察、认知无线电等领域有着广泛的应用。本文主要研究了基于主动学习框架的实时无线调制和信号类别标注问题。进一步的调制和信号分类是用机器学习算法，如KNN，SVM，朴素贝叶斯。主动学习有助于用最少的数据样本来标记属于不同类的数据点。对于信噪比为18 dB的信号，主动学习算法的准确率为86%。此外，基于KNN的调制和信号分类模型在信噪比范围内表现良好，对18 dB信号的准确率为99.8%。这项工作的新颖性存在于应用主动学习无线调制和信号类标签。调制和信号类别都是在给定的时间标记的帮助下，从数据样本的偶联形成。
2022-02-23 cs.LG eess.SP
MLAT: Metric Learning for kNN in Streaming Time Series
KAIST（韩国科学技术院）；Graduate School of Knowledge Service Engineering（知识服务工程研究生院）
在时间序列中学习一个好的基于距离的分类距离度量可以在许多任务中显着提高性能。具体而言，它是至关重要的，以有效地处理时间序列中的变化和时间依赖性。然而，现有的度量学习方法主要集中在使用两个序列的严格比对来处理变化，从而不能捕获时间依赖性。为了克服这一限制，我们提出了MLAT，它同时涵盖了对齐和时间依赖性。MLAT通过使用滑动窗口增强给定的时间序列来实现对齐效果以及保持时间依赖性。此外，MLAT采用时不变度量学习从增强样本中获得最合适的距离度量，该距离度量也可以很好地捕获它们之间的时间依赖性。我们表明，MLAT优于其他现有的算法在各种现实世界的数据集上进行了广泛的实验。
2019-10-23 cs.LG stat.ML
A new hashing based nearest neighbors selection technique for big datasets
Beijing Institute of Technology（北京理工大学）
KNN被认为是用于分类或回归的最简单但有效的监督学习算法。KNN预测效率高度依赖于其训练数据的大小，但是当该训练数据增长时，KNN在做出决策时遭受缓慢，因为它需要在每次决策时在整个数据集内搜索最近的邻居。本文提出了一种新的技术，使选择最近的邻居直接在附近的一个给定的观察。所提出的方法包括将数据空间划分为子单元的虚拟网格上建立的数据空间。数据点和子单元之间的映射使用散列来执行。在选择给定观测值的最近邻居时，我们首先使用散列来识别观测值所属的单元格，然后逐层从该中心单元格及其周围的单元格中寻找最近邻居。从我们在公开数据集上的实验性能分析来看，我们的算法在时间效率上优于原始KNN，并且预测质量与KNN一样好，并且与KDtree等解决方案相比具有竞争力的性能。
2021-02-10 cs.DS cs.LG stat.ML
Learning with Mandelbrot and Julia
Faculty of Mathematics and Natural Sciences（数学与自然科学学院）；Institut Teknologi Bandung（万隆技术大学）；Sorbonne University Abu Dhabi（阿布扎赫尔索邦大学）；Sorbonne Center for Artificial Intelligence（索邦人工智能中心）；Institut Teknologi Sepuluh Nopember（十月份技术大学）；Khalifa University（卡利法大学）
本研究将监督学习拓展至分形集分类与结构分析，以Mandelbrot集和Julia集为对象，证实多种ML模型相比传统阈值法准确率更高、成本更低，还为纯数学研究提供新思路。
2025-08-31 cs.LG nlin.CD
Participation anticipating in elections using data mining methods
Universiti Teknologi Malaysia（马来西亚理工大学）；Science and Research Branch Islamic Azad University（伊斯兰阿扎德大学科学与研究分校）
预测人们的政治行为将大大有助于选举候选人评估他们成功的可能性，并承认公众选择他们的动机。本文利用KNN、分类树和朴素贝叶斯方法，以及基于crisp的预测工具orange，给出了总统选举参与预测系统的总体结构。为了测试和评估所提出的模型，我们开始使用的案例研究，选择100名合格的人谁参加第11届伊朗伊斯兰共和国总统选举，并预计他们在Kohkiloye和Boyerahmad的参与。我们表明，KNN可以进行预测和分类过程中，与其他两种算法相比，预测参与具有较高的准确性。
2013-07-29 cs.CY cs.LG
Clustering and Classification with Non-Existence Attributes: A Sentenced Discrepancy Measure Based Technique
World University of Bangladesh (WUB)（孟加拉世界大学）
对于一些或所有的数据实例，一些独立世界聚类问题遭受不完整的数据表征，由于丢失或缺失属性。典型的聚类方法不能直接应用于这样的数据，除非预处理的技术，如插补或边缘化。我们已经克服了这个缺点，利用一个句子离散措施，我们称之为属性加权惩罚的离散（AWPD）。利用AWPD度量，对聚类算法K-MEANS++和Scalable K-MEANS++以及分类算法k近邻（kNN）进行了改进，使其直接适用于不存在属性的数据集。理论分析表明，基于AWPD的K-MEANS++算法、Scalable K-MEANS++算法和kNN算法在迭代次数有限的情况下合并成一个局部素数。我们已经报告了针对各种形式的不存在的许多基准数据集的深入实验，表明与通常用于处理此类不充分数据的一些著名的插补方法相比，投影聚类和分类技术通常显示出更好的结果。该技术的目的是跟踪宝贵的数据：直接应用我们的方法对数据集的非存在属性，并建立一个方法来检测非结构化的非存在属性具有最佳的准确率和最小的成本。
2020-02-24 cs.LG stat.ML
GLAM: Graph Learning by Modeling Affinity to Labeled Nodes for Graph Neural Networks
Microsoft Research India（微软研究院印度分部）
图神经网络在半监督分类任务中表现出了优异的性能。然而，它们假设可以访问实际上可能不经常可用的图。在没有任何图的情况下，从给定数据构建k-最近邻（kNN）图已经证明，与其他半监督方法相比，与GNN一起使用时会有所改进。本文提出了一种半监督图学习方法的情况下，没有图。该方法将图学习为无监督kNN图和有监督标签亲和图的凸组合。标签亲和度图直接捕获所有节点与标记节点的标签亲和度，即，一个节点有多可能与标记的节点具有相同的标签。该亲和度度量与kNN图形成对比，其中度量特征空间中的接近度。我们的实验表明，这种方法提供了接近或更好的性能（高达1.5%），同时更简单，更快（高达70倍）的训练，比最先进的图学习方法。我们还进行了几个实验，以突出单个组件的重要性，并将其与最先进的方法进行对比。
2021-02-20 cs.LG
A new network-base high-level data classification methodology (Quipus) by modeling attribute-attribute interactions
FFCLRP-USP（巴西 Ribeirão Preto 哲学院（圣保罗大学））
高级分类算法关注实例之间的交互。这些产生了一种新的形式来评估和分类数据。在这个过程中，核心是复杂网络构建方法论。目前的方法使用kNN的变化来产生这些图。然而，这些技术忽略了属性之间的一些隐藏模式，并要求规范化是准确的。在本文中，我们提出了一种新的方法，网络建设的基础上属性的相互作用，不需要规范化。目前的结果表明，这种方法提高了基于介数中心性的高级分类算法的准确性。
2020-09-28 cs.LG stat.ML
Contrastive Siamese Representation Learning for Predictive Maintenance of Electrical Submersible Pumps
University of Alberta（阿尔伯塔大学）；University of Shanghai for Science and Technology（上海理工大学）
针对电潜泵故障诊断中类别不平衡与单元差异性问题，提出结合孪生对比学习和先验校正KNN的框架，经LOEO验证，实现稳健的故障分类，支持可靠预测性维护。
2026-09-22 cs.LG
AffinityNet: semi-supervised few-shot learning for disease type prediction
University at Buffalo（布法罗大学）
虽然深度学习在计算机视觉和许多其他领域取得了巨大的成功，但目前它在具有“大p，小N”问题的患者基因组数据上并不能很好地工作（即，相对少量的具有高维特征的样本）。为了使深度学习能够使用少量的训练数据，我们必须设计新的模型来促进少样本学习。在这里，我们提出了亲和网络模型（AffinityNet），这是一种数据高效的深度学习模型，可以从有限数量的训练样本中学习，并具有良好的泛化能力。AffinityNet模型的主干由堆叠的k-最近邻（kNN）注意力池层组成。kNN注意力池层是图注意力模型（GAM）的推广，不仅可以应用于图，还可以应用于任何对象集，无论图是否给定。作为一种新的深度学习模块，kNN注意力池层可以像卷积层一样插入任何神经网络模型。作为kNN注意力池层的一个简单特例，特征注意力层可以直接选择对分类任务有用的重要特征。在TCGA项目的合成数据和癌症基因组数据上的实验表明，我们的AffinityNet模型比传统的神经网络模型具有更好的泛化能力，几乎没有训练数据。该代码可在https://github.com/BeautyOfWeb/AffinityNet上免费获得。
2018-09-05 cs.LG stat.ML
Integrating Product Coefficients for Improved 3D LiDAR Data Classification (Part II)
New York City College of Technology, CUNY（纽约城市科技学院，CUNY）；Worcester Polytechnic Institute（沃斯顿理工学院）
本研究在先前工作基础上，将乘积系数与自编码器及KNN分类器结合，逐级添加系数，显著提升3D LiDAR点云分类的类别可分性和准确率。
2025-10-17 cs.LG
Bayes Error Rate Estimation in Difficult Situations
Department of Computing and Software, McMaster University（计算与软件系，麦斯特大学）；Center for Mechatronics and Hybrid Technologies, McMaster University（机电与混合技术中心，麦斯特大学）
本文通过蒙特卡洛模拟和非线性多模态场景，比较 kNN、GHP 散度与 KDE 在贝叶斯错误率估计中的准确性，发现 kNN 总体最准确，并给出达到 95% 置信界低于 5% 所需的最小样本量。
2025-09-22 cs.LG stat.ME stat.ML
New complex network building methodology for High Level Classification based on attribute-attribute interaction
FFCLRP-USP（圣保罗大学 Ribeirão Preto 哲学、文学与人文科学学院）
高级分类算法关注实例之间的交互。这些产生了一种新的形式来评估和分类数据。在这个过程中，核心是复杂的网络构建方法，因为它确定了用于分类的指标。目前的方法使用kNN的变化来产生这些图。然而，这种技术忽略了属性之间的一些隐藏模式，并要求规范化是准确的。在本文中，我们提出了一种新的方法，网络建设的基础上属性的相互作用，不需要规范化和捕捉隐藏的模式的属性。目前的结果表明，我们可以用来改善目前的一些高水平的技术。
2020-09-14 cs.LG cs.NE stat.ML
A Large-Scale Dataset for Multi-Class Financial News Classification in Brazilian Portuguese
Federal University of Paraíba（帕拉伊巴联邦大学）；Federal University of Campina Grande（帕坎纳联邦大学）；Federal Rural University of Pernambuco（伯南布哥联邦农村大学）；Federal University of Pernambuco（伯南布哥联邦大学）
针对巴西葡萄牙语金融NLP数据集稀缺问题，构建含16万篇新闻的语料库，评估三种相似度方法，发现标签质量影响大，为该任务建立基线并提供研究参考。
2026-10-16 cs.CL cs.LG
Exemplar-Centered Supervised Shallow Parametric Data Embedding
NEC Labs America（NEC美国实验室）；National Research Council Canada（加拿大国家研究委员会）
与k-最近邻（kNN）相结合的用于降维的度量学习方法已经被广泛地部署在许多分类、数据嵌入和信息检索应用中。然而，这些方法中的大多数涉及成对的训练数据比较，并且因此具有关于训练集的大小的二次计算复杂性，从而阻止它们扩展到相当大的数据集。此外，在测试期间，将测试数据与所有训练数据点进行比较在计算成本和所需资源方面也是昂贵的。此外，以前的指标要么太受约束，要么太有表现力，无法很好地学习。为了有效地解决这些问题，我们提出了一个样本为中心的监督浅参数数据嵌入模型，使用最大塌陷度量学习（MCML）的目标。我们的策略学习浅高阶参数嵌入函数，并仅将训练/测试数据与学习或预先计算的样本进行比较，从而产生用于训练和测试的具有线性计算复杂性的成本函数。我们还使用几个基准数据集实证证明，对于二维嵌入空间中的分类，我们的方法不仅使kNN的加速提高了数百倍，而且优于最先进的监督嵌入方法。
2017-07-05 cs.LG stat.ML
Touch Analysis: An Empirical Evaluation of Machine Learning Classification Algorithms on Touch Data
North Carolina A&T State University（北卡罗来纳A&T州立大学）
本研究基于Touch-Analytics数据集评估多种机器学习分类算法在触摸屏用户认证上的表现，通过提取新特征并提出三全连接层的DNN架构，使决策树和DNN分类器达到100%的分类准确率。
2023-11-23 cs.LG cs.NE
A Comparison of Synthetic Oversampling Methods for Multi-class Text Classification
University of Tyumen（秋明大学）
针对多类主题分类问题，对过采样方法进行了比较。SMOTE算法是最流行的过采样方法之一。它包括选择少数类的两个例子，并基于它们生成一个新的例子。本文以一个文本分类任务为例，对基本SMOTE方法及其两种改进方法（边界SMOTE和ADASYN）和随机过采样技术进行了比较。本文讨论了k-近邻算法、支持向量机算法和三种类型的神经网络（前馈网络、长短期记忆（LSTM）和双向LSTM）。作者将这些机器学习算法与不同的文本表示相结合，并比较了合成过采样方法。在大多数情况下，使用过采样技术可以显着提高分类质量。作者得出结论，对于这项任务，KNN和SVM算法的质量比神经网络更受类不平衡的影响。
2020-08-11 cs.CL cs.LG
A Topological Data Analysis Based Classifier
University of Chile（智利大学）；Universidad de Oriente（东方大学）；Center for Research in Mathematics（数学研究中心）
拓扑数据分析（TDA）是一个新兴的领域，旨在发现隐藏在数据集的拓扑信息。TDA工具通常用于创建过滤器和拓扑描述符以改进机器学习（ML）方法。本文提出了一种直接将TDA应用于多类分类问题的算法，无需任何进一步的ML阶段，显示出对不平衡数据集的优势。该算法在数据集上构建一个过滤单纯复形。应用持久同源性（PH）来指导子复合体的选择，其中未标记的点从标记的相邻点获得具有大多数投票的标签。我们选择了8个不同维度的数据集，类重叠程度和每个类的样本不平衡。平均而言，建议TDABC方法优于KNN和加权KNN。在平衡数据集中，它与局部SVM和随机森林基线分类器具有竞争力，并且它优于所有分类纠缠类和少数类的基线方法。
2022-02-04 cs.CG cs.LG
EEG Classification based on Image Configuration in Social Anxiety Disorder
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Middle East Technical University（中东技术大学）
使用脑电图（EEG）进行分类检测社交焦虑障碍（SAD）的存在的问题已经看到有限的研究，并解决了一个新的方法，试图利用EEG传感器的空间配置的知识。两个分类模型，一个忽略的配置（模型1）和一个利用它与不同的插值方法（模型2），进行了研究。这两个模型的性能进行了检查，分析34个EEG数据通道，每个通道由5个频带组成，并进一步分解与滤波器组。数据收集自64名受试者，包括健康对照和SAD患者。我们假设模型2将显著优于模型1的有效性在结果中得到了证实，对于我们研究的每个机器学习算法，模型2的准确性$6$- $7\%$更高。卷积神经网络（CNN）被发现提供比SVM和kNN更好的性能。
2018-12-07 cs.LG eess.SP stat.ML
