Fast Online Hashing with Multi-Label Projection
Ocean University of China（中国海洋大学）；State Key Laboratory of Integrated Services Networks (Xidian University)（综合业务网理论及关键技术国家重点实验室（西安电子科技大学））；Southeast University（东南大学）；Purple Mountain Laboratories（紫金山实验室）
散列算法由于其在时间和存储上的优越性，在解决大规模近似最近邻搜索问题中得到了广泛的研究。近年来出现了许多在线哈希方法，它们可以更新哈希函数以适应新的流数据，实现动态检索。然而，现有的在线哈希方法需要在查询到达时使用最新的哈希函数更新整个数据库，这导致随着流数据的不断增加，检索效率低下。另一方面，这些方法忽略了例子之间的监督关系，特别是在多标签的情况下。在本文中，我们提出了一种新的快速在线哈希（FOH）方法，只更新数据库的一小部分的二进制代码。具体来说，我们首先建立一个查询池，其中记录了每个中心点的最近邻居。当一个新的查询到达时，只有相应的潜在邻居的二进制代码被更新。此外，我们还建立了一个考虑多标签监督信息的相似度矩阵，并引入多标签投影损失，进一步保持了多标签数据之间的相似性。两个常见的基准测试的实验结果表明，所提出的FOH可以实现显着的优势，查询时间高达6.28秒，比最先进的基线具有竞争力的检索精度。
2022-12-03 cs.DB cs.IR cs.LG
Improved Spectral Clustering via Embedded Label Propagation
谱聚类是机器学习和数据采掘领域的一个重要研究课题。现有的谱聚类算法大多建立在高斯-拉普拉斯矩阵上，而高斯-拉普拉斯矩阵对参数敏感。我们提出了一种新的参数自由，距离一致的局部线性嵌入。提出的距离一致LLE保证了距离较近的数据点之间的边具有更大的权值，并提出了一种基于嵌入标签传播的改进谱聚类算法。我们的算法建立在现有技术的两个进步基础上：1）标签传播，它根据邻近节点的距离将节点标签传播到相邻节点; 2）流形学习，它已被广泛用于利用数据点的流形结构。首先，我们对原始数据进行标准谱聚类，并将每个聚类分配给k个最近的数据点。接下来，我们通过密集的未标记的数据区域传播标签。大量的实验与各种数据集验证了该算法的优越性相比，目前最先进的光谱算法。
2015-10-06 cs.LG
TabR: Tabular Deep Learning Meets Nearest Neighbors in 2023
Yandex；HSE（高等经济大学）
TabR通过在前馈网络中嵌入类似k近邻的检索组件和注意力式邻居信息提取机制，在多个表格数据基准上超越GBDT及现有表格深度学习模型，成为新的最先进方法。
2023-10-26 cs.LG
Learnability with Partial Labels and Adaptive Nearest Neighbors
Basque Center for Applied Mathematics（巴斯克应用数学中心）；Ikerbasque, Basque Foundation for Science（Ikerbasque，巴斯克科学基金会）；University of the Basque Country, Spain（巴斯克国家大学，西班牙）；University of California San Diego, USA（加州大学圣地亚哥分校，美国）
本文研究了部分标签学习的可行性条件，提出了一种适用于一般场景的自适应最近邻算法PL A-$k$NN，并通过实验验证其在部分标签学习中的优越性能。
2026-03-20 cs.LG stat.ML
Revisiting the Vector Space Model: Sparse Weighted Nearest-Neighbor Method for Extreme Multi-Label Classification
Graduate School of Keio University（庆应义塾大学研究生院）；Keio University（庆应义塾大学）
近年来，机器学习在信息检索（IR）中发挥了重要作用。例如，在搜索引擎中，接受查询关键字，并按照与给定查询的相关性顺序返回文档;这可以被视为机器学习中的多标签排名问题。通常，候选文档的数量非常大（从几千到几百万）;因此，分类器必须处理许多标签。这个问题被称为极端多标签分类（XMLC）。在本文中，我们提出了一种新的方法XMLC称为稀疏加权最近邻方法。这种技术可以作为最先进的（SOTA）一对休息的线性分类器非常稀疏的数据集的快速实现。此外，我们表明，分类器可以写为一个稀疏的推广的代表定理与线性内核。此外，我们的方法可以被看作是在IR中使用的向量空间模型。最后，我们表明，稀疏加权最近邻方法可以处理数据点在XMLC数据集上的实时与SOTA模型的性能相当，具有单线程和更小的存储空间。特别是，我们的方法在具有300万个标签的数据集上表现出优于SOTA模型的性能。
2018-02-12 cs.LG stat.ML
Ensemble Learning with Manifold-Based Data Splitting for Noisy Label Correction
Fu Jen Catholic University（辅仁大学）
训练数据中的标签噪声会显著降低模型在监督学习任务中的泛化性能。在这里，我们专注于这个问题，噪声标签主要是错误标记的样本，往往集中在附近的决策边界，而不是均匀分布，其功能应该是模棱两可的。为了解决这个问题，我们提出了一种集成学习方法，通过利用特征流形的局部结构来校正噪声标签。不同于典型的集成策略，通过某些损失项增加子模型之间的预测多样性，我们的方法在不相交的子集上训练子模型，每个子集都是数据流形上随机选择的种子样本的最近邻居的联合。因此，每个子模型可以学习数据流形的粗略表示以及相应的图形。此外，只有有限数量的子模型将受到局部集中的噪声标签的影响。构造的图被用来建议一系列的标签校正候选人，相应地，我们的方法得出标签校正结果，通过投票不一致的建议。我们在真实世界的噪声标签数据集上的实验证明了所提出的方法优于现有的最先进的。
2021-03-13 cs.CV cs.LG
Pseudo-labelling meets Label Smoothing for Noisy Partial Label Learning
IIIT Hyderabad（海得拉巴印度理工学院）
本文针对噪声部分标签学习问题，提出一种结合加权最近邻伪标签生成、标签平滑训练和迭代伪标签细化的框架，在多个数据集上取得了最先进性能。
2025-06-06 cs.CV cs.LG
Sampling Bias Compensation for Robust Evaluation of Audio Classification Systems with Partially Labeled Evaluation Datasets
Instituto Tecnologico de Informatica (ITI)（信息技术研究所）；Tampere University（塔尔库大学）
研究在严格标注预算约束下补偿评估标记子集偏差的方法，通过实现并比较三种密度比估计方法，利用主动学习技术生成标记子集进行实验，表明重要性加权能给出更现实准确度估计。
2026-07-07 cs.SD
Enhanced Nearest Neighbor Classification for Crowdsourcing
Purdue University（普渡大学）；Binghamton University, State University of New York（纽约州立大学宾汉姆顿分校）；University of California, Los Angeles（加州大学洛杉矶分校）；Moody’s Analytics, Inc.（穆迪分析公司）
在机器学习中，众包是标记大量数据的经济方式。然而，所产生的标签中的噪声可能会降低应用于标记数据的任何分类方法的准确性。我们提出了一个增强的最近邻分类器（ENN）来克服这个问题。开发了两种算法来估计工人质量（这在实践中往往是未知的）：一种是通过将$k$ NN分类器应用于专家数据来构建基于去噪工人标签的估计;另一种是即使没有访问专家数据也能工作的迭代算法。除了强有力的数值证据，我们提出的方法被证明可以实现与基于高质量专家数据的Oracle版本相同的遗憾。作为一个技术的副产品，分配给每个工人的样本量的下限，以达到最佳的收敛速度的遗憾。
2022-02-26 cs.HC cs.LG stat.ML
k-Nearest Neighbors by Means of Sequence to Sequence Deep Neural Networks and Memory Networks
Northwestern University（西北大学）
k-最近邻是最基本但最有效的分类模型之一。在本文中，我们提出了两个系列的模型建立在一个序列到序列模型和记忆网络模型来模仿k-最近邻模型，产生一个序列的标签，一个序列的样本外的特征向量和分类的最终标签，因此他们也可以作为过采样器。我们还提出了我们的模型的“核心外”版本，假设只有一小部分数据可以加载到内存中。计算实验表明，我们的模型在结构化数据集上的性能优于k-最近邻，前馈神经网络，XGBoost，lightGBM，随机森林和记忆网络，因为我们的模型必须产生额外的输出，而不仅仅是标签。在图像和文本数据集上，我们模型的性能接近许多最先进的深度模型。作为不平衡数据集上的过采样器，序列到序列kNN模型往往优于合成少数过采样技术和自适应合成采样。
2019-11-27 cs.AI cs.LG stat.ML
Anatomical labeling of brain CT scan anomalies using multi-context nearest neighbor relation networks
ParallelDots, Inc.（ParallelDots公司）
这项工作致力于开发一种深度学习方法，用于在脑计算机断层扫描（CT）扫描中自动解剖标记给定的感兴趣区域（ROI）。我们结合本地和全球的背景下，以获得一个代表的ROI。然后，我们使用关系网络（RN）来预测相应的解剖结构的ROI的基础上，其关系得分为每个类。此外，我们提出了一种新的策略，采用最近邻居的方法来训练RN。我们训练RN学习目标ROI与每个类中最近邻的联合表示的关系，而不是每个类中的所有数据点。与训练基准RN网络相比，所提出的策略导致更好的RN训练以及更高的性能。
2018-01-22 cs.CV stat.ML
Revised Conditional t-SNE: Looking Beyond the Nearest Neighbors
Ghent University（根特大学）；VIB Center for Inflammation Research（VIB炎症研究中心）
本文针对条件 t-SNE 在标签聚类良好时失效的问题，提出在高维相似度上施加条件并分别存储标签内外最近邻的修正方法，在提升嵌入质量的同时改善了可扩展性。
2023-04-11 cs.LG stat.ML
A Graph-Based Semi-Supervised k Nearest-Neighbor Method for Nonlinear Manifold Distributed Data Classification
Nanyang Technological University（南洋理工大学）；Shanghai University of Electric Power（上海电力大学）；Shanghai Jiao Tong University（上海交通大学）；Auckland University of Technology（奥克兰理工大学）
$k$ Nearest Neighbors（$k$ NN）是用于高斯分布数据分类的最广泛的监督学习算法之一，但当应用于非线性流形分布数据时，特别是当可获得的标记样本数量非常有限时，效果不佳。本文提出了一种新的基于图的$k$神经网络算法，它可以有效地处理高斯分布数据和非线性流形分布数据。为了实现这一目标，我们首先提出了一个受约束的疲劳随机游走（TRW）通过构建一个$R$级最近邻增强树的图形，然后计算TRW矩阵的相似性度量的目的。然后，根据TRW矩阵确定查询点的最近邻，并通过其最近邻的所有TRW权重之和确定查询点的类标签。为了处理在线的情况下，我们还提出了一个新的算法来处理基于局部邻域重建的连续样本。在合成数据集和真实数据集上进行了对比实验，验证了新的$k$ NN算法及其对其他版本的$k$ NN算法的改进的有效性.鉴于流形结构在现实世界中的广泛出现和传统的$k$ NN算法的流行，建议的流形版本$k$ NN分类流形分布的数据显示出良好的潜力。
2016-06-03 cs.LG stat.ML
A Note on "Efficient Task-Specific Data Valuation for Nearest Neighbor Algorithms"
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
本文提出一种基于新效用函数的 soft-label KNN-SV 数据估值方法，并利用 LSH 设计高效近似算法，在保持同等时间复杂度的同时，于误标数据检测任务中优于原始方法。
2023-11-26 cs.LG stat.ML
Online Consistency of the Nearest Neighbor Rule
UC San Diego（加州大学圣迭戈分校）
该研究针对最近邻规则在线一致性仅在强假设下成立的问题，在加倍度量空间中基于温和假设证明了其对所有可测函数的在线一致性。
2024-10-31 cs.LG stat.ML
A Multilabel Classification Framework for Approximate Nearest Neighbor Search
University of Helsinki（赫尔辛基大学）；Helsinki Institute for Information Technology (HIIT)（赫尔辛基信息技术研究所）；Carnegie Mellon University（卡内基梅隆大学）
监督和无监督机器学习算法都已被用于学习基于分区的索引结构，以用于近似最近邻（ANN）搜索。现有的监督算法将学习任务表述为找到一个分区，其中训练集点的最近邻居属于与点本身相同的分区元素，使得最近邻居候选者可以通过朴素查找或回溯搜索来检索。我们制定的候选集选择人工神经网络搜索直接作为一个多标签分类问题，标签对应的查询点的最近邻居，并解释分区分区分类器解决这个任务。实证结果表明，基于这种解释的自然分类器与任何无监督或有监督的分区策略相结合时，会导致严格的性能提高。我们还证明了一个充分条件的分割分类器的ANN搜索的一致性，并通过验证这个条件的时序$k$ -d树的结果。
2022-10-13 cs.LG stat.ML
Reconstruction Regularized Deep Metric Learning for Multi-label Image Classification
School of Computer Science and Engineering and Big Data Research Center, University of Electronic Science and Technology of China（电子科技大学计算机科学与工程学院与大数据研究中心）；PingAn Health Technology Co.,Ltd.（平安健康科技股份有限公司）
在本文中，我们提出了一种新的深度度量学习方法来解决多标签图像分类问题。为了更好地学习图像特征和标签之间的相关性，我们尝试探索一个潜在空间，其中图像和标签分别通过两个独特的深度神经网络嵌入。为了捕获图像特征和标签之间的关系，我们的目标是从两个不同的视图学习嵌入空间上的\emph{two-way}深度距离度量，即，一个图像与其标签之间的距离不仅小于该图像与其标签的最近邻居之间的距离，而且小于该标签与对应于该标签的最近邻居的其他图像之间的距离。此外，用于恢复正确标签的重建模块被并入整个框架中作为正则化项，使得标签嵌入空间更具代表性。我们的模型可以以端到端的方式进行训练。公开的图像数据集上的实验结果证实了我们的方法的有效性与国家的最先进的。
2020-07-27 cs.CV cs.LG stat.ML
SqueezeFit: Label-aware dimensionality reduction by semidefinite programming
The Ohio State University（俄亥俄州立大学）；New York University（纽约大学）
给定高维向量空间中的标记点，我们寻找一个低维子空间，使得投影到这个子空间上保持不同标记点之间的某个指定距离。预期应用包括压缩分类。受大间隔最近邻分类法的启发，本文提出了一种半定松弛方法。不像它的前辈，这种放松是服从理论分析，使我们能够证明恢复种植投影算子的数据。
2018-12-06 cs.LG math.OC stat.ML
Dynamic classifier chains for multi-label learning
Wroclaw University of Technology（弗罗茨瓦夫理工大学）
在本文中，我们处理的任务是建立一个动态集成的链分类器的多标签分类。为此，我们提出了两种分类器链算法的概念，这些算法能够在不重建整个模型的情况下改变链的标签顺序。这样的模式允许在不显著增加计算负担的情况下预测实例特定的链顺序。建议的链模型使用朴素贝叶斯分类器和最近邻方法作为基础的单标签分类器。为了利用所提出的算法的好处，我们开发了一个简单的启发式算法，允许系统找到相对较好的标签顺序。启发式排序标签根据标签特定的分类质量在验证阶段获得。启发式算法试图最大限度地减少链中的错误传播现象。实验结果表明，该模型基于朴素贝叶斯分类器，上述启发式是一个有效的工具，建立动态链分类器。
2017-11-22 cs.LG stat.ML
Cost-Sensitive Label Embedding for Multi-Label Classification
National Taiwan University（台湾大学）
标签嵌入（LE）是一种重要的多标签分类算法，它联合地消化标签信息以获得更好的性能。不同的实际应用程序通过不同的成本函数来评估性能。目前的LE算法通常旨在优化一个特定的成本函数，但它们可能会遭受相对于其他成本函数的不良性能。在本文中，我们解决了性能问题，提出了一种新的成本敏感LE算法，考虑到成本函数的利益。提出的算法，成本敏感标签嵌入与多维缩放（CLEMS），近似的成本信息与嵌入向量的距离，通过使用经典的多维缩放方法的流形学习。CLEMS能够处理对称和非对称的成本函数，并有效地使成本敏感的决定，最近邻解码内嵌入的向量。我们得出的理论结果，证明如何CLEMS实现所需的成本敏感性。此外，大量的实验结果表明，CLEMS是显着优于广泛的现有LE算法和国家的最先进的成本敏感算法在不同的成本函数。
2017-08-05 cs.LG stat.ML
Bayesian Model Selection Methods for Mutual and Symmetric $k$-Nearest Neighbor Classification
R2 Research（R2 研究公司）
$k$-最近邻分类方法（$k$-NNC）是最简单的非参数分类方法之一。相互$k$-NN分类方法（M $k$ NNC）是基于相互邻近的$k$-NNC的变体。我们提出了另一种变体的$k$-NNC，对称的$k$-NN分类方法（S $k$ NNC）的基础上相互邻居和单边邻居。M $k$ NNC和S $k$ NNC的性能与$k$-NNC的性能一样依赖于参数$k$。我们提出了如何M $k$ NN和S $k$ NN分类可以进行基于贝叶斯互和对称$k$-NN回归方法与参数$k$的选择方案。贝叶斯交互和对称$k$-NN回归方法是基于高斯过程模型的，事实证明，它们可以用新的目标值编码（类标签）进行M $k$ NN和S $k$ NN分类。仿真结果表明，无论是对人工数据集还是对真实数据集，所提出的方法都优于或可与$k$-NNC、M $k$ NNC和S $k$ NNC相媲美，其中参数$k$采用留一法交叉验证.
2016-08-14 cs.LG stat.ML
An adaptive nearest neighbor rule for classification
我们介绍了一个变种的$k$ -最近邻分类器中，$k$是自适应地选择每个查询，而不是提供作为一个参数。$k$的选择取决于每个邻域的属性，因此可能在不同点之间显著变化。(For例如，该算法将使用较大的$k$来预测噪声区域中的点的标签。）我们提供的理论和实验表明，该算法的性能优于，有时比，$k$ -NN与$k$的最佳选择。特别是，我们推导出我们的分类器的收敛速度上的界限，依赖于一个本地量，我们称之为“优势”，这是显着弱于以前的收敛速度证明中使用的Lipschitz条件。这些推广的界限取决于Vapnik和Chervonenkis开创性的一致收敛定理的一个变体;这个变体涉及条件概率，可能是独立的兴趣。
2019-05-29 cs.AI cs.LG stat.ML
Efficient Data Shapley for Weighted Nearest Neighbor Algorithms
Princeton University（普林斯顿大学）；Virginia Tech（弗吉尼亚理工大学）
本文针对加权 KNN 的 Data Shapley 计算难题，将其转化为计数问题，提出二次时间精确算法及保持公平性的确定性近似算法，并实验验证其效率与数据质量识别优势。
2024-01-20 cs.DS cs.LG stat.ML
Multi-label Stream Classification with Self-Organizing Maps
Federal University of São Carlos（圣卡洛斯联邦大学）；Federal University of Uberlândia（乌贝兰迪亚联邦大学）；INESC TEC；University of Porto（波尔图大学）
已经提出了几种用于离线多标签分类的学习算法。然而，在诸如交通监控、社交网络和传感器等领域中的应用连续地产生数据，即所谓的数据流，这对批量多标签学习提出了挑战。由于数据流的分布缺乏平稳性，需要新的算法来在线适应这种变化（概念漂移）。此外，在实际应用中，变化发生在无限延迟标签的场景中，其中到达实例的真实类永远不可用。提出了一种基于自组织映射的在线无监督增量式多标签流分类方法。在分类阶段，我们使用k-近邻策略来计算地图中的获胜神经元，通过在线调整神经元权重向量和数据集标签基数来适应概念漂移。我们使用贝叶斯规则和每个神经元的输出来预测每个实例的标签，调整流中类的概率和条件概率。使用合成和真实数据集的实验表明，我们的方法是非常有竞争力的几个文献中，在固定和概念漂移的情况下。
2020-04-20 cs.LG stat.ML
Visual-Semantic Scene Understanding by Sharing Labels in a Context Network
Rutgers University（罗格斯大学）
我们认为，在复杂的，自然的场景中包含广泛变化的对象外观和微妙的不同名称的命名对象的问题。认知研究的通知，我们提出了一种方法的基础上共享基于上下文的视觉和词汇空间之间的对象假设。为此，我们提出了视觉语义集成模型（VSIM），表示对象标签作为实体之间共享的语义和视觉上下文和推断一个新的图像通过上下文切换更新标签。VSIM的核心是语义弹球盘分配模型和视觉最近邻潜在狄利克雷分配模型。对于推理，我们推导出一个迭代的数据增强算法，池的标签概率和最大化的联合标签后验的图像。我们的模型在具有挑战性的SUN09数据集上的几个视觉任务中超越了最先进的方法的性能。
2013-09-16 cs.CV cs.LG stat.ML
The Resistance to Label Noise in K-NN and DNN Depends on its Concentration
Tel-Aviv University（特拉维夫大学）
我们研究了K-最近邻（K-NN）和深度神经网络（DNN）在标签噪声存在下的分类性能。我们首先经验性地表明，DNN对给定测试示例的预测取决于其局部邻域中的训练样本的标签。这促使我们推导出一个可实现的解析表达式，近似的多类K-NN分类错误的标签噪声，这是独立的重要性。然后，我们建议K-NN的表达式可以作为DNN误差的一阶近似。最后，我们根据经验证明了所开发的表达与K-NN和DNN分类器的观察性能的接近性。我们的结果可以解释DNN对某些类型的标签噪声的惊人抵抗力。它还表征了它的一个重要因素，即噪声越集中，性能的下降越大。
2020-12-03 cs.CV cs.LG cs.NE
Classification with the nearest neighbor rule in general finite dimensional spaces: necessary and sufficient conditions
给定$n$ -其联合规律未知的随机向量$(X_i,Y_i)_{1 \leq i \leq n}$的样本，监督分类的长期问题旨在\textit{optimally}预测给定新观测$X$的标签$Y$。在这种情况下，最近邻规则是一种流行的灵活和直观的方法，在非参数的情况下。即使该算法通常用于机器学习和统计社区，但对其在一般有限维空间中的预测能力知之甚少，特别是当观测密度的支持是$\mathbb{R}^d$时。本文研究了最近邻规则在不同情况下的统计性质。特别是，注意到的$X$的边际法，以及光滑性和边际性质的\textit{regression function} $η(X) = \mathbb{E}[Y | X]$。我们确定了两个充要条件，以获得一致的一致性率的分类，并得出尖锐的估计的情况下，最近的邻居规则。最后给出了一些数值实验来说明本文的讨论。
2014-11-05 math.ST stat.ML stat.TH
A Comparison of Super-Resolution and Nearest Neighbors Interpolation Applied to Object Detection on Satellite Data
Systems and Technology Research（系统与技术研究院）
随着超分辨率（SR）作为一个研究课题的成熟，它已被应用到图像重建以外的其他课题。特别地，将分类或目标检测任务与超分辨率预处理阶段相结合已经产生了准确性的改进，特别是对于相对于场景较小的对象。虽然SR已经显示出前景，但是还没有进行比较SR和朴素的放大方法（诸如最近邻（NN）插值）在作为目标检测的预处理步骤时的研究。我们将该主题应用于卫星数据，并将多尺度深度超分辨率（MDSR）系统与xView挑战数据集上的NN进行比较。为此，我们提出了一个处理卫星数据的管道，它结合了多级图像拼接和放大，YOLOv2目标检测架构和标签拼接。我们比较了使用放大因子为4的训练模型的效果，将图像从30 cm地面样本距离（GSD）放大到7.5 cm的有效GSD。通过该因子进行升级可以显著改善检测结果，将一般车辆类别的平均精度（AP）提高23%。我们证明了，虽然SR产生的放大图像比NN对应的图像在视觉上更令人愉悦，但目标检测网络在准确性上几乎没有差异，使用NN进行上采样的图像与MDSRx4增强图像的结果几乎相同，两种方法之间的差异为0.0002 AP。
2019-07-08 cs.CV cs.LG eess.IV
Metric Learning for Dynamic Text Classification
ASAPP, Inc.（ASAPP公司）
传统的文本分类器仅限于在一组固定的标签上进行预测。然而，在许多实际应用中，标签集经常发生变化。例如，在意图分类中，可以随时间添加新意图，而移除其他意图。我们建议解决动态文本分类的问题，用一个学习的，语义上有意义的度量空间来代替传统的，固定大小的输出层。在这里，文本输入之间的距离被优化，以在重叠的标签集上执行最近邻分类。更改标签集并不涉及删除参数，而只是在度量空间中添加或删除支持点。然后，可以仅用几个附加的训练样本来微调学习的度量。我们证明了这种简单的策略对标签空间的变化是鲁棒的。此外，我们的研究结果表明，学习非欧几里德度量可以提高低数据状态下的性能，这表明度量空间的进一步工作可能有利于低资源研究。
2019-11-04 cs.CL cs.IR cs.LG
Classification with imperfect training labels
我们研究了不完美的训练数据标签对分类方法性能的影响。在一般情况下，训练数据集中的观察结果被错误标记的概率可能取决于特征向量和真实标签，我们根据预测噪声标签的过度风险来限制用不完美标签训练的任意分类器的过度风险。这揭示了使用不完美标签训练的分类器在对未损坏的测试数据点进行分类时保持一致的条件。此外，在较强的条件下，我们得到详细的渐近性能流行的$k$ -最近邻（$k$ nn），支持向量机（SVM）和线性判别分析（LDA）分类。这些结果的一个后果是，knn和SVM分类器是强大的不完美的训练标签，在这个意义上，这些分类器的过度风险的收敛速率保持不变;事实上，我们的理论和实证结果甚至表明，在某些情况下，不完美的标签可能会提高这些方法的性能。另一方面，LDA分类器被示出为通常是不一致的标签噪声的存在下，除非每个类的先验概率相等。我们的理论结果得到了模拟研究的支持。
2019-05-06 math.ST stat.ME stat.ML
