Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation
University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；American University of Beirut（贝鲁特美国大学）；College of Pharmacy, University of Michigan - Ann Arbor（密歇根大学安娜堡分校药学院）
本文提出代价敏感对抗性数据增强框架CSADA，通过生成针对关键误分类的对抗样本训练过度参数化深度模型，从而在保持整体准确率的同时有效降低总体代价和关键错误。
2022-08-24 cs.LG stat.ML
Active Metric Learning for Supervised Classification
ExxonMobil Corporate Strategic Research（埃克森美孚企业战略研究院）；Lehigh University（利哈伊大学）
聚类和分类主要依赖于距离度量，这些距离度量提供了数据点之间有意义的比较。我们提出了混合整数优化方法来找到最佳的距离度量，推广了文献中广泛研究的马氏度量。此外，我们通过消除对预先指定的“目标邻居”、“三元组”和“相似性对”的依赖来概括和改进领先的方法。“我们的方法的另一个显著特点是它能够通过在计算出最佳度量后推荐精确的区域来进行主动学习，以提高分类性能。这种有针对性的获取可以通过确保训练数据完整性、代表性和经济性来显著减少计算负担。我们通过几个简单直观的例子展示了算法的分类和计算性能，然后是真实图像和医疗数据集的结果。
2018-03-28 cs.LG stat.ML
Cost-Sensitive Label Embedding for Multi-Label Classification
National Taiwan University（台湾大学）
标签嵌入（LE）是一种重要的多标签分类算法，它联合地消化标签信息以获得更好的性能。不同的实际应用程序通过不同的成本函数来评估性能。目前的LE算法通常旨在优化一个特定的成本函数，但它们可能会遭受相对于其他成本函数的不良性能。在本文中，我们解决了性能问题，提出了一种新的成本敏感LE算法，考虑到成本函数的利益。提出的算法，成本敏感标签嵌入与多维缩放（CLEMS），近似的成本信息与嵌入向量的距离，通过使用经典的多维缩放方法的流形学习。CLEMS能够处理对称和非对称的成本函数，并有效地使成本敏感的决定，最近邻解码内嵌入的向量。我们得出的理论结果，证明如何CLEMS实现所需的成本敏感性。此外，大量的实验结果表明，CLEMS是显着优于广泛的现有LE算法和国家的最先进的成本敏感算法在不同的成本函数。
2017-08-05 cs.LG stat.ML
Active metric learning and classification using similarity queries
Georgia Institute of Technology（佐治亚理工学院）
主动学习通常用于通过自适应地选择信息量最大的查询来训练标签有效模型。然而，大多数主动学习策略被设计为学习数据的表示（例如，嵌入或度量学习）或在任务上表现良好（例如，分类）的数据。然而，许多机器学习任务涉及表示学习和特定任务目标的组合。出于这一动机，我们提出了一种新的统一查询框架，可以应用于任何问题，其中的一个关键组成部分是学习的数据表示，反映相似性。我们的方法建立在相似性或最近邻（NN）查询的基础上，这些查询旨在选择导致改进嵌入的样本。查询由引用和一组对象组成，其中oracle选择最相似的对象（即，最接近）的参考。为了减少请求查询的数量，根据信息理论标准自适应地选择它们。我们使用各种合成和现实世界的数据集证明了所提出的策略在两项任务（主动度量学习和主动分类）上的有效性。特别是，我们证明了在深度度量学习环境中，主动选择的NN查询优于最近开发的主动三元组选择方法。此外，我们表明，在分类，积极选择类标签可以重新制定为一个过程，选择最翔实的NN查询，允许直接应用我们的方法。
2022-02-04 cs.LG stat.ML
Bayesian Active Learning for Classification and Preference Learning
University of Cambridge（剑桥大学）
信息论主动学习在概率模型中得到了广泛的研究。对于简单回归，最优近视策略是容易处理的。然而，对于其他任务和更复杂的模型，如非参数模型的分类，最佳解决方案更难计算。目前的方法是通过近似来实现易处理性。我们提出了一种方法，表示信息增益的预测熵，并将此方法应用于高斯过程分类器（GPC）。我们的方法使最小的近似，充分的信息理论的目标。我们的实验性能媲美许多流行的主动学习算法，并具有相同或更低的计算复杂度。我们比较好的决策理论的方法，这是更多的信息，需要更多的计算时间。其次，通过将二进制偏好学习问题转化为分类问题，将算法扩展到高斯过程偏好学习问题。
2011-12-24 cs.LG stat.ML
Active Learning for One-Class Classification Using Two One-Class Classifiers
Institute of Signal Processing（信号处理研究所）
本文介绍了一种新的，通用的主动学习方法的一类分类。在机器学习领域，主动学习方法在减少人工标注的工作量方面发挥着重要作用。虽然在过去的几年里已经提出了许多主动学习方法，他们大多数是限制在二进制或多类问题。单类分类器在训练过程中只使用来自一个类（所谓的目标类）的样本，因此需要特殊的主动学习策略。为一类分类提出的少数策略要么受到特定一类分类器的限制，要么其性能取决于对数据集的特定假设，如不平衡。我们提出的方法基于使用两个单类分类器，一个用于所需的目标类，一个用于所谓的离群值类。它允许发明新的查询策略，使用二进制查询策略和定义简单的停止标准。在此基础上提出了两种查询策略。所提供的实验将所提出的方法与各种数据集上的已知策略进行比较，并在几乎所有情况下显示出改进的结果。
2019-01-10 cs.LG stat.ML
Bayes-Optimal Fair Classification with Multiple Sensitive Features
Department of Information Systems, Arizona State University（信息系统系，亚利桑那州立大学）；Department of Information Systems and Intelligent Business, School of Management, Xi’an Jiaotong University（信息系统与智能商业系，管理学院，西安交通大学）
针对现有贝叶斯最优公平分类仅考虑单一敏感特征的局限，本文刻画多敏感特征下的贝叶斯最优公平分类器形式，提出两种实用算法，实验验证其性能优于现有方法。
2025-11-16 cs.LG stat.ML
Soft Methodology for Cost-and-error Sensitive Classification
Institute of Information Science, Academia Sinica（中央研究院资讯科学研究所）；National Yang-Ming University（国立阳明大学）；National Taiwan University（国立台湾大学）
许多现实世界的数据采掘应用需要不同类型的分类错误的不同成本，因此需要成本敏感的分类算法。现有的成本敏感分类算法在最小化成本方面是成功的，但作为权衡，可能导致高出错率。高出错率阻碍了这些算法的实际应用。在本文中，我们提出了一种新的成本敏感的分类方法，同时考虑成本和出错率。该方法被称为软代价敏感分类，建立在代价和出错率的多准则优化问题的基础上，并且可以被看作是用出错率正则化代价敏感分类。简单的方法可以立即改善现有的成本敏感的分类算法。基准测试和真实数据集上的实验表明，我们提出的方法确实实现了较低的测试出错率和类似的（有时更低）测试成本比现有的成本敏感的分类算法。我们还证明，该方法可以扩展到考虑加权出错率，而不是原来的出错率。这个扩展对于解决不平衡分类问题很有用。
2017-10-26 cs.LG
Active Deep Learning for Classification of Hyperspectral Images
研究了高光谱图像的主动深度学习分类问题。深度学习在许多应用中取得了成功，但需要高质量的标记样本来构建深度学习网络。在高光谱遥感图像中获取高质量的标记样本是一项昂贵的工作。提出了一种基于加权增量字典学习的主动学习算法。该算法选择训练样本，最大限度地提高两个选择标准，即代表性和不确定性。该算法通过在每次迭代中主动选择训练样本来有效地训练深度网络。将该算法应用于高光谱图像的分类，并与其他采用主动学习的分类算法进行了比较。实验结果表明，该算法在高光谱图像分类中是有效的。
2016-11-30 cs.CV cs.LG stat.ML
A Cost-Sensitive Deep Belief Network for Imbalanced Classification
National University of Singapore（新加坡国立大学）；City University of Hong Kong（香港城市大学）
具有偏斜类分布的不平衡数据在许多实际应用中很常见。深度信念网络（DBN）是一种机器学习技术，在分类任务中是有效的。然而，传统的DBN并不适用于不平衡的数据分类，因为它假设每个类的成本相等。为了解决这个问题，成本敏感的方法分配不同的错误分类成本为不同的类，而不破坏真实的数据样本分布。然而，由于缺乏先验知识，误分类成本通常是未知的，在实践中很难选择。此外，还没有很好地研究如何成本敏感的学习可以提高DBN的性能不平衡的数据问题。提出了一种用于不平衡分类的进化代价敏感深度信念网络（ECS-DBN）。ECS-DBN采用自适应差分进化算法对基于训练数据的误分类代价进行优化，为在目标函数中引入评价指标（即G-均值）提供了一种有效的方法。我们首先优化错误分类成本，然后将其应用于深度信念网络。自适应差分进化优化算法是一种无需先验知识就能自动更新相应参数的优化算法。实验表明，该方法在基准数据集和真实数据集上的刀具状态监测故障诊断性能均优于现有技术。
2018-05-05 cs.LG stat.ML
Classification Tree-based Active Learning: A Wrapper Approach
Grenoble-INP（格勒诺布尔国立综合理工学院）；CNRS（法国国家科学研究中心）；University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
针对监督学习标记数据获取困难的问题，提出一种基于分类树的包装器主动学习方法，通过树结构分解低熵区域并分配抽样，在标记数据受限场景下显著提升了分类模型精度。
2024-04-15 cs.LG stat.ML
Why Pay More When You Can Pay Less: A Joint Learning Framework for Active Feature Acquisition and Classification
我们考虑主动特征获取的问题，在这里我们顺序地选择特征的子集，以便以最具成本效益的方式实现最大的预测性能。在这项工作中，我们制定这个主动特征获取问题作为一个强化学习问题，并提供了一个新的框架，共同学习的RL代理和分类器（环境）。我们还介绍了一种更系统的方法来编码特征子集，可以正确处理主动特征获取问题中缺少条目的固有挑战，该方法使用基于有序LSTM的集合编码机制，该机制很容易适应联合学习框架。我们在一个精心设计的用于主动特征获取的合成数据集以及几个真实数据集（如电子健康记录（EHR）数据集）上评估了我们的模型，在这些数据集上，它在预测性能和特征获取成本方面优于所有基线。
2017-09-18 cs.LG stat.ML
Active Learning for Binary Classification with Abstention
本文针对带约束的二进制分类问题，构造并分析了主动学习算法。我们考虑三个约束设置：\emph{fixed-cost}和\emph{bounded-rate}约束的两个变体，并为它们中的每一个提出了一个主动学习算法。所有提出的算法都可以在最常用的主动学习模型中工作，即，\emph{membership-query}、\emph{pool-based}和\emph{stream-based}采样。我们得到的上界的超额风险，我们的算法在一般的非参数框架，并建立其极大极小近似最优推导匹配的下界。由于我们的算法依赖于回归函数的一些平滑参数的知识，因此我们描述了一种新的策略，以数据驱动的方式适应这些未知参数。由于最坏的情况下，我们提出的算法的计算复杂性的输入空间的维数呈指数增加，我们得出结论，我们的算法的计算复杂性的计算效率的变化有一个多项式依赖于一个较小的，但丰富的学习问题。
2019-06-01 cs.LG stat.ML
Bridging Cost-sensitive and Neyman-Pearson Paradigms for Asymmetric Binary Classification
Rutgers, The State University of New Jersey（罗格斯新泽西州立大学）；University of South California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）
非对称二进制分类问题，其中的第一类和第二类错误具有不相等的严重性，是普遍存在的在现实世界中的应用。为了处理这种不对称性，研究人员开发了成本敏感范式和奈曼-皮尔森范式来训练分类器，以控制更严重类型的分类错误，例如第一类错误。成本敏感的范式被广泛使用，并有直接的实现，不需要样本分裂，但是，它需要一个明确的规格的成本的第一和第二类错误，一个悬而未决的问题是什么规格可以保证高概率控制人口第一类错误。相比之下，Neyman-Pearson范式可以训练分类器以实现对总体第一类错误的高概率控制，但它依赖于减少有效训练样本量的样本分裂。由于两种范式具有互补性，因此将它们的优势结合起来构建量词是合理的。在这项工作中，我们第一次研究了两种范式之间的方法学联系，我们开发了TUBE-CS算法，从控制人口第一类错误的角度来弥合这两种范式。
2020-12-29 cs.LG stat.ML
A New Perspective on Pool-Based Active Classification and False-Discovery Control
Paul G. Allen School of Computer Science & Engineering（保罗·G·艾伦计算机科学与工程学院）；University of Washington, Seattle, WA（华盛顿大学）
在许多科学环境中，需要自适应试验设计来指导识别搜索空间的区域的过程，这些区域包含尽可能多的真阳性，但错误发现（即错误警报）的比率很低。搜索空间的这些区域可能与最小化0/1误差的预测集有很大不同，并且准确识别可能需要非常不同的采样策略。像二进制分类的主动学习一样，这种试验设计不能先验地选择最佳，而是必须顺序地和自适应地获取数据。然而，与具有0/1错误的分类不同，自适应地收集数据以找到具有高真阳性率和低错误发现率（FDR）的集合还没有被很好地理解。在本文中，我们提供了第一个可证明的样本有效的自适应算法，这个问题。一路上，我们强调分类，组合土匪，和FDR控制之间的联系，使每个贡献。
2020-08-14 cs.LG stat.ML
Active learning for binary classification with variable selection
University of Science Technology of China（中国科学技术大学）；Korea University（高丽大学）
现代计算和通信技术可以使数据收集程序非常有效。然而，我们分析大型数据集和/或从中提取信息的能力很难跟上我们收集数据的能力。在这些庞大的数据集中，有些并不是为了任何特定的研究目的而收集的。对于一个分类问题，这意味着在现有的数据集中，基本的标签信息可能不容易获得，需要一个额外的标签过程，这样我们就可以有足够的标签信息用于构建分类模型。当一个数据集的规模很大时，对其中的每个主题进行标记将花费大量的资金和时间。因此，它是一个重要的问题，以决定哪些科目应首先标记，以有效地减少训练成本/时间。主动学习方法是解决这一问题的有效途径，因为主动学习的思想可以在不知道被试的标签信息的情况下，顺序地选择未标记的被试。此外，将没有关于用于构造有效分类规则的基本变量的确认信息。因此，如何将变量选择方案与主动学习过程合并是令人感兴趣的。在本文中，我们提出了一个建立二进制分类模型的过程中，完整的标签信息是不可用的训练阶段的开始。我们研究了一个基于模型的主动学习过程与顺序变量选择方案，并讨论了所提出的过程从理论和数值方面的结果。
2019-01-29 cs.LG stat.ML
S2: An Efficient Graph Based Active Learning Algorithm with Application to Nonparametric Classification
Carnegie Mellon University（卡内基梅隆大学）；University of Wisconsin, Madison（威斯康星大学麦迪逊分校）
本文研究了图上二值标签预测的主动学习问题。我们引入了一个简单的和标签效率的算法称为S2的这项任务。在每一步中，S2根据图的结构和所有先前收集的标签选择要标记的顶点。具体来说，S2查询将任何一对相反标记的顶点之间的 * 最短最短 * 路径平分的顶点的标签。我们提出了一个理论估计的查询S2的数量需要在一个新的参数化的二进制函数图的复杂性。我们还提出了实验结果，证明了真实和合成数据上的S2的性能。虽然其他基于图的主动学习算法在实践中表现出了希望，我们的算法是第一个既有良好的性能和理论保证。最后，我们展示了S2算法的影响，非参数主动学习的理论。特别是，我们证明了S2实现了一个重要的非参数分类问题类的最优超额风险附近的极大极小。
2015-06-29 cs.LG stat.ML
Discriminative Active Learning
the Hebrew University（希伯来大学）
我们提出了一个新的批处理模式主动学习算法设计的神经网络和大批量查询。该方法，判别式主动学习（DAL），构成主动学习作为一个二元分类任务，试图选择的例子，以这样一种方式标记，使标记的集合和未标记的池无法区分。在图像分类任务上进行实验，我们凭经验证明我们的方法在中型和大型查询批量中与最先进的方法不相上下，同时易于实现，并且还扩展到除了分类任务之外的其他领域。我们的实验还表明，没有一个国家的最先进的方法，今天是明显优于不确定性抽样时，批量相对较大，否定了一些报道的结果，在最近的文献。
2019-07-15 cs.LG stat.ML
Noise-tolerant, Reliable Active Classification with Comparison Queries
UCSD（加州大学圣地亚哥分校）
近年来，随着大量的、广泛可用的未标记数据的爆炸式增长，寻找标签和时间有效的、鲁棒的学习算法在理论和实践中变得越来越重要。我们研究了主动学习的范式，在这种范式中，可以访问大量数据的算法可以自适应地选择标记什么样的样本，希望以指数方式提高效率。通过引入比较，一个额外的类型的查询比较两个点，我们提供了第一时间和查询有效的算法学习非齐次线性分离器有界（Massart）噪声鲁棒。我们还提供了一个流行的Tsybakov低噪声条件的推广算法，并显示如何比较提供了一个强大的可靠性保证，往往是不切实际的或不可能的，只有标签-返回一个分类器，使没有错误的高概率。
2020-01-15 cs.LG stat.ML
Taking Advantage of Multitask Learning for Fair Classification
University of Genoa（热那亚大学）；Istituto Italiano di Tecnologia（意大利理工学院）；University College London（伦敦大学学院）
算法公平性的核心目标是减少自动决策中的偏差。通过使用敏感信息（例如，性别或种族群体）作为统计模型的一部分，以及保护这些特征的任何承诺。通常，由于数据中存在的偏差，使用分类器的函数形式的敏感信息可以提高分类精度。在本文中，我们展示了如何能够两全其美：优化模型的准确性和公平性，而不显式地使用模型的函数形式中的敏感特征，从而平等对待不同的个体。我们的方法基于两个关键思想。一方面，我们建议使用多任务学习（MTL），增强了公平性约束，共同学习组特定的分类器，利用敏感群体之间的信息。另一方面，由于学习组特定的模型可能不被允许，我们建议首先通过任何学习方法预测敏感特征，然后使用预测的敏感特征来训练公平性约束的MTL。这使我们能够通过三管齐下的方法来解决公平性问题，即通过提高每个组的准确性，在训练过程中实施公平性措施，以及在测试过程中保护敏感信息。在两个真实数据集上的实验结果支持了我们的建议，在准确性和公平性方面都有了实质性的改善。
2020-01-31 cs.LG stat.ML
Streaming Active Deep Forest for Evolving Data Stream Classification
Griffith University（格里菲斯大学）；Robert Gordon University（罗伯特戈登大学）
近年来，深度神经网络（DNN）在机器学习的许多领域都取得了进展。DNN的逐层过程激发了许多深度模型的开发，包括深度集成。最值得注意的基于深度集成的模型是Deep Forest，它可以实现极具竞争力的性能，同时与DNN相比具有更少的超参数。尽管Deep Forest在批量学习环境中取得了巨大的成功，但它并没有努力适应不断变化的数据流。在这项工作中，我们介绍了流深森林（SDF）算法，一个高性能的深度集成方法，专门适用于流分类。我们还提出了增强变量不确定性（AVU）的主动学习策略，以减少标记成本的流上下文。我们比较所提出的方法，以国家的最先进的流算法在广泛的数据集。实验结果表明，采用AVU主动学习策略，SDF在标注预算仅为70%的情况下，其性能明显优于其他方法。
2020-02-26 cs.LG stat.ML
Cost-Sensitive Reference Pair Encoding for Multi-Label Learning
National Taiwan University（国立台湾大学）
多标签分类的标签空间扩展（MLC）是一种在训练之前将原始标签向量编码为更高维度的代码并在测试期间将预测代码解码回标签向量的方法。该方法已被证明，以提高性能的MLC算法时，与现成的纠错码的编码和解码。然而，这样的编码方案实现起来可能很复杂，并且不能容易地满足成本敏感的MLC的共同应用需求-适应感兴趣的不同评估标准。在这项工作中，我们表明，一个更简单的编码方案的基础上的概念的参考对标签向量实现成本敏感性更自然。特别是，我们提出的成本敏感的参考对编码（CSRPE）算法包含基于聚类的编码，基于权重的训练和基于投票的解码步骤，所有利用成本信息。此外，我们利用CSRPE的代码空间中嵌入的成本信息，提出了一种新的主动学习算法成本敏感的MLC。大量的实验结果验证了CSRPE在不同MLC标准下的性能优于最先进的算法。实验结果还表明，CSRPE支持的主动学习算法优于现有的主动MLC算法，并进一步证明了CSRPE的有用性。
2018-10-26 cs.LG stat.ML
The foundations of cost-sensitive causal classification
Faculty of Economics and Business（经济与商业学院）；Katholieke Universiteit Leuven（鲁文大学）；Data Analytics Laboratory（数据分析实验室）；Solvay Business School（索维亚商学院）；Vrije Universiteit Brussel（布鲁塞尔自由大学）；Department of Applied Mathematics and Theoretical Physics（应用数学与理论物理系）；University of Cambridge（剑桥大学）；School of Economics and Business（经济与商业学院）；University of Chile（智利大学）
本研究构建统一评估框架整合成本敏感与因果分类，证明单行动下传统分类是因果分类特例，可实例化业务场景性能指标以实现利润最大化，推动相关学习方法发展与商业决策优化。
2025-05-16 cs.AI cs.LG stat.ML
Improved Algorithms for Agnostic Pool-based Active Classification
Paul G. Allen School of Computer Science and Engineering, University of Washington（华盛顿大学保罗·G·艾伦计算机科学与工程学院）；University of Washington（华盛顿大学）；Seattle（西雅图（城市名，非机构））
我们认为主动学习的二进制分类在不可知池为基础的设置。在不可知环境中的主动学习中的绝大多数作品都受到CAL算法的启发，其中每个查询都是从当前版本空间的不一致区域中均匀采样的。这种算法的样本复杂度由称为不一致系数的量描述，该不一致系数捕获假设空间的几何形状以及潜在的概率空间。到目前为止，分歧系数已经证明了极大极小的下限，留下的大门打开了优越的实例依赖样本的复杂性。在这项工作中，我们提出了一种算法，在不同的区域均匀采样，解决了实验设计问题，以确定一个分布的例子，从请求标签。我们表明，新的方法实现的样本复杂性的界限，从来没有比最好的分歧系数为基础的界限，但在特定情况下，可以显着更小。从实际的角度来看，所提出的算法不需要调整超参数（例如，以控制采样的积极性），并且通过假设访问经验风险最小化预言（没有任何约束）而在计算上是有效的。经验上，我们证明了我们的算法优于图像分类数据集上最先进的不可知主动学习算法。
2021-05-13 cs.LG stat.ML
Active Learning for Risk-Sensitive Inverse Reinforcement Learning
Carnegie Mellon University（卡内基梅隆大学）；University of Michigan（密歇根大学）；Xi’an Jiaotong University（西安交通大学）
逆向强化学习（IRL）中的一个典型假设是人类专家采取行动来优化具有固定分布的随机成本的期望效用。这一假设偏离了人类在歧义情况下的实际行为。风险敏感逆强化学习（RS-IRL）通过假设人类根据相对于一组主观扭曲的分布而不是固定分布的随机成本来行动来弥合这种差距。这样的假设提供了额外的灵活性，以模拟人类的风险偏好，表示的风险信封，在安全关键的任务。然而，像其他示教学习技术一样，RS-IRL也可能由于冗余的示教而导致学习效率低下。受主动学习概念的启发，本研究推导出一个概率扰动采样方案，使RS-IRL代理查询专家支持，这可能会暴露未透露的边界的专家的风险信封。实验结果表明，我们的方法加快了RS-IRL算法的收敛速度，具有较低的方差，同时仍然保证无偏收敛。
2019-09-23 cs.LG cs.RO stat.ML
Data-efficient Online Classification with Siamese Networks and Active Learning
KIOS Research and Innovation Center of Excellence（KIOS卓越研究与创新中心）；University of Cyprus（塞浦路斯大学）
如今，在许多应用领域中，例如在关键基础设施系统、金融和银行、安全和犯罪以及网络分析中，越来越多的数据量正在以流的方式变得可用。为了满足这一新的需求，需要在线构建预测模型，其中学习是动态进行的。在线学习提出了重要的挑战，影响在线分类系统的部署，以现实生活中的问题。在本文中，我们研究学习有限的标记，非平稳和不平衡的数据在线分类。我们提出了一种学习方法，协同结合暹罗神经网络和主动学习。该方法使用多滑动窗口的方法来存储数据，并保持单独的和平衡的队列为每个类。我们的研究表明，该方法对数据非平稳性和不平衡性具有鲁棒性，并且在学习速度和性能方面显着优于基线和最先进的算法。重要的是，即使到达实例的标签只有1%可用，它也是有效的。
2020-10-04 cs.LG stat.ML
Label-Imbalanced and Group-Sensitive Classification under Overparameterization
University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of California, Riverside（加州大学河滨分校）；University of British Columbia（不列颠哥伦比亚大学）
标签不平衡和组敏感分类的目标是优化相关指标，如平衡错误和平等机会。经典的方法，如加权交叉熵，在训练深度网络到训练的终端阶段（TPT）时失败，即训练超过零训练误差。这一观察结果激发了最近的一系列活动，即根据促进少数群体获得更大幅度的直观机制，开发启发式替代方案。与之前的分析相反，我们遵循原则性分析，解释不同的损失调整如何影响利润率。首先，我们证明了所有的线性分类训练TPT，有必要引入乘法，而不是添加剂，logit调整，使类间的利润率适当地改变。为了证明这一点，我们发现了一个连接的乘法CE修改成本敏感的支持向量机。也许与直觉相反，我们还发现，在训练开始时，相同的乘法权重实际上会损害少数类。因此，虽然添加剂的调整是无效的TPT，我们表明，他们可以通过对抗乘法权重的初始负面影响，加快收敛。出于这些发现，我们制定的矢量缩放（VS）的损失，捕获现有的技术作为特殊情况。此外，我们引入了一个自然扩展的VS损失组敏感的分类，从而治疗两种常见类型的不平衡（标签/组）在一个统一的方式。重要的是，我们在最先进的数据集上的实验与我们的理论见解完全一致，并证实了我们算法的优越性能。最后，对于不平衡的高斯混合数据，我们进行了泛化分析，揭示了平衡/标准误差和平等机会之间的权衡。
2021-11-08 cs.LG stat.ML
Active Hybrid Classification
University of Trento（特伦托大学）；Servicenow（ServiceNow公司）；TU Delft（代尔夫特理工大学）
混合人群机器分类器可以通过将自动分类的成本效益与人类判断的准确性相结合来实现卓越的性能。本文展示了人群和机器如何在解决分类问题时相互支持。具体来说，我们提出了一个架构，编排主动学习和人群分类，并结合在一个良性循环。我们表明，当要分类的项目池是有限的时，我们在混合分类中面临学习与利用的权衡，因为我们需要平衡为创建训练数据集而优化的人群任务和为分类池中的项目而优化的任务。我们定义了这个问题，提出了一组算法，并在机器和人群分类性能方面具有不同特征的三个真实数据集上评估了该方法，表明我们的主动混合方法显著优于基线。
2021-01-21 cs.LG
Streaming Active Learning for Regression Problems Using Regression via Classification
Hitachi, Ltd.（日立制作所）
针对回归任务流式主动学习研究不足的问题，本文提出用regression-via-classification框架将回归转分类，直接复用分类流式主动学习方法，在四个真实数据集上实现了相同标注成本下更高的回归精度。
2023-12-15 cs.LG
Cost-Sensitive Active Learning for Intracranial Hemorrhage Detection
University of California Berkeley（加州大学伯克利分校）；University of California San Francisco School of Medicine（加州大学旧金山分校医学院）
用于临床应用的深度学习受到严格的性能要求，这就需要大型标记数据集。然而，标记医疗数据的巨大成本使得这一点具有挑战性。针对头部CT图像中颅内出血的检测和分割问题，建立了一个代价敏感的主动学习系统。我们表明，我们的合奏方法相比，与国家的最先进的，同时运行速度更快，使用更少的内存。此外，我们的实验是使用比以前关于这个主题的论文大得多的数据集完成的。由于标记时间在不同的示例中可能会有很大的差异，我们对标记时间进行建模并优化投资回报。我们通过在我们的大型标记数据集上选择核心集并使用来自野外的数据来增长它来验证这个想法。
2018-09-08 cs.CV cs.LG
Robust Active Learning for Electrocardiographic Signal Classification
SAS Inc（SAS公司）
心电信号的分类是医疗保健行业面临的一个具有挑战性的问题。传统的监督学习方法需要大量的标记数据，这通常是昂贵的，难以获得的心电信号。主动学习非常适合ECG信号分类，因为它的目的是选择最佳的标记数据集，以最大限度地提高分类性能。由于ECG数据在不同类别之间通常严重不平衡，并且类别标签由于手动标记而具有噪声，因此本文提出了一种基于鲁棒主动学习的新解决方案来解决这些挑战。其核心思想是首先在低维嵌入空间中对数据进行聚类，然后在局部聚类中选择信息最多的实例。通过选择依赖于局部平均最小距离的信息量最大的实例，该算法倾向于以更多样化的方式选择用于标记的数据。最后，通过在选择标记数据后加入一种新的噪声标记减少方案，进一步增强了模型的鲁棒性。对MIT-BIH心律失常数据库中的ECG信号进行分类的实验表明了该算法的有效性。
2018-11-21 cs.LG eess.SP stat.ML
Nonparametric active learning for cost-sensitive classification
University of Mons（蒙斯大学）
本文提出一种用于代价敏感分类的通用非参数主动学习算法，通过置信界和最小代价查询实现最优交互复杂度，并证明其相对被动学习的增益及上下界近最优性。
2023-09-30 cs.LG math.ST stat.TH
Cost-Sensitive Convolution based Neural Networks for Imbalanced Time-Series Classification
Mechanical and Electrical Engineering Institute of CUMTB（中国矿业大学（北京）机电工程学院）
针对时间序列分类和类别不平衡问题，提出了一些深度卷积神经网络。然而，这些模型性能下降，甚至无法识别不平衡时间序列数据集的少数类。少数样本会给时间深度学习分类器带来麻烦，因为多数类和少数类是平等对待的。直到最近，很少有将深度学习应用于不平衡时间序列分类（ITSC）任务的工作。本文旨在通过深度学习解决ITSC问题。提出了一种自适应代价敏感学习策略来修正时态深度学习模型。通过所提出的策略，分类器可以自动分配错误分类惩罚每个类。在实验部分，利用所提出的方法对五个神经网络进行了改进。他们评估了一个大容量，现实生活和不平衡的时间序列数据集与六个指标。每个网络也单独测试，并与几个主流数据采样器相结合。实验结果表明，所提出的成本敏感的修改后的网络工作良好的ITSC任务。与其他方法相比，代价敏感的卷积神经网络和残差网络在所有指标方面都胜出。因此，所提出的成本敏感学习策略可用于将深度学习分类器从成本不敏感修改为成本敏感。这些成本敏感的卷积网络可以有效地应用于解决ITSC问题。
2018-01-13 cs.LG
Cost-Sensitive Stacking: an Empirical Evaluation
Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））；University of Cyprus（塞浦路斯大学）
许多现实世界的分类问题本质上是成本敏感的，因此误分类成本在数据实例之间是不同的。成本敏感学习适应分类算法，以考虑误分类成本的差异。堆叠是一种集成方法，它使用来自多个分类器的预测作为另一个分类器的训练数据，然后由另一个分类器做出最终的分类决策。虽然存在大量的经验工作，其中堆叠应用于各个领域，但这些工作中很少考虑误分类成本。事实上，在文献中没有关于什么是成本敏感堆叠的共识。在本文中，我们进行了广泛的实验，目的是建立一个成本敏感的堆叠合奏的适当设置是什么。我们的实验，从一些应用领域的12个数据集进行，使用真实的，依赖于实例的误分类成本，表明最佳性能，这两个层次的堆叠需要成本敏感的分类决策。
2023-01-04 cs.LG
Gravix: Active Learning for Gravitational Waves Classification Algorithms
论文Gravix聚焦引力波分类算法的主动学习研究，其提交版本因版权侵权被arXiv管理员移除。
2024-08-18 cs.LG gr-qc
A Linear Time Active Learning Algorithm for Link Classification -- Full Version --
Università degli Studi di Milano（米兰大学）；Università dell’Insubria（因苏布里亚大学）
我们提出了非常有效的主动学习算法，在签署网络的链接分类。我们的算法是由一个随机模型，其中边缘标签通过扰动的初始符号分配一致的两个集群的节点。我们在这个模型中提供了一个理论分析，表明我们可以通过查询O（|V| ^{3/2}）个边标签来实现任何图G =（V，E）上的最佳错误数（在一个常数因子中），使得|E| = Ω（|V| ^{3/2}）。更一般地，我们展示了一种算法，该算法通过查询最多阶的|V| +（|V| /k）^{3/2}边标签来实现O（k）内的最优性。该算法的运行时间至多为|E| + |V| \log |V|阶。
2013-02-28 cs.LG cs.SI stat.ML
Active Generative Adversarial Network for Image Classification
Hitachi, Ltd. R&D Group（日立制作所研发集团）；Hitachi America, Ltd.（日立美国有限公司）
足够的监督信息对于任何机器学习模型提高性能都是至关重要的。然而，标记数据是昂贵的，有时很难获得。主动学习是一种通过选择具有高概率的信息样本来从人类预言机获取数据的注释以增强性能的方法。在最近的新兴研究中，生成对抗网络（GAN）已经与主动学习相结合，以生成要提交给预言机的好候选人。在本文中，我们提出了一种新的模型，能够以更便宜的方式获得数据的标签，而无需查询Oracle。在该模型中，每个样本的一个新的奖励被设计来衡量不确定性的程度，这是从一个分类器训练与现有的标记数据。该奖励用于引导条件GAN生成具有特定标签的更高概率的信息样本。通过广泛的评估，我们已经证实了该模型的有效性，表明生成的样本能够提高流行的图像分类任务的分类性能。
2019-06-17 cs.CV cs.LG stat.ML
Low Size-Complexity Inductive Logic Programming: The East-West Challenge Considered as a Problem in Cost-Sensitive Classification
归纳逻辑程序设计社区已经考虑了证明复杂度和模型复杂度，但是直到最近，规模复杂度还很少受到关注。最近，一个挑战是“国际计算界”，以发现低尺寸的复杂性Prolog程序分类火车。这项挑战是基于20年前Ryszard Michalski首次提出的一个问题。我们将这一挑战解释为成本敏感分类中的一个问题，并将最近开发的成本敏感分类器应用于竞争。我们的算法是相对成功的（我们赢得了一个奖项）。本文介绍了我们的算法，并分析了竞争的结果。
2002-12-12 cs.LG cs.NE
Active Few-Shot Classification: a New Paradigm for Data-Scarce Learning Settings
IMT Atlantique（大西洋国立高等工业技术与矿业学校）；Schneider Electric（施耐德电气）
我们考虑一个新的配方的问题，主动Few-Shot分类（AFSC）的目标是分类一个小的，最初未标记的，数据集给出了一个非常有限的标签预算。这个问题可以被看作是一个竞争对手的范例，经典的Transductive Few-Shot分类（TFSC），因为这两种方法都适用于类似的条件。我们首先提出了一种方法，结合统计推断，和一个原始的两层主动学习策略，适合这个框架。然后，我们从TFSC领域适应几个标准的视觉基准。我们的实验表明，AFSC的潜在好处可以是巨大的，与最先进的TFSC方法相比，相同的标签预算的平均加权准确度的增益高达10%。我们相信，这种新的范式可以在数据稀缺的学习环境中带来新的发展和标准。
2022-09-23 cs.LG
Active Learning for Matching Problems
University of Toronto（多伦多大学）
有效地学习用户偏好对于减轻用户在各种类型的匹配问题中的负担至关重要。同样重要的是主动查询选择，以进一步减少用户必须提供的偏好信息量。我们解决的问题，主动学习的用户偏好的匹配问题，引入一种新的方法来确定概率匹配，并开发了几个新的主动学习策略，是敏感的特定的匹配目标。在不同领域的真实数据集上的实验表明，匹配敏感的主动学习
2012-06-18 cs.AI cs.IR cs.LG
A Correlation Clustering Approach to Link Classification in Signed Networks -- Full Version --
Università degli Studi di Milano（米兰大学）；Università dell’Insubria（因苏布里亚大学）
受社会平衡理论的启发，我们提出了一种基于关联聚类指数的标记网络链接分类理论。我们得出学习界限的相关聚类在三个基本的转导学习设置：在线，批量和主动。我们的主要算法的贡献是在积极的设置，在那里我们引入了一个新的家庭的有效的链接分类器的基础上覆盖的输入图与小电路。这些是第一个主动算法的链接分类错误的界限，持有任意签署的网络。
2013-02-28 cs.DS cs.LG stat.ML
Cold Start Active Learning Strategies in the Context of Imbalanced Classification
Luxembourg Institute of Science and Technology（卢森堡科学技术研究所）；University of Geneva（日内瓦大学）
我们提出了新的主动学习策略，致力于提供一个解决方案的冷启动阶段，即初始化分类的一个大的数据集没有附加标签。此外，所提出的策略旨在处理随机选择效率极低的不平衡环境。具体来说，我们的主动学习迭代使用元素得分来解决标签稀缺性和不平衡性，将从聚类结构中提取的信息结合到标签传播模型中。该战略说明了一个案例研究，对Twitter的内容w.r.t.一个真实的洪水事件的证词。我们表明，我们的方法有效地应对类不平衡，通过提高少数类的样本的召回。
2022-01-25 cs.LG
Active Learning for Multi-class Image Classification
Institute of Engineering, Ho Chi Minh City University of Technology (HUTECH), Vietnam（工程学院，胡志明市技术大学（HUTECH），越南）
本文将主动学习用于多类图像分类，通过四种不确定性度量策略性选择高价值样本以减少 CNN 训练数据，并在 MNIST 与 Fruits360 上验证其有效性。
2025-05-11 cs.CV cs.LG
Deep reinforced active learning for multi-class image classification
GlaxoSmithKline（葛兰素史克）
高精度医学图像分类可能受到获取更多数据的成本以及标记现有图像所需的时间和专业知识的限制。在本文中，我们将主动学习应用到医学图像分类中，这种方法的目的是从更大的数据池中最小子集上最大限度地提高模型性能。我们提出了一个新的主动学习框架，基于深度强化学习，学习主动学习查询策略，根据卷积神经网络的预测来标记图像。我们的框架修改了deep-Q网络公式，允许我们根据分类器潜在空间中的几何参数来选择数据，允许在基于批处理的主动学习设置中进行高精度多类分类，使智能体能够标记多样化和最不确定的数据点。我们将我们的框架应用于两个医学成像数据集，并与标准查询策略以及最新的基于强化学习的主动学习方法进行比较，用于图像分类。
2022-06-20 cs.AI cs.CV cs.LG
Online Body Schema Adaptation through Cost-Sensitive Active Learning
Institute for Systems and Robotics（系统与机器人研究所）；Instituto Superior Técnico（里斯本高等理工学院）；Universidade de Lisboa（里斯本大学）
人形机器人具有复杂的身体和运动链，具有多个自由度（DoF），这是难以建模的。学习运动学模型的参数可以通过观察机器人连杆在预期运动期间的位置并最小化预测误差来实现。本文提出了一种基于Denavit-Hartenberg（DH）参数的人形机器人手臂体模在线估计方法。采用基于A-Optimality准则的代价敏感主动学习方法选择最优关节构型。所选择的关节配置同时最大限度地减少身体图式估计中的误差，并最大限度地减少样本之间的移动。这减少了能耗，以及机械疲劳和磨损，同时不会影响学习精度。这项工作是在模拟环境中实现的，使用iCub机器人模拟器的7 DoF手臂。手的姿势是通过放置在机器人的手掌和手背上的标记用单个相机测量的。提出了一种非参数遮挡模型，以避免选择标记不可见的关节配置，从而防止无用的尝试。结果表明，成本敏感的主动学习具有类似的准确性，标准的主动学习的方法，而减少了约一半的执行动作。
2022-02-10 cs.AI cs.CV cs.LG
In Automation We Trust: Investigating the Role of Uncertainty in Active Learning Systems
University of Colorado Boulder（科罗拉多大学博尔德分校）
我们研究如何不同的主动学习（AL）查询政策，再加上分类不确定性可视化影响分析师的信任自动分类系统。AL的当前标准策略是查询oracle（例如，分析员）来细化分类器具有最高不确定性的数据点的标签。这是自动化系统的最佳策略，因为它产生最大的信息增益。然而，以模型为中心的策略忽略了这种不确定性对系统中人类组件的影响，以及人类在训练后与系统交互的方式。在本文中，我们提出了一个实证研究评估如何AL查询政策和可视化贷款透明度的分类影响信任的图像数据自动分类。我们发现，查询策略显着影响分析师的信任在图像分类系统，我们使用这些结果，提出了一套Oracle查询策略和可视化AL训练阶段使用，可以影响分析师的信任分类。
2020-04-02 cs.HC cs.LG stat.ML
Active Weighted Aging Ensemble for Drifted Data Stream Classification
Wrocław University of Science and Technology（弗罗茨瓦夫科技大学）
流数据分类的一个重要问题是概念漂移的发生，包括分类任务的概率特性的变化。这种现象使分类模型的性能不稳定，并严重降低其质量。一个适当的策略抵消这种现象是需要适应分类器的变化的概率特性。实现这种解决方案的一个重要问题是对数据标签的访问。它通常是昂贵的，因此为了最小化与该过程相关的费用，提出了基于半监督学习的学习策略，例如，采用主动学习方法来指示哪些传入对象有价值被标记以改进分类器的性能。本文提出了一种新的基于分类器集成学习的非平稳数据流的基于块的方法和一种考虑有限预算的主动学习策略，可以成功地应用于任何数据流分类算法。所提出的方法已通过计算机实验，使用真实的和生成的数据流进行评估。结果证实了所提出的算法的高品质的国家的最先进的方法。
2021-12-19 cs.LG
Cost-sensitive Semi-supervised Classification for Fraud Applications
University of Regina（里贾纳大学）
本研究探讨成本敏感学习（CSL）在欺诈检测领域，以减少欺诈类的不正确的预测，并提高其准确性。值得注意的是，我们专注于具有挑战性的检测，因为骗子和合法投标人的行为是相似的。我们在半监督分类（SSC）框架内调查CSL，以解决标记欺诈数据的稀缺性。本文首次尝试将CSL与SSC相结合用于欺诈检测。我们采用元CSL方法来管理误分类错误的成本，而SSC算法是用不平衡数据训练的。使用一个实际的shill投标数据集，我们评估了CSL和SSC的几个混合模型的性能，然后统计比较它们的误分类错误率和准确率。最有效的CSL+SSC模式能够检测到99%的欺诈者，并且总成本最低。
2020-12-21 cs.LG
Modulation and signal class labelling using active learning and classification using machine learning
NIT Surathkal（苏拉特卡尔国家理工学院）
机器学习（ML）中的监督学习需要标记数据集。进一步的实时数据分类需要一种易于获得的标记方法。无线调制和信号分类在军事、商业、电子侦察、认知无线电等领域有着广泛的应用。本文主要研究了基于主动学习框架的实时无线调制和信号类别标注问题。进一步的调制和信号分类是用机器学习算法，如KNN，SVM，朴素贝叶斯。主动学习有助于用最少的数据样本来标记属于不同类的数据点。对于信噪比为18 dB的信号，主动学习算法的准确率为86%。此外，基于KNN的调制和信号分类模型在信噪比范围内表现良好，对18 dB信号的准确率为99.8%。这项工作的新颖性存在于应用主动学习无线调制和信号类标签。调制和信号类别都是在给定的时间标记的帮助下，从数据样本的偶联形成。
2022-02-23 cs.LG eess.SP
Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification
Arizona State University（亚利桑那州立大学）；Lawrence Livermore National Labs（劳伦斯利弗莫尔国家实验室）
深度预测模型依赖于人工监督，以标记的训练数据的形式。获取大量带注释的训练数据可能是昂贵且耗时的，这成为在实践中构建此类模型时的关键瓶颈。在这种情况下，主动学习（AL）策略被用来实现更快的收敛标记的努力。现有的主动学习采用各种基于不确定性和多样性的算法来选择查询样本。尽管它们被广泛使用，但在实践中，它们的性能受到许多因素的限制，包括未校准的不确定性、数据探索和利用之间的权衡不足、存在确认偏差等。为了解决这些挑战，我们提出了Ask-n-Learn，一种基于梯度嵌入的主动学习方法，该梯度嵌入使用算法每次迭代中估计的伪标签获得。更重要的是，我们提倡使用预测校准来获得可靠的梯度嵌入，并提出了一种数据增强策略来减轻伪标记过程中确认偏差的影响。通过对基准图像分类任务（CIFAR-10，SVHN，Fashion-MNIST，MNIST）的实证研究，我们证明了对最先进基线的显着改进，包括最近提出的BADGE算法。
2020-09-30 cs.CV cs.LG stat.ML
Reinforcement Learning Approach to Active Learning for Image Classification
Stiftung Universität Hildesheim（希尔德斯海姆大学基金会）
机器学习需要大量的标记数据来拟合模型。许多数据集已经是公开可用的，然而迫使机器学习的应用可能性到这些公共数据集的领域。机器学习算法在新的应用领域中不断增长的渗透需要解决方案来满足这些新领域中的数据需求。本文将主动学习作为一种可能的解决方案，通过只处理那些特别有利于训练任务的强模型的数据点，来减少需要手工处理的数据量。一个新提出的框架框架的主动学习工作流作为一个强化学习的问题，适用于图像分类和一系列的三个实验进行。每个实验进行了评估，并概述了该方法的潜在问题。接下来的每个实验都对框架提出了改进建议，并评估了它们的影响。在最后一个实验之后，得出了最终结论，不幸的是，拒绝了这项工作的假设，并概述了目前提出的框架不能够用经过训练的强化学习代理来改进图像分类的主动学习。
2021-08-12 cs.LG
The Use of Unlabeled Data versus Labeled Data for Stopping Active Learning for Text Classification
The College of New Jersey（新泽西学院）
训练数据的标注是建立文本分类系统的主要瓶颈。主动学习是减少需要标记的训练数据量的常用技术。主动学习的一个关键方面是确定何时停止标记数据。用于通知何时停止主动学习的三个潜在来源是附加的标记数据集、未标记数据集和在主动学习过程期间标记的训练数据。迄今为止，还没有人比较和对比基于这三种信息源的停止方法的优点和缺点。我们发现，使用未标记数据的停止方法比使用标记数据的方法更有效。
2019-04-22 cs.CL cs.IR cs.LG
Improve High Level Classification with a More Sensitive metric and Optimization approach for Complex Network Building
Institute of Mathematics；Computer Science (ICMC) University of São Paulo (USP) São Carlos, SP, Brazil
复杂网络是一种很好的方法来找到内部关系，并表示数据集中的类结构，然后将其用于高级分类。以前的工作使用K-最近邻来构建每个复杂网络，考虑所有可用的样本。本文介绍了一种不同的复杂网络的创建方法，只考虑属于每个类的样本。利用度量分析了复杂网络的结构，并提出了一种改进复杂网络性能的优化方法。实验中考虑了交叉验证过程，优化方法采用网格搜索和遗传算法，该过程可以提高结果高达10%。
2021-10-23 cs.LG
Active Ensemble Deep Learning for Polarimetric Synthetic Aperture Radar Image Classification
University of Hong Kong（香港大学）；Chinese University of Hong Kong（香港中文大学）；Sun Yat-sen University（中山大学）
尽管深度学习在图像分类任务中取得了巨大成功，但其性能受制于训练样本的数量和质量。在极化合成孔径雷达（PolSAR）图像分类中，从目视解译的角度对图像进行注释几乎是不可能的。因此，在训练样本很少的情况下，研究新的极化SAR图像分类技术是遥感工作者迫切需要解决的问题。在这封信中，我们利用主动学习的优势，提出了主动集成深度学习（AEDL）用于PolSAR图像分类。我们首先证明，深度学习模型在收敛附近的快照中，只有35%的预测标签是完全相同的。快照之间的不一致是不可忽略的。从多视图学习的角度来看，快照一起作为一个很好的委员会，以评估未标记的实例的重要性。使用快照委员会给出的信息量的未标记的数据，建议AEDL取得了更好的性能相比，标准的主动学习策略在两个真正的PolSAR图像。与Flevoland数据集的打破联系主动学习和随机选择相比，它仅用86%和55%的训练样本就实现了相同的分类准确率。
2020-06-29 cs.CV cs.LG
