Cost-Sensitive Support Vector Machines
Shiraz University（设拉子大学）；University of California, San Diego（加州大学圣地亚哥分校）
提出了一种新的代价敏感支持向量机（CS-SVM）分类器的学习方法。SVM铰链损失扩展到成本敏感的设置，CS-SVM推导出作为相关风险的最小化。铰链损失的扩展利用了风险最小化和概率启发之间的最新联系。这些连接推广到成本敏感的分类，在某种程度上，保证与成本敏感的贝叶斯风险，和相关的贝叶斯决策规则的一致性。这确保了在新的铰链损失下，最优决策规则实现贝叶斯最优成本敏感分类边界。新的铰链损失最小化被证明是一个经典的SVM优化问题的推广，并可以通过相同的程序来解决。通过正则化理论和灵敏度分析，详细分析了CS-SVM的对偶问题，并对CS-SVM算法进行了验证。该算法还扩展到成本敏感的学习与示例相关的成本。提出了最小成本敏感风险作为性能度量，并通过向量优化将其与ROC分析相连接。由此产生的算法避免了以前的方法成本敏感的SVM设计的缺点，并被证明具有优越的实验性能，大量的成本敏感和不平衡的数据集。
2015-02-15 cs.LG stat.ML
Scaling Laws for Grid-Based Approximate Nearest Neighbor Search in High Dimensions
University of California, Berkeley（加州大学伯克利分校）；University of Toronto, St. George（多伦多大学圣乔治校区）；Independent Researcher（独立研究员）；University of Waterloo（滑铁卢大学）
本研究系统刻画了多探针网格算法在数据集大小N和维度d上的缩放行为，发现其在GloVe嵌入上具有恒定的维度缩放指数，优于图、树和分区方法，且索引成本更低。
2026-07-03 cs.AI cs.LG
Angle-Based Cost-Sensitive Multicategory Classification
Xi’an Jiaotong University（西安交通大学）；Renmin University of China（中国人民大学）
许多现实世界的分类问题都伴随着不同类型的错误分类的成本。因此，重要的是开发成本敏感的分类器，最大限度地减少总的误分类成本。虽然二进制成本敏感分类器已经得到了很好的研究，解决多类别分类问题仍然是具有挑战性的。解决这个问题的一种流行方法是为K类问题构造K个分类函数，并通过施加和为零的约束来去除冗余。然而，这种方法通常会导致较高的计算复杂度和效率低下的算法。在本文中，我们提出了一种新的基于角度的成本敏感的分类框架，用于多类别分类，而无需求和为零的约束。基于角度的成本敏感分类框架中包含的损失函数进一步证明是Fisher一致的。为了证明该框架的实用性，两个成本敏感的多类别提升算法作为具体的例子。数值实验表明，提出的提升算法产生竞争力的分类性能对其他现有的提升方法。
2020-03-08 cs.LG stat.ML
Cost-Sensitive Label Embedding for Multi-Label Classification
National Taiwan University（台湾大学）
标签嵌入（LE）是一种重要的多标签分类算法，它联合地消化标签信息以获得更好的性能。不同的实际应用程序通过不同的成本函数来评估性能。目前的LE算法通常旨在优化一个特定的成本函数，但它们可能会遭受相对于其他成本函数的不良性能。在本文中，我们解决了性能问题，提出了一种新的成本敏感LE算法，考虑到成本函数的利益。提出的算法，成本敏感标签嵌入与多维缩放（CLEMS），近似的成本信息与嵌入向量的距离，通过使用经典的多维缩放方法的流形学习。CLEMS能够处理对称和非对称的成本函数，并有效地使成本敏感的决定，最近邻解码内嵌入的向量。我们得出的理论结果，证明如何CLEMS实现所需的成本敏感性。此外，大量的实验结果表明，CLEMS是显着优于广泛的现有LE算法和国家的最先进的成本敏感算法在不同的成本函数。
2017-08-05 cs.LG stat.ML
Online classifier adaptation for cost-sensitive learning
Xi’an University of Architecture and Technology（西安建筑科技大学）；Universitat Jaume I（海梅一世大学）
在本文中，我们提出了在线成本敏感分类器自适应问题以及解决该问题的第一个算法。我们假设我们有一个用于成本敏感分类问题的基础分类器，但它是针对与期望的成本设置不同的成本设置进行训练的。此外，我们也有一些训练数据样本流到算法一个接一个。问题是使用在线的蒸汽训练样本使给定的基本分类器适应所需的成本设置。为了解决这个问题，我们提出了学习一个新的分类器，通过添加一个自适应函数的基本分类器，并根据流数据样本更新的自适应函数参数。给定一个输入数据样本和错误分类它的成本，我们通过最小化成本加权铰链损失并同时考虑先前学习的参数来更新自适应函数参数。在两个代价敏感分类问题上，将该算法与在线代价敏感算法和离线代价敏感算法进行了比较，实验结果表明，该算法不仅在分类性能上优于在线代价敏感算法和离线代价敏感算法，而且运行时间明显缩短。
2015-03-23 cs.LG
Cost-Sensitive Convolution based Neural Networks for Imbalanced Time-Series Classification
Mechanical and Electrical Engineering Institute of CUMTB（中国矿业大学（北京）机电工程学院）
针对时间序列分类和类别不平衡问题，提出了一些深度卷积神经网络。然而，这些模型性能下降，甚至无法识别不平衡时间序列数据集的少数类。少数样本会给时间深度学习分类器带来麻烦，因为多数类和少数类是平等对待的。直到最近，很少有将深度学习应用于不平衡时间序列分类（ITSC）任务的工作。本文旨在通过深度学习解决ITSC问题。提出了一种自适应代价敏感学习策略来修正时态深度学习模型。通过所提出的策略，分类器可以自动分配错误分类惩罚每个类。在实验部分，利用所提出的方法对五个神经网络进行了改进。他们评估了一个大容量，现实生活和不平衡的时间序列数据集与六个指标。每个网络也单独测试，并与几个主流数据采样器相结合。实验结果表明，所提出的成本敏感的修改后的网络工作良好的ITSC任务。与其他方法相比，代价敏感的卷积神经网络和残差网络在所有指标方面都胜出。因此，所提出的成本敏感学习策略可用于将深度学习分类器从成本不敏感修改为成本敏感。这些成本敏感的卷积网络可以有效地应用于解决ITSC问题。
2018-01-13 cs.LG
Adversarial Examples for Cost-Sensitive Classifiers
The RAND Corporation（兰德公司）
出于安全关键分类问题的动机，我们研究了对成本敏感分类器的对抗攻击。我们使用当前最先进的抗对抗神经网络分类器[1]作为基础模型。然后通过网络前馈评估中的最终处理步骤实现成本敏感预测。我们评估了成本敏感分类器对各种攻击的有效性，并介绍了一种新的成本敏感攻击，在某些情况下，它的性能优于有针对性的攻击。我们还探讨了防御者可以采取的措施，以限制他们对这些攻击的脆弱性。这种攻击者/防御者的情况下，自然是一个两个球员的零和有限的游戏，我们用博弈论分析。
2019-10-04 cs.CR cs.LG stat.ML
Misclassification cost-sensitive ensemble learning: A unifying framework
University of Bergen（卑尔根大学）；Vrije Universiteit Brussel (VUB)（布鲁塞尔自由大学（VUB））
多年来，当不同类型的误分类错误产生不同的成本时，已经提出了大量的成本敏感方法来学习数据。我们的贡献是一个统一的框架，提供了一个全面的和有见地的概述成本敏感的集成方法，通过细粒度的分类，找出它们的差异和相似之处。我们的框架包含了各种方法的自然扩展和概括，无论是AdaBoost，Bagging还是随机森林，因此不仅产生了迄今为止已知的所有方法，而且还产生了一些以前没有考虑过的方法。
2020-07-14 cs.LG stat.ML
Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation
University of Michigan - Ann Arbor（密歇根大学安娜堡分校）；American University of Beirut（贝鲁特美国大学）；College of Pharmacy, University of Michigan - Ann Arbor（密歇根大学安娜堡分校药学院）
本文提出代价敏感对抗性数据增强框架CSADA，通过生成针对关键误分类的对抗样本训练过度参数化深度模型，从而在保持整体准确率的同时有效降低总体代价和关键错误。
2022-08-24 cs.LG stat.ML
Sequential Cost-Sensitive Feature Acquisition
Ecole Centrale Marseille（马赛中央理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）
我们提出了一种基于强化学习的方法来解决每个输入特征都有特定成本的成本敏感学习问题。采集过程是通过一个随机的政策，允许功能，以自适应的方式获得处理。我们的方法的一般架构依赖于表示学习，以便能够对任何部分观察到的样本进行预测，无论其观察到的特征集是什么。由此产生的模型是表示学习和强化学习思想的原始混合。它是通过策略梯度技术来学习的，以最小化预算推理成本。我们证明了我们提出的方法的有效性，在各种数据集的稀疏预测问题的几个实验中，所有功能具有相同的成本，但也为一些成本敏感的设置。
2016-07-13 cs.LG
Test-Cost Sensitive Methods for Identifying Nearby Points
University of Waterloo（滑铁卢大学）；Georgia Institute of Technology（佐治亚理工学院）
涉及缺失值的实际应用程序通常受到获取数据的成本的限制。测试成本敏感的，或昂贵的功能，方法还考虑了获取功能的成本。这种方法在分类问题中得到了广泛的研究。本文研究了一个与之相关的问题，即在给定一个新的特征值未知的情况下，利用测试代价敏感的方法从一个大集合中识别邻近点。我们提出了两个模型，一个基于树，另一个基于深度强化学习。在我们的模拟中，我们证明了模型在五个真实数据集上的表现优于随机代理。
2020-10-04 cs.AI cs.LG
Minimax Lower Bounds for Cost Sensitive Classification
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；The Australian National University（澳大利亚国立大学）
代价敏感分类问题在任务关键型机器学习应用中起着至关重要的作用，与传统分类问题不同的是它考虑了误分类代价。虽然在文献中被广泛研究，这个问题的基本限制仍然没有得到很好的理解。我们通过扩展平衡二分类问题的标准极大极小下界（由于\cite{massart2006risk}）来研究该问题的难度，并强调了代价项对难度的影响。
2018-05-20 cs.LG stat.ML
Cost-Sensitive Learning for Predictive Maintenance
IBM Research Zurich（IBM苏黎世研究院）；IBM TSS（IBM技术支持服务部）
在预测性维护中，模型性能通常通过精确度、召回率和F1得分来评估。然而，采用具有最佳性能（例如，最高F1分数）的模型并不一定导致最低维护成本，而是可能导致额外的费用。因此，我们建议根据与特定维护应用相关的经济成本进行模型选择。我们表明，预测性维护的成本敏感学习可以导致显着的成本降低和容错策略，因为它允许将各种业务约束和要求。
2018-09-28 cs.LG stat.ML
Cost-Sensitive Robustness against Adversarial Examples
University of Virginia（弗吉尼亚大学）
最近的几项工作已经开发出了训练分类器的方法，这些分类器对范数有界的对抗性扰动具有可证明的鲁棒性。这些方法假设所有的对抗变换都同样重要，这在现实世界的应用中很少发生。我们提倡成本敏感的鲁棒性作为衡量分类器的性能的标准，其中一些对抗性的转换比其他更重要的任务。我们将每个对抗性变换的潜在危害编码在成本矩阵中，并提出了一个通用目标函数来适应Wong & Kolter（2018）的鲁棒训练方法，以优化成本敏感的鲁棒性。我们的实验上简单的MNIST和CIFAR10模型与各种成本矩阵表明，该方法可以产生模型，大大降低成本敏感的鲁棒性错误，同时保持分类精度。
2019-03-05 cs.CR cs.LG stat.ML
Adaptive Cost-Sensitive Learning in Neural Networks for Misclassification Cost Problems
Bar-Ilan University（巴伊兰大学）
我们设计了一个新的自适应学习算法的误分类成本问题，试图减少成本的误分类实例的各种错误的后果。我们的算法（自适应成本敏感学习- AdaCSL）自适应地调整损失函数，使得分类器桥接训练和测试数据集中具有相似预测概率的样本的子组之间的类分布之间的差异（即，局部训练-测试类分布不匹配）。我们提供了一些理论上的性能保证所提出的算法，并提出经验证据表明，一个深神经网络与建议的AdaCSL算法产生更好的成本结果的几个二进制分类数据集，类不平衡和类平衡的分布相比，其他替代方法。
2021-11-14 cs.LG stat.ML
Cost-Sensitive Feature Selection of Data with Errors
在数据挖掘应用中，特征选择是一个必不可少的过程，因为它降低了模型的复杂性。在许多领域中，必须考虑获得特征值的成本。研究了具有测量误差、测试代价和误分类代价的数值型数据代价敏感的特征选择问题。本文的主要贡献有四个方面。首先，建立了一个新的数据模型，以解决测试成本和错误分类成本以及错误边界。其次，构造了一个具有测量误差的覆盖粗糙集。在给定置信区间的情况下，邻域在二维空间中为椭圆，在三维空间中为椭球等。第三，在覆盖粗糙集上定义了一个新的代价敏感特征选择问题。第四，回溯和启发式算法被提出来处理这个新问题。该算法进行了测试六UCI（加州大学欧文分校）的数据集。实验结果表明，回溯算法的剪枝技术有助于减少操作次数，启发式算法通常可以获得最优结果。这项研究是成本敏感学习的现实应用的一步。
2013-06-03 cs.LG
THORS: An Efficient Approach for Making Classifiers Cost-sensitive
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了一个有效的阈值保持方法的基础上的顺序统计量，称为THORS，转换一个任意的评分类型的分类器，它可以诱导一个连续的累积分布函数的分数，成本敏感的。该过程，使用顺序统计量，以找到一个最佳的阈值分类，几乎不需要知识的分类器本身。与常见的数据驱动的方法，我们分析表明，THORS具有理论保证的性能，理论界的成本和较低的时间复杂度。再加上几个现实世界的数据集的实证结果，我们认为，THORS是首选的成本敏感的技术。
2018-11-07 cs.LG stat.ML
Provably Cost-Sensitive Adversarial Defense via Randomized Smoothing
CISPA Helmholtz Center for Information Security（信息安全研究中心赫尔姆霍茨中心）；Max Planck Institute for Intelligent Systems（智能系统马克斯·普朗克研究所）
针对不同误分类危害不等的现实场景，论文基于随机化平滑提出成本敏感认证半径、紧致证书算法及不损失准确率的鲁棒训练方法，并在多个基准上验证其有效性。
2025-06-10 cs.CR cs.LG
An Actor-Critic Algorithm with Function Approximation for Risk Sensitive Cost Markov Decision Processes
Department of Computer Science and Automation, Indian Institute of Science（计算机科学与自动化系，印度科学研究院）；Department of Electrical Engineering, Indian Institute of Technology Bombay（电气工程系，印度理工学院孟买分校）
本文针对风险敏感成本马尔可夫决策过程，提出一种带函数逼近的演员-评论家算法，并证明其渐近收敛性，实验显示性能优于现有算法。
2025-08-03 cs.LG stat.ML
Cost-Sensitive Feature Selection by Optimizing F-Measures
Peking University（北京大学）；University of Sydney（悉尼大学）；Nanyang Technological University（南洋理工大学）
特征选择通过从高维特征中提取信息子集，有利于提高一般机器学习任务的性能。传统的特征选择方法通常忽略了类别不平衡的问题，因此选择的特征会偏向于大多数类别。考虑到F-测度是一种比准确度更合理的非平衡数据的性能度量，本文提出了一种有效的特征选择算法，通过优化F-测度来解决类别不平衡问题。由于F-测度优化问题可以分解为一系列代价敏感的分类问题，本文在严格的理论指导下，通过对每个类生成和分配不同的代价，研究了代价敏感的特征选择问题。在解决了一系列代价敏感的特征选择问题后，将选择与最佳F-测度相对应的特征。这样，所选特征将完全代表所有类的属性。在流行的基准测试和具有挑战性的真实数据集上的实验结果表明，代价敏感的特征选择对于不平衡数据集的重要性，验证了所提方法的有效性。
2019-04-04 cs.CV cs.LG
Optimizing Cost-Sensitive SVM for Imbalanced Data :Connecting Cluster to Classification
China University of Mining Technology（中国矿业大学）
类别不平衡是机器学习在许多实际应用中面临的挑战性问题之一，如煤与瓦斯突出事故监测：突出前兆数据比正常数据小得多，而这正是我们真正关注的重点，代价敏感调整方法是一种典型的算法级抗数据集不平衡的方法。对于支持向量机分类器，它被修改为包含不同的惩罚参数（C）的每个考虑的组的例子。然而，C值是凭经验确定的，或者是根据评估度量计算的，这需要迭代计算并且耗时。本文提出了一种新的代价敏感的支持向量机方法，其惩罚参数C在聚类概率密度函数（PDF）的基础上进行优化，而聚类PDF仅根据相似性矩阵和一些预定义的超参数进行估计。在不同标准基准数据集和不同不平衡率的真实数据集上的实验结果表明，与常用的代价敏感技术相比，该方法是有效的。
2017-02-06 cs.LG
Adaptive Cost-sensitive Online Classification
South China University of Technology（华南理工大学）；Institute for Infocomm Research（资讯通信研究院）；Singapore Management University（新加坡管理大学）；Tencent AI Lab（腾讯人工智能实验室）
成本敏感在线分类近年来受到广泛关注，其主要方法是直接在线优化两个著名的成本敏感指标：（i）敏感度和特异度的加权和;（ii）加权误分类成本。然而，以往的方法只考虑了数据流的一阶信息。这在实践中是不够的，因为最近的许多研究已经证明，纳入二阶信息提高了分类模型的预测性能。因此，我们提出了一个家庭的成本敏感的在线分类算法与自适应正则化在本文中。我们从理论上分析了所提出的算法，并在大量的实验中验证了它们的有效性和性能。然后，为了更好地权衡性能和效率之间，我们进一步引入草图技术到我们的算法，这显着加快了计算速度，相当轻微的性能损失。最后，我们应用我们的算法来解决几个在线异常检测任务，从现实世界中。实验结果表明，该算法在解决各种现实领域中的成本敏感在线分类问题上是有效的。
2018-04-06 cs.LG stat.ML
Low Size-Complexity Inductive Logic Programming: The East-West Challenge Considered as a Problem in Cost-Sensitive Classification
归纳逻辑程序设计社区已经考虑了证明复杂度和模型复杂度，但是直到最近，规模复杂度还很少受到关注。最近，一个挑战是“国际计算界”，以发现低尺寸的复杂性Prolog程序分类火车。这项挑战是基于20年前Ryszard Michalski首次提出的一个问题。我们将这一挑战解释为成本敏感分类中的一个问题，并将最近开发的成本敏感分类器应用于竞争。我们的算法是相对成功的（我们赢得了一个奖项）。本文介绍了我们的算法，并分析了竞争的结果。
2002-12-12 cs.LG cs.NE
conLSH: Context based Locality Sensitive Hashing for Mapping of noisy SMRT Reads
Sister Nibedita Govt. General Degree College for Girls（尼贝迪塔修女女子政府普通学位学院）；Indian Statistical Institute（印度统计研究所）
单分子实时（SMRT）测序是Pacific Bio（PacBio）开发的下一代技术的最新进展。为了解决SMRT数据的高错误率问题，本文提出了一种基于上下文局部敏感哈希（conLSH）算法的SMRT数据比对算法，该算法能够有效地将噪声SMRT数据与参考基因组进行比对。在这里，序列被散列在一起，不仅基于它们的接近度，而且基于上下文的相似性。该算法具有$\mathcal{O}(n^{ρ+1})$空间要求，其中$n$是语料库中序列的数目，$ρ$是常数。索引时间和查询时间分别由$\mathcal{O}( \frac{n^{ρ+1} \cdot \ln n}{\ln \frac{1}{P_2}})$和$\mathcal{O}(n^ρ)$限定，其中$P_2 > 0$是概率值。该算法对于检索相似序列特别有用，这是生物学中广泛使用的任务。建议conLSH为基础的对准器相比，rHAT，普遍用于对齐SMRT读取，并发现全面击败它的速度以及在内存要求。特别地，它花费大约$24.2\%$更少的处理时间，同时节省大约$70.3\%$的峰值存储器要求用于智人PacBio数据集。
2019-03-11 cs.DS cs.LG q-bio.GN
Minimax rates for cost-sensitive learning on manifolds with approximate nearest neighbours
University of Manchester（曼彻斯特大学）
我们研究了嵌入在高维特征空间中的低维流形上的成本敏感分类的近似最近邻方法。我们确定的极小极大学习率分布在光滑流形上，在成本敏感的设置。这推广了Audibert和Tsybakov的一个经典结果。最近的工作的Chaudhuri和Dasgupta的基础上，我们证明了这些极大极小率的近似近邻算法，其中邻居计算在一个随机投影的低维空间。此外，我们给出了一个约束的数量上的尺寸所需的投影，这完全取决于达到和尺寸的流形，结合边缘的规律性。
2018-03-01 cs.LG stat.ML
Cost-Sensitive Online Window Size Selection for Portfolio Management
National Tsing Hua University（国立清华大学）
本文提出一个两层框架，通过在线学习动态聚合候选窗口大小的投资组合，并推导成本敏感跟踪遗憾界，以应对市场变化。
2026-09-29 cs.LG math.OC q-fin.PM
Active Learning for Cost-Sensitive Classification
Microsoft Research（微软研究院）；Uber Advanced Technology Center（优步先进技术中心）
我们设计了一个主动学习算法的成本敏感的多类分类：不同的错误有不同的成本的问题。我们的算法COAL通过回归每个标签的成本并预测最小的成本来进行预测。在一个新的例子中，它使用了一组对过去数据表现良好的回归器来估计每个标签的可能成本。它只查询可能是最好的标签，忽略了肯定会失败的标签。我们证明了COAL可以有效地实现任何回归家庭，承认平方损失优化，它也享有强有力的保证方面的预测性能和标签的努力。我们将COAL与被动学习和几个主动学习基线进行了经验比较，显示出在真实世界数据集上标记工作和测试成本方面的显着改进。
2021-10-11 cs.LG stat.ML
Cost-sensitive Semi-supervised Classification for Fraud Applications
University of Regina（里贾纳大学）
本研究探讨成本敏感学习（CSL）在欺诈检测领域，以减少欺诈类的不正确的预测，并提高其准确性。值得注意的是，我们专注于具有挑战性的检测，因为骗子和合法投标人的行为是相似的。我们在半监督分类（SSC）框架内调查CSL，以解决标记欺诈数据的稀缺性。本文首次尝试将CSL与SSC相结合用于欺诈检测。我们采用元CSL方法来管理误分类错误的成本，而SSC算法是用不平衡数据训练的。使用一个实际的shill投标数据集，我们评估了CSL和SSC的几个混合模型的性能，然后统计比较它们的误分类错误率和准确率。最有效的CSL+SSC模式能够检测到99%的欺诈者，并且总成本最低。
2020-12-21 cs.LG
Dynamic Principal Projection for Cost-Sensitive Online Multi-Label Classification
CSIE Department, National Taiwan University（台湾大学计算机科学与信息工程学系（CSIE Department, National Taiwan University）/ 台湾大学（National Taiwan University））
我们研究多标签分类（MLC）与三个重要的现实世界的问题：在线更新，标签空间降维（LSDR），成本敏感性。目前的MLC算法还没有被设计为同时解决这三个问题。在本文中，我们提出了一种新的算法，成本敏感的动态主投影（CS-DPP），解决了这三个问题。CS-DPP的基础是一个在线LSDR框架，该框架源自领先的LSDR算法。特别是，CS-DPP配备了一个有效的在线降维矩阵随机梯度的动机，并建立其理论骨干时，再加上精心设计的在线回归学习。此外，CS-DPP将成本信息嵌入到标签权重中，以实现成本敏感性以及理论保证。实验结果验证了CS-DPP在不同的评价标准下比现有的MLC算法具有更好的实际性能，并证明了同时解决这三个问题的重要性。
2018-12-10 cs.LG
Cost-Sensitive Tree of Classifiers
Washington University（华盛顿大学）
最近，机器学习算法已经成功地进入大规模的现实世界的工业应用（例如，搜索引擎和电子邮件垃圾邮件过滤器）。在这里，必须对测试期间的CPU成本进行预算和说明。在本文中，我们解决的挑战，平衡测试时间成本和分类器的准确性原则的方式。分类器的测试时间成本通常由特征提取所需的计算所决定，这在不同的性质中可能会有很大的差异。我们通过构建一棵分类器树来减少提取时间，通过该树，测试输入沿着各个路径遍历。每条路径提取不同的特征，并针对输入空间的特定子分区进行优化。通过仅计算最受益于它们的输入的特征，我们的分类器的成本敏感树可以以计算成本的一小部分匹配当前最先进的高精度。
2013-04-22 cs.LG stat.ML
Cost-aware Pre-training for Multiclass Cost-sensitive Deep Learning
National Taiwan University（国立台湾大学）；Intel Corporation（英特尔公司）
深度学习是当今最突出的机器学习技术之一，在需要自动特征提取的广泛应用中是最先进的。许多此类应用还要求针对不同类型的误分类错误的不同成本，但尚不清楚是否或如何将此类成本信息纳入深度学习以提高性能。在这项工作中，我们提出了一种新的成本感知算法，该算法不仅将成本信息考虑到深度学习的训练阶段，而且还考虑到预训练阶段。该方法允许深度学习有效地利用成本信息进行自动特征提取。大量的实验结果表明，所提出的方法优于其他深度学习模型，不消化的成本信息在预训练阶段。
2016-05-24 cs.LG cs.NE
A Cost-Sensitive Deep Belief Network for Imbalanced Classification
National University of Singapore（新加坡国立大学）；City University of Hong Kong（香港城市大学）
具有偏斜类分布的不平衡数据在许多实际应用中很常见。深度信念网络（DBN）是一种机器学习技术，在分类任务中是有效的。然而，传统的DBN并不适用于不平衡的数据分类，因为它假设每个类的成本相等。为了解决这个问题，成本敏感的方法分配不同的错误分类成本为不同的类，而不破坏真实的数据样本分布。然而，由于缺乏先验知识，误分类成本通常是未知的，在实践中很难选择。此外，还没有很好地研究如何成本敏感的学习可以提高DBN的性能不平衡的数据问题。提出了一种用于不平衡分类的进化代价敏感深度信念网络（ECS-DBN）。ECS-DBN采用自适应差分进化算法对基于训练数据的误分类代价进行优化，为在目标函数中引入评价指标（即G-均值）提供了一种有效的方法。我们首先优化错误分类成本，然后将其应用于深度信念网络。自适应差分进化优化算法是一种无需先验知识就能自动更新相应参数的优化算法。实验表明，该方法在基准数据集和真实数据集上的刀具状态监测故障诊断性能均优于现有技术。
2018-05-05 cs.LG stat.ML
Nonparametric active learning for cost-sensitive classification
University of Mons（蒙斯大学）
本文提出一种用于代价敏感分类的通用非参数主动学习算法，通过置信界和最小代价查询实现最优交互复杂度，并证明其相对被动学习的增益及上下界近最优性。
2023-09-30 cs.LG math.ST stat.TH
AdaCC: Cumulative Cost-Sensitive Boosting for Imbalanced Classification
Leibniz University of Hannover（汉诺威莱布尼茨大学）；Centre of Research and Technology Hellas（希腊研究与技术中心）；Free University of Berlin（柏林自由大学）
类不平衡对机器学习提出了一个重大挑战，因为大多数监督学习模型可能会对多数类表现出偏见，而在少数类中表现不佳。成本敏感学习通过不同地对待类来解决这个问题，通常通过用户定义的固定误分类成本矩阵作为输入提供给学习者来制定。这样的参数调整是一个具有挑战性的任务，需要领域知识，而且，错误的调整可能会导致整体预测性能恶化。在这项工作中，我们提出了一种新的成本敏感的不平衡数据的提升方法，动态调整错误分类成本的提升轮响应模型的性能，而不是使用一个固定的错误分类成本矩阵。我们的方法称为AdaCC，是无参数的，因为它依赖于boosting模型的累积行为，以便调整下一轮boosting的误分类成本，并且具有关于训练误差的理论保证。对来自不同领域的27个具有高类别不平衡的真实世界数据集的实验表明，我们的方法优于12种最先进的成本敏感的提升方法，这些方法在不同的测量中表现出一致的改进，例如，AUC在[0.3%-28.56%]的范围内，平衡精度在[3.4%-21.4%]的范围内，gmean为4.8%~ 45%，回忆率为7.4%~ 85.5%。
2022-09-17 cs.AI cs.LG
Cost-Sensitive Reference Pair Encoding for Multi-Label Learning
National Taiwan University（国立台湾大学）
多标签分类的标签空间扩展（MLC）是一种在训练之前将原始标签向量编码为更高维度的代码并在测试期间将预测代码解码回标签向量的方法。该方法已被证明，以提高性能的MLC算法时，与现成的纠错码的编码和解码。然而，这样的编码方案实现起来可能很复杂，并且不能容易地满足成本敏感的MLC的共同应用需求-适应感兴趣的不同评估标准。在这项工作中，我们表明，一个更简单的编码方案的基础上的概念的参考对标签向量实现成本敏感性更自然。特别是，我们提出的成本敏感的参考对编码（CSRPE）算法包含基于聚类的编码，基于权重的训练和基于投票的解码步骤，所有利用成本信息。此外，我们利用CSRPE的代码空间中嵌入的成本信息，提出了一种新的主动学习算法成本敏感的MLC。大量的实验结果验证了CSRPE在不同MLC标准下的性能优于最先进的算法。实验结果还表明，CSRPE支持的主动学习算法优于现有的主动MLC算法，并进一步证明了CSRPE的有用性。
2018-10-26 cs.LG stat.ML
Cost Sensitive Learning in the Presence of Symmetric Label Noise
Indian Institute of Technology Bombay（印度理工学院孟买分校）
在二进制分类框架中，我们感兴趣的是在存在均匀/对称标签噪声的情况下进行成本敏感的标签预测。我们首先观察到，$0$ - $1$贝叶斯分类器在成本敏感设置中不是（均匀）噪声鲁棒的。为了规避这个不可能的结果，我们提出了两个方案，与现有的方法不同，我们的计划不需要噪声率。第一个使用$α$加权$γ$ -不均匀边际平方损失函数，$l_{α, usq}$，它可以处理由于域要求（使用用户给定的$α$）或类不平衡（通过调整$γ$）或两者引起的成本敏感性。然而，我们观察到，$l_{α, usq}$贝叶斯分类器也不是成本敏感和噪声鲁棒的。我们表明，正规化的ERM的这个损失函数在类的线性分类器产生一个成本敏感的均匀噪声鲁棒分类器的线性方程组的解决方案。我们还提供了这个分类器的性能界限。我们提出的第二个方案是基于重采样的方案，该方案利用均匀噪声模型的特殊结构，并使用类内概率$η$估计。在UCI数据集上进行的计算实验表明，这两种方案的分类器性能与现有方法相当，在某些情况下甚至更好。准确度和算术平均值，不使用/调整噪声率。我们还考虑其他成本敏感的性能指标，即，F测度和加权成本进行评价。由于我们的重采样方案需要估计的$η$，我们提供了一个详细的比较研究的各种$η$估计方法的合成数据集，w.r.t.六个评价标准。此外，我们提供了理解的成本参数$α$和$γ$使用不同的合成数据实验的解释。
2020-01-10 cs.LG stat.ML
CRCEN: A Generalized Cost-sensitive Neural Network Approach for Imbalanced Classification
Department of Computer Science, Wayne State University（韦恩州立大学计算机科学系）
不平衡数据集的分类在实际应用中是一项具有挑战性的任务。在这种情况下，直接通过最小化分类误差来训练传统的分类算法可能会损害少数类的模型性能，同时优化多数类的性能。解决不平衡问题的传统方法包括重新采样和成本敏感方法。本文提出了一种新的损失函数的神经网络模型CRCEN，用于不平衡分类。基于交叉熵损失的加权形式，给出了模型预测概率、不平衡率和加权机制的理论关系。为了证明我们所提出的模型的有效性，CRCEN进行了测试，在几个基准数据集，并与基线模型进行了比较。
2020-03-03 cs.LG stat.ML
Cost-Sensitive Portfolio Selection via Deep Reinforcement Learning
South China University of Technology（华南理工大学）；Guangzhou Laboratory（广州实验室）；Tencent AI Lab（腾讯人工智能实验室）；Wuhan University（武汉大学）
投资组合选择是一个重要的现实世界的金融任务，并引起了广泛的关注，在人工智能社区。然而，这项任务有两个主要的困难：（i）非平稳的价格序列和复杂的资产相关性使得特征表示的学习非常困难;（ii）金融市场中的实用性原则要求控制交易成本和风险成本。大多数现有的方法采用手工特征和/或不考虑对成本的限制，这可能使它们在实践中表现得不令人满意并且不能控制这两种成本。本文提出了一种基于深度强化学习的投资组合选择方法。具体而言，一个新的双流投资组合策略网络的设计，以提取价格序列模式和资产的相关性，而一个新的成本敏感的奖励函数的开发，以最大限度地提高累计回报和约束成本通过强化学习。我们从理论上分析了建议的奖励的近最优性，这表明，该政策的增长率关于这个奖励函数可以接近理论最优。我们还在现实世界的数据集上对所提出的方法进行了经验评估。实验结果表明，该方法在盈利能力、成本敏感性和代表性等方面具有很好的效果和优越性。
2020-03-06 cs.LG stat.ML
Untangling AdaBoost-based Cost-Sensitive Classification. Part II: Empirical Analysis
University of Vigo（维戈大学）
在文献中已经提出了很多方法，每个方法都遵循不同的策略，以提供具有成本敏感特性的AdaBoost。在这一系列的两篇论文的第一部分，我们提出了这些算法在一个同质的符号框架，提出了一个聚类方案，并进行了彻底的理论分析，这些方法具有充分的理论基础。本文件，为了完成我们的分析，是集中在以前提出的所有算法在广泛的异构分类问题的实证研究。我们的实验结果，证实了理论结论，似乎表明，最简单的方法，只是基于成本敏感的权重初始化，是一个显示最好的和最健全的结果，尽管在文献中一再被忽视。
2016-07-22 cs.AI cs.CV cs.LG
MOBA: A multi-objective bounded-abstention model for two-class cost-sensitive problems
Harbin Institute of Technology（哈尔滨工业大学）
弃权分类器被广泛应用于代价敏感的应用中，以避免模糊分类和减少误分类的代价。先前的弃权分类模型依赖于成本信息，例如成本矩阵或成本比率。然而，在实际应用中很难获得或估计成本。此外，这些预测模型通常限于单个优化度量，这可能不是评估分类性能时的预期指标。为了克服这些问题，提出了一种多目标有界约束（MOBA）模型来优化基本指标。具体地说，MOBA模型在类相关的约束条件下使每个类的出错率最小化。MOBA模型，然后使用非支配排序遗传算法II，这是一种流行的进化多目标优化算法求解。将生成一组帕累托最优解，并且可以根据所提供的条件（成本是否已知）或性能需求（例如，获得高精度、F测量等）。因此，MOBA模型对条件和要求的变化具有鲁棒性。与最先进的预防模型相比，MOBA在考虑成本信息时实现了更低的预期成本，而在不考虑成本信息时实现了更好的性能-预防权衡。
2019-05-17 cs.LG stat.ML
On the Convergence of Modified Policy Iteration in Risk Sensitive Exponential Cost Markov Decision Processes
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Iowa（爱荷华大学）
本文首次证明了修正策略迭代（MPI）在有限状态和动作空间的风险敏感指数代价马尔可夫决策过程中的收敛性，并仿真验证了其相较于策略迭代和价值迭代的计算效率优势。
2024-02-15 cs.AI cs.LG cs.SY
Cost-Sensitive Diagnosis and Learning Leveraging Public Health Data
University of California, Los Angeles (UCLA)（加利福尼亚大学洛杉矶分校（UCLA））
传统上，机器学习算法依赖于给定数据集的所有特征都是免费可用的假设。然而，存在许多问题，例如货币数据汇集成本、患者在医疗程序中的不适以及数据汇集的隐私影响，这些问题在任何现实世界的健康分析系统中都需要仔细考虑。一个有效的解决方案将只获得一个子集的功能的基础上，它提供的价值，同时考虑收购成本。此外，提供特征成本的数据集非常有限，特别是在医疗保健领域。在本文中，我们提供了一个健康数据集以及一种基于每个功能所带来的不便的总水平来分配功能成本的方法。此外，基于建议的数据集，我们提供了一个比较最近和国家的最先进的方法，以成本敏感的特征获取和学习。具体而言，我们分析了文献中主要基于敏感性和基于强化学习的方法在健康领域三个不同问题上的表现，包括糖尿病，心脏病和高血压分类。
2019-06-30 cs.AI cs.CY cs.LG
