Probabilistic Object Classification using CNN ML-MAP layers
Aston University（阿斯顿大学）
深度网络目前是自动驾驶和机器人技术中最先进的感官感知。然而，深度模型通常会产生过度自信的预测，从而排除了正确的概率解释，我们认为这是由于SoftMax层的性质。为了在不影响分类性能的情况下减少过度自信，我们引入了一种基于网络Logit层中计算的分布的CNN概率方法。该方法通过ML和MAP层实现贝叶斯推理。校准和建议的预测层的实验进行对象分类使用的数据从KITTI数据库。结果报告相机（$RGB$）和激光雷达（范围视图）的方式，其中新的方法显示出有前途的性能相比，SoftMax。
2020-08-24 cs.CV cs.LG stat.ML
Feature Selection for Gender Classification in TUIK Life Satisfaction Survey
Muğla Sıtkı Koçman University（穆拉·西特基·科奇曼大学）
属性选择是数据采掘分类前的一种方法。在这项研究中，已经创建了一个新的数据集，通过使用土耳其统计研究所（TSI）生活满意度调查数据集的整体满意度表示的属性。在数据采掘应用中，使用属性选择算法通过排序搜索方法对属性进行排序。这些选定的属性进行分类测试与朴素贝叶斯和随机森林从机器学习算法。根据选择的属性的数量和分类准确率，比较特征选择算法。在这项研究中，这是旨在减少数据集的体积，最好的分类结果来选择3个属性的卡方2算法。随机森林分类算法的最佳分类率为73%。
2018-07-12 cs.LG stat.ML
On-the-Fly Joint Feature Selection and Classification
University at Albany, SUNY（纽约州立大学奥尔巴尼分校）
联合特征选择和分类在线设置是至关重要的时间敏感的决策。然而，大多数现有的方法单独对待这个耦合问题。具体而言，在线特征选择方法可以离线处理流特征或数据实例，以产生用于分类的固定特征集，而在线分类方法使用关于特征空间的全部知识对传入实例进行分类。然而，所有现有的方法利用一组特征，共同的所有数据实例，分类。相反，我们提出了一个框架来执行联合特征选择和分类的飞行，以便最大限度地减少每个数据实例评估的特征数量，并最大限度地提高分类精度。我们推导出相关的优化问题的最优解，并分析其结构。基于最优解及其性质，提出了两种算法ETANA和F-ETANA。我们在几个公共数据集上评估了所提出的算法的性能，证明了（i）所提出的算法在最先进的技术水平上的优势，以及（ii）它对广泛的应用领域的适用性，包括临床研究和自然语言处理。
2020-04-21 cs.LG stat.ML
Toward Optimal Probabilistic Active Learning Using a Bayesian Approach
University of Kassel（卡塞尔大学）；Utrecht University（乌得勒支大学）
收集标记数据以训练性能良好的机器学习模型是许多应用中的关键挑战之一。主动学习旨在通过高效和有效地分配昂贵的标签资源来降低标签成本。在这篇文章中，我们提出了一个决策理论的选择策略，（1）直接优化误分类误差的增益，（2）使用贝叶斯方法，通过引入共轭先验分布来确定类后验来处理不确定性。通过在我们提出的模型中重新制定现有的选择策略，我们可以解释哪些方面在当前最先进的技术中没有涵盖，以及为什么这会导致我们的方法具有优异的性能。大量的各种数据集和不同的内核上的实验验证了我们的主张。
2020-06-02 cs.LG stat.ML
Discriminative Probabilistic Models for Relational Data
Stanford University（斯坦福大学）
在许多监督学习任务中，待标记的实体以复杂的方式彼此相关，并且它们的标记不是独立的。例如，在超文本分类中，链接页面的标签高度相关。一种标准的方法是对每个实体独立分类，忽略它们之间的相关性。最近，概率关系模型，贝叶斯网络的关系版本，被用来定义一个联合概率模型的相关实体的集合。在本文中，我们提出了一个替代框架，建立在（条件）马尔可夫网络和解决以前的方法的两个局限性。首先，无向模型不施加非循环约束，这阻碍了有向模型中许多重要关系依赖的表示。其次，无向模型非常适合区分训练，在这种情况下，我们优化了给定特征的标签的条件似然，这通常会提高分类准确性。我们展示了如何有效地训练这些模型，以及如何使用近似概率推理的学习模型的集体分类的多个相关的实体。我们提供了一个网页分类任务的实验结果，表明可以显着提高准确性建模的关系依赖。
2012-12-12 cs.AI cs.LG stat.ML
Conformal Predictions for Probabilistically Robust Scalable Machine Learning Classification
Istituto di Elettronica e di Ingegneria dell’Informazione e delle Telecomunicazioni, CNR（意大利国家研究委员会电子、信息与电信研究所）；Funded Research Department, Aitek SpA（艾泰克股份有限公司资助研究部）；Universidad de Sevilla（塞维利亚大学）
本文通过引入共形安全集和新的评分函数，将可扩展分类器与共形预测统一，为分类问题提供概率鲁棒的错误覆盖保证，并在DNS隧道攻击检测中验证其有效性。
2024-03-15 cs.CR cs.LG stat.ML
A novel embedded min-max approach for feature selection in nonlinear support vector machine classification
University of Málaga（马拉加大学）
近年来，特征选择已成为机器学习领域的一个具有挑战性的问题，如分类问题。支持向量机（SVM）是一种应用于分类任务的公知技术。在文献中已经提出了各种方法来选择SVM中最相关的特征。不幸的是，所有这些方法要么处理线性分类设置中的特征选择问题，要么提出难以在实践中实现的特设方法。相比之下，我们提出了一个嵌入式特征选择方法的基础上的最小-最大优化问题，在模型的复杂性和分类精度之间的权衡寻求。通过利用对偶理论，我们等价地重新表述了最小-最大问题，并使用非线性优化的现成软件解决了它。我们的方法的效率和实用性进行了测试，在几个基准数据集的准确性，选定的功能和可解释性的数量。
2021-01-15 cs.LG math.OC stat.ML
A comparative study of feature selection methods for stress hotspot classification in materials
Carnegie Mellon University（卡内基梅隆大学）
构建机器学习模型的第一步是定义可用于优化学习的数据集的特征。在这项工作中，我们讨论的特征选择方法，可以用来建立更好的模型，以及实现模型的可解释性。我们将这些方法应用于应力热点分类问题的背景下，以确定什么样的微观结构特征可以导致应力在某些晶粒在单轴拉伸变形过程中建立。结果表明，一些功能选择技术是有偏见的，并展示了一个首选的技术，以获得物理解释的功能排名。
2018-04-19 cond-mat.mtrl-sci cs.LG stat.ML
Probabilistic Matrix Factorization for Automated Machine Learning
为了实现最先进的性能，现代机器学习技术需要仔细的数据预处理和超参数调整。此外，鉴于正在开发的机器学习模型的数量不断增加，模型选择变得越来越重要。长期以来，自动选择和调整由数据预处理方法和机器学习模型组成的机器学习管道一直是机器学习社区的目标之一。在本文中，我们通过结合协同过滤和贝叶斯优化的思想来解决这个元学习任务。使用概率矩阵分解技术和贝叶斯优化的采集函数，我们利用在数百个不同数据集上进行的实验来指导对可能管道空间的探索。在我们的实验中，我们证明了我们的方法可以快速识别各种数据集上的高性能管道，显著优于当前最先进的技术。
2018-05-01 stat.ML
Enhanced Classification Accuracy for Cardiotocogram Data with Ensemble Feature Selection and Classifier Ensemble
Prince of Songkla University（宋卡王子大学）；Khon Kaen University（孔敬大学）
本文提出了基于集成学习的特征选择和分类器集成模型来提高分类精度。从集成特征选择到支持向量机集成，假设好的特征集包含与类高度相关的特征，这可以在分类精度的性能上实现。所提出的方法包括两个阶段：（i）通过应用基于集成的特征选择方法来选择可能是支持向量的特征集;以及（ii）使用所选择的特征来构建SVM集成。通过在分娩图像数据集上的实验对所提出的方法进行了评估。使用了四种特征选择技术：（i）基于相关性，（ii）基于一致性，（iii）ReliefF和（iv）信息增益。实验结果表明，将信息增益特征选择和基于相关性的特征选择与SVM集成相结合，比单一SVM分类器和集成特征选择与SVM分类器的分类精度都要高。
2020-10-27 cs.LG
A Hybrid Both Filter and Wrapper Feature Selection Method for Microarray Classification
National Kaohsiung University of Applied Sciences（国立高雄应用科技大学）
基因表达数据广泛用于疾病分析和癌症诊断。然而，由于基因表达数据可能同时包含数千个基因，成功的微阵列分类是相当困难的。特征选择是任何分类过程的重要预处理。选择一个有用的基因子集作为分类器，不仅减少了计算时间和成本，但也提高了分类精度。在这项研究中，我们采用的信息增益方法作为一个过滤器的方法，和一个改进的二进制粒子群优化作为一个包装器的方法来实现特征选择，选择的基因子集被用来评估分类的性能。实验结果表明，该方法所需选择的基因子集较少，分类精度较高。
2016-12-27 cs.LG
Employing Iterative Feature Selection in Fuzzy Rule-Based Binary Classification
Northwestern Polytechnical University（西北工业大学）；Research & Development Institute of Northwestern Polytechnical University in Shenzhen（西北工业大学深圳研究院）
针对传统二分类特征选择与规则模糊信息利用不足的问题，提出结合模糊相关族特征选择与双聚类规则挖掘的迭代特征选择模糊规则二分类算法，经Adaptive Boosting选优弱分类器构建强分类器，性能优于同类方法。
2024-01-26 cs.LG
Feature Selection for MAUC-Oriented Classification Systems
University of Science and Technology of China（中国科学技术大学）
特征选择是许多模式分类任务的重要预处理步骤。传统上，特征选择方法被设计为获得可以导致高分类精度的特征子集。然而，分类精度最近已被证明是一个不适当的性能指标的分类系统在许多情况下。相反，受试者工作特征曲线下面积（AUC）及其多类扩展MAUC已被证明是更好的替代方案。因此，分类系统设计的目标逐渐从寻求具有最大分类精度的系统转向获得具有最大AUC/MAUC的系统。以往的研究表明，传统的特征选择方法需要修改，以应付这个新的目标。这些方法通常仅限于二进制分类问题。在这项研究中，过滤器特征选择方法，即基于MAUC分解的特征选择（MDFS），提出了多类分类问题。据我们所知，MDFS是第一种专门设计用于选择特征以构建具有最大MAUC的分类系统的方法。大量的实验结果表明，MDFS的优势比几个比较特征选择方法。
2011-05-15 cs.AI cs.LG
Randomised Algorithm for Feature Selection and Classification
Politecnico di Milano（米兰理工大学）
在这里，我们介绍了一种新的分类方法，采用非线性模型识别框架，共同解决的特征选择和分类器的设计任务。该分类器被构造为原始属性的多项式展开，并应用模型结构选择过程来找到模型的相关项。该选择方法通过从当前分布中提取样本模型并使用从模型总体的评估中获得的聚合信息来增强提取最重要项的概率，从而逐步细化在模型结构空间上定义的概率分布。为了减小初始搜索空间，可以应用距离相关滤波作为预处理技术。所提出的方法进行评估和比较，其他知名的特征选择和分类方法的标准基准分类问题。结果表明，该方法相对于竞争对手的方法在分类精度和模型复杂度方面的有效性。所得到的模型结构简单，易于解释和分析。
2016-07-28 cs.LG
Experimental Identification of Hard Data Sets for Classification and Feature Selection Methods with Insights on Method Selection
Shanghai Maritime University（上海海事大学）；Wright State University（莱特州立大学）
本文报告了一个实验确定的基准数据集，很难代表性的分类和特征选择方法的列表。这是在对来自UCI存储库的129个数据集（排除了一些已知分类精度高的数据集）系统地评估了总共48种方法组合之后完成的，其中包括8种最先进的分类算法和6种常用的特征选择方法。在本文中，如果48种组合中没有一种组合的AUC超过0.8，并且没有一种组合的F-Measure值超过0.8，则用于分类的数据集被称为难;否则被称为容易。在129个数据集中，共有15个被发现在这个意义上是困难的。本文还比较了不同方法的性能，并分别在硬数据集和易数据集上给出了分类方法的排名。本文是第一次分别为硬数据集和简单的数据集的排名方法。事实证明，我们的实验产生的分类器排名与文献中的分类器排名有所不同，因此它们为方法选择提供了新的见解。应该注意的是，随机森林方法仍然是所有实验组中最好的。
2018-11-22 cs.LG
Graph-based Extreme Feature Selection for Multi-class Classification Tasks
Tel-Aviv University（特拉维夫大学）；Bar-Ilan University（巴伊兰大学）
当处理高维数据集时，常见的预处理步骤是特征选择。基于过滤器的特征选择算法不是针对特定的分类方法而定制的，而是对每个特征与目标和任务的相关性进行排名。这项工作的重点是基于图的，过滤器特征选择方法，适用于多类分类任务。我们的目标是大幅减少所选特征的数量，以便创建原始数据的草图，为分类任务编码有价值的信息。该算法将Jeffries-Matusita距离与非线性降维方法扩散映射相结合。基于低维空间中特征的分布来执行特征消除。然后，选择具有互补分离强度非常小数量的特征。此外，低维嵌入允许可视化特征空间。实验结果提供了公共数据集，并与已知的过滤器为基础的特征选择技术。
2023-03-03 cs.LG
Investigating Classification Techniques with Feature Selection For Intention Mining From Twitter Feed
De Montfort University（德蒙福特大学）
在过去的十年中，社交网络成为最流行的通信和交互媒介。例如，微型博客服务Twitter拥有2亿多注册用户，每天交换6 500多万条帖子。用户通过这些推文表达他们的想法，想法，甚至他们的意图。大多数推文都是非正式的，而且经常使用俚语，其中包含拼写错误和缩写词。本文研究了基于文本挖掘技术从Twitter提要中提取用户意图的特征选择问题。它首先介绍了我们用来从提取的Twitter提要构建自己的数据集的方法。在此之后，我们提出了两种技术的特征选择，然后分类。在第一种技术中，我们使用信息增益作为一个阶段的特征选择，其次是监督分类算法。在第二种技术中，我们使用了一种混合的方法，基于前向特征选择算法，其中两个特征选择技术采用其次是分类算法。我们研究这两种技术与四个分类算法。我们使用自己的数据集进行评估，并严格审查结果。
2020-01-22 cs.AI cs.IR cs.LG
Latent regularization for feature selection using kernel methods in tumor classification
Institut Charles Delaunay, Universite de Technologie de Troyes（特鲁瓦理工大学夏尔·德洛纳研究所）；Biomedicine Research Institute of Buenos Aires - Max Planck Partner Institute（布宜诺斯艾利斯生物医学研究所-马克斯·普朗克伙伴研究所）；Universidad Tecnologica Nacional Buenos Aires（布宜诺斯艾利斯国立理工大学）
癌症肿瘤的转录组学以数万个基因表达特征为特征。患者预后或肿瘤分期可以通过机器学习技术进行评估，如给定基因表达谱的监督分类任务。特征选择是一种有效的筛选肿瘤关键基因的方法。在这项工作中，我们提出了一种基于多核学习的特征选择方法，该方法可以减少基因子集和自定义内核，从而在用于支持向量分类时提高分类性能。在特征选择过程中，该方法通过引入从非线性降维模型学习的潜在空间获得的无监督结构来放松监督目标问题，从而执行新的潜在正则化。与其他有监督的特征选择方法相比，当用所提出的方法选择的特征训练分类器时，通过对新的未知测试样本的肿瘤分类性能来获得和评估泛化能力的提高。
2020-04-10 cs.CV cs.LG eess.IV
A Novel Feature Selection and Extraction Technique for Classification
BITS Pilani KK Birla Goa Campus（贝拉理工学院皮拉尼KK比拉果阿校区）；Rutgers University（罗格斯大学）
本文提出了一种通用的特征选择和提取技术-类相关特征（CDF）.我们使用CDF来提高分类的准确性，同时通过解决维数灾难来控制计算开销。为了证明该技术的通用性，将其应用于手写数字识别和文本分类。
2014-12-26 cs.CV cs.LG
Causal Feature Selection with Dimension Reduction for Interpretable Text Classification
Temple University（天普大学）；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
与类别标签相关但不直接导致类别标签的文本特征有时对预测有用，但它们可能没有洞察力。作为传统的基于相关性的特征选择的替代方案，因果推理可以揭示文本特征和标签之间更有原则、更有意义的关系。为了帮助研究人员深入了解文本数据，例如社会科学应用，在本文中，我们研究了一类基于匹配的因果推理方法的文本特征选择。文档分类中使用的特征通常是高维的，然而现有的因果特征选择方法使用倾向分数匹配（PSM），这在高维空间中是无效的。本文提出了一种新的因果特征选择框架，将降维与因果推理相结合，改进了文本特征选择。在合成数据和真实数据上的实验证明了我们的方法在提高分类和增强可解释性方面的潜力。
2020-10-09 cs.CL cs.IR cs.LG
Bayesian probabilistic models for corporate context, with an application to internal audit activities
在本文中，我们提出了一个商业案例，在意大利邮政，在公平的绩效评估的背景下，从事内部审计活动的人力资源。除了开发支持意大利邮政内部审计部门目标的贝叶斯网络外，这项工作还开发了一种在企业环境中进行高级分析的方法，其实用性远远超出了本文所述的具体用例。因此，我们提出了这样的分析策略的不同阶段，从功能选择，模型结构推理和模型选择，作为一个通用的工具箱，允许一个完全透明和可解释的过程，以支持数据驱动的决策在商业环境中。
2021-10-03 stat.AP
On Fractionally-Supervised Classification: Weight Selection and Extension to the Multivariate t-Distribution
最近的工作分数监督分类（FSC），一种方法，允许进行分类的分数量的权重给予未标记的点，进一步发展在两个方面。主要的发展解决了一个根本重要性的问题，即如何选择给予未标记点的权重。这个问题的解决是必不可少的，因为它使FSC更容易适用于实际问题。有趣的是，权重选择问题的解决为基于模型的聚类和分类中的模型选择开辟了一种不同的方法。二次开发表明，FSC方法可以有效地超越高斯混合模型。为此，FSC的方法说明了使用多变量t-分布的混合物。
2017-09-24 stat.CO stat.ME
Model Order Selection Rules For Covariance Structure Classification
本文讨论了雷达信号处理中干扰协方差阵结构的自适应分类问题。这代表了一个关键问题，因为许多检测架构是假设特定的协方差结构合成的，由于系统和环境不确定性的联合作用，该协方差结构可能不一定与实际协方差结构一致。所考虑的分类问题是投在一个多假设检验与一些嵌套的替代品和模型顺序选择（MOS）的理论来设计合适的决策规则。几个MOS技术，如赤池，竹内，贝叶斯信息准则，并讨论了相应的优点和缺点。在分析阶段，说明正确的模型选择的概率的例子显示所提出的规则的有效性。
2017-04-19 math.ST stat.TH
Probabilistic Decoupling of Labels in Classification
DTU Compute, Technical University of Denmark（丹麦技术大学DTU计算学院）
在本文中，我们开发了一种原则性的，概率性的，统一的方法来处理非标准分类任务，例如半监督，正未标记，多正未标记和噪声标签学习。我们训练一个分类器在给定的标签来预测标签分布。然后，我们推断潜在的类分布变分优化模型的标签类过渡。
2020-06-16 cs.LG stat.ML
Probabilistic learning of boolean functions applied to the binary classification problem with categorical covariates
Instituto Paulo Gontijo（保罗·贡蒂霍研究所）；FGV/EAESP（巴西应用经济研究所（FGV/EAESP））
在这项工作中，我们投的问题，二进制分类的估计划分伯努利数据。当解释变量都是分类变量时，问题可以用布尔函数的语言来建模。我们提供了一个概率分析的问题，并提出了两个算法学习布尔函数从二进制数据。
2020-03-20 cs.LG stat.ML
Probabilistic Classification Vector Machine for Multi-Class Classification
University of Science and Technique of China（中国科学技术大学）
概率分类向量机（PCVM）综合了支持向量机和相关向量机的优点，为分类问题提供了稀疏贝叶斯解。然而，PCVM目前仅适用于二元情况。通过启发式投票策略（例如一对一或一对一）将PCVM扩展到多类情况通常会导致分类器做出相互矛盾的预测的困境，并且这些策略可能会失去概率输出的好处。为了克服这个问题，我们扩展了PCVM，提出了一种多类概率分类向量机（mPCVM）。两种学习算法，即，一个自顶向下算法和一个自底向上算法，已经在mPCVM中实现。自顶向下算法基于期望最大化算法获得参数的最大后验概率（MAP）点估计，自底向上算法是通过最大化边际似然的增量式算法。mPCVM的优越性能，特别是当调查的问题有大量的类，广泛的合成和基准数据集进行评估。
2020-06-29 cs.LG stat.ML
Probabilistic Decoupling of Labels in Classification
Technical University of Denmark（丹麦技术大学）
我们研究了用于训练的标签与用于预测的底层类的概率解耦。解耦使得推理方案足够通用，可以实现许多分类问题，包括监督，半监督，正未标记，噪声标记，并提出了多个正未标记学习问题的一般解决方案。我们在Fashion MNIST和20个新闻组数据集上测试了该方法的性能基准，其中我们模拟了噪声，部分标签等。
2019-05-29 cs.LG stat.ML
Probabilistic Rule Realization and Selection
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Michigan（密歇根大学）
抽象和实现是双向的过程，是获得智力和创造力的关键。在许多领域，这两个过程是通过规则来实现的：高级原则，揭示了相似但不同的例子中的不变性。在离散输入空间的概率设置下，我们专注于规则实现问题，该问题生成遵循给定规则的输入样本分布。更雄心勃勃的是，我们超越了机械的实现，接受任何给定的东西，而是要求主动选择合理的规则来实现。这一目标在实践中要求很高，因为初始规则集可能并不总是一致的，因此需要明智的妥协。我们制定的规则实现和选择作为两个强连接的组件在一个单一的和对称的双凸问题，并推导出一个有效的算法，在大规模的工作。以音乐创作规则为例，我们证明了我们的模型的效率，不仅在音乐实现（组成），而且音乐的解释和理解（分析）。
2018-03-09 cs.LG stat.ML
A Simple Probabilistic Method for Deep Classification under Input-Dependent Label Noise
Google AI（谷歌AI）
带有噪声标签的数据集在分类方法的实际应用中很常见。我们提出了一种简单的概率方法，用于在输入相关（异方差）标签噪声下训练深度分类器。我们假设一个潜在的异方差生成过程的噪声标签。为了使基于梯度的训练可行，我们使用温度参数化softmax作为对假设生成过程的平滑近似。我们说明了softmax温度控制近似的偏差方差权衡。通过调整softmax温度，我们提高了准确性，对数似然和校准的图像分类基准与控制标签噪声以及Imagenet-21 k，其中自然发生的标签噪声。对于图像分割，我们的方法将PASCAL VOC和Cityscapes数据集上的平均IoU比最先进的模型增加了1%以上。
2020-11-12 cs.LG stat.ML
Efficient Estimation of the number of neighbours in Probabilistic K Nearest Neighbour Classification
School of Mathematical Sciences, University College Dublin, Ireland（爱尔兰都柏林大学数学科学学院）
概率最近邻（PKNN）分类已被引入，以提高性能的原始k-最近邻（KNN）分类算法，明确建模的不确定性，在每个特征向量的分类。然而，KNN和PKNN的共同问题是选择最佳的邻居数$k$。本文的贡献是将$k$中的不确定性纳入决策中，并在这样做时使用贝叶斯模型平均来提供改进的分类。实际上，评估$k$中的不确定性的问题可以被视为统计模型选择的问题之一，这是统计和机器学习领域中最重要的技术问题之一。在本文中，一个新的功能近似算法，提出了重建密度的模型（阶），而不依赖于耗时的蒙特卡罗模拟。此外，该算法采用贝叶斯框架，避免了交叉验证。该算法的性能在几个真实的实验数据集上取得了非常好的性能。
2013-05-05 cs.LG stat.ML
Probabilistic Lexicase Selection
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Swoop（Swoop公司）；Amherst College（阿默斯特学院）
提出概率lexicase选择算法，通过高效近似lexicase选择的概率分布，在保持竞争性问题解决性能的同时显著提升计算效率。
2023-05-19 cs.LG cs.NE
Pretrained Generalized Autoregressive Model with Adaptive Probabilistic Label Clusters for Extreme Multi-label Text Classification
Lehigh University（理海大学）；Xiamen University of Technology（厦门理工学院）
极端多标签文本分类（XMTC）是一个任务，标记一个给定的文本与最相关的标签从一个非常大的标签集。我们提出了一种新的深度学习方法，称为APLC-XLNet。我们的方法微调了最近发布的广义自回归预训练模型（XLNet），以学习输入文本的密集表示。我们提出了自适应概率标签集群（APLC）近似的交叉熵损失，利用不平衡的标签分布，形成集群，显着减少计算时间。我们在五个基准数据集上进行的实验表明，我们的方法在四个基准数据集上取得了新的最先进的结果。我们的源代码可在https://github.com/huiyegit/APLC_XLNet上公开获取。
2020-08-15 cs.LG stat.ML
Transfer learning extensions for the probabilistic classification vector machine
University for Applied Science Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）
迁移学习的重点是在新的环境中重用监督学习模型。突出的应用可以在机器人、图像处理或网络挖掘中找到。在这些领域中，学习场景自然会发生变化，但通常彼此相关，从而促进了现有监督模型的重用。当前的迁移学习模型既不稀疏也不可解释。如果方法必须在技术有限的环境中使用，并且由于隐私法规，可解释性变得越来越重要，那么稀疏性是非常可取的。在这项工作中，我们提出了两个迁移学习扩展集成到稀疏和可解释的概率分类向量机。他们在该领域的标准基准进行比较，并显示其相关性的稀疏性或性能改进。
2020-07-11 cs.LG stat.ML
Probabilistic Class-Specific Discriminant Analysis
Department of Engineering, ECE, Aarhus University（丹麦奥胡斯大学工程系（ECE））
在本文中，我们制定了一个概率模型的类特定的判别子空间学习。所提出的模型可以自然地包含负类的多模态结构，而现有的特定于类的方法忽略了这一点。此外，它可以直接用于定义一个类特定的概率分类规则的判别子空间。我们表明，现有的类特定的判别分析方法的特殊情况下，所提出的概率模型，并通过铸造它们作为概率模型，它们可以扩展到类特定的分类器。我们说明了所提出的模型在验证和分类问题的性能。
2020-10-05 cs.LG stat.ML
A Probabilistic Optimum-Path Forest Classifier for Binary Classification Problems
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Western São Paulo（西圣保罗大学）；São Paulo State University（圣保罗州立大学）
概率驱动的分类技术扩展了传统方法的作用，仅输出标签（通常是整数）。这样的技术在处理其中人们不仅对识别/标识感兴趣，而且对例如监视消费者和/或机器的行为感兴趣的问题时更有成效。因此，通过概率估计，人们可以做出决定，以便在许多情况下更好地工作。在本文中，我们提出了一个基于概率的最优路径森林（OPF）分类器来处理二进制分类问题，我们表明它可以在一些数据集上比朴素的OPF更准确。除了更准确或不准确之外，概率OPF还成为科学界的另一个有用工具。
2016-09-04 cs.CV cs.LG stat.ML
Protected probabilistic classification
本文提出了一种保护概率预测模型不受数据分布变化影响的方法，集中在分类的情况下，特别注意二进制分类。这在机器学习的应用中是重要的，其中训练的预测算法的质量可能在其开发过程中显著下降。我们的技术是基于最近的工作共形测试鞅和旧的工作预测专家的意见，即跟踪最好的专家。
2021-10-22 cs.LG
Evaluating model calibration in classification
Uppsala University（乌普萨拉大学）；Veoneer Inc.（维宁尔公司）；Linköping University（林雪平大学）
概率分类器输出目标类别的概率分布，而不仅仅是类别预测。除了提供预测和决策的明确分离之外，概率模型的主要优点是它们能够表示预测的不确定性。在安全关键型应用中，模型具有足够的不确定性是至关重要的，对于概率分类器来说，这转化为输出与从实现的结果中观察到的经验频率一致的概率分布。具有这种性质的分类器称为校准的。在这项工作中，我们开发了一个通用的理论校准评估框架，以概率论为基础，并指出微妙的模型校准评估，导致现有的评估技术的精细解释。最后，我们提出了新的方法来量化和可视化概率分类中的误校准，包括新的多维可靠性图。
2019-02-19 cs.LG stat.ML
Superior Scoring Rules for Probabilistic Evaluation of Single-Label Multi-Class Classification Tasks
Amirkabir University of Technology (Tehran Polytechnic)（阿米尔卡比尔理工大学（德黑兰理工大学））；University of Exeter（埃克塞特大学）
提出PBS和PLL两种新型评分规则，通过引入对错误分类的惩罚改进概率分类评估，在满足严格评分属性的同时优先奖励正确预测，有效提升模型选择与早停效果并实现更高的F1分数。
2024-07-25 cs.LG stat.ML
Asynchronous Wireless Federated Learning with Probabilistic Client Selection
South China University of Technology（华南理工大学）；Shanghai Jiao Tong University（上海交通大学）；Xidian University（西安电子科技大学）
本文研究异步无线联邦学习中的落后节点问题，提出概率客户端选择与带宽分配联合优化方法，并设计迭代算法全局最优求解非凸问题，以权衡收敛速率与设备能耗。
2023-11-28 cs.DC cs.LG cs.NI
Probabilistic Bilevel Coreset Selection
The Hong Kong University of Science and Technology（香港科技大学）；Google Research（谷歌研究院）
在监督学习中，核心集选择的目标是产生一个加权的数据子集，这样只对子集进行训练就可以达到与对整个数据集进行训练相似的性能。现有的方法在资源受限的情况下，如持续学习和流式传输，取得了可喜的成果。然而，现有的算法大多局限于传统的机器学习模型。一些可以处理大型模型的算法采用贪婪搜索方法，因为难以解决离散子集选择问题，当coreset变得更大时，计算成本很高，并且经常产生次优结果。在这项工作中，我们第一次提出了一个连续的概率双层制定coreset选择通过学习每个训练样本的概率权重。该算法的总体目标是一个两层优化问题，其中1）内循环采样核心重置并训练模型收敛; 2）外循环根据模型的性能逐步更新采样概率。重要的是，我们开发了一个有效的解决方案，通过无偏的策略梯度的双层优化问题，没有隐式微分的麻烦。我们提供了我们的训练过程的收敛性，并证明了我们的算法在各种任务中对各种核心集选择方法的优越性，特别是在更具挑战性的标签噪声和类不平衡的情况下。
2023-01-24 cs.LG
Entropy methods for the confidence assessment of probabilistic classification models
许多分类模型产生概率分布作为预测的结果。该信息通常被压缩到具有最高关联概率的单个类别。在本文中，我们认为，在这个过程中被丢弃的信息的一部分，实际上可以用来进一步评估模型的善良，特别是每个预测的信心。作为本文提出的思想的应用，我们提供了一个理论解释的信心退化现象中观察到的补充方法（伯努利）朴素贝叶斯生成模型。
2021-03-28 cs.LG stat.ME stat.ML
Contextual Plackett-Luce: An Efficient Neural Model for Probabilistic Sequence Selection under Ambiguity
Mobileye
本文提出Contextual Plackett-Luce模型，结合全并行评分与轻量级自回归选择过程，提升在模糊监督下的序列选择效率与鲁棒性。
2026-05-09 cs.AI cs.LG
Protected Probabilistic Classification Library
Centre for Reliable Machine Learning, Royal Holloway, University of London Egham, Surrey TW20 0EX, UK（可靠机器学习中心，皇家霍洛威大学，伦敦大学）
本文提出了一个名为Protected Probabilistic Classification Library的Python包，用于解决数据集偏移下概率分类器的校准问题，在二分类和多分类设置中表现出优于现有事后校准方法的有效性。
2025-09-14 cs.LG
Wavelet Probabilistic Recurrent Convolutional Network for Multivariate Time Series Classification
Imperial College London（帝国理工学院）
本文提出小波概率循环卷积网络（WPRCN），通过自适应小波概率特征生成器与通道注意力概率时间卷积网络，结合LSTM和C-FCN，在30个多变量时间序列数据集上平均准确率与排名优于基准，尤其擅长处理数据稀缺、非平稳和噪声扰动。
2025-05-22 cs.LG
Probabilistic Active Learning for Active Class Selection
University Kassel（卡塞尔大学）；University Magdeburg（马格德堡大学）
在机器学习中，主动类选择（ACS）算法旨在主动选择类并要求oracle为该类提供实例，以优化分类器的性能，同时最小化请求的数量。在本文中，我们提出了一个新的算法（PAL ACS），转换ACS问题转化为一个主动学习任务，通过引入伪实例。这些用于使用来自概率主动学习的性能增益模型来估计每个类的即将到来的实例的有用性。我们的实验评估（合成和真实数据）显示了我们的算法相比，国家的最先进的算法的优势。它有效地优先选择困难类的样本，从而提高分类性能。
2021-08-09 cs.AI cs.LG
Probabilistic Multi-Dimensional Classification
UTC（法国贡比涅技术大学）；KU Leuven（鲁汶大学）；TU/e（埃因霍温理工大学）
针对多维分类（MDC）中存在的不准确、可扩展性差、难以解释及缺乏不确定性估计等问题，提出一个可证明最优的概率MDC形式化框架，将学习最优多维分类器分解为单变量多类概率分类器和有向无环图，并通过实验验证其有效性。
2023-11-25 cs.LG
Probabilistic Label Trees for Extreme Multi-label Classification
Poznan University of Technology（波兹南理工大学）；Yahoo! Research（雅虎研究院）；Google Research（谷歌研究院）
极端多标签分类（XMLC）是一个学习任务，它从一个非常大的可能标签池中选择一小部分相关标签来标记实例。这种规模的问题可以通过将标签组织为树来有效地处理，就像用于多类问题的分层softmax一样。在本文中，我们深入研究了概率标签树（PLT），它可以被视为一个推广的分层softmax多标签问题。我们首先介绍PLT模型，并讨论训练和推理过程及其计算成本。接下来，我们证明了广泛的性能指标的PLT的一致性。为此，我们上界他们的遗憾的替代损失遗憾的节点分类器的功能。此外，我们考虑了在完全在线设置中训练PLT的问题，而无需任何训练实例，其特征或标签的先验知识。在这种情况下，节点分类器和树结构都是在线训练的。我们证明了一个具体的等价性之间的完全在线算法和一个算法与一个树结构预先给定的。最后，我们讨论了几种实现的PLT，并介绍了一个新的，napkinXC，我们经验评估和比较国家的最先进的算法。
2020-09-23 cs.LG stat.ML
Discriminative Probabilistic Prototype Learning
NICTA（澳大利亚国家信息通信技术实验室）；Australian National University（澳大利亚国立大学）
在本文中，我们提出了一个简单而强大的方法来学习表示在监督学习的情况下，每个原始输入数据点是由一组向量和其相关的输出可以给出软标签指示，例如，类概率。我们将输入数据点表示为相应特征向量集上的概率混合，其中每个概率表示每个向量属于未知原型模式的可能性。我们提出了一个概率模型，参数化这些原型模式的隐变量，因此它可以训练与传统的方法的基础上似然最大化。更重要的是，模型参数和原型模式都可以从数据中以有区别的方式学习。我们表明，我们的模型可以被看作是学习矢量量化（LVQ）的概率推广。我们将我们的方法应用于形状分类、高光谱成像分类和人们的工作类别分类问题，显示了与标准的基于原型的分类方法和其他竞争性基准方法相比，我们的方法的优越性能。
2012-06-18 cs.LG stat.ML
A Full Probabilistic Model for Yes/No Type Crowdsourcing in Multi-Class Classification
Pontificia Universidad Católica de Chile（智利天主教大学）；Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）
众包已广泛用于训练集稀缺且难以获得的监督场景。文献中的大多数众包模型都假设标签人员可以提供完整问题的答案。在分类上下文中，完整的问题需要一个标注器来辨别所有可能的类。不幸的是，在现实情况下，辨别并不总是容易的。标签人员可能不是区分所有类别的专家。在这项工作中，我们提供了一个完整的概率模型较短类型的查询。我们的简短查询只需要回答“是”或“否”。我们的模型估计了一个联合后验分布的矩阵有关的标签的混乱和后验概率的类的每个对象。我们开发了一种近似的推理方法，使用蒙特卡罗抽样和黑盒变分推理，它提供了必要的梯度的推导。我们建立了两个现实的众包场景来测试我们的模型。第一个场景查询不规则的天文时间序列。第二种场景依赖于动物的图像分类。我们取得的成果是可比的充分查询众包。此外，我们表明，建模标签的失败起着重要的作用，估计真类。最后，我们向社区提供了从众包实验中获得的两个真实数据集。我们所有的代码都是公开的。
2019-08-14 cs.LG stat.ML
Discriminative k-shot learning using probabilistic models
University of Cambridge（剑桥大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
本文介绍了一种概率框架的k-shot图像分类。我们的目标是从一个初始的大规模分类任务推广到一个单独的任务，包括新的类和少量的例子。新方法不仅利用了神经网络从初始任务（表征转移）中学习到的基于特征的表征，而且还利用了关于类的信息（概念转移）。概念信息被封装在神经网络的最终层权重的概率模型中，该概率模型充当概率k次学习的先验。我们表明，即使是一个简单的概率模型也能在标准的k-shot学习数据集上大幅度地达到最先进的水平。此外，它能够准确地对不确定性进行建模，从而得到校准良好的分类器，并且与最近的许多k-shot学习方法不同，它易于扩展和灵活。
2017-12-09 cs.LG stat.ML
Probabilistic Classification by Density Estimation Using Gaussian Mixture Model and Masked Autoregressive Flow
University of Waterloo（滑铁卢大学）；Drexel University（德雷塞尔大学）
本文提出利用高斯混合模型和掩码自回归流进行密度估计，以建模类别似然实现分类，优于线性判别分析，为概率分类器开辟新方向。
2023-10-16 cs.LG cs.NE stat.ML
Probabilistic Multi-Source Data Selection via Learnable Categorical Priors: Variance Reduction and Guaranteed Derandomization
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）
针对多源双层数据选择问题，本文提出基于可学习分类先验的概率松弛方法，设计ReSGD算法并建立近似保证，通过实验验证其有效性。
2026-10-14 cs.AI cs.LG
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University（俄亥俄州立大学）
在本文中，我们提出了一个非度量排名为基础的表示语义相似性，允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题，并提出了确定性和概率性的zero-shot分类器，可以从预先训练的分类器中构建，而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是，我们表明，聚合不同来源的语义信息，包括众包，导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Reliable Probabilistic Classification with Neural Networks
Frederick Research Center（弗雷德里克研究中心）；Frederick University（弗雷德里克大学）
针对概率分类的校准需求，本文提出五种基于神经网络的Venn Prediction方法，在四个基准数据集上验证了其输出的良好校准性及对传统神经网络分类器的性能优势。
2023-12-15 cs.LG
