Bonsai -- Diverse and Shallow Trees for Extreme Multi-label Classification
Indian Institute of Technology Mandi(曼迪印度理工学院);Aalto University(阿尔托大学)
极端多标签分类(XMC)是指涉及数十万甚至数百万个标签的监督多标签学习。在本文中,我们开发了一套算法,称为Bonsai,它概括了XMC中的标签表示的概念,并在表示空间中划分标签来学习浅树。我们展示了这个标签表示空间的三个具体实现,包括:(i)由输入特征跨越的输入空间,(ii)基于与其他标签的同现由标签向量跨越的输出空间,以及(iii)通过组合输入和输出表示的联合空间。此外,在这些空间中迭代学习的无约束多路划分导致浅树。通过结合浅树和广义标签表示的效果,Bonsai实现了两全其美-快速训练,可与XMC中最先进的基于树的方法相媲美,并且预测精度更高,特别是在尾部标签上。在具有300万个标签的基准Amazon-3 M数据集上,\bonsai在预测准确性方面优于最先进的one-vs-rest方法,同时训练速度快约200倍。盆景的代码可在\url{https://github.com/xmc-aalto/bonsai}上获得
2019-08-10 cs.LG stat.ML
Probabilistic Label Trees for Extreme Multi-label Classification
Poznan University of Technology(波兹南理工大学);Yahoo! Research(雅虎研究院);Google Research(谷歌研究院)
极端多标签分类(XMLC)是一个学习任务,它从一个非常大的可能标签池中选择一小部分相关标签来标记实例。这种规模的问题可以通过将标签组织为树来有效地处理,就像用于多类问题的分层softmax一样。在本文中,我们深入研究了概率标签树(PLT),它可以被视为一个推广的分层softmax多标签问题。我们首先介绍PLT模型,并讨论训练和推理过程及其计算成本。接下来,我们证明了广泛的性能指标的PLT的一致性。为此,我们上界他们的遗憾的替代损失遗憾的节点分类器的功能。此外,我们考虑了在完全在线设置中训练PLT的问题,而无需任何训练实例,其特征或标签的先验知识。在这种情况下,节点分类器和树结构都是在线训练的。我们证明了一个具体的等价性之间的完全在线算法和一个算法与一个树结构预先给定的。最后,我们讨论了几种实现的PLT,并介绍了一个新的,napkinXC,我们经验评估和比较国家的最先进的算法。
2020-09-23 cs.LG stat.ML
Hoeffding adaptive trees for multi-label classification on data streams
University of Cordoba(科尔多瓦大学);Virginia Commonwealth University(弗吉尼亚联邦大学);Andalusian Research Institute in Data Science and Computational Intelligence (DaSCI)(安达卢西亚数据科学与计算智能研究所)
针对多标签数据流中的概念漂移、标签共现与类别不平衡等挑战,提出 MLHAT,并在 41 个数据集上验证其优于 18 种在线方法。
2024-10-26 cs.LG
Tree-Based Dynamic Classifier Chains
Technische Universität Darmstadt(达姆施塔特工业大学);Johannes Kepler Universität Linz(约翰内斯·开普勒林茨大学)
分类器链是多标签分类中标签依赖建模的有效技术。然而,该方法需要标签的固定、静态顺序。虽然在理论上,任何顺序都是足够的,但在实践中,这个顺序对最终预测的质量有很大的影响。动态分类器链表示对于每个要分类的实例,预测标签的顺序是动态选择的。这种方法的简单实现的复杂性是令人望而却步的,因为它需要为标签的每个可能排列训练一系列分类器。为了有效地解决这个问题,我们提出了一种新的方法,基于随机决策树,它可以动态地选择每个预测的标签排序。我们的经验表明,下一个标签的动态选择,提高了使用静态排序下,否则不变的随机决策树模型。%和实验环境。此外,我们还展示了一种基于极端梯度提升树的替代方法,该方法允许更面向目标的动态分类器链训练。我们的研究结果表明,这种变体优于随机决策树和其他基于树的多标签分类方法。更重要的是,动态选择策略可以大大加快训练和预测。
2021-12-13 cs.LG
AttentionXML: Label Tree-based Attention-Aware Deep Model for High-Performance Extreme Multi-Label Text Classification
Fudan University(复旦大学);Kyoto University(京都大学);Aalto University(阿尔托大学)
极端多标签文本分类(XMTC)是大数据时代的一个重要问题,用于从超大规模的标签集中使用最相关的多个标签标记给定的文本。XMTC可以在许多应用中找到,例如项目分类、网页标记和新闻注释。传统的方法大多使用词袋(BOW)作为输入,忽略了词的上下文以及深层语义信息。最近通过深度学习克服BOW问题的尝试仍然存在以下问题:1)未能捕获每个标签的重要潜台词; 2)缺乏针对大量标签的可扩展性。我们为XMTC提出了一种新的基于标签树的深度学习模型,称为AttentionXML,具有两个独特的功能:1)以原始文本为输入的多标签注意力机制,可以捕获文本中与每个标签最相关的部分; 2)浅而宽的概率标签树(PLT),可以处理数百万个标签,特别是“尾部标签”。我们在六个基准数据集上实证比较了AttentionXML与八种最先进方法的性能,包括Amazon-3 M约300万个标签。在所有实验设置下,AttentionXML的性能优于所有竞争方法。实验结果还表明,AttentionXML在基于标签树的方法中对尾部标签的性能最好。代码和数据集可在http://github.com/yourh/AttentionXML上获得。
2019-11-04 cs.CL cs.LG
Linear TreeShap
University of Electronic Science and Technology of China(电子科技大学);Télécom ParisTech(巴黎电信学院);Shopify;Ecole polytechnique(巴黎综合理工学院)
决策树由于其易于解释性而众所周知。为了提高准确性,我们需要生长深树或树的集合。这些很难解释,抵消了它们最初的好处。Shapley值最近已成为解释基于树的机器学习模型预测的流行方法。它为独立于树结构的特征提供线性加权。流行度的上升主要是由于TreeShap,它在多项式时间内解决了一般指数复杂性问题。随着在行业中的广泛采用,需要更有效的算法。本文提出了一个更有效和直接的算法:线性树形。与TreeShap一样,Linear TreeShap是精确的,需要相同的内存量。
2023-01-25 cs.LG
Robust Optimal Classification Trees under Noisy Labels
Universidad de Granada(格拉纳达大学);Universidad de Sevilla(塞维利亚大学)
在本文中,我们提出了一种新的方法来构建最优分类树,考虑到噪声标签可能会出现在训练样本。我们的方法依赖于两个主要元素:(1)分类树的分裂规则被设计为最大化应用SVM范式的类之间的分离裕度;以及(2)在试图检测标签噪声的树的构建期间,允许改变训练样本的一些标签。这两个功能都被考虑和集成在一起,设计产生的最优分类树。我们提出了一个混合的非线性规划制定的问题,适合使用任何可用的现成的求解器来解决。在UCI机器学习数据库中的标准数据集上对该模型进行了分析和测试,结果表明了该方法的有效性。
2020-12-15 cs.LG math.OC stat.ML
On the computational complexity of the probabilistic label tree algorithms
Yahoo! Research(雅虎研究院);Institute of Computing Science, Poznan University of Technology(波兹南理工大学计算科学研究所);Harvard University(哈佛大学)
基于标签树的算法被广泛用于解决具有大量标签的多类多标签问题。我们专注于一个特定的子类,这些算法中使用概率分类器的树节点。这样的算法的例子是分层softmax(HSM),设计用于多类分类,和概率标签树(PLT),推广HSM多标签问题。如果给出了树结构,PLT的学习可以通过可证明的后悔概率来解决[Wydmuch et.al. 2018]。然而,找到一个树结构,导致PLT具有低的训练和预测计算成本以及低的统计误差似乎是一个非常具有挑战性的问题,还没有很好地理解。在本文中,我们解决的问题,找到一个树结构,具有较低的计算成本。首先,我们发现,找到一棵树的最佳训练成本是NP完全的,但也有一些听话的特殊情况下,无论是完美的近似或精确的解决方案,可以在线性时间内获得的标签数$m$。对于一般情况,我们也得到了线性时间的$O(\log m)$近似。此外,我们证明了一个上限的预期预测成本表示的预期训练成本。我们还表明,在额外的假设下,预测成本的PLT是$O(\log m)$。
2019-06-01 cs.CC cs.LG stat.ML
Node Classification in Random Trees
Eindhoven University of Technology(埃因霍温理工大学)
本文提出一种方法,用于对结构为随机树的对象进行分类,通过马尔可夫网络和图神经网络建模节点标签分布,优于现有方法。
2024-04-14 cs.LG cs.SI
Propensity-scored Probabilistic Label Trees
Poznan University of Technology(波兹南理工大学);ML Research at Allegro.pl(Allegro.pl机器学习研究部);Aalto University(阿尔托大学);Yahoo! Research(雅虎研究院)
极端多标签分类(XMLC)是指使用来自所有可能标签的极大集合的相关标签的小子集来标记实例的任务。最近,XMLC已被广泛应用于各种Web应用程序,如自动内容标签,在线广告或推荐系统。在这样的环境中,标签分布通常是高度不平衡的,主要由非常罕见的尾部标签组成,并且相关标签可能会丢失。作为这些问题的补救措施,倾向模型已被引入并应用于几个XMLC算法。在这项工作中,我们专注于这个模型下的概率标签树,XMLC问题的流行方法的最佳预测的问题。我们引入了一个推理过程,基于$A^*$搜索算法,有效地找到最优解,假设所有的概率和倾向是已知的。我们证明了这种方法的吸引力,在广泛的实证研究流行的XMLC基准数据集。
2021-10-20 cs.IR cs.LG
Extreme Gradient Boosted Multi-label Trees for Dynamic Classifier Chains
Technische Universität Darmstadt(达姆施塔特工业大学)
分类器链是多标签分类中的关键技术,因为它允许有效地考虑标签依赖性。然而,分类器根据标签的静态顺序对齐。在动态分类器链(DCC)的概念中,标签排序是根据手头的相应实例动态地为每个预测选择的。我们将这个概念与极端梯度提升树(XGBoost)的提升相结合,这是一种有效且可扩展的最先进技术,并将DCC纳入我们公开提供的XGBoost的快速多标签扩展中。由于仅需预测阳性标签,并且这些标签通常很少,因此可以进一步大幅降低训练成本。此外,正如在11个数据集上的实验所示,链的长度允许对先前预测的使用进行更多的控制,因此可以对想要优化的度量进行更多的控制。
2020-06-15 cs.LG stat.ML
Enabling Efficiency-Precision Trade-offs for Label Trees in Extreme Classification
Stanford University(斯坦福大学);Amazon(亚马逊);University of Washington(华盛顿大学);University of Texas at Austin(得克萨斯大学奥斯汀分校)
极端多标签分类(XMC)旨在学习一种模型,该模型可以从一个非常大的标签集中使用相关标签的子集来标记数据点。现实世界中的电子商务应用,如个性化推荐和产品广告,可以被公式化为XMC问题,其目标是为用户预测数百万产品目录中的一小部分产品。对于这样的应用程序,一种常见的方法是将这些标签组织成一棵树,使训练和推理时间在标签数量上是对数的。虽然在标签树可用时训练模型已经得到了很好的研究,但设计树的结构是一项困难的任务,尚未得到很好的理解,并且可能会显着影响模型延迟和统计性能。现有的树构建方法处于极端点,要么专门针对统计性能进行优化,要么针对延迟进行优化。我们提出了一个有效的信息论启发的算法来构建中间操作点,两者的利益之间的权衡。我们的算法可以在这些目标之间进行插值,这在以前是不可能的。我们用数值结果证实了我们的理论分析,表明在Wiki-500 K基准数据集上,我们的方法可以将预期延迟的代理减少高达28%,同时保持与Parabel相同的准确性。在来自电子商务客户日志的几个数据集上,我们修改后的标签树能够将此预期延迟度量提高高达20%,同时保持相同的准确性。最后,我们讨论了在部署的模型中实现这些延迟改进的挑战。
2021-09-21 cs.DS cs.LG
Conditional Probability Tree Estimation Analysis and Algorithms
我们考虑的问题估计的条件概率的标签在时间O(log n),其中n是可能的标签的数量。我们分析了一个自然减少这个问题的一组二进制回归问题组织在一个树结构,证明了遗憾的范围,规模与深度的树。基于这种分析,我们提出了第一个在线算法,该算法可证明地在标签集上构建对数深度树来解决这个问题。我们根据经验测试了该算法,结果表明它在大约106个标签的数据集上成功地工作。
2014-08-09 cs.LG stat.ML
Exploring space efficiency in a tree-based linear model for extreme multi-label classification
National Taiwan University(国立台湾大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对极限多标签分类中基于树的线性模型的空间复杂度问题,通过理论和实证分析发现稀疏数据下权重向量存在零值,仅存储非零元素可实现高达95%的存储空间缩减,并提供训练前模型大小估计方法以避免不必要的剪枝。
2024-10-12 cs.CL cs.LG
CNN-LTE: a Class of 1-X Pooling Convolutional Neural Networks on Label Tree Embeddings for Audio Scene Recognition
我们在本报告中描述了我们提交给DCASE 2016挑战赛的音频场景识别系统。首先,给定场景的标签集,自动构造标签树。然后,在特征提取步骤中使用该类别分类法,在该步骤中,音频场景实例由标签树嵌入图像表示。不同的卷积神经网络,这些网络是为手头的任务量身定制的,最终在图像特征的基础上学习,用于场景识别。我们的系统达到了81.2%和83.3%的整体识别准确率,并优于DCASE 2016基线,开发和测试数据的绝对改进分别为8.7%和6.1%。
2016-08-15 cs.CV cs.LG cs.MM
A new Bayesian ensemble of trees classifier for identifying multi-class labels in satellite images
Acadia University(阿卡迪亚大学)
卫星图像分类是许多遥感应用的关键组成部分。原始卫星图像最重要的产品之一是分类地图,它将图像像素标记为有意义的类别。虽然到目前为止已经开发了几种参数和非参数分类器,但像素的准确标记仍然是一个挑战。在本文中,我们提出了一个新的可靠的多类分类器识别类标签的卫星图像在遥感应用。建议的多类分类器是一个广义的二元分类器的基础上的灵活集成的回归树模型称为贝叶斯加性回归树(BART)。我们使用了三个小区域的LANDSAT 5 TM图像,收购于2009年8月15日(路径/行:08/29,L1 T产品,UTM地图投影)在国王县,新斯科舍省,加拿大的土地利用分类。几个预测精度和不确定性的措施已被用来比较的可靠性,建议的分类与国家的最先进的遥感分类。
2013-05-31 cs.CV cs.LG stat.ME