A tree-based kernel for graphs with continuous attributes
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所(哈马德·本·哈利法大学));University of Padova(帕多瓦大学)
针对现有图核方法适配连续节点属性时的计算局限,提出一种基于图遍历提取树结构特征的图核方法及其近似变体,在六个真实数据集上实现了性能与效率的提升。
2016-12-20 cs.LG
(Decision and regression) tree ensemble based kernels for regression and classification
AbbVie Inc.(艾伯维公司);Merck & Co., Inc.(默沙东公司)
基于树的集成,例如Breiman的随机森林(RF)和梯度提升树(GBT)可以被解释为隐式内核生成器,其中随后的邻近矩阵表示数据驱动的树集成内核。RF的内核的角度来看,已被用来开发一个原则性的框架,其统计特性的理论研究。最近,它已被证明,内核的解释是密切相关的其他基于树的合奏,如GBT。然而,内核和树集成之间的联系的实际效用还没有得到广泛的探索和系统的评估。我们的工作重点是研究核方法和基于树的集成(包括RF和GBT)之间的相互作用。我们阐明的RF和GBT为基础的内核在一个全面的模拟研究,包括连续和二进制目标的性能和属性。我们表明,对于连续的目标,RF/GBT内核在高维场景中,特别是在具有大量噪声特征的情况下,与它们各自的合奏具有竞争力。对于二进制目标,RF/GBT内核及其各自的集成表现出相当的性能。我们提供了来自现实生活数据集的回归和分类结果,以展示如何在实践中利用这些见解。总体而言,我们的研究结果支持树集成为基础的内核作为一个有价值的除了从业者的工具箱。最后,我们讨论了基于树集成的生存目标,可解释的原型和地标分类和回归的内核的扩展。我们概述了未来的研究路线的内核提供的贝叶斯同行的频率论树合奏。
2020-12-19 cs.LG stat.ML
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
School of Industrial Management Engineering, Korea University(韩国大学工业管理工程学院);School of Mechanical Engineering, Chungnam National University(Chungnam国立大学机械工程学院)
提出一种基于核Fisher判别分析的树集成方法KFDA Forest,通过Bootstrap和随机子集划分增强多样性,利用核技巧处理非线性数据,以决策树为基分类器提升准确率。
2026-06-27 cs.LG
Tree++: Truncated Tree Based Graph Kernels
University of California, Santa Barbara(加州大学圣巴巴拉分校);Columbia University(哥伦比亚大学)
图结构数据在许多应用领域中无处不在。一个基本问题是量化它们的相似性。图核通常用于此目的,它将图分解为子结构并比较这些子结构。然而,大多数现有的图核不具有尺度自适应性,即,它们不能比较多个粒度级别的图。许多真实世界的图,如分子,都以不同的粒度级别展示结构。为了解决这个问题,本文提出了一种新的图核Tree++。Tree++的核心是一个称为路径模式图内核的图内核。路径模式图核首先构建一棵以每个顶点为根的截断BFS树,然后使用从根到截断BFS树中每个顶点的路径作为特征来表示图。路径模式图核只能在细粒度上捕获图的相似性。为了在粗粒度上捕捉图的相似性,我们引入了一个新的概念,称为超级路径。超级路径包含以路径中的顶点为根的截断BFS树。我们对各种真实世界图的评估表明,与以前的图核相比,Tree++实现了最好的分类精度。
2020-02-23 cs.LG cs.SI stat.ML
A Generalized Weisfeiler-Lehman Graph Kernel
University of Bonn(波恩大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所)
Weisfeiler-Lehman图核由于其显著的时间复杂度和预测性能而成为最流行的图核之一。他们的关键概念是基于邻域表示树关于相等性的隐式比较(即,同构)。然而,这种二进制值的比较,可以说是过于严格的定义合适的相似性措施的图。为了克服这一限制,我们提出了一个推广的Weisfeiler-Lehman图内核,它考虑到树之间的相似性,而不是平等。我们实现这一点,使用一个专门适合的变化,众所周知的树编辑距离,可以有效地计算。我们的经验表明,我们的方法显着优于国家的最先进的方法,在预测性能的数据集包含结构上更复杂的图超出了通常认为的分子图。
2021-01-20 cs.LG
Fast Computation of Subpath Kernel for Trees
Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院)
核方法是分析结构化数据(如序列、树和图)的一种潜在方法,然而,无序树尚未得到广泛研究。Kimura et al.(2011)提出了一种基于子路径的无序树的核函数,子路径是树的垂直子结构,负责其中的层次信息。他们的内核在精度和速度方面表现出实际上很好的性能;然而,线性时间计算在理论上不能保证,不像Vishwanathan和Smola(2003)提出的其他无序树内核。在本文中,我们提出了一个理论上保证线性时间内核计算算法,实际上是快速的,我们提出了一个有效的预测算法,其运行时间只取决于输入树的大小。实验结果表明,本文提出的算法在实际应用中是非常有效的.
2012-06-18 cs.DS cs.LG stat.ML
Analyzing Tree Architectures in Ensembles via Neural Tangent Kernel
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学(SOKENDAI));National Institute of Informatics(国立信息学研究所)
软树是决策树的一种正在研究的变体,它使用梯度方法更新分裂规则。虽然软树可以采用各种架构,但它们的影响在理论上并不为人所知。在本文中,我们制定和分析的神经切线核(NTK)诱导的软树集成任意树结构。这个内核导致了一个显着的发现,即只有在每个深度的叶子的数量是相关的树结构集成学习与无限数量的树。换句话说,如果每个深度的叶子数量是固定的,那么函数空间中的训练行为和泛化性能在不同的树架构中完全相同,即使它们不是同构的。我们还表明,NTK的非对称树,如决策列表不退化时,他们得到无限深。这与完美二叉树形成对比,完美二叉树的NTK已知会退化,并导致更深树的泛化性能更差。
2023-02-07 cs.LG stat.ML
KTBoost: Combined Kernel and Tree Boosting
Lucerne University of Applied Sciences and Arts(卢塞恩应用科学与艺术大学)
我们引入了一种新的提升算法称为'KTBoost',它结合了内核提升和树提升。在每次提升迭代中,该算法将回归树或再生核希尔伯特空间(RKHS)回归函数添加到基本学习器的集合中。直观地说,这个想法是不连续树和连续RKHS回归函数相互补充,并且这种组合允许更好地学习具有不同规律性的部分的函数,例如不连续和平滑部分。我们的经验表明,KTBoost显着优于树和内核提升在预测准确性方面的比较,在广泛的数据集。
2021-02-08 cs.LG stat.CO stat.ML
Kernel Treelets
University of California Santa Barbara(加州大学圣巴巴拉分校)
提出了一种新的层次聚类方法。它结合了Trevet,一个特定的多尺度分解的数据,与再生核希尔伯特空间上的投影。所提出的方法,称为核Trexing(KT),有效地替代了相关系数矩阵Trexing中使用的对称,半正定矩阵有效地构建从核函数。与大多数要求数据集为数值的聚类方法不同,KT可以应用于更一般的数据,并直接在特征空间中基于数据产生多分辨率序列。通过实例说明了KT在聚类分析中的有效性和潜力。
2018-12-12 cs.LG stat.ME stat.ML
A Neural Tangent Kernel Perspective of Infinite Tree Ensembles
The Graduate University for Advanced Studies, SOKENDAI(综合研究大学院大学);National Institute of Informatics(国立信息学研究所)
在实际应用中,树集成与神经网络一样是最流行的模型之一。软树是决策树的变体。代替使用贪婪方法来搜索分裂规则,软树使用梯度方法来训练,其中整个分裂操作以可微形式制定。虽然近年来,这种软树的集合越来越多地被使用,但很少有理论工作来理解它们的行为。通过对无限软树系综的研究,引入并研究了树神经切线核(TNTK),为研究无限软树系综的行为提供了新的思路.使用TNTK,我们从理论上确定了几个非平凡的属性,如全局收敛的训练,不经意的树结构的等价性,和退化的TNTK引起的深化的树。
2022-03-21 cs.LG stat.ML
Kernel KMeans clustering splits for end-to-end unsupervised decision trees
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心)
针对无标签数据的端到端聚类树学习挑战,提出无监督二叉树模型 Kauri,通过贪婪最大化核 KMeans 目标且无需定义质心,在多数据集上表现优异。
2024-02-19 cs.AI cs.LG stat.ML
Tunable GMM Kernels
Rutgers University(罗格斯大学)
最近提出的“广义最小-最大”(GMM)核可以有效地线性化,直接应用于大规模统计学习和快速近邻搜索。将线性化GMM核与线性化径向基函数(RBF)核进行了广泛的比较。在大量的分类任务中,与最佳调整的RBF内核相比,无调整的GMM内核表现得(令人惊讶地)很好。然而,人们自然会期望,GMM内核应该进一步改善,如果我们引入调优参数。在本文中,我们研究了三个简单的可调GMM内核的构造:(i)幂GMM(或eGMM)内核,(ii)Powered-GMM(或pGMM)内核,(iii)幂幂GMM(epGMM)内核。pGMM内核仍然可以通过修改GMM内核的原始散列过程来有效地线性化。在大约60个公开的分类数据集上,我们验证了所提出的可调GMM内核通常比原始GMM内核有所改进。在某些数据集上,这些改进可能非常重要。例如,在11个用于测试深度学习算法和树方法的流行数据集上,我们的实验表明,所提出的可调GMM内核是树和深度网络的强有力竞争对手。以前的研究开发了树方法,包括“abc-鲁棒-logitboost”,并通过建立二阶树分裂公式和多类逻辑损失的新导数,在这11个数据集(和其他数据集)上展示了出色的性能。与“abc-robust-logitboost”等树方法(速度慢,需要大量的模型大小)相比,可调GMM内核产生的结果在很大程度上是可比的。
2017-03-09 cs.LG stat.ML
De-paradox Tree: Breaking Down Simpson's Paradox via A Kernel-Based Partition Algorithm
University of Pittsburgh(匹兹堡大学)
De-paradox Tree通过核基核分区算法揭示隐藏的子组模式,解决西姆松悖论中的矛盾关联问题,提供更可解释的因果推断方法。
2026-03-02 cs.LG
Several Tunable GMM Kernels
Baidu Research USA(百度研究院美国分院(或直接保留“Baidu Research USA”))
虽然树方法在实践中很受欢迎,但研究人员和实践者也在寻找可以达到类似树的精度的简单算法。2010年,(Ping Li UAI'10)开发了“abc-robust-logitboost”方法,并将其与深度学习文献使用的数据集上的其他监督学习方法进行了比较。在这项研究中,我们提出了一系列的“可调GMM内核”,这是简单的,并在很大程度上执行相同的数据集上的树方法。请注意,“abc-鲁棒-logitboost”大大改进了原始“GDBT”,因为(a)它开发了一个基于损失函数导数的二阶信息的树分裂公式;(b)它开发了一组新的用于多类分类公式的导数。在2017年的先前研究中,与“径向基函数”(RBF)内核相比,“广义最小-最大”(GMM)内核具有良好的性能。然而,如本文所示,在深度学习文献中使用的数据集上,原始GMM内核通常不如树方法具有竞争力。由于原始的GMM核没有参数,我们提出了可调的GMM核,通过添加各种方式的调整参数。三个基本(即,仅具有一个参数)GMM内核分别是“$e$ GMM内核”、“$p$ GMM内核”和“$γ$ GMM内核”。大量的实验表明,他们能够产生良好的结果,大量的分类任务。此外,可以组合基本内核以提高性能。
2018-05-08 cs.LG stat.ML
pGMM Kernel Regression and Comparisons with Boosted Trees
Baidu Research(百度研究院)
在这项工作中,我们证明了pGMM(“动力广义最小-最大”)内核的(岭)回归的背景下的优势。在最近的先前研究中,pGMM内核已被广泛评估用于分类任务,用于逻辑斯谛回归,支持向量机以及深度神经网络。本文对岭回归进行了实验研究,将pGMM核回归与普通岭线性回归以及RBF核岭回归进行了比较。也许令人惊讶的是,即使没有调谐参数(即,$p=1$用于pGMM内核的功率参数),pGMM内核已经表现良好。此外,通过调优参数$p$,这个(看似简单的)pGMM内核甚至对提升的树执行了相当大的改进。Boosting和Boosted树在机器学习实践中非常流行。对于回归任务,通常,从业者使用$L_2$ boost,即,用于最小化$L_2$损失。有时出于鲁棒性的目的,可能会选择$L_1$增强。在本研究中,我们为$p\geq 1$实现了$L_p$ boost,并将其包含在"Fast ABC-Boost“包中。也许还令人惊讶的是,最好的性能(在$L_2$回归损失方面)通常在$p>2$,在某些情况下在$p\gg 2$获得。Li等人(UAI 2010)已经在使用$L_p$距离的k-最近邻分类的背景下证明了这种现象。总之,$L_p$ boost的实现为从业者提供了额外的灵活性,可以调整boosting算法,从而在回归应用程序中实现更好的准确性。
2022-07-18 cs.LG stat.ML
A One-Class Classification Decision Tree Based on Kernel Density Estimation
University of Mons(蒙斯大学)
一类分类(OCC)是机器学习的一个领域,它解决了基于不平衡数据集的预测问题。基本上,OCC算法通过单个类样本实现训练,可能还有一些额外的反例。目前的OCC模型在性能方面令人满意,但越来越需要开发可解释的模型。在目前的工作中,我们提出了一个一类模型,解决了性能和可解释性的问题。我们的混合OCC方法依赖于密度估计作为基于树的学习算法的一部分,称为一类决策树(OC树)。在一个贪婪和递归的方法,我们的建议依赖于内核密度估计分裂的基础上的一个或几个感兴趣的区间的数据子集。因此,OC树将数据封装在可以由一组规则描述的感兴趣的超矩形内。相对于最先进的方法,如聚类支持向量数据描述(ClusterSVDD),单类支持向量机(OCSVM)和隔离森林(iForest),OC树在一系列基准数据集上表现良好。此外,我们提出了一个真正的医疗应用程序,OC树已经证明了它的有效性,通过处理基于不平衡数据集的可解释诊断辅助的能力。
2020-03-20 cs.LG stat.ML
Conditional Density Estimation with Histogram Trees
LIACS, Leiden University(莱顿大学LIACS学院)
提出CDTree,一种基于直方图叶节点的非参数决策树模型,利用MDL原则免调参,在提升CDE准确性与鲁棒性的同时生成更小且可解释的树。
2024-10-15 cs.LG
TREX: Tree-Ensemble Representer-Point Explanations
University of Oregon(俄勒冈大学)
我们如何识别对树集成预测贡献最大的训练样本?在本文中,我们介绍TREX,解释系统,提供实例属性的解释树集成,如随机森林和梯度提升树。TREX建立在先前为解释深度神经网络而开发的代表点框架之上。由于树系综是不可微的,我们定义了一个内核,捕捉特定的树系综的结构。通过在核逻辑回归或支持向量机中使用该核,TREX构建了一个近似原始树集成的代理模型。代理模型的核扩展中的权重用于定义每个训练样本的全局或局部重要性。实验结果表明,TREX的代理模型能准确地逼近树系集,其全局重要性权重在数据集调试中比现有的方法更有效,在移除和重新训练评估框架下,其解释能更好地识别最具影响力的样本,其运行速度比其他方法快几个数量级,并且具有更好的性能。并且其局部解释可以识别和解释由于域不匹配引起的错误。
2021-12-16 cs.LG stat.ML
Structural Optimization Makes Graph Classification Simpler and Better
State Key Lab of Software Development Environment(软件开发环境国家重点实验室);Beihang University(北京航空航天大学)
在深度神经网络中,通常可以通过增加先前开发的基本模型的复杂性来获得更好的结果。然而,目前还不清楚是否有一种方法可以通过降低这些模型的复杂性来提高性能。在这里,基于一种优化方法,我们研究了在简化模型学习过程的同时提高图分类性能的可行性。受结构信息评估进展的启发,我们将给定的数据样本从图优化为编码树。特别地,我们最小化变换后的编码树的结构熵来解码图的关键结构。这种转换被称为结构优化。此外,我们提出了一种新的功能组合方案,称为分层报告,编码树。在该方案中,通过遵循编码树的层次结构,将特征从叶节点转移到根结点。然后,我们提出了一个实施方案中的树内核和卷积网络进行图形分类。树内核遵循Weisfeiler-Lehman(WL)子树内核中的标签传播,但它具有较低的运行时复杂度$O(n)$。卷积网络是我们的树内核在深度学习领域的一种特殊实现,称为编码树学习(ETL)。我们用几个图分类基准测试对我们的树核和卷积网络进行了经验验证,并证明我们的方法比竞争方法具有更好的性能和更低的计算消耗。
2021-09-05 cs.AI cs.LG
An RKHS Perspective on Tree Ensembles
McGill University, Department of Mathematics and Statistics(麦吉尔大学数学与统计学系);Université Marie et Louis Pasteur, CNRS, LmB (UMR 6623)(玛丽·路易斯·帕斯特大学、法国国家科学研究中心、LmB(UMR 6623))
本文从RKHS视角分析树集成方法,揭示其理论性质和连续时间梯度提升的流形结构,提出增强可解释性的核主成分分析和GVI准则。
2025-11-29 cs.LG stat.ML
Learning Interpretable Characteristic Kernels via Decision Forests
Johns Hopkins University(约翰斯·霍普金斯大学);University of Delaware(特拉华大学)
本文提出 KMERF 方法,通过随机森林的叶节点邻近性诱导核,并证明其渐近特征性;实验表明该方法在高维双样本和独立性检验中优于现有核方法,同时具备可解释性,打破了性能与可解释性之间的权衡。
2024-10-11 cs.LG stat.ML
TransBoost: A Boosting-Tree Kernel Transfer Learning Algorithm for Improving Financial Inclusion
Google(谷歌)
移动技术和金融技术的繁荣,孕育并扩大了各类金融产品的覆盖范围,有利于倡导金融普惠。它具有减少金融不平等的重要社会效益。然而,新用户特征分布鲜明、信用记录有限,以及新入局公司在处理复杂数据、获取精准标签方面经验不足,在个人金融风险评估方面带来的技术挑战,阻碍了普惠金融的进一步推进。为了应对这些挑战,本文开发了一种新的迁移学习算法(即,TransBoost),它结合了基于树的模型和核方法的优点。该算法采用并行树结构和有效的权值更新机制,在理论上保证了算法的有效性,使其在处理具有高维特征和稀疏性的真实世界数据时,能够在$O(n)$时间复杂度上表现出色。我们在两个公共数据集和腾讯移动支付的一个独特的大规模数据集上进行了大量的实验。结果表明,该算法在预测精度和效率方面优于其他最先进的基准迁移学习算法,对数据稀疏性具有更强的鲁棒性,并提供了有意义的模型解释。此外,考虑到金融风险水平,TransBoost使金融服务提供商能够为最大数量的用户提供服务,包括那些否则将被其他算法排除在外的用户。也就是说,TransBoost改善了金融包容性。
2021-12-16 cs.LG q-fin.ST
Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces
Imperial College London(帝国理工学院);BASF SE(巴斯夫股份公司);Cooperative State University(合作州立大学)
树集成非常适合黑盒优化任务,如算法调优和神经架构搜索,因为它们在很少或没有手动调优的情况下实现了良好的预测性能,自然地处理离散特征空间,并且对训练数据中的离群值相对不敏感。使用树集成进行黑盒优化的两个众所周知的挑战是(i)有效地量化用于探索的模型不确定性和(ii)优化分段常数获取函数。为了同时解决这两点,我们建议使用内核解释的树集成作为一个高斯过程之前,获得模型方差估计,我们开发了一个兼容的优化配方的采集功能。后者进一步允许我们无缝地集成已知的约束,以通过考虑工程设置中的领域知识和对搜索空间对称性建模来提高抽样效率,例如,神经结构搜索中的层次关系。我们的框架执行以及国家的最先进的方法,无约束的黑盒优化连续/离散的功能,并优于竞争的方法相结合的混合变量特征空间和已知的输入约束的问题。
2022-12-31 cs.AI cs.LG math.OC
Tree-Structured Parzen Estimator Can Solve Black-Box Combinatorial Optimization More Efficiently
Preferred Networks Inc.(Preferred Networks公司)
针对树状Parzen估计器(TPE)在黑盒组合优化中应用不足的问题,提出通过泛化分类核与数值核引入距离结构并优化核计算复杂度的高效算法,实验证明其能以更少评估次数找到更优解。
2025-07-15 cs.AI cs.LG
The Weight Function in the Subtree Kernel is Decisive
Laboratoire Reproduction et Développement des Plantes(植物繁殖与发育实验室);Univ Lyon(里昂大学);ENS de Lyon(里昂高等师范学院);UCB Lyon 1(里昂第一大学);CNRS(法国国家科学研究中心);INRAE(法国国家农业、食品与环境研究院);Inria(法国国家信息与自动化研究所)
树数据是普遍存在的,因为它们对各种各样的情况进行建模,例如,植物的结构、RNA的二级结构或XML文件的层次结构。然而,分析这些非欧几里德数据本身是困难的。在本文中,我们专注于子树核,这是Vishwanathan和Smola在21世纪初引入的树数据的卷积核。更确切地说,我们从理论角度和实际数据应用中研究了权重函数的影响。我们建立了一个2类随机模型,当叶子的权重为零时,子树核的性能得到改善,这促使定义一个新的权重函数,从数据中学习,而不是像通常那样由用户固定。为此,我们定义了一个统一的框架,用于计算有序或无序树的子树内核,这是特别适合于调整参数。我们通过八个真实数据分类问题展示了我们方法的巨大效率,特别是对于小数据集,这也说明了权重函数的重要性。最后,一个可视化工具的显着特征。
2020-04-15 cs.LG stat.ML
Gaussian Process Bandits for Tree Search: Theory and Application to Planning in Discounted MDPs
University College London(伦敦大学学院)
我们激励和分析一个新的树搜索算法,GPTS,基于最近的理论进展,在使用高斯过程的强盗问题。我们认为树路径的武器,我们假设目标/奖励功能是从GP分布。在观察数据之后,后验均值和方差用于定义函数值的置信区间,并且我们顺序地使用最高置信上限进行游戏。我们给出了一个有效的实施GPTS和我们适应以前的遗憾界确定的核矩阵的特征值的衰减率在整个树路径。我们考虑由树的节点索引的二进制向量的特征空间中的两个内核:线性和高斯。遗憾以迭代次数T的平方根增长,直到对数因子,具有随着更大的高斯核宽度而改善的常数。我们关注T的实际值,小于臂数。最后,我们将GPTS应用于折扣马尔可夫决策过程中的开环规划,通过将奖励建模为独立高斯过程的折扣和。我们报告类似的遗憾界限的OLOP算法。
2011-01-15 cs.AI cs.LG
Heat and Matérn Kernels on Matchings
Higher School of Economics(俄罗斯经济高等学院);University Grenoble Alpes(格勒诺布尔阿尔卑斯大学);University of Edinburgh(爱丁堡大学)
本文提出了一种构建尊重匹配空间自然几何的几何核的方法,通过热核和Matérn核家族实现非欧几里得空间的核方法,并引入高效算法解决计算成本问题,同时探索其在树空间中的应用。
2026-04-15 cs.LG stat.ML
Hidden Tree Markov Networks: Deep and Wide Learning for Structured Data
Università di Pisa(比萨大学)
本文介绍了隐树马尔可夫网络(HTN),神经概率混合融合的生成模型的表示能力与神经网络的增量和判别式学习能力的树木。我们提出了一种模块化架构,在该架构中,训练复杂度有限的多个生成模型来学习结构特征检测器,然后在稍后阶段将其输出组合并由神经层集成。在这方面,由于生成模型在输入结构上的展开,该模型既很深,又很宽,因为可以并行训练的生成模块可能很多。实验结果表明,该方法可以优于最先进的语法内核,以及生成内核建立在相同的概率模型的HTN。
2017-11-21 cs.AI cs.LG cs.NE