A Fast Sampling Gradient Tree Boosting Framework
梯度树提升作为一种自适应、可解释、鲁棒且精确的元算法，是最流行的机器学习技术之一，但其计算开销严重限制了其应用。随机梯度提升可以通过均匀采样训练样本来加速梯度提升，但其估计量会引入较大的方差。这种情况促使我们优化梯度树提升。我们将梯度树提升与重要性采样相结合，通过减少随机方差来实现更好的性能。此外，我们使用一个正则化，以改善对角近似的牛顿步骤的梯度提升。理论分析表明，我们的策略实现了线性收敛速度的物流损失。实验结果表明，我们的算法在两种不同的梯度提升算法（LogitBoost和LambdaMART）上实现了2.5倍-18倍的加速，而没有明显的性能损失。
2019-11-20 cs.LG stat.ML
Fast Estimation of Partial Dependence Functions using Trees
University of Copenhagen（哥本哈根大学）；University of Bremen（不来梅大学）；Leibniz Institute for Prevention Research and Epidemiology - BIPS（莱布尼茨预防研究与流行病学研究所 - BIPS）
本文提出基于树的FastPD估计器，可一致且高效地估计任意部分依赖函数，并将计算复杂度从二次降为线性，用于提取SHAP、PD图及高阶交互效应等解释。
2025-06-04 cs.LG stat.ML
Very fast Bayesian Additive Regression Trees on GPU
unifi（乌尼维斯大学）；Department of Statistics, Computer Science, Applications ``Giuseppe Parenti'' (DISIA)（统计与计算机科学应用系（DISIA））
针对BART运行慢的问题，提出GPU加速实现，速度提升高达200倍，与XGBoost竞争，并开源在bartz包中。
2026-11-10 cs.LG stat.ML
Fast Unbalanced Optimal Transport on a Tree
Kyoto University（京都大学）；RIKEN AIP（理化学研究所人工智能研究中心）
本文首次从算法的角度研究了非平衡最优运输问题的时间复杂度。我们揭示了不平衡的最优运输的问题可以/不能有效地解决。具体地说，我们证明了Kantorovich Rubinstein距离和最佳部分运输的欧氏度量不能计算在强次二次时间下的强指数时间假设。然后，我们提出了一个算法，解决了一个更一般的不平衡的最优运输问题，正是在准线性时间的树度量。该算法在不到一秒的时间内处理了一棵拥有一百万个节点的树。我们的分析形成了不平衡的最优传输算法的理论研究的基础，并打开了大门的不平衡的最优传输到百万级数据集的应用。
2021-01-08 cs.LG stat.ML
Fast Calculation of Feature Contributions in Boosting Trees
Department of Epidemiology & Biostatistics University of California Irvine（流行病学与生物统计学系 加州大学伊文斯顿分校）
针对树模型中特征贡献的全局评估需求，提出Q-SHAP算法，将二次损失下Shapley值计算复杂度降至多项式时间，并提升特征特定R²估计的准确性与效率。
2025-05-26 cs.LG stat.ML
Gradient boosting machine with partially randomized decision trees
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
梯度提升机是一种用于解决回归问题的强大的基于集成的机器学习方法。然而，其使用的困难之一是回归函数可能出现不连续性，这是当训练数据区域没有被训练点密集覆盖时出现的。为了克服这一困难，并降低计算复杂性的梯度提升机，我们建议应用部分随机树，可以被视为一个特殊情况下的极端随机树应用于梯度提升。部分随机树的梯度提升机说明了许多数值例子，使用合成和真实的数据。
2020-06-19 cs.LG stat.ML
Fast Computation of Subpath Kernel for Trees
Graduate School of Information Science and Technology, The University of Tokyo（东京大学信息科学与技术研究生院）
核方法是分析结构化数据（如序列、树和图）的一种潜在方法，然而，无序树尚未得到广泛研究。Kimura et al.（2011）提出了一种基于子路径的无序树的核函数，子路径是树的垂直子结构，负责其中的层次信息。他们的内核在精度和速度方面表现出实际上很好的性能;然而，线性时间计算在理论上不能保证，不像Vishwanathan和Smola（2003）提出的其他无序树内核。在本文中，我们提出了一个理论上保证线性时间内核计算算法，实际上是快速的，我们提出了一个有效的预测算法，其运行时间只取决于输入树的大小。实验结果表明，本文提出的算法在实际应用中是非常有效的.
2012-06-18 cs.DS cs.LG stat.ML
qshap: Fast Shapley Decomposition of $R^2$ for Gradient-Boosted Trees
University of California Irvine（加州大学欧文分校）
qshap是支持R与Python的工具，可对GBDT进行R²的夏普利分解，适配xgboost等主流GBDT实现，还为遗忘树提供专用后端以加速计算，用于量化特征对模型性能的贡献。
2026-08-26 cs.LG stat.ML
Fast Label Embeddings for Extremely Large Output Spaces
Microsoft Cloud Information Services Lab（微软云信息服务实验室）
许多现代多类和多标签问题的特点是越来越大的输出空间。对于这些问题，标签嵌入已被证明是一个有用的原语，可以提高计算和统计效率。在这项工作中，我们利用秩约束估计和低维标签嵌入之间的对应关系，揭示了一个快速的标签嵌入算法，该算法适用于多类和多标签设置。其结果是偏最小二乘的随机算法，其运行时间比朴素算法快。我们展示了我们的技术在两个大规模的公共数据集，从大规模层次文本挑战和开放目录项目，在那里我们获得了最先进的结果。
2015-03-30 cs.LG
Additive Tree-Structured Conditional Parameter Spaces in Bayesian Optimization: A Novel Covariance Function and a Fast Implementation
KU Leuven（鲁汶大学）
贝叶斯优化（BO）是一种样本有效的全局优化算法的黑箱函数，这是昂贵的评估。现有的文献中基于模型的优化在条件参数空间通常是建立在树。本文将可加性假设推广到树结构函数，提出了可加性树结构协方差函数，提高了样本效率，具有更广泛的适用性和更大的灵活性。此外，通过结合参数空间的结构信息和BO循环中的可加性假设，我们开发了一种并行算法来优化采集函数，这种优化可以在低维空间中进行。我们展示了我们的方法上的优化基准函数，神经网络压缩问题，修剪预训练的VGG16和ResNet50模型，以及搜索激活函数的ResNet20。实验结果表明，我们的方法在条件参数优化方面明显优于现有技术，包括SMAC，TPE和Jenatton等人（2017）。
2020-10-06 cs.LG stat.ML
SketchBoost: Fast Gradient Boosted Decision Tree for Multioutput Problems
Sber AI Lab（俄罗斯联邦储蓄银行人工智能实验室）；HSE University（俄罗斯国立高等经济大学）
梯度提升决策树（GBDT）是一种广泛使用的机器学习算法，已被证明可以在许多标准数据科学问题上实现最先进的结果。我们感兴趣的是它的应用程序的多输出问题时，输出是高度多维的。虽然有非常有效的GBDT实现，他们的可扩展性，这样的问题仍然是不令人满意的。在本文中，我们提出了新的方法，旨在加快训练过程中的GBDT在多输出的情况下。这些方法背后的思想在于用于找到决策树的最佳分裂的评分函数的近似计算。这些方法在SketchBoost中实现，SketchBoost本身集成到我们基于Python的易于定制的GBDT GPU实现中，称为Py-Boost。我们的数值研究表明，SketchBoost将GBDT的训练过程加快了40倍以上，同时实现了相当甚至更好的性能。
2022-11-23 cs.LG stat.ML
Learning Optimal Solutions for Extremely Fast AC Optimal Power Flow
National Renewable Energy Laboratory（国家可再生能源实验室）；University of Colorado Boulder（科罗拉多大学博尔德分校）
在本文中，我们开发了一种在线方法，该方法利用机器学习来获得AC最优潮流（OPF）问题的可行解，在极快的时间尺度上具有可忽略的最优性间隙（例如，毫秒），完全绕过求解AC OPF。这是由以下事实推动的：随着电网经历越来越多的可再生发电量、可控负载和其他逆变器接口设备，可能发生更快的系统动态和更快的电力供应波动。目前，电网运营商通常每15分钟求解一次AC OPF，以确定经济的发电机设置，同时确保满足电网约束。由于解决这个非凸问题的计算挑战，许多努力都集中在线性化或近似的问题，以解决更快的时间尺度上的AC OPF。然而，这些近似中的许多可能是实际系统状态的相当差的表示，并且仍然需要解决优化问题，这对于大型网络来说可能是耗时的。在这项工作中，我们利用历史数据来学习系统负载和最佳发电值之间的映射，使我们能够在非常快的时间尺度上找到接近最佳和可行的AC OPF解决方案，而无需实际解决优化问题。
2019-09-27 cs.LG cs.SY eess.SP
MeanShift++: Extremely Fast Mode-Seeking With Applications to Segmentation and Object Tracking
Waymo；Google Research（谷歌研究院）
MeanShift是一种流行的模式搜索聚类算法，广泛应用于机器学习。然而，众所周知，它非常慢，每次迭代的运行时间是二次的。我们提出了MeanShift++，这是一种基于MeanShift的非常快速的模式搜索算法，它使用基于网格的方法来加速均值偏移步骤，用相邻网格单元的密度加权平均值代替计算昂贵的邻居搜索。此外，我们表明，这种基于网格的密度估计技术具有理论保证。运行时在点数上是线性的，在维度上是指数的，这使得MeanShift++非常适合低维应用，如图像分割和对象跟踪。我们提供了大量的实验分析，表明MeanShift++可以比MeanShift快10，000倍以上，在基准数据集上具有竞争力的聚类结果，并且图像分割与MeanShift几乎相同。最后，我们展示了有前途的结果对象跟踪。
2021-04-01 cs.CV cs.LG
A Novel Hyperparameter-free Approach to Decision Tree Construction that Avoids Overfitting by Design
IMDEA Networks Institute（IMDEA网络研究所）
决策树是一种非常流行的机器学习技术。不幸的是，过拟合在决策树仍然是一个开放的问题，有时会阻止实现良好的性能。在这项工作中，我们提出了一种新的方法来构建决策树，避免过度拟合的设计，而不会失去准确性。我们的算法的一个显着特点是，它既不需要优化任何超参数，也不使用正则化技术，从而显着减少了决策树的训练时间。此外，我们的算法产生更小，更浅的树比传统算法，促进所产生的模型的可解释性。
2019-06-04 cs.AI cs.LG stat.ML
Fast Linear Model Trees by PILOT
Maastricht University（马斯特里赫特大学）；University of Leuven（鲁汶大学）；University of Antwerp（安特卫普大学）
针对现有线性模型树耗时高、易过拟合的问题，提出快速正则化的PILOT算法，采用贪心训练结合$L^2$提升与模型选择，性能优于同类方法且具备理论一致性保证。
2023-02-08 cs.LG stat.ME stat.ML
FastBDT: A speed-optimized and cache-friendly implementation of stochastic gradient-boosted decision trees for multivariate classification
Karlsruher Institut für Technologie（卡尔斯鲁厄理工学院）
随机梯度提升决策树被广泛用于多变量分类和回归任务。本文提出了一种速度优化和缓存友好的多变量分类实现称为FastBDT。与TMVA、scikit-learn和XGBoost等软件框架中的流行实现相比，FastBDT在适配阶段和应用阶段快了一个数量级。本文详细讨论了用于优化执行时间和性能研究的概念。主要想法包括：对输入数据的等频率合并，允许用整数运算取代昂贵的浮点运算，同时提高分类的质量;对输入数据的高速缓存友好的线性访问模式，与通常的实现相反，通常的实现表现出随机访问模式。FastBDT提供C/C++、Python和TMVA的接口。它被Belle II实验广泛应用于高能物理领域。
2016-09-20 cs.LG
New pointwise convolution in Deep Neural Networks through Extremely Fast and Non Parametric Transforms
KyungHee University（庆熙大学）
一些传统的变换如离散沃尔什-哈达玛变换（DWHT）和离散余弦变换（DCT）在图像处理中被广泛用作特征提取器，但在神经网络中的应用却很少。然而，我们发现这些传统的变换有能力捕获跨信道相关性，而无需DNN中的任何可学习参数。本文首先提出将传统的变换应用于逐点卷积，表明这种变换显着降低了神经网络的计算复杂性，而不降低精度性能。特别是对于DWHT，它不需要浮点乘法，而只需要加法和减法，这可以大大减少计算开销。此外，它的快速算法进一步降低了从$\mathcal{O}(n^2)$到$\mathcal{O}(n\log n)$的浮点加法的复杂度。这些良好的属性在参数和操作的数量上构建了非常有效的网络，享受精度增益。在CIFAR 100数据集上，与其基线模型（MoblieNet-V1）相比，我们提出的基于DWHT的模型获得了1.49%的准确性提高，参数减少了79.1%，FLOPs减少了48.4%。
2019-06-25 cs.CV cs.LG
Simple is better: Making Decision Trees faster using random sampling
AI Labs, American Express（美国运通AI实验室）
近年来，梯度提升的决策树在大数据上构建鲁棒的机器学习模型中变得流行。使这些算法成功的主要技术是在构建决策树的同时分布计算。分布式决策树的构建，反过来，已经通过构建大数据集的分位数和从这些分位数集中选择候选分裂点来实现。例如，在XGBoost中，采用复杂的分位数构建算法来识别决策树的候选分裂点。当计算是分布式的时，这种方法通常会产生更好的结果。在本文中，我们消除的概念，这些方法提供了更准确和可扩展的方法，以分布式的方式建立决策树。在一个显着的贡献，我们从理论上和经验表明，随机选择均匀的分裂点提供了相同的，甚至更好的性能方面的准确性和计算效率。因此，与更复杂的方法相比，点的简单随机选择足以用于决策树构建。
2021-08-19 cs.LG
Provably Fast and Accurate Recovery of Evolutionary Trees through Harmonic Greedy Triplets
我们给出了一个贪婪的学习算法重建进化树的基础上，一定的调和平均的三元组的终端类群。在从序列数据估计终端分类群之间的成对距离之后，该算法在O（n）工作空间中在O（n^2）时间内运行，其中n是终端分类群的数量。这些时间和空间复杂度是最优的，因为输入距离矩阵的大小为n^2，输出树的大小为n。在Jukes-Cantor进化模型中，该算法利用（1）n中长度多项式的样本序列，（2）错误概率的对数，（3）两个小参数的逆，以高概率恢复正确的树拓扑.
2000-11-23 cs.DS cs.LG
Fast Non-Parametric Bayesian Inference on Infinite Trees
注射了。从未知分布的数据，我们考虑预测未来项目的问题。估计概率密度的自适应方法是递归地将域细分为适当的数据相关粒度。贝叶斯将为“细分”分配一个与数据无关的先验概率，这将导致在无限（许多）树上的先验。我们推导出一个精确的，快速的，简单的推理算法，这样的先验，数据证据，预测分布，有效的模型维数，和其他数量。
2004-11-23 cs.LG math.PR math.ST
Extremely Fast and Compact Binary Graph Representations via Randomized Operator Sketching
本文提出一种基于随机化算子草图的超快代数哈希方法，直接从图结构生成紧凑二进制节点表示，无需特征或训练，在十个数据集上优于现有无特征基线且生成速度亚秒级，并兼容神经形态计算。
2026-09-29 cs.LG
Towards Extremely Fast Bilevel Optimization with Self-governed Convergence Guarantees
National Center for Applied Mathematics Shenzhen（深圳国家应用数学中心）
梯度法已成为学习和视觉领域中双层优化（BLO）的主流技术。现有工作的有效性在很大程度上依赖于以极高的精度求解一系列逼近子问题。不幸的是，为了达到近似精度，需要执行大量的耗时的迭代和计算负担，自然造成的。因此，本文致力于解决这个关键的计算问题。特别是，我们提出了一个单一的水平制定统一理解现有的显式和隐式的基于一致性的BLO（GBLO）。这与我们设计的反例一起可以清楚地说明GBLO及其朴素加速度的基本数值和理论问题。通过引入对偶乘子作为一个新的变量，我们建立了一个通用的框架，即具有对偶校正的双层交替梯度（BAGDC），它通过采取特定的设置来显著地加速不同类别的现有方法。我们的收敛结果的一个显着特点是，相比那些原始的未加速的GBLO版本，快速BAGDC承认一个统一的非渐近收敛理论的平稳性。各种数值实验也进行了证明所提出的算法框架的优越性。
2022-05-20 cs.LG math.OC
Fast Optimization of Weighted Sparse Decision Trees for use in Optimal Treatment Regimes and Optimal Policy Design
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）
稀疏决策树是可解释模型的最常见形式之一。虽然最近的进展已经产生了完全优化稀疏决策树进行预测的算法，但这项工作并没有解决策略设计，因为算法不能处理加权数据样本。具体来说，它们依赖于损失函数的离散性，这意味着不能直接使用实值权重。例如，现有技术中没有一种产生在各个数据点上结合逆倾向加权的策略。我们提出了三种有效的稀疏加权决策树优化算法。第一种方法直接优化加权损失函数;然而，对于大型数据集，它往往在计算上效率低下。我们的第二种方法，更有效地扩展，将权重转换为整数值，并使用数据复制将加权决策树优化问题转换为未加权（但更大）的对应问题。我们的第三个算法可以扩展到更大的数据集，它使用一个随机过程，以与其权重成比例的概率对每个数据点进行采样。我们提出了两种快速方法的误差的理论界限，并通过实验表明，这些方法可以比加权损失的直接优化快两个数量级，而不会损失显着的准确性。
2022-10-25 cs.AI cs.LG
Fast Supervised Hashing with Decision Trees for High-Dimensional Data
The University of Adelaide（阿德莱德大学）
监督哈希旨在将原始特征映射到能够在汉明空间中保持基于标签的相似性的紧凑二进制代码。非线性散列函数由于其强大的泛化能力而表现出优于线性散列函数的优势。在文献中，核函数通常用于实现散列中的非线性，其以缓慢的评估和训练时间为代价实现令人鼓舞的检索性能。在这里，我们提出使用提升决策树实现哈希的非线性，这是快速的训练和评估，因此更适合于与高维数据的哈希。在我们的方法中，我们首先提出了子模块化的哈希二进制代码推理问题的配方和一个有效的基于GraphCut的块搜索方法来解决大规模的推理。然后，我们通过训练提升的决策树来学习哈希函数，以适应二进制代码。实验表明，我们提出的方法显着优于大多数国家的最先进的方法在检索精度和训练时间。特别是对于高维数据，我们的方法在训练时间方面比许多方法快了几个数量级。
2014-05-28 cs.CV cs.LG
Exploiting Fast Decaying and Locality in Multi-Agent MDP with Tree Dependence Structure
Harvard University（哈佛大学）
本文考虑一个多智能体马尔可夫决策过程（MDP），其中有$n$智能体，每个智能体$i$与一个状态$s_i$和动作$a_i$相关联.虽然在$n$的全局状态空间大小和动作空间大小是指数，我们施加本地依赖结构，并专注于本地政策，只依赖于本地状态，我们提出了一种方法，发现在多项式时间（在$n$）的依赖结构是一个单向树时，接近最优的本地政策。该算法建立在近似的报酬函数，使用局部截断马尔可夫过程进行评估。在某些特殊条件下，证明了近似报酬函数与真实报酬函数之间的差距随着截断马尔可夫过程长度的增加而指数衰减.这背后的直觉是，在某些假设下，代理交互的影响在代理之间的距离上呈指数衰减，我们称之为“快速衰减属性”。
2019-09-15 cs.LG math.OC
Fast Tree-Field Integrators: From Low Displacement Rank to Topological Transformers
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；Google Research（谷歌研究院）；Google DeepMind（谷歌DeepMind）；Columbia University（哥伦比亚大学）
本文利用低位移秩结构化矩阵理论提出快速树场积分器 FTFI，可精确加速加权树上的张量场积分，并支撑图度量、图分类、网格建模及带新型 RPE 掩码的 Topological Transformers。
2024-12-06 cs.AI cs.LG
Fast Sparse Decision Tree Optimization via Reference Ensembles
University of British Columbia（不列颠哥伦比亚大学）；Duke University（杜克大学）；University of California, San Diego（加利福尼亚大学圣迭戈分校）
稀疏决策树优化自诞生以来一直是人工智能中最基本的问题之一，也是可解释机器学习的核心挑战。稀疏决策树优化在计算上是困难的，并且尽管自20世纪60年代以来一直在努力，但仅在过去几年中才在该问题上取得突破，主要是在寻找最佳稀疏决策树的问题上。然而，当前最先进的算法通常需要不切实际的计算时间和内存量来为一些真实世界的数据集找到最优或接近最优的树，特别是那些具有多个连续值特征的数据集。考虑到这些决策树优化问题的搜索空间是巨大的，我们实际上能希望找到一棵稀疏的决策树，在准确性上与黑盒机器学习模型竞争吗？我们解决这个问题，通过智能猜测策略，可以适用于任何最佳的分支和边界为基础的决策树算法。我们表明，通过使用这些猜测，我们可以减少多个数量级的运行时间，同时提供边界上产生的树可以偏离黑盒的准确性和表达能力。我们的方法使猜测如何箱连续的功能，树的大小，以及最佳决策树的错误的下限。我们的实验表明，在许多情况下，我们可以快速构建稀疏的决策树匹配的黑盒模型的准确性。总结一下：当你在优化时遇到困难，就猜猜看。
2022-07-06 cs.AI cs.LG
WarpDrive: Extremely Fast End-to-End Deep Multi-Agent Reinforcement Learning on a GPU
Salesforce Research（Salesforce研究院）
深度强化学习（RL）是一种在复杂环境中训练决策模型的强大框架。然而，RL可能很慢，因为它需要与环境模拟进行重复交互。特别是，当在复杂的环境中使用RL时，存在关键的系统工程瓶颈，这些环境具有高维状态，观察或动作空间的多个代理。WarpDrive是一个灵活，轻量级，易于使用的开源RL框架，它在单个GPU（图形处理单元）上实现了端到端的深度多代理RL，构建在PyCUDA和PyTorch上。与混合CPU模拟和GPU模型的常见实现相比，WarpDrive使用GPU的极端并行化能力实现了数量级更快的RL。我们的设计运行模拟和代理在每个模拟并行。它消除了CPU和GPU之间的数据复制。它还使用GPU上的单个模拟数据存储，可以安全地就地更新。WarpDrive提供了一个轻量级的Python接口和灵活的环境包装器，易于使用和扩展。总之，这使得用户可以轻松地运行数千个并发的多智能体模拟和训练的经验非常大的批次。通过大量的实验，我们验证了WarpDrive提供高吞吐量和几乎线性扩展到许多代理和并行环境。例如，WarpDrive在一个基准Tag模拟中，在2000个环境和1000个代理的情况下，每秒产生290万个环境步数（与CPU实现相比，吞吐量至少高出100倍）。因此，WarpDrive是一个快速且可扩展的多代理RL平台，可以显着加速研究和开发。
2021-10-08 cs.LG cs.MA
