CO2 Forest: Improved Random Forest by Continuous Optimization of Oblique Splits
University of Toronto(多伦多大学);Microsoft Research(微软研究院)
提出了一种新的算法,用于优化多变量线性阈值函数作为决策树的分裂函数,以创建改进的随机森林分类器。标准的树归纳方法采用抽样和穷举搜索来找到好的单变量分裂函数。相比之下,我们的方法在每个节点上计算特征的线性组合,并通过采用潜变量SVM公式的变体来优化线性组合(斜)分裂函数的参数。我们开发了一个一级决策树的分类损失的凹凸上界,并在树的每个内部节点的随机梯度下降优化边界。创建了多达1000个连续优化的倾斜(CO2)决策树的森林,其性能显著优于使用单变量分裂和先前用于构建倾斜树的技术的随机森林。实验结果报告多类分类基准和野生(LFW)数据集上的标签脸。
2015-06-24 cs.CV cs.LG
ForestPrune: Compact Depth-Controlled Tree Ensembles
MIT(麻省理工学院);MIT Sloan School of Management(麻省理工学院斯隆管理学院)
ForestPrune通过优化剪除树集成中单棵树的深度层来压缩模型,其专用算法可在中等规模数据上几秒内得到高质量解,生成的简约模型性能优于现有后处理方法。
2023-05-24 cs.LG stat.ML
Bayesian learning of forest and tree graphical models
University of Bristol(布里斯托大学)
在高斯图模型结构的贝叶斯学习中,通常将注意力限制在某些类别的图上,并通过使用MCMC或诸如随机鸟枪搜索(SSS)的方法重复地从一个图移动到另一个图来近似后验分布。我给两个校正版本的算法不可分解的图形和讨论随机图形分布,特别是作为先验分布。本论文的主要研究课题是贝叶斯森林结构学习。限制对这些图的关注可以使用随机图上的定理来证明。我描述了如何使用Chow $\unicode{x2013}$ Liu算法和矩阵树定理来找到树上的MAP森林和后验分布中的某些量。我给适应版本的MCMC和SSS近似的后验分布的森林和树木,和系统存储这些图,以便很容易选择移动到相邻的图形。实验表明,当真实图是树或稀疏图时,带有树的SSS表现良好。在某些情况下,树或森林的SSS比可分解图的SSS更好。图先验改进了枢纽的检测,但需要大范围的概率。森林上的MCMC不能很好地混合,树木上的MCMC比SSS慢。(For更长的摘要见论文。)
2021-08-31 cs.LG stat.ML
Learning Representations for Axis-Aligned Decision Forests through Input Perturbation
Google Research(谷歌研究院)
轴对齐决策森林一直是用于表格数据建模的机器学习算法的领先类别。在机器学习的许多应用中,如学习排名,决策森林提供了显着的性能。它们还具有其他令人垂涎的特性,如可解释性。尽管它们的广泛使用和丰富的历史,决策森林迄今未能消费原始结构化数据(如文本),或为其学习有效的表示,这是近年来深度神经网络成功背后的一个因素。虽然存在构建平滑决策森林以实现表示学习的方法,但所产生的模型只是名义上的决策森林:它们不再是轴对齐的,使用随机决策,或者不可解释。此外,现有的方法都不适合需要迁移学习处理的问题。在这项工作中,我们提出了一个新颖但直观的建议,以实现决策森林的表示学习,而不施加新的限制或需要结构变化。我们的模型只是一个决策森林,可能使用任何森林学习算法进行训练,位于深度神经网络之上。通过输入扰动(一种纯粹的分析过程)来近似决策森林的梯度,决策森林指导神经网络学习或微调表示。我们的框架具有适用于任何任意决策森林的优势,并且允许使用任意深度神经网络进行表示学习。我们证明了我们的建议的可行性和有效性,通过实验合成和基准分类数据集。
2020-09-21 cs.LG stat.ML
Isolation forests: looking beyond tree depth
孤立森林算法的离群值检测利用了一个简单而有效的观察:如果采取一些多元数据,并在整个特征空间递归地均匀随机切割,它将采取更少的随机切割离群值被单独留在一个给定的子空间相比,定期观察。最初的想法提出了基于隔离所需的树深度(随机切割的数量)的离群值得分,但这里的实验表明,使用有关所取特征空间大小和分配给它的点数的信息可以在许多情况下改善结果,而无需对树结构进行任何修改,特别是在存在分类特征的情况下。
2021-11-23 cs.LG stat.ML
Alpha-Trimming: Locally Adaptive Tree Pruning for Random Forests
University of British Columbia(不列颠哥伦比亚大学);Simon Fraser University(西蒙菲莎大学)
针对随机森林中树需完全生长的传统认知局限,提出alpha-trimming快速自适应剪枝算法,可在不重拟合树的下调参,在46个数据集基准测试中有效降低均方预测误差且无大幅上升。
2024-08-13 cs.LG stat.CO stat.ML
Can a Single Tree Outperform an Entire Forest?
University of British Columbia(不列颠哥伦比亚大学)
本研究通过梯度基整树优化框架(含缩放Sigmoid近似、精度递增近似算法及子树打磨策略)提升斜向回归树准确率,使其在16个数据集上平均优于经典随机森林2.03%,挑战单树性能不及森林的普遍观点。
2024-11-26 cs.AI cs.LG stat.ML
Identification of Tree Species in Japanese Forests based on Aerial Photography and Deep Learning
Research Centre on Interactive Media, Smart Systems and Emerging Technologies (RISE)(互动媒体、智能系统与新兴技术研究中心);University of Twente(特温特大学);Leibniz University Hannover(莱布尼茨汉诺威大学)
天然林是一个复杂的生态系统,其树种分布及其生态系统功能至今仍不清楚。这些森林的可持续管理非常重要,因为它们在气候调节、生物多样性、土壤侵蚀和灾害预防以及它们提供的许多其他生态系统服务方面发挥着重要作用。特别是在日本,天然林主要位于陡峭的山区,因此结合使用航空图像和计算机视觉是可以应用于森林研究的重要现代工具。因此,本研究构成了这一领域的初步研究,旨在使用无人机图像和深度学习对两种不同的混交林类型(黑松-刺槐和落叶松-栎)中的树种进行分类。结果表明,该方法对刺槐的识别率为62.6%,对落叶松的识别率为37.4%,TN为98.1%;
2020-07-17 cs.CV cs.LG eess.IV
Trees and Forests in Nuclear Physics
Features Analytics(特征分析公司);University of York(约克大学)
我们提出了一个简单的介绍决策树算法使用核物理的一些例子。我们展示了如何提高经典的液滴核质量模型的准确性,通过执行特征工程与决策树。最后,我们将该方法应用于Duflo-Zuker模型,表明尽管它们很简单,决策树能够使用有限数量的自由参数来改善对核质量的描述。
2020-05-07 cs.LG nucl-ex nucl-th
Oblique and rotation double random forest
Indian Institute of Technology Indore(印度理工学院印多尔分校);Nanyang Technological University(南洋理工大学);Qatar University(卡塔尔大学);VŠB - Technical University of Ostrava(俄斯特拉发技术大学)
随机森林是一种基于装袋和随机子空间概念的决策树集成。正如Breiman所建议的,不稳定学习者的力量和他们之间的多样性是集成模型的核心力量。在本文中,我们提出了两种方法,称为倾斜和旋转双随机森林。在第一种方法中,我们提出了基于旋转的双随机森林。在基于旋转的双随机森林中,在每个节点处生成特征空间的变换或旋转。在每个节点处选择不同的随机特征子空间进行评估,因此每个节点处的变换是不同的。不同的转换导致基础学习器之间更好的多样性,因此,更好的泛化性能。以双随机森林为基学习器,对每个节点上的数据分别进行主成分分析和线性判别分析。在第二种方法中,我们提出了斜双随机森林。随机森林和双随机森林中的决策树是单变量的,这导致产生轴平行分裂,无法捕获数据的几何结构。此外,标准随机森林可能无法生长足够大的决策树,从而导致次优性能。为了捕捉几何属性和增长的决策树足够的深度,我们提出了斜双随机森林。斜双随机森林模型是多元决策树。在每个非叶节点处,多表面邻近支持向量机生成最优平面,以获得更好的泛化性能。针对斜双随机森林决策树的小样本问题,采用了不同的正则化技术。
2022-08-09 cs.AI cs.LG
Attention augmented differentiable forest for tabular data
Xiamen University(厦门大学);Department of Electronic Science(电子科学系)
可微森林是一组具有完全可微性的决策树的集合。其简单的树结构易于使用和解释。在完全可微的情况下,它将在端到端的学习框架中使用基于梯度的优化方法进行训练。本文在可微森林的框架下提出了树的注意块(TAB)。TAB块有两种操作,挤压和调节。挤压操作将提取每棵树的特征。调节操作将学习这些树之间的非线性关系。因此,TAB块将学习每棵树的重要性,并调整其权重,以提高准确性。我们在大型表格数据集上的实验表明,注意力增强可微森林将获得与梯度提升决策树(GBDT)相当的准确性,这是最先进的表格数据集算法。在某些数据集上,我们的模型比最好的GBDT库(LightGBM,Catboost和XGBoost)具有更高的准确性。可微森林模型支持批量训练,批量大小远小于训练集的大小。因此,在较大的数据集上,它的内存使用率比GBDT模型低得多。源代码可在www.example.com上获得。
2020-10-02 cs.LG stat.ML
Regression Trees and Random forest based feature selection for malaria risk exposure prediction
Université d’Abomey-Calavi(阿波美卡拉维大学);Université Paris 1 Panthéon Sorbonne(巴黎第一大学(先贤祠-索邦大学))
本文讨论了利用环境和气候变量预测疟疾风险的主要媒介按蚊数量。变量的选择是基于一个自动的机器学习方法,使用回归树,随机森林结合分层两级交叉验证。使用变量重要性的二次距离来访问变量重要性的最小阈值,同时使用所选变量的最优子集来执行预测。最后,结果显示,在选择,预测和CPU时间的观点比GLM-Lasso方法得到的定性更好。
2016-06-24 cs.LG stat.ML
Distilling interpretable causal trees from causal forests
POLIS: The Centre for Social Policy and Research(POLIS:社会政策与研究中心);Australian National University(澳大利亚国立大学)
本文提出 Distilled Causal Tree,从因果森林蒸馏单棵可解释因果树,在噪声或高维相关特征场景下多数模拟优于原因果森林,并保持双重稳健与渐近正态。
2024-08-02 cs.LG econ.EM
GrCAN: Gradient Boost Convolutional Autoencoder with Neural Decision Forest
University of New South Wales(新南威尔士大学)
随机森林和深度神经网络是机器学习中两大有效的分类方法流派。虽然随机森林是鲁棒的,与数据域无关,但深度神经网络在处理高维数据方面具有优势。考虑到可以在神经网络中添加可微神经决策森林以充分利用两种模型的优点,在我们的工作中,我们进一步将卷积自动编码器与神经决策森林结合起来,其中自动编码器在寻找输入数据的隐藏表示方面具有优势。我们开发了一个梯度提升模块,并将其嵌入到建议的卷积自动编码器与神经决策森林,以提高性能。梯度增强的思想是学习并在预测中使用残差。此外,我们设计了一种结构来学习神经决策森林和梯度增强模块的参数。在多个公共数据集上的实验表明,与一系列基准方法相比,该模型具有良好的效率和预测性能。
2018-06-24 cs.LG stat.ML
Exploiting random projections and sparsity with random forests and gradient boosting methods -- Application to multi-label and multi-output learning, random forest model compression and leveraging input sparsity
University of Liège(列日大学);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学);Katholieke Universiteit Leuven(鲁汶天主教大学)
在机器学习中,监督学习领域的目标是根据过去对其行为的观察来建模系统的输入-输出关系。决策树通过一系列嵌套的$if-then-else$问题(测试节点)来表征输入-输出关系,这些问题导致一组预测(叶节点)。几个这样的树通常被组合在一起以获得最先进的性能:随机森林集成对并行独立训练的随机化决策树的预测进行平均,而树提升集成训练决策树顺序地改进先前的预测。新应用的出现需要可扩展的监督学习算法在计算能力和内存空间方面的输入,输出和观察的数量,而不牺牲准确性。在这篇论文中,我们确定了决策树方法可以改进的三个主要领域,我们提供并评估了原始的算法解决方案:(i)在高维输出空间上学习,(ii)在预测时使用大样本数据集和严格的内存约束进行学习,以及(iii)在高维稀疏输入空间上学习。
2017-04-26 cs.LG stat.ML
Interpreting Tree Ensembles with inTrees
树集成,如随机森林和提升树是准确的,但难以理解,调试和部署。在这项工作中,我们提供了inTrees(可解释树)框架,该框架从树集合中提取,测量,修剪和选择规则,并计算频繁的变量交互。一个基于规则的学习器,称为简化的树集成学习器(STEL),也可以形成和用于未来的预测。inTrees框架可以应用于分类和回归问题,并且适用于许多类型的树集合,例如,随机森林、规则化的随机森林和增强树。我们在“inTrees”R包中实现了inTrees算法。
2014-08-23 cs.LG stat.ML
Dive into Decision Trees and Forests: A Theoretical Demonstration
基于决策树,近年来许多领域都取得了巨大的进展。简单地说,决策树使用“分而治之”的策略将输入特征与标签之间的依赖关系这一复杂问题分解为较小的问题。虽然决策树有很长的历史,但最近的进展大大提高了它们在计算广告、推荐系统、信息检索等方面的性能。贝叶斯CART,贝叶斯回归样条)和训练技术(例如,混合整数规划、交替优化、梯度下降)。一路上,我们强调基于树的模型的概率特性,并解释其实际和理论上的好处。除了机器学习和数据采掘之外,本文还试图从统计学和运筹学等其他领域展示树型模型的理论进展。我们在每个方法的末尾列出了可重复的资源。
2021-01-20 cs.LG stat.ML
Analyzing the tree-layer structure of Deep Forests
Sorbonne Université(索邦大学);LPSM(巴黎数学科学实验室);CMAP(应用数学中心);Ecole Polytechnique(巴黎综合理工学院)
随机森林和神经网络在机器学习社区中取得了巨大的成功,因为它们的预测性能。文献中提出了两者的组合,特别是导致所谓的深林(DF)(Zhou \& Feng,2019)。在本文中,我们的目的不是对DF性能进行基准测试,而是研究其潜在机制。此外,DF架构通常可以简化为更简单和计算效率更高的浅森林网络。尽管有一些不稳定性,后者可能优于标准的基于预测树的方法。我们展示了一个理论框架,其中一个浅树网络,以提高经典的决策树的性能。在这样的设置,我们提供严格的理论下限和上限的超额风险。这些理论结果表明,良好的结构化数据提供的第一层,作为一个数据编码器,是足够丰富的树网络架构的兴趣。
2021-10-14 cs.LG math.ST stat.TH
Cluster-Based Random Forest Visualization and Interpretation
University of Cologne(科隆大学);Maastricht University(马斯特里赫特大学);Leipzig University(莱比锡大学);ScaDS.AI Dresden/Leipzig(德累斯顿/莱比锡ScaDS.AI);Eindhoven University of Technology(埃因霍温理工大学)
针对随机森林可解释性差的问题,提出结合决策规则与预测的新距离度量实现树聚类,并设计两种可视化方法,通过案例与用户研究验证了有效性。
2025-07-30 cs.HC cs.LG
Why do Random Forests Work? Understanding Tree Ensembles as Self-Regularizing Adaptive Smoothers
University of Cambridge(剑桥大学)
本文提出将随机森林视为自适应正则化平滑器,揭示其通过平滑效应、减少学习函数变异性及丰富假设空间三种机制提升性能,挑战仅归因于方差降低的传统观点。
2024-02-02 cs.LG stat.ML
Jump Like A Squirrel: Optimized Execution Step Order for Anytime Random Forest Inference
TU Dortmund University(杜伊斯堡-埃森大学)
本文提出通过优化步骤顺序提升随机森林推断效率,采用正向和反向松鼠顺序方法,在指数时间内实现高准确率。
2026-03-02 cs.LG stat.ML
Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity
Texas A&M University(德州农工大学)
尽管深度神经网络(DNN)最近取得了普遍的成功,但人们对它们的使用提出了一些担忧,包括缺乏可解释性,DNN与其他成熟的机器学习模型之间的差距,以及越来越昂贵的计算成本。许多最近的作品[1],[2],[3]探索了以纯粹的前馈方式顺序堆叠决策树/随机森林构建块的替代方案,而不需要反向传播。由于决策树具有内在的推理透明性,这种深森林模型也可以促进对内部决策过程的理解。本文在几个重要方面进一步扩展了深林思想。首先,我们采用一个概率树,其节点做出概率路由决策,即,软路由,而不是硬二进制决策。除了增强灵活性,它还可以为每棵树进行非贪婪优化。其次,我们提出了一个创新的拓扑学习策略:树中的每个节点现在都保持一个新的可学习的超参数,表示它将成为叶节点的概率。这样,树将在训练期间联合优化其参数和树拓扑。在MNIST数据集上的实验表明,我们授权的深森林可以实现比[1],[3]更好或相当的性能,同时大大降低了模型复杂性。例如,我们的模型只有1层15棵树,可以与[3]中的模型进行并行计算,每个模型有2层2000棵树。
2020-12-29 cs.LG stat.ML
Fair Forests: Regularized Tree Induction to Minimize Model Bias
Booz Allen Hamilton, Strategic Innovation Group(博思艾伦咨询公司战略创新集团);University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
机器学习算法的输出可能缺乏公平性,这一点最近在研究界和更广泛的社会中都引起了关注。令人惊讶的是,以前没有开发用于构建公平决策树或公平随机森林的树归纳算法的工作。这些方法广泛流行,因为它们是少数同时可解释,非线性和易于使用的方法之一。在本文中,我们开发,据我们所知,公平的决策树的诱导第一技术。我们表明,我们的“公平森林”保留了基于树的方法的好处,同时提供了更大的准确性和公平性比其他替代品,为“组公平”和“个人公平”。“我们还引入了新的公平性措施,能够处理多项和连续属性以及回归问题,而不仅仅是二进制属性和标签。最后,我们展示了一个新的,更强大的算法评估程序,认为数据集的整体,而不是只有一个特定的保护属性。
2017-12-21 cs.LG stat.ML
Mondrian Forests: Efficient Online Random Forests
University College London(伦敦大学学院);University of Cambridge(剑桥大学);University of Oxford(牛津大学)
随机决策树的集合,通常被称为随机森林,广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能,并且在训练和测试方面具有计算效率,使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体(如Breiman的随机森林和极端随机树)对批量训练数据进行操作。在线方法现在有更大的需求。然而,现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中,我们使用蒙德里安过程(Roy和Teh,2009)来构建随机决策树的集合,我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长,并且值得注意的是,在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能,同时速度快了一个数量级以上,因此代表了更好的计算与准确性权衡。
2015-02-16 cs.LG stat.ML
Random boosting and random^2 forests -- A random tree depth injection approach
Labs(8080实验室);Department of Statistics, TU Dortmund University(多特蒙德工业大学统计系)
在并行和顺序集成方法中引入额外的随机性在许多方面都是值得的。在本文中,我们提出并研究了一种新的随机树深度注入方法,适用于顺序和并行的基于树的方法,包括Boosting和Random Forests。生成的方法称为\emph{Random Boost}和\emph{Random$^2$ Forest}。这两种方法都是对现有文献中梯度提升框架和随机森林的有价值的扩展。蒙特卡罗模拟,其中构建了具有不同数量的最终分区的树形数据集,表明存在\emph{Random Boost}和\emph{Random$^2$ Forest}可以提高传统分层提升和随机森林方法的预测性能的几种情况。新算法在生成的数据中只有少数高阶交互的情况下似乎特别成功。此外,我们的模拟表明,我们的随机树深度注入方法可以将计算时间提高高达40%,而与此同时,在预测准确性方面的性能损失在大多数情况下是微小的,甚至可以忽略不计。
2020-09-13 cs.LG stat.CO stat.ME
Estimation and Inference with Trees and Forests in High Dimensions
Microsoft Research(微软研究院);MIT(麻省理工学院(MIT))
我们分析了有限的样本均值平方误差(MSE)性能的回归树和森林在高维政权的二进制功能,稀疏约束下。我们证明,如果只有$r$的$d$功能是相关的平均结果函数,然后浅树建立greenly通过CART经验MSE标准实现MSE率,仅依赖于周围的尺寸$d$的数学。我们证明了上界,其确切的依赖于相关变量$r$的数量取决于功能之间的相关性和相关程度。对于强相关的功能,我们还表明,完全成熟的诚实森林实现快速MSE率和他们的预测也是渐近正常的,使渐近有效的推理,适应稀疏的回归函数。
2020-10-21 cs.LG math.ST stat.TH
Analysis of purely random forests bias
CNRS(法国国家科学研究中心);Ecole Normale Superieure(巴黎高等师范学院);INRIA(法国国家信息与自动化研究所);Univ. Bordeaux(波尔多大学);INSERM(法国国家健康与医学研究院);INRIA Bordeaux Sud-Ouest(法国国家信息与自动化研究所西南波尔多中心)
随机森林是一种非常有效和常用的统计方法,但其完整的理论分析仍然是一个悬而未决的问题。作为第一步,已经引入了诸如纯随机森林的简化模型,以阐明随机森林的良好性能。在本文中,我们研究的近似误差(偏差)的一些纯随机森林模型在回归框架,特别是集中在森林中的树木数量的影响。在对回归函数的一些规律性假设下,我们证明了无限森林的偏差比单树的偏差以更快的速度(相对于每棵树的大小)减小。因此,无限森林获得严格更好的风险率(相对于样本量)比单树。此外,我们的研究结果允许导出一个最小数量的树足以达到相同的速度作为一个无限的森林。作为我们分析的副产品,我们还显示了纯粹随机森林的偏差和一些核估计的偏差之间的联系。
2014-07-15 cs.LG math.ST stat.ME
Contextual Decision Trees
Università degli Studi di Firenze(佛罗伦萨大学)
针对随机森林,我们提出了一个多臂上下文强盗推荐框架,用于基于特征选择学习集合的单个浅树。在随机森林之上工作的经过训练的系统动态地识别负责提供最终输出的基本预测器。通过这种方式,我们通过观察推荐树的规则来获得本地解释。实验结果表明,该方法的预测性能优于一个独立的拟合CART决策树和整个黑盒随机森林。
2022-07-13 cs.LG stat.ML
A short note on the decision tree based neural turing machine
grusoft(格鲁软件)
图灵机和决策树独立发展了很长时间。近年来随着可微模型的发展,它们之间出现了交叉。神经图灵机(NTM)为记忆网络打开了大门。它采用微分注意力机制来读写外部存储体。可微森林给经典决策树带来了可微的性质。在这个简短的说明中,我们展示了这两个模型之间的深层联系。即:可微森林是NTM的一个特例。可区分森林实际上是基于决策树的神经图灵机。基于这种深层联系,我们提出了一个响应增强差分森林(RaDF)。RaDF的控制器是可微森林,外部存储器是响应向量,可由叶子节点读写。
2020-10-27 cs.AI cs.LG cs.NE
Binary Space Partitioning Forests
University of New South Wales(新南威尔士大学);Fudan University(复旦大学)
二进制空间划分~(BSP)-树过程被提出来产生灵活的二维划分结构,这些结构最初被用作关系建模的贝叶斯非参数先验。它很难应用于其他学习任务,如回归树,因为将BSP树过程扩展到高维空间是不平凡的。本文首次尝试将BSP-树过程推广到d维(d>2)空间。我们建议生成一个切割超平面,它被假定为平行于d-2维,切割的d维BSP树中的每个节点。通过设计一个巧妙的策略从d维中抽取两个自由维,扩展的BSP树过程可以继承原始版本的基本自一致性。基于扩展的BSP树过程,集成模型,这是命名为BSP森林,进一步发展的回归任务。由于保留了自洽性,我们可以大大减少推理阶段的几何计算。与Mondrian Forest相比,BSP-Forest由于其灵活性,可以以更少的切割实现类似的性能。BSP-Forest在许多真实数据集上的表现也优于其他(贝叶斯)回归森林。
2019-03-22 cs.AI cs.LG math.PR
A global method to identify trees outside of closed-canopy forests with medium-resolution satellite imagery
World Resources Institute(世界资源研究所)
在茂密的封闭林冠森林之外的零星树木对于固碳、支持生计、维持生态系统完整性以及适应和减缓气候变化非常重要。与郁闭森林内的树木相比,人们对全球范围内分散树木的空间范围和分布知之甚少。由于高分辨率卫星图像的成本,全球监测系统依赖中分辨率卫星来监测土地使用情况。在这里,我们提出了一个全球一致的方法来识别树冠直径大于三米的树木与中等分辨率的光学和雷达图像。每两周一次的无云、全景锐化10米Sentinel-2光学图像和Sentinel-1雷达图像用于训练完全卷积网络,该网络由卷积门控循环单元层和特征金字塔注意力层组成。在分布于-60至+60纬度的215,000多个Sentinel-1和Sentinel-2像素上进行测试,所提出的模型在识别低至中等密度(小于40%)的树木覆盖面积的公顷中的树木时,超过了75%的用户和生产者的准确度,在识别密集(大于40%)的树木覆盖面积的公顷中,超过了95%的用户和生产者的准确度。所提出的方法提高了监测树木存在的稀疏和分散的树木覆盖(小于40%)的地区的准确性高达20%,并减少了近一半的佣金和遗漏误差在山区和多云地区。当应用于大型,异质的景观,结果表明有潜力在全球不同的景观地图树木的高度细节和准确性。这一信息对于了解当前的土地覆盖非常重要,可用于检测土地覆盖的变化,如农林业、生物热点周围的缓冲区以及森林的扩张或侵蚀。
2020-07-24 cs.CV cs.LG eess.IV
CaR-FOREST: Joint Classification-Regression Decision Forests for Overlapping Audio Event Detection
本报告介绍了我们提交的DCASE 2016挑战的任务2和任务3。该系统旨在处理连续流中重叠音频事件的检测,其中检测器基于随机决策森林。建议的森林同时进行分类和回归的联合训练。最初,训练是面向分类的,以鼓励树从重叠的混合物中选择有区别的特征,以将积极的音频片段与消极的音频片段分开。然后执行回归阶段以让肯定音频片段投票事件开始和偏移,并且因此对音频事件的时间结构进行建模。一个随机决策森林是专门为每个感兴趣的事件类别训练的。开发数据的实验结果表明,我们的系统显着优于基线的任务2的评估,而他们是劣于基线的任务3的评估。
2016-08-15 cs.AI cs.LG cs.MM
Highly Detailed and Generalizable Broadleaf Tree Crown Instance Segmentation from UAV Imagery
DeepForest Technologies Co., Ltd.(深森林技术有限公司);YM Lab.(YM实验室);Graduate School of Agriculture, Kyoto University(京都大学农业研究院);Graduate School of Science, Osaka Metropolitan University(大阪 metropolitan 大学理学研究院);Faculty of Tropical Forestry, Universiti Malaysia Sabah(马来西亚沙巴大学热带林业学院);Forest Research Centre, Sabah Forestry Department(沙巴林业部门森林研究中心)
本文提出一种高精度树冠实例分割模型,通过无人机影像实现阔叶林中单个树冠的精确定界,利用大规模高质量标注数据集提升分割性能,适用于复杂结构和不同地理生物的森林环境。
2026-05-15 cs.CV cs.LG eess.IV
Enhancing Visual Interpretability and Explainability in Functional Survival Trees and Forests
Department of Mathematics and Physics, University of Campania Luigi Vanvitelli(数学与物理系,坎帕尼亚卢igi vanvitelli大学);Department of Economics, Statistics and Business, Universitas Mercatorum(经济学、统计学与商业系,默卡托鲁姆大学)
本研究针对函数型生存树与森林缺乏可解释性的问题,提出新方法增强其视觉可解释性,实验证明能生成高效且准确的决策树。
2025-04-25 cs.LG stat.ME stat.ML
Random Planted Forest: a directly interpretable tree ensemble
Heidelberg University(海德堡大学);University of Copenhagen(哥本哈根大学)
提出random planted forest算法,通过保留分裂后的叶子节点构建非二叉树以估计低阶交互项,实现回归函数的可解释性,并在低交互界限下具备渐近最优收敛速率。
2023-08-03 cs.LG math.ST stat.ML
Exogenous Randomness Empowering Random Forests
University of Southern California(南加州大学)
本文探讨了外生随机性对随机森林的影响,识别出特征子采样和平局打破两类随机性,推导了均方误差的非渐近展开与一致性条件,并发现特征子采样能平衡偏差与方差,甚至使噪声特征成为提升性能的“祝福”。
2024-11-12 cs.LG math.ST stat.ML
Random Forests Can Hash
Duke University(杜克大学);Tel Aviv University(特拉维夫大学)
哈希码是一种非常有效的数据表示,需要能够处理不断增长的数据量。我们引入了一个具有信息论代码聚合的随机森林语义哈希方案,首次展示了随机森林,一种与深度学习一起在分类方面显示出惊人结果的技术,也可以扩展到大规模检索。传统的随机森林无法强制从每个树为相同类数据生成的散列的一致性,即,以保持潜在的相似性,并且它也缺乏跨树的代码聚合的原则性方法。我们从一个简单的散列方案开始,其中森林中独立训练的随机树充当散列函数。我们提出了一个子空间模型作为分裂函数,并表明它加强了哈希一致性树的数据从同一类。我们还介绍了一种信息理论的方法,用于将各个树的代码聚合成单个哈希代码,为每个类产生接近最优的唯一哈希。在大规模公共数据集上的实验表明,该方法在检索任务中的性能明显优于最先进的哈希方法。
2015-04-17 cs.CV cs.IR cs.LG