首页/论文/2103.01926

arXiv 2103.019262021-03stat.MLcs.LGecon.EMstat.AP

生长缓慢的树木

Slow-Growing Trees

Université du Québec à Montréal（魁北克大学蒙特利尔分校）

Philippe Goulet Coulombe

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

随机森林的性能可以通过一棵缓慢生长的树（SGT）来匹配，SGT使用学习率来驯服CART的贪婪算法。SGT利用CART是迭代加权最小二乘过程的极端情况的观点。此外，一个统一的观点，提升树（BT）和随机森林（RF）。贪婪ML算法的结果可以通过“缓慢学习”或多样化来改善。SGT应用前者来估计单个深树，Booging（具有高学习率的装袋随机BT）使用后者与加性浅树。这棵树合奏四位一体（Booging，BT，SGT，RF）的性能进行评估模拟和真实的回归任务。

英文摘要：

Random Forest's performance can be matched by a single slow-growing tree (SGT), which uses a learning rate to tame CART's greedy algorithm. SGT exploits the view that CART is an extreme case of an iterative weighted least square procedure. Moreover, a unifying view of Boosted Trees (BT) and Random Forests (RF) is presented. Greedy ML algorithms' outcomes can be improved using either "slow learning" or diversification. SGT applies the former to estimate a single deep tree, and Booging (bagging stochastic BT with a high learning rate) uses the latter with additive shallow trees. The performance of this tree ensemble quaternity (Booging, BT, SGT, RF) is assessed on simulated and real regression tasks.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

最小探索分配策略的渐近行为：几乎必然，缓慢增长的遗憾

Asymptotic Behavior of Minimal-Exploration Allocation Policies: Almost Sure, Arbitrarily Slow Growing Regret

Rutgers University（罗格斯大学）

本文的目的是提供进一步的了解到的顺序分配（“随机多臂强盗”，或MAB）问题的结构，通过建立概率一有限的地平线界限和收敛速度的样本（或“伪”）遗憾与两个简单的类分配政策$π$。对于任何缓慢增加的功能$g$，受到轻微的规律性约束，我们构建两个政策（$g$ -强迫，和$g$ -膨胀的样本均值），以$ O(g(n))$几乎可以肯定地实现为$n \to \infty$，约束从上到下的遗憾措施。此外，几乎肯定的上界和下界的其余项的建立。在本文的构造中，函数$g$有效地控制经典“探索/利用”权衡的“探索”。

2015-12-17cs.LGstat.ML

使用软路由和学习连接有效地生长Deep Forest

Growing Deep Forests Efficiently with Soft Routing and Learned Connectivity

Texas A&M University（德州农工大学）

尽管深度神经网络（DNN）最近取得了普遍的成功，但人们对它们的使用提出了一些担忧，包括缺乏可解释性，DNN与其他成熟的机器学习模型之间的差距，以及越来越昂贵的计算成本。许多最近的作品[1]，[2]，[3]探索了以纯粹的前馈方式顺序堆叠决策树/随机森林构建块的替代方案，而不需要反向传播。由于决策树具有内在的推理透明性，这种深森林模型也可以促进对内部决策过程的理解。本文在几个重要方面进一步扩展了深林思想。首先，我们采用一个概率树，其节点做出概率路由决策，即，软路由，而不是硬二进制决策。除了增强灵活性，它还可以为每棵树进行非贪婪优化。其次，我们提出了一个创新的拓扑学习策略：树中的每个节点现在都保持一个新的可学习的超参数，表示它将成为叶节点的概率。这样，树将在训练期间联合优化其参数和树拓扑。在MNIST数据集上的实验表明，我们授权的深森林可以实现比[1]，[3]更好或相当的性能，同时大大降低了模型复杂性。例如，我们的模型只有1层15棵树，可以与[3]中的模型进行并行计算，每个模型有2层2000棵树。

2020-12-29cs.LGstat.ML

hi-RF：增量学习随机森林在大规模多类数据分类中的应用

hi-RF: Incremental Learning Random Forest for large-scale multi-class Data Classification

National University of Defense Technology（国防科技大学）

近年来，动态增长的数据和类的数量逐渐增加的大规模数据分类的研究提出了新的挑战。大多数传统的方法努力平衡精度和计算负担时，数据和类的数量增加。然而，有些方法精度不高，而另一些方法则很耗时。在本文中，我们提出了一种增量学习方法，即异构增量最近类均值随机森林（hi-RF），来处理这个问题。它是一种异构的方法，当新类数据到达时，在随机森林中自适应地替换树或更新树叶，以在性能相当的情况下减少计算时间。具体地说，为了保持准确性，一部分树被新的NCM决策树取代;为了减少计算量，其余的树只更新它们的叶子概率。最重要的是，提出了袋外估计和袋外提升，以平衡精度和计算效率。进行了公平的实验，并证明了其相当的精度与更少的计算时间。

2016-10-31cs.LGstat.ML

增长维离散选择模型的最优线性鉴别器

Optimal Linear Discriminators For The Discrete Choice Model In Growing Dimensions

离散选择模型的Manski最大得分估计是一种最优线性估计，近年来一直是计量经济学和统计学研究的热点，但其在增长维数情景下的行为还不清楚。本文件解决了这一差距。考虑两种不同的情况：$p$与$n$一起生长，但速度较慢，即$p/n \rightarrow 0$ ;和$p \gg n$（快速生长）。在二进制响应模型中，我们重铸曼斯基的得分估计为经验风险最小化的分类问题，并推导出$\ell_2$的收敛速率的得分估计下\emph{transition condition}在我们的保证金参数，校准的估计问题的难度水平。我们还建立了二元选择模型中的极小极大$\ell_2$误差的上界和下界，它们之间相差一个对数因子，并在缓慢增长的情况下构造了一个极小极大最优估计。一些扩展到一般情况下-多项式响应模型-也被认为是。最后但并非最不重要的是，我们使用各种学习算法来计算增长维度中的最大得分估计。

2020-08-09math.STstat.TH

在面板树上拓展有效前沿

Growing the Efficient Frontier on Panel Trees

ArrowStreet Capital（阿罗街资本）；Baylor University（贝勒大学）；BUAA（北京航空航天大学）；Cambridge University（剑桥大学）；CityUHK（香港城市大学）；CKGSB（长江商学院）；Cornell University（康奈尔大学）；Goethe University Frankfurt（法兰克福大学）；GSU-RFS（佐治亚州立大学-金融研究学会）；Hunan University（湖南大学）；INFORMS（美国运筹学和管理学研究协会）；KAIST（韩国科学技术院）；NUS（新加坡国立大学）；OSU（俄亥俄州立大学）；PHBS（北京大学汇丰商学院）；PKU（北京大学）；Qube Research and Technology（Qube研究与技术公司）；Reichman University (IDC Herzliya)（赖希曼大学（赫兹利亚跨学科中心））；Schroders Investments（施罗德投资）；SHUFE（上海财经大学）；SMU（南方 Methodist 大学）；SUSTech（南方科技大学）；TAMU（德克萨斯农工大学）；Tsinghua（清华大学）；UNC（北卡罗来纳大学教堂山分校）；University of Bath（巴斯大学）；University of Hawai’i（夏威夷大学）；USC（南加州大学）；USTC（中国科学技术大学）；University of Macau（澳门大学）；University of Oxford（牛津大学）；XJTLU（西交利物浦大学）

本文提出基于树的 P-Trees 模型分析个体资产收益面板，构建的测试资产显著拓展有效前沿，其切线组合可恢复定价核并优于主流因子模型，同时以稀疏性实现接近大型过参数化模型的样本外夏普比率。

2025-02-04cs.LGq-fin.PRstat.ML

通过分类生长回归森林：应用于目标姿态估计

Growing Regression Forests by Classification: Applications to Object Pose Estimation

Center for Automation Research, University of Maryland, College Park（马里兰大学帕克分校自动化研究中心）

在这项工作中，我们提出了一种新的回归树节点分裂方法，并将其纳入回归森林框架。不同于传统的二进制分裂，其中分裂规则是从一个预定义的二进制分裂规则集通过试错法，所提出的节点分裂方法首先找到集群的训练数据，至少局部最小化的经验损失，而不考虑输入空间。然后通过将问题转化为一个分类问题来确定尽可能保留已发现聚类的分割规则。因此，我们的新的节点分裂方法享有更多的自由选择的分裂规则，导致更有效的树结构。除了欧几里德目标空间，我们提出了一个变种，它可以自然地处理一个圆形的目标空间，通过适当使用循环统计。我们应用回归森林，采用我们的节点分裂头部姿势估计（欧几里德目标空间）和汽车方向估计（圆形目标空间），并证明所提出的方法显着优于国家的最先进的方法（分别减少38.5%和22.5%的错误）。

2014-07-15cs.CVcs.LGstat.ML

摘要：

英文摘要：

相关论文

最小探索分配策略的渐近行为：几乎必然，缓慢增长的遗憾

使用软路由和学习连接有效地生长Deep Forest

hi-RF：增量学习随机森林在大规模多类数据分类中的应用

增长维离散选择模型的最优线性鉴别器

在面板树上拓展有效前沿

相关随机时间序列的机器学习方法和极值理论及其在树轮数据中的应用

通过分类生长回归森林：应用于目标姿态估计