Consistency of Online Random Forests
Misha Denil, David Matheson, Nando de Freitas
作为他们成功的证明，随机森林理论在实践中的应用早已超过了他们。在本文中，我们通过提供在线随机森林的一致性结果来缩小这一差距。
As a testament to their success, the theory of random forests has long been outpaced by their application in practice. In this paper, we take a step towards narrowing this gap by providing a consistency result for online random forests.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Mondrian Forests: Efficient Online Random Forests
随机决策树的集合，通常被称为随机森林，广泛用于机器学习和统计学中的分类和回归任务。随机森林实现了有竞争力的预测性能，并且在训练和测试方面具有计算效率，使其成为现实世界预测任务的优秀候选者。最流行的随机森林变体（如Breiman的随机森林和极端随机树）对批量训练数据进行操作。在线方法现在有更大的需求。然而，现有的在线随机森林需要比其批处理对应物更多的训练数据才能实现可比的预测性能。在这项工作中，我们使用蒙德里安过程（Roy和Teh，2009）来构建随机决策树的集合，我们称之为蒙德里安森林。蒙德里安森林可以以增量/在线方式生长，并且值得注意的是，在线蒙德里安森林的分布与批量蒙德里安森林的分布相同。蒙德里安森林实现了与现有在线随机森林和定期重新训练的批量随机森林相当的有竞争力的预测性能，同时速度快了一个数量级以上，因此代表了更好的计算与准确性权衡。
Isolation Mondrian Forest for Batch and Online Anomaly Detection
我们提出了一种新的方法，命名为隔离蒙德里安森林（iMondrian森林），批量和在线异常检测。所提出的方法是一种新的混合隔离森林和蒙德里安森林，这是现有的方法，批量异常检测和在线随机森林，分别。iMondrian森林采用了隔离的思想，使用树中节点的深度，并在Mondrian森林结构中实现它。结果是一种新的数据结构，其可以在线方式接受流数据，同时用于异常检测。我们的实验表明，iMondrian森林在批处理设置中的性能大多优于隔离森林，并且与其他批处理和在线异常检测方法相比具有更好或相当的性能。
Data-driven multinomial random forest: A new random forest variant with strong consistency
提出数据驱动多项式随机森林（DMRF），在保持与BreimanRF相同复杂度的同时以概率1满足强一致性，并在分类和回归任务中优于弱一致性变体，多数分类场景超越BreimanRF。
Q-learning with online random forests
$Q$-学习是最基本的无模型强化学习算法。部署$Q$-学习需要状态-动作值函数（也称为$Q$-函数）的近似。在这项工作中，我们提供在线随机森林作为$Q$函数逼近器，并提出了一种新的方法，其中随机森林的增长作为学习的进行（通过扩大森林）。我们在两个OpenAI健身房（"二十一点"和"倒计时"）中展示了我们的方法在最先进的深度$Q$网络上的性能改进，但在"月球着陆器"健身房中没有。我们怀疑随机森林对过拟合的弹性建议我们的方法用于不需要问题域的强表示的常见任务。我们表明，扩大森林（其中树木的数量随着数据的增加而增加）可以提高性能，这表明扩大森林对于强化学习设置之外的在线随机森林的其他应用是可行的。
Multinomial Random Forest: Toward Consistency and Privacy-Preservation
尽管随机森林（RF）的令人印象深刻的性能，它的理论性质还没有得到彻底的理解。在本文中，我们提出了一种新的RF框架，称为多项式随机森林（MRF），分析\emph{consistency}和\emph{privacy-preservation}。MRF采用两个基于杂质的多项式分布分别随机选择分裂特征和分裂值，而不是确定性的贪婪分裂规则或简单的随机性。在理论上，我们证明了所提出的MRF的一致性，并分析其隐私保护的差分隐私的框架内。我们还用多个数据集证明了它的性能与标准RF相当。据我们所知，MRF是第一个具有与标准RF相当性能的一致RF变体。
Consistency of Honest Decision Trees and Random Forests
本文研究了回归设置中诚实决策树和随机森林的不同一致性类型，通过简单证明和经典平滑方法的论证，建立了诚实树和诚实森林平均值对真实回归函数的弱一致性和几乎必然收敛，并在紧致协变量域上获得一致收敛。该框架自然支持基于分层采样的集成变体和两阶段bootstrap采样方案，简化了现有分析并恢复了多个结果。
AMF: Aggregated Mondrian Forests for Online Learning
随机森林（RF）是许多监督学习应用中的首选算法之一，无论是分类还是回归。这种树集成方法的吸引力来自于几个特征的组合：在各种任务中的显着准确性，少量的参数调整，相对于特征缩放的鲁棒性，合理的训练和预测计算成本，以及它们在高维环境中的适用性。然而，最常用的RF变体是“离线”算法，它需要一次获得整个数据集。本文介绍了一种基于Mondrian Forests的在线随机森林算法AMF。使用的上下文树加权算法的一个变体，我们表明，它是可以有效地执行一个精确的聚合在所有修剪的树，特别是，这使得能够获得一个真正的在线无参数的算法，这是有竞争力的蒙德里安树的最佳修剪，从而适应未知的规律性的回归函数。数值实验表明，AMF是有竞争力的几个强基线上的大量数据集的多类分类。
Consistency of Random Forest Type Algorithms under a Probabilistic Impurity Decrease Condition
本文提出一个统一定理，通过引入概率充分不纯度下降条件，为极端随机树、交互森林、斜交回归树等更广泛的树基算法建立一致性，并扩展了随机森林一致性所适用的函数类。
On the Consistency of a Random Forest Algorithm in the Presence of Missing Entries
本文针对潜在变量信息不完整的情况，提出结合CART准则的随机森林算法，实现缺失值部分插补与回归函数一致估计，并在MCAR条件下证明其一致性。
Data-driven multinomial random forest
本文将弱一致随机森林变体的证明方法强化为强一致，并提出数据驱动的多项随机森林（DMRF）算法，其复杂度介于MRF和BRF之间且满足强一致性，在分类和回归任务中表现优于以往弱一致变体，甚至超越标准随机森林。
Consistency of random forests
随机森林是Breiman [Mach.学习. 45（2001）5- 32]，其组合若干随机化决策树并通过平均来聚集它们的预测。尽管其广泛的用途和突出的实际性能，很少有人知道的数学性质的过程。理论和实践之间的这种差距源于同时分析随机化过程和高度数据依赖的树结构的困难。在本文中，我们采取了一个步骤，在森林探索证明的一致性结果Breiman的[马赫。学习. 45（2001）5- 32]在加法回归模型的上下文中的原始算法。我们的分析还揭示了随机森林如何很好地适应稀疏性。1.导论.随机森林是一种用于分类和回归的集成学习方法，它在训练阶段构建许多随机决策树，并通过平均结果进行预测。自Breiman（2001）的开创性论文发表以来，该程序已成为一种主要的数据分析工具，与许多标准方法相比，在实践中表现良好。森林理论的流行主要是因为它可以应用于各种预测问题，而且几乎没有什么参数需要调整。除了使用简单之外，该方法还因其准确性和处理小样本量、高维特征空间和复杂数据结构的能力而被普遍认可。随机森林方法已成功地应用于许多实际问题，包括空气质量预测（2012年EMC数据科学全球黑客大赛的获奖代码，参见http：//www.kaggle.com/c/dsg-hackerisk）、化学信息学[Svetnik等人（2003）]、生态学[Prasad、Iverson和Liaw（2006）、Cutler等人（2007）…
On the asymptotics of random forests
随机森林模型在过去的十年中表现出了良好的应用性能，特别是在高维环境下，受到了广泛的关注。然而，在理论方面，它们的预测能力在很大程度上仍未得到解释，从而造成了理论与实践之间的差距。该文致力于研究两个问题.首先，我们提供了理论保证，以连接有限森林在实践中使用（有有限数量的树M），以他们的渐近对应物。利用经验过程理论，证明了一类随机森林估计的一致中心极限定理，特别适用于Breiman的原始森林.其次，证明了无限森林的一致性蕴涵有限森林的一致性，从而证明了若干个无限森林的一致性。特别地，我们证明了q分位数森林-在精神上接近Breiman的森林，但更容易研究-能够组合不一致的树以获得最终一致的预测，从而突出了随机森林与单树相比的优点。
The Boundary Forest Algorithm for Online Supervised and Unsupervised Learning
我们描述了一个新的基于实例的学习算法称为边界森林（BF）算法，可用于监督和无监督学习。该算法建立了一个树的森林，其节点存储以前看到的例子。它可以一次显示一个数据点，并增量地更新自己，因此它自然是在线的。很少有基于实例的算法在快速的同时具有这种特性，BF就是这样。这对于需要对输入数据进行实时的响应的应用来说是至关重要的。每个节点的子节点的数量不是预先设置的，而是从训练过程中获得的，这使得算法在学习数据流形方面非常灵活。我们在一系列基准数据集上测试了它的泛化性能和速度，并详细说明了它在哪些设置上优于现有技术。根据经验，我们发现训练时间为O（DNlog（N）），测试时间为O（Dlog（N）），其中D是维度，N是数据量，
Consistency of Oblique Decision Tree and its Boosting and Random Forest
本文证明了斜决策树（ODT）对$L^2$可积的一般回归函数具有一致性，还证明了基于ODT的随机森林（ODRF）的一致性，并提出一种基于正交匹配追踪的GBT集成且验证其一致性，实验显示相关方法相比RF等有显著改进。
Consistency of survival tree and forest models: splitting bias and correction
随机生存森林和生存树是统计学和机器学习中流行的模型。然而，对审查机制的一致性、拆分规则和影响等问题缺乏普遍的认识。在本文中，我们从几个有趣的角度研究现有方法的统计特性。首先，我们表明，传统的分裂规则与删失的结果依赖于一个有偏估计的节点内的故障分布。为了准确量化这种偏差，我们开发了一个基于非独立同分布的节点内估计的浓度界。并将其应用于整个森林。其次，我们分析了由单变量分裂引起的失效分布和删失分布之间的纠缠，并证明了在适当的条件下，在不校正内部节点处的偏差的情况下，生存树和森林模型仍然可以享受一致性。特别是，我们证明了这一属性在两种情况下：一个有限维的情况下，随机选择的分裂变量和切割点，和高维的情况下，协变量弱相关。我们的结果也可以退化为一个独立的协变量设置，这是常用的随机森林文献的高维稀疏模型。然而，不可避免的是，收敛速度取决于失效和删失分布中的变量总数。第三，我们提出了一个新的分裂规则，比较偏差校正的累积风险函数在每个内部节点。我们表明，这种新模型的一致性率仅取决于失败变量的数量，这改善了非偏差校正版本。我们进行模拟研究，以确认这可以大大有利于预测误差。
Grafting: Making Random Forests Consistent
针对随机森林一致性理论缺失的问题，本文提出将一致性估计器嫁接到浅层CART的方法，证明其具备一致性保证且实证表现良好，丰富了随机森林一致性研究的相关文献。
Asymptotic Properties of High-Dimensional Random Forests
随机森林算法作为一种灵活的非参数学习工具，即使在高维特征空间中也具有良好的经验性能，被广泛应用于各种实际应用中。揭示了潜在的机制，导致了一些重要的最近的理论结果的一致性的随机森林算法及其变种。然而，据我们所知，几乎所有现有的作品随机森林一致性在高维设置建立了各种修改的随机森林模型的分裂规则是独立的响应，少数例外假设简单的数据生成模型与二进制功能。鉴于此，在本文中，我们推导出的一致性率的随机森林算法与样本CART分裂标准，这是在该算法的原始版本中使用的，在一般的高维非参数回归设置通过偏差方差分解分析。我们的新理论结果表明，随机森林确实可以适应高维，并允许不连续的回归函数。我们的偏差分析明确地描述了随机森林偏差如何依赖于样本量、树高和列子采样参数。我们目前的结果的一些局限性进行了讨论。
Is interpolation benign for random forest regression?
统计智慧表明，非常复杂的模型，插值训练数据，将在预测看不见的例子穷人。然而，这句格言最近受到了挑战，识别良性过拟合制度，特别是在参数模型的情况下研究：尽管模型复杂度很高，但可以保持泛化能力。虽然众所周知，完全生长的决策树内插，并且反过来，随机森林（Random Forests，RF）算法的预测性能较差，而RF算法的预测性能较差，本文研究了几种RF算法在插值和一致性之间的权衡。理论上，我们证明了插值制度和一致性不能同时实现几个非自适应RF。由于自适应性似乎是基石，把插值和一致性，我们研究插值中值RF被证明是一致的插值制度。这是第一个调和插值和RF一致性的结果，强调了由特征随机化引入的平均效应是一个关键机制，足以确保插值区域和超越的一致性。数值实验表明，Breiman的RF是一致的，而精确插值，当不涉及引导步骤。我们理论上控制插值区域的大小，其足够快地收敛到零，给出了精确插值和一致性同时发生的必要条件。
Random Forests for Big Data
大数据是统计科学的主要挑战之一，从算法和理论角度来看，它有许多后果。大数据总是涉及大量数据，但它们也经常包括在线数据和数据异构性。最近，一些统计方法已被用于处理大数据，如线性回归模型，聚类方法和自举方案。基于决策树结合聚合和自助思想，随机森林是由Breiman在2001年提出的。它们是一种功能强大的非参数统计方法，可以在单一和通用的框架中考虑回归问题，以及两类和多类分类问题。聚焦于分类问题，本文提出了一个有选择性的审查现有的建议，处理大数据问题的随机森林扩展。这些建议依赖于并行环境或随机森林的在线适应。我们还描述了如何相关的数量-如出袋错误和变量的重要性-在这些方法中得到解决。然后，我们在大数据背景下为随机森林制定了各种注释。最后，我们在两个大规模数据集（1500万和1.2亿个观测值）上试验了五种变体，一个是模拟数据集，另一个是真实世界数据集。一个变体依赖于子采样，而其他三个变体与随机森林的并行实现有关，并且涉及对大数据的自举或“分而治之”方法的各种适应。第五个变体涉及随机森林的在线学习。这些数值实验突出了不同变体的相对性能，以及它们的一些局限性。
Random Forests Can Hash
哈希码是一种非常有效的数据表示，需要能够处理不断增长的数据量。我们引入了一个具有信息论代码聚合的随机森林语义哈希方案，首次展示了随机森林，一种与深度学习一起在分类方面显示出惊人结果的技术，也可以扩展到大规模检索。传统的随机森林无法强制从每个树为相同类数据生成的散列的一致性，即，以保持潜在的相似性，并且它也缺乏跨树的代码聚合的原则性方法。我们从一个简单的散列方案开始，其中森林中独立训练的随机树充当散列函数。我们提出了一个子空间模型作为分裂函数，并表明它加强了哈希一致性树的数据从同一类。我们还介绍了一种信息理论的方法，用于将各个树的代码聚合成单个哈希代码，为每个类产生接近最优的唯一哈希。在大规模公共数据集上的实验表明，该方法在检索任务中的性能明显优于最先进的哈希方法。
Modeling of time series using random forests: theoretical developments
本文在非线性时间序列建模的框架下研究了随机森林的渐近性质。虽然随机森林已成功地应用于各个领域，但尚未考虑在时间序列设置中使用随机森林的理论依据。在温和的条件下，我们证明了一个统一的集中不等式的回归树建立在非线性自回归过程，随后，我们用这个结果证明了一个大类的随机森林的一致性。各种模拟结果的支持。
Exogenous Randomness Empowering Random Forests
本文探讨了外生随机性对随机森林的影响，识别出特征子采样和平局打破两类随机性，推导了均方误差的非渐近展开与一致性条件，并发现特征子采样能平衡偏差与方差，甚至使噪声特征成为提升性能的“祝福”。
Best-scored Random Forest Classification
我们提出了一个算法命名为最佳得分随机森林的二进制分类问题。术语“最佳得分”意味着从一定数量的纯随机树候选中选择具有最佳经验性能的一棵树作为森林中的每棵树。通过这种方式，所得到的森林可以比原始的纯随机森林更准确。从理论的角度来看，在正规化的经验风险最小化惩罚的分裂的数量的框架内，我们建立了几乎最优的收敛速度建议最好的得分随机树在一定的条件下，可以扩展到最好的得分随机森林。此外，我们还给出了一个反例来说明，为了保证森林的一致性，每个维都必须有被分裂的机会。在数值实验中，为了提高效率，我们采用了自适应随机分裂准则。与其他最先进的分类方法的比较实验证明了我们的最佳得分随机森林的准确性。
A Unified Framework for Random Forest Prediction Error Estimation
我们引入了一个统一的框架，随机森林预测误差估计的基础上的条件预测误差分布函数的一种新的估计。我们的框架使简单的插件估计的关键预测不确定性指标，包括条件均方预测误差，条件偏差，和条件分位数，随机森林和许多变种。我们的方法是特别适合预测区间估计，我们通过模拟表明，我们提出的预测区间的竞争力，并在某些设置优于现有的方法。为了建立我们的框架的理论基础，我们证明了逐点一致的一致性更严格的版本，我们的条件预测误差分布函数的估计。这里介绍的估计器在R包forestError中实现。
Regression with Missing Data, a Comparison Study of TechniquesBased on Random Forests
在本文中，我们提出了一个新的随机森林算法来处理样本中的缺失值的实际好处。本文的目的是比较随机森林处理缺失值的不同方案，并描述我们的新算法的性能和算法复杂度。考虑并模拟了多种缺失值机制（如MCAR、MAR、MNAR）。我们研究了算法的二次误差和偏差，并将其与文献中最流行的缺失值随机森林算法进行了比较。特别是，我们比较这些技术的回归和预测的目的。这项工作遵循Gomez-Mendez和Joly（2020）关于这种新算法的一致性的第一篇论文。
Medoid splits for efficient random forests in metric spaces
本文针对度量空间随机对象回归，提出基于中心点的随机森林分裂规则，替代计算昂贵的Fréchet均值，证明了渐近等价性与一致性，提升了计算效率并拓展了应用场景。
Comparison-Based Random Forests
假设我们从一般度量空间中得到一组项目，但我们既不能访问数据的表示，也不能访问数据点之间的距离。相反，假设我们可以主动选择一个三元组（A，B，C），并询问一个预言家，A是更接近B还是更接近C。在本文中，我们提出了一种新的随机森林算法的回归和分类，只依赖于这样的三元组比较。在本文的理论部分，我们建立了这样的森林的相容性的充分条件。在一组全面的实验中，我们证明了所提出的随机森林是有效的分类和回归。特别是，它甚至可以与直接访问数据的度量表示的其他方法竞争。
Joints in Random Forests
决策树（DT）和随机森林（RF）是强大的判别学习器，对日常机器学习实践者和数据科学家来说至关重要。然而，由于它们的区别性，它们缺乏处理具有缺失特征的输入或检测离群值的原则性方法，这需要将它们与插补技术或单独的生成模型配对。在本文中，我们通过与概率电路（一类重要的易处理概率模型）建立联系，证明DT和RF可以自然地被解释为生成模型。这种重新解释使它们在特征空间上具有完整的联合分布，并导致生成决策树（GeDT）和生成森林（GeF），这是一种新型的混合生成判别模型。该系列模型保留了DT和RF的整体特征，同时还能够通过边缘化处理缺失的特征。在某些假设下，经常贝叶斯一致性结果，我们表明，在GeDT和GeFs的一致性扩展到任何模式的输入功能缺失，如果随机缺失。从经验上讲，我们表明，我们的模型在处理缺失数据（如K-最近邻插补）方面往往优于常见的例程，此外，我们的模型可以通过监测输入特征的边际概率来自然检测离群值。
Density-based Clustering with Best-scored Random Forest
基于单水平密度的聚类方法一直被广泛认为是一种概念上和数学上令人信服的聚类方法。在本文中，我们提出了一种算法称为“最佳得分聚类森林”，可以获得最佳水平，并确定相应的集群。术语“最佳得分”意味着从一定数量的纯随机树候选中选择一个具有最佳经验性能的随机树。从理论的角度来看，我们首先表明，我们提出的算法的一致性可以得到保证。此外，在对底层密度函数和目标聚类的某些温和限制下，甚至可以实现快速收敛。最后，与其他国家的最先进的聚类方法在数值实验中的比较表明，我们的算法的准确性在合成数据和几个基准的真实数据集。
Universal consistency and minimax rates for online Mondrian Forests
我们建立了Mondrian森林算法的一致性，Mondrian森林算法是一种可以在线实现的随机分类算法。首先，我们修改了原来的蒙德里安森林算法，认为一个固定的生命周期参数。事实上，这个参数是固定的这一事实阻碍了原始程序的统计一致性。我们的修改后的蒙德里安森林算法增长的树木增加生命周期参数$λ_n$，并使用替代更新规则，允许工作也在网上时尚。其次，我们提供了一个理论分析，建立简单的条件一致性。我们的理论分析还表现出一个令人惊讶的事实：我们的算法实现了极大极小率（最优率）的Lipschitz回归函数的估计，这是一个强大的扩展以前的结果到任意维度。
Random forests and kernel methods
随机森林是一种集成方法，它将树作为基本学习者，并通过平均来组合它们的预测。随机森林以其良好的实际性能而闻名，特别是在高维环境中。在理论方面，一些研究强调了随机森林和内核方法之间潜在的富有成效的联系。在本文中，我们详细研究了这种联系。特别是，我们表明，通过稍微修改它们的定义，随机森林可以重写为内核方法（称为基于随机森林的内核KerRF），这是更可解释和更容易分析。给出了几种随机森林模型的KeRF估计的显式表达式及其相合率的上界。我们还表明经验，KerRF估计相比随机森林估计。
Neural Random Forests
给定随机回归树的集合，可以将它们重构为具有特定连接权重的多层神经网络的集合。遵循这一原则，我们重新制定的随机森林方法Breiman（2001）到神经网络设置，并反过来提出了两个新的混合程序，我们称之为神经随机森林。这两个预测器都利用回归树的先验知识来构建它们的架构，比标准网络具有更少的参数来调整，并且比树对决策边界的几何形状的限制更少。一致性的结果得到证明，并提供大量的数值证据合成和真实的数据集，以评估我们的方法在各种各样的预测问题的优异性能。
Banzhaf Random Forests
随机森林是一种集成方法，它通过组合几个独立树的结果来进行预测。然而，随机森林的理论早已被它们的应用所超越。提出了一种基于合作博弈理论的随机森林算法。Banzhaf功率指数通过遍历可能的特征联盟来评估每个特征的功率。与以前使用的信息增益率的信息论，它只是选择最翔实的功能，Banzhaf功率指数可以被认为是一个度量的重要性，每个功能之间的依赖性的一组功能。更重要的是，我们已经证明了所提出的算法，命名为Banzhaf随机森林（BRF）的一致性。这种理论分析采取了一个步骤，缩小了分类问题的随机森林的理论和实践之间的差距。在多个UCI基准数据集上的实验表明，BRF与最先进的分类器相比具有竞争力，并且显著优于以前的一致性随机森林。特别是，它比以前的一致随机森林更有效。
On Variance Estimation of Random Forests with Infinite-Order U-statistics
无限阶U-统计量（IOUS）已被广泛用于子打包集成学习算法，如随机森林，以量化其不确定性。虽然IOUS的正态性结果已被广泛研究，但其方差估计方法和理论性质仍大多未被探索。现有的方法主要利用Hoeffding分解中的主导项优势属性。然而，当核大小较大或样本量较小时，这种观点通常会导致有偏估计。另一方面，虽然文献中存在一些无偏估计量，但它们之间的关系和理论性质，特别是比率相合性，从未被研究过。这些限制导致构造的置信区间的性能无法保证。为了弥合这些差距，在文献中，我们提出了一个新的观点Hoeffding分解方差估计，导致一个无偏估计量。我们的观点利用了峰值区域的优势，而不是主导项的优势。此外，我们建立了我们的估计与现有的几个无偏方差估计的联系和等价性。从理论上讲，我们是第一个建立这样的方差估计的比率一致性，这证明了覆盖率的置信区间从随机森林构造。数值上，我们进一步提出了一个局部平滑过程，以提高估计的有限样本性能。广泛的模拟研究表明，我们的估计享有较低的偏见和存档目标覆盖率。
Random forest estimation of conditional distribution functions and conditional quantiles
我们提出了一个理论研究的两个现实估计的条件分布函数和条件分位数使用随机森林。估计过程在构建森林时使用从原始数据集生成的自举样本。Bootstrap样本被重用来定义第一个估计量，而第二个估计量只需要原始样本，一旦森林已经建立。我们证明了这两个估计的条件分布函数是一致相合的。据我们所知，这是第一个包含引导部分的一致性证明。我们还说明了一个数值例子的估计程序。
Confidence and Uncertainty Assessment for Distributional Random Forests
针对现有分布随机森林（DRF）仅具备预测一致性和收敛速度结果、缺乏不确定性评估工具的问题，本文刻画DRF的渐近分布并构建自助法近似，推导了带渐近覆盖率保证的标准误估计与置信区域构造方法，且经模拟实验验证有效。
SHAFF: Fast and consistent SHApley eFfect estimates via random Forests
学习算法的可解释性对于涉及关键决策的应用至关重要，变量重要性是主要的解释工具之一。Shapley效应现在被广泛用于解释树集合和神经网络，因为它们可以有效地处理数据中的依赖性和相互作用，而不是大多数其他变量重要性度量。然而，由于计算复杂性和条件期望估计，估计Shapley效应是一项具有挑战性的任务。因此，现有的Shapley算法有缺陷：昂贵的运行时间，或输入变量依赖时的偏差。因此，我们通过随机森林引入SHAFF，SHAPley效应，即使在输入变量相关时，也是快速准确的Shapley效应估计。我们通过理论分析其一致性，并通过大量的实验与竞争对手的实际性能改进SHAFF效率。SHAFF在C++和R中的实现可以在线获得。
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而，在许多实际应用中，估计是主要的兴趣，例如，作为构建预测区间的主要步骤。在这里，我们考虑这个问题的随机森林。其中，协变量和响应变量之间的函数关系通过后者的加权和来建模。然而，在树构造过程中构造的权重中涉及依赖结构，使得模型在数学分析中变得复杂。在L2-相容随机森林模型下，给出了基于随机森林的残差方差估计，并证明了它们的相合性。
Tradeoffs between Mistakes and ERM Oracle Calls in Online and Transductive Online Learning
研究在线与直推式学习中仅通过ERM或弱一致性预言机交互时的错误与调用权衡，证明了紧致下界并给出了最优界限与改进算法。
TrIM: Transformed Iterative Mondrian Forests for Gradient-based Dimension Reduction and High-Dimensional Regression
提出一种计算高效的梯度线性降维和高维回归算法，通过Mondrian森林估计期望梯度外积矩阵，并迭代更新特征和权重以提升回归性能，理论保证一致性。
ForestHash: Semantic Hashing With Shallow Random Forests and Tiny Convolutional Networks
哈希码是处理不断增长的数据量的有效数据表示。在本文中，我们介绍了一种随机森林语义哈希方案，该方案将微小的卷积神经网络（CNN）嵌入到浅随机森林中，在树之间具有接近最优的信息理论代码聚合。我们从一个简单的散列方案开始，其中森林中的随机树作为散列函数，为访问的树叶设置“1”，为其余树叶设置“0”。我们发现，传统的随机森林无法生成哈希，保持树之间的潜在相似性，使随机森林的方法来哈希具有挑战性。为了解决这个问题，我们建议首先将每个树分裂节点处的到达类随机分组为两组，获得显著简化的两类分类问题，可以使用轻量级CNN弱学习器来处理。这种随机类分组方案通过强制每个类与不同树中的不同类共享其代码来实现代码唯一性。对于CNN弱学习器进一步采用非常规的低秩损失，以通过最小化两个随机类组的类内变化和最大化类间距离来鼓励代码一致性。最后，我们介绍了一种信息理论的方法，用于将各个树的代码聚合成单个哈希代码，为每个类产生一个接近最优的唯一哈希。所提出的方法显着优于国家的最先进的散列方法的图像检索任务上的大规模公共数据集，而在其他国家的最先进的图像分类技术的水平，同时利用更紧凑，更有效的可扩展的表示。这项工作提出了一个有原则的和强大的程序，并行训练和部署一个轻量级CNN的集合，而不是简单地深入。
Random Forests for dependent data
随机森林（RF）是估计回归函数的最流行的方法之一。当误差为独立同分布时，基于节点内均值和方差的RF算法的局部性质是理想的。对于相关的错误处理，如时间序列和空间设置，其中所有节点中的数据将是相关的，本地操作忽略这种依赖性。此外，RF将涉及相关数据的恢复，违反了自举原则。理论上，已确定i.i.d.的RF一致性。错误，但很少有人知道的情况下，相关的错误。我们提出了RF-GLS，一个新的扩展RF的相关误差过程中，以同样的方式广义最小二乘（GLS）从根本上扩展普通最小二乘（OLS）的线性模型的依赖。这种扩展的关键是将回归树中的局部决策等效表示为全局OLS优化，然后用GLS损失替换以创建GLS风格的回归树。这也协同地解决了恢复问题，因为GLS损失的使用相当于恢复不相关的对比度（预白化数据）而不是相关数据。对于空间设置，RF-GLS可与高斯过程相关误差结合使用，以在新位置生成克里金预测。RF成为具有单位工作协方差阵的RF-GLS的特殊情况。我们建立的RF-GLS下的beta-（绝对正则）混合误差过程的一致性，并表明，这一一般性的结果包括重要的情况下，如自回归时间序列和空间Matern高斯过程。作为一个副产品，我们还建立了一致性的RF β-混合过程，据我们所知，这是第一个这样的结果RF下的依赖。我们的经验表明，RF-GLS的估计和预测下的依赖性比RF实现的改善。
Best-scored Random Forest Density Estimation
本文提出了一种新的非参数密度估计策略，称为最佳得分随机森林密度估计，其有效性得到了坚实的理论分析和显著的实验性能的支持。术语最佳得分代表从一定数量的纯随机密度树候选中选择一个具有最佳估计性能的密度树，然后我们将所选的密度树命名为最佳得分随机密度树。以这种方式，作为最佳评分随机密度森林的这些选择的树的集合可以实现比简单地集成树而没有选择更好的估计结果。从理论上讲，通过将误差项分解为两个，我们能够进行以下分析：首先，我们建立了$L_1$ -范数下的最佳得分随机密度树的一致性。其次，在三种不同的尾部假设下，分别给出了它们在$L_1$ -范数下的收敛速度。第三，给出了在$L_{\infty}$ -范数下的收敛速度。最后，我们还实现了上述最佳得分随机密度森林的收敛率分析。在模拟数据集和真实数据集上与其他最先进的密度估计方法进行对比实验，结果表明，该算法不仅在估计精度方面优于其他方法，而且具有更强的抗维数灾难能力。
Fréchet random forests for metric space valued regression with non euclidean predictors
本文提出Fréchet树和Fréchet随机森林，通过引入新的节点分裂方法和推广预测过程，支持输入输出变量在一般度量空间取值的异构数据回归，并验证了其一致性与有效性。
High-Dimensional Dynamic Covariance Models with Random Forests
针对高维动态协方差估计问题，提出首个基于随机森林的多协变量非参数方法，建立了含非渐近误差率的一致收敛理论，经模拟和股票数据验证可有效建模高维复杂动态。
Indoor Localization by Fusing a Group of Fingerprints Based on Random Forests
基于单指纹的室内定位方法易受环境变化、多径和非视距传播的影响。建立SIOF也是一个非常耗时的过程。最近，我们首次提出了一个指纹组（GOOF），以提高定位精度和减少建设指纹的负担。然而，最大的缺点是时效性。在本文中，我们提出了一种新的本地化框架融合一组指纹（FAGOT）的基础上随机森林。在离线阶段，我们首先从多个天线的接收信号的不同变换来构建GOOF。然后，我们设计了多个基于随机森林的GOOF强分类器（GOOF-RF），通过训练GOOF中的每个指纹。在在线阶段，我们将真实测量的相应变换输入到这些强分类器中，以获得多个独立的决策。最后，我们提出了一种滑动窗口辅助模式（SWIM）融合算法，以平衡定位精度和时间。我们提出的方法可以在未知的室内场景中更好地工作。建立指纹的负担也可以大大减少。我们证明了我们的算法的性能，通过模拟和真实的实验数据，使用两个通用软件无线电外设（USRP）平台。
Adaptive Concentration of Regression Trees, with Application to Random Forests
我们研究了回归树和森林的预测曲面的收敛性。为了支持我们的分析，我们引入了回归树的自适应集中的概念。这种方法将树训练分为模型选择阶段，在这个阶段我们选择树的分裂，然后是模型拟合阶段，在这个阶段我们找到与这些分裂一致的最佳回归模型。然后，我们表明，拟合的回归树集中在具有相同分割的最佳预测器周围：随着d和n变大，差异在整个回归表面上均匀地以sqrt（log（d）log（n）/k）的数量级高概率为界，其中d是特征空间的维度，n是训练样本的数量，k是每棵树的最小叶大小。我们还提供了速率匹配的下界，这个自适应浓度的声明。从实践的角度来看，我们的结果使我们能够证明高维自适应生长森林的一致性结果，并在Berk等人的意义上进行有效的后选择推理。[2013]对于树叶定义的子群。
Generalized Random Forests using Fixed-Point Trees
针对高维异质性效应估计中广义随机森林计算成本高、不稳定的问题，提出基于不动点近似的无梯度方法，保留理论保证的同时实现数倍加速，为相关应用提供可扩展替代方案。
MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA
变量重要性度量是分析随机森林黑箱机制的主要工具。虽然平均减少精度（MDA）被广泛接受为最有效的随机森林变量的重要性措施，很少有人知道它的统计特性。事实上，MDA的定义在主要的随机森林软件中各不相同。在本文中，我们的目标是严格分析主要MDA实现的行为。因此，我们数学形式化的各种实现MDA算法，然后建立他们的限制时，样本量增加。这种渐近分析表明，这些MDA版本不同的重要性措施，因为它们收敛到不同的数量。更重要的是，我们将这些限制分解为三个部分：前两项与Sobol指数相关，Sobol指数是协变量对响应方差的贡献的定义明确的度量，广泛用于敏感性分析领域，而第三项则相反，其值随着协变量内的依赖性而增加。因此，我们从理论上证明，MDA不针对正确的数量来检测有影响力的协变量在一个依赖的设置，一个事实，已经注意到实验。为了解决这个问题，我们为随机森林定义了一个新的重要性度量，Sobol-MDA，它修复了原始MDA的缺陷，并一致地估计了在没有给定协变量的情况下重新训练的森林的准确性下降，但具有有效的计算成本。Sobol-MDA在变量选择的模拟和真实数据上的经验表现优于其竞争对手。在R和C++中的开源实现可以在线获得。
Multi-label Classification of User Reactions in Online News
随着互联网用户数量的增加和Web 2.0带来的强交互性，意见挖掘成为自然语言处理领域的一个重要课题。虽然有几种方法能够执行此任务，但很少使用多标签分类，其中每个示例都有一组真正的标签。这种分类对于从读者的角度分析观点的情况很有用，这是因为每个人对同一主题都有不同的解释和观点。针对新闻文本中反应的多标签分类问题，讨论了问题转换方法与不同分类算法相结合的有效性。要做到这一点，广泛的测试进行了两个新闻语料库写在巴西葡萄牙语注释的反应。提出了一个新的语料库BFRC-PT。在执行的测试中，使用分类器链方法结合随机森林算法获得了最高数量的正确预测。当考虑类别分布时，使用二进制相关性方法结合LSTM和随机森林算法获得了最佳结果。
FACT: High-Dimensional Random Forests Inference
针对随机森林特征重要性度量存在偏差且缺乏功效分析的问题，本文提出基于假设检验的自归一化特征残差相关性检验（FACT），在高维非参数相依特征下控制第一类错误并具备良好功效，通过模拟与经济预测验证其有效性。
Decision Forest Based EMG Signal Classification with Low Volume Dataset Augmented with Random Variance Gaussian Noise
肌电信号可以被机器学习模型用作训练数据以分类各种姿势。我们试图产生一个模型，可以用有限数量的样本对六种不同的手势进行分类，这些样本可以很好地推广到更广泛的受众，同时将我们的特征提取结果对模型准确性的影响与其他更传统的方法进行比较，例如在信号通道的滑动窗口上使用AR参数。我们呼吁一组更基本的方法，如使用随机边界的信号，但希望显示的权力，这些方法可以进行在线设置，其中EMG分类正在进行，而不是更复杂的方法，如使用傅立叶变换。为了增加我们有限的训练数据，我们使用了一种称为抖动的标准技术，其中随机噪声以通道方式添加到每个观察中。使用上述方法生成所有数据集后，我们使用Random Forest和XGBoost进行网格搜索，最终创建一个高精度模型。对于人机界面的目的，EMG信号的高精度分类对于它们的功能是特别重要的，并且考虑到大量积累任何种类的生物医学数据的困难和成本，具有可以使用少量高质量样本的技术是有价值的，具有可以在在线应用中可靠地执行的较便宜的特征提取方法。
Conditional Distribution Estimation for Functional Responses with Random Forests
该研究提出函数分布随机森林方法，实现函数响应条件分布的非参数估计，在模拟和NHANES数据应用中均表现优于基线方法，可捕捉分布变化与协变量关联。
Correcting Split Selection in Online Decision Trees via Anytime-Valid Inference
针对在线决策树分裂选择缺乏有效统计保证的问题，提出基于随时有效推断的方法，实现任意数据流下错误分裂的随时有效控制、预测优势下的有限承诺时间，并在平稳独立同分布数据下保证风险单调递减且每次分裂严格改善。
AutoDiscern: Rating the Quality of Online Health Information with Hierarchical Encoder Attention-based Neural Networks
越来越多的患者在与健康专业人员交谈之前或代替与健康专业人员交谈，转向搜索引擎和在线内容。低质量的健康信息在互联网上很常见，以错误信息的形式给患者带来风险，并可能与他们的医生关系更差。为了解决这个问题，DISCERN标准（在牛津大学开发）用于评估在线健康信息的质量。然而，患者不太可能花时间将这些标准应用于他们访问的健康网站。我们使用机器学习模型构建了DISCERN仪器（简要版）的自动化实现。我们使用两种语言嵌入，BERT和BioBERT，比较了传统模型（随机森林）与分层编码器注意力神经网络（HEA）模型的性能。HEA BERT和BioBERT模型在所有标准下的平均F1-macro得分分别为0.75和0.74，优于随机森林模型（平均F1-macro = 0.69）。总体而言，基于神经网络的模型在100%和80%的覆盖率下分别实现了81%和86%的平均准确率，而手动评级准确率为94%。在HEA架构中实现的注意力机制不仅通过为满足Brief DISCERN标准的文档识别合理的支持语句来提供“模型可解释性”，而且与没有注意力机制的相同架构相比，还将F1性能提高了0.05。我们的研究表明，自动化在线健康信息质量评估是可行的，这是使患者成为医疗保健过程中知情合作伙伴的重要一步。
An application of an Embedded Model Estimator to a synthetic non-stationary reservoir model with multiple secondary variables
将地质统计学与随机森林相结合，提出了一种具有多个次要变量的非平稳空间建模方法（Ember）。它将“随机森林”方法扩展为插值算法，同时保留与地统计算法和随机森林相似的一致性属性。它允许将更简单的插值算法嵌入到过程中，通过随机森林训练过程将它们组合起来。该算法估计每个目标位置处的条件分布。这种分布族称为模型包络。一个算法来产生随机模拟的信封证明。该算法允许次要变量的影响以及结果的可变性随模拟中的位置而变化。
Extremal Random Forests
本文提出极值随机森林 ERF，结合分位数随机森林权重、局部广义 Pareto 似然与形状参数惩罚，实现高维复杂情形下的极端分位数外推回归，并证明一致性、验证其性能优势。
Wilcoxon Random Forests for Robust Distributional Prediction
针对生物医学有序结果中的异常值、偏态和混合类型，提出基于秩分裂的Wilcoxon随机森林，通过聚合回归树估计条件分布，在偏态或异方差下提升分位数估计与校准，并成功应用于HIV治疗后的CD4和病毒载量预测。
Online Binary Space Partitioning Forests
二进制空间划分树（BinarySpacePartitioning-Tree ~（BSP-Tree））过程是最近提出的一种有效的空间划分策略。由于它使用多个维度来划分空间，BSP树过程比传统的轴对齐切割策略更有效和灵活。然而，由于其批量学习设置，它不太适合大规模的分类和回归问题。在本文中，我们开发了一个在线BSP森林框架来解决这个限制。随着新数据的到来，所得到的在线算法可以同时扩大空间覆盖和细化分区结构，并保证分类和回归问题的普遍一致性。在线BSP森林的有效性和竞争力的表现是通过模拟真实世界的数据集进行验证。
ROSE Random Forests for Robust Semiparametric Efficient Estimation
针对半参数有效估计在实践中难以实现的问题，提出ROSE随机森林估计器，通过估计最优权重实现稳健半参数效率，在模拟和真实数据上验证了有效性。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。