The Random Forest Kernel and other kernels for big data from random partitions
University of Cambridge（剑桥大学）
我们提出了随机分区内核，一类新的内核，通过展示对象的随机分区之间的自然连接和这些对象之间的内核。我们将展示如何使用该构造来从通常不被视为随机分区的方法（如随机森林）中创建内核。为了证明这种方法的潜力，我们提出了两个新的内核，随机森林内核和快速聚类内核，并表明这些内核在涉及现实世界的数据集的问题上始终优于标准内核。最后，我们展示了这些内核的形式如何适合于某些大数据问题的自然近似，允许$O(N)$在高斯过程，支持向量机和核PCA等方法中进行推理。
2014-02-18 cs.LG stat.ML
Extending Explainable Ensemble Trees (E2Tree) to regression contexts
Department of Economics and Statistics, University of Naples Federico II（那不勒斯费德里科二世大学经济学与统计学系）；Institute of Psychology, Leiden University（莱顿大学心理学研究所）
本文通过引入新的不相似度度量，将可解释集成树方法从分类扩展到回归，并在真实数据集上验证其解释能力。
2024-09-10 cs.LG stat.CO stat.ML
Unbiased variable importance for random forests
Berlin School of Economics and Law（柏林经济与法律学院）
随机森林中的默认变量重要性度量，基尼重要性，已被证明受到潜在的基尼增益分裂标准的偏见。虽然替代排列重要性通常被接受为变量重要性的可靠度量，但它在计算上也是苛刻的，并且具有其他缺点。我们提出了一个简单的解决方案，误导/不可信的基尼重要性，可以被视为一个过拟合问题：我们计算的损失减少袋外，而不是袋内的训练样本。
2020-03-09 cs.LG stat.AP stat.ML
On Variance Estimation of Random Forests with Infinite-Order U-statistics
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
无限阶U-统计量（IOUS）已被广泛用于子打包集成学习算法，如随机森林，以量化其不确定性。虽然IOUS的正态性结果已被广泛研究，但其方差估计方法和理论性质仍大多未被探索。现有的方法主要利用Hoeffding分解中的主导项优势属性。然而，当核大小较大或样本量较小时，这种观点通常会导致有偏估计。另一方面，虽然文献中存在一些无偏估计量，但它们之间的关系和理论性质，特别是比率相合性，从未被研究过。这些限制导致构造的置信区间的性能无法保证。为了弥合这些差距，在文献中，我们提出了一个新的观点Hoeffding分解方差估计，导致一个无偏估计量。我们的观点利用了峰值区域的优势，而不是主导项的优势。此外，我们建立了我们的估计与现有的几个无偏方差估计的联系和等价性。从理论上讲，我们是第一个建立这样的方差估计的比率一致性，这证明了覆盖率的置信区间从随机森林构造。数值上，我们进一步提出了一个局部平滑过程，以提高估计的有限样本性能。广泛的模拟研究表明，我们的估计享有较低的偏见和存档目标覆盖率。
2023-02-14 cs.LG stat.CO stat.ME
Deep Distributed Random Samplings for Supervised Learning: An Alternative to Random Forests?
在（\cite{zhang2014nonlinear,zhang2014nonlinear2}）中，我们将机器学习看作是一个编码和降维问题，并进一步提出了一种简单的无监督降维方法，称为深度分布随机采样（DDRS）。在本文中，我们进一步扩展到监督学习增量。这里的关键思想是将标签信息纳入到编码过程中，通过重新制定DDRS中的每个中心都有多个输出单元，指示中心属于哪个类别。监督学习方法似乎与随机森林（\cite{breiman2001random}）有些相似，在这里我们强调它们的区别如下。(i)我们的方法的每一层都考虑了训练数据中的部分数据点与所有训练数据点之间的关系，而随机森林则专注于仅在部分训练数据点上独立地构建每个决策树。(ii)我们的方法通过越来越少的数据点来构建逐渐缩小的网络，而随机森林通过合并子类来构建逐渐缩小的网络。(iii)我们的方法从底层到顶层训练得更直接，而随机森林通过分裂从顶层到底层构建每棵树。(iv)我们的方法编码输出目标隐式稀疏代码，而随机森林编码输出目标通过记住激活节点的类属性。因此，我们的方法是一个更简单，更直接，也许是一个更好的替代选择，虽然这两种方法都使用两个非常基本的元素-随机化和最近邻优化-作为核心。此预印本用于保护增量思想不受（\cite{zhang2014nonlinear,zhang2014nonlinear2}）的影响。完整的经验评估将在稍后…
2015-01-28 cs.LG stat.ML
Localized Uncertainty Quantification in Random Forests via Proximities
Department of Statistics Brigham Young University Provo, Utah, USA；Department of Statistics Texas A\&M University College Station, Texas, USA
针对随机森林的局部不确定性量化问题，提出利用 OOB 误差与邻近度构建回归预测区间和分类信任分数，可调节覆盖率并提升弃权（不执行）后的准确率及 accuracy-rejection AUC。
2025-09-26 cs.LG stat.ML
Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers
University of Pennsylvania（宾夕法尼亚大学）；Apple Inc.（苹果公司）
有大量的文献解释了为什么AdaBoost是一个成功的分类器。AdaBoost的文献集中在分类器的利润和提升的解释为指数似然函数的优化。然而，这些现有的解释被指出是不完整的。随机森林是另一种流行的集成方法，在文献中的解释少得多。我们介绍了一个新的角度AdaBoost和随机森林，提出这两种算法的工作原理相似。虽然这两种分类器实现了类似的预测精度，但随机森林不能被视为直接优化过程。相反，随机森林是一种自平均，插值算法，它创建了我们所称的“尖峰平滑”分类器，我们以同样的眼光看待AdaBoost。我们推测AdaBoost和随机森林都是因为这种机制而成功的。我们提供了一些例子和一些理论依据来支持这一解释。在这个过程中，我们质疑传统的智慧，认为分类的提升算法需要正则化或提前停止，并且应该限于低复杂度的学习者类别，例如决策树。我们的结论是，boosting应该像随机森林一样使用：使用大型决策树，而不需要直接正则化或提前停止。
2017-04-29 cs.LG stat.ME stat.ML
Complex-valued embeddings of generic proximity data
University of Applied Sciences Würzburg-Schweinfurt（维尔茨堡-施韦因富特应用科学大学）；University of Groningen（格罗宁根大学）
接近性是几乎所有机器学习方法的核心。如果输入数据被给定为相等长度的数值向量，则在建模算法中经常使用欧几里得距离或希尔伯特内积。在更一般的观点中，对象通过（对称）相似性或不相似性度量进行比较，这可能不遵守特定的数学属性。这使得许多机器学习方法无效，导致收敛问题和保证损失，如泛化边界。在许多情况下，优选的相异性度量不是度量，如推土机距离，或者相似性度量可能不是希尔伯特空间中的简单内积，而是其推广的克莱因空间。如果输入数据是非向量的，如文本序列，则使用基于邻近的学习或可以应用ngram嵌入技术。标准嵌入导致期望的固定长度向量编码，但成本高，并且在保留原始数据的完整信息方面有很大的限制。作为一种信息保持的替代方案，我们提出了一个复值向量嵌入邻近数据。这允许合适的机器学习算法使用这些固定长度的复值向量进行进一步处理。复值数据可以用作复值机器学习算法的输入。特别是，我们解决了监督学习和使用基于原型的学习的扩展。所提出的方法在各种标准基准上进行了评估，与处理非指标或非psd邻近数据的传统技术相比，显示出强大的性能。
2020-08-31 cs.LG stat.ML
When do Random Forests work?
Tilburg University（蒂尔堡大学）
该研究通过分析不同SNR场景及数据特征下随机森林的样本外MSE，发现随机化有效性与SNR及协变量特性相关，且协变量相关时可显著降低偏差，为理解随机森林效果提供新视角。
2026-09-29 cs.LG stat.ML
Slow-Growing Trees
Université du Québec à Montréal（魁北克大学蒙特利尔分校）
随机森林的性能可以通过一棵缓慢生长的树（SGT）来匹配，SGT使用学习率来驯服CART的贪婪算法。SGT利用CART是迭代加权最小二乘过程的极端情况的观点。此外，一个统一的观点，提升树（BT）和随机森林（RF）。贪婪ML算法的结果可以通过“缓慢学习”或多样化来改善。SGT应用前者来估计单个深树，Booging（具有高学习率的装袋随机BT）使用后者与加性浅树。这棵树合奏四位一体（Booging，BT，SGT，RF）的性能进行评估模拟和真实的回归任务。
2021-07-14 cs.LG econ.EM stat.AP
Dynamic estimation with random forests for discrete-time survival data
在生存研究中经常可以获得时变协变量，并且当获得新信息时，需要更新风险函数的估计。在本文中，我们研究了几种不同的易于实现的方法，随机森林可以用于动态估计的生存或风险函数从离散时间的生存数据。仿真研究结果表明，所有方法都可以很好地执行，没有一个占主导地位的其他。一般来说，从估计的角度来看更困难的情况（例如较弱的信号和较少的数据）有利于全局拟合，在所有时间点上汇集，而从估计的角度来看更容易的情况（例如较强的信号和更多的数据）有利于局部拟合。
2021-03-03 stat.AP stat.ME
Random Forests for Big Data
INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；Univ. Bordeaux（波尔多大学）；Univ. Paris-Sud Orsay（巴黎第十一大学）；Univ. Paris Descartes（巴黎第五大学）；Université Côte d’Azur（蔚蓝海岸大学）；CNRS（法国国家科学研究中心）；Université de Toulouse（图卢兹大学）；INRA（法国国家农业研究院）
大数据是统计科学的主要挑战之一，从算法和理论角度来看，它有许多后果。大数据总是涉及大量数据，但它们也经常包括在线数据和数据异构性。最近，一些统计方法已被用于处理大数据，如线性回归模型，聚类方法和自举方案。基于决策树结合聚合和自助思想，随机森林是由Breiman在2001年提出的。它们是一种功能强大的非参数统计方法，可以在单一和通用的框架中考虑回归问题，以及两类和多类分类问题。聚焦于分类问题，本文提出了一个有选择性的审查现有的建议，处理大数据问题的随机森林扩展。这些建议依赖于并行环境或随机森林的在线适应。我们还描述了如何相关的数量-如出袋错误和变量的重要性-在这些方法中得到解决。然后，我们在大数据背景下为随机森林制定了各种注释。最后，我们在两个大规模数据集（1500万和1.2亿个观测值）上试验了五种变体，一个是模拟数据集，另一个是真实世界数据集。一个变体依赖于子采样，而其他三个变体与随机森林的并行实现有关，并且涉及对大数据的自举或“分而治之”方法的各种适应。第五个变体涉及随机森林的在线学习。这些数值实验突出了不同变体的相对性能，以及它们的一些局限性。
2017-03-22 cs.LG math.ST stat.ML
When are Deep Networks really better than Decision Forests at small sample sizes, and how?
Johns Hopkins University（约翰斯·霍普金斯大学）；Harvard University（哈佛大学）；Microsoft Research（微软研究院）
深度网络和决策森林（如随机森林和梯度提升树）分别是结构化和表格数据的主要机器学习方法。许多论文已经经验性地比较了一个或两个不同领域（例如，100种不同的表格数据设置）。然而，还需要利用最新的最佳做法对这两种战略进行仔细的概念和经验比较。从概念上讲，我们说明，两者都可以被视为有利可图的“分区和投票”计划。具体来说，他们都学习的表示空间是将特征空间划分为凸多面体的并集。对于推理，每个节点都根据激活节点的投票进行决策。这一表述允许对这些方法之间的关系有一个统一的基本理解。从经验上讲，我们比较了这两种策略的数百个表格数据设置，以及一些视觉和听觉设置。我们的重点是最多10，000个样本的数据集，这代表了科学和生物医学数据集的很大一部分。总的来说，我们发现森林在小样本量的表格和结构化数据（视觉和听觉）方面表现出色，而深度网络在大样本量的结构化数据上表现更好。这表明，通过进一步结合森林和网络的各个方面，可以在这两种情况下实现进一步的收益。我们将在未来几个月继续修订本技术报告，更新结果。
2021-11-02 cs.AI cs.LG q-bio.NC
Confidence Band Estimation for Survival Random Forests
生存随机森林是一种流行的机器学习工具，用于建模删失生存数据。然而，目前还没有统计上有效和计算上可行的方法来估计其置信带。本文推广了无限阶不完全U统计量的最新发展，提出了一种无偏置信带估计。其思想是估计时间点网格上累积风险函数预测的方差-协方差阵。然后，我们通过将累积风险函数估计视为高斯过程来生成置信带，其分布可以通过模拟来近似。当树的子采样大小不大于总训练样本量的一半时，这种方法在计算上容易实现。数值研究表明，我们提出的方法准确地估计的置信带，并达到预期的覆盖率。我们将此方法应用于退伍军人管理局肺癌数据。
2022-04-26 stat.CO stat.ME stat.ML
Revisiting Forest Proximities via Sparse Leaf-Incidence Kernels
Département de mathématiques et de statistique, Université de Montréal（蒙特利尔大学数学与统计学系）；Mila – Quebec AI Institute（魁北克人工智能研究所）；Department of Mathematics and Statistics, Utah State University（犹他州立大学数学与统计学系）；Department of Statistics, Brigham Young University（Brigham Young 大学统计学系）
本文提出基于分离加权叶碰撞核的统一框架，通过稀疏叶碰撞结构实现森林亲疏关系的高效计算，减少计算复杂度并提升可扩展性。
2026-07-30 cs.DS cs.LG cs.PF
SIRUS: Stable and Interpretable RUle Set for Classification
Safran Tech（赛峰科技）；Sorbonne Université（索邦大学）；Ecole Polytechnique（巴黎综合理工学院）
最先进的学习算法，如随机森林或神经网络，通常被称为“黑盒”，因为它们的预测机制中涉及的操作的数量和复杂性很高。这种可解释性的缺乏是涉及关键决策的应用程序的一个很大的限制，通常是制造业中生产过程的分析。在这样的关键背景下，模型必须是可解释的，即，简单、稳定、可预测。为了解决这个问题，我们设计了SIRUS（稳定和可解释的规则集），一个新的分类算法的基础上随机森林，它采取了一个简短的规则列表的形式。虽然简单的模型通常不稳定的数据扰动，SIRUS实现了显着的稳定性改善了尖端的方法。此外，SIRUS继承了接近随机森林的预测准确性，并结合了决策树的简单性。这些属性进行评估，从理论和经验的角度来看，通过广泛的数值实验的基础上，我们的R/C++软件实现SIRUS可从CRAN。
2020-12-16 cs.LG math.ST stat.ML
Supervised Visualization for Data Exploration
Utah State University（犹他州立大学）；Université de Montréal（蒙特利尔大学）
简化通常被用作数据探索的初始步骤，无论是作为分类或回归的预处理，还是用于可视化。迄今为止，大多数降维技术都是无监督的;它们不考虑类别标签（例如，PCA、MDS、t-SNE、Isomap）。这样的方法需要大量的数据，并且通常对可能混淆数据中的重要模式的噪声敏感。在考虑辅助注释（例如，类标签）已经成功地实现了提高分类准确性或改进数据可视化的目标。这些监督技术中的许多技术以相似性或相异性矩阵的形式将标签并入损失函数中，从而在类别聚类之间创建过度强调的分离，这并不能真实地表示数据中的局部和全局关系。此外，这些方法往往是敏感的参数调整，这可能是难以配置没有明确的定量概念的视觉优势。在本文中，我们描述了一种新的监督可视化技术的基础上随机森林的接近和基于扩散的降维。我们定性和定量地展示了我们的方法在保留数据中的局部和全局结构方面的优势，同时强调了低维嵌入中的重要变量。重要的是，我们的方法对噪声和参数调整具有鲁棒性，因此使用简单，同时为数据探索提供可靠的可视化。
2020-06-15 cs.HC cs.LG stat.AP
Improved Anomaly Detection by Using the Attention-Based Isolation Forest
Peter the Great St.Petersburg Polytechnic University（彼得大帝圣彼得堡理工大学）
提出了一种新的隔离森林算法--基于注意力的隔离森林算法（ABIForest），用于解决异常检测问题。该方法将注意力机制以Nadaraya-Watson回归的形式引入到隔离森林中，以提高异常检测问题的解决方案。修改的主要思想是根据实例和树本身的可学习参数为树的每条路径分配注意力权重。Huber的污染模型被提出来用于定义的注意力权重和它们的参数。因此，注意力权重线性地依赖于通过求解标准线性或二次优化问题来训练的可学习注意力参数。ABIForest可以被看作是隔离森林的第一个修改，它以一种简单的方式结合了注意力机制，而没有应用基于梯度的算法。用合成和真实数据集进行的数值实验表明，ABIForest的结果优于其他算法。所提出的算法的代码是可用的。
2022-10-05 cs.LG stat.ML
Multi-View Graph Embedding Using Randomized Shortest Paths
Tufts University（塔夫茨大学）
真实世界的数据集通常提供关于同一实体集的多种类型的信息。这些数据可以用多视图图很好地表示，多视图图由相同节点上的几组不同的边组成。这些可以用来分析实体如何从不同的视角进行交互。组合多个视图提高了从底层数据中得出的推断的质量，这增加了对开发有效的多视图图嵌入方法的兴趣。我们提出了一个算法，C-RSP，生成一个共同的（C）嵌入的多视图图使用随机最短路径（RSP）。该算法通过最小化跨多视图图的所有视图的任何两个节点之间的随机游动的预期成本来生成节点之间的相异性度量，从而对图的局部和全局结构进行编码。我们在真实和合成数据上测试了C-RSP，并表明它在嵌入和聚类任务方面优于基准算法，同时保持计算效率。
2018-08-20 cs.CV cs.LG stat.ML
Generalised Random Forest Space Overview
Interdisciplinary Centre for Mathematical and Computational Modelling (ICM), University of Warsaw（华沙大学跨学科数学与计算建模中心（ICM））
假设一个视图的随机森林作为一个特殊情况下的嵌套合奏的可互换的模块，我们构建了一个泛化空间，允许一个容易地开发新的方法基于该算法。我们讨论的作用和所需的属性模块在每个级别，特别是在一些已经提出的RF概括的背景下。
2015-01-17 cs.LG
Adaptive Weighted LSSVM for Multi-View Classification
Vrije Universiteit Brussel - AI Lab（布鲁塞尔自由大学-人工智能实验室）
本研究提出AW-LSSVM，通过迭代全局耦合提升多视图分类性能，实现互补学习并保持原始特征隔离，适用于隐私保护场景。
2026-07-31 cs.LG
Multi-view Graph Learning by Joint Modeling of Consistency and Inconsistency
South China Agricultural University（华南农业大学）；Tencent（腾讯）；Pazhou Lab（琶洲实验室）；Sun Yat-sen University（中山大学）；Guangdong Key Laboratory of Information Security Technology（广东省信息安全技术重点实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education（教育部机器智能与先进计算重点实验室）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）
图学习是一种很有前途的多视图聚类技术，它能够从多个视图中学习一个统一的、鲁棒的图。然而，现有的图学习方法大多集中在多视图的一致性问题，但往往忽略了多个视图之间的不一致性，这使得它们容易受到可能的低质量或噪声数据集。为了克服这一局限性，我们提出了一个新的多视图图学习框架，第一次同时和明确的多视图一致性和多视图不一致性模型在一个统一的目标函数，通过该模型，每个单视图图的一致和不一致的部分以及融合一致部分的统一图可以迭代学习。虽然优化的目标函数是NP-难的，我们设计了一个高效的优化算法，它能够获得一个近似的解决方案与线性时间复杂度的边数在统一图。此外，我们的多视图图学习方法可以应用于相似图和不相似图，这导致我们的框架中的两个基于图融合的变体。在12个多视图数据集上的实验证明了该方法的鲁棒性和有效性。
2021-07-03 cs.CV cs.LG stat.ML
Uncharted Forest a Technique for Exploratory Data Analysis
University of Delaware（特拉华大学）
探索性数据分析对于从高维数据集开发和理解分类模型至关重要。我们探讨了一种新的无监督树集成称为未知的森林可视化类协会，样本样本协会，类异质性，和无信息类种源研究的效用。未知森林算法可用于使用基于统计分布的变量和度量的随机选择来划分数据。在每棵树生长之后，维护到达每个终端节点的样本的计数。这些计数被存储在单个样本关联矩阵中，并且可以对每个样本进行彼此划分的似然度量。该矩阵可以很容易地被视为热图，并且概率可以通过考虑类别或集群成员的新度量来量化。我们展示了使用这种技术的优点和局限性，将其应用到两个分类数据集和三个种源研究数据集。本文中提出的两个指标也被广泛使用的指标进行了比较，从两个算法，具有基于方差的聚类机制。
2018-06-30 cs.LG stat.ME stat.ML
Conceptual Views on Tree Ensemble Classifiers
University of Kassel（卡塞尔大学）
针对树集成分类器可解释性不足的问题，提出基于格论的代数方法，构建两种全新概念视图，在标准参数训练的Random Forest上验证了其全局解释能力。
2023-02-10 cs.AI cs.LG cs.LO
Online Deterministic Annealing for Classification and Clustering
University of Maryland（马里兰大学）
提出一种在线无梯度原型学习算法，通过退火过程避免局部最优、增强鲁棒性并渐进增加模型复杂度，实现分类与聚类，且需极少超参数调优，并揭示Bregman散度的核心作用。
2022-01-10 cs.LG
Optimizing Emotion Recognition with Wearable Sensor Data: Unveiling Patterns in Body Movements and Heart Rate through Random Forest Hyperparameter Tuning
Telkom University（电信大学）
本研究利用智能手表与心率传感器数据，通过随机森林超参数调优优化情绪识别，在多场景实验中实现了86.63%的二分类与76.33%的三分类平均准确率。
2024-08-13 cs.HC cs.LG
Understanding Representation Gaps Across Scales in Tropical Tree Species Classification from Drone Imagery
Mila – Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Université de Montréal（蒙特利尔大学）；Cary Institute of Ecosystem Studies（生态系统研究所）；Smithsonian Tropical Research Institute（史密松国家热带研究所）；Department of Plant Sciences, University of Cambridge（剑桥大学植物科学系）；Universidade do Estado do Mato Grosso (UNEMAT)（马托格罗索州立大学（UNEMAT））
研究通过对比高分辨率近景与粗分辨率俯视影像，发现近景影像在树种分类中表现更优，尤其对稀有物种效果更显著，提出跨尺度自监督表征对齐方法提升分类模型性能。
2026-04-24 cs.CV cs.LG
