Unconstrained Face Recognition using ASURF and Cloud-Forest Classifier optimized with VLAD
Center for Pattern Recognition and Machine Intelligence, PES University（PES大学模式识别与机器智能中心）
本文提出了一种计算效率高的多类人脸图像分类算法，其中图像受到平移、旋转、尺度、颜色、光照和仿射失真的约束。该方法分为五个主要模块：用于人脸检测的Haar-Cascade、用于去除图像噪声的双边滤波器、用于关键点检测和描述的仿射加速鲁棒特征（ASURF）、用于特征量化的局部聚集描述符矢量（VLAD）和用于图像分类的云雾森林。所提出的方法旨在提高人脸识别系统的准确性和所需的时间。使用Cloud Forest算法作为分类器对三个基准数据集（即FACES 95，FACES 96和ORL面部数据集）进行分类，显示出良好的结果。所提出的方法，使用云森林算法成功地提高了识别模型2-12\%时，区别于其他集成技术，如随机森林分类器取决于所使用的数据集。
2021-04-02 cs.CV cs.LG
A Kernel Fisher Discriminant Analysis-Based Tree Ensemble Classifier: KFDA Forest
School of Industrial Management Engineering, Korea University（韩国大学工业管理工程学院）；School of Mechanical Engineering, Chungnam National University（Chungnam国立大学机械工程学院）
提出一种基于核Fisher判别分析的树集成方法KFDA Forest，通过Bootstrap和随机子集划分增强多样性，利用核技巧处理非线性数据，以决策树为基分类器提升准确率。
2026-06-27 cs.LG
An Adaptive Weighted Deep Forest Classifier
Peter the Great St.Petersburg Polytechnic University (SPbPU)（彼得大帝圣彼得堡理工大学（SPbPU））；St.Petersburg Clinical Research Center for Special Types of Medical Care (Oncology-oriented)（圣彼得堡特殊医疗类型临床研究中心（肿瘤导向））
提出了一种改进的基于自适应加权的Deep Forest算法的置信度筛选机制。修改的基本思想非常简单，源于Pang等人提出的置信度筛选机制思想，通过根据每个训练实例的分类精度更新每个级别的训练集来简化Deep Forest分类器。然而，如果置信度筛选机制只是从训练和测试过程中删除实例，则所提出的修改更灵活，并通过考虑分类准确性来分配权重。这在某种程度上类似于AdaBoost。数值实验表明，与Zhou和Feng提出的Deep Forest算法相比，该算法具有良好的性能.
2019-01-04 cs.LG stat.ML
Simplification of Forest Classifiers and Regressors
Hokkaido University（北海道大学）；Graduate School of Information Science and Technology（信息科学与技术研究生院）
我们研究了在保持分类性能的同时，尽可能多地共享给定森林分类器或回归器的分支条件的问题。作为防止精度下降的约束，我们首先考虑所有给定特征向量的决策路径必须不变的约束。对于某个特征的值至多是给定阈值的分支条件，满足这种约束的值的集合可以表示为区间。因此，该问题是减少到问题的最小集相交的所有约束满足的区间为同一功能的分支条件的每一个集。我们提出了一个算法，为原来的问题，使用一个算法有效地解决这个问题。该约束是放松后，以促进进一步共享的分支条件，通过允许决策路径的变化，一定比例的给定的特征向量或允许一定数量的非约束满足的间隔。我们还扩展了我们的算法的松弛。通过使用21个数据集（UCI机器学习库中的13个分类数据集和8个回归数据集）和4个分类器/回归器（随机森林、极端随机树、AdaBoost和梯度提升）的综合实验证明了该方法的有效性。
2022-12-14 cs.LG
Random Forest classifier for EEG-based seizure prediction
Paris Brian Institute（巴黎大脑研究所）；CentraleSupélec（巴黎中央理工-高等电力学院）；National Centre for scientific research（法国国家科学研究中心）；Hôpital de La Pitié Salpêtrière（皮提耶-萨尔佩特里埃医院）
癫痫发作预测在计算癫痫研究界获得了相当大的兴趣。本文提出了一种基于机器学习的癫痫发作预测方法，其性能优于最先进的方法。我们计算一个概率为一个给定的时期，被pre-ictal对interictal使用随机森林分类器，并引入新的概念，以提高算法的鲁棒性，以误报。我们评估了我们的方法对20例患者的基准头皮EEG CHB-MIT数据集的癫痫发作预测范围（SPH）为5分钟，癫痫发作发生期（SOP）为30分钟。我们的方法实现了82.07%的灵敏度和0.0799 /h的低假阳性率（FPR）。我们还在颅内EEG记录上测试了我们的方法。
2021-06-02 cs.LG eess.SP physics.med-ph
OPFython: A Python-Inspired Optimum-Path Forest Classifier
São Paulo State University（圣保罗州立大学）；University of Campinas（坎皮纳斯大学）
机器学习技术在过去几年中一直是至关重要的，被应用于广泛的任务，如分类，对象识别，人员识别和图像分割。然而，传统的分类算法，例如，逻辑回归、决策树和贝叶斯分类器可能缺乏复杂性和多样性，不适合处理真实世界的数据。最近的图形启发分类器，称为最优路径森林，已被证明是一种最先进的技术，可与支持向量机媲美，甚至在某些任务中超过它。本文提出了一个基于Python的Optimum-Path Forest框架，表示为OPFython，其中所有的函数和类都基于原始的C语言实现。此外，由于OPFython是一个基于Python的库，它提供了一个比C语言更友好的环境和更快的原型工作区。
2021-07-30 cs.CV cs.LG stat.ML
Predicting University Students' Academic Success and Major using Random Forests
在这篇文章中，一个大的数据集，包含每一个本科生在加拿大的一所主要大学在10年内采取的每门课程进行了分析。现代机器学习算法可以使用大型数据集为数据提供者（在本例中为大学）构建有用的工具。在这篇文章中，两个分类器构造使用随机森林。首先，学生完成的前两个学期的课程被用来预测他们是否会获得本科学位。其次，对于完成课程的学生，他们的专业再次使用他们注册的前几门课程进行预测。分类树是一种直观且功能强大的分类器，构建随机树森林可以改进这种分类器。随机森林也允许可靠的变量重要性度量。这些措施解释了哪些变量对分类器有用，并可用于更好地了解与学生情况相关的统计数据。结果是两个准确的分类器和变量的重要性分析，提供了有用的信息，大学管理。
2019-01-12 cs.LG stat.ML
Building Decision Forest via Deep Reinforcement Learning
College of Computer Science（计算机学院）；Chongqing University（重庆大学）
以决策树为基分类器的包围学习方法通常属于bagging或boosting。然而，以前的工作从来没有建立集成分类器，最大限度地提高长期回报，以我们所知的。提出了一种基于深度强化学习的二值分类决策森林构建方法MA-H-SAC-DF。首先，建立过程被建模为一个分散的部分可观测马尔可夫决策过程，一组合作的代理人共同构建所有的基分类器。其次，基于父结点和当前位置信息定义全局状态和局部观测。最后，国家的最先进的深度强化方法混合SAC扩展到CTDE架构下的多智能体系统，以找到一个最佳的决策森林建设政策。实验表明，MA-H-SAC-DF算法在平衡数据集上与随机森林、Adaboost和GBDT算法性能相当，在非平衡数据集上优于它们。
2022-04-01 cs.LG
Prediction of Missing Semantic Relations in Lexical-Semantic Network using Random Forest Classifier
Université de Montpellier（蒙彼利埃大学）；CNRS（法国国家科学研究中心）
本研究主要针对法语词汇-语义网络RezoJDM中两个节点之间缺失的六种语义关系（如is_a和has_part）进行预测。该预测的输出是一组对，其中第一个条目是语义关系，第二个条目是这种关系存在的概率。由于问题的陈述，我们选择随机森林（RF）预测分类器的方法来解决这个问题。我们认为现有的语义关系是理所当然的，对于训练/测试数据集，通过众包收集和验证。我们描述了如何在特征提取阶段使用node 2 vec方法后遵循所有提到的想法。我们展示了这种方法如何导致可接受的结果。
2019-11-12 cs.AI cs.CL cs.LG
Vowel-based Meeteilon dialect identification using a Random Forest classifier
Indian Institute of Information Technology Manipur（印度信息技术学院曼尼普尔分校）
本文提出了一个基于元音的Meeteilon方言识别系统。对于这项工作，元音数据集创建使用Meeteilon语音语料库可在印度语言的语言数据联盟（LDC-IL）。从单元音元音中提取共振峰频率（F1、F1和F3）等频谱特征和音高（F0）、能量、强度和片段持续时间值等韵律特征。随机森林分类器，决策树为基础的集成算法用于分类的三个主要方言的Meeteilon，即，Imphal，Kakching和Sekmai。模型的平均方言识别性能在61.57%左右的准确率。频谱和韵律特征的作用被发现是显着的Meeteilon方言分类。
2021-07-26 cs.LG cs.SD eess.AS
A Probabilistic Optimum-Path Forest Classifier for Binary Classification Problems
Federal University of São Carlos（圣卡洛斯联邦大学）；University of Western São Paulo（西圣保罗大学）；São Paulo State University（圣保罗州立大学）
概率驱动的分类技术扩展了传统方法的作用，仅输出标签（通常是整数）。这样的技术在处理其中人们不仅对识别/标识感兴趣，而且对例如监视消费者和/或机器的行为感兴趣的问题时更有成效。因此，通过概率估计，人们可以做出决定，以便在许多情况下更好地工作。在本文中，我们提出了一个基于概率的最优路径森林（OPF）分类器来处理二进制分类问题，我们表明它可以在一些数据集上比朴素的OPF更准确。除了更准确或不准确之外，概率OPF还成为科学界的另一个有用工具。
2016-09-04 cs.CV cs.LG stat.ML
Random Forest Classifier Based Prediction of Rogue waves on Deep Oceans
Naval Research Laboratory（海军研究实验室）；University of New Orleans（新奥尔良大学）
在本文中，我们提出了一种新的方法来预测流氓波在海洋中使用统计机器学习方法。由于海洋是由多个波浪系统组成的，因此，将波浪的方向分布由双峰或多峰向单峰的变化作为预警判据。同样，我们探索了有助于预测流氓波的各种特征。分析结果表明，谱特征对异常波的预报具有重要意义。我们发现，非线性分类器有更好的预测精度比线性的。最后，我们提出了一个基于随机森林分类器的算法来预测在海洋条件下的流氓波。该算法的总体准确率为89.57%至91.81%，根据预测时间窗口，平衡准确率在79.41%至89.03%之间变化。此外，由于评估标准的无模型性质和方法的跨学科特性，类似的研究可能会在其他非线性色散介质中产生，例如非线性光学、等离子体和固体，由类似的方程控制，这将允许早期检测极端波
2020-03-13 cs.LG physics.ao-ph
Adversarial Random Forest Classifier for Automated Game Design
University of Alberta（阿尔伯塔大学）
自主游戏设计，即通过算法生成游戏，一直是技术游戏研究领域的一个长期目标。然而，现有的自主游戏设计系统在很大程度上依赖于人类创作的游戏设计知识，如基于搜索的方法中的健身功能。在本文中，我们描述了一个实验，试图学习一个类似人类的适应度函数，以对抗的方式进行自主游戏设计。虽然我们的实验工作没有达到我们的预期，我们提出了我们的系统和结果的分析，我们希望将是有益的，未来的自主游戏设计研究。
2021-07-26 cs.AI cs.LG
Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations
Faculty of Technological and Innovation Sciences（技术与创新科学学院）；Faculty of Economics and Law（经济与法学院）
本研究将函数型数据分析与树模型结合，提出增强型函数型分类树和随机森林，通过特设条件置换实现无偏函数主成分重要性评估，在真实与模拟数据集上均提升了分类性能。
2024-08-23 cs.LG math.ST stat.ME
iBRF: Improved Balanced Random Forest Classifier
Islamic University of Technology (IUT)（伊斯兰技术大学（IUT））；East West University（东西大学）
针对类别不平衡问题，提出改进的平衡随机森林分类器iBRF，通过引入新颖的混合采样方法替代随机欠采样以减少数据丢失，在44个数据集上显著提升了MCC和F1分数。
2024-03-14 cs.LG
FARF: A Fair and Adaptive Random Forests Classifier
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）；University of Waikato（怀卡托大学）；Télécom Paris, Institut Polytechnique de Paris（巴黎高等电信学院，巴黎综合理工学院）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Carnegie Mellon University（卡内基梅隆大学）；L3S Research Center（L3S研究中心）；Leibniz University Hannover（莱布尼茨汉诺威大学）
随着人工智能（AI）在更多应用中的使用，需要考虑和减轻学习模型的偏差。大多数开发公平学习算法的工作都集中在离线设置上。然而，在许多现实世界的应用程序中，数据以在线方式出现，需要在运行中处理。此外，在实际应用中，需要考虑准确性和公平性之间的权衡，但目前的方法通常具有多个具有非平凡相互作用的超参数以实现公平性。在本文中，我们提出了一个灵活的集成算法，公平的决策，在更具有挑战性的背景下不断发展的在线设置。该算法被称为FARF（公平和自适应随机森林），基于使用在线组件分类器并根据当前分布更新它们，这也考虑了公平性和改变公平性-准确性平衡的单个超参数。在真实数据流上的实验证明了FARF的实用性。
2021-08-21 cs.AI cs.LG
Proximity Forest: An effective and scalable distance-based classifier for time series
Monash University（莫纳什大学）
时间序列分类的研究在过去十年中取得了巨大的进展。UCR时间序列档案在挑战和指导新学习者进行时间序列分类方面发挥了重要作用。UCR档案中最大的数据集仅包含1万个时间序列;这可以解释为什么主要研究重点是创建在相对较小的数据集上具有高准确性的算法。本文介绍了Proximity Forest，这是一种从具有数百万个时间序列的数据集中学习准确模型的算法，并在毫秒内对时间序列进行分类。这些模型是高度随机化的邻近树的集合。传统的决策树在属性值上分支（通常在时间序列上表现不佳），而邻近树在时间序列与一个样本时间序列或另一个样本时间序列的邻近度上分支;允许我们利用几十年的工作来开发时间序列的相关度量。邻近森林通过随机选择样本和相似性度量来提高效率和准确性。我们的工作的动机是最近的时间序列应用程序，提供数量级更多的时间序列比UCR基准。我们的实验表明，Proximity Forest在UCR存档中具有很强的竞争力：它是最准确的分类器之一，同时速度明显更快。我们在1 M时间序列地球观测数据集上证明，Proximity Forest在比UCR存储库大许多数量级的数据集上保持了这种准确性，同时学习其模型的速度至少比当前最先进的模型Elastic Ensemble和COTE快10万倍。
2018-12-13 cs.LG stat.ML
Learning Selectively Conditioned Forest Structures with Applications to DBNs and Classification
Carnegie Mellon University（卡内基梅隆大学）
使用最大后验概率（MAP）估计或贝叶斯模型平均（BMA）处理贝叶斯网络结构中的不确定性通常是棘手的，因为可能的有向非循环图的超指数数量。当先验是可分解的时，可以进行有效学习的两类图是树结构和有限入度的固定序。我们将展示如何MAP估计和BMA选择性条件森林（SCF），这两个类的组合，可以有效地计算有序的变量集。我们将SCF应用于时态数据来学习具有时间步长内森林和时间步长间有限度结构的动态贝叶斯网络，从而在没有结构组合的情况下提高DBN的模型准确性。我们还将SCF应用于贝叶斯网络分类，以学习选择性森林增强朴素贝叶斯分类器。我们认为，内置的特征选择的选择性增强贝叶斯分类器，使他们更可取的类似的非选择性分类器的基础上的经验证据。
2012-06-20 cs.LG stat.ML
Comparative Study Between Distance Measures On Supervised Optimum-Path Forest Classification
São Paulo State University（圣保罗州立大学）
在过去的十年中，机器学习吸引了相当多的关注，因为它有潜力解决影响深远的任务，如图像分类，对象识别，异常检测和数据预测。解决此类应用的标准方法是基于监督学习，该方法由大量标记数据集辅助，并由所谓的分类器进行，例如逻辑回归，决策树，随机森林和支持向量机等。传统分类器的替代方案是无参数最优路径森林（OPF），它使用基于图的方法和距离度量来创建节点之间的弧，从而创建树集，负责征服节点，定义它们的标签，并塑造森林。然而，它的性能与适当的距离度量密切相关，这可能会根据数据集的性质而有所不同。因此，这项工作提出了一个比较研究的范围广泛的距离措施适用于监督最优路径森林分类。实验结果进行了著名的文献数据集和跨基准分类器进行比较，说明OPF的能力，以适应不同的领域。
2022-02-08 cs.AI cs.LG
Bags of Projected Nearest Neighbours: Competitors to Random Forests?
School of Mathematical Sciences, Lancaster University（兰卡斯特大学数学科学学院）
提出一种结合判别子空间与 bagging 的自适应 k 近邻分类器，通过提升基分类器多样性降低方差，实验表明其性能可与 Random Forest 等方法竞争。
2025-03-12 cs.LG stat.ML
Residual Likelihood Forests
Monash University（莫纳什大学）
本文提出了一种新的集成学习方法，称为残差似然森林（RLF）。我们的弱学习器产生条件似然，这些条件似然在类似增强的框架内（而不是从观察数据中测量的概率分布）在先前学习器的上下文中使用全局损失进行顺序优化，并以乘法（而不是加法）组合。这提高了我们的强分类器的效率，允许设计在模型容量方面更紧凑的分类器。我们将我们的方法应用于几个机器学习分类任务，表现出显着的性能改善。当与包括随机森林和梯度提升树在内的几种集成方法相比时，RLF在性能上有显着提高，同时减少了所需的模型大小。
2020-11-04 cs.LG stat.ML
Unleashing the Power of Extra-Tree Feature Selection and Random Forest Classifier for Improved Survival Prediction in Heart Failure Patients
Bangladesh Atomic Energy Regulatory Authority（孟加拉国原子能监管局）；Northumbria University（诺森比亚大学）；Summit Communications Limited（顶峰通信有限公司）
本文提出结合额外树特征选择与随机森林分类器，在UCL心力衰竭生存数据集上实现98.33%的最高生存预测准确率。
2023-08-09 cs.AI cs.LG
Classification of Deceased Patients from Non-Deceased Patients using Random Forest and Support Vector Machine Classifiers
针对COVID-19患者死亡风险预测问题，提取医生关注的病毒性脓毒症相关变量，采用随机森林（RF）和支持向量机（SVM）分类技术，结合10折验证、ROC曲线和混淆矩阵评估，实现死亡与非死亡患者分类，为风险识别提供方法支持。
2024-11-27 cs.LG
Deep Neural Decision Forest for Acoustic Scene Classification
University of Surrey（萨里大学）；Izmir Katip Celebi University（伊兹密尔卡蒂普·切莱比大学）；Qingdao University（青岛大学）
声学场景分类（ASC）的目的是根据录音环境的特征对音频片段进行分类。在这方面，基于深度学习的方法已经成为解决ASC问题的有用工具。传统的提高分类精度的方法包括综合注意力机制、预训练模型和集成多个子网络等辅助方法。然而，由于从不同环境中捕获的音频片段的复杂性，对于仅使用单个分类器的现有深度学习模型，在不使用任何辅助方法的情况下很难区分它们的类别。在本文中，我们提出了一种使用深度神经决策森林（DNDF）的ASC新方法。DNDF结合了固定数量的卷积层和决策森林作为最终分类器。决策森林由固定数量的决策树分类器组成，在某些数据集中，这些决策树分类器已被证明比单个分类器提供更好的分类性能。特别是，决策森林与传统的随机森林有很大的不同，因为它是随机的，可微的，并且能够使用反向传播来更新和学习神经网络中的特征表示。在DCASE 2019和ESC-50数据集上的实验结果表明，我们提出的DNDF方法在分类精度方面提高了ASC性能，并与最先进的基线相比显示出具有竞争力的性能。
2022-03-07 cs.AI cs.LG cs.SD
Forest Proximities for Time Series
Utah State University（犹他州立大学）；Brigham Young University（杨百翰大学）
本文提出PF-GAP以扩展RF-GAP邻近度至邻近森林模型，结合多维缩放生成时间序列嵌入并与距离度量结果比较，结合局部异常因子研究误分类点与异常值关联，发现其关联强于最近邻分类器。
2025-04-16 cs.LG stat.ML
Resource-aware Elastic Swap Random Forest for Evolving Data Streams
Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Télécom ParisTech（巴黎高等电信学院）；Université Paris-Saclay（巴黎萨克雷大学）
基于数据流挖掘的持续学习处理无处不在的高速实时大数据源。自适应随机森林（{ \em ARF}）是一种流行的集成方法，用于持续学习，因为它简单地将自适应杠杆装袋与快速随机Hoeffding树相结合。虽然默认的ARF大小提供了有竞争力的准确性，但它通常被过度配置，导致使用额外的分类器，这些分类器只会增加CPU和内存消耗，对整体准确性的影响很小。本文提出了弹性交换随机森林（{ \em ESRF}），一种减少ARF集成中的树的数量，同时提供类似的精度的方法。{ \em ESRF}通过两个正交组件扩展了{ \em ARF}：1）交换组件，它根据学习器的准确度将其分为两个集合（仅使用准确度最高的分类器进行预测）; 2）弹性组件，用于动态增加或减少集成中的分类器数量。对{ \em ESRF}的实验评估以及与原始{ \em ARF}的比较显示了这两个新组件如何有助于将分类器的数量减少多达三分之一，同时提供几乎相同的准确性，从而在每个样本执行时间方面加速接近3倍。
2019-05-14 cs.LG stat.ML
Hyperbolic Random Forests
University of Bern（伯尔尼大学）；University of Amsterdam（阿姆斯特丹大学）
针对复杂层次数据分类问题，提出基于超球面分裂、大间隔候选生成及类平衡策略的双曲随机森林，在多类和不平衡场景下性能优于传统随机森林与现有双曲分类器。
2024-06-24 cs.AI cs.LG
Enhancing Multi-Class Classification of Random Forest using Random Vector Functional Neural Network and Oblique Decision Surfaces
School of Electrical and Electronic Engineering Nanyang Technological University（南洋理工大学电气与电子工程学院）
神经网络和决策树都是流行的机器学习方法，并被广泛用于解决来自不同领域的问题。这两个分类器是集成框架中常用的基分类器。本文首先在线性分类器的基础上提出了一种新的斜决策树，然后将快速神经网络、随机向量函数连接网络和斜决策树相融合，构造了一种集成分类器。随机向量函数链接网络具有优雅的封闭形式解决方案，训练时间极短。神经网络在根级别将每个训练袋（使用装袋获得）划分为C个子集，其中C是数据集中的类的数量，并且随后，在这样的划分上训练C个倾斜决策树。所提出的方法提供了一个丰富的洞察数据分组的混乱或难以分类的样本为每个类，从而提供了一个机会，采用细粒度的分类规则的数据。集成分类器的性能进行了评估，在几个多类数据集，它表现出优越的性能相比，其他国家的最先进的分类器。
2018-02-05 cs.CV cs.LG stat.ML
Explainable artificial intelligence for Healthcare applications using Random Forest Classifier with LIME and SHAP
Utkal University（乌塔尔大学）
本研究利用随机森林分类器结合LIME和SHAP方法，在糖尿病症状数据集上实现可解释AI，以提高疾病预测的透明度和可信度。
2023-11-09 cs.AI cs.CY cs.LG
Circuit Representations of Random Forests with Applications to XAI
本文提出将随机森林分类器编译为电路集的方法，通过实例抽象提升决策解释的可计算性，并提出计算决策鲁棒性和翻转路径的算法。
2026-03-15 cs.AI cs.LG cs.LO
Active Region-based Flare Forecasting with Sliding Window Multivariate Time Series Forest Classifiers
Georgia State University（佐治亚州立大学）
本研究提出基于滑动窗口的多元时间序列森林分类器，用于太阳耀斑预报，兼顾高精度（TSS>85%）与可解释性，并识别关键特征子区间。
2024-02-05 astro-ph.SR cs.LG stat.AP
Matching High-Dimensional Geometric Quantiles for Test-Time Adaptation of Transformers and Convolutional Networks Alike
Computer Science and Information Systems（计算机科学与信息系统）
本文提出了一种架构无关的测试时适应方法，通过匹配高维几何分位数来纠正分布偏移，适用于卷积网络和变换器等通用架构。
2026-01-16 cs.CV cs.LG
Efficient Parameter Estimation for Bayesian Network Classifiers using Hierarchical Linear Smoothing
Faculty of Information Technology Monash University（信息技术学院莫纳什大学）
提出一种基于对数线性回归的分层线性平滑参数估计方法，使贝叶斯网络分类器在分类数据上性能优于HDP平滑且速度快数个数量级，保持与随机森林相媲美的竞争力。
2025-05-29 cs.LG stat.ML
On PAC-Bayesian Bounds for Random Forests
Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系）
原始随机森林算法是最常用的机器学习方法之一，现有的保证在泛化误差的严格上界方面是不能令人满意的。我们讨论和评估各种PAC贝叶斯方法来获得这样的界限。边界不需要额外的保持数据，因为可以利用训练过程中装袋的袋外样本。随机森林通过对决策树的集合进行多数投票来进行预测。第一种方法是将投票的误差限制为相应吉布斯分类器的误差的两倍（用随机选择的集合的单个成员进行分类）。然而，这种方法并没有考虑在进行多数投票时平均各个分类器的错误的效果。当错误是独立的或负相关的时，这种效应提供了性能的显著提升，但是当相关性很强时，采取多数投票的优势很小。第二种方法的基础上PAC-Bayesian的C-边界考虑到合奏成员之间的依赖关系，但它需要估计的各个分类器的错误之间的相关性。当相关性高或估计差时，边界退化。在我们的实验中，我们计算泛化界的随机森林在各种基准数据集。由于单个决策树已经表现良好，因此它们的预测高度相关，并且C边界不会导致令人满意的结果。出于同样的原因，基于吉布斯分类器的分析的边界通常是优越的，并且通常是合理的紧。基于验证集的边界以较小的训练集为代价，提供了更好的性能保证，但在大多数实验中性能较差。
2019-03-06 cs.LG stat.ML
RF-GNN: Random Forest Boosted Graph Neural Network for Social Bot Detection
PLA Strategy Support Force Information Engineering University（中国人民解放军战略支援部队信息工程大学）
本文提出RF-GNN方法，以图神经网络为基分类器构建随机森林，结合集成学习与GNN优势，通过子图采样、特征选择、边丢弃及FCN对齐聚合提升社交机器人检测的准确性和鲁棒性。
2023-04-14 cs.CV cs.LG
Classification of FIB/SEM-tomography images for highly porous multiphase materials using random forest classifiers
Helmholtz-Zentrum Berlin für Materialien und Energie（亥姆霍兹柏林材料与能源研究中心）；Ulm University（乌尔姆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Technische Universität Berlin（柏林工业大学）
FIB/SEM断层扫描是电池研究和许多其他领域中表征三维纳米结构的不可或缺的工具。然而，在许多情况下会出现对比度和3D分类/重建问题，这严重限制了该技术的适用性，特别是在多孔材料上，如用于电池或燃料电池中的电极材料的那些。区分不同的组分，如活性Li存储颗粒和碳/粘合剂材料是困难的，并且经常妨碍图像数据的可靠定量分析，或者甚至可能导致关于结构-性质关系的错误结论。在这方面的贡献，我们提出了一种新的方法，通过FIB/SEM断层扫描获得的三维图像数据的数据分类及其应用NMC电池电极材料。我们使用两种不同的图像信号，即成角度的SE 2腔室探测器的信号和Inlens探测器信号，将两种信号组合并训练随机森林，即特定的机器学习算法。我们证明，这种方法可以克服现有技术的局限性，适用于多相测量，它允许定量数据重建，即使在当前最先进的技术失败，或需要大的训练集。这种方法可能会产生作为未来的研究使用FIB/SEM断层扫描的指导方针。
2022-07-28 cond-mat.mtrl-sci cs.LG
Open-set Classification of Common Waveforms Using A Deep Feed-forward Network and Binary Isolation Forest Models
Virginia Tech（弗吉尼亚理工大学）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们研究了使用深层多层感知器架构将接收到的信号分类为七种常见波形之一，单载波（SC），单载波频分多址（SC-FDMA），正交频分复用（OFDM），线性调频（LFM），调幅（AM），调频（FM），以及用于通信和雷达网络的相位编码脉冲调制。不需要信号的同步，因为我们假设存在未知且未补偿的时间和频率偏移。分类器是开集的，这意味着它假设可能出现未知波形。充当二元分类器的隔离森林（IF）模型用于每个已知信号类别，以执行可能的未知信号的检测。这是使用来自密集层的32长度特征向量作为IF模型的输入来实现的。分类器和IF模型一起工作以监测频谱并识别波形以及检测未知波形。结果表明，该分类器对0 dB以上的信号分类正确率为100%，在-10dB和-5dB时，分类正确率分别为83.2%和94.7%。IF模型的结果显示，在检测存在信号损伤的已知和未知信号时，总体准确率为98%。IF模型能够拒绝所有未知信号，而由于训练期间使用的污染率，与已知信号类似的信号能够通过2%的时间。总体而言，整个系统可以在开集模式下正确分类，在SNR大于0 dB时准确率为98%。
2021-10-01 cs.LG
Proximity Forest 2.0: A new effective and scalable similarity-based classifier for time series
Monash University（莫纳什大学）
本文提出Proximity Forest 2.0时间序列分类器，通过融合提前放弃剪枝、ADTW新度量和代价函数调优，并将基础度量从八个精简为三个且统一使用一阶导数变换，在UCR基准上超越现有基于相似性及部分核、神经网络和混合方法。
2023-04-13 cs.AI cs.LG
Robustness of Random Forest-based gene selection methods
Interdisciplinary Centre for Mathematical and Computational Modelling, University of Warsaw（华沙大学跨学科数学与计算建模中心）
基因选择是微阵列数据分析的重要组成部分，因为它提供的信息可以导致更好地理解所研究的现象。同时，由于微阵列数据的噪声性质，基因选择非常困难。因此，基因选择通常用机器学习方法来执行。随机森林方法特别适合于此目的。在这项工作中，四个国家的最先进的随机森林为基础的特征选择方法进行了比较，在基因选择的上下文中。分析的重点是选择的稳定性，因为，虽然它是必要的，以确定结果的意义，它往往被忽视，在类似的研究。随机森林分类器的验证中的选择后准确度的比较显示，在这种情况下，所有研究的方法是等效的。然而，这些方法在选择基因的数量和选择的稳定性方面存在很大差异。在分析的方法中，Boruta算法预测了大多数潜在重要的基因。选择后分类器的出错率，这是一个经常使用的措施，被发现是一个潜在的欺骗性的基因选择质量的措施。当考虑到一致选择的基因的数量时，Boruta算法显然是最好的。虽然它也是计算量最大的方法，但Boruta算法的计算需求可以通过将随机森林的重要性替换为来自随机蕨类（一种类似但简化的分类器）的可比度量来降低到与其他算法相当的水平。尽管他们的设计假设，最小的最优选择方法，被发现选择一个高比例的假阳性。
2013-10-18 cs.LG q-bio.QM
Learning Visual Representations with Optimum-Path Forest and its Applications to Barrett's Esophagus and Adenocarcinoma Diagnosis
São Paulo State University - UNESP（圣保罗州立大学（UNESP））；Federal University of São Carlos - UFScar（圣卡洛斯联邦大学（UFScar））；Klinikum Augsburg（奥格斯堡医院）；Ostbayerische Technische Hochschule Regensburg - OTH Regensburg（雷根斯堡东巴伐利亚技术大学（OTH Regensburg））
在这项工作中，我们介绍了无监督的最优路径森林（OPF）分类学习视觉词典的背景下，巴雷特食管（BE）和自动腺癌诊断。该方法在两个数据集（MICCAI 2015和Augsburg）中使用三种不同的特征提取器（SIFT，SURF和尚未应用于BE上下文A-KAZE）以及五种监督分类器进行了验证，包括OPF的两种变体，具有径向基函数和线性内核的支持向量机以及贝叶斯分类器。关于MICCAI 2015数据集，使用无监督OPF进行词典生成，使用监督OPF进行分类，使用SURF特征提取器获得最佳结果，准确率接近78%，用于区分BE患者和腺癌患者。关于奥格斯堡数据集，使用两种OPF分类器也获得了最准确的结果，但使用A-KAZE作为特征提取器，准确率接近73%。结合特征提取和视觉词袋技术的结果优于其他最近在文献中获得的，以及我们强调在相关研究领域的新进展。加强这项工作的意义，据我们所知，这是第一个，旨在解决计算机辅助BE识别使用袋的视觉词和OPF分类器，这种无监督技术的应用在BE特征计算这项工作的主要贡献。它还提出了一个新的BE和腺癌的描述使用的A-KAZE功能，尚未在文献中应用。
2021-01-19 cs.CV cs.LG
ForeCal: Random Forest-based Calibration for DNNs
Dream11
ForeCal是一种基于随机森林的DNN事后校准方法，通过弱单调性和范围保持性实现更精确的校准，优于现有方法并在保持判别能力的同时降低校准误差。
2024-09-04 cs.LG
IPGuard: Protecting Intellectual Property of Deep Neural Networks via Fingerprinting the Classification Boundary
Duke University（杜克大学）
深度神经网络（DNN）分类器代表模型所有者的知识产权，因为训练DNN分类器通常需要大量资源。最近提出了水印来保护DNN分类器的知识产权。然而，水印受到一个关键限制：它牺牲了模型所有者的分类器的实用性/准确性，因为它篡改了分类器的训练或微调过程。在这项工作中，我们提出了IPGuard，这是保护DNN分类器知识产权的第一种方法，可以证明分类器不会造成准确性损失。我们的关键观察是，DNN分类器可以由其分类边界唯一表示。基于此观察，IPGuard提取模型所有者分类器分类边界附近的一些数据点，并使用它们来识别分类器。如果DNN分类器为大多数指纹数据点预测相同的标签，则它们被称为模型所有者分类器的盗版版本。IPGuard与水印有质的不同。具体来说，IPGuard提取已经训练过的分类器的分类边界附近的指纹数据点，而水印则在训练或微调过程中将水印嵌入分类器。我们在CIFAR-10、CIFAR-100和ImageNet数据集上广泛评估了IPGuard。我们的研究结果表明，IPGuard可以鲁棒地识别后处理版本的模型所有者的分类器作为盗版版本的分类器，和IPGuard可以识别分类器，这不是模型所有者的分类器，也不是其后处理版本，作为非盗版版本的分类器。
2020-10-31 cs.AI cs.CR cs.LG
Large Random Forests: Optimisation for Rapid Evaluation
TU Dortmund University（多特蒙德工业大学）
随机森林是机器学习中最流行的分类器之一。它们越大，预测的结果就越精确。然而，这是有代价的：它们的分类运行时间随着树的数量（即森林的大小）线性增长。在本文中，我们提出了一种方法来聚合大型随机森林到一个单一的，语义等价的决策图。我们在各种流行数据集上的实验显示了几个数量级的速度提升，同时也显着减少了所需数据结构的大小。
2019-12-23 cs.LG stat.ML
Dynamic Connected Neural Decision Classifier and Regressor with Dynamic Softing Pruning
AInnovation Technology Ltd.（安创新科技有限公司）
为了处理复杂度不同的数据集，本文提出了一种自适应学习模型，该模型结合了动态连接神经决策网络（DNDN）和一种新的剪枝方法--动态软剪枝（DSP）。DNDN是随机森林和深度神经网络的结合，兼具树状结构的强大分类能力和网络结构的表示学习能力的优点。本文在深度神经决策森林（DNDF）的基础上，采用端到端的训练方法，用多个随机初始化的softmax层来表示分类分布，从而进一步允许多个随机森林的集成附着到神经网络的不同深度的层上。我们还提出了一种软修剪方法DSP，自适应地减少网络的冗余连接，以避免过拟合简单的数据集。与未修剪的模型相比，该模型没有表现出性能损失，并且对不同的数据和特征分布具有更高的鲁棒性。在不同数据集上的大量实验表明，该模型在解决分类任务方面优于其他流行的算法。
2021-02-22 cs.AI cs.LG stat.ML
Class Mean Vectors, Self Monitoring and Self Learning for Neural Classifiers
University of California at Berkeley（加州大学伯克利分校）
在本文中，我们探讨了样本平均值在建立一个神经网络分类的作用。这个角色非常广泛，包括：直接计算权重而无需训练，对没有已知分类的样本进行性能监控，以及对未标记数据进行自训练。CIFAR-10数据集上的实验计算提供了有希望的经验证据，证明了一种简单而广泛适用的方法对一些困难问题的有效性。
2019-10-22 cs.LG stat.ML
Automated Segmentation of Knee MRI Using Hierarchical Classifiers and Just Enough Interaction Based Learning: Data from Osteoarthritis Initiative
Iowa Institute for Biomedical Imaging（爱荷华生物医学影像研究所）；The University of Iowa（爱荷华大学）；University of Pennsylvania（宾夕法尼亚大学）
我们提出了一种完全自动化的基于学习的方法，用于在骨关节炎（OA）的情况下分割膝关节软骨。该算法采用两个随机森林分类器的层次集。第一个是邻域近似森林，其输出概率图被用作第二随机森林（RF）分类器的特征集。分层方法的输出概率被用作多对象和表面的分层最优图分割（LOGISMOS）中的成本函数。在这项工作中，我们强调了一种新的后处理交互称为刚刚足够的互动（JEI），它可以快速，准确地生成一个大的训练样本。15和13名受试者的不相交集用于训练，并在另一个53个膝关节数据集的不相交集上进行测试。所有图像均使用双回波稳态（DESS）MRI序列获取，并且来自骨关节炎倡议（OAI）数据库。与传统的基于梯度的成本函数相比，使用基于学习的成本函数的分割性能显示出分割错误（$p< 0.05$）的显著减少。
2019-03-10 cs.CV cs.LG
ProtoSeam: Lifting Classifier Training with Latent Gaussian Mixture Models
Otto von Guericke University（奥托·冯·居里克大学）；Max Planck Institute for Dynamics of Complex Technical Systems（马克斯·普朗克复杂技术系统动力学研究所）
ProtoSeam 提出一种提升式分类训练方法，通过在语义接口插入原型并采用一致性惩罚，在不改变推理架构下，将测试准确率提升最多五个百分点，并给出理论依据。
2026-09-29 cs.LG
Conceptual Views on Tree Ensemble Classifiers
University of Kassel（卡塞尔大学）
针对树集成分类器可解释性不足的问题，提出基于格论的代数方法，构建两种全新概念视图，在标准参数训练的Random Forest上验证了其全局解释能力。
2023-02-10 cs.AI cs.LG cs.LO
Feature Selection on Sentinel-2 Multi-spectral Imagery for Efficient Tree Cover Estimation
Lahore University of Management Sciences（拉合尔管理科学大学）
针对城市树木覆盖率估算问题，提出结合光谱指数滤除建成区与特征选择的多光谱随机森林分类器，在Sentinel-2影像的LUMS指定区域实验中，性能优于传统方法及现有先进方案。
2023-05-31 cs.CV cs.LG eess.IV
Leveraging VAE-Derived Latent Spaces for Enhanced Malware Detection with Machine Learning Classifiers
School of Computer Science, University of Sunderland（Sunderland大学计算机科学学院）；Department of Computing, Goldsmiths, University of London（伦敦大学Goldsmiths学院）
本文评估了五种机器学习分类器结合 Variational Autoencoder 提取的潜在特征在恶意软件检测中的性能，发现集成方法表现略优，且该潜在表示显著降低了计算成本和超参数调整需求，提升了模型部署效率。
2025-04-30 cs.CR cs.LG
Towards Robust Classification with Deep Generative Forests
Eindhoven University of Technology（埃因霍温理工大学）
决策树和随机森林是最广泛使用的机器学习模型之一，并且通常在表格，领域不可知的数据集中实现最先进的性能。尽管如此，作为主要的判别模型，它们缺乏原则性的方法来操纵预测的不确定性。在本文中，我们利用生成森林（GeFs），最近一类的深度概率模型，通过将随机森林扩展到表示特征空间上的完整联合分布的生成模型来解决这些问题。我们证明了GeFs是不确定性感知的分类器，能够测量每个预测的鲁棒性以及检测出的分布样本。
2020-07-11 cs.LG stat.ML
On Explaining Random Forests with SAT
ANITI（图卢兹人工智能与自然智能研究所）；Univ. Toulouse（图卢兹大学）；IRIT（图卢兹信息学研究所）；CNRS（法国国家科学研究中心）
随机森林（Random Forest，RF）是最广泛使用的机器学习（Machine Learning，ML）分类器之一。即使RF是不可解释的，也没有专门的非启发式方法来计算RF的解释。此外，最近有关于解释ML模型的多项式算法的工作，包括朴素贝叶斯分类器。因此，一个问题是找到RF的解释是否可以在多项式时间内解决。本文否定地回答了这个问题，证明了计算RF的一个PI解释是D^P-完全的。此外，本文提出了一个命题编码计算RF的解释，从而使寻找PI解释与SAT求解器。这与早期解释提升树（BT）和神经网络（NN）的工作形成对比，后者需要基于SMT/MILP的编码。实验结果表明，在广泛的公开数据集上获得的，所提出的基于SAT的方法扩展到实际应用中常见的大小的RF。也许更重要的是，实验结果表明，对于绝大多数的例子，本文提出的基于SAT的方法显着优于现有的启发式方法。
2021-05-21 cs.AI cs.LG
Open Set Recognition for Random Forest
BlackRock, Inc.（贝莱德公司）
针对随机森林默认闭集运行、无法识别未知类别的问题，本文结合距离度量学习与基于距离的开集识别，为其赋予开集能力，并在合成与真实数据集上验证其优于现有方法。
2024-08-01 cs.LG stat.ML
Personalized Prognostic Models for Oncology: A Machine Learning Approach
Innovative Oncology Business Solutions（创新肿瘤商业解决方案公司）
我们对美国国家癌症研究所（NCI）的监测、流行病学和最终结果（SEER）医学上可用的数据子集应用了一种鲜为人知的数据转换，使其成为标准机器学习分类器的合适输入。这种转换正确地处理了SEER数据中的右删失数据，得到的随机森林和多层感知器模型预测了完整的生存曲线。将所得存活曲线的6、12和60个月点视为3个二元分类器，18个所得分类器的AUC值范围为0.765至0.885。随机森林和神经网络模型对6个月、12个月和60个月的二进制分类器的预测之间的极高一致性提供了模型从训练数据中推广得很好的进一步证据。
2016-06-22 cs.LG stat.AP stat.ML
