Trees, Forests, Chickens, and Eggs: When and Why to Prune Trees in a Random Forest
University of Pittsburgh(匹兹堡大学)
由于其作为优秀的现成预测器的长期声誉,随机森林仍然是应用统计学家和数据科学家的首选模型。然而,尽管它们被广泛使用,直到最近,人们对它们的内部工作原理以及程序的哪些方面推动了它们的成功知之甚少。最近,出现了两个相互竞争的假设-一个基于插值,另一个基于正则化。这项工作主张支持后者,利用正则化框架重新审视几十年来的问题,是否在合奏个别树木应该被修剪。尽管在大多数流行的软件包中,随机森林的默认构造使用接近全深度的树,但在这里,我们提供了强有力的证据,证明树深度应该被视为整个过程中正则化的一种自然形式。特别是,我们的工作表明,随机森林与浅树是有利的,当数据的信噪比低。在建立这一论点,我们还批评了新流行的概念“双下降”在随机森林中绘制平行U-统计,并认为随机森林的准确性显着的跳跃是简单的平均,而不是插值的结果。
2021-03-30 cs.LG stat.ML
Importance measures derived from random forests: characterisation and extension
如今,新技术,特别是人工智能,在我们的社会中越来越多。大数据分析和机器学习是人工智能的两个子领域,是许多应用领域(例如,医学、通信、金融.),包括一些与我们的日常生活密切相关的(例如,社交网络、计算机、智能电话.)。在机器学习中,显著的改进通常是以增加计算复杂性为代价的,这要归功于更大的数据集。目前,由最先进的机器学习算法构建的尖端模型通常同时变得非常高效和有利可图,但也非常复杂。它们的复杂性是如此之大,以至于这些模型通常被视为黑箱,提供无法解释或证明的预测或决策。然而,无论这些模型是自主使用还是作为简单的决策支持工具,它们都已经被用于健康和人类生命受到威胁的机器学习应用中。因此,在没有详细了解这些模型的预测或决策的情况下,显然有必要不要盲目相信这些模型的一切。因此,本论文的目的是提高一个特定的家庭的机器学习算法,所谓的树为基础的方法建立的模型的可解释性。已经提出了几种机制来解释这些模型,我们的目标是沿着这篇论文,以提高他们的理解,研究他们的属性,并定义他们的局限性。
2021-06-21 cs.LG stat.ML
Learning Interpretable Characteristic Kernels via Decision Forests
Johns Hopkins University(约翰斯·霍普金斯大学);University of Delaware(特拉华大学)
本文提出 KMERF 方法,通过随机森林的叶节点邻近性诱导核,并证明其渐近特征性;实验表明该方法在高维双样本和独立性检验中优于现有核方法,同时具备可解释性,打破了性能与可解释性之间的权衡。
2024-10-11 cs.LG stat.ML
Variable importance in binary regression trees and forests
我们的特点和研究变量的重要性(VIMP)和二元回归树的成对变量关联。一个关键的组成部分涉及节点的均方误差的数量,我们称之为一个最大的子树。该理论自然地从单个树扩展到树的集合,并适用于随机森林等方法。这是有用的,因为虽然来自随机森林的重要性值被用于筛选变量,例如它们被用于过滤生物信息学中的高通量基因组数据,但关于它们的属性的理论很少。
2007-11-15 stat.ML
Geometry- and Accuracy-Preserving Random Forest Proximities
Idaho State University(爱达荷州立大学);Utah State University(犹他州立大学)
随机森林被认为是最好的开箱即用的分类和回归算法之一,因为它们的预测性能高,调整相对较少。成对接近度可以从训练的随机森林中计算出来,并测量数据点之间相对于监督任务的相似性。随机森林近似性已被用于许多应用中,包括变量重要性的识别,数据填补,离群值检测和数据可视化。然而,现有的定义的随机森林接近度不准确地反映了数据的几何形状学习的随机森林。在本文中,我们介绍了一种新的定义的随机森林逼近称为随机森林几何和精度保持逼近(RF-GAP)。我们证明了使用RF-GAP的邻近加权和(回归)或多数投票(分类)与包外随机森林预测完全匹配,从而捕获了随机森林学习的数据几何。我们的经验表明,这种改进的几何表示优于传统的随机森林近似的任务,如数据插补,并提供离群值检测和可视化结果与学习的数据几何结构一致。
2023-02-28 cs.LG stat.AP stat.ME
Big Data Classification Using Augmented Decision Trees
Chennai Mathematical Institute(金奈数学研究所)
我们提出了一个算法,分类任务的大数据。作为本研究的一部分进行的实验表明,该算法可以准确集成方法,如随机森林或梯度提升树。与集成方法不同,该算法产生的模型可以很容易地解释。该算法是基于分而治之的战略,包括两个步骤。第一步是使用决策树来分割大型数据集。通过构造,决策树试图在其叶节点中创建均匀的类分布。然而,通常会产生非均匀的叶节点。该算法的第二步包括使用合适的分类器来确定非同质叶节点的类标签。决策树分段提供粗略的分段简档,而叶级分类器可以提供关于影响分段内的标签的属性的信息。
2017-10-26 cs.LG stat.ML
Positive-Unlabeled Learning using Random Forests via Recursive Greedy Risk Minimization
The University of Queensland(昆士兰大学);RIKEN(理化学研究所)
从正的和未标记的数据中学习的需求,或PU学习,出现在许多应用中,并引起了越来越多的兴趣。虽然已知随机森林在具有正数据和负数据的许多任务上表现良好,但最近的PU算法通常基于深度神经网络,并且基于树的PU学习的潜力未被充分开发。在本文中,我们提出了新的随机森林算法的PU学习。我们的方法的关键是一个新的解释决策树算法的积极和消极的数据为\emph{recursive greedy risk minimization algorithms}。我们将这种观点扩展到PU设置,以开发新的决策树学习算法,直接最大限度地减少PU数据的估计预期风险。这使我们能够开发一个有效的PU随机森林算法,PU额外的树。我们的方法具有三个理想的属性:它是强大的损失函数的选择,在这个意义上,各种损失函数导致相同的决策树;它需要很少的超参数调整相比,基于PU学习的神经网络;它支持一个功能的重要性,直接衡量一个功能的风险最小化的贡献。我们的算法在几个数据集上表现出强大的性能。我们的代码可在\url{https://github.com/puetpaper/PUExtraTrees}上找到。
2022-10-16 cs.LG stat.ML
A Numerical Transform of Random Forest Regressors corrects Systematically-Biased Predictions
Fox Chase Cancer Center(福克斯蔡斯癌症中心);University of Kansas(堪萨斯大学)
在过去的十年中,随机森林模型已被广泛用作高维数据回归任务的鲁棒方法。在某种程度上,这些模型的流行是因为它们几乎不需要超参数调整,并且不太容易过拟合。随机森林回归模型由独立预测(连续)因变量值的决策树集合组成;最终对每个树的预测进行平均,以从森林中产生总体预测值。使用一套有代表性的现实世界的数据集,我们发现一个系统的偏差预测从随机森林模型。我们发现,这种偏差在简单的合成数据集中得到了重现,无论它们是否在数据中包含不可约的误差(噪声),但采用提升的模型并没有表现出这种偏差。在这里,我们展示了这个问题的基础,我们使用训练数据来定义一个数值变换,完全纠正它。应用这种变换在我们研究中评估的每一个真实世界和合成数据集上都得到了改进的预测。
2020-03-16 cs.LG q-bio.QM stat.ML
MDA for random forests: inconsistency, and a practical solution via the Sobol-MDA
Safran Tech(赛峰科技);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Ecole Polytechnique(巴黎综合理工学院);IP Paris(巴黎理工学院)
变量重要性度量是分析随机森林黑箱机制的主要工具。虽然平均减少精度(MDA)被广泛接受为最有效的随机森林变量的重要性措施,很少有人知道它的统计特性。事实上,MDA的定义在主要的随机森林软件中各不相同。在本文中,我们的目标是严格分析主要MDA实现的行为。因此,我们数学形式化的各种实现MDA算法,然后建立他们的限制时,样本量增加。这种渐近分析表明,这些MDA版本不同的重要性措施,因为它们收敛到不同的数量。更重要的是,我们将这些限制分解为三个部分:前两项与Sobol指数相关,Sobol指数是协变量对响应方差的贡献的定义明确的度量,广泛用于敏感性分析领域,而第三项则相反,其值随着协变量内的依赖性而增加。因此,我们从理论上证明,MDA不针对正确的数量来检测有影响力的协变量在一个依赖的设置,一个事实,已经注意到实验。为了解决这个问题,我们为随机森林定义了一个新的重要性度量,Sobol-MDA,它修复了原始MDA的缺陷,并一致地估计了在没有给定协变量的情况下重新训练的森林的准确性下降,但具有有效的计算成本。Sobol-MDA在变量选择的模拟和真实数据上的经验表现优于其竞争对手。在R和C++中的开源实现可以在线获得。
2022-03-01 cs.LG stat.ML
Resource-aware Elastic Swap Random Forest for Evolving Data Streams
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Télécom ParisTech(巴黎高等电信学院);Université Paris-Saclay(巴黎萨克雷大学)
基于数据流挖掘的持续学习处理无处不在的高速实时大数据源。自适应随机森林({ \em ARF})是一种流行的集成方法,用于持续学习,因为它简单地将自适应杠杆装袋与快速随机Hoeffding树相结合。虽然默认的ARF大小提供了有竞争力的准确性,但它通常被过度配置,导致使用额外的分类器,这些分类器只会增加CPU和内存消耗,对整体准确性的影响很小。本文提出了弹性交换随机森林({ \em ESRF}),一种减少ARF集成中的树的数量,同时提供类似的精度的方法。{ \em ESRF}通过两个正交组件扩展了{ \em ARF}:1)交换组件,它根据学习器的准确度将其分为两个集合(仅使用准确度最高的分类器进行预测); 2)弹性组件,用于动态增加或减少集成中的分类器数量。对{ \em ESRF}的实验评估以及与原始{ \em ARF}的比较显示了这两个新组件如何有助于将分类器的数量减少多达三分之一,同时提供几乎相同的准确性,从而在每个样本执行时间方面加速接近3倍。
2019-05-14 cs.LG stat.ML
Machine Unlearning for Random Forests
University of Oregon(俄勒冈大学)
响应用户数据删除请求、删除噪声示例或删除损坏的训练数据只是希望从机器学习(ML)模型中删除实例的几个原因。然而,从ML模型中有效地移除这些数据通常是困难的。在本文中,我们介绍了数据删除启用(DaRE)森林,随机森林的一个变种,使删除训练数据,最小的再训练。森林中每个DaRE树的模型更新都是精确的,这意味着从DaRE模型中删除实例会产生与从更新的数据重新训练完全相同的模型。DaRE树使用随机性和缓存来提高数据删除的效率。DaRE树的上层使用随机节点,随机选择分裂属性和阈值。这些节点很少需要更新,因为它们对数据的依赖性很低。在较低的层次上,分裂被选择为对分裂准则(诸如基尼指数或互信息)进行最优化。DaRE树在每个节点缓存统计数据,在每个叶子缓存训练数据,这样当数据被删除时,只有必要的子树才被更新。对于数值属性,贪婪节点在阈值的随机子集上进行优化,以便它们可以在接近最佳阈值的同时保持统计信息。通过调整贪婪节点的阈值数量和随机节点的数量,DaRE树可以在更准确的预测和更有效的更新之间进行权衡。在对13个真实世界数据集和一个合成数据集的实验中,我们发现DaRE森林删除数据的速度比从头开始重新训练快几个数量级,同时几乎没有牺牲预测能力。
2021-06-11 cs.LG stat.ML
Lossless (and Lossy) Compression of Random Forests
The Hebrew University of Jerusalem(耶路撒冷希伯来大学);Tel Aviv University(特拉维夫大学)
包围方法是最先进的预测建模方法之一。应用于现代大数据,这些方法通常需要大量的子学习器,其中每个学习器的复杂性通常随着数据集的大小而增长。这种现象导致对存储空间的需求增加,这可能非常昂贵。这个问题主要表现在基于订户的环境中,其中用户特定的系综需要存储在具有严格存储限制的个人设备(诸如蜂窝设备)上。在这项工作中,我们介绍了一种新的无损压缩基于树的集成方法,专注于随机森林。我们建议的方法是基于概率建模的合奏的树木,然后通过Bregman分歧模型聚类。这使我们能够找到一个最小的模型集,它提供了对树的准确描述,同时又足够小,可以存储和维护。我们的压缩方案在各种现代数据集上展示了高压缩率。重要的是,我们的方案可以从压缩格式进行预测,并完美地重建原始系综。此外,我们引入了一个理论上健全的有损压缩计划,这使得我们能够控制失真和编码率之间的权衡。
2018-10-26 cs.LG stat.ML
Random Forest Missing Data Algorithms
随机森林(RF)缺失数据算法是一种很有吸引力的处理缺失数据的方法。它们具有能够处理混合类型的缺失数据的理想特性,它们能够适应交互和非线性,并且它们具有扩展到大数据设置的潜力。目前有许多不同的RF插补算法,但相对较少的指导,他们的疗效,这促使我们研究他们的性能。使用大量不同的数据集,在不同的缺失数据机制下评估了各种RF算法的性能。算法包括邻近插补,在飞插补,插补利用多变量无监督和监督分裂-后一类代表了一个新的有前途的插补算法称为missForest的推广。通过准确插补数据的能力评估算法性能。我们的研究结果表明,RF插补一般是强大的性能提高,增加相关性。在中度至高度缺失情况下性能良好,甚至(在某些情况下)数据非随机缺失时也是如此。
2017-01-20 stat.ML
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而,在许多实际应用中,估计是主要的兴趣,例如,作为构建预测区间的主要步骤。在这里,我们考虑这个问题的随机森林。其中,协变量和响应变量之间的函数关系通过后者的加权和来建模。然而,在树构造过程中构造的权重中涉及依赖结构,使得模型在数学分析中变得复杂。在L2-相容随机森林模型下,给出了基于随机森林的残差方差估计,并证明了它们的相合性。
2018-12-15 math.ST stat.TH
Statistique et Big Data Analytics; Volumétrie, L'Attaque des Clones
Université de Toulouse – INSA(图卢兹大学-INSA);INRA(法国国家农业研究院)
本文假设获得了统计学家在无监督(NMF,k-means,SVD)和监督学习(回归,CART,随机森林)方面的技能和专业知识。统计学家必须掌握哪些技能和知识才能达到大数据的“卷”规模?在快速概述了可用的不同策略,特别是Hadoop施加的策略之后,概述了一些可用学习方法的算法,以了解它们如何适应Map-Reduce功能的强大压力
2014-10-05 cs.LG math.ST stat.OT
DeepDeath: Learning to Predict the Underlying Cause of Death with Big Data
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学)
多种死因数据提供了宝贵的信息来源,可用于预测人口众多的社会中与健康有关的轨迹,从而提高健康标准。这些数据通常在美国各州大量存在,需要大数据技术来发现复杂的隐藏模式。我们设计了两类不同的模型,适用于死亡率数据的大规模分析,一个是基于Hadoop的N-gram训练的随机森林集成,另一个是DeepDeath,一个基于递归神经网络(RNN)的深度分类器。我们将这两个类应用于国家卫生统计中心提供的死亡率数据,并表明虽然两者的表现明显优于随机分类器,但利用长短期记忆网络(LSTM)的深度模型超越了基于N-gram的模型,并且能够学习数据的时间方面,而无需构建临时的专家驱动功能。
2017-05-06 cs.CL cs.LG stat.ML
Big Data analytics. Three use cases with R, Python and Spark
Université de Toulouse – INSA(图卢兹大学 – INSA);Université de Toulouse – UT3(图卢兹大学 – UT3)
大数据的管理和分析系统地与Hadoop和现在的Spark框架中的数据分布式架构相关联。本文通过比较直接使用三种参考环境(R,Python Scikit-learn,Spark MLlib)在三个公共用例(字符识别,推荐电影,分类产品)上获得的性能,为统计学家介绍了这些技术。作为主要结果,似乎,如果Spark通过协同过滤(非负因子分解)非常有效地进行数据整理和推荐,那么MLlib或SparkML中的传统学习方法(逻辑斯谛回归,随机森林)的当前实现不会在集成或非分布式架构中与这些方法(R,Python Scikit-learn)的习惯使用竞争
2016-09-30 cs.LG stat.AP
Consistency of random forests
随机森林是Breiman [Mach.学习. 45(2001)5- 32],其组合若干随机化决策树并通过平均来聚集它们的预测。尽管其广泛的用途和突出的实际性能,很少有人知道的数学性质的过程。理论和实践之间的这种差距源于同时分析随机化过程和高度数据依赖的树结构的困难。在本文中,我们采取了一个步骤,在森林探索证明的一致性结果Breiman的[马赫。学习. 45(2001)5- 32]在加法回归模型的上下文中的原始算法。我们的分析还揭示了随机森林如何很好地适应稀疏性。1.导论.随机森林是一种用于分类和回归的集成学习方法,它在训练阶段构建许多随机决策树,并通过平均结果进行预测。自Breiman(2001)的开创性论文发表以来,该程序已成为一种主要的数据分析工具,与许多标准方法相比,在实践中表现良好。森林理论的流行主要是因为它可以应用于各种预测问题,而且几乎没有什么参数需要调整。除了使用简单之外,该方法还因其准确性和处理小样本量、高维特征空间和复杂数据结构的能力而被普遍认可。随机森林方法已成功地应用于许多实际问题,包括空气质量预测(2012年EMC数据科学全球黑客大赛的获奖代码,参见http://www.kaggle.com/c/dsg-hackerisk)、化学信息学[Svetnik等人(2003)]、生态学[Prasad、Iverson和Liaw(2006)、Cutler等人(2007)…
2015-08-08 math.ST stat.ML stat.TH
A Big Data Analytics Framework to Predict the Risk of Opioid Use Disorder
与处方阿片类药物有关的过量在美国已经达到流行病的水平,造成了前所未有的国家危机。这种情况已经加剧,部分原因是医生缺乏工具来帮助预测患者是否会发展阿片类药物使用障碍的风险。关于如何将机器学习应用于大数据平台,以确保阿片类药物的知情,持续和明智的处方,特别是对于商业保险人群,人们知之甚少。这项研究探讨了马萨诸塞州所有付款人索赔数据,一个去识别的医疗保健数据集,并提出了一个机器学习框架,以研究天真的用户如何发展阿片类药物使用障碍。我们进行了几个功能选择技术,以确定有影响力的人口统计学和临床特征与阿片类药物使用障碍类不平衡的分析样本。然后,我们比较了四种著名的机器学习算法的预测能力:逻辑斯谛回归,随机森林,决策树和梯度提升,以预测阿片类药物使用障碍的风险。研究结果表明,随机森林模型在确定特征时优于其他三种算法,其中一些特征与先前的临床发现一致。此外,除了更高的预测准确性外,所提出的框架还能够提取一些风险因素,这些风险因素将为现有文献中已知的内容增加重要的知识。我们预计,这项研究将有助于医疗保健从业者改善目前阿片类药物的处方实践,并有助于遏制阿片类药物成瘾和过量的增长率。
2020-05-31 cs.CY q-bio.QM stat.AP
A Mathematical Assessment of the Isolation Tree Method for Outliers Detection in Big Data
本文对孤立随机森林法进行了数学分析。我们表明,IRF空间可以赋予一个概率引起的隔离树算法(iTree)。在这种情况下,IRF方法的收敛性证明使用大数定律。本文通过几个反例说明了原方法在检测异常时是不确定的,不能给出质量证明。因此,IRF的一个替代版本的建议,其数学基础,以及其局限性,是完全合理的。最后通过数值实验比较了经典IRF和新IRF的性能。
2022-05-03 cs.DM math.CO math.PR
Cross-Paradigm Knowledge Distillation: A Comprehensive Study of Bidirectional Transfer Between Random Forests and Deep Neural Networks for Big Data Applications
BrightMind AI Research(BrightMind AI研究院)
本文研究了随机森林与深度神经网络之间双向知识蒸馏,提出了新的方法,通过144次实验展示了双向RF-DL蒸馏在分类和回归任务中的竞争力,同时提供了可解释性和表达性的互补优势。
2026-05-19 cs.LG
Extending Isolation Forest for Anomaly Detection in Big Data via K-Means
York University(约克大学);iSecurity Consulting Inc(iSecurity咨询公司);Dapasoft Inc(Dapasoft公司)
工业信息技术(IT)基础设施往往容易受到网络攻击。为了确保工业环境中计算机系统的安全性,需要建立有效的入侵检测系统来监视网络物理系统(例如,计算机网络)进行恶意活动。本文旨在建立这样的入侵检测系统,以保护计算机网络免受网络攻击。更具体地说,我们提出了一种新的无监督机器学习方法,结合K-Means算法和隔离森林,用于工业大数据场景中的异常检测。由于我们的目标是为工业领域的大数据场景构建入侵检测系统,因此我们利用Apache Spark框架来实现我们提出的模型,该模型在Elasticsearch中存储的大型网络流量数据(约1.23亿网络流量实例)中进行了训练。此外,我们评估我们提出的模型上的实时流媒体数据,发现我们提出的系统可以用于实时异常检测在工业设置。此外,我们还解决了在大型数据集上训练模型时面临的不同挑战,并明确描述了如何解决这些问题。基于我们在现实世界网络流量数据中异常检测的不同用例中的经验评估,我们观察到我们提出的系统可以有效地检测大数据场景中的异常。最后,我们在几个学术数据集上评估了我们提出的模型,并与其他模型进行了比较,发现它提供了与其他最先进方法相当的性能。
2021-04-27 cs.AI cs.CR cs.LG
Big-Step-Little-Step: Efficient Gradient Methods for Objectives with Multiple Scales
MIT(麻省理工学院);Stanford University(斯坦福大学);USC(南加州大学)
我们提供了新的基于梯度的方法,有效地解决了广泛的一类病态最优化问题。我们考虑的问题最小化的功能$f : \mathbb{R}^d \rightarrow \mathbb{R}$这是隐含可分解的总和$m$未知的非相互作用的光滑,强凸函数,并提供了一种方法,解决了这个问题的梯度评价,规模(对数因子)的平方根的产品的条件数的组件。这个复杂性界(我们证明是接近最优的)可以提高几乎指数的加速梯度法,这增长的平方根的条件数的$f$。此外,我们提供了有效的方法来解决这个多尺度最优化问题的随机,二次变量。我们的方法不是学习$f$的分解(这将是非常昂贵的),而是应用一个干净的递归“大步骤-小步骤”标准方法的交织。由此产生的算法使用$\tilde{\mathcal{O}}(d m)$空间,数值稳定,并打开了大门,以更细粒度的理解的复杂性凸优化超越条件数。
2021-11-04 cs.DS cs.LG math.OC
Hybrid Forest: A Concept Drift Aware Data Stream Mining Algorithm
Amirkabir University of Technology(阿米尔卡比尔理工大学)
如今,随着组织中在线控制系统的数量不断增加,以及对使用数据流来记录和控制其子系统的监控和统计设施的需求越来越高,数据流挖掘变得越来越重要。Hoeffding树(也称为非常快速决策树,VFDT)作为一种大数据方法,在处理数据流的分类和回归问题时表现出了良好的性能,能够应对面临的挑战,并使随时预测成为可能。尽管这些方法优于其他方法,例如人工神经网络(ANN)和支持向量回归(SVR),但是当输入数据的统计分布改变时,它们在适应新概念方面存在高延迟。本文提出了一种新的概念漂移检测算法,该算法能够有效地检测和处理概念漂移现象。该算法还受益于快速启动能力,这有助于系统能够在数据流到达的开始时比其他算法更快地预测。我们还表明,我们的方法在分类和回归任务方面优于其他有争议的方法。
2019-02-10 cs.LG stat.ML
Big-Little Adaptive Neural Networks on Low-Power Near-Subthreshold Processors
University of Bristol(布里斯托大学);Sensata Systems(森萨塔系统公司)
本文针对近亚阈值处理器内存受限问题,提出大小自适应神经网络策略,在人类活动识别应用中实现能耗降低80%且精度不下降。
2023-04-19 cs.AR cs.LG
Why Are You Weird? Infusing Interpretability in Isolation Forest for Anomaly Detection
KU Leuven(鲁汶大学)
异常检测涉及识别数据集中不符合预期行为的示例。虽然存在大量的异常检测算法,但很少有人注意解释为什么这些算法将某些示例标记为异常。然而,这样的解释对任何解释算法输出的人都非常有用。本文开发了一种方法来解释国家的最先进的隔离森林异常检测算法的异常预测。该方法输出一个解释向量,该向量捕获示例的每个属性对于将其识别为异常的重要性。对合成和真实世界数据集的全面实验评估表明,我们的方法比大多数当代最先进的可解释性方法更准确,更有效。
2021-12-13 cs.LG
High-Throughput CNN Inference on Embedded ARM big.LITTLE Multi-Core Processors
National University of Singapore(新加坡国立大学);Indian Institute of Technology Dharwad(印度理工学院达尔瓦德分校);Indian Institute of Technology Ropar(印度理工学院罗巴尔分校)
物联网边缘智能需要卷积神经网络(CNN)推理在边缘设备本身中进行。ARM big.LITTLE架构是流行的商业边缘设备的核心。它由单个ISA异构内核组成,这些内核被分组到多个同构集群中,从而实现功耗和性能的权衡。所有的核心预计将同时采用推理,以达到最大的吞吐量。然而,跨集群并行化来自卷积核的计算所涉及的高通信开销对吞吐量是有害的。我们提出了一个称为Pipe-it的替代框架,该框架采用流水线设计将卷积层拆分到集群中,同时将其各自内核的并行化限制在指定的集群中。我们开发了一个性能预测模型,该模型仅利用卷积层描述符来预测所有允许的核心配置(类型和计数)上每个层的执行时间。然后,Pipe-it利用预测,使用高效的设计空间探索算法创建平衡的管道。Pipe-it的平均吞吐量比先前的最高吞吐量高出39%。
2020-01-22 cs.DC cs.LG cs.PF
An Efficient and Robust System for Vertically Federated Random Forest
JD Finance America Corporation(京东金融美国公司)
随着人们对利用跨多个资源的数据来构建更好的机器学习模型的兴趣越来越大,已经提出了许多垂直联邦学习算法来保护参与组织的数据隐私。然而,现有垂直联邦学习算法的效率仍然是一个大问题,特别是当应用于大规模真实世界数据集时。在本文中,我们提出了一个快速,准确,可扩展的,但强大的系统垂直联邦随机森林。通过广泛的优化,我们实现了$5\times$和$83\times$在SOTA SecureBoost模型\cite{cheng2019secureboost}上的加速,用于训练和服务任务。此外,所提出的系统可以达到类似的精度,但具有良好的可扩展性和分区容忍。我们的守则已经公开,以促进社区的发展和保护用户数据隐私。
2022-01-26 cs.CR cs.DC cs.LG
Little Motion, Big Results: Using Motion Magnification to Reveal Subtle Tremors in Infants
Khoury College of Computer Sciences, Northeastern University(东北大学库里计算机科学学院);Labrynthe Pvt. Ltd.(Labrynthe私人有限公司);Center for Perinatal Research, Abigail Wexner Research Institute, Nationwide Children’s Hospital(全国儿童医院阿比盖尔·韦克斯纳研究所围产期研究中心);Department of Pediatrics, The Ohio State University College of Medicine(俄亥俄州立大学医学院儿科系)
检测震动对人类和机器都是一个挑战。怀孕期间暴露于阿片类药物的婴儿在出生后往往会出现戒断的体征和症状,这很容易被人眼错过。临床特征的星座,称为新生儿禁欲综合征(NAS),包括震颤,癫痫发作,烦躁不安等,目前的护理标准使用Finnegan新生儿禁欲综合征评分系统(FNASS),基于主观评价。使用FNASS进行监测需要高度熟练的护理人员,这使得连续监测变得困难。在本文中,我们提出了一个自动震颤检测系统,使用放大的运动信号。我们证明了其适用性床边视频的婴儿表现出的迹象NAS。此外,我们测试了基于深度卷积网络的运动放大的不同模式,并确定动态模式在临床环境中效果最好,对常见的方向变化不变。我们提出了一个战略,为NAS患者的出院和随访,使用运动放大,以补充现有的协议。总的来说,我们的研究提出了弥合目前做法、培训和资源利用差距的方法。
2020-08-01 cs.CV cs.LG eess.IV