Estimating the Operating Characteristics of Ensemble Methods
在本文中,我们提出了一种技术,使用自助估计的操作特性和它们的变化,某些类型的集成方法。如果训练数据集很大,则自举模型可能需要大量的工作。幸运的是,在许多情况下,这项技术可以让我们确定无限恢复的影响,而无需实际改装单个模型。我们应用该技术的随机森林的元参数选择的研究。我们证明,替代引导聚合和考虑\sqrt{d}功能,分裂每个节点,其中d是功能的数量,可以产生预测精度的提高。
2017-10-24 stat.ML
Estimating the inverse trace using random forests on graphs
针对大型矩阵正则化逆迹难以直接计算的问题,提出基于 Wilson 随机森林算法的无偏估计器,兼具快速、易实现和可扩展性,但仅适用于对角占优矩阵。
2019-05-06 stat.CO
High-Dimensional Dynamic Covariance Models with Random Forests
School of Statistics and Management, Shanghai University of Finance and Economics(上海财经大学统计与管理学院);School of Statistics, KLATASDS-MOE, East China Normal University(华东师范大学统计学院);Departments of Biostatistics, Statistics, Computer Science, and Genetics, The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校生物统计学、统计学、计算机科学和遗传学系)
针对高维动态协方差估计问题,提出首个基于随机森林的多协变量非参数方法,建立了含非渐近误差率的一致收敛理论,经模拟和股票数据验证可有效建模高维复杂动态。
2025-05-18 cs.LG stat.ML
Transformation Forests
具有连续目标的监督学习问题的回归模型通常被理解为给定预测器的目标的条件均值的模型。这个概念很简单,因此吸引了解释和可视化。然而,从这些模型中无法获得关于整个潜在条件分布的信息。对回归模型作为条件分布的模型的更一般的理解允许从这样的模型进行更广泛的推断,例如预测区间的计算。几种随机森林类型算法旨在估计条件分布,最突出的是分位数回归森林(Meinshausen,2006年,JMLR)。我们提出了一种新的方法的基础上,其特征在于其转换功能的分布的参数家庭。一个专用的新的“转换树”算法能够检测分布的变化。基于这些转换树,我们引入“转换森林”作为条件分布函数的自适应局部似然估计。由此产生的模型是完全参数化的,但非常一般,并允许广泛的推理程序,如基于模型的引导,以一种简单的方式应用。
2018-01-08 stat.ME stat.ML
SHAFF: Fast and consistent SHApley eFfect estimates via random Forests
Safran Tech(赛峰科技);Sorbonne Université(索邦大学);Ecole Polytechnique(巴黎综合理工学院)
学习算法的可解释性对于涉及关键决策的应用至关重要,变量重要性是主要的解释工具之一。Shapley效应现在被广泛用于解释树集合和神经网络,因为它们可以有效地处理数据中的依赖性和相互作用,而不是大多数其他变量重要性度量。然而,由于计算复杂性和条件期望估计,估计Shapley效应是一项具有挑战性的任务。因此,现有的Shapley算法有缺陷:昂贵的运行时间,或输入变量依赖时的偏差。因此,我们通过随机森林引入SHAFF,SHAPley效应,即使在输入变量相关时,也是快速准确的Shapley效应估计。我们通过理论分析其一致性,并通过大量的实验与竞争对手的实际性能改进SHAFF效率。SHAFF在C++和R中的实现可以在线获得。
2022-02-02 cs.LG stat.ML
Consistent Estimation of Residual Variance with Random Forest Out-Of-Bag Errors
在回归模型中估计残差方差的问题在机器学习社区中受到的关注相对较少。然而,在许多实际应用中,估计是主要的兴趣,例如,作为构建预测区间的主要步骤。在这里,我们考虑这个问题的随机森林。其中,协变量和响应变量之间的函数关系通过后者的加权和来建模。然而,在树构造过程中构造的权重中涉及依赖结构,使得模型在数学分析中变得复杂。在L2-相容随机森林模型下,给出了基于随机森林的残差方差估计,并证明了它们的相合性。
2018-12-15 math.ST stat.TH
Formal Hypothesis Tests for Additive Structure in Random Forests
虽然统计学习方法已被证明是预测建模的强大工具,但它们产生的模型的黑盒性质可能严重限制其可解释性和进行正式推理的能力。然而,当用适当的子样本构建基础学习器时,像袋装树和随机森林这样的集成学习器的自然结构已被证明具有理想的渐进特性。在这项工作中,我们证明,通过定义一个适当的网格结构的协变量空间,我们可以进行正式的假设检验变量的重要性和潜在的加性模型结构。据我们所知,这些测试代表了在随机森林等背景下研究潜在回归结构的第一个统计工具。我们开发的概念,总和部分加性,并进一步证明,可以进行测试,在没有额外的计算成本,通过估计方差内的过程中构建合奏。此外,我们提出了一种新的扩展这些测试程序,利用随机投影,以允许计算效率高的测试程序,即使当网格大小比训练集大得多,保持高功率。
2016-08-26 stat.AP stat.ML
TrIM: Transformed Iterative Mondrian Forests for Gradient-based Dimension Reduction and High-Dimensional Regression
California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学)
提出一种计算高效的梯度线性降维和高维回归算法,通过Mondrian森林估计期望梯度外积矩阵,并迭代更新特征和权重以提升回归性能,理论保证一致性。
2026-06-16 math.ST stat.ML stat.TH
Confidence Band Estimation for Survival Random Forests
生存随机森林是一种流行的机器学习工具,用于建模删失生存数据。然而,目前还没有统计上有效和计算上可行的方法来估计其置信带。本文推广了无限阶不完全U统计量的最新发展,提出了一种无偏置信带估计。其思想是估计时间点网格上累积风险函数预测的方差-协方差阵。然后,我们通过将累积风险函数估计视为高斯过程来生成置信带,其分布可以通过模拟来近似。当树的子采样大小不大于总训练样本量的一半时,这种方法在计算上容易实现。数值研究表明,我们提出的方法准确地估计的置信带,并达到预期的覆盖率。我们将此方法应用于退伍军人管理局肺癌数据。
2022-04-26 stat.CO stat.ME stat.ML
Estimating NBA players salary share according to their performance on court: A machine learning approach
研究者和实践者习惯于拟合线性模型,以便根据球员在球场上的表现来预测NBA球员的工资。相反,我们首先选择最重要的决定因素或统计数据(在联赛中的经验,比赛等)来关注球员的工资份额(关于球队的工资)。然后利用它们通过采用非线性随机森林机器学习算法来预测球员薪水。我们从外部评估我们的工资预测,从而避免了大多数论文中观察到的过度拟合现象。总体而言,使用2017-2019年三个不同时期的数据,我们确定了实现非常令人满意的工资预测的重要因素,并得出了有用的结论。
2020-10-31 stat.AP stat.ML
Spectrally Deconfounded Random Forests
针对存在未观测混淆变量的高维场景,本文提出谱去混淆随机森林(SDForests),通过谱去混淆技术改进随机森林以减少遗漏变量偏差,在模拟及单细胞基因表达数据半合成实验中,其直接回归函数估计性能优于经典随机森林且无混淆时性能相当。
2025-09-24 stat.CO
Generalized Random Forests using Fixed-Point Trees
Department of Mathematics and Statistics, McGill University, Montreal, Canada(数学与统计学系,麦吉尔大学,加拿大蒙特利尔);Mila - Quebec AI Institute, Montreal, Quebec, Canada(魁北克AI研究院,加拿大蒙特利尔)
针对高维异质性效应估计中广义随机森林计算成本高、不稳定的问题,提出基于不动点近似的无梯度方法,保留理论保证的同时实现数倍加速,为相关应用提供可扩展替代方案。
2025-06-16 cs.LG stat.ME stat.ML
Estimating the time-lapse between medical insurance reimbursement with non-parametric regression models
University of Lagos(拉各斯大学)
非参数监督学习算法代表了一类简洁的监督学习算法,其中学习参数是高度灵活的,并且其值直接取决于训练数据的大小。本文比较研究了四种非参数算法:K-近邻算法(KNN)、支持向量机(SVM)、决策树和随机森林。监督学习任务是对医疗保险报销时间间隔的回归估计。我们的研究关注的是每个非参数回归模型与训练数据的拟合程度。我们使用R平方度量量化拟合优度。重点讨论了训练数据大小、特征空间维数和超参数优化对分类结果的影响。
2020-08-19 cs.LG stat.ML
An Efficient Approach for Optimizing the Cost-effective Individualized Treatment Rule Using Conditional Random Forest
来自观察性研究的证据对于通过成本效益(CE)分析支持医疗保健政策制定变得越来越重要。与比较有效性研究类似,考虑受试者水平异质性的卫生经济学评价产生的个体化治疗规则(ITR)通常比一刀切的治疗更具成本效益。因此,它是非常感兴趣的开发统计工具,学习这样一个具有成本效益的ITR(CE-ITR)的因果推断框架下,允许适当处理潜在的混杂,并可以应用于试验和观察性研究。在本文中,我们使用净货币效益(NMB)的概念来评估健康效益和相关成本之间的权衡。我们估计CE-ITR作为患者特征的函数,当实施时,通过最大化健康收益同时最小化治疗相关成本来优化有限医疗资源的分配。我们采用条件随机森林方法,并确定最佳的CE-ITR使用基于NMB的分类算法,其中提出了两个分区估计的主题特定的权重,以有效地将信息从审查个人。我们进行模拟研究,以评估我们的建议的性能。我们将我们的最佳算法应用于NIH资助的收缩压干预试验(SPRINT),以说明分配定制强化血压治疗的CE收益。
2022-04-23 econ.GN q-fin.EC stat.ME
Analysing Opportunity Cost of Care Work using Mixed Effects Random Forests under Aggregated Auxiliary Data
针对小区域估计中现有方法需单元级人口辅助数据的限制,提出通过校准权重纳入聚合辅助数据的混合效应随机森林方法,用于照料工作机会成本估计,经德国数据与模拟验证有效。
2025-04-22 stat.AP stat.ME
RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research New England(微软新英格兰研究院)
许多利益的因果和政策效应是由高维或非参数回归函数的线性泛函定义的。$\sqrt{n}$ -对感兴趣对象的一致和渐近正态估计需要去偏,以减少正则化和/或模型选择对感兴趣对象的影响。去偏通常通过向泛函的插入估计器添加校正项来实现,这导致诸如半参数效率、双鲁棒性和奈曼正交性等属性。我们实现了一个自动去偏过程的基础上自动学习的Riesz表示的线性功能,使用神经网络和随机森林。我们的方法只依赖于黑盒评估Oracle访问的线性功能,并不需要其解析形式的知识。我们提出了一个多任务神经网络去偏方法与随机梯度下降最小化的组合Riesz代表和回归损失,同时共享表示层的两个功能。我们还提出了一个随机森林方法,学习的Riesz函数的局部线性表示。尽管我们的方法适用于任意泛函,但我们通过实验发现,对于平均治疗效果泛函的情况,与Shi等人(2019)基于神经网络的最新算法相比,它表现良好。我们还评估了我们的方法估计平均边际效应的问题,连续治疗,使用半合成数据的汽油价格变化对汽油需求。
2022-06-15 cs.LG econ.EM stat.ML
Model-assisted estimation through random forests in finite population sampling
在调查中,人们的兴趣在于估计有限的人口参数,如人口总数和平均数。在大多数调查中,在估计阶段就有一些辅助信息。此信息可并入估计程序中以增加其精确度。在本文中,我们使用随机森林来估计调查变量和辅助变量之间的函数关系。近年来,随机森林已变得很有吸引力,因为国家统计局现在可以获得各种数据来源,有可能展示对大量变量的大量观测结果。我们建立了基于随机森林的模型辅助程序的理论性质,并推导出相应的方差估计。处理多个调查变量的模型校准程序也进行了讨论。模拟研究的结果表明,所提出的点和估计程序执行良好的偏差,效率和覆盖率的正常为基础的置信区间,在各种各样的设置。最后,我们应用所提出的方法使用的数据,由Médiamétrie,法国观众公司收集的电台观众。
2021-06-17 stat.ME
Tree-based methods for estimating heterogeneous model performance and model combining
本文提出基于树的方法数据驱动地识别模型性能存在差异的子组,扩展至随机森林和梯度提升等树集成,并应用于模型组合,通过模拟和肺癌筛查数据验证。
2025-06-02 stat.ME
Modified Causal Forests for Estimating Heterogeneous Causal Effects
揭示政策和业务决策在不同粒度级别的因果效应的异质性,为决策者提供了大量的价值。本文通过在多个维度上修改Wager和Athey(2018)提出的因果森林方法,在选择可观察量框架中为多个治疗模型开发了新的估计和推理程序。新的估计量具有理想的理论,计算和实践性质的因果效应的各种聚集水平。虽然经验蒙特卡罗研究表明,他们优于以前建议的估计,应用到积极的劳动力市场方案的评价显示的应用研究的新方法的价值。
2019-07-05 econ.EM stat.ML
Estimating heterogeneous treatment effects with right-censored data via causal survival forests
Zhejiang University(浙江大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Stanford University(斯坦福大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
基于森林的方法最近在非参数处理效应估计中得到普及。在这一工作的基础上,我们引入了因果生存森林,它可用于估计异质性处理效应的生存和观察设置的结果可能是右删失。我们的方法依赖于正交估计方程,以鲁棒地调整下unconfoundness的删失和选择效果。在我们的实验中,我们发现我们的方法相对于一些基线表现良好。
2023-02-28 cs.LG stat.ME stat.ML
Estimating Chlorophyll a Concentrations of Several Inland Waters with Hyperspectral Data and Machine Learning Models
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
水是生命、自然环境和人类健康的关键组成部分。为了监测水体的状况,叶绿素a浓度可以作为营养物和氧气供应的代表。水质参数的现场测量通常耗时、昂贵且区域有效性有限。因此,我们采用遥感技术。在野外活动中,我们用光谱仪收集了高光谱数据,并现场测量了13个具有不同光谱特征的内陆水体的叶绿素a浓度。本研究的目的之一是估计叶绿素a浓度的内陆水域,通过应用三个机器学习回归模型:随机森林,支持向量机和人工神经网络。此外,我们模拟了四个不同的光谱仪数据的高光谱分辨率的估计性能的影响进行调查。此外,一阶导数的光谱的应用,依次评估回归性能。这项研究揭示了将机器学习方法与内陆水域遥感数据相结合的潜力。对于叶绿素a浓度的回归,每个机器学习模型实现80%至90%之间的R2分数。随机森林模型明显受益于所应用的光谱导数。在进一步的研究中,我们将侧重于光谱卫星数据的机器学习模型的应用,以加强内陆水域叶绿素a浓度的区域范围估计。
2019-04-03 cs.CV q-bio.QM stat.AP
Missing Data using Decision Forest and Computational Intelligence
利用自编码器神经网络对缺失数据进行估计。采用遗传算法进行网络优化和缺失数据估计。通过实施极大似然算法,将缺失数据视为随机缺失机制。通过计算网络预测的均方误差来确定网络性能。通过实施决策森林,网络得到了进一步优化。缺失数据的影响,然后调查和决策forrest发现,以改善结果。
2008-12-09 stat.ML
Heterogeneous Treatment Effect Estimation for Observational Data using Model-based Forests
异质性处理效应(HTEs)的估计在许多学科中引起了相当大的兴趣,最突出的是在医学和经济学中。到目前为止,当代研究主要集中在连续和二进制响应,其中传统上通过线性模型估计HTE,即使在某些模型错误指定下,也可以估计恒定或异质效应。更复杂的生存、计数或顺序结局模型需要更严格的假设来可靠地估计处理效应。最重要的是,不可替代性问题需要联合评估治疗和预后效果。基于模型的森林允许同时估计协变量依赖的治疗和预后效应,但仅适用于随机试验。在本文中,我们提出修改基于模型的森林,以解决观测数据中的混淆问题。特别是,我们评估的正交化策略最初提出的罗宾逊(1988年,计量经济学)的背景下,基于模型的森林目标HTE估计在广义线性模型和转换模型。我们发现,这种策略减少了混杂效应在模拟研究中的各种结果分布。我们通过评估阿曲唑对肌萎缩侧索硬化症进展的潜在异质性影响,展示了HTE估计生存和有序结局的实际方面。
2022-10-06 stat.ME stat.ML
Forest Density Estimation
本文研究了高维空间中的图估计和密度估计,利用一类基于森林结构无向图模型的密度估计。对于密度估计,我们不假设真实分布对应于森林;相反,我们形成二元和单变量边缘的核密度估计,并应用Kruskal算法来估计最优森林。我们证明了一个预言不等式的超额风险的估计相对于最好的森林的风险。对于图估计,我们考虑的问题,估计森林与限制树的大小。我们证明了寻找一个最大重量生成森林与限制树的大小是NP-困难的,并开发了一个近似算法。将树的大小作为一个复杂性参数,我们使用数据分裂选择森林,并证明了该过程的超额风险和结构选择一致性的界限。模拟数据和微阵列数据的实验表明,该方法是一个实用的替代高斯图形模型。
2010-10-20 stat.ML
Estimating Individual Dose-Response Curves under Unobserved Confounders from Observational Data
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出ContiVAE框架,利用带Tilted Gaussian先验的变分自编码器将未观测混杂因素建模为潜在变量,从而在观测数据中估计连续处理的个体剂量-反应曲线,实验显示其性能优于现有方法最多62%。
2024-10-21 cs.LG stat.ML
Estimating optical vegetation indices and biophysical variables for temperate forests with Sentinel-1 SAR data using machine learning techniques: A case study for Czechia
Charles University(查理大学);European Space Agency (ESA/ESRIN)(欧洲空间局(欧洲空间局地球观测中心));AI4EARTH
本研究利用机器学习结合Sentinel-1 SAR数据估算捷克温带森林的四种光学植被指数,克服云层限制,实现高精度(R² 70-86%)和亚周突变检测。
2024-08-27 cs.LG stat.AP stat.ML
Combining Observational and Randomized Data for Estimating Heterogeneous Treatment Effects
ETH Zurich(苏黎世联邦理工学院);University of Cambridge(剑桥大学);LMU Munich(慕尼黑大学);The Alan Turing Institute(阿兰·图灵研究所);UCLA(加州大学洛杉矶分校)
估计异质性处理效应是跨多个领域的重要问题。为了准确估计这种处理效应,人们通常依赖于来自观察性研究或随机实验的数据。目前,大多数现有的作品完全依赖于观测数据,这往往是混淆,因此,产生偏见的估计。虽然观察数据是混杂的,随机数据是无混杂的,但其样本量通常太小,无法了解异质性处理效应。在本文中,我们提出了估计异质性处理效应结合大量的观察数据和少量的随机数据,通过表征学习。特别是,我们引入了一个两步框架:首先,我们使用观测数据来学习共享结构(以表示的形式);然后,我们使用随机数据来学习数据特定的结构。我们分析了我们的框架的有限样本属性,并将它们与几个自然基线进行比较。因此,我们得出条件时,结合观察和随机数据是有益的,当它不是。在此基础上,我们介绍了一个样本效率的算法,称为CorNet。我们使用大量的模拟研究来验证CorNet和多个真实世界数据集的理论特性,以证明我们的方法相比现有方法的优越性。
2022-02-25 cs.LG stat.ML
causalfe: Causal Forests with Fixed Effects in Python
Amazon Web Services(亚马逊云服务)
causalfe通过Python实现带有固定效应的因果森林,解决面板数据中处理效应估计的异质性问题,通过残差化技术提升估计精度。
2026-01-15 econ.EM stat.ML
Graph-Split Bayesian Causal Forest for Spatial Heterogeneous Treatment Effect Estimation
Texas A&M University(德克萨斯农工大学);Shell USA Inc(壳牌美国公司)
针对空间观测研究中处理效应随空间变化且受空间混杂影响的问题,提出图分裂贝叶斯因果森林(GSBCF),融合GS-BART与贝叶斯因果森林框架,通过图引导分裂规则建模空间结构,实现更精确的HTE估计与不确定性量化。
2026-09-30 stat.ME stat.ML
Estimating complex causal effects from incomplete observational data
University of Jyväskylä(于韦斯屈莱大学)
尽管因果建模取得了重大进展,因果关系仍然是许多统计学家不熟悉的话题。在本文中,它是从开始到结束演示如何因果效应可以估计从观测数据假设的因果结构是已知的。为了使问题更具挑战性,因果效应是高度非线性的,数据是随机随机缺失的。估计中使用的工具包括设计因果模型、因果演算、多重插补和广义可加模型。主要的信息是,一个训练有素的统计学家可以通过明智地结合现有的工具来估计因果效应。
2014-07-02 cs.LG math.ST stat.ME
Censored Quantile Regression Forest
University of California San Diego(加州大学圣地亚哥分校);Alexa AI(Alexa人工智能部门)
随机森林是一种功能强大的非参数回归方法,但在存在随机删失观测值的情况下,其使用受到严重限制,并且由于所产生的偏差,天真地应用可能会表现出较差的预测性能。基于随机森林的一种局部自适应表示,研究了随机删失回归分位数模型的回归调整。回归调整是基于一个新的估计方程,适应删失,并导致分位数得分时,数据不显示删失。所提出的程序命名为{ \it删失分位数回归森林},允许我们估计的时间到事件的分位数,而无需任何参数建模假设。我们建立了温和的模型规格下的一致性。数值研究表明,所提出的程序的一个明显的优势。
2020-01-08 cs.LG stat.ML
Estimating the Algorithmic Variance of Randomized Ensembles via the Bootstrap
虽然装袋和随机森林的方法是一些最广泛使用的预测方法,相对较少的是知道他们的算法收敛。特别是,没有太多的理论保证,以确定当一个合奏是“足够大”-使其精度接近于一个理想的无限合奏。由于bagging和随机森林是随机算法,因此集合大小的选择与“算法方差”(即仅由于训练算法而导致的预测误差方差)的概念密切相关。在目前的工作中,我们提出了一个自助方法来估计这个方差装袋,随机森林,和相关的方法在分类的背景下。具体而言,假设训练数据集是固定的,并且让随机变量$Err_t$表示大小为$t$的随机化系综的预测误差。在一个随机集合的“一阶模型”下,我们证明了$Err_t$的中心律可以通过所提出的方法一致地近似为$t\to\infty$。同时,该方法的计算成本是相当适度的,凭借外推技术。因此,该方法提供了一个实用的指导方针,决定时的算法波动的$Err_t$可以忽略不计。
2019-07-20 math.ST stat.ML stat.TH
Censored Quantile Regression Forests
Department of Mathematics University of California San Diego(加利福尼亚大学圣地亚哥分校数学系)
随机森林是一种功能强大的非参数回归方法,但在存在随机删失观测值的情况下,其使用受到严重限制,并且由于所产生的偏差,天真地应用可能会表现出较差的预测性能。基于随机森林的局部自适应表示,我们开发了随机截尾回归分位数模型的回归调整。回归调整是基于新的估计方程,适应删失,并导致分位数得分时,数据不显示删失。所提出的方法被称为删失分位数回归森林,允许我们在没有任何参数建模假设的情况下估计事件发生时间的分位数。我们建立了温和的模型规格下的一致性。数值研究表明,所提出的程序的一个明显的优势。
2019-02-08 cs.LG econ.EM stat.ME
A Bayesian Nonparametric Approach for Estimating Individualized Treatment-Response Curves
Johns Hopkins University(约翰霍普金斯大学)
我们研究的问题,估计随着时间的推移,使用观测时间序列的干预措施的连续反应-一个回顾性的数据集,其中的政策,数据生成是未知的学习者。我们的动机是响应因个人而异的应用程序,因此,在个人层面上估计响应对于个性化决策是有价值的。我们称之为估计个体化治疗反应(ITR)曲线的问题。在统计学中,G计算公式(Robins,1986)通常用于根据包含序贯治疗分配的观察数据估计治疗应答。然而,过去的研究主要集中在获得人口一级的时间点估计数。我们利用G-计算公式,并开发了一种新的贝叶斯非参数(BNP)方法,可以灵活地模拟功能数据,并提供后验推理的治疗反应曲线在个人和群体水平。在一个包含住院患者时间序列的具有挑战性的数据集上,我们估计了对用于管理肾功能的治疗的反应,并表明所得到的拟合比其他方法更准确。从观察数据中获得ITR的准确方法可以大大加快个性化治疗计划的步伐。
2016-12-10 cs.LG stat.ML
Estimating heterogeneous survival treatment effect in observational data using machine learning
在观察性数据中估计异质性处理效应的方法主要集中在连续或二元结局上,相对较少审查生存结局。在反事实框架中使用灵活的机器学习方法是一种很有前途的方法,可以解决由于复杂的个体特征而带来的挑战,需要针对这些特征量身定制治疗方法。为了评估近期生存机器学习方法用于估计处理效应异质性的操作特征,并为更好的实践提供信息,我们进行了一项全面的模拟研究,该研究提供了一系列描述混杂异质生存处理效应和不同程度协变量重叠的设置。我们的研究结果表明,在加速失效时间模型(AFT-BART-NP)的框架内的非参数贝叶斯加性回归树始终产生最好的性能,在偏差,精度和预期的遗憾。此外,当协变量重叠至少为中度时,AFT-BART-NP的可信区间估计值为个体生存期处理效应提供了接近标称频率论的覆盖范围。在AFT-BART-NP模型公式中包括非参数估计的倾向得分作为额外的固定协变量,可以进一步提高其效率和频率覆盖率。最后,我们展示了灵活的因果机器学习估计器的应用,通过一个全面的案例研究,检查两种放射治疗方法对局部高危前列腺癌的异质性生存影响。
2021-05-19 stat.AP stat.ML
What Makes Forest-Based Heterogeneous Treatment Effect Estimators Work?
LMU Munich(慕尼黑大学);Universitätsspital und Universität Zürich(苏黎世大学医院及苏黎世大学);MCML;Stanford University(斯坦福大学);Universität Innsbruck(因斯布鲁克大学)
本文统一因果森林与基于模型的森林,在L2加性模型框架下剖析其计算要素,并通过随机与观察性基准发现处理指标的倾向评分局部中心化是抗混杂性能关键。
2023-12-20 stat.ME stat.ML
Estimating long-term causal effects from short-term experiments and long-term observational data with unobserved confounding
University College London(伦敦大学学院);Spotify(声田)
理解和量化因果关系是许多领域的重要问题。对这个问题的普遍认可的解决方案是进行随机对照试验。然而,即使可以进行随机对照试验,由于成本考虑,它们通常持续时间相对较短。这使得学习长期因果效应在实践中成为一项非常具有挑战性的任务,因为长期结果只能在长时间延迟后观察到。在本文中,我们研究的识别和估计的长期处理效应时,实验和观察数据。以前的工作提供了一个估计策略,以确定长期的因果关系,从这些数据制度。然而,这种策略只有在假设观察数据中没有未观察到的混杂因素时才有效。在本文中,我们专门讨论了具有挑战性的情况下,未测量的混杂因素存在于观察数据。我们的长期因果效应估计量是通过将回归残差与短期实验结果以特定的方式组合以创建一个工具变量来获得的,然后通过工具变量回归来量化长期因果效应。我们证明了该估计量是无偏的,并分析了其方差。在前门因果结构的背景下,这提供了一个新的因果估计,这可能是独立的利益。最后,我们实证测试我们的方法的合成数据,以及来自国际中风试验的真实数据。
2023-02-21 cs.LG stat.ML
Estimating Bayesian Optimal Treatment Regimes for Dichotomous Outcomes using Observational Data
最佳治疗方案(OTR)是个体化治疗分配策略,在给定个体所有可用背景信息的情况下,将医学治疗确定为最佳。我们讨论贝叶斯最优治疗方案估计使用的损失函数定义的二元分布的二分潜在的结果。所提出的方法允许考虑OTR的比预期结果的最大化更一般的目标(例如,生存概率),例如考虑不必要的治疗负担。作为一个激励性的例子,我们考虑口咽癌治疗的情况下,由于化疗不必要的负担是要避免,同时最大限度地提高生存机会。假设可验证的治疗分配,我们描述了关于OTR的贝叶斯推断,包括对潜在结局未观察到的部分相关性的敏感性分析。我们评估的方法,应用贝叶斯参数和更灵活的非参数结果模型的模拟。拟议的口咽癌OTR将更繁重的化疗分配频率降低了约75%,而不会降低平均生存概率。因此,该方案大大提高了患者的预期生活质量。
2018-09-28 stat.ME stat.ML
Variational Temporal Deconfounder for Individualized Treatment Effect Estimation from Longitudinal Observational Data
University of Florida(佛罗里达大学)
由于混杂偏倚的复杂情况,使用观察性数据估计处理效应,特别是个体化处理效应(ITE)具有挑战性。现有的从纵向观察数据估计处理效应的方法通常是建立在“不混淆”的强假设之上的,这在现实世界的实践中很难实现。在本文中,我们提出了变分时间解码器(VTD),这是一种使用代理(即,用于不可观察变量的替代变量)。具体来说,VTD利用观察到的代理来学习隐藏的嵌入,以反映观察数据中真正的隐藏混杂因素。因此,我们的VTD方法不依赖于“不混淆”的假设。我们在合成和真实世界的临床数据上测试了我们的VTD方法,结果表明,与其他现有模型相比,当隐藏混杂是主要偏倚时,我们的方法是有效的。
2022-07-23 cs.LG stat.ML
Estimating Heterogeneous Treatment Effects by Combining Weak Instruments and Observational Data
Cornell University(康奈尔大学)
针对观测数据存在未观测混杂、工具变量数据依从性低的问题,提出结合两类数据的两阶段框架,通过依从性加权校正估计异质性处理效应,经模拟和真实数据验证有效。
2024-11-01 cs.LG stat.ME stat.ML
Learning Nonparametric Forest Graphical Models with Prior Information
University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
我们提出了一个框架,将先验信息的图形模型的非参数估计。为了避免分布的假设,我们限制图是一个森林和森林密度估计(FDE)的工作。我们重新制定的FDE方法从贝叶斯的角度来看,并引入先验分布的图形。作为两个具体的例子,我们应用这个框架来估计无标度图和学习具有相似结构的多个图。所得到的算法是等价的,找到一个最大生成树的加权图与惩罚项的连通性模式的图。我们通过一个最小化最大化过程与Kruskal的算法来解决优化问题。仿真结果表明,所提出的方法优于竞争参数方法,并对真实数据分布具有鲁棒性。它们还导致两个真实数据集的预测能力和可解释性的改善。
2016-05-25 cs.LG stat.ME stat.ML
Dimension-reduced outcome-weighted learning for estimating individualized treatment regimes in observational studies
本文提出了一种降维的基于结果加权学习的方法,用于在观察性研究中更准确地估计个体化治疗方案,通过降低协变量维度以提高模型性能和可解释性。
2026-01-11 cs.LG stat.ME stat.ML
From Observational Data to Clinical Recommendations: A Causal Framework for Estimating Patient-level Treatment Effects and Learning Policies
Faculty of Data and Decision Sciences, Technion(数据与决策科学学院,技术ion);Blavatnik School of Computer Science, Tel-Aviv University(Blavatnik计算机科学学院,特拉维夫大学);Department of Cardiology, Rambam Health Care Campus(心内科部,拉马姆医疗中心);The Bruce Rappaport Faculty of Medicine, Technion(布鲁斯·拉帕波特医学院,技术ion);Department of Statistics and Operations Research, School of Mathematical Sciences, Tel Aviv University(统计与运筹学部,数学科学学院,特拉维夫大学)
本文提出一个构建患者特定治疗推荐模型的因果框架,整合现有方法形成实用流程,并在心力衰竭伴急性肾损伤患者的真实用例中验证了其能改善预后。
2025-07-16 cs.LG stat.AP stat.ML
Estimation and Inference of Heterogeneous Treatment Effects using Random Forests
许多科学和工程挑战--从个性化医疗到定制的营销建议--都需要了解处理效应的异质性。在本文中,我们开发了一个非参数因果森林估计异质性处理效应,扩展Breiman的广泛使用的随机森林算法。在不混淆的潜在结果框架下,我们证明了因果森林对于真实的处理效应是逐点一致的,并且具有渐近高斯和中心抽样分布。我们还讨论了一种实用的方法,用于构建渐近置信区间的真正的处理效应,集中在因果森林估计。我们的理论结果依赖于一个通用的高斯理论的一个大家庭的随机森林算法。据我们所知,这是第一组允许任何类型的随机森林(包括分类和回归森林)用于可证明有效的统计推断的结果。在实验中,我们发现因果森林比基于最近邻匹配的经典方法更强大,特别是在存在不相关协变量的情况下。
2017-07-10 math.ST stat.ME stat.ML
Interpretable Anomaly Detection with Mondrian P{ó}lya Forests on Data Streams
University of Warwick(华威大学);University of Cambridge(剑桥大学);Amazon(亚马逊)
大规模异常检测是一个极具挑战性和实用性的问题。当数据很大且高维时,很难检测出哪些观测结果不符合预期行为。最近的工作已经结合了(随机)$k$ \emph{d-trees}的变化,以总结异常检测的数据。然而,这些方法依赖于不容易解释的ad-hoc评分函数,使得难以评估检测到的异常的严重性或在没有标记的异常的情况下选择合理的阈值。为了解决这些问题,我们将这些方法置于一个概率框架中,我们称之为蒙德里安\Polya{}森林,用于估计生成数据的潜在概率密度函数,并使其比以前的工作具有更大的可解释性。此外,我们开发了一个内存效率的变种,能够在现代流媒体环境中运行。我们的实验表明,这些方法实现了最先进的性能,同时提供统计上可解释的异常分数。
2020-08-04 cs.LG stat.ML
Estimating Causal Effects in Gaussian Linear SCMs with Finite Data
Department of Computer Science, Columbia University NY 10025(计算机科学系,哥伦比亚大学)
本文提出中央化高斯线性结构因果模型,通过改进的EM算法在有限数据下有效估计因果效应。
2026-01-08 cs.AI cs.LG stat.ML
A Guide to Estimating Conditional Average Treatment Effects in Competing Risks Settings
Department of Statistics, TU Dortmund University(图恩-多特蒙德大学统计学系);Research Center Trustworthy Data Science and Security, University Alliance Ruhr (UA Ruhr)(鲁尔大学联盟可信数据科学与安全研究中心);Institute for Mathematics, University of Augsburg(艾希施泰特大学数学研究所)
针对竞争风险生存数据,比较六种元学习器估计条件平均处理效应,提供R包crsurvlearners指导模型选择。
2026-06-18 cs.LG stat.AP stat.ML
Bayesian Causal Forests for Longitudinal Data: Assessing the Impact of Part-Time Work on Growth in High School Mathematics Achievement
Hamilton Institute, Maynooth University(梅努斯大学汉密尔顿研究所);Department of Mathematics and Statistics, Maynooth University(梅努斯大学数学与统计系)
本研究提出贝叶斯因果森林的纵向扩展,用于从纵向数据灵活估计异质性因果效应,发现兼职工作对多数学生有负面影响,但对低学校归属感学生可能有益,并揭示成绩差距扩大迹象。
2024-07-16 cs.LG stat.AP stat.ML
Forests for Differences: Beyond Parametric Difference-in-Differences
Institute of Mathematics and Computer Sciences at University of São Paulo, Brazil(巴西圣保罗大学数学与计算机科学学院)
本文提出非参数DiD-BCF模型,通过基于PTA的重新参数化统一估计ATE、GATE和CATE,并在模拟及美国最低工资政策应用中展现出处理非线性、选择偏差与效应异质性的优势。
2026-11-17 cs.LG stat.ME stat.ML
Estimating Individual Treatment Effects with Time-Varying Confounders
从观察数据中估计个体处理效应(ITE)在医疗保健中具有重要意义和实用价值。现有的研究主要依赖于强可解释性假设,即不存在隐藏的混杂因素,这可能导致估计因果效应时的偏倚。一些研究认为隐藏混杂因素是为静态环境设计的,不容易适应动态环境。事实上,大多数观察数据(例如,电子医疗记录)自然是动态的并且由顺序信息组成。在本文中,我们提出了深度序贯加权(DSW)估计ITE随时间变化的混杂因素。具体而言,DSW通过使用深度递归加权神经网络合并当前治疗分配和历史信息来推断隐藏的混杂因素。隐藏混杂因素的学习表示与当前观察到的数据相结合,用于潜在结果和治疗预测。我们计算治疗的时变逆概率以重新加权群体。我们对全合成,半合成和真实世界的数据集进行了全面的比较实验,以评估我们的模型和基线的性能。结果表明,我们的模型可以产生无偏和准确的处理效应的条件下随时间变化的观察和隐藏的混杂因素,为个性化医疗铺平了道路。
2020-12-15 stat.AP stat.ME stat.ML
Estimating average causal effects from patient trajectories
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);ETH Zurich(苏黎世联邦理工学院)
在医疗实践中,治疗方法的选择是基于对患者结局的预期因果影响。在这里,估计因果效应的金标准是随机对照试验;然而,这样的试验是昂贵的,有时甚至是不道德的。相反,医疗实践越来越有兴趣从电子健康记录(即观察数据)中估计患者(子)组之间的因果关系。在本文中,我们的目的是估计平均因果效应(ACE)的观察数据(患者轨迹),随着时间的推移收集。为此,我们提出了DeepACE:一种端到端的深度学习模型。DeepACE利用迭代G计算公式来调整时变混杂因素引起的偏倚。此外,我们开发了一种新的顺序靶向程序,确保DeepACE具有良好的理论特性,即,具有双重鲁棒性和渐近有效性。据我们所知,这是第一个提出端到端深度学习模型的工作,该模型专为估计随时间变化的ACE而量身定制。我们在大量的实验中比较了DeepACE,证实它达到了最先进的性能。我们还为患有腰痛的患者提供了一个案例研究,以证明DeepACE为临床实践提供了重要和有意义的发现。我们的工作使医生能够根据人群效应制定有效的治疗建议。
2023-01-23 cs.LG stat.CO stat.ML
Estimating Individual Treatment Effects using Non-Parametric Regression Models: a Review
University College London(伦敦大学学院)
在卫生、经济和社会科学等学科中,大量的观测数据越来越多,研究人员对因果问题而不是预测感兴趣。在本文中,我们研究的问题,估计异质性处理效应使用非参数回归为基础的方法,从一个实证研究,旨在调查参与学校供餐计划对健康指标的影响。首先,我们介绍了与观察或非完全随机化数据进行因果推断相关的设置和问题,以及如何在统计学习工具的帮助下解决这些问题。然后,我们回顾并开发了一个统一的分类现有的国家的最先进的框架,允许个人处理效应估计通过非参数回归模型。在简要概述了模型选择的问题后,我们说明了一些方法在三个不同的模拟研究中的性能。最后,我们通过对学校供餐计划数据的实证分析,展示了一些方法的使用。
2021-11-23 cs.LG stat.ME stat.ML
Orthogonal Random Forest for Causal Inference
Microsoft Research–New England(微软研究院-新英格兰分院);University of Minnesota–Twin Cities(明尼苏达大学-双城分校)
我们提出了正交随机森林,这是一种将奈曼正交性与广义随机森林相结合以降低关于滋扰参数的估计误差的灵敏度的算法(Athey等人,2017)--一种灵活的非参数方法,用于使用随机森林对条件矩模型进行统计估计。我们提供了一个一致率,并建立渐近正态性我们的估计。我们表明,在温和的假设下的滋扰估计的一致性率,我们可以实现相同的出错率作为一个甲骨文与这些滋扰参数的先验知识。我们表明,当滋扰功能有一个局部稀疏参数化,然后一个本地$\ell_1$惩罚回归达到所需的速度。我们应用我们的方法来估计异质性治疗效果的观察数据与离散治疗或连续治疗,我们表明,与以前的工作不同,我们的方法可证明允许控制一组高维变量在标准稀疏条件下。我们还提供了一个全面的经验评估我们的算法在合成和真实数据。
2019-09-25 cs.LG econ.EM math.ST
Bayesian Causal Forests for Zero-Inflated Continuous Outcomes
University of São Paulo(圣保罗大学);Columbia University Irving Medical Center(哥伦比亚大学欧文医学中心)
本文提出带Duan's Smearing的零膨胀连续型贝叶斯因果森林(ZIC-BCF-Smear),用于解决半连续型结局的处理效应估计问题,经模拟和SPECTRUM头颈癌试验数据验证,性能优于现有竞争方法。
2026-10-15 cs.LG stat.ME stat.ML