LILI clustering algorithm: Limit Inferior Leaf Interval Integrated into Causal Forest for Causal Interference
School of Mathematical Sciences(数学科学学院)
本文提出LILI聚类算法,通过极限下叶区间在因果树之间建立联系,将不同处理但落入相同叶子的实例视为彼此的反事实结果,从而降低因果森林的估计偏差并提高ATE预测精度。
2025-07-04 cs.LG stat.ML
Information Forests
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Siemens Medical Solutions(西门子医疗解决方案)
我们描述的信息森林,一种分类方法,概括了随机森林的分裂标准的非叶节点从一个歧视性的-基于标签分布的熵-生成一个-基于最大化的信息分歧之间的类条件分布在所得的分区。其基本思想是推迟分类,直到“分类置信度”达到足够高的程度,而不是分解数据,以最大限度地提高这一程度。在另一种解释中,信息森林试图将数据划分为“尽可能提供信息”的子集,以实现对数据进行分类的任务。分类置信度,或子集的信息内容,通过信息发散度来量化。我们的方法涉及主动学习,半监督学习,混合生成/判别学习。
2012-02-07 cs.LG stat.ML
Interpretable Machines: Constructing Valid Prediction Intervals with Random Forests
TU Dortmund University(多特蒙德工业大学)
在最近的研究中使用机器学习算法时的一个重要问题是缺乏可解释性。虽然这些算法为各种学习问题提供了准确的点预测,但与点预测相关的不确定性估计相当稀疏。这里介绍了随机森林回归学习器对这一差距的贡献。基于随机森林的Out-of-Bag过程,给出了随机森林点预测的参数和非参数预测区间,并给出了其正确覆盖概率的理论保证。在第二部分中,通过蒙特卡罗模拟进行了深入的调查,从三个方面评估所提出的方法的性能:(i)分析的正确覆盖率的建议的预测区间,(ii)检查区间宽度和(iii)与现有的方法的竞争力的建议的区间。模拟结果表明,所提出的预测区间对非正态残差分布是鲁棒的,即使对于非常小的样本,也能提供正确的覆盖率和非常窄的区间长度,具有竞争力。
2021-03-09 cs.LG math.ST stat.CO
Confidence Band Estimation for Survival Random Forests
生存随机森林是一种流行的机器学习工具,用于建模删失生存数据。然而,目前还没有统计上有效和计算上可行的方法来估计其置信带。本文推广了无限阶不完全U统计量的最新发展,提出了一种无偏置信带估计。其思想是估计时间点网格上累积风险函数预测的方差-协方差阵。然后,我们通过将累积风险函数估计视为高斯过程来生成置信带,其分布可以通过模拟来近似。当树的子采样大小不大于总训练样本量的一半时,这种方法在计算上容易实现。数值研究表明,我们提出的方法准确地估计的置信带,并达到预期的覆盖率。我们将此方法应用于退伍军人管理局肺癌数据。
2022-04-26 stat.CO stat.ME stat.ML
Interval Prediction of Annual Average Daily Traffic on Local Roads via Quantile Random Forest with High-Dimensional Spatial Data
针对现有AADT估算多为点预测、忽略不确定性的问题,提出结合分位数随机森林与主成分分析的区间预测方法,经英国2000多条次要道路数据验证,提升了估算准确性与可解释性,助力交通规划。
2025-10-21 cs.LG stat.AP stat.ML
Confidence and Uncertainty Assessment for Distributional Random Forests
针对现有分布随机森林(DRF)仅具备预测一致性和收敛速度结果、缺乏不确定性评估工具的问题,本文刻画DRF的渐近分布并构建自助法近似,推导了带渐近覆盖率保证的标准误估计与置信区域构造方法,且经模拟实验验证有效。
2023-12-19 math.ST stat.ML stat.TH
Differentially Private Confidence Intervals for Empirical Risk Minimization
The Pennsylvania State University(宾夕法尼亚州立大学);University of Georgia(佐治亚大学)
差分隐私数据采掘的过程中产生的结果受到两种类型的噪声的影响:由于数据汇集和隐私噪声,旨在防止重建的敏感信息采样噪声。在本文中,我们考虑的问题,设计各种不同的私人机器学习模型的参数的置信区间。该算法可以提供置信区间,满足差分隐私(以及最近提出的集中差分隐私),并可以与现有的差分隐私机制,训练模型使用目标扰动和输出扰动。
2018-04-11 cs.CR cs.LG stat.ML
Confidence Intervals for Random Forests: The Jackknife and the Infinitesimal Jackknife
我们研究了袋装学习者和随机森林的预测的变异性,并展示了如何估计这些方法的标准误。我们的工作建立在Efron(1992,2012)提出的Bagging方差估计的基础上,该估计基于刀切法和无穷小刀切法(IJ)。在实践中,袋装预测因子是使用有限数量B的自举重复来计算的,并且使用较大的B可能在计算上是昂贵的。将折刀估计和IJ估计直接应用于装袋需要B在n^{1.5}次自举重复的数量级上收敛,其中n是训练集的大小。我们提出了改进的版本,只需要B的顺序n次重复。此外,我们表明,IJ估计需要1.7倍以下的自举重复比刀切,以达到给定的精度。最后,我们研究了刀切和IJ方差估计本身的抽样分布。我们用多个实验和模拟研究来说明我们的发现。
2014-03-29 stat.CO stat.ME stat.ML
Targeted tuning of random forests for quantile estimation and prediction intervals
本文提出随机森林的QCL调参方法,通过最小化袋外分位数覆盖概率偏差来改善分位数估计与预测区间,并适配删失数据,在覆盖准确性和MSE上优于默认及传统调参。
2025-07-02 stat.AP stat.ME stat.ML
An Adaptive Weighted Deep Forest Classifier
Peter the Great St.Petersburg Polytechnic University (SPbPU)(彼得大帝圣彼得堡理工大学(SPbPU));St.Petersburg Clinical Research Center for Special Types of Medical Care (Oncology-oriented)(圣彼得堡特殊医疗类型临床研究中心(肿瘤导向))
提出了一种改进的基于自适应加权的Deep Forest算法的置信度筛选机制。修改的基本思想非常简单,源于Pang等人提出的置信度筛选机制思想,通过根据每个训练实例的分类精度更新每个级别的训练集来简化Deep Forest分类器。然而,如果置信度筛选机制只是从训练和测试过程中删除实例,则所提出的修改更灵活,并通过考虑分类准确性来分配权重。这在某种程度上类似于AdaBoost。数值实验表明,与Zhou和Feng提出的Deep Forest算法相比,该算法具有良好的性能.
2019-01-04 cs.LG stat.ML
CoinDICE: Off-Policy Confidence Interval Estimation
University of Alberta(阿尔伯塔大学);DeepMind(深度思维);Google Research(谷歌研究院)
我们研究了强化学习中的高置信度行为不可知的偏离策略评估,其目标是估计目标策略值的置信区间,仅允许访问未知行为策略收集的静态经验数据集。从$Q$ -函数的线性规划公式的函数空间嵌入出发,我们得到了一个具有广义估计方程约束的优化问题。通过将广义经验似然方法应用于所得到的拉格朗日量,我们提出了CoinDICE,一种新的和有效的算法计算置信区间。理论上,我们证明了所得到的置信区间是有效的,在渐近和有限样本制度。从经验上讲,我们在各种基准测试中表明,置信区间估计比现有方法更严格,更准确。
2020-10-22 cs.LG stat.ML
Parametric Bootstrap for Differentially Private Confidence Intervals
本文的目的是发展一个实用的和通用的方法来构建差异私人参数估计的置信区间。我们发现,参数自助法是一个简单而有效的解决方案。它清楚地推理了数据样本和随机隐私机制的可变性,并将“开箱即用”应用于广泛的私人估计例程。它还可以帮助校正由限幅数据引起的偏差,以限制灵敏度。我们证明了参数自举在两个广泛相关的设置中给出了一致的置信区间,包括对线性回归的新适应,避免了多次访问协变量数据。我们证明了它的有效性,各种估计,并发现它提供了良好的覆盖范围,即使在适度的样本量的置信区间,比其他方法更好地执行。
2021-10-12 cs.LG stat.ML
Construction of confidence interval for a univariate stock price signal predicted through Long Short Term Memory Network
IIT Guwahati(印度理工学院古瓦哈提分校)
在本文中,我们展示了一种创新的方法来构建基于单变量LSTM模型估计的信号的自举置信区间。我们采取三种不同类型的自助方法的依赖设置。我们规定了一些有用的建议,以选择最佳的块长度,而执行的样本的自举。我们还提出了一个基准比较通过不同的引导策略测量的置信区间。我们通过一些股票价格数据集来说明实验结果。
2020-07-01 cs.LG q-fin.ST stat.ML
Confidence Intervals for Testing Disparate Impact in Fair Learning
Institut de Mathématiques de Toulouse(图卢兹数学研究所);Universidad de Valladolid(巴利亚多利德大学)
我们提供了统计文献中用于量化机器学习中不同处理的主要指标的渐近分布。我们的目标是促进使用置信区间时,测试所谓的组不同的影响。我们在一些例子中说明了使用置信区间而不是单个值的重要性。
2018-07-17 cs.LG math.ST stat.ML
CONTINA: Confidence Interval for Traffic Demand Prediction with Coverage Guarantee
Key Laboratory of Road and Traffic Engineering, Ministry of Education at Tongji University(同济大学交通工程教育重点实验室);Urban Mobility Institute, Tongji University(同济大学城市交通研究院)
CONTINA通过适应性调整置信区间长度,提供在交通变化环境下更准确的预测区间,提升交通管理的鲁棒性。
2026-02-24 cs.AI cs.LG stat.ML
Quantifying Uncertainty in Random Forests via Confidence Intervals and Hypothesis Tests
这项工作开发了正式的统计推断程序的机器学习集成方法。基于自举的包围方法,如装袋和随机森林,提高了单个树的预测精度,但未能提供一个框架,其中分布的结果可以很容易地确定。我们考虑通过对训练集的子样本构建的树进行平均来进行预测,而不是聚合完整的自举样本,并证明所得估计量采用U统计量的形式。因此,各个特征向量的预测是渐近正态的,允许置信区间伴随预测。在实践中,子样本的子集用于计算速度;在这里,我们的估计量采用不完全U统计量的形式,并得出等效的结果。我们进一步证明,这种设置提供了一个框架来测试功能的重要性。此外,我们开发的内部估计方法允许我们估计方差参数,并在没有额外的计算成本进行这些推理程序。提供了一个真实的数据集上的模拟和插图。
2015-09-10 stat.AP stat.CO stat.ME
Confidence Intervals for Algorithmic Leveraging in Linear Regression
大数据时代已经产生了分析和存储计算成本高昂的数据集。数学杠杆提出我们从原始数据集中采样观察结果以生成代表性数据集,然后对代表性数据集进行分析。在本文中,我们提出了有效的算法,为每个算法利用估计的回归系数,渐近覆盖保证有限样本置信区间。在模拟中,我们根据经验确认置信区间具有期望的覆盖概率,而自举置信区间可能没有。
2018-03-10 stat.AP stat.ML
Open Problem: Tight Online Confidence Intervals for RKHS Elements
MediaTek Research(联发科研究);National University of Singapore(新加坡国立大学);University of California, San Diego(加州大学圣地亚哥分校)
置信区间是分析各种在线学习问题的关键组成部分。基于核的强盗和强化学习问题的分析利用适用于再生核希尔伯特空间(RKHS)的元素的置信区间。然而,现有的置信区间似乎并不紧,导致次优的遗憾界限。事实上,几个核化的强盗算法(例如,GP-UCB、GP-TS和它们的变体)甚至可能不能是次线性的。目前还不清楚次优后悔界限是这些算法的根本缺点还是证明的伪像,主要挑战似乎源于观察点的在线(顺序)性质。我们正式定义了RKHS环境中的在线置信区间问题,并概述了现有的结果。
2021-10-28 cs.LG math.ST stat.ML
Multivariate Confidence Intervals
置信区间是可视化和分析数据分布的常用方法。与p值不同,它们可以传达有关统计显著性和效应大小的信息。然而,很少有工作存在应用置信区间的多变量数据。在本文中,我们定义了置信区间的多元数据,扩展了一维的定义,在一个自然的方式。在我们的定义中,每个变量都像往常一样与自己的置信区间相关联,但是数据向量可以在其中一些之外,并且仍然被认为是在置信区域内。我们分析了这个问题,并表明,由此产生的信心领域保留了良好的品质,他们的一维同行:他们是信息丰富,易于解释。此外,我们发现,多元置信区间的问题是很难的,但提供有效的近似算法来解决这个问题。
2017-01-20 stat.AP stat.ML
Rejoinder: On nearly assumption-free tests of nominal confidence interval coverage for causal parameters estimated by machine learning
这是对Kennedy、Balakrishnan和Wasserman在《统计科学》上发表的论文“关于机器学习估计的因果参数的标称置信区间覆盖率的近无干扰测试“的反驳。
2020-08-07 stat.ME stat.ML
Modelling hetegeneous treatment effects by quantitle local polynomial decision tree and forest
为了进一步发展异质处理效应的统计推断问题,本文建立在Breiman(2001)的随机森林树(RFT)和Wager等人。的(2018年)因果树使用经典OLS的优秀统计特性和基于协变量分位数点的局部线性区间划分来参数化非参数问题,同时保留具有可构造置信区间和渐近正态性优点的随机森林树[Athey和Imbens(2016年),Efron(2014年),Wager等人。(2014)\citep{wager2014asymptotic} ]中,我们提出了一种使用根据固定规则的分位数分类与局部样本的多项式估计相结合的决策树,我们称之为分位数局部线性因果树(QLPRT)和森林(QLPRF)。
2022-03-13 econ.EM stat.ML
On Nonasymptotic Confidence Intervals for Treatment Effects in Randomized Experiments
Carnegie Mellon University(卡内基梅隆大学);École Normale Supérieure & Inria, Paris(巴黎高等师范学院与法国国家信息与自动化研究所)
本文提出了一种在随机实验中实现与渐近置信区间相同有效样本量的非渐近置信区间方法,且其速率在信息论上不可改进。
2026-01-23 math.ST stat.AP stat.ME
Testing and Confidence Intervals for High Dimensional Proportional Hazards Model
提出了一种基于去相关的方法来检验高维比例风险模型的假设和构造其低维分量的置信区间。受几何投影原理的启发,我们提出了新的去相关score、Wald和偏似然比统计量.在不假设模型选择相合的情况下,证明了这些检验统计量的渐近正态性,建立了它们的半参数最优性。我们还开发了新的程序来构建逐点置信区间的基线风险函数和基线生存函数。最后给出了数值结果来支持我们的理论。
2014-12-16 math.ST stat.ML stat.TH
Confidence Intervals for Selected Parameters
实际或科学的考虑往往导致选择一个子集的参数作为"重要的“。关于这些参数的推断通常是基于最初用于选择它们的相同数据。这可能会使报告的不确定性具有欺骗性的乐观:忽略选择的置信区间通常小于其标称覆盖概率。控制所选参数的一个或多个区间不覆盖的概率-“同时超过所选”(SoS)错误率-在许多科学问题中至关重要。控制SoS错误率的间隔可以以利用选择规则的知识的方式构造。我们为被认为是$m$移位参数中最“重要”的$k$参数构建SOS控制置信区间,因为它们被估计(由独立估计器)为最大。当$k$小于$m$时,新间期大大改善了Šidák间期,当$k \approx m$小于$m$时,新间期接近标准Bonferroni校正间期。如果当真实参数为零时,估计量是可交换的和对称的,则位置参数的标准未调整置信区间具有$k=1$、$m=2$的正确覆盖概率。
2019-06-02 math.ST stat.ME stat.ML