Relative Performance of Fisher Information in Interval Estimation
最大似然估计及其相应的置信区域常用于统计推断。在实际应用中，人们通常根据最大似然估计（最大似然估计）的渐近正态分布，在给定的样本数据下，利用Fisher信息构造近似置信区域。两种常见的Fisher信息矩阵（FIM，用于多变量参数）是观测的对数似然函数（负对数似然函数的黑塞矩阵）和期望的对数似然函数（观测对数似然函数的期望）。本文证明了在一定条件下，在均方误差（MSE）准则下，极大似然估计中各元素对期望误差的近似置信区间至少与对观测误差的近似一样精确。
2021-07-09 math.ST stat.TH
Explicit Formula for Constructing Binomial Confidence Interval with Guaranteed Coverage Probability
本文给出了在保证覆盖概率下构造二项参数置信区间的显式公式。该公式克服了正态近似在性质上是渐近的限制，从而在应用中不可避免地引入未知误差。此外，从区间宽度的角度来看，与经典的Clopper-Pearson方法相比，该公式非常严格。在严格公式的基础上，我们还得到了性能优良的覆盖概率近似公式。
2007-07-05 math.PR math.ST stat.ME
Confidence intervals for nonparametric regression
我们证明和讨论的概率非渐近界的成本与一般损失函数的回归计划从Rademacher理论的角度来看，和最优相对于平均$L^{2}$ -距离的基本条件期望的最小二乘回归结果从Vapnik-Chervonenkis理论的角度。结果如下分析涉及独立的，但可能是非平稳的训练样本，并可以扩展，在某种程度上，我们解释和说明，相关的情况下，训练样本表现出依赖性。
2022-03-20 math.PR math.ST stat.ML
Uniform convergence and asymptotic confidence bands for model-assisted estimators of the mean of sampled functional data
当研究变量是功能和存储容量有限或传输成本高，选择与调查抽样技术的一小部分的观察是一个有趣的替代信号压缩技术，特别是当目标是简单的数量，如平均值或总数的估计。我们扩展，在这个功能框架，模型辅助估计与线性回归模型，可以考虑到辅助变量，其总人口是已知的。我们首先表明，弱假设下的抽样设计和规律性的轨迹，估计的均值函数以及其方差估计是一致的。然后，在额外的假设下，我们证明了一个功能的中心极限定理，我们严格评估一个快速的技术的基础上模拟高斯过程，这是用来建立渐近置信带。方差函数估计的准确性进行评估的一个真实的数据集上的采样的电力消耗曲线测量每半小时超过一个星期的时间。
2013-02-14 math.ST stat.TH
On the Expectation of a Persistence Diagram by the Persistence Weighted Kernel
在拓扑数据分析中，持久同调描述了数据中健壮的拓扑特征，它有一个概要表示，称为持久图。持久性图的统计研究已经得到了积极的发展，持久性加权核显示了一些优于其他持久性图的统计方法。如果数据是从某种概率分布中提取的，那么相应的持久性图就具有随机性。然后，定义了持久性加权核对持久性图的期望。本文从（1）强大数律和中心极限定理，（2）用数值方法估计持久加权核的期望值的置信区间，（3）保证从概率分布到期望值的映射连续性的稳定性定理的观点，研究了概率分布与持久加权核之间的关系.在数值实验中，我们证明了我们的方法给出了一个有趣的反例，在拓扑数据分析的一个共同的看法。
2018-10-26 math.AT math.ST stat.TH
Bivariate change point detection: joint detection of changes in expectation and variance
提出了一种变点检测方法。本文考虑一个单变量独立随机变量序列，其期望值和方差均为分段常数，除此之外，其分布可以周期性变化。我们的目标是检测期望和方差的变化点。为此，我们提出了一个统计测试的原假设无变化点和算法的变化点检测。两者都是基于一个双变量移动和方法，共同评估的均值和经验方差。与单独的单变量方法相比，联合考虑有助于改善推断。我们有信心地推断变化的强度和类型。非参数方法支持对不同数据的分析。此外，多尺度方法解决了变化点和影响中的复杂模式。我们通过理论结果和仿真研究证明了性能。讨论了配套的R包jcp（可在CRAN上获得）。
2021-06-21 math.ST stat.ME stat.TH
PAC Confidence Predictions for Deep Neural Network Classifiers
PRECISE Center（PRECISE中心）；University of Pennsylvania（宾夕法尼亚大学）
在安全关键环境中部署深度神经网络（DNN）的一个关键挑战是需要提供严格的方法来量化其不确定性。在本文中，我们提出了一种新的算法，用于为DNN构建预测的分类置信度，该置信度具有可证明的正确性保证。我们的方法使用Clopper-Pearson置信区间的二项分布结合直方图分箱方法校准预测。此外，我们还演示了我们预测的置信度如何在两种情况下用于实现下游保证：（i）快速DNN推理，我们演示了如何以严格的方式组合快速但不准确的DNN与准确但缓慢的DNN，以提高性能而不牺牲准确性，以及（ii）安全规划，我们在使用DNN基于视觉观察来预测给定动作是否安全时保证安全性。在我们的实验中，我们证明了我们的方法可以用来为最先进的DNN提供保证。
2021-03-17 cs.LG stat.ML
On Upper-Confidence Bound Policies for Non-Stationary Bandit Problems
多臂强盗问题被认为是一个范式的权衡之间的探索环境，找到有利可图的行动和利用什么是已知的。在平稳的情况下，奖励的分布不随时间变化，上界置信度（UCB）策略已被证明是速率最优的。MABP的一个具有挑战性的变体是非平稳的强盗问题，其中赌徒必须在面对变化的环境的可能性时决定使用哪只手臂。在本文中，我们考虑的情况下，奖励的分布保持不变的时期，并在未知的时刻改变。我们分析了两种算法：折扣UCB和滑动窗口UCB。我们建立了这两个算法的预期遗憾的上限上限的期望次数次优手臂发挥。为此，我们得到了一个Hoeffding型不等式的自归一化偏差与随机数的被加数。我们建立了一个下限的遗憾存在突然变化的武器奖励分配。我们发现，折扣UCB和滑动窗口UCB都匹配的下限的对数因子。
2008-05-22 math.ST stat.TH
Estimating Traffic Parameters with Rigorous Error Control
为了在通信环境中执行排队分析或设计，我们需要估计输入参数的值，特别是到达率和服务时间的平均值。本文在服务时间为指数分布的假设下，提出了一种估计泊松过程到达率和服务器平均服务时间的方法。特别是，我们推导出样本量（即，I.I.D.的数量观测值），以获得满足给定置信水平的预定相对准确度的估计值。这种方法的一个显著特点是不需要关于参数的先验信息。与传统的方法，如标准误估计和置信区间的建设，它只提供后实验评估的估计，这种方法允许实验者严格控制估计误差。
2008-02-23 stat.AP stat.ME
Data-driven confidence bands for distributed nonparametric regression
WIAS Berlin（柏林应用分析与随机学研究所）
高斯过程回归和核岭回归是常用的非参数回归方法。不幸的是，他们遭受高计算复杂性，使他们不适用于现代的海量数据集。为此，已经提出了一些近似，其中一些允许分布式实现。其中之一是分而治之的方法，将数据分成若干分区，获得局部估计值，最后对它们进行平均。在本文中，我们提出了一种新的计算效率完全数据驱动的算法，量化这种方法的不确定性，产生频率主义$L_2$的置信带。我们严格证明了算法的有效性。本文的另一个贡献是平均估计量的最小最大最优高概率界，补充和推广了已知的风险界。
2020-06-08 cs.LG math.ST stat.ML
Tight Concentrations and Confidence Sequences from the Regret of Universal Portfolio
Boston University（波士顿大学）；University of Arizona（亚利桑那大学）
统计学中的一个经典问题是估计样本中随机变量的期望值。这就产生了导出集中不等式和置信序列（即随时间一致保持的置信区间）的紧密相关的问题。先前的工作已经展示了如何容易地将在线投注算法的后悔保证转换为时间均匀的集中不等式。在本文中，我们表明，我们可以走得更远：我们表明，遗憾的通用投资组合算法产生了新的隐式时间均匀的浓度和国家的最先进的经验计算的信心序列。特别是，我们的数值得到的置信序列永远不会是空的，即使是一个单一的样本，并满足重对数律。
2022-07-31 cs.IT cs.LG math.IT
Asymptotic confidence bands for copulas based on the transformation kernel estimator
在本文中，我们建立渐近的同时置信带的转换核估计Copula引进Omelka等人。（2009年）。为了这个目的，我们证明了一个统一的带宽法律的重对数的最大偏差，这个估计从它的期望，光滑条件下的copula函数。我们还研究了偏差，它以相同的精确率渐近一致地趋于零。最后给出了一些模拟实验来支持我们的结果
2016-08-19 stat.ME
Minimax Confidence Intervals for the Sliced Wasserstein Distance
由于Wasserstein距离的变体在统计和机器学习中越来越受欢迎，我们研究了切片Wasserstein距离的统计推断-Wasserstein距离的一个易于计算的变体。具体来说，我们构造置信区间的切片Wasserstein距离，有有限样本有效性下没有假设或温和的时刻假设。这些间隔的长度适应于基础分布的规律性。我们还绑定了估计切片Wasserstein距离的极大极小风险，并因此建立了我们提出的置信区间的长度在适当的分布类上是极大极小最优的。为了激励这些类的选择，我们还研究了极大极小率下的切片Wasserstein距离估计的分布。这些理论研究结果的补充与模拟研究表明，经典的自举的不足之处，我们提出的方法的优点。我们还显示了我们的理论预测和我们的置信区间长度在模拟中的适应性之间的强对应关系。最后，我们展示了使用我们的置信区间在设置基于模拟器的似然自由推理。在这种情况下，对比流行的近似贝叶斯计算方法，我们开发了不确定性量化方法与严格的频率覆盖保证。
2022-04-04 math.ST stat.ML stat.TH
Asymptotic confidence bands for copulas based on the local linear kernel estimator
本文基于Chen和Huang [1]提出的局部线性核估计建立了Copula函数的渐近同时置信带。为此，我们证明了光滑条件下的Copula函数，一个统一的带宽法律的重对数的最大偏差，这个估计从它的期望。我们还表明，偏置项一致收敛到零的精确率。这些波段的性能在模拟研究中示出。并给出了一个基于伪面板数据的应用程序。
2015-09-30 stat.ME
Equal confidence weighted expectation value estimates
在本文中，将使用贝叶斯方法、最小二乘拟合和最可能拟合来讨论这些问题。针对这些问题，提出了一种基于加权置信度的概率估计方法。该方法对不同的模型参数组合求和，但不需要对先验或基础概率函数进行假设。此外，通过构造，结果在模型参数的重新参数化下是不变的。在一种情况下，结果似乎类似于贝叶斯统计，但一般来说，没有协议。二项分布也进行了研究，结果是有用的生产过程中，而不需要作出进一步的假设作出预测。在最后一部分中，一个简单的线性拟合（多变量的例子）的情况下，使用标准的方法和置信加权的方法进行了研究。
2017-01-25 math.ST stat.TH
Conformal confidence intervals with an application to small area estimation
University of Southampton（南安普顿大学）；Statistisk sentralbyrå（挪威中央统计局）；Istituto nazionale di statística（意大利国家统计研究所）
该研究提出一种新型共形推理方法，生成样本内结果未知期望的共形置信区间，填补经典回归与共形推理的空白，并将其应用于小区域估计问题。
2026-08-05 stat.ME
Tighter Confidence Bounds for Sequential Kernel Regression
Universitat Pompeu Fabra（庞培法布拉大学）；Bosch Center for Artificial Intelligence（博世人工智能中心）
本文利用鞅尾不等式为序列核回归提出更紧的置信界，通过锥规划对偶高效计算，应用于核老虎机问题可提升KernelUCB算法性能。
2024-11-11 cs.LG stat.ML
High Dimensional Expectation-Maximization Algorithm: Statistical Optimization and Asymptotic Normality
我们提供了一个一般理论的期望最大化（EM）算法推断高维潜变量模型。特别是，我们做了两个贡献：（i）对于参数估计，我们提出了一种新的高维期望最大化算法，自然地将稀疏结构的参数估计。通过适当的初始化，该算法以几何速度收敛，并获得具有（近）最优统计收敛速度的估计器。(ii)基于所得到的估计量，我们提出了新的推断过程，用于检验假设和构造高维参数的低维分量的置信区间。对于一个广泛的家庭的统计模型，我们的框架建立了第一个计算上可行的方法，在高维的最佳估计和渐近推断。我们的理论得到了全面的数值结果的支持。
2015-01-27 stat.ML
A Confidence Interval for the $\ell_2$ Expected Calibration Error
University of Pennsylvania（宾夕法尼亚大学）
研究针对$\ell_2$期望校准误差开发置信区间，考虑top-1到-k校准，证明ECE去偏估计量的渐近正态性，构建渐近有效置信区间，实验表明该方法产生的置信区间比基于重采样的方法更短。
2026-07-23 cs.LG stat.ML
Differentially Private Confidence Intervals for Proportions under Stratified Random Sampling
针对调查抽样场景下缺乏差分隐私置信区间严谨方法的问题，本文提出三种分层随机抽样下比例的差分隐私置信区间算法，分析其隐私保障与渐近性质，并通过模拟和1940年人口普查数据应用验证有效性。
2024-04-11 cs.CR stat.ME
Reconstruct Kaplan--Meier Estimator as M-estimator and Its Confidence Band
Kaplan-Meier（KM）估计量是一种非参数估计生存函数的方法，在临床研究、工程、经济等领域有着广泛的应用。KM估计的理论性质包括其相合性和渐近分布已被广泛研究。我们重建KM估计的M-估计最大化的二次M-函数的基础上的一致性，这可以使用期望最大化（EM）算法计算。结果表明，期望最大化算法的收敛点与传统的KM估计量一致，从而对KM估计量作为M估计量给出了新的解释。利用M-估计理论建立了KM估计的大样本方差和极限分布等理论性质。在两个真实数据集上的仿真和应用表明，所提出的M-估计与KM估计完全等价，并且可以导出置信区间和置信带.
2020-11-20 stat.ME
A General Framework for Robust Testing and Confidence Regions in High-Dimensional Quantile Regression
我们提出了一个鲁棒的推理过程来评估高维线性模型中参数估计的不确定性，其中维数$p$可以随着样本量$n$呈指数快速增长。我们的方法结合了去偏技术与复合分位数函数，以构建一个估计，是渐近正态的。因此，它可以用来构建有效的置信区间和进行假设检验。我们的估计是强大的，不需要存在的一阶或二阶矩的噪声分布。它还保持了效率，在这个意义上，最坏情况下的效率损失小于30%相比，平方损失为基础的去偏Lasso估计。在许多情况下，我们的估计接近或优于后者，特别是当噪声是重尾的。我们的去偏过程不需要解决$L_1$惩罚复合分位数回归。相反，它允许任何第一阶段的估计所需的收敛速度和经验稀疏。本文还提供了新的证明技术，发展的理论保证的推理过程与非光滑损失函数。为了建立主要的结果，我们利用复合分位数损失的条件期望的局部曲率，并应用经验过程理论来控制经验量和它们的条件期望之间的差异。我们的结果是建立在较弱的假设相比，现有的工作推断高维分位数回归。此外，我们考虑了一个高维的同时测试的回归参数，应用高斯近似和乘数自助理论。我们还研究了分布式学习，并利用分治估计，以减少计算复杂度时，样本量是巨大的。最后，我们提供了实证结果来验证理论。
2015-03-18 stat.ML
High Confidence Level Inference is Almost Free using Parallel Stochastic Optimization
Department of Statistics, University of California, Irvine（加州大学 Irvine 分校统计系）；Department of Mathematics, University of California, San Diego（加州大学圣地亚哥分校数学系）；Department of Statistics, University of Chicago（芝加哥大学统计系）
本文提出一种高效构建置信区间的方法，通过少量独立多轮运行获取分布信息，实现快速收敛和高置信度推断，无需额外计算资源。
2026-03-22 cs.LG stat.ML
LLMs are Overconfident: Evaluating Confidence Interval Calibration with FermiEval
研究发现 LLMs 在构建置信区间时系统性过度自信，提出 FermiEval 基准评估此问题，并利用共形预测、对数概率 elicitation 和分位数调整方法有效降低过度自信，同时提出感知隧道理论解释其成因。
2025-10-30 cs.AI cs.LG stat.ME
Assessing the Lognormal Distribution Assumption For the Crude Odds Ratio: Implications For Point and Interval Estimation
假设粗比值比（ORcrude）的抽样分布为参数为μ和sigma的对数正态分布，导致ORcrude的对数期望等于参数μ的错误结论。实际上，exp（mu）是对数正态分布的中位数，而不是平均值。如果获得不同的参数作为对数正态分布的期望值，则该量可用于获得真实比值比（OR true）的新估计值。在此，基于简单的随机临床试验研究设计进行模拟。模拟表明，新的估计ORtrue（基于对数正态分布函数的期望值）产生的区间估计比标准方法更具有统计学有效性。这些区间估计值通过参数自助法和计算百分位数法获得。估计的置信区间的统计学结论有效性基于预期覆盖概率（即置信区间包含OR true的概率）。此外，基于改进置信区间估计的基于区间的假设检验在备择假设为真（即OR真不等于1）时拒绝OR真等于1的原假设的把握度高于干预具有保护性时的标准假设检验。
2022-11-11 stat.AP stat.ME
Off-Policy Confidence Interval Estimation with Confounded Markov Decision Process
London School of Economics and Political Science（伦敦政治经济学院）；Sun Yat-sen University（中山大学）；Didi Chuxing（滴滴出行）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）；North Carolina State University（北卡罗来纳州立大学）
本文基于预先收集的观测数据，在无限时域下离线构造目标策略值的置信区间。大多数现有的作品假设没有不可测量的变量存在混淆观察到的行动。然而，在实际应用中，如医疗保健和技术行业，这一假设可能会被违反。在本文中，我们表明，通过一些调节行为对系统动态影响的辅助变量，目标策略的值在混杂的马尔可夫决策过程中是可识别的。基于这一结果，我们开发了一个有效的政策外价值估计，是强大的潜在的模型误指定，并提供严格的不确定性量化。我们的方法是合理的理论结果，模拟和实际数据集从乘车共享公司。建议过程的Python实现可在https://github.com/Mamba413/cope上获得。
2022-11-04 cs.LG stat.ML
Confidence Decision Trees via Online and Active Learning for Streaming (BIG) Data
决策树分类器是数据流挖掘中广泛使用的工具。使用置信区间来估计与每个分裂相关联的增益导致非常有效的方法，如流行的Hoeffding树算法。从统计学的角度来看，在流设置中的决策树分类器的分析需要知道何时已经收集了足够的新信息来证明分裂叶子是合理的。虽然Hoeffding树的统计分析中的一些问题已经澄清，一般和严格的研究置信区间的分裂标准是失踪。我们填补了这一空白，推导出准确的置信区间估计分裂增益决策树学习的三个标准：熵，基尼指数，和第三个指标提出的卡恩斯和曼苏尔。我们的置信区间更详细地依赖于树的参数。我们还将我们的置信度分析扩展到选择性采样设置，其中决策树学习器自适应地决定在流中查询哪些标签。我们提供了理论保证边界的概率，分类是非最优的学习决策树通过我们的选择性抽样策略。在流媒体环境中对真实数据和合成数据的实验表明，我们的树确实比其他技术生成的具有相同数量叶子的树更准确，并且我们的主动学习模块允许节省标记成本。此外，比较我们的标签策略与最近的方法，我们表明，我们的方法是更强大的和一致的尊重所有其他技术应用于增量决策树。
2016-04-12 cs.LG stat.ML
On a non-parametric confidence interval for the regression slope
本文研究了Tukey方法在Theil回归中的应用，得到了不一定具有正态误差的直线回归模型中真实斜率的置信区间。自2005年以来，这种特定的方法在R软件包中实现;然而，没有任何理论背景。我们说明了蒙特卡罗模拟，这种方法，不像经典的Theil的方法的基础上肯德尔的tau，严重缩小了真正的置信水平的区间。我们还提供了严格的证明，在四个数据点的情况下（一般），并在五个数据点的情况下（在一些附加条件下）;在后一种情况下，与现实生活中的方法使用的例子。总之，我们证明，一个不应该结合统计方法，而不检查其使用的假设，我们也给一个警告已经广泛的社会R用户的泰尔回归从各个科学领域。
2016-09-09 stat.ME
Non-asymptotic Confidence Intervals of Off-policy Evaluation: Primal and Dual Bounds
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Tsinghua University（清华大学）
离线策略评估（OPE）是基于先前在不同策略下收集的离线数据来估计给定策略的预期回报的任务。因此，OPE是将强化学习应用于医疗等现实世界领域的关键一步，在这些领域，交互式数据汇集是昂贵的，甚至是不安全的。由于观察到的数据往往是嘈杂和有限的，它是必不可少的，以提供严格的不确定性量化，而不仅仅是一个点估计，当应用OPE作出高风险的决策。本文研究了在无限时域外策略评估中构造非渐近置信区间的问题，这仍然是一个具有挑战性的公开问题。我们开发了一个实用的算法，通过原始对偶优化为基础的方法，利用内核贝尔曼损失（KBL）冯等。（2019）和一个新的鞅浓度不等式的KBL适用于时间依赖的数据与未知的混合条件。我们的算法对数据和Q函数的函数类做了最小的假设，并适用于行为不可知的设置，其中数据是在任意未知行为策略的混合下收集的。我们提出的实证结果清楚地表明，我们的方法比现有的方法的优势。
2021-03-09 cs.LG stat.ML
Simultaneous confidence bands for contrasts between several nonlinear regression curves
我们提出了同时置信带的双曲线型的几个非线性（曲线）回归曲线之间的对比。置信带的临界值由定义在解释变量域上的卡方随机过程的最大值的分布确定。本文利用管体积法导出了卡方随机过程最大值的上尾概率公式，该公式是渐近精确的，并且在常用的尾部区域具有足够的精度。证明了所得公式等价于卡方随机过程的游程集的Euler-Poincare特征的期望，因而是保守的。因此，这个结果是Gauss随机过程的Naiman不等式的推广。作为一个说明性的例子，consomic小鼠的生长曲线进行了分析。
2017-01-10 math.ST stat.TH
A Geometric Approach to Confidence Sets for Ratios: Fieller's Theorem, Generalizations, and Bootstrap
本文提出了一种几何方法来确定随机变量X和Y的均值比E（Y）/E（X）的置信集。该方法将两个随机变量之比的置信集构造问题归结为一维随机变量均值的置信集构造问题。它适用于各种各样的情况。在正态分布随机变量的情况下，这样构造的置信集与标准的Fieller置信集一致。我们的建设的推广导致非常一般的分布类的精确和保守的置信集的定义，提供的联合期望（X，Y）的存在和线性组合的形式aX + bY是良好的行为。最后，我们的几何方法允许导出一个非常简单的引导方法，用于构建保守的置信度集的比率，在某些情况下，特别是在不对称的重尾制度。
2007-11-01 math.ST stat.ME stat.TH
Confidence Regions for Means of Random Sets using Oriented Distance Functions
图像分析经常涉及形状估计和图像重建。在这些问题中感兴趣的对象可以被认为是随机集合，并且人们感兴趣的是找到一个代表性的或预期的集合。我们考虑使用定向距离函数的集合期望的定义，并研究相关的经验集的性质。给出了经验平均值一致的条件，并介绍了一种计算期望集的置信区域的方法。该方法适用于真实和模拟数据的例子。
2011-06-08 math.ST stat.AP stat.ME
New formulas for moments of the multivariate normal distribution extending Stein's lemma and Isserlis theorem
本文提出计算含高斯随机向量标量函数与分量幂次乘积期望的新公式，简化后可得到多元正态分布的Stein引理，设函数为1时能推导Isserlis定理，并给出两种证明方法。
2025-07-26 math.PR math.ST stat.TH
