Linearity Characterization and Uncertainty Quantification of Spectroradiometers via Maximum Likelihood and the Non-parametric Bootstrap
用于表征和校正辐射测量仪器的线性的技术被称为“通量添加方法”和“组合技术”。在本文中,我们开发了一个严格的不确定性量化方法与这种技术的使用,并说明它的使用与合成数据和实验数据从“束conjoiner”仪器。我们提出了一个概率模型,通过一组多项式系数的一组未知通量的仪器读数。推荐未知通量和多项式系数的最大似然估计(MLE),而非参数自举算法实现不确定性量化(例如,它可以返回标准误)。合成数据代表了辐射测量仪器的合理输出,并使该方法能够进行测试和验证。发现这些数据的MLE近似无偏,并且发现自举重复测定得出的置信区间与其95%的目标覆盖率一致。对于多项式系数,相对偏倚小于1%,观察到的覆盖率范围为90%至97%。实验数据集被用来说明如何使用该方法加上一个众所周知的通量水平可以实现一个完整的校准与不确定性。在其大部分范围内,仪器非线性响应估计的不确定度贡献小于0.02%。
2022-09-29 stat.AP
Prediction Sets Adaptive to Unknown Covariate Shift
针对未知协变量偏移下预测集构建的难题,提出无分布方法PredSet-1Step,可高效构建具备渐近覆盖率保证的预测集,经理论与实验验证有效。
2023-06-17 math.ST stat.ME stat.ML
Piecewise polynomial approximation of probability density functions with application to uncertainty quantification for stochastic PDEs
与给定样本集相关联的密度函数(PDF)由相对于样本空间的分箱构造的分段线性多项式近似。核函数是这样的多项式的空间(即,有限元帽函数)的紧支持基,其以bin节点为中心而不是以样本为中心,如标准核密度估计方法的情况。该特征自然地提供相对于样本量可缩放的近似。另一方面,与其他使用有限元方法的策略不同,所提出的近似不需要线性系的解。此外,将bin大小与样本量相关联的简单规则消除了对带宽选择过程的需要。所提出的密度估计具有酉积分,不需要强制正性的约束,并且是相容的。所提出的方法进行了验证,通过数值例子中的样本来自已知的PDF。该方法还用于确定与依赖于随机偏微分方程的解的感兴趣的输出相关联的(未知)PDF的近似。
2019-12-05 cs.NA math.NA math.ST
Fiducial Inference for Random-Effects Calibration Models: Advancing Reliable Quantification in Environmental Analytical Chemistry
University of Illinois Chicago(伊利诺伊大学芝加哥分校);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校);The University of Chicago(芝加哥大学)
本文提出了一种基于随机效应校准模型的固有推断方法,用于提升环境分析化学中测量结果的可靠性与准确性。
2026-01-25 stat.ME
Uncertainty Quantification for Landweber Iteration with Randomized Normal-Operator Approximation
University of Manchester(曼彻斯特大学);Case Western Reserve University(凯斯西储大学)
本研究针对线性逆问题中的Landweber迭代,结合随机奇异值分解的低秩近似与广义fiducial推断,提出一种量化重建不确定性的方法,在降低计算成本的同时提供准确重建和可靠置信区间。
2026-10-02 cs.NA math.NA math.ST
Risk Quantification in Stochastic Simulation under Input Uncertainty
在模拟复杂随机系统时,输出响应的行为依赖于从有限的真实世界数据中估计的输入参数,数据的有限性给系统带来了输入的不确定性。输入不确定性对输出响应的影响的量化已经得到了广泛的研究。现有的文献大多侧重于提供真实但未知输入参数下的平均响应的推断,包括点估计和置信区间构造。输入不确定性下的平均响应风险量化在系统评价和控制中起着重要的作用,因为它提供了对所有可能输入模型中平均响应极端情景的推断。据我们所知,在文献中很少有系统的研究。本文首先介绍了输入不确定性下均值响应的风险度量,并提出了一种嵌套的蒙特卡罗模拟方法来估计它们。然后,我们开发的渐近性质,如一致性和渐近正态性的建议嵌套风险估计。我们进一步研究了相关的预算分配问题,以有效的嵌套风险模拟,最后使用共享经济的例子来说明由于输入的不确定性,访问和控制风险的重要性。
2017-12-18 q-fin.RM stat.AP
Uncertainty quantification and testing in a stochastic block model with two unequal communities
我们显示后收敛的社区结构中种植的双节模型,几个有趣的先验。示例包括每个顶点上的标签是iid Bernoulli分布的,具有某些参数$r\in(0,1)$。参数$r$可以是固定的,或者配备有β分布。我们对类的大小没有限制,类的大小可能小到零,或者包括所有顶点,以及介于两者之间的所有东西。这使我们能够在没有可区分社区的均匀(Erdös-Rényi)随机图或种植二节模型之间进行测试。后验收敛的精确界使我们能够将可信集转换为置信集。后验概率的对称检验是一致的。
2021-08-13 math.ST stat.TH
Rigorous uncertainty quantification of probabilistic AI weather forecasts with conformal prediction
University of Chicago(芝加哥大学)
针对AI概率天气预报校准不足(尤其是极端事件),提出使用保形预测方法,无需分布假设即可数学保证覆盖,应用于三个全球模型(GenCast、NeuralGCM、AIFS-ENS)的温度和降水预报,实现校准不确定性而不牺牲其他概率指标。
2026-06-19 physics.ao-ph stat.AP stat.ML
Identification and quantification of Granger causality between gene sets
Wiener和Granger引入了两个变量之间因果关系的直观概念,该概念基于效应永远不会在其原因之前发生的想法。后来,Geweke将这一概念推广到多变量格兰杰因果关系,即,n个变量Granger-导致另一个变量。虽然格兰杰因果关系不是“有效因果关系”,但这一概念有助于推断观测数据中的方向性和信息流。Granger因果关系通常使用VAR模型来确定,因为它们简单。在过去的几年中,提出了一些基于VAR的模型,以模拟基因调控网络。在这里,我们推广了多变量格兰杰因果关系概念,以确定基因表达集之间的格兰杰因果关系,即,一组n个基因是否Granger-引起另一组m个基因,旨在识别和量化基因网络(或途径)之间的信息流。提出了变量集的Granger因果关系的概念。此外,提出了一种方法,其识别与自助测试。该方法应用于模拟和实际的生物基因表达数据,以模拟调控网络。这个概念可能有助于理解从一个网络或路径到另一个网络或路径的完整信息流,主要是在监管网络中。将这个概念与图论联系起来,sink和source可以推广到节点集。此外,可以基于总信息流来定义基因集合的枢纽和中心性。另一个应用是在注释中,当一组基因的功能是未知的,但这组是由另一组基因引起的格兰杰,这是很好的研究。因此,这些信息可能有助于推断或构建关于未知基因组的一些假设。
2009-11-06 stat.ME
Uncertainty quantification for the horseshoe
研究了稀疏多元正态均值模型中马蹄先验的可信集和边际可信区间。我们这样做,在自适应设置,而不假设知识的稀疏水平(信号的数量)。我们考虑的分层贝叶斯方法,把一个先验的未知的稀疏水平和经验贝叶斯方法的最大边际似然估计的稀疏水平。我们表明,可信球和边际可信区间有良好的频率覆盖和最佳的大小,如果稀疏水平的先验知识是正确的。根据一般理论,诚实置信集的大小不能适应未知的稀疏水平。因此,基于马蹄先验的层次和经验贝叶斯可信集在整个参数空间上是不诚实的。我们表明,这是由于过度收缩某些参数和可靠的球和边际可信区间确实给正确的不确定性量化的参数集。特别是,我们证明了边缘贝叶斯过程的错误发现的分数是由一个正确的选择截止控制。
2017-02-13 math.ST stat.TH
tsbootstrap: Distribution-Free Uncertainty Quantification and Conformal Prediction for Time Series
DeepThought Solutions
研究针对金融等领域违反可交换性的问题,通过tsbootstrap的单个类型化API提供多种重采样和校准方法,在受控研究中表现良好,后端运行快且节省内存,贡献了有效的时间序列不确定性量化与共形预测方案。
2026-07-09 cs.AI cs.MS q-fin.ST
Bayesian Hypothesis Testing for Block Sparse Signal Recovery
提出了一种新的块贝叶斯假设检验算法(Block-BHTA),用于重构具有未知块结构的块稀疏信号。Block-BHTA算法包括支撑点的检测和恢复,以及块稀疏信号幅度的估计。使用贝叶斯假设检验执行支持检测和恢复。然后,基于检测和重建的支持,非零幅度估计的线性MMSE。数值实验证明了Block-BHTA的有效性。
2015-08-22 cs.IT math.IT stat.ML
Optional Pólya trees: posterior rates and uncertainty quantification
我们考虑统计推断的密度估计模型使用基于树的贝叶斯方法,与可选的波利亚树作为先验分布。我们得到了相应的后验分布的上确界范数的近优收敛速度。对于广泛的类Hölder光滑密度,我们表明,该方法自动适应未知的Hölder正则性参数。我们考虑的不确定性量化的问题,通过提供数学保证,从获得的后验分布的可信集,导致接近最佳的不确定性量化的密度函数,以及相关的泛函,如累积分布函数。通过一个简短的模拟研究的结果说明。
2021-10-11 math.ST stat.TH
Audited Conformal Prediction for Classification under Unknown Distribution Shift
Department of Data Sciences and Operations, University of Southern California(数据科学与运营系,南加州大学);AI Foundations, Capital One(Capital One人工智能基础);Department of Data Sciences and Operations, Thomas Lord Department of Computer Science, University of Southern California(数据科学与运营系,托马斯·劳德计算机科学系,南加州大学)
提出审计共形预测方法,利用目标群体小标注数据训练审计模型识别旧模型可能失败的输入,结合共形预测框架在保证边际覆盖的同时提高条件覆盖,并提供理论保证。
2026-06-16 cs.LG stat.ML
Uncertainty quantification by block bootstrap for differentially private stochastic gradient descent
Ruhr University Bochum(波鸿鲁尔大学)
针对自助法因多次查询隐私数据而难以用于差分隐私 SGD 的问题,本文提出无需调整隐私预算、计算可行的分块自助法,并从理论和模拟上验证其不确定性量化有效性。
2024-05-21 cs.CR cs.LG math.ST
Bernstein-von Mises theorems and uncertainty quantification for linear inverse problems
我们考虑从被加性高斯白噪声破坏的线性测量中恢复未知函数$f$的统计逆问题。我们采用了一个非参数贝叶斯方法与标准高斯先验,基于后验的重建$f$对应的Tikhonov正则化$\bar f$与再生核希尔伯特空间范数惩罚。我们证明了一个半参数Bernstein-von Mises定理的大量收集的线性泛函的$f$,这意味着半参数后验估计和不确定性量化是有效的,从频率论的角度来看是最佳的。将所得结果应用于研究三个具体的例子,涵盖轻度和严重不适定的情况下:具体地说,一个椭圆反问题,一个椭圆边值问题和热方程。对于椭圆型边值问题,我们也得到了一个非参数版本的定理,需要收敛的后验分布的先验独立的无限维高斯概率测度与最小的协方差。因此,它遵循的Tikhonov正则化$\bar f$是一个有效的估计$f$,我们得到频率保证某些可信的球集中在$\bar{f}$。
2020-01-17 math.ST stat.TH
Confidence sets in a sparse stochastic block model with two communities of unknown sizes
在具有两个大小不等的社区的稀疏随机块模型中,我们得到了两个后验浓度不等式,这意味着(1)在稀疏边界下的社区结构的后验(几乎)精确恢复,这与种植二节模型中众所周知的尖锐边界相当;(2)从可信集构造社区分配的置信集,具有有限的图大小。后者使精确的频率不确定量化与贝叶斯可信集在非渐近图的大小,后验可以很好地模拟。可信度和置信水平之间不成比例:对于给定的边缘概率和期望的置信水平,存在一个临界图大小,其中所需的可信水平从接近1急剧下降到接近0。在这样的图的大小,频率论者决定不包括大多数的后验支持来构建他的置信集,而只包括一小部分包含最高量的后验概率的社区分配(如最大后验估计)。有人认为,对于建议的置信集的建设,一种形式的早期停止适用于MCMC采样的后验,这将使置信集的计算在更大的图形大小。
2021-08-16 math.ST stat.TH
Efficient Bayesian estimation and uncertainty quantification in ordinary differential equation models
回归函数通常由包含一些未知参数的常微分方程(ODE)系统来指定。通常,常微分方程的解析解是不可用的,因此,通过方程的数值解在许多参数值处的似然估计可能在计算上是禁止的。Bhaumik和Ghosal(2015)通过将模型嵌入到更大的非参数回归模型中来考虑贝叶斯两步法,其中先验通过基于B样条基函数的随机序列进行。通过最小化回归函数的导数和由ODE建议的导数之间的积分加权平方距离,从回归函数中导出参数的后验。虽然这种方法计算速度快,但贝叶斯估计量不是渐近有效的。在本文中,我们提出了一个修改的两步方法,直接考虑之间的距离的功能,在非参数模型和四个阶段的龙格-库塔(RK 4)方法。我们还研究了参数的后验分布的渐近行为的基础上获得的近似似然RK 4数值解的常微分方程。我们建立了一个Bernstein-von Mises定理,这两种方法,确保贝叶斯不确定性量化匹配的频率和贝叶斯估计是渐近有效的。
2016-02-22 math.ST stat.TH
Needles and straw in a haystack: robust confidence for possibly sparse sequences
在一般的信号+噪声模型中,我们构建了一个经验贝叶斯后验,然后我们使用它来对未知的,可能是稀疏的信号进行不确定性量化。我们引入了一个新的过度偏置限制(EBR)条件,这引起了一个新的切片的整个空间,是适合不确定性量化。在EBR和一些温和的噪声条件下,我们建立了局部(预言)最优的建议的信心球。顺便说一句,我们还得到了估计和后验收缩问题的局部最优(预言)结果。自适应极大极小的结果(也为估计和后收缩问题)在各种稀疏类遵循我们的本地结果。
2018-03-11 math.ST stat.TH
Uncertainty quantification for intervals
针对区间数据提出不确定性量化算法,利用新函数类建立理论性质,模拟显示条件覆盖率提升达60%,并应用于睡眠与心血管疾病及生存时间等生物医学场景。
2025-03-31 math.ST stat.ME stat.TH
An Efficient Bayesian Framework for Uncertainty Quantification in Nonlinear Imaging Inverse Problems
Case Western Reserve University(凯斯西储大学);IIT Gandhinagar(甘地纳加尔印度理工学院)
针对定量光声层析成像和电阻抗断层成像这两个非线性成像逆问题,基于两阶段推进方法开发高效贝叶斯框架,通过为辅助变量制定回归问题并避免MCMC采样,以较低计算成本实现准确重建和可靠不确定性估计。
2026-07-14 math.ST stat.TH
Valid and efficient possibilistic structure learning in Gaussian linear regression
针对回归模型结构确定中不确定性常被忽视的问题,提出扩展可能性理论推理模型框架,纳入不完整先验信息实现正则化,证明其不确定性量化校准性,推导的置信集达有限样本名义覆盖率,还提供先验知识量化指导并对比现有方法。
2025-11-12 math.ST stat.ME stat.TH
Inference and Uncertainty Quantification for Noisy Matrix Completion
Princeton University(普林斯顿大学)
噪声矩阵完备化的目的是估计一个低秩矩阵,只有部分和损坏的条目。尽管在设计有效的估计算法方面取得了实质性进展,但在很大程度上仍然不清楚如何评估所获得的估计的不确定性以及如何对未知矩阵(例如,为看不见的条目构造有效且短的置信区间)。本文采取了一个步骤的推理和不确定性量化噪声矩阵完成。我们开发了一个简单的程序来补偿广泛使用的凸和非凸估计的偏差。由此产生的去偏估计承认几乎精确的非渐近分布特征,这反过来又使置信区间\,/\,区域的最佳建设,说,丢失的条目和低秩的因素。我们的推理过程不依赖于样本分割,从而避免了不必要的数据效率损失。作为一个副产品,我们得到了我们的去偏估计,这是据我们所知,是第一个易于处理的算法,可证明达到充分的统计效率(包括preconstant)的估计精度的尖锐表征。本文的分析建立在凸优化和非凸优化之间的密切联系之上--这是\cite{chen2019noisy}最近发现的一个有吸引力的特征。
2019-11-14 cs.IT cs.LG eess.SP