Bayesian Generalized Network Autoregressive Model with Structured Shrinkage and Persistence Priors
Human-Centered Artificial Intelligence Research Institute, Ewha Womans University(梨花女子大学人类中心人工智能研究所);Department of Statistics and Actuarial Science, Soongsil University(崇实大学统计与精算科学系)
提出贝叶斯广义网络自回归模型,结合结构化收缩与持久性先验,无需BIC选择即可保持预测精度,并提供参数与预测不确定性推断。
2026-10-27 stat.CO stat.ME
Learn then Test: Calibrating Predictive Algorithms to Achieve Risk Control
我们介绍了一个框架,用于校准机器学习模型,使其预测满足明确的,有限样本的统计保证。我们的校准算法适用于任何基础模型和(未知)数据生成分布,并且不需要模型改装。该框架解决了多标签分类中的错误发现率控制、实例分割中的交集控制以及分类或回归中的异常值检测和置信集覆盖的类型1错误的同时控制等示例。我们的主要观点是将风险控制问题重新定义为与以往文献不同的多假设检验、使能技术和数学论证。我们使用该框架为几个核心机器学习任务提供了新的校准方法,并提供了计算机视觉和表格医疗数据中的详细工作示例。
2022-09-29 cs.AI cs.CV cs.LG
A Sensitivity-based Framework for Calibrating Coupled Ordinary Differential Equations under Model Discrepancy
University of South Carolina(南卡罗来纳大学)
针对耦合ODE系统在模型失配下的校准难题,提出基于灵敏度的自动结构约束框架,无需特定先验,提升可辨识性与预测精度,并在三个模型上验证。
2026-10-08 math.OC stat.AP
Probabilistic wind speed forecasting using Bayesian model averaging with truncated normal components
贝叶斯模型平均(Bayesian Model Averaging,BMA)是一种统计方法,用于对从多次运行的数值天气预报模型中获得的大气变量的预报集合进行后处理,以创建校准的预测概率密度函数(PDF)。未来天气量的BMA预测PDF是对应于集合成员的各个PDF的混合,并且使用集合成员和来自给定训练期的验证观测来估计权重和模型参数。在本文中,我们介绍了一个BMA模式校准风速预报,其中的PDF组件遵循截断正态分布与截止为零,并将其应用到ALADIN-HUNEPS集合的匈牙利气象服务。提出了三种参数估计方法,每种方法的模型在校正和预测精度方面都优于传统的伽马BMA模型。此外,由于这里参数的极大似然估计不需要数值优化,因此可以比在伽马混合物的情况下更快地执行建模。
2013-05-07 stat.ME
Variational Predictive Information Bottleneck
Google Research(谷歌研究院)
在经典论文中,Zellner证明了贝叶斯推理可以作为信息论泛函的解决方案。下面我们推导出这个泛函的广义形式作为预测信息瓶颈目标的变分下界。这种广义的功能包括最现代的推理程序,并建议新的。
2019-10-23 cs.IT cs.LG math.IT
Bayesian predictive densities for linear regression models under alpha-divergence loss: some results and open problems
本文考虑方差未知的正态线性模型在α-散度损失下的预测密度估计,其中α-1 <= α <= 1。我们首先给出了问题的一般标准型,然后给出了广义贝叶斯解在上述损失下的一般表达式。对于Maruyama和Strawderman(2005,2006)研究的一类特殊的分层广义先验,分别针对均值向量和方差的估计问题,给出了广义Bayes预测密度.此外,我们表明,对于这些先验的一个子类,当alpha=1时,所得估计量相对于右不变先验支配广义贝叶斯估计量,即,最佳(完全)等变极大极小估计量。
2010-02-19 math.ST stat.TH
Censored and shifted gamma distribution based EMOS model for probabilistic quantitative precipitation forecasting
最近,所有主要的天气预报中心都提供不同天气量的预报集合,这些天气量是从不同初始条件和模式参数化的数值天气预报模式多次运行获得的。然而,集合预报往往表现出分散性不足的特点,也可能是有偏见的,因此需要一些后处理来解决这些不足之处。可能最流行的现代后处理技术是集合模型输出统计(EMOS)和贝叶斯模型平均(BMA),它们提供可预测天气量的密度估计。在目前的工作中,EMOS方法校准集合预报的降水积累,其中预测分布遵循审查和转移伽马(CSG)法律的参数取决于集合成员。CSG EMOS模型进行了测试集合预测24小时降水累积的8名成员的华盛顿大学中尺度合奏和11名成员合奏业务有限区域模型Enhancement预测系统的匈牙利气象服务。新的EMOS方法的预测性能进行了比较的原始集合,广义极值(GEV)分布为基础的EMOS模型和伽玛BMA方法的拟合。根据结果,建议的CSG EMOS模式略优于GEV EMOS方法的概率和点预报精度的校准方面,并显示出显着更好的预测技巧,原始集合和BMA模式。
2016-04-01 stat.ME
A Generalized Bayesian Approach to Model Calibration
在模型开发中,模型校准和验证在学习可靠模型方面发挥着互补作用。在这篇文章中,我们通过将验证数学转化为用于模型校准和回归的广义贝叶斯方法,将贝叶斯验证度量框架扩展为通用校准和验证框架。我们根据用户对模型数据一致性的定义执行贝叶斯回归。这允许对任何类型的数据分布进行模型选择,不像贝叶斯和标准回归技术,在某些情况下“失败”。我们表明,我们的工具能够在一个框架中表示和组合最小二乘法,基于似然的,贝叶斯校准技术,同时能够概括这些方法的各个方面。该工具还提供了对预测包络(也称为置信带)的解释的新见解,同时使分析师能够对这些包络进行更多的控制。我们证明了我们的方法的有效性,通过提供三个数值例子来校准不同的模型,包括冲击载荷下的搭接接头的能量耗散模型。通过相对于验证度量校准模型,期望模型最终通过,可靠性和安全性度量可以在校准阶段被集成到模型中并被模型自动采用。
2020-07-31 stat.ME
Data Subsampling for Bayesian Neural Networks
Université Paris-Saclay(巴黎萨克雷大学);Univ. Grenoble Alpes(格勒诺布尔大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心);LPMMC(介观物理与材料结构实验室)
针对MCMC在大数据集上扩展性差的问题,提出惩罚贝叶斯神经网络(PBNN),通过引入惩罚项的Metropolis Hastings广义算法实现无偏mini-batch子采样,在保持预测性能的同时显著降低预测过度自信。
2024-09-23 cs.LG stat.ML
Bayesian Deep Learning and a Probabilistic Perspective of Generalization
New York University(纽约大学)
贝叶斯方法的关键区别属性是边缘化,而不是使用单一的权重设置。贝叶斯边缘化可以特别提高现代深度神经网络的准确性和校准,这些网络通常被数据低估,并且可以代表许多引人注目但不同的解决方案。我们发现,深合奏提供了一个有效的机制近似贝叶斯边缘化,并提出了一个相关的方法,进一步提高了预测分布的边缘化盆地内的吸引力,没有显着的开销。我们还研究了先验函数隐含的模糊分布在神经网络权重,解释了这样的模型的泛化性能从概率的角度来看。从这个角度来看,我们解释了神经网络泛化的神秘和独特的结果,例如用随机标签拟合图像的能力,并表明这些结果可以用高斯过程再现。我们还表明,贝叶斯模型的平均简化了双下降,从而在单调的性能改善,增加了灵活性。最后,我们提供了一个贝叶斯的角度来看,回火校准预测分布。
2022-03-30 cs.LG stat.ML
Fair Risk Control: A Generalized Framework for Calibrating Multi-group Fairness Risks
Rutgers(罗格斯大学);Penn(宾夕法尼亚大学);University of Pennsylvania(宾夕法尼亚大学);Rutgers University(罗格斯大学)
本文提出广义多维多重校准框架及算法,用于对机器学习模型进行后处理以实现多群体公平性保证,并应用于图像分割、层次分类和文本生成等任务。
2024-05-03 cs.AI cs.CY cs.LG
A Short Review of Estimators for the GLM predictive of Laplace Bayesian Neural Networks
本文简评Laplace近似贝叶斯神经网络的预测分布估计方法,聚焦广义线性模型(GLM)形式,涵盖从精确GLM计算到蒙特卡洛近似的策略,并统一阐述方法间关系及计算-统计权衡。
2026-07-02 math.ST stat.TH
A Bayesian latent Gaussian process framework for aerodynamic uncertainty quantification
Aerospace Engineering, The Pennsylvania State University, University Park, PA 16802(航空工程,宾夕法尼亚州立大学,University Park分校,PA 16802);Aerospace Engineering and the Institute of Computational and Data Science (ICDS), The Pennsylvania State University, University Park, PA 16802(航空工程和计算与数据科学研究所(ICDS),宾夕法尼亚州立大学,University Park分校,PA 16802)
提出基于贝叶斯潜在高斯过程的校准方法,利用廉价低保真数据和稀疏测量数据预测气动系数不确定性,验证显示94.2-95.8%预测样本落在真实95%区间内。
2026-06-27 cs.LG physics.comp-ph stat.ML
Healing Products of Gaussian Processes
University College London(伦敦大学学院);University of Johannesburg(约翰内斯堡大学);University of the Witwatersrand(金山大学)
高斯过程(GP)是一种非参数贝叶斯模型,已被应用于回归和分类问题。减轻其立方训练成本的方法之一是使用在数据子集上训练的本地GP专家。特别是,专家产品模型通过一个易于处理的产品操作结合了当地专家的预测分布。虽然这些专家模型允许大规模分布式计算,但它们的预测通常会受到平均值或未校准不确定性量化的不稳定行为的影响。通过校准预测通过回火softmax加权,我们提供了一个解决方案,这些问题的多个产品的专家模型,包括广义产品的专家和强大的贝叶斯委员会机。此外,我们利用最佳运输文献,并提出了一个新的产品的专家模型,结合当地专家的预测,通过计算他们的Wasserstein重心,这可以应用于回归和分类。
2021-02-14 cs.LG stat.ML
Self-Calibrating Conformal Prediction
University of Washington(华盛顿大学);UC Berkeley(加州大学伯克利分校);UCSF(加州大学旧金山分校)
本研究提出结合Venn-Abers校准与共形预测的自校准共形预测方法,将Venn-Abers拓展至回归,可生成校准点预测及有条件有限样本有效性的预测区间,经实验验证提升了区间效率。
2024-10-31 cs.LG stat.ME stat.ML
Binary Classifier Calibration: Bayesian Non-Parametric Approach
University of Piuttsburgh(匹兹堡大学);University of Pittsburgh(匹兹堡大学)
如果被预测为以概率p发生的事件实际上发生在时间的p分之一左右,那么一组概率预测就被很好地校准了。当机器学习模型用于决策分析时,校准良好的预测尤为重要。本文提出了两种新的非参数二元分类模型输出校正方法:基于贝叶斯最优选择的方法和基于贝叶斯模型平均的方法。这些方法的优点是它们独立于用于学习预测模型的算法,并且它们可以在模型学习之后应用于后处理步骤。这使得它们适用于各种各样的机器学习模型和方法。这些校准方法,以及其他方法,在各种数据集的歧视和校准性能方面进行了测试。结果表明,这些方法的性能优于或与最先进的校准方法相当。
2014-01-13 cs.LG stat.ML
Calibrating satellite maps with field data for improved predictions of forest biomass
针对卫星生物量预测存在偏差、误差异质且野外测量采样受限的问题,研究构建共区域化模型,结合随机偏微分方程方法处理大规模卫星数据,实现了美国太平洋三州1公里分辨率的高精度森林生物量预测,兼具噪声过滤与偏差校正效果。
2024-07-09 stat.AP stat.ME
A self-calibrating method for heavy tailed data modelling. Application in neuroscience and finance
ESPRIT School of Engineering(ESPRIT工程学院);Université de Reims Champagne Ardenne(兰斯香槟阿登大学);ESSEC Business School(法国高等经济商业学院)
本文提出一种自校准方法,用于建模具有重尾特性的多成分数据,通过混合分布和无监督算法在神经科学和金融领域验证其有效性。
2017-12-26 cs.NA math.NA stat.ME
Calibrating an ice sheet model using high-dimensional binary spatial data
南极洲西部阿蒙森海部分的冰迅速消退可能导致海平面急剧上升,对低洼沿海地区的人口构成重大风险。对代表南极西部冰盖行为的计算机模型进行校准是对未来海平面上升进行信息预测的关键。然而,无论是相关的观察和模式输出的高维二进制空间数据,现有的计算机模型校准方法无法处理这样的数据。在这里,我们提出了一种新的计算机模型,其输出是在二进制空间数据的形式校准方法。为了减轻我们的方法所带来的计算和推理的挑战,我们采用了广义主成分的降维方法。为了证明我们的方法的实用性,我们校准PSU 3D-ICE模型通过比较从一个499个成员的扰动参数合奏观测阿蒙森海部门的冰盖的输出。我们的方法有助于严格的参数不确定性的特征,即使在系统的数据模型的差异和依赖的错误。我们的方法还有助于通过改进冰盖海平面上升的预测来为环境风险分析提供信息。
2016-05-20 stat.AP stat.ME
Derivation of Generalized Equations for the Predictive Value of Sequential Screening Tests
使用贝叶斯定理,我们推导出广义方程,以确定阳性和阴性预测值的筛选试验进行顺序。其中a是灵敏度,b是特异性,$ϕ$是测试前概率,$n$系列阳性测试的组合阳性预测值$ρ(ϕ)$由下式描述:$ρ(ϕ) = \frac{ϕ\displaystyle\prod_{i=1}^{n}a_n}{ϕ\displaystyle\prod_{i=1}^{n}a_n+(1-ϕ)\displaystyle\prod_{i=1}^{n}(1-b_n)}$如果阳性系列迭代在术语位置$n_i-k$被冲突的阴性结果中断,则所得阴性预测值由下式给出:$ψ(ϕ) = \frac{[(1-ϕ)b_{n-}]\displaystyle\prod_{i=b_{1+}}^{b_{(n-1)+}}(1-b_{n+})}{[ϕ(1-a_{n-})]\displaystyle\prod_{i=a_{1+}}^{a_{(n-1)+}}a_{n+}+[(1-ϕ)b_{n-}]\displaystyle\prod_{i=b_{1+}}^{b_{(n-1)+}}(1-b_{n+})}$最后,如果负序列迭代在项位置$n_i-k$处被冲突的正结果中断,则所得到的正预测值由下式给出:$λ(ϕ)= \frac{ϕa_{n+}\displaystyle\prod_{i=a_{1-}}^{a_{(n-1)-}}(1-a_{n-})}{ϕa_{n+}\d…
2020-07-26 stat.ME
Towards reliable predictive analytics: a generalized calibration framework
本文将logistic校准框架扩展为包含指数族分布的广义校准框架,提出两种校准曲线估计方法和两种性能指标,用于评估各类预测模型的校准情况。
2023-09-10 math.ST stat.ME stat.TH
Perturbation-Robust Predictive Modeling of Social Effects by Network Subspace Generalized Linear Models
本文提出网络子空间广义线性模型,结合子空间约束最大似然推断,以鲁棒地分析含噪网络关联数据,并在校园冲突数据中识别出显著社会效应。
2025-09-10 stat.ME
The Predictive Lasso
本文提出了一种用于具有明确预测动机的广义线性模型(GLM)中同时变量选择和估计的收缩过程。该过程通过最小化一组预测分布与完整模型的相应预测分布的库尔贝克-莱布勒散度来估计系数,并服从系数向量上的$l_1$约束。这导致选择具有与完整模型相似的预测性能的简约模型。由于其类似的形式,原来的套索问题的GLM,我们的程序可以受益于可用的$l_1$ -正则化路径算法。仿真研究和实际数据的例子证实了我们的方法在未来观测的预测性能方面的效率。
2010-09-13 stat.ME
Structural modeling using overlapped group penalties for discovering predictive biomarkers for subgroup analysis
从大规模的协变量中识别预测性生物标志物用于亚组分析已经引起医学研究的基本关注。在这篇文章中,我们提出了一个广义惩罚回归方法与一个新的惩罚函数,以加强之间的预测和预测效果的层次结构,这样一个非零的预测效果必须导致其祖先的预测效果是非零的模型。我们的方法能够通过产生用于亚组分析的稀疏的、可解释的和可预测的模型来选择有用的预测性生物标志物,并且可以处理不同类型的响应变量,例如连续的、分类的和事件发生时间的数据。我们证明了我们的方法是渐近一致的正则化条件下。针对广义惩罚回归模型的极小化问题,提出了一种结合优化极小化和乘子交替方向法的综合优化算法,命名为\texttt{smog} .丰富的模拟研究和真实案例研究表明,我们的方法是非常强大的发现真正的预测生物标志物和识别亚组的患者。
2019-04-26 stat.ME stat.ML
Truncated generalized extreme value distribution based EMOS model for calibration of wind speed ensemble forecasts
近年来,集合天气预报已成为所有主要天气预报中心的例行工作。这些预报是从不同初始条件或模式参数化的数值天气预报模式的多次运行中获得的。然而,集合预报往往分散性不足,也有偏差,因此需要某种后处理来解决这些缺陷。最流行的统计后处理技术之一是集合模型输出统计(EMOS),它提供了一个完整的预测分布的研究天气量。本文提出了一种新的EMOS风速集合预报模型,其预报分布为广义极值分布(GEV)。截断修正了基于GEV分布的EMOS模型偶尔预测负风速值的缺点,而不影响其良好的性能。新模式进行了测试,由三个不同的集合预报系统提供的风速集合预报的四个数据集,覆盖不同的地理区域和时间段。将TGEV EMOS模式的预报技巧与截断正态、对数正态和GEV方法的预报性能以及原始预报和气候预报进行了比较。结果验证了新的TGEV EMOS方法的优点。
2021-03-12 stat.AP stat.ME
Identification of prognostic and predictive biomarkers in high-dimensional data with PPLasso
在临床试验中,识别预后和预测性生物标志物对精准医疗至关重要。预后性生物标志物可用于预防疾病的发生,并且预测性生物标志物可用于鉴定具有从治疗中的潜在益处的患者。以往的研究主要集中在临床特征方面,基因组数据在这方面的应用研究较少。需要一种新的方法来同时选择在生物标志物高度相关的高维基因组数据中的预后和预测生物标志物。我们提出了一种新的方法,称为PPLasso(预后预测套索)集成到一个统计模型的预后和预测效果。PPLasso还考虑了生物标志物之间的相关性,这些相关性可能会改变生物标志物选择的准确性。我们的方法包括在应用广义Lasso之前转换设计矩阵以去除生物标志物之间的相关性。在一个全面的数值评估中,我们表明PPLasso在各种情况下在预后和预测生物标志物识别方面优于传统的Lasso方法。最后,我们的方法被应用到公开的转录组数据从临床试验RV144。我们的方法在Comprehensive R Archive Network(CRAN)提供的PPLasso R包中实现。
2022-06-27 stat.ME
Model-Free Local Recalibration of Neural Networks
University of Brasília(巴西利亚大学);National University of Singapore(新加坡国立大学);University of New South Wales, Sydney(新南威尔士大学(悉尼))
针对人工神经网络预测不确定性量化难、现有校准方法存在局限的问题,提出基于隐藏层降维表征的局部重校准方法,经模拟和真实数据集验证有效提升了预测与不确定性量化效果。
2024-03-09 cs.LG stat.ME
Predictive Uncertainty Quantification with Missing Covariates
针对缺失协变量下的预测不确定性量化,提出CP-MDA-Nested*框架,构建条件有效的预测集,并证明缺失值越多不确定性越高,实验验证其有效性。
2024-05-24 stat.ME
Mixed Semi-Supervised Generalized-Linear-Regression with Applications to Deep-Learning and Interpolators
Department of Statistics(统计系);Operation Research, Tel-Aviv university(运算研究,特拉维夫大学)
本文提出带混合参数的半监督学习框架,针对广义线性模型等证明非零无标签数据权重可提升回归预测性能,给出最优混合比例估计方法,通过仿真验证效果,并可拓展至深度神经网络等复杂模型。
2025-11-10 cs.LG stat.ME stat.ML
Generalized Correlation Regression for Disentangling Dependence in Clustered Data
University of Science and Technology of China(中国科学技术大学);Hong Kong Polytechnic University(香港理工大学);Temple University(天普大学)
针对聚类和纵向数据中非高斯响应的复杂相关结构,提出广义相关性回归(GCR)框架,直接将相关性建模为协变量函数并估计边际均值,在提升预测性能的同时揭示多层级依赖驱动因素。
2025-09-17 stat.AP stat.ME
Spike-and-Slab LASSO Generalized Additive Models and Scalable Algorithms for High-Dimensional Data Analysis
有建议,扩展经典的广义可加模型(GAM),以适应高维数据($p>>n$)使用组稀疏正则化。然而,稀疏正则化在估计平滑函数时可能会导致过度收缩,从而损害预测性能。此外,大多数这些GAM考虑一个“全进全出”的方法进行功能选择,使他们难以回答,如果非线性效应是必要的。虽然一些贝叶斯模型可以解决这些缺点,但使用马尔可夫链蒙特卡罗算法进行模型拟合会带来新的挑战,即可扩展性。因此,我们提出贝叶斯分层广义可加模型作为解决方案:我们考虑通过重新参数化的曲线插值适当收缩的平滑惩罚。一种新的两部分尖峰和平板LASSO前光滑函数的开发,以解决信号的稀疏性,同时提供额外的灵活性,以选择的线性或非线性分量的光滑函数。一个可扩展的和确定性的算法,EM坐标下降,在一个开源的R包BHAM实现。模拟研究和代谢组学数据分析表明,与最先进的模型相比,预测和计算性能有所改善。功能选择的表现表明权衡存在的影响层次假设。
2022-05-16 stat.ME stat.ML