Bayesian Estimation of Hierarchical Linear Models from Incomplete Data: Cluster-Level Interaction Effects and Small Sample Sizes
针对小样本和部分观测数据下HLM的估计问题,提出一种直接从精确后验分布填补参数与缺失值的兼容Gibbs采样器,通过模拟证明其优于现有方法。
2025-01-31 stat.ME
Hierarchical Bayesian Claim Count modeling with Overdispersed Outcome and Mismeasured Covariates in Actuarial Practice
针对保险索赔计数中的过度离散与协变量测量误差问题,提出结合层次贝叶斯GLMM与SIMEX的新框架,在工作场所缺勤数据上验证其拟合优度优于朴素方法。
2023-10-11 stat.ME
Ostrom-Weighted Bootstrap: A Theoretically Optimal and Provably Complete Framework for Hierarchical Imputation in Multi-Agent Systems
OWB是一种基于重采样的方法,能够实现精确最优性、贝叶斯后验均值解释、经验贝叶斯收缩、渐近效率和零NaN保证,适用于多智能体系统的分层填补。
2025-12-01 stat.AP stat.ME
Compatible Imputation for Hierarchical Linear Models with Incomplete Data: Interaction Effects of Continuous and Categorical Covariates MAR
针对连续协变量C与分类协变量D存在交互效应的MAR不完全数据,提出兼容Gibbs采样器解决小样本下HLM贝叶斯估计问题,可直接从精确后验分布抽取参数与缺失值,提升估计性能。
2025-02-10 stat.ME
Bayesian Estimators for Small Area Models Shrinking Both Means and Variances
对于面积级数据的小面积估计,Fay-Herriot模型被广泛用作基于模型的方法。在Fay-Herriot模型中,通常假设抽样方差是已知的,而实际上使用的是抽样方差的估计量。因此,已知抽样方差的设置是不现实的,并提出了几种方法来克服这个问题。在本文中,我们假设的情况下,抽样方差的直接估计是可用的,以及样本均值。利用这些信息,我们提出了一个贝叶斯但客观的方法产生收缩估计的均值和方差的Fay-Herriot模型。我们考虑了样本方差的层次结构,并对模型参数设置了统一的先验,以保持模型的客观性。为了验证后验推断的有效性,我们在较弱的条件下证明了后验分布是适当的,并且具有有限的方差。我们通过模拟和实证研究来研究数值性能。
2016-04-06 stat.ME
Bayesian Hierarchical Clustering with Exponential Family: Small-Variance Asymptotics and Reducibility
Pohang University of Science and Technology(浦项科技大学)
贝叶斯层次聚类(Bayesian hierarchical clustering,BHC)是一种凝聚聚类方法,它定义了一个概率模型,并评估其边缘似然来决定哪些聚类要合并。虽然BHC提供了一些优势,传统的基于距离的凝聚聚类算法,连续的边缘似然评估和仔细的超参数调整是繁琐的,限制了可扩展性。在本文中,我们放松BHC到一个非概率制定,探索共轭指数模型的小方差渐近。我们开发了一种新的聚类算法,被称为放松BHC(RBHC),从BHC模型的渐近极限,表现出基于距离的凝聚聚类算法的可扩展性,以及贝叶斯非参数模型的灵活性。我们还研究了从BHC模型的渐近极限中出现的相异性度量的减少,使我们能够使用可扩展的算法,如最近邻链算法。在人工数据集和真实数据集上的数值实验证明了该方法的有效性和高性能。
2015-06-03 cs.LG stat.ML
makemyprior: Intuitive Construction of Joint Priors for Variance Parameters in R
先验使我们能够鲁棒推理,并将专家知识的贝叶斯分层模型。当存在难以根据观测数据识别的随机效应时,这一点尤其重要。挑战在于理解和控制方差参数先验的联合影响,makemyprior是一个R包,用于指导方差参数的联合先验分布的制定。联合先验分布是基于模型中总方差沿树的层次分解构造的,并考虑了整个模型结构。用户在树的每个级别输入他们之前的信念或表达无知。先验信念可以是关于方差值的合理范围的一般想法,并且不需要是详细的专家知识。构造的先验导致鲁棒的推理,并保证适当的后验。一个图形用户界面,通过可视化的树和联合先验,促进建设和评估的先验的不同选择。该软件包旨在扩展应用研究人员的工具箱,并使先验知识成为贝叶斯工作流程中的一个活跃组件。
2022-03-18 stat.CO stat.ME
Bayesian Sample Size Determination for Planning Hierarchical Bayes Small Area Estimates
本文设计了一种基于决策风险的分层模型小区域估计的完全贝叶斯样本量确定方法。围绕所需的最大后验方差目标指定的新损失函数实现了估计可靠性的传统官方统计标准(变异系数高达20%)。这种方法附带一种高效的二分搜索算法,可识别在此阈值约束下生成小面积估计所需的最小有效样本量。然后,可使用传统的调查抽样设计工具,利用由此产生的有效样本量目标,规划适当的数据收集。这种方法是说明在一个案例研究的小面积流行的生活限制健康问题的6个年龄组在英格兰北部的1,956个小地区,使用最近开发的集成嵌套拉普拉斯近似方法的空间广义线性混合层次模型。
2018-02-26 stat.ME
Bayesian Species Distribution Models using Hierarchical Decomposition Priors
Department of Economics University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学经济系);Department of Statistical Sciences University of Bologna(博洛尼亚大学统计科学系);Department of Life Sciences and Systems Biology University of Turin(都灵大学生命科学与系统生物学系)
本文提出了一种基于分层分解先验的贝叶斯物种分布模型,通过改进的先验控制提升模型的可解释性和透明度。
2026-03-10 stat.AP
A spatial variance-smoothing area level model for small area estimation of demographic rates
准确估计国家以下各级的卫生和人口指标对于为卫生政策决定提供信息至关重要。许多国家利用复杂的住户调查收集相关数据,但在数据有限的情况下,小地区比例的直接调查加权估计数可能不可靠。将这些直接估计值作为响应数据处理的区域水平模型可以提高精度,但通常需要所有区域的直接估计值的已知抽样方差。在实践中,抽样方差通常是估计的,因此标准方法不考虑不确定性的关键来源。为了解释估计的抽样方差的变异性,我们提出了一个分层贝叶斯空间区域水平模型,平滑估计的均值和抽样方差,以产生小面积比例的点和区间估计。我们的模型明确的目标是估计小面积的比例,而不是连续变量的平均值,我们考虑了中度和低度流行事件的例子。我们证明了我们的方法的性能,通过模拟和应用到疫苗接种覆盖率和艾滋病毒流行率数据的人口与健康调查。
2022-09-06 stat.ME
A Hierarchical Model for Aggregated Functional Data
在许多科学领域,人们的目标是仅根据对聚集总体曲线的观察来估计潜在子总体平均曲线。所谓聚合曲线,我们指的是无法单独观察到的函数数据的线性组合。我们假设有几条具有线性独立系数的聚合曲线。更具体地说,我们假设每个聚合曲线是一个独立的部分实现的高斯过程与平均建模通过加权线性组合的分解曲线。我们建模的高斯过程的平均值作为一个光滑的函数近似的函数属于一个有限维空间${\cal H}_K$,它是由$K$ B-样条基函数跨越。我们探讨两种不同规格的协方差函数的高斯过程:一个是假设一个恒定的方差在整个域的过程中,和一个更一般的方差结构,这本身是建模为一个平滑的功能,提供一个非平稳的协方差函数。推理过程是按照贝叶斯范式进行的,允许在估计分解曲线时考虑专家的意见。此外,它自然地提供了与参数估计和拟合值相关的不确定性。我们的模型适用于广泛的应用。我们集中在两个不同的实际例子:近红外光谱数据的校准问题和不同类型的消费者之间的能量分布的分析。
2011-02-14 stat.ME
Hierarchical Gaussian Processes with Wasserstein-2 Kernels
Imperial College London(帝国理工学院);University College London(伦敦大学学院)
堆叠高斯过程严重削弱了模型检测离群值的能力,当与非零均值函数结合时,进一步将低非参数方差外推到低训练数据密度区域。我们提出了一个混合内核的灵感来自Varifold理论,在欧几里德和Wasserstein空间。我们认为,直接考虑到Wasserstein-2距离的计算中的方差是至关重要的保持离群值状态在整个层次结构。我们在中型和大型数据集上显示出更好的性能,并在玩具和真实数据上增强了分布检测。
2022-02-01 cs.LG stat.ML
A Bayesian Hierarchical Hurdle Beta-Binomial Model for Survey-Weighted Bounded Counts and Its Application to Childcare Enrollment
The University of Alabama(阿拉巴马大学)
该研究提出了一种贝叶斯分层障碍贝塔-二项模型,用于调查加权有界计数数据,应用于儿童保育注册,揭示贫困与注册参与度之间的非线性关系。
2026-03-03 stat.AP stat.ME
Approximate Gibbs Sampler for Efficient Inference of Hierarchical Bayesian Models for Grouped Count Data
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Vanderbilt University(范德堡大学)
本文针对层次贝叶斯 Poisson 回归在大规模计数数据上 MCMC 推断耗时的问题,提出用 Gaussian 近似似然获得系数条件后验收闭式解的 AGS,并在真实与合成数据上验证其高效准确。
2024-07-01 cs.LG stat.ME
Modelling Animal-Vehicle Collision Counts across Large Networks Using a Bayesian Hierarchical Model with Time-Varying Parameters
动物-车辆碰撞(AVC)在世界各地都很常见,导致动物和人类生命的巨大损失,以及重大的财产损失和定期的保险索赔。了解其发生与各种促成因素的关系,并能够确定高风险地点,对于预防AVC,节省经济,社会和环境成本非常重要。然而,在AVC数据集的研究中存在许多挑战。这些包括动物活动的季节性,未知的暴露(即,动物穿越的数量),在广泛的道路网络的大多数部分非常低的AVC计数,以及使用大型数据集进行离散响应分析带来的计算负担。为了克服这些挑战,提出了一种贝叶斯分层模型,其中暴露量采用非参数Dirichlet过程建模,并且假设段级AVC的数量遵循二项分布。一个Pólya-Gamma增强吉布斯采样器推导出估计所提出的模型。通过使用美国德克萨斯州约10万条州控高速公路路段多年的AVC数据,结果表明,该模型可扩展到大型数据集,具有零的优势和明显的月度季节性计数,同时识别高风险位置(用于设计处理的应用,如带围栏的动物隔离交叉)和基于特定分段因素的关键解释因素(例如改变车速限制),为决策提供有用的数据。
2021-06-14 stat.AP stat.ME
Robust volatility updates for Hierarchical Gaussian Filtering
Interacting Minds Centre, Aarhus University(阿arhus大学交互心智中心);Centre for Humanities Computing, Aarhus University(阿arhus大学人文计算中心);Translational Neuromodeling Unit, University of Zurich & ETH Zurich(苏黎世大学转化神经建模单元及苏黎世联邦理工学院);Institute for Cognitive Science, University of Osnabrück(奥斯纳布吕克大学认知科学研究所)
本文提出一种改进的二次近似方法,用于解决HGF网络中波动耦合节点的变分能量问题,避免后验精度为负数导致的计算错误,提升模型鲁棒性。
2026-05-01 cs.LG cs.NE q-bio.NC
EggCounts: a Bayesian hierarchical toolkit to model faecal egg count reductions
这是R包eggCounts 2.0版本的一个小插曲。该软件包实现了一套贝叶斯分层模型处理粪便鸡蛋计数减少。模型设计用于各种实际情况,包括个体治疗疗效、零膨胀、小样本量(小于10)和潜在离群值。这些功能使用直观,其输出易于解释,从而保护用户免受复杂的贝叶斯分层建模任务的影响。此外,该软件包包括绘图功能,以视觉上吸引人的方式显示数据和结果。该模型在Stan建模语言中实现,该语言提供了有效的采样技术来获得后验样本。本小插图简要介绍了不同的模型,并提供了一个简短的步行通过分析示例数据。
2022-02-03 stat.AP stat.CO
A simple Bayesian model to estimate proportions and ratios from count data with a hierarchical error structure with an application to droplet digital PCR experiments
针对生物医学中层级误差结构的计数数据比例/比率估计问题,提出一种贝叶斯框架,实现了R语言Gibbs采样器,并与随机效应模型进行对比。
2023-05-04 stat.AP
Sparsity promoting reconstructions via hierarchical prior models in diffuse optical tomography
本文针对扩散光学层析成像的非线性不适定逆问题,提出基于指数、标准伽马和逆伽马超先验的分层先验模型,并给出超参数选择方法,以改善稀疏目标重建的定位、对比度和边缘锐度。
2023-12-05 cs.NA math.NA math.OC
A Hierarchical Framework for Correcting Under-Reporting in Count Data
结核病对全球健康构成威胁,巴西是绝对死亡率最高的20个国家之一。然而,这一流行病负担被报告不足所掩盖,这妨碍了有效干预的规划。我们提出了一个全面的调查和应用贝叶斯分层方法建模和纠正漏报的结核病计数,观察计数数据中出现的一个普遍问题。该框架适用于完全报告不足的数据,仅依赖于平均报告率的信息性先验分布来补充数据中的部分信息。协变量用于通知真实计数生成过程和漏报机制,同时还允许复杂的时空结构。我们提出了几个敏感性分析的基础上模拟实验,以帮助启发的先验分布的平均报告率和决策相关的协变量的纳入。先验和后验预测模型检查,以及该方法的关键评价。
2018-09-03 stat.AP
Posterior Regularization on Bayesian Hierarchical Mixture Clustering
Tencent(腾讯);University College Dublin(都柏林大学学院);Trinity College Dublin(都柏林圣三一学院)
针对贝叶斯层次混合聚类(BHMC)高层节点分离度弱的问题,提出对各层节点施加最大间隔约束的后验正则化方法,有效提升了BHMC模型的聚类分离效果。
2023-05-05 cs.AI cs.LG stat.ML
Hierarchical causal variance decomposition for institution and provider comparisons in healthcare
疾病特异性质量指标(QIs)用于比较机构和医疗保健提供者在与特定疾病治疗相关的过程或结果方面的差异。在外科癌症治疗的背景下,性能变化可能是由于医院和/或外科医生水平的差异,从而产生分层聚类。我们考虑如何观察到的变化,在病人接受的护理水平可以分解成因果关系解释的医院的性能,医院内的外科医生的性能,病人的病例组合,和无法解释的(残留)的变化。为此,我们推导出一个四向方差分解,特别注意的因果解释的组件。为了进行估计,我们使用了嵌套随机医院/外科医生特定效应的混合效应模型的输入,以及医院/外科医生特定患者人群的多项logistic模型。我们调查我们的方法在模拟研究的性能。
2020-05-22 stat.ME
Variational Bayesian Dropout with a Hierarchical Prior
Wuhan University(武汉大学);The University of Adelaide(阿德莱德大学);Inception Institute of Artificial Intelligence(人工智能初创研究院)
变分丢弃算法(Variational dropout,VD)是高斯丢弃算法的一种推广,其目的是根据网络权值的对数一致先验知识来推断权值的后验,从而同时学习权值和丢弃率。对数一致先验不仅解释了高斯丢弃在网络训练中的正则化能力,而且还支持这种后验的推断。然而,对数均匀先验是不适当的先验(即,它的积分是无穷的),这就导致了后验推理的不适定,从而限制了VD的正则化性能。为了解决这个问题,我们提出了一个新的推广高斯辍学,称为变分贝叶斯辍学(VBD),这反过来利用一个层次的网络权重的先验,并推断一个新的联合后验。具体来说,我们实现了分层先验作为一个零均值高斯分布与方差采样从一个统一的超先验。然后,我们将这样的先验知识引入到对网络权重和分层先验知识方差的联合后验推断中,从而将网络训练和丢包率估计都转化为一个联合优化问题。更重要的是,层次先验是一个适当的先验,使后验推理是适定性的。此外,我们进一步表明,建议的VBD可以无缝地应用于网络压缩。分类和网络压缩任务的实验证明了所提出的VBD在正则化网络训练方面的优越性能。
2019-04-04 cs.LG stat.ML
Forecasting COVID-19 Counts At A Single Hospital: A Hierarchical Bayesian Approach
Tufts University(塔夫茨大学);Tufts Medical Center(塔夫茨医学中心)
我们考虑预测单个医院站点的每日住院COVID-19患者人数的问题,以帮助管理人员进行物流和规划。我们开发了几个候选的分层贝叶斯模型,直接捕捉计数性质的数据通过广义泊松似然,模型时间序列的依赖性,通过自回归和高斯过程潜在的过程,并在相关的网站共享统计强度。我们在美国马萨诸塞州的8家医院和英国的10家医院的公共数据集上展示了我们的方法。进一步的前瞻性评估将我们的方法与3家相关医院的利益相关者目前使用的基线进行了比较,通过重新调整州一级的预测来预测未来2周的需求。
2021-04-14 cs.LG stat.ML
Analysis of the Gibbs sampler for hierarchical inverse problems
在实际应用中,许多反问题都是由未知参数为场的连续介质模型引起的。在实践中,未知字段被离散化,导致$\mathbb{R}^N$中的问题,应当理解,细化离散化,即增加$N$,通常是期望的。在贝叶斯反演的背景下,这种情况表明两个问题的重要性:(i)以这样的方式定义超参数,即它们在连续极限$N \to \infty$中是可解释的,并且它们的值可以在不同的离散化水平之间进行比较;(ii)理解用于探测后验分布的算法的效率,作为大$N.$的函数这里我们在基于未知场的高斯先验和超参数的逆伽马先验的分层建模框架内的受加性高斯噪声影响的线性逆问题的上下文中解决这两个问题,即先前方差的幅度。该模型的结构是这样的吉布斯采样器可以很容易地实现探测的后验分布。订阅的教条,一个人应该认为在有限维实现之前,无限维,我们提出了函数空间的直觉,并提供严格的理论表明,随着$N$增加,吉布斯采样器的组件,用于采样的幅度的先验方差变得越来越慢。我们讨论了一个重新参数化的先验方差,是强大的维数的增加,我们给出的数值实验表明,我们的重新参数化防止放缓。我们的直觉上的行为的先验超参数,有和没有重新参数化,是足够普遍的,包括广泛的一类非线性反问题,以及其他家庭的超先验。
2014-07-15 math.ST stat.TH
Sparsity enforcing priors in inverse problems via Normal variance mixtures: model selection, algorithms and applications
当考虑贝叶斯方法时,反问题的解的稀疏结构可以使用不同的稀疏性执行先验来建模。模型未知量的解析表达式可以通过构建基于稀疏性强制分布的分层模型来获得,该稀疏性强制分布通过共轭先验来表示。我们考虑具有此性质的重尾分布:t分布,表示为正态尺度混合,混合分布为逆Gamma分布,拉普拉斯分布,也可以表示为正态尺度混合,混合分布为指数分布,或者可以表示为正态逆尺度混合,混合分布为逆Γ分布,双曲分布、方差-Γ分布、正态-逆高斯分布,所有这三种分布都使用广义双曲分布通过共轭分布表示。对于所有的分布迭代算法推导出分层模型的基础上,考虑到正向模型的不确定性。对于估计,使用通过变分贝叶斯近似(Vibration Bayesian Approximation,Vibration Bayesian Approximation)的最大后验(Maximum A Posterior,MAP)和后验均值(Posterior Mean,PM)。在三维计算机断层扫描(3D-CT)和时间生物学的应用中,所得到的算法的性能进行了比较。最后,一个理论研究的稀疏执行算法之间的比较,通过贝叶斯方法和稀疏执行算法发出的正则化技术,如LASSO和其他一些。
2017-05-29 stat.AP
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University(斯坦福大学)
训练深度学习模型通常需要大量标记数据。然而,对于许多现实问题,获取额外的数据可能是昂贵的,甚至是不可能的。我们提出了半监督深度核学习(SSDKL),这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据,我们展示了对各种现实回归任务的改进,这些任务优于有监督的深度内核学习和半监督方法,如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Estimating the timing of stillbirths in countries worldwide using a Bayesian hierarchical penalized splines regression model
减少死产的全球负担对于改善儿童和孕产妇健康至关重要。人们感兴趣的是了解死产的时间模式-即死产是发生在产时还是产前-因为产时发生的死产在很大程度上是可以预防的。然而,世界各地关于死产时间的数据存在很大差异,低收入和中等收入国家通常很少有可靠的观察结果。在本文中,我们开发了一个贝叶斯惩罚样条回归框架,估计死产的比例是在世界各地的所有国家分娩。该模型考虑了与新生儿死亡率的已知关系,汇集了地理区域的信息,根据数据属性合并了不同的错误,并允许数据驱动的时间趋势。建议采用加权程序,以处理不具代表性的国家以下各级数据。结果表明,分娩期比例总体上随着时间的推移而下降,但在一些地区,特别是撒哈拉以南非洲,进展较慢。
2022-12-12 stat.AP
Modeling Transition Dynamics and Network Structure in Cross-National Process Data: A Hierarchical Multi-State Survival Framework
Yonsei University(延世大学);University of California, Los Angeles(加州大学洛杉矶分校)
提出一种结合贝叶斯多状态生存模型与网络表示的分层框架,用于建模跨国过程数据中的转移动态与网络结构,并在14国数据上揭示跨国异质性与答题组差异。
2026-09-22 stat.AP
A hierarchical Bayesian model for estimating age-specific COVID-19 infection fatality rates in developing countries
本文提出一种贝叶斯分层模型,将COVID-19感染病死率估计为年龄的连续函数,融合血清学与死亡数据并共享跨地区信息,在26个发展中国家地区验证了方法的有效性。
2023-08-08 stat.AP
Estimating the course of the COVID-19 pandemic in Germany via spline-based hierarchical modelling of death counts
有效繁殖数是监控COVID-19疫情进程的关键数据。在这项研究中,我们考虑了一个回顾性的建模方法,估计有效的繁殖数量的基础上,在德国的大流行的第一年的死亡人数。拟议的贝叶斯分层模型采用样条来估计随着时间的推移灵活的繁殖数量,同时调整不同的有效感染死亡率。该方法还提供了一段时间内未被发现的感染的黑暗数字的估计。德国的结果表明,根据死亡人数估计的生殖数量往往类似于根据确诊病例的经典估计。然而,考虑到死亡人数被证明对检测政策的变化更为稳健:在第二波感染期间,对繁殖数量的经典估计表明,在2020年11月的“封锁灯”之后,感染人数呈平稳/下降趋势,而我们的结果表明,真实感染人数持续上升,直到2020年12月的“第二次封锁”。这一观察结果与与“锁定灯”同时引入的更严格的测试标准有关,这反映在我们的模型估计的随后增加的感染黑暗数字中。这些发现表明,回顾性观点可以提供有关大流行过程的更多见解。考虑到逐步接种疫苗,将重点从模拟确诊病例转移到报告的死亡病例,并有可能纳入有效的感染死亡率,这可能对未来的大流行监测越来越重要。
2021-09-06 q-bio.PE stat.AP
Estimating the unobservable moose - converting index to population size using a Bayesian Hierarchical state space model
关于种群大小的间接信息,如颗粒计数或志愿者计数,是大多数生态研究和应用种群管理情况的主要信息来源。通常,这样的观察被当作是对种群规模的实际测量。这种假设导致了关于种群规模及其动态的错误结论。我们提出了一个模型的时间变化的联系,表示可数性,间接观测和实际人口规模之间。我们表明,当间接测量具有高精度(例如许多观察小时)的假设随时间变化的可数性估计的人口动态可能会产生至关重要的影响。我们将该模型应用于瑞典当地的驼鹿种群。估计的人口动态被发现解释30- 50%的总变异的观测数据,因此,可数占大部分的变化。这种估计动态的不可靠性对管理种群的能力有很大的负面影响;例如,减少(增加)需要收获的动物数量,以维持种群高于(低于)固定水平。最后,两个研究区之间的可数性差异很大,这意味着可数性的空间变化很大,这种变化本身就很值得研究。
2016-09-25 stat.AP
Bayesian hierarchical modelling of sparse count processes in retail analytics
零售分析领域已经被丰富数据的可用性所改变,这些数据可用于执行需求预测和库存管理等任务。然而,事实证明,一项更具挑战性的任务是预测对销售量很少的产品的需求。结果数据的稀疏性限制了传统分析的部署程度。为了解决这一问题,我们将销售数据表示为结构化的稀疏多变量点过程,该过程允许已知存在于稀疏销售数据中的自相关、互相关和时间聚类等特征。我们引入贝叶斯点过程模型来捕捉这些现象,其中包括一个障碍组件,以应付稀疏性和一个令人兴奋的组件,以应付时间内和跨产品的聚类。然后,我们将此模型转换为贝叶斯分层框架,以允许跨不同产品借用信息,这是解决每个产品数据稀疏性的关键。我们使用真实的销售数据进行了详细的分析,表明该模型在预测能力方面优于现有方法,并讨论了对推断的解释。
2018-05-15 stat.AP
A hierarchical model of non-homogeneous Poisson processes for Twitter retweets
我们提出了一个层次模型的非齐次泊松过程(NHPP)的信息扩散在网上的社交媒体,特别是Twitter的转发。每个原始推文的转发由NHPP建模,其强度函数是时间衰减分量和取决于原始推文作者的追随者计数的另一个分量的乘积。后者允许我们通过网络中心度相关的协变量来解释或预测最终的转发计数。推理算法能够计算贝叶斯因子,以方便模型选择。最后,将该模型应用于两个主题标签的转推数据集。
2019-02-17 cs.SI stat.AP stat.CO
Hierarchical clustering with dot products recovers hidden tree structure
School of Mathematics(数学学院);University of Bristol(布里斯托尔大学);Imperial College London(伦敦帝国学院)
提出一种按最大平均点积合并簇的凝聚式聚类变体,并在通用概率图模型下证明其可恢复隐藏生成树结构,真实数据表现优于 UPGMA、Ward 与 HDBSCAN。
2024-03-01 cs.LG stat.ML
Improving Tree Probability Estimation with Stochastic Optimization and Variance Reduction
针对子分裂贝叶斯网络参数学习中EM难以扩展的问题,提出高效随机训练方法并引入方差缩减,同时改进VBPI中的参数优化,实验显示在树拓扑概率估计和贝叶斯系统发育推断上均优于基线。
2024-09-09 q-bio.PE stat.CO stat.ML
Population counts along elliptical habitat contours: hierarchical modelling using Poisson-lognormal mixtures with nonstationary spatial structure
生态学家经常解释种群空间分布的变化对环境特征的反应,但如果潜在的影响和空间和时间的相关性没有得到适当的解释,那么很难解开个体变量的影响。在这里,我们使用层次模型的基础上泊松对数正态混合,以了解空间变化的相对丰度(每标准化单位的努力计数)的黄鲈鱼,鲈鱼,最丰富的鱼类物种在圣皮埃尔湖,魁北克省,加拿大。该混合物采用了空间变化的环境协变量,代表当地的栖息地特征,和随机的时间和空间效应,捕捉未观察到的生态过程的影响。采样设计覆盖了湖的边缘,但没有覆盖湖的中心区域。我们适合空间广义线性混合模型的基础上三个不同的先验协方差结构的本地潜在的影响:一个单一的高斯过程(GP)的湖泊,一个GP在一个圆圈,和独立的GP为每个岸边。这些模型允许独立性、各向同性或非平稳空间效应。非平稳性处理使用两种不同的方法,几何各向异性,并列入协变量的潜在空间过程的相关结构。所提出的空间域的规范和选择的高斯过程先验的方法可能会被证明是有用的,在其他应用中,涉及沿不规则轮廓或在不连续的空间域的空间相关性。
2015-05-16 stat.AP
Sequential Estimation using Hierarchically Stratified Domains with Latin Hypercube Sampling
本文提出一种自适应顺序分层估计方法,结合拉丁超立方采样,通过分层细化降低方差,数值实验显示方差衰减可达N^{-2}。
2023-11-12 stat.ME
Non-parametric estimation of Expectation and Variance of event count and of incidence rate in a recurrent process -- where intensity of event-occurrence changes with the occurrence of each higher order event
针对事件发生强度随高阶事件发生而变化的复发事件,提出了一种新的方差函数的期望和最大值的非参数估计方法.这类经常发生的事件,经常观察到在临床试验中的心血管事件,也在许多社会实验,涉及吸毒成瘾,持械抢劫等模拟数据被用来证明新的方法来估计的均值和方差的这种经常发生的事件和结果相比,纳尔逊Aalen估计的结果。
2020-12-17 stat.ME
A Hierarchical Spatio-Temporal Analog Forecasting Model for Count Data
1.模拟预测已成功地为各种生态和物理过程提供了可靠的预测。模拟预测是一种无机制的非线性方法,通过检查被认为与当前状态相似的过去状态如何向前移动来预测系统。以前的模拟预测工作通常是在经验或启发式的背景下提出的,而不是正式的统计背景。2.本文提出的模型扩展了McDermott和Wikle(2016)基于模型的模拟方法,将模拟预测置于完全分层的统计框架中。特别是,贝叶斯分层时空泊松模拟预测模型制定。3.与具有潜在动态时空过程的泊松贝叶斯分层模型相比,分层模拟模型始终产生更准确的预测。通过使用贝叶斯方法,分层模拟模型能够严格量化与预测相关的不确定性。4.预测水禽定居模式在美国西北部和加拿大进行应用层次模拟模型的繁殖人口调查数据集。太平洋的海面温度(SST)被用来帮助识别水禽定居模式的潜在类似物。
2017-01-16 stat.ME
Assessing Statistical Disclosure Risk for Differentially Private, Hierarchical Count Data, with Application to the 2020 U.S. Decennial Census
我们提出了贝叶斯方法来评估零集中差分隐私下发布的数据的统计披露风险,重点是具有较强的层次结构和具有许多水平的分类变量的设置。风险评估是通过假设贝叶斯入侵者与不同数量的先验信息,并检查他们的后验和先验之间的距离。我们讨论了这些风险评估方法的应用,以区别私人数据发布从2020年十年一次的人口普查,并进行模拟研究,使用公共个人层面的数据从1940年十年一次的人口普查。在这些研究中,我们研究了数据持有人的隐私参数的选择如何影响披露风险和量化的风险增加时,一个假设的入侵者采用大量的层次信息。
2023-01-30 stat.ME
Exact Bootstrap and Permutation Distribution of Wins and Losses in a Hierarchical Trial
Finkelstein-Schoenfeld、Buyse、Pocock和其他作者开发了Mann-Whitney检验的推广,允许成对患者比较,以包括测量等级。不同的作者提出了渐近或随机的方法来分析胜利。我们使用图论的概念,以获得确切的平均值和方差的胜利的数量,作为替代的近似值从自助分析或随机抽样的排列分布。我们的算法的时间复杂度是$O(N^2)$,其中$N$是患者的总数。在任何情况下,使用自助样本的均值和方差来得出结论,我们的方法将比随机自助或排列检验更快,更准确。
2019-11-24 stat.CO stat.ME
Subsampling bootstrap of count features of networks
随着社会科学、信息科学和生物科学领域中大量网络数据的涌入,网络随机模型的分析变得非常重要,但对不同网络随机模型的特征进行适当的统计分析仍在进行中。我们提出了自举子采样方法,用于发现计数特征或“时刻”的经验分布(Bickel,Chen和Levina [Ann. Statistist. 39(2011)2280-2301]),并平滑这些特征对于网络的功能。使用这些方法,我们不仅可以估计计数特征的方差,而且还可以得到这样的特征计数的良好估计,这在大型网络中通常是昂贵的数值计算。在本文中,我们证明了计数特征方差的自助估计的理论性质,并通过模拟显示其有效性。我们还将该方法应用于实际网络数据,对一些计数特征的方差和期望进行了估计。
2015-11-17 stat.ME
Reactive Global Minimum Variance Portfolios with $k-$BAHC covariance cleaning
我们引入了一个$k$倍提升版本的提升平均层次聚类相关和协方差矩阵的清理过程。然后,我们将此方法应用于全球最小方差投资组合的各种值的$k$和比较他们的表现与其他国家的最先进的方法。一般来说,我们发现,我们的方法产生更好的夏普比率后,交易成本比竞争过滤方法,尽管需要更大的营业额。
2023-03-09 math.OC q-fin.PM stat.ME
Bayesian Predictive Density Estimation for a Chi-squared Model Using Information from a Normal Observation with Unknown Mean and Variance
本文考虑了在Kullback-Leibler散度下,基于另一个卡方变量和一个正态变量的观测值估计另一个卡方变量的密度函数的问题.我们假设这些变量有一个共同的未知尺度参数,并且正态变量的均值也是未知的。我们比较了两个贝叶斯预测密度的风险函数:一个相对于一个分层收缩先验,另一个基于无信息先验。分层贝叶斯预测密度依赖于正态变量,而基于无信息先验的贝叶斯预测密度不依赖于正态变量。得到了前者优于后者的充分条件。这些预测密度进行了比较模拟。
2020-07-19 math.ST stat.ME stat.TH
Multivariate Hierarchical Frameworks for Modelling Delayed Reporting in Count Data
在许多领域和应用中,计数数据可能会延迟报告。这就是总数,如在一周内感染的疾病病例数,可能无法立即获得,而是随着时间的推移分批到达。对于短期决策,统计挑战在于基于任何观察到的部分计数预测总计数,以及对不确定性的稳健量化。在这篇文章中,我们讨论了以前的方法来建模延迟报告,并提出了一个多变量的分层框架,计数生成过程和延迟机制同时建模。与其他方法不同的是,该框架还可以很容易地进行调整,以考虑到在最终观察计数中存在报告不足的情况。为了将我们的方法与现有的框架进行比较,我们扩展了其中一个框架,以潜在地提高预测性能,我们提出了一个里约热内卢登革热病例报告的案例研究。基于样本内和样本外的后验预测模型检查和参数的可解释性,适应性和计算效率,我们讨论了每个建模框架的优点和缺点。
2019-04-06 stat.AP stat.ME
Hierarchical Count Echo State Network Models with Application to Graduate Student Enrollments
本文提出计数回声状态网络作为泊松自回归的替代方法,并开发分层负二项回声状态网络,应用于美国1758所大学1972-2021年研究生招生数据,预测性能最优。
2025-01-24 stat.AP stat.ME stat.ML
Variance Components Genetic Association Test for Zero-inflated Count Outcomes
通常在生物医学研究中,研究收集的数据中的结果指标包含信息性的多余零;例如,当观察脑病理学研究中神经炎斑块的负担时,那些没有显示的数据有助于我们理解神经退行性疾病。结果可以用混合分布来表征,其中一个成分是“结构零”,另一个成分是泊松分布。我们提出了一种新的方差分量得分测试之间的遗传标记和零膨胀计数结果的混合分布的遗传关联。该测试与先前针对标准连续或二进制结果设计的SNP集测试(例如序列核关联测试(SKAT))共享有利特性。特别是,我们的方法具有优越的统计功效相比,竞争的方法,特别是当有相关性的标志物组内,当SNP与混合比例和泊松分布率。我们将该方法应用于拉什大学宗教秩序研究和记忆与衰老项目(ROSMAP)的阿尔茨海默病数据,作为原则的证明,我们发现与APOE基因在“结构零”和“计数”参数中具有高度显着的关联,当应用于零膨胀神经炎斑块计数结果时。
2018-01-18 q-bio.GN stat.ME
Semiparametric mean and variance joint models with Laplace link functions for count time series
针对计数时间序列条件方差难以独立建模的局限,提出 RRC-GARCH 半参数均值与方差联合模型,利用 Laplace 链接函数灵活捕捉均值-方差结构,证明了其理论性质,并通过模拟与真实数据验证了其预测准确性。
2024-04-29 math.ST stat.ME stat.TH
Variance partitioning in multilevel models for count data
将多水平模型拟合到连续响应时的第一步是探索数据中的聚类程度。研究人员拟合方差分量模型,然后报告由于集群之间的系统差异而导致的响应变化的比例。同样,它们报告集群内单元之间的响应相关性。这些统计量通常被称为方差分配系数(VPC)和组内相关系数(ICC)。当将多水平模型拟合到分类(二元、有序或名义型)响应和计数响应时,这些统计量的计算更具挑战性。对于分类反应模型,研究人员呼吁他们的潜在反应配方和报告VPC/ICC的潜在连续反应设想的基础上观察到的分类反应。然而,对于标准计数响应模型,没有相应的潜伏响应公式。更一般地说,缺乏关于如何划分变异的指导。因此,应用研究者可能会避免或不充分的报告和讨论集群和集群效应在他们的研究中的实质性重要性。最近的一篇文章引起了人们对两水平随机截距泊松模型特殊情况下VPC/ICC的一个鲜为人知的精确代数表达式的注意。在这篇文章中,我们做出了重大的新贡献。首先,我们推导出更灵活的负二项模型的精确VPC/ICC表达式,该模型允许过度分散,这种现象在实践中经常发生。然后,我们推导出确切的VPC/ICC表达式的三个级别和随机系数扩展这些模型。我们说明我们的工作与学生缺勤的应用。
2020-02-13 stat.AP stat.ME
Hierarchical multivariate space-time methods for modeling counts with an application to stroke mortality data
早在20世纪60年代,人们就已经研究了中风死亡率的地理模式,当时美国东南部的一个地区因其异常高的中风死亡率而被称为“中风带”。虽然已知中风死亡率随年龄呈指数级增加,但由于人口规模小和/或年龄组中风事件少的优势,在县级按年龄组对时空趋势进行调查是令人生畏的。在这里,我们利用一个复杂的,不可分离的多变量时空模型的力量,该模型借用了空间,时间和年龄组的力量,以获得1973年至2013年美国县65岁以上人群的县级死亡率的可靠估计。此外,我们提出了一种替代指标,用于测量事件发生率随时间的变化,该指标反映了一个县事件发生率的全部轨迹,而不是简单地比较研究期间开始和结束时的发生率。在我们对中风数据的分析中,我们确定了各年龄组死亡率的不同时空趋势,揭示了在南方腹地取得的进展,并提供了证据表明,一个可分离的模型不适合这些数据。
2016-02-14 stat.AP stat.ME
Accelerating A/B-Tests with Counterfactual Estimation: Reducing Variance through Policy Overlap
研究在线控制实验中A/B测试方差大成本高问题,提出利用策略重叠加速实验的新协议,将随机处理分配机制视为元策略,用Δ-离策略估计方法获无偏估计,理论和实证证明该方法可提升效率,有望用于多种系统评估。
2026-07-17 cs.IR cs.LG stat.ME
Reducing Reparameterization Gradient Variance
带噪声梯度的优化在统计学和机器学习中已经变得无处不在。重新参数化梯度,或通过“重新参数化技巧”计算的梯度估计,表示一类经常在蒙特卡罗变分推断(MCVI)中使用的噪声梯度。然而,当这些梯度估计器噪声太大时,优化过程可能很慢或无法收敛。减少噪音的一种方法是使用更多样本进行梯度估计,但这可能在计算上代价高昂。相反,我们将噪声梯度视为随机变量,并形成梯度样本生成过程的廉价近似。这种近似通过构造与噪声梯度具有高度相关性,使其成为方差减小的有用控制变量。我们在非共轭多层次模型和贝叶斯神经网络上展示了我们的方法,我们观察到梯度方差降低了多个数量级(20- 2000倍)。
2017-05-22 stat.CO stat.ME stat.ML