Approximate Cross-validated Mean Estimates for Bayesian Hierarchical Regression Models
Pennsylvania State University（宾夕法尼亚州立大学）；University of Florida（佛罗里达大学）；Dalian University of Technology（大连理工大学）
本文提出一种通过以方差-协方差参数为条件、将交叉验证转化为优化问题的方法，从而高效获得贝叶斯分层回归模型的近似交叉验证预测估计，避免逐折重跑昂贵计算，并在理论与实验上验证其有效性。
2024-09-27 cs.LG stat.CO stat.ML
Time-adaptive infinite-dimensional Gaussian process regression on manifolds
本文提出基于经验贝叶斯方法的功能高斯过程回归新框架，利用流形上的紧致高斯测度和拉普拉斯-贝尔特里运算符的特征函数实现时间变化角谱的降维，通过截断方案提升回归性能。
2026-10-01 cs.LG stat.ML
Dynamic Exploration-Exploitation Trade-Off in Active Learning Regression with Bayesian Hierarchical Modeling
Arizona State University（亚利桑那州立大学）；Georgia Institute of Technology（佐治亚理工学院）
针对主动学习回归中探索与利用权衡难以自适应优化的问题，提出贝叶斯层次方法 BHEEM，并借助近似贝叶斯计算动态采样权衡参数，实验表明其稳定优于纯探索或纯利用策略。
2023-09-30 cs.LG stat.ML
Hierarchical Bayesian Regression for Multi-Site Normative Modeling of Neuroimaging Data
Radboud University（拉德堡德大学）；Radboud University Medical Centre（拉德堡德大学医学中心）；University of Oslo（奥斯陆大学）；Oslo University Hospital（奥斯陆大学医院）；King’s College London（伦敦国王学院）
临床神经影像学最近见证了数据可用性的爆炸性增长，这使得研究临床队列中的异质性成为人们关注的焦点。规范建模是实现这一目标的一个新兴统计工具。然而，其应用在技术上仍然具有挑战性，这是由于在适当地处理干扰变化方面的困难，例如由于图像采集设备的可变性。在这里，在一个完全概率的框架，我们提出了一个应用程序的层次贝叶斯回归（HBR）多站点规范建模。我们的实验结果证实了HBR的优越性，在获得更准确的规范范围的大型多站点神经影像学数据相比，广泛使用的方法。这提供了以下可能性：i）在大型多站点数据上学习结构和功能大脑测量的规范范围; ii）在本地小数据上重新校准和重用学习的模型;因此，HBR关闭了将规范建模应用为精神障碍诊断和预后的医学工具的技术循环。
2020-05-25 cs.LG stat.AP stat.ML
Variational Bayesian hierarchical regression for data analysis
用于分析或预测任务的收集的数据通常具有分层结构，例如，来自执行相同任务的各个人的数据。对数据结构进行建模可以提高导出结果的可靠性和新的未观测数据的预测性能。贝叶斯建模为设计层次模型提供了一个工具包。然而，通常用于参数估计的马尔可夫链蒙特卡罗方法在计算上昂贵。这通常使其在许多应用中不适用。然而，变分贝叶斯方法允许以少得多的计算工作量得到近似。本文描述了分层线性贝叶斯回归的变分近似的推导，并演示了其在数据分析中的应用。
2018-11-08 stat.AP
Modeling Massive Spatial Datasets Using a Conjugate Bayesian Linear Regression Framework
UCLA（加州大学洛杉矶分校）
地理信息系统（GIS）和相关技术引起了统计人员对分析大型空间数据集的可扩展方法的极大兴趣。已经提出了各种可扩展的空间过程模型，可以很容易地嵌入到一个分层的建模框架，进行贝叶斯推断。虽然统计研究的重点主要是针对创新和更复杂的模型开发，相对有限的注意力已被给予的做法，易于实施的可扩展的层次模型的实践科学家或空间分析师。本文讨论了如何将点参考空间过程模型转换为共轭贝叶斯线性回归，以快速提供空间过程的推断。该方法允许直接从回归参数、潜在过程和预测随机变量的联合后验分布中进行精确采样（避免了马尔可夫链蒙特卡罗等迭代算法），并可在R.
2021-09-09 cs.LG stat.ML
Hierarchical Embedded Bayesian Additive Regression Trees
Hamilton Institute, Maynooth University（汉密尔顿研究所，梅努斯大学）；Maynooth University（梅努斯大学）
本文提出 HE-BART，通过在回归树终端节点嵌入随机效应，构建无需预设随机效应结构的非参数混合效应建模方法，并在模拟与真实数据中展现更优预测及方差一致估计。
2023-04-24 cs.LG stat.ME
Continual Learning for Infinite Hierarchical Change-Point Detection
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）
变点检测（CPD）的目的是定位一系列观测的生成模型中的突变。当考虑贝叶斯方法时，标准做法是推断变点位置的后验分布。然而，对于复杂的模型（高维或异构），不可能执行可靠的检测。为了避免这个问题，我们建议使用一个分层模型，它产生属于一个低维流形的意见。具体地说，我们考虑了一个潜在的类模型与无限数量的类别，这是基于中国餐馆过程（CRP）。对于这个模型，我们推导出一个连续的学习机制，是基于连续建设的CRP和期望最大化（EM）算法与随机最大化的步骤。我们的研究结果表明，所提出的方法是能够递归地推断潜在类的数量，并执行CPD在一个可靠的方式。
2019-10-22 cs.LG stat.ML
A Gentle Introduction to Bayesian Hierarchical Linear Regression Models
考虑到贝叶斯建模的灵活性和适用性，在这项工作中，我们修改了回归设置中的两个层次模型的主要特征。我们研究了模型的完整概率结构以及每个模型参数的完整条件分布。在我们的分层扩展下，我们允许模型第二阶段的均值对一组协变量具有线性依赖性。充分描述和推导了拟合模型时用于获取样本的吉布斯抽样算法。此外，我们考虑一个案例研究中，植物的大小，其特征在于作为一个功能的氮土壤浓度和分组因子（农场）。
2021-10-20 stat.ME
For high-dimensional hierarchical models, consider exchangeability of effects across covariates instead of across datasets
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Broad Institute（博德研究所）
分层贝叶斯方法可以在多个相关的回归问题中共享信息。虽然标准做法是将回归参数（效应）建模为（1）在数据集之间可交换，（2）在协变量之间具有不同程度的相关性，但我们发现，当协变量的数量超过数据集的数量时，这种方法的统计性能较差。例如，在统计遗传学中，我们可能会对成千上万个个体（反应）的数十个特征（定义数据集）进行回归，以获得数百万个遗传变异（协变量）。当分析师的协变量多于数据集时，我们认为将效应建模为（1）协变量之间的可交换性和（2）数据集之间不同程度的相关性通常更自然。为此，我们提出了一个层次模型表达我们的替代观点。我们设计了一个经验贝叶斯估计学习数据集之间的相关程度。我们开发的理论表明，我们的方法优于经典的方法时，协变量的数量占主导地位的数据集的数量，并证实了这一结果经验上的几个高维多元回归和分类问题。
2021-07-13 cs.LG stat.ME stat.ML
Efficient Hierarchical Bayesian Inference for Spatio-temporal Regression Models in Neuroimaging
Technische Universität Berlin（柏林工业大学）；University of California, San Francisco（加利福尼亚大学旧金山分校）；Central China Normal University（华中师范大学）；BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）；Korea University（高丽大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Physikalisch-Technische Bundesanstalt（德国联邦物理技术研究院）；Charité – Universitätsmedizin Berlin（柏林夏里特医学院）；Bernstein Center for Computational Neuroscience（伯恩斯坦计算神经科学中心）
神经成像及其他领域的一些问题需要对多任务稀疏分层回归模型的参数进行推断。例子包括M/EEG逆问题，基于任务的功能磁共振成像分析的神经编码模型，和气候科学。在这些域中，要推断的模型参数和测量噪声都可以表现出复杂的时空结构。现有的工作要么忽略了时间结构，或导致计算要求的推理计划。克服这些局限性，我们设计了一种新的灵活的分层贝叶斯框架内，模型参数和噪声的时空动态建模有克罗内克积协方差结构。在我们的框架中的推理是基于优化最小化优化，并保证收敛性能。我们的高效算法利用时间自协方差矩阵的内在黎曼几何。对于由Toeplitz矩阵描述的平稳动力学，采用循环嵌入理论。我们证明了凸边界性质，并得出更新规则的算法。在M/EEG的合成和真实神经数据上，我们证明了我们的方法可以提高性能。
2021-11-23 cs.AI cs.LG eess.SP
Hierarchical Bayesian Regression for Multi-Location Sales Transaction Forecasting
Microsoft（微软）
本文应用分层贝叶斯回归模型预测多地点全天销售交易，通过跨组共享推断解决单点数据不足问题，在保证可扩展性的同时提升了预测准确度。
2023-06-30 cs.LG stat.AP
Going With the Flow: Normalizing Flows for Gaussian Process Regression under Hierarchical Shrinkage Priors
本文提出将层次三重伽马收缩先验与正则化流变分推断相结合，用于高维高斯过程回归，实现变量稀疏化和高效后验近似，并在模拟及BACE-1结合亲和力数据上验证了其优于传统方法的性能。
2025-11-09 stat.ME
Structured Sparse Modelling with Hierarchical GP
本文提出了一种新的具有时空结构的稀疏线性回归贝叶斯模型。它结合了结构假设的基础上，一个分层的高斯过程之前的尖峰和板系数。我们设计了一个基于期望传播的推理算法，并在真实数据上对模型进行了评估。
2017-04-27 stat.ML
Hierarchical Infinite Relational Model
Massachusetts Institute of Technology（麻省理工学院）
本文介绍了层次无限关系模型（HALF），一个新的概率生成模型的噪声，稀疏，异构关系数据。给定一组定义在域集合上的关系，该模型首先使用顶级中餐馆过程推断多个不重叠的关系集群。在每个关系集群内，然后使用Dirichlet过程混合来划分域实体并对关系值的概率分布进行建模。该模型概括了标准的无限关系模型，可用于各种数据分析任务，包括依赖检测，聚类和密度估计。我们提出了新的算法完全贝叶斯后验推理通过吉布斯抽样。我们说明了该方法的有效性的密度估计基准的20个对象属性数据集高达18万个细胞，并使用它来发现现实世界的数据集从政治和基因组学的关系结构。
2021-08-16 cs.AI cs.LG stat.ME
Bayesian Hierarchical Spatial Regression Models for Spatial Data in the Presence of Missing Covariates with Applications
在许多应用中，勘测数据是从不同地区的不同勘测中心收集的。在某些情况下，响应变量完全被观察到，而协变量有缺失值。在本文中，我们提出了一个联合空间回归模型的响应变量和缺失的协变量通过一系列的一维条件空间回归模型。我们进一步构建了缺失协变量数据机制的联合空间模型。所提出的模型的性质进行了检查和马尔可夫链蒙特卡罗抽样算法是用来从后验分布的样本。此外，贝叶斯模型的比较标准，修改的偏差信息准则（mDIC）和修改的对数的伪边际似然比（mLPML），被开发来评估空间回归模型的空间数据的拟合。进行了广泛的模拟研究，以检查所提出的方法的经验性能。我们进一步应用所提出的方法来分析一个真实的数据集，从中国健康与营养调查（CHNS）在2011年进行。
2020-07-05 stat.ME
Bayesian inference on hierarchical nonlocal priors in generalized linear models
具有非局部先验的变量选择方法在线性回归模型中得到了广泛的研究，其理论和经验性能都有报道。然而，在高维广义线性回归中，对于分层非局部先验的关键模型选择性质却很少被研究。本文考虑了高维逻辑斯谛回归模型的分层非局部先验分布，并研究了其后验分布的理论性质。具体地说，一个产品的时刻（pmoment）的非局部先验施加在回归系数与逆伽玛先验的调谐参数。在标准的规律性假设下，我们在高维环境中建立了强模型选择一致性，其中允许协变量的数量随着样本量以亚指数速率增加。我们实现了拉普拉斯近似计算的后验概率，并提出了一种改进的鸟枪随机搜索过程，有效地探索模型空间。我们证明了所提出的方法的有效性，通过模拟研究和RNA测序数据集分层疾病风险。
2022-03-14 math.ST stat.ME stat.TH
An Approach to Gender Pay Equity Analysis Using Bayesian Hierarchical Regression
多样性和包容性，或D和I，是一个激发公司，研究小组和个人兴趣的话题。最近在美国，重新把重点放在公平和公正的薪酬做法上，这是促进工作场所多样性的一个关键组成部分。尽管对可靠的薪酬公平分析的需求有所增加，但对行业数据进行此类分析的挑战尚未得到充分解决。本文阐述了目前性别薪酬公平分析方法的局限性，并利用贝叶斯层次回归模型对其进行了改进。利用美国一家大型半导体公司美光科技公司的全球劳动力数据，该文件说明了该模型如何提供整个组织两性薪酬公平的整体观点，同时克服行业数据中较为常见的问题，如样本量小和性别代表性差。与之前对美光美国员工的分析相比，这种方法减少了所需的人工审查量，使决策者能够在收到初步模型结果后的四周内完成31，738名员工的薪酬调整。
2020-12-21 stat.AP
Bayesian Hierarchical Factor Regression Models to Infer Cause of Death From Verbal Autopsy Data
在低资源环境中，死亡的生命登记不是常规的，确定和研究个人的死因（COD）和人群的死因特异性死亡率（CSMF）往往是至关重要的。死后尸检，被认为是COD分配的黄金标准，由于医院外发生的死亡，费用和/或文化规范，通常很难或不可能实施。出于这个原因，通常进行口头尸检（VA），包括向近亲进行问卷调查，记录死者的人口统计学信息，已知的医疗条件，症状和其他因素。本文提出了一类新的分层因子回归模型，避免了标准方法的限制性假设，允许均值和协方差随COD类别而变化，并且可以包括死者，地区或死亡事件的协变量信息。采用贝叶斯方法进行推理，本文开发了MCMC算法，并在仿真实验中验证了语言尸检的因素回归（FARVA）模型。FARVA的应用程序，以真正的VA数据显示改进的拟合优度和更好的预测性能，推断COD和CSMF竞争的方法。代码和用户手册可在https://github.com/kelrenmor/farva上查阅。
2020-10-18 stat.AP
Estimating the timing of stillbirths in countries worldwide using a Bayesian hierarchical penalized splines regression model
减少死产的全球负担对于改善儿童和孕产妇健康至关重要。人们感兴趣的是了解死产的时间模式-即死产是发生在产时还是产前-因为产时发生的死产在很大程度上是可以预防的。然而，世界各地关于死产时间的数据存在很大差异，低收入和中等收入国家通常很少有可靠的观察结果。在本文中，我们开发了一个贝叶斯惩罚样条回归框架，估计死产的比例是在世界各地的所有国家分娩。该模型考虑了与新生儿死亡率的已知关系，汇集了地理区域的信息，根据数据属性合并了不同的错误，并允许数据驱动的时间趋势。建议采用加权程序，以处理不具代表性的国家以下各级数据。结果表明，分娩期比例总体上随着时间的推移而下降，但在一些地区，特别是撒哈拉以南非洲，进展较慢。
2022-12-12 stat.AP
smoothbp: Fast Bayesian Hierarchical Piecewise Regression with Smoothed Transitions and Spike-and-Slab Model Selection
Wicking Dementia Research & Education Centre, College of Health & Medicine, University of Tasmania（塔斯马尼亚大学健康与医学院温金痴呆症研究与教育中心）
提出R包smoothbp，利用Rust实现的Metropolis-within-Gibbs采样器和HMC，实现具有逻辑平滑转换的贝叶斯分层分段回归，支持多断点、随机效应和自动断点选择。
2026-06-18 stat.AP stat.CO stat.ME
Multi-resolution Spatial Graphical Regression Models for Hierarchical Spatial Transcriptomics Data
University of Michigan（密歇根大学）；University of Alabama at Birmingham（阿拉巴马大学伯明翰分校）；University of Virginia（弗吉尼亚大学）
本文提出了一种基于多分辨率空间图回归的贝叶斯框架，用于从多分辨率空间转录组数据中推断空间变化的基因网络，通过引入空间结构的边选择策略和高斯过程先验，提高了对空间变化的建模能力，并在模拟研究和肾癌数据中展示了改进的网络结构恢复和肿瘤梯度中hub基因的识别。
2026-05-16 stat.AP
High-dimensional posterior consistency for hierarchical non-local priors in regression
贝叶斯变量选择中调整参数的选择是现代统计学中的一个关键问题。特别地，对于非局部先验的贝叶斯线性回归，非局部先验密度中的尺度参数是一个重要的调整参数，它反映了非局部先验密度在零附近的离散度，并隐含地决定了将收缩到零的回归系数的大小.当前的方法将尺度参数视为给定的，并且基于先前的覆盖/渐近考虑来建议选择。在本文中，我们考虑了（Wu，2016）中引入的完全贝叶斯方法，其中具有pvp非局部先验和关于调整参数的适当的逆伽马先验，以分析潜在的理论性质。在标准的规律性假设下，我们建立了强的模型选择的一致性，在高维设置，其中$p$被允许以多项式的速度增加n$，甚至在一个次指数的速度与n。通过模拟研究，我们证明了我们的模型选择过程可以优于其他贝叶斯方法，处理的尺度参数给定的，常用的惩罚似然方法，在一系列的模拟设置。
2019-02-22 math.ST stat.TH
High-dimensional Feature Selection Using Hierarchical Bayesian Logistic Regression with Heavy-tailed Priors
在现代科学的许多领域中，从大量（例如，数千个）候选特征中选择最有用的特征的问题都出现了。基因组研究中一个有趣的问题是，从数千个在某些组织细胞中活跃（表达）的基因中，我们希望找到可用于分离不同类别组织的基因（例如，基因组）。癌症和正常）。本文报道了我们在小自由度（如1）和极小尺度下，使用基于重尾先验的贝叶斯逻辑斯谛回归，并使用哈密顿蒙特卡罗进行计算的经验。我们讨论了这种方法的优点和局限性，并说明了尚未解决的困难。该方法应用于与前列腺癌相关的真实微阵列数据集。该方法仅识别出6033个候选基因中的3个非冗余基因，但比许多其他方法实现了更好的留一交叉验证预测精度。
2018-05-12 stat.AP stat.CO
Semi-supervised Deep Kernel Learning: Regression with Unlabeled Data by Minimizing Predictive Variance
Stanford University（斯坦福大学）
训练深度学习模型通常需要大量标记数据。然而，对于许多现实问题，获取额外的数据可能是昂贵的，甚至是不可能的。我们提出了半监督深度核学习（SSDKL），这是一种基于后验正则化框架中最小化预测方差的半监督回归模型。SSDKL将神经网络的分层表示学习与高斯过程的概率建模能力相结合。通过利用未标记的数据，我们展示了对各种现实回归任务的改进，这些任务优于有监督的深度内核学习和半监督方法，如适用于回归的VAT和平均教师。
2019-03-04 cs.AI cs.LG stat.ML
Hierarchical Gaussian Processes for Survey Weighting: Local Equivalent Weights in Structured Populations
Columbia University（哥伦比亚大学）
本研究提出基于分层高斯过程（HGP）回归的调查加权框架，构造结构化总体的局部等价权重，模拟及实际应用显示其在非参数结构下预测误差更低，拓展了调查加权的非参数建模方法。
2026-10-22 stat.ME stat.ML
Functional regression approximate Bayesian computation for Gaussian process density estimation
我们提出了一种新的贝叶斯非参数方法的分层建模的一组相关的密度函数，其中分组数据的形式，从每个密度函数的样本是可用的。在这方面，在各群体之间借用力量是一项重大挑战。为了解决这个问题，我们引入了一个分层结构的先验，定义在一组单变量密度函数，使用方便的高斯过程的变换。推理是通过近似贝叶斯计算（ABC），通过一种新的功能回归调整。所提出的方法的性能说明通过模拟研究和分析农村高中考试在巴西的表现。
2014-10-30 stat.CO
Automated Analysis of Experiments using Hierarchical Garrote
本研究提出名为HiGarrote的实验自动分析方法，融合变量层级关系，结合改进非负garrote与基于高斯过程先验的广义岭回归，无需手动调参，在真实实验中优于现有方法。
2024-11-03 stat.ME
Global Estimation of Neonatal Mortality using a Bayesian Hierarchical Splines Regression Model
近年来，监测儿童死亡率的重点主要是评估五岁以下儿童死亡率的变化。然而，随着五岁以下幼儿死亡率的下降，新生儿死亡率（第一个月内）的比例趋于上升，因此，除了五岁以下幼儿死亡率之外，还需要加强监测这一指标的努力。贝叶斯样条回归模型估计新生儿死亡率（NMR）的所有国家。在该模型中，对死亡率和五岁以下儿童死亡率之间的关系进行了评估，并用于提供估计数，而样条回归模型则用于掌握具体国家的趋势。因此，由此产生的死亡率估计数纳入了总体儿童死亡率的趋势，同时也捕捉了数据驱动的趋势。该模型使用联合国儿童死亡率估算机构间小组的数据库，对195个国家进行了拟合，产生了从1990年到2015年的估计数，如果有数据的话，估计数可以更早。结果表明，在全球一级，五岁以下幼儿死亡率超过每1 000名活产死亡34人，五岁以下幼儿死亡率每增加1%，五岁以下幼儿死亡率与五岁以下幼儿死亡率的比率就会下降0.6%。在五岁以下幼儿死亡率为每1 000名活产死亡34人以下的情况下，五岁以下幼儿的新生儿死亡率保持在54%左右，但是，五岁以下幼儿死亡率与死亡率之间的关系因国家而异。联合国儿童死亡率估算机构间小组现已采用这一模式。
2016-12-12 stat.AP
On infinite-dimensional hierarchical probability models in statistical inverse problems
本文研究了用贝叶斯方法求解一个统计反问题$M = AU+\mathcal{E}$，其中$U$是单位圆$\mathbb{T}$上的函数，即，周期性信号。映射$A$是平滑线性算子，而$\mathcal{E}$是高斯噪声。连接到有限维计算模型$M_{kn} = A_k U_n + \mathcal{E}_k$的解决方案进行了讨论。此外，一个新的分层先验模型，以获得边缘保持条件均值估计。研究了该方法在精细离散下的收敛性，证明了后验分布弱收敛。最后，通过数值例子与模拟数据的理论研究结果进行了说明。
2009-07-31 math.FA math.ST stat.TH
Tree-Structured Stick Breaking Processes for Hierarchical Data
许多数据自然地由未观察到的层次结构建模。在本文中，我们提出了一个灵活的非参数先验未知的数据层次。该方法使用嵌套的断棒过程，以允许无限的宽度和深度的树，其中数据可以生活在任何节点，是无限可交换的。人们可以将我们的模型视为提供无限混合物，其中组件具有对应于树下进化扩散的依赖结构。通过使用棒断裂方法，我们可以应用基于切片抽样的马尔可夫链蒙特卡罗方法进行贝叶斯推断，并从树木的后验分布进行模拟。我们将我们的方法应用于图像的层次聚类和文本数据的主题建模。
2010-06-05 stat.ME stat.ML
Hierarchical Spline-Based Bayesian Beta-Binomial Regression for Estimating Time-Varying Risk in Power Outages
Oak Ridge National Laboratory（橡树岭国家实验室）
该研究提出分层样条贝塔-二项回归模型，结合B样条与贝塔-二项似然，经PyMC的NUTS采样器推断，可估计停电时变风险，其AUC后验均值能提供校准不确定性，为公用事业及应急规划人员提供工具。
2026-08-14 stat.AP
Regional and spatial dependence of poverty factors in Thailand, and its use into Bayesian hierarchical regression analysis
CMKL University（中泰管理学院）；National Electronics and Computer Technology Center (NECTEC)（国家电子与计算机技术中心）
本研究通过贝叶斯分层回归模型分析泰国贫困因素的空间依赖性，发现北部和东北部地区贫困问题突出，教育水平显著低于大都市。
2024-08-19 cs.SI econ.GN q-fin.EC
Robust Hierarchical Bayes Small Area Estimation for Nested Error Regression Model
许多国家的国家统计机构现在被授权为按地理和（或）人口划分的小区域编制人口、收入、失业、健康结果等重要变量的可靠统计数据。由于这些地区的样本量较小，直接基于样本的估计往往不可靠。基于模型的小面积估计现在被广泛用于通过适当的模型从其他地区和相关变量“借用力量”来生成可靠的统计数据。离群值对基于标准模型的小面积估计值产生不利影响。为了处理离群值，Sinha和Rao（2009）提出了一种鲁棒的频率论方法。在这篇文章中，我们提出了一个强大的贝叶斯替代嵌套误差回归模型的单位级数据，以减少离群值。我们考虑了一个两个组件的混合比例的正态分布的单位水平的误差模型离群值，并提出了一种计算方法，以产生贝叶斯预测的小面积平均值下的非信息先验模型参数。一个真实的例子和广泛的模拟令人信服地表明我们的贝叶斯预测离群值的鲁棒性。模拟比较这两种方法与Datta和Ghosh（1991）的贝叶斯预测和Chambers等人（2014）的M分位数估计的结果表明，当存在离群值时，我们提出的方法在偏倚，变异性和预测区间的覆盖概率方面优于其他方法。优越的频率性能，我们的程序显示其双重（贝叶斯和频率）的优势，并使其吸引力的所有从业者，贝叶斯和频率，小面积估计。
2018-10-24 stat.AP stat.ME
Type Ia Supernova Colors and Ejecta Velocities: Hierarchical Bayesian Regression with Non-Gaussian Distributions
我们调查的统计依赖性的峰值固有颜色的Ia型超新星（SN Ia）在最大光的膨胀速度，测量从Si II 6355光谱功能。我们构建了一个新的分层贝叶斯回归模型，占随机效应的内在散射，测量误差，并由主机星系尘埃变红，并实施吉布斯采样器和偏差信息标准来估计的相关性。该方法应用于附近79个超新星Ia的BVRI光变曲线和Si II速度数据的表观颜色。高速度（HV）和正常速度（NV）超新星的表观颜色分布在B-V和B-R上表现出明显的差异，但在其他颜色上没有差异。因此，它们可能是由于B波段的固有色差，而不是尘埃变红。HV和NV组之间的平均固有B-V和B-R色差分别为0.06 +/- 0.02和0.09 +/- 0.02 mag。线性模型发现，本征B-V和B-R颜色与速度的显著斜率分别为-0.021 +/- 0.006和-0.030 +/- 0.009 mag/（1000 km/s）。由于喷出物的速度分布偏向高速度，这些影响意味着非高斯固有的颜色分布与偏度高达+0.3。考虑到固有的色-速度相关性，对A_V消光估计的修正值对于HV SNe Ia可达-0.12等，对于NV事件可达+0.06等。从超新星Ia光谱的速度测量有可能减少系统误差的内在颜色和尘埃红化影响超新星距离的混淆。
2014-11-27 astro-ph.CO stat.AP
A hierarchical Bayesian perspective on majorization-minimization for non-convex sparse regression: application to M/EEG source imaging
优化最小化（MM）是一种标准的迭代优化技术，它包括最小化一系列凸代理泛函。MM方法已经特别成功地解决了逆问题和统计机器学习问题，其中正则化项是稀疏促进凹函数。然而，由于非凸性，MM找到的解决方案取决于它的初始化。均匀初始化是最自然和最常用的策略，因为它归结为在第一次MM迭代中同等地惩罚所有系数。然而，这种任意的选择可能会导致不满意的结果，严重欠确定的逆问题，如源成像与磁和脑电图（M/EEG）。层次贝叶斯模型（HBM）的框架是一种替代方法来编码稀疏性。这项工作表明，对于某些分层模型，一个简单的交替方案来计算完全贝叶斯最大后验概率（MAP）估计，导致与标准MM策略完全相同的更新序列（参见。Adaptive Lasso）。有了这个平行概述，我们展示了如何改进这些MM技术，探测多峰后验密度使用马尔可夫链蒙特卡罗（MCMC）技术。首先，我们表明，这些样本可以提供充分知情的初始化，帮助MM计划，以达到更好的局部极小值。其次，我们展示了它如何能够揭示不同模式的后验分布，以探索和量化的内在不确定性和模糊性，这种不适定的推理过程。在M/EEG的上下文中，每个模式对应于神经源的合理配置，这对于数据解释至关重要，特别是在临床环境中。模拟和真实数据集上的结果显示了传感器的数量或类型如何影响估计的不确定性。
2018-06-06 stat.AP
Variable fusion for Bayesian linear regression via spike-and-slab priors
在线性回归模型中，系数的融合用于识别与响应具有相似关系的预测因子。这就是所谓的可变融合。提出了一种基于贝叶斯线性回归模型的变量融合方法。我们专注于分层贝叶斯模型的基础上的尖峰和板坯事先的方法。一个尖峰和平板先验是定制的，以执行可变融合。为了获得参数的估计，我们开发了一个吉布斯采样器的参数。仿真研究和实际数据分析表明，我们提出的方法取得了更好的性能比以前的方法。
2020-12-02 stat.ME stat.ML
Cluster Regularization via a Hierarchical Feature Regression
Goethe University Frankfurt（法兰克福歌德大学）
本文提出了一种新的基于图的正则化回归估计-层次特征回归（HFR）-，它调动了机器学习和图论领域的见解来估计线性回归的鲁棒参数。估计器构造了一个监督特征图，该图沿着其边缘分解参数，首先针对常见的变化进行调整，并相继将特质模式纳入拟合过程。图结构具有朝向组目标收缩参数的效果，其中收缩的程度由超参数支配，并且组组合物以及收缩目标是内生地确定的。该方法为数据中潜在效应结构的可视化探索提供了丰富的资源，并且与一系列经验和模拟回归任务中常用的正则化技术相比，表现出良好的预测准确性和通用性。
2022-01-07 cs.LG stat.ML
Adaptive sparse variational approximations for Gaussian process regression
本文针对非参数回归模型，提出基于变分贝叶斯的超参数选择理论保证，通过构建分层贝叶斯过程的变分近似推导出后验收缩率上界，并在多种高斯过程先验中实现最优收缩率，同时通过合成与真实数据集验证了理论。
2025-04-04 math.ST stat.ML stat.TH
Bayesian Effect Selection in Structured Additive Distributional Regression Models
我们提出了一种新的spike和slab先验规范与缩放的beta素数边缘的重要性参数的回归系数，允许一般的效果选择类结构添加剂分布回归。这使我们能够对任意参数分布的所有分布参数进行建模，并考虑各种效应类型，如非线性或空间效应以及分层回归结构。我们的尖峰和板前依赖于一个参数扩展，分离块的回归系数到整体标量的重要性参数和向量的标准化系数。因此，我们可以使用标量来进行效果选择，而不是使用可能的高维效果向量，与经典的正态-逆伽马先验相比，这会产生改进的收缩和采样性能。我们调查的后验的适当性，显示出的前收益率理想的收缩性能，提出了一种方法，引出先验参数，并提供有效的马尔可夫链蒙特卡罗采样。使用模拟和三个大规模的数据集，我们表明，我们的方法是适用于数据的潜在大量的协变量，多层次的预测因子占分层嵌套的数据和非标准的响应分布，如二元正态或零膨胀泊松。
2019-02-27 stat.ME
A Bayesian Group Sparse Multi-Task Regression Model for Imaging Genetics
动机：脑成像和高通量基因分型技术的最新进展促使研究检查遗传变异对脑结构的影响。Wang等人（Bioinformatics，2012）已经开发了一种用于分析成像基因组研究的方法，该方法使用基于新的组$l_{2,1}$ -范数惩罚的具有正则化的惩罚多任务回归，该惩罚鼓励基因水平和SNP水平的结构化稀疏性。虽然结合了一些有用的功能，所提出的方法只提供了一个点估计的回归系数，进行统计推断的技术不提供。本文提出了一种新的贝叶斯方法来克服这一局限性。结果如下：我们开发了一种贝叶斯分层建模公式，其中后验模式对应于Wang等人提出的估计量（Bioinformatics，2012），以及一种允许完整后验推断的方法，包括构建回归参数的区间估计。我们表明，所提出的分层模型可以表示为一个三级高斯尺度的混合物，这种表示有利于使用一个吉布斯抽样算法后验模拟。仿真研究表明，使用我们的方法获得的区间估计达到足够的覆盖概率，优于那些从非参数自举。我们提出的方法被应用于分析的神经影像学和遗传数据收集的阿尔茨海默氏病神经影像学倡议（ADNI）的一部分，ADNI队列的分析清楚地表明，将区间估计超出只有点估计的价值增加时，单核苷酸多态性脑成像内表型。
2016-10-17 stat.AP stat.ME stat.ML
Adaptive Bayesian credible sets in regression with a Gaussian process prior
本文研究了两种经验贝叶斯方法和一种分层贝叶斯方法，用于在非参数回归模型中调整高斯过程的尺度。我们表明，所有的方法导致后收缩率，适应真正的回归函数的平滑度。此外，我们还证明了当真实回归函数满足一定的外推条件时，相应的可信集覆盖了该函数。这个条件取决于具体的方法，但是由自相似性的条件所暗示。后一个条件被证明是满足概率1下的先验分布。
2015-04-29 math.ST stat.TH
Fuzzy sets in nonparametric Bayes regression
一个简单的贝叶斯方法非参数回归描述使用模糊集和隶属函数。隶属函数被解释为未知回归函数的似然函数，因此借助于参考先验，它们可以被转换为先验密度函数。未知的回归函数被分解成小波和分层贝叶斯方法是用于对所得到的小波系数进行推断。
2008-05-21 math.LO math.ST stat.ME
Parallel hierarchical sampling: a practical multiple-chains sampler for Bayesian model selection
本文介绍了并行分层采样器（PHS），一种同时使用多个链的马尔可夫链蒙特卡罗算法。说明了PHS与并行回火（PT）算法之间的联系，证明了PHS联合转移核的收敛性，强调了PHS联合转移核的实用优势。我们说明了使用PHS，并行回火和梅特罗波利斯-黑斯廷斯算法的贝叶斯模型选择问题，即高斯聚类，协变量的选择线性回归模型和选择的结构树生存模型的推断。
2008-12-08 stat.CO stat.ME
Real-time semiparametric regression
我们开发了实时执行半参数回归分析的算法，数据在收集时进行处理，并通过现代电信技术立即提供。我们的半参数回归的定义是相当广泛的，包括，作为特殊情况下，广义线性混合模型，广义可加模型，地质统计模型，小波非参数回归模型及其各种组合。快速更新回归拟合是通过将半参数回归耦合到贝叶斯分层模型或等价的图形模型框架中并采用在线平均场变分思想来实现的。本文所附的一个网站realtime-semiparametric-regression.net说明了不断获得股票市场、房地产和航空公司数据的方法。基于日益普遍的流数据源的灵活实时分析将受益匪浅。
2013-02-06 stat.ME
Oracle posterior contraction rates under hierarchical priors
我们提供了一个一般的贝叶斯理论框架，以获得后验收缩率下的分层先验设计：第一步先验用于评估模型选择的不确定性，第二步先验量化的先验信念的强度的信号内选择的模型从第一步。特别是，我们建立了非渐近预言后验收缩率下（i）的对数似然比的统计实验的局部高斯条件，（ii）的局部熵条件的维数的模型，和（iii）的第二步附近的最佳逼近信号的充分质量条件。第一步先验可以一般地设计。后验分布具有高斯尾行为，因此所得后验均值也满足预言不等式，自动充当频率论意义上的自适应点估计器。在这些预言率中允许模型错误指定。局部高斯性条件作为实验的非渐近高斯量化的统一尝试，并且可以在[GvdV 07 a]及以后考虑的各种实验中容易地验证。一般的结果被应用在各种问题，包括：（i）跟踪回归，（ii）形状限制保序/凸回归，（iii）高维部分线性回归，（iv）协方差阵估计的稀疏因子模型，（v）非光滑多面体图像边界的检测，和（vi）强度估计的泊松点过程模型。这些新的结果既可以作为理论上的理由，在文献中的实际先前的建议，或作为一个复杂的实验的（近）极大极小自适应估计的一般建设计划的说明。
2021-02-10 math.ST stat.TH
A Menu-Driven Software Package of Bayesian Nonparametric (and Parametric) Mixed Models for Regression Analysis and Density Estimation
大多数应用统计学涉及数据的回归分析。本文介绍了一个独立的和菜单驱动的软件包，贝叶斯回归：非参数和参数模型。目前，该软件包为用户提供了83个贝叶斯模型的选择，用于数据分析。它们包括47个贝叶斯非参数（BNP）无限混合回归模型; 5个用于密度估计的BNP无限混合模型;以及31个正态随机效应模型（HLM），包括正态线性模型。78个回归模型中的每一个都处理连续、二元或有序因变量，并且可以处理多水平（分组）数据。所有83个贝叶斯模型都可以处理加权观测的分析（例如，对于荟萃分析），以及左删失、右删失和/或区间删失数据的分析。每个BNP无限混合模型具有分配了各种BNP先验分布之一的混合分布，包括由Dirichlet过程、Pitman-Yor过程（包括归一化稳定过程）、beta（双参数）过程、归一化逆高斯过程、几何权重先验、相关Dirichlet过程或相关无限概率先验定义的先验。软件用户可以点击鼠标选择贝叶斯模型，并通过马尔可夫链蒙特卡罗（MCMC）抽样进行数据分析。采样完成后，软件自动打开文本输出，报告模型后验分布的基于MCMC的估计值和模型对数据的预测拟合。通过鼠标单击其他菜单选项可以生成其他文本和/或图形输出。这包括MCMC收敛分析的输出，以及选定泛函和协变量值的模型后验预测分布的估计。用MATLAB语言编制了BNP回归分析软件，并对实际数据进行了BNP回归分析。
2015-07-14 stat.CO
Implementing and Automating Fixed-Form Variational Posterior Approximation through Stochastic Linear Regression
最近，我们提出了一个通用的算法来近似非标准贝叶斯后验分布的库尔贝克-莱布勒散度最小化相对于一个更方便的近似分布。在本说明中，我们提供了如何在实践中有效地实现该算法的细节。我们还建议后验近似的形式，迭代次数，步长和其他用户选择的默认选择。通过使用这些默认值，可以完全自动地为分层模型构建良好的后验近似。
2014-01-09 stat.CO
A Hierarchical Bayesian Framework for Constructing Sparsity-inducing Priors
由于越来越多的回归和分类应用涉及高维数据，我们希望一些预测是不重要的，变量选择技术已成为统计学家之间越来越流行。在这种情况下，贝叶斯变量选择技术，涉及马尔可夫链蒙特卡罗探索的后验分布的模型可以是令人望而却步的计算昂贵的，所以已经注意到准贝叶斯方法，如最大后验概率（MAP）估计使用先验，诱导稀疏性，在这样的估计。我们专注于后一种方法，扩展到目前为止提出的层次结构，以提供贝叶斯解释和概括的最先进的惩罚优化方法，并同时提供一种自然的方式，包括在此框架内的参数先验信息。我们给出了如何使用这个层次结构来计算线性和逻辑斯谛回归的MAP估计以及高斯图形模型中的稀疏精度矩阵估计的例子。此外，一个自适应群套索方法推导出使用的框架。
2010-09-16 stat.CO stat.ME
Scale-Location-Truncated Beta Regression: Expanding Beta Regression to Accommodate 0 and 1
针对标准 beta 回归无法处理边界值 0 和 1 的问题，提出 SLTB 回归模型，通过尺度-位置变换和截断赋予边界值有限质量，并在最大似然和贝叶斯框架下验证了其优于现有方法的灵活性与广泛适用性。
2025-09-16 stat.ME
A Hierarchical Max-Infinitely Divisible Spatial Model for Extreme Precipitation
了解极端降水的空间范围对于确定洪水风险和充分设计基础设施（例如，雨水管）以承受这种危险。虽然环境现象通常在越来越极端的水平上表现出减弱的空间依赖性，但块最大值的极限最大稳定过程模型具有刚性依赖结构，无法捕获这种类型的行为。我们提出了一个灵活的贝叶斯模型，从一个更广泛的家庭（有条件）最大无限可分的过程，允许削弱空间依赖性在越来越极端的水平，由于层次表示的可能性方面的随机效应，我们的推理方法规模大的数据集。因此，我们的模型不仅具有灵活的依赖结构，但它也允许快速，完全贝叶斯推断，预测和条件模拟在高维。所提出的模型是使用灵活的随机基函数，估计从数据，允许直接检查的极端的主要空间模式。此外，所描述的过程具有（条件）的最大稳定性作为一个特殊的情况下，使推断的尾部依赖类可能。我们将我们的模型应用于美国东北部的极端降水，并表明所提出的模型充分捕捉了数据的极端行为。有趣的是，我们发现，从我们的模型估计的空间变化的主要模式类似于在沿海发生的极端降水事件中观察到的模式（例如，有局部的热带气旋和对流风暴）和山脉边界。我们的模型可以很容易地适应其他类型的环境数据集，因此对于识别极端天气模式和风险区域非常有用。
2020-03-23 stat.AP
A Study of Clustering Techniques and Hierarchical Matrix Formats for Kernel Ridge Regression
University of Michigan（密歇根大学）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
我们提出了内存效率和可扩展的算法，用于机器学习的内核方法。使用分层矩阵近似的内核矩阵的内存需求，浮点运算的数量，和执行时间大大减少相比，标准的密集线性代数例程。我们考虑了一般的$\mathcal{H}$矩阵层次格式以及层次半可分（HSS）矩阵。此外，我们研究了几种预处理和聚类技术对层次矩阵压缩的影响。输入的有效聚类导致压缩效率提高十倍。这些算法是使用STRUMPACK求解器库实现的。这些结果证实，-正确调整的超参数-分类使用核岭回归与压缩矩阵不失去预测精度相比，确切的-未压缩-核矩阵，我们的方法可以扩展到$\mathcal{O}(1M)$数据集，其中计算与完整的内核矩阵变得过于昂贵。我们目前的数值实验在分布式内存环境中高达1,024处理器的NERSC的科里超级计算机使用众所周知的数据集的机器学习社区，范围从8到784。
2018-03-27 cs.LG stat.ML
A Bayesian Hierarchical Model for Comparative Evaluation of Teaching Quality Indicators in Higher Education
激励该文件的问题是量化的学生的偏好，关于教学/课程质量，在一定的数值限制，以建立一个模型，识别，评估和监测的主要组成部分的整体学术质量。在回顾了联合分析和随机系数回归模型在过去类似问题中的优势和局限性后，我们提出了一个贝叶斯beta回归模型与Dirichlet先验的模型系数。这种方法不仅允许将信息事先当它是可用的，但也提供了用户友好的界面和直接的概率解释的所有数量。此外，这是实现模型权重/系数的通常约束的自然方式。该模型应用于2009年和2013年收集的数据，从本科生在Panteion大学，雅典，希腊，除了建设一个工具的教学质量的评估和监测，它给出了一些输入的初步讨论的关联的差异，学生的偏好在两个时间段与当前的希腊经济和金融危机。
2014-04-07 stat.AP
Bayesian nonparametric regression using complex wavelets
本文提出了一种新的基于复小波的自适应小波去噪方法。该方法是基于一个完整的贝叶斯分层模型在复杂的小波域，使用一个双变量的混合物之前的小波系数。该过程的核心是计算性的，后验均值通过马尔可夫链蒙特卡罗（MCMC）模拟计算。我们表明，该方法具有良好的性能，通过模拟上的著名的测试功能，并通过比较一个完善的复杂的基于小波的去噪程序。还考虑了实际数据集的应用。
2018-03-07 stat.ME
