A Pólya-Gamma Sampler for a Generalized Logistic Regression
在本文中,我们介绍了一种新的贝叶斯数据增强方法估计广义逻辑斯谛回归模型的参数。我们提出了一个Pólya-Gamma采样算法,使我们能够从精确的后验分布中采样,而不是依赖于近似。仿真研究说明了所提出的方法的灵活性和准确性,以捕捉重尾和轻尾在不同尺寸的二进制响应数据。该方法被应用到两个不同的真实数据集,在那里我们证明了Pólya-Gamma采样器提供了比经验似然方法更精确的估计,优于近似方法。
2020-12-21 stat.CO stat.ME stat.OT
Efficient Gibbs Sampling in Cox Regression Models Using Composite Partial Likelihood and Pólya-Gamma Augmentation
National Institute of Infectious Diseases(国立感染症研究所)
针对Cox回归贝叶斯方法基线风险建模复杂、计算低效的问题,提出GS4Cox全吉布斯采样器,结合广义贝叶斯框架、复合部分似然、Pólya-Gamma增强及仿射校准,实现高效采样并提升估计性能。
2025-11-18 stat.ME
The Pólya sum kernel and Bayes estimation
我们认为一个特定的Cox过程从贝叶斯的观点和贝叶斯估计的强度措施是所谓的Pólya和内核,最近发生的背景下,建设的所谓的Papangelou过程。更准确地说,如果先验,考克斯过程的直接测度,是泊松-伽马随机测度,那么后验也是泊松-伽马随机测度,强度的贝叶斯估计是波利亚和核。此外,我们将这一结果扩展到双随机Poisson-Gamma先验,并给出了条件下,人们可以确定的贝叶斯估计的强度。
2012-05-10 math.PR math.ST stat.TH
Geometric ergodicity of Polya-Gamma Gibbs sampler for Bayesian logistic regression with a flat prior
逻辑斯谛回归模型是分析二进制数据最常用的模型。在贝叶斯逻辑斯谛回归模型中,在没有先验信息的情况下,回归系数往往采用不适当的平坦先验。由此产生的顽固性后壁密度可以通过运行Polson et al.的(2013)数据增强(DA)算法。在本文中,我们建立了马尔可夫链的基础上Polson等人。的(2013)DA算法是几何遍历的。证明这一理论结果具有重要的实际意义,因为它保证了有限二阶矩条件下样本平均值的中心极限定理的存在性。CLT又允许DA算法的用户计算后验估计的标准误差。
2018-07-02 math.ST stat.TH
A Bayesian Markov model with Pólya-Gamma sampling for estimating individual behavior transition probabilities from accelerometer classifications
在野生动物跟踪中使用加速度计为了解动物行为和决策提供了精细的数据源。目前的运动生态学方法集中在行为作为运动机制的驱动力。我们的马尔可夫模型是一种灵活而有效的方法,用于推断对行为的影响,考虑当前和过去的行为之间的依赖关系。我们将此模型应用于北美中部大陆春季迁徙期间六只大白额鹅(Anser albifrons frontalis)的行为数据,并考虑了可能的行为驱动因素,包括栖息地,天气和时间效应。我们使用一阶贝叶斯马尔可夫模型模拟飞行,进食,静止和行走行为状态之间的转换。我们引入了Pólya-Gamma潜变量,用于从后验分布中自动采样协变量系数,并计算后验样本的优势比。我们的模型提供了一个统一的框架,包括加速度和全球定位系统数据。我们发现栖息地类型,昼夜行为和行为的变化,由于天气之间的行为转换率显着差异。我们的模型提供了直接的推断行为的时间分配在使用的栖息地,这是不适合在活动预算或资源选择框架。
2020-05-19 stat.AP
Bayesian Analysis of Dynamic Linear Topic Models
Duke University(杜克大学);Sciome, LLC(Sciome有限责任公司)
在动态主题建模中,主题对文档的贡献比例取决于该主题在语料库中的总体流行度的时间动态。我们扩展了Blei和Lafford(2006)的动态主题模型,通过显式地建模文档级别的主题比例与协变量和动态结构,包括多项式趋势和周期性。一个马尔可夫链蒙特卡罗(MCMC)算法,利用Polya-Gamma数据增强的后验推理。模型和采样的条件独立性是明确的,我们的MCMC算法是并行的,在可能的情况下,允许在大型语料库中的推理。为了解决与Polya-Gamma采样相关的计算瓶颈,我们呼吁中心极限定理开发一个高斯近似的Polya-Gamma随机变量。这种近似对于文本挖掘领域中相关的参数值是快速和可靠的。我们的模型和推理算法进行了验证与多个模拟的例子,我们认为在PubMed摘要建模趋势的应用。我们证明了跨文档共享信息对于准确估计文档特定主题比例至关重要。我们还表明,显式建模多项式和周期性行为提高了我们的能力,预测主题流行在未来的时间点。
2015-11-12 cs.LG stat.ME stat.ML
The Cox-Polya-Gamma Algorithm for Flexible Bayesian Inference of Multilevel Survival Models
本文提出Cox-Polya-Gamma算法,通过泊松过程近似与充分降维策略,解决贝叶斯多层Cox半参数回归中非参数基线累积风险的单调性约束计算难题,并给出算法的一致遍历性条件。
2024-11-23 stat.ME
Fast Bayesian inference for large occupancy data sets, using the Polya-Gamma scheme
近年来,物种发生的研究受益于大规模公民科学数据的增加。虽然来自标准化监测计划的丰度数据偏向于经过充分研究的分类群和地点,但可以从大量地点和长时间尺度获得许多分类群的机会数据。因此,这些数据提供了测量物种发生变化的机会,特别是通过使用占用模型,该模型解释了不完美的检测。然而,现有的贝叶斯占用模型应用于大型公民科学数据集时非常缓慢。在本文中,我们提出了一个新的框架,快速贝叶斯推断占用模型,占空间和时间的自相关。我们表示的占用和检测过程中的逻辑斯谛回归框架,这使我们能够使用Polya-Gamma方案进行推理快速,有效地,即使是非常大的数据集。空间和时间的随机效应建模使用高斯过程,使我们能够推断的强度的时空自相关的数据。我们将我们的模型应用于两个英国蝴蝶物种的数据,一个常见的和广泛的,一个罕见的,使用记录从蝴蝶的新千年数据库,产生占用指数跨越45年。我们的框架可以应用于广泛的类群,提供物种发生的变化,这是用来评估生物多样性变化的措施。
2021-07-30 stat.AP
On Data Augmentation for Models Involving Reciprocal Gamma Functions
本研究针对含倒数Gamma函数的形状参数模型后验推断难题,提出基于高斯乘法公式与斯特林公式的高效数据增强方法,构建适用于多种分布模型的采样算法,经仿真验证有效。
2022-08-26 stat.CO stat.ME
Poisson--Gamma Dynamical Systems
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Research New York(微软研究院纽约)
我们介绍了一个新的动态系统的顺序观察多元计数数据。该模型基于gamma-Poisson构造--计数数据的自然选择--并依赖于一种新颖的贝叶斯非参数先验,该先验将模型参数联系起来并缩小,从而避免过拟合。我们提出了一个有效的MCMC推理算法,推进最近的工作增强计划在负二项模型的推理。最后,我们使用各种真实世界的数据集证明了该模型的归纳偏差,表明它具有优于其他模型的预测性能,并推断出高度可解释的潜在结构。
2017-01-19 cs.LG stat.ML
Bayesian Inference for Gamma Models
我们使用正态方差-均值混合理论来推导包括伽马函数的模型的数据增强方案。我们的方法适用于统计和机器学习中的许多情况,包括多项狄利克雷分布、负二项回归、Poisson-Gamma分层模型、极值模型等。所有这些模型都包括一个伽马函数,它不允许自然共轭先验分布,这对推理和预测提出了重大挑战。为了提供一个数据扩充策略,我们建立和发展了指数倒数Γ分布类的理论。这允许开发可扩展的EM和MCMC算法。我们说明了我们的方法上的一些例子,包括伽玛形状推断,负二项回归和狄利克雷分配。最后,我们总结了未来研究的方向。
2021-06-21 stat.CO stat.ME stat.ML
Some Relationships and Properties of the Hypergeometric Distribution
二项分布和泊松分布分别与贝塔分布和Γ分布有着有趣的关系,这涉及到它们的累积分布函数和贝叶斯统计中共轭先验的使用。我们简要地讨论了这些关系以及由此产生的一些性质,这些性质在构造精确嵌套双侧置信区间和计算双尾P值中起着重要的作用。本文的目的是证明这种关系也存在于超几何分布和Polya(或β-二项)分布的一种特殊情况之间,并由此导出超几何分布的一些性质。关键词:Beta、二项式、Gamma、Poisson和Polya(或beta-二项式)分布;共轭先验分布;累积分布函数;后验分布。
2016-10-24 math.ST stat.TH
Scalable Cross Validation Losses for Gaussian Process Models
Broad Institute(博德研究所);Columbia University(哥伦比亚大学)
我们介绍了一个简单的和可扩展的方法来训练高斯过程(GP)模型,利用交叉验证和最近邻截断。为了适应二进制和多类分类,我们利用Psyllya-Gamma辅助变量和变分推断。在与许多可扩展GP回归和分类的替代方法进行的广泛实证比较中,我们发现我们的方法提供了快速的训练和出色的预测性能。我们认为,良好的预测性能可以追溯到所得到的预测分布的非参数性质,以及交叉验证损失,这提供了对模型误指定的鲁棒性。
2022-03-09 cs.LG stat.ML
Default Bayesian analysis for multi-way tables: a data-augmentation approach
针对Meta分析和多中心临床试验中常见的多元列联表,提出了一种正则化估计策略。我们的方法是基于数据增强,并呼吁大量的一类新的Polya-Γ分布。我们的主要贡献是建立相关的分布理论,并证明了这种数据增强计划的三个有用的功能。首先,它导致简单的EM和吉布斯采样算法的后验推理,规避解析近似,数值积分,大都市-黑斯廷斯,或变分方法的需要。其次,它允许建模者在选择先验时有更大的灵活性,而先验传统上来自狄利克雷或逻辑正态族。例如,我们的方法允许用户将经典惩罚似然技术(例如套索或桥)的贝叶斯模拟用于计算对数比值比的正则化估计。最后,我们的数据增强方案自然地提出了一个默认的策略,事先选择的基础上的逻辑-Z模型,这是密切相关的杰弗里斯先验的二项式比例。为了说明该方法,我们主要关注荟萃分析/多中心研究(或JxKxN表)的特定情况。但是,一般的方法包括许多其他常见的情况,我们将提供一些例子。
2011-09-19 math.ST stat.CO stat.ME
Efficient Bayesian Inference for a Gaussian Process Density Model
Artificial Intelligence Group(人工智能组);Technische Universität Berlin(柏林工业大学)
我们重新考虑一个基于高斯过程的非参数密度模型。通过增广模型与潜在的Pólya-Gamma随机变量和潜在的标记泊松过程,我们得到了一个新的似然共轭模型的高斯过程的先验。增强后允许有效的推理吉布斯抽样和近似变分平均场方法。对于后者,我们利用稀疏GP近似来解决无限维的问题。这两种算法的性能和与其他密度估计的比较,证明了人工和真实的数据集,多达几千个数据点。
2018-05-29 cs.LG stat.ML
Clustering dynamics in a class of normalised generalised gamma dependent priors
标准化广义伽玛过程是随机概率测度,其导致广泛用于贝叶斯统计的非参数先验分布,特别是用于混合建模。我们构造了一类由Moran型平稳种群模型诱导的依赖归一化广义Gamma先验,该模型利用了与先验相关的广义Pólya urn方案。我们研究了样本中集群数量的动态的渐近缩放,这反过来又提供了一个动态的措施,在底层人口的多样性。极限形式化为一个正的非平稳扩散过程,它落在众所周知的家庭,无界漂移和入口边界的起源。我们还引入了一类新的平稳正扩散,其不变测度是显式的,并具有幂律尾,弱逼近标度极限。
2016-11-04 math.PR math.ST stat.TH
Data Augementation with Polya Inverse Gamma
我们使用正态方差-均值混合理论来推导包括伽马函数的模型的数据增强方案。我们的方法适用于统计和机器学习中的许多情况,包括多项狄利克雷分布,负二项回归,泊松-伽马分层模型,极值模型,仅举几例。所有这些模型都包括一个伽马函数,它不允许自然共轭先验分布,这对推理和预测提出了重大挑战。为了提供一个数据扩充策略,我们构造和发展了Pólya逆Γ分布类的理论。这允许开发可扩展的EM和MCMC算法。我们说明了我们的方法上的一些例子,包括伽玛形状推断,负二项回归和狄利克雷分配。最后,我们总结了未来研究的方向。
2022-05-01 stat.CO stat.ME stat.ML
Beta-Negative Binomial Process and Poisson Factor Analysis
提出了一个β-负二项(BNB)过程,并由此得到一个β-gamma-Poisson过程,它可以看作是β-Bernoulli过程的“多勺”推广.将BNB过程扩充为一个beta-gamma-gamma-Poisson层次结构,并将其作为一个非参数贝叶斯先验应用于无限Poisson因子分析模型。为了便于实现,构造了Beta过程Levy随机测度的一个有限逼近.有效的MCMC计算进行数据增强和边缘化技术。令人鼓舞的结果显示在文档计数矩阵分解。
2012-02-04 stat.ME stat.ML
PG-TS: Improved Thompson Sampling for Logistic Contextual Bandits
Lewis-Sigler Institute(刘易斯-西格勒研究所);Princeton University(普林斯顿大学);Department of Computer Science(计算机科学系);Center for Statistics and Machine Learning(统计与机器学习中心)
我们解决的问题,后悔最小化的逻辑上下文土匪,其中一个学习者决定在顺序的行动或武器鉴于其各自的背景下,以最大限度地提高二元奖励。使用Polya-Gamma分布增强变量的快速推理过程,我们提出了一个改进版本的汤普森采样,贝叶斯制定的上下文土匪接近最佳的性能。我们的方法,Polya-Gamma增强汤普森采样(PG-TS),实现了最先进的性能模拟和真实数据。PG-TS有效地探索了行动空间,并利用了高回报的武器,迅速收敛到低后悔的解决方案。它的上下文特征协方差的后验分布的显式估计导致大量的经验增益超过近似方法。PG-TS是第一种证明Polya-Gamma增强在土匪中的好处的方法,并提出了一种有效的Gibbs采样器来近似分析上不可解的物流背景土匪积分。
2018-05-18 cs.LG stat.ML
Bayesian factor zero-inflated Poisson model for multiple grouped count data
针对多组计数数据,提出一种结合连接函数、数据增广、Pólya-Gamma增广与参数扩展的贝叶斯因子零膨胀泊松模型,并通过模拟和真实数据验证其效果。
2024-05-10 stat.ME
Nonparametric Bayes dynamic modeling of relational data
对称二元矩阵表示实体之间的关系,在许多领域中是常见的。我们的重点是动态发展的二元关系矩阵,与兴趣是在推理的关系结构和预测。我们提出了一个非参数贝叶斯动态模型,它降低了通过低维潜在空间表示的特征的二进制矩阵的维数,通过高斯过程的潜坐标在连续时间演变。通过使用从概率矩阵空间到潜在关系空间的逻辑映射函数,我们得到了一个灵活且易于计算的公式。采用Pandelya-Gamma数据增强,一个有效的吉布斯采样器的后验计算,与自动推断的潜在空间的维数。我们提供了一些理论结果的模型的灵活性,并通过仿真实验来说明性能。我们还考虑了在世界金融市场的共同运动的应用。
2013-11-19 stat.ML
GP-Tree: A Gaussian Process Classifier for Few-Shot Incremental Learning
Bar-Ilan University(巴伊兰大学);Nvidia(英伟达)
高斯过程(GP)是一种非参数的、灵活的模型,在许多任务中都能很好地工作。通过深度内核学习(DKL)将GP与深度学习方法相结合尤其引人注目,因为网络具有强大的代表性。然而,在GP中的推断,无论是否具有DKL,在大型数据集上都可能具有计算挑战性。在这里,我们提出了GP树,一种新的方法,多类分类高斯过程和DKL。我们开发了一个基于树的层次模型,其中树的每个内部节点适合一个GP的数据使用Pólya伽马增强计划。因此,我们的方法可以很好地扩展类的数量和数据大小。我们证明了我们的方法对其他高斯过程训练基线的有效性,我们展示了我们的通用GP方法如何在标准增量少样本学习基准测试中实现更高的准确性。
2021-07-13 cs.LG
Task Diversity in Bayesian Federated Learning: Simultaneous Processing of Classification and Regression
School of Statistics, Renmin University of China(中国人民大学统计学院);School of Statistics and Data Science, Southeast University(东南大学统计与数据科学学院);Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing(未来区块链与隐私计算北京高精尖创新中心)
本文针对联邦学习中本地任务同质化问题,提出结合多输出高斯过程与联邦学习的贝叶斯多任务框架,通过Pólya-Gamma增强和变分推断提升效率,实验证明其在预测、OOD检测和校准上表现优越。
2024-12-25 cs.LG stat.ML
Compound random measures and their use in Bayesian nonparametrics
提出了一类新的相依随机测度,我们称之为{ \it复合随机测度},并考虑了在贝叶斯非参数混合模型中使用这些随机测度的归一化形式作为先验.它们的易处理性允许复合随机措施和归一化复合随机措施的属性来推导。特别是,我们展示了如何复合随机措施,可以与伽玛,$σ$稳定和广义伽玛过程边际。我们还推导了拉普拉斯指数的几种形式,并通过Lévy copula和相关函数来描述依赖性。在非参数混合模型中,当混合测度为归一化复合随机测度时,给出了用于后验推断的切片采样器和增广Pólya urn方案采样器,并给出了数据实例.
2015-09-02 stat.ME
Scalable Bayesian Tensor Ring Factorization for Multiway Data Analysis
Tokyo University of Agriculture and Technology(东京农工大学);RIKEN AIP(理化学研究所人工智能项目)
针对现有贝叶斯张量环(BTR)分解方法存在的次优解、仅适用于连续数据及难以处理大型张量等问题,提出采用非参数乘法伽马过程(MGP)先验、波利亚-伽马增强及高效吉布斯采样器与在线EM算法的新BTR模型,提升潜在结构识别准确性、离散数据处理能力及大规模张量适用性。
2024-12-04 cs.LG stat.ML
Differential Expression Analysis of Dynamical Sequencing Count Data with a Gamma Markov Chain
与传统的静态测序实验相比,下一代测序(NGS)在生命系统中的时间变化越来越受到关注,因为它可以更好地了解潜在的生物学机制。然而,大多数现有的统计工具,用于分析NGS数据缺乏利用嵌入在时间数据中的更丰富的信息的能力。最近已经开发了几种工具来分析这些数据,但它们通常会施加严格的模型假设,例如基因表达动态变化的平滑性。为了捕获更广泛的基因表达动态模式,我们开发了伽马马尔可夫负二项(GMNB)模型,该模型将伽马马尔可夫链集成到负二项分布模型中,允许NGS计数数据的灵活时间变化。使用贝叶斯因子,GMNB能够在不同表型或治疗条件下进行更强大的时间基因差异表达分析。此外,它自然地处理不同样品中测序深度的异质性,消除了对ad-hoc标准化的需要。有效的吉布斯抽样的GMNB模型参数的推断是通过利用新的数据增强技术。在模拟和真实世界的RNA-seq数据上进行的大量实验表明,GMNB在差异表达分析结果的受试者操作特征(ROC)和精确度-召回率(PR)曲线方面都优于现有方法。
2018-03-07 q-bio.GN stat.AP stat.ML
Efficient Bayesian Inference of Sigmoidal Gaussian Cox Processes
Technische Universität Berlin(柏林工业大学)
提出了一种估计非齐次泊松过程强度的近似贝叶斯推断方法,其中强度函数通过S型连接函数使用高斯过程(GP)先验建模.使用潜在的标记泊松过程和Pólya-Gamma随机变量来增强模型,我们获得了与GP先验共轭的可能性的表示。我们估计后使用变分自由形式的平均场优化与稀疏GP的框架。此外,作为替代近似,我们提出了一个稀疏的拉普拉斯方法的后,一个有效的期望-最大化算法推导出找到后的模式。这两种算法比较以及对精确的推理得到的马尔可夫链蒙特卡罗采样器和标准的变分高斯方法解决相同的模型,而一个数量级更快。此外,我们的方法的性能和速度是有竞争力的另一个最近提出的泊松过程模型的基础上的二次链接函数,而不限于GP与平方指数内核和矩形域。
2019-05-03 cs.LG stat.ML
Hyperbolic Secant representation of the logistic function: Application to probabilistic Multiple Instance Learning for CT intracranial hemorrhage detection
University of Granada(格拉纳达大学);Research Centre for Information and Communication Technologies, University of Granada(格拉纳达大学信息与通信技术研究中心);Northwestern University(西北大学);Center for Computational Imaging and Signal Analytics in Medicine, Northwestern University(西北大学医学计算成像与信号分析中心)
本文提出一种基于Pólya-Gamma随机变量和双曲正割分布的通用VGPMIL方法,通过引入Gamma分布构建新模型,在医学CT颅内出血检测等任务中实现了更优的预测性能与效率。
2024-03-21 cs.LG stat.ML
Locally Adaptive Dynamic Networks
我们的重点是现实建模和预测个人之间的面对面接触的动态网络。导致当前方法问题的此类数据的重要方面包括接触在缓慢和快速变化的时期之间移动的趋势,以及参与者的连接行为的动态异质性。受此应用的启发,我们开发了一种新的局部自适应动态(LADY)网络推理方法。该模型依赖于一个动态的潜在空间表示,其中每个演员的位置通过随机微分方程随时间演变。使用这些随机过程的状态空间表示和Pólya-gamma数据增强,我们开发了一种有效的MCMC算法,用于后验推理以及在线更新和预测未来网络的易处理程序。我们在模拟研究中评估性能,并考虑在一所小学的个人之间的面对面的接触的应用。
2016-08-18 stat.AP stat.ML
spNNGP R package for Nearest Neighbor Gaussian Process models
本文描述并说明了spNNGP R包的功能。该软件包为空间索引的高斯和非高斯点参考结果提供了一套空间回归模型。该软件包实现了几个马尔可夫链蒙特卡罗(MCMC)和无MCMC的最近邻高斯过程(NNGP)模型,用于推断大型空间数据。使用NNGP Polya-Gamma潜在变量对非高斯结果进行建模。为了利用多处理器系统,提供了OpenMP并行化选项。包功能说明使用模拟和真实的数据集。
2021-04-15 stat.CO
Nonparametric Bayesian inference for Gamma-type Lévy subordinators
给定离散时间的观测值在一个不断增长的时间间隔,我们考虑一个非参数贝叶斯方法估计的Lévy过程属于一个灵活的类的无限活动从属的Lévy密度。后验推理是通过MCMC,我们绕过了棘手的可能性通过数据增强设备的问题,在我们的情况下,依赖于桥过程采样通过伽马过程桥。我们的方法还需要使用一个新的无限维形式的可逆跳MCMC算法。我们表明,我们的方法在具有挑战性的仿真示例中获得了良好的实际效果。在理论方面,我们建立了我们的非参数贝叶斯过程是一致的:在低频数据设置中,在时间观测和连续观测之间的间隔保持固定的情况下,后验渐近,作为样本量$n\rightarrow\infty$,集中在Lévy密度下,数据已经产生。最后,我们在一个经典的保险数据集上测试了我们的方法。
2019-01-30 math.ST stat.ME stat.TH
Nonparametric Bayesian Factor Analysis for Dynamic Count Matrices
提出了一种伽玛过程动态泊松因子分析模型,用于对动态计数矩阵进行因子分解,该矩阵的列是顺序观测的计数向量。该模型建立了一个新的马尔可夫链,发送潜在的伽马随机变量在时间$(t-1)$的形状参数的那些在时间$t$,这是链接到观察到的或潜在的计数下的泊松似然。推断伽马形状参数的重大挑战得到充分解决,使用独特的数据增强和边缘化技术的负二项分布。相同的非参数贝叶斯模型也适用于动态二进制矩阵的因式分解,通过Bernoulli-Poisson链接将二进制观测连接到潜在计数,具有潜在计数的封闭形式条件后验和稀疏观测的有效计算。我们将该模型应用于文本和音乐分析,并获得了最先进的结果。
2015-12-30 stat.AP stat.ME stat.ML
Augment-and-Conquer Negative Binomial Processes
通过开发负二项(NB)分布所特有的数据增强方法,我们在NB过程框架下将看似不相交的计数和混合模型统一起来。我们开发的模型的基本属性,并获得有效的吉布斯抽样推理。我们发现,γ-NB过程可以减少到层次Dirichlet过程与规范化,突出其独特的理论,结构和计算优势。各种NB进程与不同的共享机制的构建和应用主题建模,连接到现有的算法,推断NB分散和概率参数的重要性。
2013-02-15 stat.ME stat.ML
Bayesian Gamma-Negative Binomial Modeling of Single-Cell RNA Sequencing Data
背景:单细胞RNA测序(scRNA-seq)是一种功能强大的单细胞分析技术。scRNA-seq数据的适当分析可以表征分子异质性,并揭示潜在的细胞过程,以更好地了解发育和疾病机制。独特的分析挑战是对高度过度分散的scRNA-seq计数数据进行适当建模,其中普遍存在辍学(零计数),使零膨胀降维技术在scRNA-seq数据分析中流行。然而,采用零膨胀分布可能会额外强调零计数,从而在识别数据的潜在结构时导致潜在偏差。结果如下:在本文中,我们提出了scRNA-seq数据的完全生成分层伽马负二项(hGNB)模型,避免了明确建模零通货膨胀的需要。同时,hGNB可以自然地解释基因和细胞水平的协变量效应,以识别scRNA-seq数据的复杂潜在表征,而不需要通常采用的预处理步骤,如归一化。有效的贝叶斯模型推理是通过利用条件共轭通过新的数据增强技术。结论:模拟数据和几个真实scRNA-seq数据集的实验结果表明,hGNB是细胞簇发现和细胞谱系推断的有力工具。
2019-08-01 stat.AP
Fragmentation Coagulation Based Mixed Membership Stochastic Blockmodel
University of Alberta(阿尔伯塔大学);University of New South Wales(新南威尔士大学);University of Social Sciences, Poland(波兰社会科学大学)
混合隶属度随机块模型(MMSB)是一种适用于学习网络数据复杂隐藏结构的贝叶斯关系模型。然而,目前的MMSB模型存在两个问题:(1)先验信息(如实体的社区结构信息)不能很好地嵌入到模型中;(2)社区演化不能在文献中很好地描述。因此,我们提出了一个非参数的碎片凝聚的混合成员随机块模型(fcMMSB)。我们的模型执行基于实体的聚类来捕获实体的社区信息和基于链接的聚类来同时获得链接的组信息。此外,所提出的模型推断网络结构和模型的社区演变,表现为出现和消失的社区,使用离散破碎凝聚过程(DFCP)。通过整合社区结构与组相容性矩阵,我们得到了一个广义版本的MMSB。采用Polya Gamma(PG)方法实现了一种有效的吉布斯抽样方案用于后验推理。我们验证我们的模型合成和真实世界的数据。
2020-01-17 cs.LG cs.SI stat.ML
Fast Bayesian Estimation of Spatial Count Data Models
Imperial College London(帝国理工学院);Ecole Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
空间计数数据模型被用来解释和预测现象的频率,如交通事故在地理上不同的实体,如人口普查区或路段。这些模型通常使用贝叶斯马尔可夫链蒙特卡罗(MCMC)模拟方法来估计,然而,该方法在计算上昂贵并且不能很好地扩展到大数据集。变分贝叶斯(VB)是一种来自机器学习的方法,它通过将贝叶斯估计视为优化问题而不是模拟问题来解决MCMC的缺点。考虑到VB的这些优点,本文提出了一种用于参数异质性和空间依赖性的负二项模型后验推断的VB方法。Pólya-Gamma增广用于处理负二项似然的非共轭性,并采用变分分布的集成非因式分解规范来捕获后验依赖性。在蒙特卡罗研究和经验应用估计青年行人伤害计数在纽约市的人口普查区所提出的方法的好处。在模拟和实证研究中,VB方法比常规八核处理器上的MCMC快45到50倍,同时提供类似的估计和预测精度。有条件的计算资源的可用性,所提出的VB方法的并行架构可以被利用,以进一步加速其估计高达20倍。
2020-10-16 cs.LG stat.ME stat.ML
Bayesian Multinomial Logistic Regression for Numerous Categories
Brigham Young University(杨百翰大学);University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种伽马增强策略,用于改进贝叶斯多项逻辑回归在大量类别情况下的计算效率,通过解耦类别特定系数更新以提高可扩展性。
2026-02-26 stat.CO stat.ME
Bayesian Semiparametric Modeling of Response Mechanism for Nonignorable Missing Data
无应答的统计推断是相当具有挑战性的,特别是当应答机制不可解释时。在这种情况下,统计推断的有效性取决于响应模型的不可检验的正确规范。为了避免误指定,我们提出了半参数贝叶斯估计,其中结果模型是参数的,但响应模型是半参数的,因为我们不假设任何参数形式的非响应变量。我们采用惩罚样条方法来估计未知函数。我们还考虑了一个完全非参数的方法来建模的响应机制,使用径向基函数方法。使用Polya-Gamma数据增强,我们开发了一个有效的后验计算算法,通过吉布斯抽样,其中最完整的条件分布可以得到熟悉的形式。所提出的方法的性能证明在模拟研究和应用程序的纵向数据。
2021-01-14 stat.ME
Negative Binomial Process Count and Mixture Modeling
在负二项(NB)过程下,计数和混合建模的看似不相交的问题被统一起来。一个伽玛过程的泊松过程,其归一化提供了一个随机的概率测度的混合建模和其边缘化导致一个NB过程的计数建模的速率测量建模。从NB过程中提取的数据由泊松分布的有限数量的不同原子组成,每个原子与对数分布的数据样本数量相关联。我们揭示了各种计数和混合建模分布之间的关系,并构建了一个连接NB和中国餐厅餐桌分布的泊松对数二元分布。的模型的基本属性的开发,我们得到有效的贝叶斯推断。研究表明,通过增广和归一化,NB过程和γ-NB过程可分别化为Dirichlet过程和分层Dirichlet过程.这些关系突出了NB过程的理论、结构和计算优势。还构造了具有不同共享机制的各种NB过程,包括beta-几何、beta-NB、marked-beta-NB、marked-gamma-NB和零膨胀NB过程。这些模型被应用到主题建模,与现有的算法泊松因子分析下的连接。算例结果表明了同时推断NB色散和概率参数的重要性。
2013-10-13 stat.ME stat.ML
Image Data Augmentation for the TAIGA-IACT Experiment with Conditional Generative Adversarial Networks
Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);Skobeltsyn Institute of Nuclear Physics(斯科别尔琴核物理研究所);Research Institute of Applied Physics(应用物理研究所)
针对IACT实验中数据分布高度不平衡及真实数据标注困难的问题,提出使用条件生成对抗网络(cGANs)生成所需类型和能量的人工事件进行数据增强,从而生成适合训练其他神经网络的平衡数据集。
2025-03-06 astro-ph.HE astro-ph.IM cs.LG
Variational Bayesian Bow tie Neural Networks with Shrinkage
School of Mathematics and Maxwell Institute for Mathematical Sciences, University of Edinburgh(数学学院和麦克斯韦数学科学研究所,爱丁堡大学)
针对深度模型预测过度自信、易受攻击及现有贝叶斯推理依赖假设、对架构敏感等问题,提出带收缩的变分贝叶斯蝴蝶结神经网络,结合稀疏先验与Polya-Gamma数据增强推导快速推理算法,增强架构鲁棒性并兼顾可扩展性与多模态。
2025-06-17 cs.LG math.ST stat.ME
Improved Bayesian Logistic Supervised Topic Models with Data Augmentation
Tsinghua University(清华大学)
具有逻辑似然性的监督主题模型具有潜在地限制其实际用途:1)响应变量通常被文档字数过度加权;以及2)现有的变分推理方法进行严格的平均场假设。我们通过以下方式解决这些问题:1)基于贝叶斯推理的优化公式,引入正则化常数以更好地平衡这两个部分;以及2)通过引入辅助Polya-Gamma变量并折叠出Dirichlet变量来开发简单的Gibbs采样算法。我们的增广-塌陷抽样算法具有每个条件分布的解析形式,而不做任何限制性假设,并且可以很容易地并行化。实证结果表明,预测性能和时间效率显着改善。
2013-10-09 cs.CL cs.LG stat.AP
Bayesian Degree-Corrected Stochastic Blockmodels for Community Detection
网络中的社区发现在社会科学领域引起了广泛的关注。鉴于其重要性,已经有大量的文献从许多领域的方法。在这里,我们提出了一个统计框架,是有代表性的,可扩展的,并产生一个估计具有良好的性能。我们提出的方法认为,一个随机块模型的基础上,逻辑斯谛回归制定与节点校正项。我们遵循贝叶斯方法,通过事先规范明确捕获社区行为。我们进一步采用了一个数据增强策略与潜在的Polya-Gamma变量,以获得后验样本。我们进行推理的基础上的原则,规范映射的质心估计,正式解决标签不可识别性,并捕捉代表性的社区分配。我们证明了所提出的模型和估计在现实世界以及模拟的基准网络,并表明,所提出的模型和估计更灵活,代表性,并产生较小的错误率相比,MAP估计从经典的度校正随机块模型。
2014-12-17 cs.SI physics.soc-ph stat.ME
Convergence Analysis of the Data Augmentation Algorithm for Bayesian Linear Regression with Non-Gaussian Errors
在多元线性回归设置中,高斯误差有时是不合适的,例如,因为数据包含离群值。在这种情况下,通常假设误差密度是多元正态密度的尺度混合,其形式为$f(\varepsilon) = \int_0^\infty |Σ|^{-\frac{1}{2}} u^{\frac{d}{2}} \, ϕ_d \big( Σ^{-\frac{1}{2}} \sqrt{u} \, \varepsilon \big) \, h(u) \, du$,其中$d$是响应的维数,$ϕ_d(\cdot)$是标准$d$ -变量正态密度,$Σ$是未知的$d \times d$正定尺度矩阵,而$h(\cdot)$是某个固定的混合密度。将这种替代回归模型与未知参数的默认先验相结合会导致高度棘手的后验密度。幸运的是,有一个简单的数据增强(DA)算法和相应的Haar PX-DA算法可以用来探索这个后验。本文提供了条件($h$上)的几何遍历的马尔可夫链的马尔可夫链蒙特卡罗(MCMC)算法的基础。这些结果是非常重要的,从实用的角度来看,因为几何遍历性保证存在的中心极限定理,形成的基础上,所有的标准方法计算有效的渐近标准误差MCMC为基础的估计。主要结果是,如果$h$在原点以适当的速率收敛到0,而$\int_0^\infty u^{\frac{d}{2}} \, h(u) \, du < \infty$,则DA和Haar PX DA马氏链都…
2016-01-27 math.ST stat.TH
Spatially Dependent Indian Buffet Processes
Faculty of Economics, Keio University(庆应义塾大学经济学部);The Institute of Statistical Mathematics(统计数学研究所)
本文提出空间依赖的印度自助餐过程(sIBP),通过棍棒表示和潜在高斯过程引入空间相关性,保留IBP的稀疏性,并提供高效Gibbs采样器,应用于方言和树种分布数据。
2026-09-16 stat.ME
A generalized Bayesian approach to multiple changepoint analysis
Florida State University(佛罗里达州立大学);University of Iowa(爱荷华大学)
本文提出一种通用贝叶斯方法用于多变化点分析,通过受多项逻辑回归启发的损失函数,无需指定数据生成过程,避免对变化点性质的限制,同时推断变化点位置和多项逻辑回归系数,通过模拟和应用展示其准确性和可解释性。
2026-03-26 stat.ME
Bayesian Boundary Trend Filtering
本文针对边界趋势估计问题,提出结合截断多元正态近似与Pólya-Gamma数据增广的贝叶斯趋势滤波方法,引入马蹄先验实现局部自适应收缩,还扩展了近似保序约束版本,经实验验证性能良好。
2023-11-10 stat.ME
Bayesian ICA with super-Gaussian Source Priors
Department of Statistics, Virginia Tech(弗吉尼亚理工大学统计系);Department of Statistics, University of Wisconsin–Madison(威斯康星大学麦迪逊分校统计系);Booth School of Business, University of Chicago(芝加哥大学商学院)
针对独立成分分析任务,本文提出带波利亚-伽马尺度混合表示的马蹄型超高斯源先验的贝叶斯ICA方法,实现可扩展的点估计与全后验推断,给出理论保证且性能表现优异。
2025-11-14 cs.LG stat.ME
Multivariate mixed membership modeling: Inferring domain-specific risk profiles
在一个分类方案中,描述个体的共享成员身份会带来严重的可解释性问题,即使使用中等数量的类(比如4个)。混合隶属度模型量化了这一现象,但它们通常更关注拟合优度而不是可解释的推断。为了实现良好的数值拟合,这些模型实际上可能需要许多极端剖面,使得结果难以解释。我们引入了一类新的多元混合隶属度模型,当变量可以被划分为基于主题的域,可以提供一个很好的适合的数据使用更少的配置文件比标准配方。所提出的模型明确占块的变量对应的不同的域以及跨域的相关性结构,这提供了新的信息共享的成员资格的个人在一个复杂的分类方案。我们指定一个多元逻辑正态分布的成员向量,这使得很容易引入辅助信息,利用潜在的多元逻辑斯谛回归。贝叶斯推理方法依赖于Pólya伽马数据增强,通过马尔可夫链蒙特卡罗促进有效的后验计算。我们将这种方法应用于巴西亚马逊边境疟疾风险随时间变化的空间显式研究。
2020-12-31 stat.AP
Adaptive MCMC for Bayesian variable selection in generalised linear models and survival models
针对广义线性与生存模型的高维贝叶斯变量选择,提出扩展的PARNI方法直接高效采样边缘后验分布,结合自适应Laplace近似估计边缘似然,并改进调参策略,在模拟与8个基因数据集上显著优于基线方法。
2023-09-10 stat.CO stat.ME
Bayesian Modeling of the Stochastic Block Model for Weighted Network Data with Zero-Inflated Negative Binomial Distribution
Department of Mathematics, Hiroshima University(广岛大学数学系)
本文提出基于零膨胀负二项分布的贝叶斯块模型,以应对加权网络中的过分散数据,通过零膨胀自然处理缺失交互,并利用多项式伽玛数据增强实现高效后验计算,提升社区检测和链接预测性能。
2026-04-27 stat.ME
An Integrative Approach for Subtyping Mental Disorders Using Multimodal Data
Columbia University(哥伦比亚大学);AbbVie Inc.(艾伯维公司)
本文提出贝叶斯层次模型MINDS,整合临床、认知和神经影像多模态数据,在ABCD数据上识别出ADHD和OCD的临床可解释亚型,提升了亚型划分的稳定性与准确性。
2025-11-06 stat.ME
Bayesian changepoint detection via logistic regression and the topological analysis of image series
本文提出BCLR方法,将贝叶斯变点检测与逻辑回归结合,利用Pólya-gamma增广的Gibbs采样进行推断,并结合拓扑特征嵌入有效检测图像序列中的拓扑变化。
2025-03-07 stat.ME
Bayesian Covariance Structure Modeling of Multi-Way Nested Data
提出一种用于多向嵌套数据的贝叶斯多元协方差结构模型,通过平移-逆伽马先验保证正定性,结合Gibbs抽样与数据增强提升计算效率,并应用于分析不同支架治疗患者的不良事件差异。
2022-01-25 stat.ME