Low-rank Bayesian matrix completion via geodesic Hamiltonian Monte Carlo on Stiefel manifolds
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院);Department of Aerospace Engineering, University of Michigan(密歇根大学航空航天工程系)
本文提出基于 SVD 先验与 Stiefel 流形测地线 HMC 的低秩贝叶斯矩阵补全方法,支持一般似然并在蛋白质与 MovieLens 基准上提升采样和预测性能。
2024-10-27 cs.LG cs.NA math.NA
Bayesian Updating and Uncertainty Quantification using Sequential Tempered MCMC with the Rank-One Modified Metropolis Algorithm
贝叶斯方法是量化系统行为的关键。它们利用概率分布来捕捉我们对系统行为的不确定性,并在新信息可用时更新这种理解。然后,可以做出包含这种不确定性的概率预测,以评估系统性能并做出决策。虽然贝叶斯方法非常有用,但它们通常是计算密集型的。这需要开发更有效的算法。在这里,我们讨论了一组人口马尔可夫链蒙特卡罗(MCMC)方法的贝叶斯更新和系统可靠性评估,我们称之为顺序回火MCMC(ST-MCMC)算法。这些算法结合了1)回火的概念,通过一系列中间分布,2)重要性重新排序,以及3)MCMC,逐渐将样本群体从之前转换到之后。它们是序贯蒙特卡罗的一种形式,包括过渡马尔可夫链蒙特卡罗和子集模拟等算法。我们还介绍了一种新的采样算法,称为秩一修改的大都市算法(ROMMA),它建立在子集模拟中使用的修改的大都市算法,以提高性能在高维。最后,我们制定了一个单一的算法来解决组合贝叶斯更新和可靠性评估问题,使系统可靠性的后验评估。然后,通过对具有未知泄漏和需求的配水系统进行先验和后验可靠性评估来说明该算法。
2018-04-23 stat.CO
Non-Gaussian Discriminative Factor Models via the Max-Margin Rank-Likelihood
我们考虑一般非高斯数据的判别因子分析问题。提出了一种基于数据秩的贝叶斯模型。我们首先引入秩似然的新版本{ \em max-margin}。一个判别因素模型,然后开发,集成的最大利润率秩似然和(线性)贝叶斯支持向量机,这也是建立在最大利润率原则。判别因子模型进一步扩展到{ \em非线性}的情况下,通过混合的局部线性分类器,通过Dirichlet过程。完全局部共轭的模型产生有效的推理与马尔可夫链蒙特卡罗和变分贝叶斯方法。在基准数据和真实数据上的大量实验证明了该模型的优越性能及其在计算生物学中的应用潜力。
2015-05-19 stat.ML
Improving the Convergence Properties of the Data Augmentation Algorithm with an Application to Bayesian Mixture Modeling
驱动数据增强(DA)和三明治算法的可逆马尔可夫链定义了自伴算子,其谱编码算法的收敛特性。当目标分布有不可数的支持时,就像在实践中几乎总是这样,通常很难处理这些谱。我们证明了,如果增广空间是有限的,那么(在正则性条件下)由DA和三明治链定义的算子是紧的,并且谱是$[0,1)$的有限子集。证明了三明治算子的谱优于DA算子的谱,即三明治算子的序元素都小于或等于DA算子的序元素.作为一个具体的例子,我们研究了一个广泛使用的DA算法与贝叶斯混合模型相关的后验密度的探索[J.罗伊。中央集权主义者Soc.Ser.B56(1994)363 - 375]。特别是,我们比较了这种混合DA算法与Frühth-Schnatter [J. Amer. Statist. Assoc.96(2001)194 - 209],其基于随机标签交换。
2012-02-03 stat.CO stat.ME
Bayesian Rank-Based Hypothesis Testing for the Rank Sum Test, the Signed Rank Test, and Spearman's $ρ$
贝叶斯推断的秩序问题是挫败的情况下,一个明确的似然函数。这一障碍可以通过假设与数据中的序数信息一致的潜在正态表示来克服:观察到的等级被概念化为底层连续尺度的贫困反映,并且推断涉及管理潜在表示的参数。我们应用这种通用的数据增强方法来获得贝叶斯因子的三个流行的基于秩的测试:秩和检验,符号秩检验,和斯皮尔曼的$ρ_s$。
2019-05-17 stat.ME
Bayesian Analysis of Rank Data with Covariates and Heterogeneous Rankers
经常会遇到排名列表形式的数据,并且组合来自不同来源的排名结果可以潜在地生成更好的排名列表并帮助理解排名者的行为。这里感兴趣的是以下设置下的排名数据:(i)可用于排名实体的协变量信息;(ii)不同质量或具有不同意见的排名者;以及(iii)非重叠子组的不完整排名列表。我们回顾了过去几十年来研究人员围绕Thurstone模型家族构建的一些关键思想,并提供了一种统一的方法,用于协变量的贝叶斯秩数据分析(BARC)及其扩展,用于处理异质秩。在贝叶斯框架下,我们可以研究排名者的不同质量,聚类排名者的异质性意见,并测量相应的不确定性。为了使一个有效的贝叶斯推断,我们提倡一个参数扩展的吉布斯抽样从目标后验分布。后验样本还产生贝叶斯聚合排名列表,其中可信区间量化其不确定性。我们调查和比较所提出的方法和其他秩聚合方法在模拟研究和两个真实数据的例子中的性能。
2020-07-17 stat.ME
Scalable Bayesian nonparametric regression via a Plackett-Luce model for conditional ranks
我们提出了一种新的贝叶斯非参数回归模型的协变量X和连续的,真正的响应变量Y。该模型根据Y和X的边缘分布以及调整条件分布F(y)的随机排序的回归函数进行参数化|x)。通过采用近似的复合似然方法,我们表明,由此产生的后验推理可以解耦的模型的单独组件。该过程可以扩展到非常大的数据集,并允许使用来自贝叶斯非参数密度估计和Plackett-Luce排名估计的标准现有软件。作为一个例子,我们展示了我们的方法在美国人口普查数据集上的应用,该数据集有超过130万个数据点和100多个协变量。
2015-06-24 stat.ME
Statistical Inference for Bayesian Risk Minimization via Exponentially Tilted Empirical Likelihood
著名的Bernstein von-Mises定理确保了当模型被正确指定时,贝叶斯后验的可信区域被很好地校准,在频率论意义上,随着数据的积累,它们的覆盖概率趋于标称值。然而,众所周知,当模型被错误指定或仅部分指定时,这种传统的贝叶斯框架缺乏鲁棒性,例如在分位数回归、基于风险最小化的监督/无监督学习和稳健估计中。为了克服这个困难,我们提出了一个新的贝叶斯推理方法,取代(错误指定或部分指定)的似然与适当的指数倾斜的经验似然加上正则化项。我们的代理经验似然精心构造使用的一阶最优性条件的经验风险最小化的矩条件。我们表明,贝叶斯后验组合这种替代经验似然和先验是渐近接近的正态分布集中在经验风险最小化的协方差阵采取适当的三明治形式。因此,所得到的贝叶斯可信区域被自动校准,以提供有效的不确定性量化。在计算上,所提出的方法可以很容易地实现马尔可夫链蒙特卡罗采样算法。我们的数值结果表明,所提出的方法往往比现有的国家的最先进的竞争对手更准确。
2021-09-16 stat.ME
Bayesian factorizations of big sparse tensors
收集以多路数组(张量)结构化的数据已成为常规。关于低秩和稀疏矩阵分解有大量的文献,但对统计学中张量情况的扩展的考虑有限。最常见的低秩张量因式分解依赖于并行因子分析(PARAFAC),其将秩$k$张量表示为秩1张量的和。当观测值只对一个大张量的一小部分细胞可用时,低秩假设是不够的,PARAFAC的性能很差。我们诱导一个额外的层的降维,允许有效的排名不同的维度表。为了具体起见,我们重点介绍列联表应用程序。以贝叶斯方法,我们把先验的因式分解的条款,并开发一个有效的吉布斯采样后验计算。理论提供显示后浓度率在高维设置,和方法被证明具有良好的性能,在模拟和几个真实的数据应用。
2013-06-07 stat.ME
A simple consistent Bayes factor for testing the Kendall rank correlation coefficient
在本文中,我们提出了一个简单和易于实现的贝叶斯假设检验的存在的关联,描述了肯德尔的τ系数,在至少一个有序尺度上测量的两个变量之间。由于数据的似然函数的缺失,我们采用检验统计量的渐近抽样分布作为工作似然,然后在备择假设的非中心性参数上指定一个截尾正态先验分布,从而得到了以标准正态分布的累积分布函数表示的封闭形式的Bayes因子.研究贝叶斯因子的渐近行为,我们发现先验的条件,使得它与假设为真的条件一致。仿真研究和实际数据的应用程序被用来说明所提出的贝叶斯因子的有效性。值得一提的是,所提出的方法可以很容易地涵盖在本科和研究生课程的非参数统计与学生的贝叶斯思想的数据分析的重点。
2022-09-08 stat.ME
Bayesian genome-wide clustering and variable selection of transcriptomic data via rank-based mixtures
Oslo Centre for Biostatistics and Epidemiology, Department of Biostatistics, University of Oslo(奥斯陆大学生物统计与流行病学中心);Department of Mathematics, University of Oslo(奥斯陆大学数学系);Department of Economics and Statistics, University of Naples Federico II and CSEF(那不勒斯费德里科二世大学经济与统计系及CSEF);The Norwegian Centre for Knowledge-driven Machine Learning, Integreat(挪威知识驱动机器学习中心);Department of Cancer Genetics, Oslo University Hospital(奥斯陆大学医院癌症遗传学系)
提出首个基于秩的模型 lowBM3,扩展贝叶斯 Mallows 模型以联合处理超高维数据中的聚类和变量选择,提供可扩展的贝叶斯框架,并在癌症基因组学应用中展示其有效性。
2026-06-04 stat.ME
Rank-based Bayesian clustering via covariate-informed Mallows mixtures
本文提出带协变量的贝叶斯 Mallows 模型 (BMMx),通过结合评估者特征进行排名数据聚类,利用 PPMx 相似性函数提升聚类效果,模拟与真实数据验证了其在理解偏好行为方面的潜力。
2024-02-16 stat.ME
A Low-Rank Bayesian Approach for Geoadditive Modeling
本文提出一种新的贝叶斯低秩地理加性模型方法,整合样条与克里金法以处理空间相关性和协变量非线性依赖,利用Laplace近似提升计算效率,为空间数据分析提供了灵活高效的框架。
2024-07-08 stat.ME
Rank-based Bayesian variable selection for genome-wide transcriptomic analyses
变量选择在基于高维组学的分析中至关重要,因为假设只有一个非噪声特征的子集对数据结构有贡献在生物学上是合理的。然而,任务是特别困难的,在一个无监督的设置,和先验的特设变量选择仍然是一个非常频繁的方法,尽管有明显的缺点和缺乏可重复性。我们提出了一个贝叶斯变量选择方法,基于排名的无监督转录组分析。与经典统计方法相比,使用数据排名而不是实际的连续测量增加了结论的鲁棒性,并且将变量选择嵌入到推理任务中可以实现完全的再现性。具体来说,我们开发了一种新的扩展的贝叶斯马洛斯模型的变量选择,允许一个完整的概率分析,导致一致的量化的不确定性。仿真研究表明,所提出的方法在各种情况下的通用性和鲁棒性,以及它的优越性相对于几个竞争对手时,不同的数据维度或数据生成过程。我们使用这种新方法来分析来自卵巢癌患者的全基因组RNAseq基因表达数据:以完全无监督的方式正确检测到影响癌症发展的几个基因,显示了该方法在癌症基因组学特征发现方面的有用性。此外,进行不确定性量化的可能性在随后的生物学研究中起着关键作用。
2022-03-20 stat.ME
Efficient Bayesian Inference in the Cox Model via Rank-Ordered Likelihood
Tokyo University of Science(东京科学大学);Tokyo Medical University(东京医科大学);Keio University(庆应义塾大学)
本文提出两种基于秩有序数据表示的Gibbs采样算法,用于Cox模型的贝叶斯推断,具有无需后验样本修正、自然处理 tied 事件时间及易扩展至共享 frailty 模型的优势。
2026-04-28 stat.ME
Bayesian ranking and selection with applications to field studies, economic mobility, and forecasting
决策通常涉及排名和选择。例如,为了组建一个政治预测团队,我们可以先将选择范围缩小到我们有信心在预测能力上排在前10%的候选人。不幸的是,我们不知道每个候选人的真实能力,但观察到一个嘈杂的估计。本文开发了新的贝叶斯算法排名和选择候选人的基础上嘈杂的估计。使用基于经验数据的模拟,我们表明,我们的算法往往优于频率论的排名和选择算法。我们的贝叶斯排名算法产生较短的排名置信区间,同时保持近似正确的覆盖率。我们的贝叶斯选择算法选择更多的候选人,同时保持正确的错误率。我们将我们的排名和选择程序应用于实地实验,经济流动性,预测和类似的问题。最后,我们在一个用户友好的Python包中实现了我们的排名和选择技术,该包的文档如下:https://dsbowen-conditional-inference.readthedocs.io/en/latest/。
2022-08-03 econ.EM stat.ME
Non-Parametric Bayesian Inference for Partial Orders with Ties from Rank Data observed with Mallows Noise
Department of Statistics, University of Oxford(牛津大学统计系)
本文提出了一种基于马洛斯噪声观测的非参数贝叶斯方法,用于处理带有并列的偏序数据,通过聚类并列元素来建模社会等级结构。
2024-08-26 stat.ME
Empirical Bayes data integreation for multi-response regression
Purdue University(普渡大学)
本文提出了一种经验贝叶斯方法,用于整合多响应回归数据,通过线性收缩估计器提升计算效率并适应不同数据设置。
2026-02-14 stat.ME
Revealing subgroup structure in ranked data using a Bayesian WAND
排名数据出现在许多应用领域,从癌症上调基因的排名到学术统计期刊的排名。当排名者没有报告所有实体的完整排名时,可能会出现并发症;例如,他们可能在看到一些或所有实体后才报告排名最高的$M$实体。了解排名是否同样提供信息,以及某些实体是否被有效地判断为可交换,也是有用的。当数据中存在重要的子组结构时,汇总(总体)排名等摘要可能会产生误导。本文提出了一个灵活的贝叶斯非参数模型,用于识别排序数据中的异质结构和排序器可靠性。该模型是一个加权自适应嵌套Dirichlet(WAND)过程混合Plackett-Luce模型和推理收益通过一个简单而有效的吉布斯抽样计划后验抽样。后验分布中丰富的信息使我们能够推断出排名组之间和实体组之间(排名组内)结构的许多细节,这与许多其他(贝叶斯)分析相反。我们还研究了如何使用后验预测检查来识别模型拟合的缺乏。使用几个模拟研究和实际数据的例子说明了该方法。
2018-10-25 stat.AP stat.ME
Local False Sign Rate and the Role of Prior Covariance Rank in Multivariate Empirical Bayes Multiple Testing
本文研究了多元经验贝叶斯多重检验中先验协方差矩阵秩对局部错误符号率的影响,提出使用满秩协方差矩阵的调整方法以缓解低秩导致的错误符号率膨胀,从而提升高维环境下的稳健性。
2025-04-01 stat.AP stat.ME
Targeted Parameter Estimation for Robust Empirical Bayes Ranking
Department of Biostatistics, University of Michigan(密歇根大学生物统计学系)
本文提出了一种新颖的经验贝叶斯排名方法,通过估计协变量调整聚类均值的百分位数来改进排名的稳健性,并通过模拟研究验证了其在排名误差方面的优越性。
2025-11-20 stat.AP stat.ME
Bayesian Rank-Clustering
Reed College(里德学院);University of Washington(华盛顿大学)
针对序数比较数据中排名不确定性问题,提出贝叶斯秩聚类模型,通过尖峰-平板先验实现参数融合,允许对象组共享排名,并在调查、选举和体育数据中验证。
2024-08-23 stat.AP stat.ME
Bayesian Partial Reduced-Rank Regression
本文提出贝叶斯部分降秩回归方法,将响应和系数矩阵分为低秩与全秩子组,并视组结构和秩为未知参数进行推断,以揭示数据中的隐藏结构。
2024-06-25 stat.CO stat.ME
Bayesian nonparametric models for ranked data
INRIA(法国国家信息与自动化研究所)
我们开发了一个贝叶斯非参数扩展流行的Plackett-Luce选择模型,可以处理无限数量的选择项目。我们的框架是基于随机原子措施的理论,事先指定的伽马过程。我们推导出一个后验特征和一个简单有效的吉布斯采样后验模拟。我们开发了一个随时间变化的扩展我们的模型,并将其应用到纽约时报的每周畅销书名单。
2012-11-19 cs.LG stat.ME stat.ML
Bayesian Plackett--Luce latent block models for ranked data
University College Dublin(都柏林大学学院);Rinn Artificial Intelligence(Rinn人工智能);University of Oslo(奥斯陆大学)
该研究提出了一种联合划分评估者与项目的贝叶斯Plackett-Luce潜在块模型,通过模拟验证其不确定性表征能力,将其应用于TCGA泛癌基因排序,揭示组织驱动的样本结构并支持生物学解释。
2026-07-30 stat.AP stat.CO stat.ME
Optimal quasi-Bayesian reduced rank regression with incomplete response
降秩回归的目的是将多个响应变量与多个预测变量联系起来。该模型非常受欢迎,特别是在生物统计学中,可以重复使用对个体的多个测量来预测多个输出。不幸的是,在这样的数据集中经常存在缺失数据,使得难以使用标准估计工具。本文研究了响应矩阵不完备的降秩回归问题。我们提出了一个准贝叶斯方法来解决这个问题,在这个意义上的可能性被取代的准可能性。我们给出了一个紧的预言不等式,证明了我们的方法是自适应的系数矩阵的秩。我们描述了一个朗之万蒙特卡罗算法的后验均值的计算。对合成数据和真实数据的数值比较表明,我们的方法是有竞争力的国家的最先进的,其中的排名是通过交叉验证,有时会导致改进。
2022-06-17 math.ST stat.CO stat.ME
LR-GLM: High-Dimensional Bayesian Inference Using Low-Rank Data Approximations
Massachusetts Institute of Technology(麻省理工学院)
由于现代数据收集的便利性,应用统计学家通常可以获得大量的协变量,他们希望将这些协变量与一些观察到的结果联系起来。广义线性模型(GLM)为这种分析提供了一个特别可解释的框架。在这些高维问题中,协变量的数量通常相对于观测值的数量很大,因此我们面临着非平凡的推理不确定性;贝叶斯方法允许对这种不确定性进行一致量化。不幸的是,现有的GLM中的贝叶斯推断方法需要运行时间在参数维度上大致为三次方,因此仅限于具有至多数万个参数的设置。我们建议减少时间和内存成本与低秩近似的数据的方法,我们称之为LR-GLM。当使用拉普拉斯近似或马尔可夫链蒙特卡罗,LR-GLM提供了一个完整的贝叶斯后验近似,并承认运行时间减少了一个完整的参数维度的因素。我们严格建立我们的近似质量,并显示如何选择秩允许可调的计算统计权衡。实验结果支持了我们的理论,并证明了LR-GLM在实际大规模数据集上的有效性。
2019-05-17 cs.LG stat.CO stat.ME
Semiparametric Functional Factor Models with Bayesian Rank Selection
函数数据通常伴随着描述函数的典型形状的参数化模板。然而,这些参数化模板可能会产生显著的偏差,这会破坏实用性和可解释性。为了纠正模型的误指定,我们增加了一个无限维的非参数函数的基础上的参数模板。非参数基函数从数据中学习,并被约束为与参数模板正交,这保持了参数项和非参数项之间的区别。这种区别是必不可少的,以防止功能混淆,否则会导致严重的偏见的参数项。的非参数因子正则化与一个有序的尖峰和平板之前,提供一致的秩选择,并满足几个有吸引力的理论性质。所提出的方法的多功能性说明通过应用程序的合成数据,人体运动控制数据,和动态收益率曲线数据。相对于参数和半参数的替代品,建议的半参数功能因子模型消除了偏见,减少过多的后验和预测的不确定性,并提供可靠的推断非参数项的有效数量-所有与最小的额外计算成本。
2022-05-16 econ.EM stat.CO stat.ME
Model Selection and Adaptive Markov chain Monte Carlo for Bayesian Cointegrated VAR model
提出了一种基于矩阵变量自适应马尔可夫链蒙特卡罗(MCMC)的贝叶斯协整向量自回归(CVAR)方法。我们取代流行的方法来采样贝叶斯CVAR模型,涉及griddy吉布斯,与自动化的有效的替代方案,基于自适应大都会算法的罗伯茨和罗森塔尔,(2009年)。开发贝叶斯CVAR模型的自适应MCMC框架允许有效估计后验参数显着高维CVAR系列比以前可能与现有的网格吉布斯采样器。对于n维CVAR序列,矩阵变量后验在维度$3n^2 + n$中,矩阵随机变量块之间存在显著相关性。我们还把CVAR模型的秩作为一个随机变量,并进行联合推断的秩和模型参数。这是通过在秩和CVAR模型参数上定义的贝叶斯后验分布来实现的,并且通过秩的贝叶斯因子分析进行推断。实际上,自适应采样器还有助于算法交易系统的自动贝叶斯协整模型的开发,该系统考虑由几种资产组成的工具,例如货币篮子。以前的文献的金融应用的CVAR交易模型通常只考虑配对交易(n=2)由于计算成本的网格吉布斯。我们能够在我们的自适应框架下扩展到$n >> 2$,并演示了一个n = 10的例子,导致后验分布的参数高达310维。通过将排名视为随机量,我们可以确保我们的交易模型能够在连贯的统计框架中适应可能随时间变化的市场条件。
2010-04-22 q-fin.CP q-fin.PM q-fin.ST