Model-based clustering for covariance matrices via penalized Wishart mixture models
本文提出稀疏Wishart混合模型，通过对分量尺度矩阵施加协方差图lasso惩罚实现高维协方差矩阵聚类，并在神经影像数据上验证了其有效性。
2024-08-30 stat.ME
Bayesian inference for a covariance matrix
协方差阵估计出现在多元问题中，包括多元正态抽样模型和回归模型，其中随机效应被联合建模，例如随机截距，随机斜率模型。这些问题的贝叶斯分析需要协方差阵的先验知识。在这里，我们评估，通过模拟研究和一个真实的数据集，这种先验选择的影响后推断的协方差阵。逆Wishart分布是协方差阵先验的自然选择，因为它在正态模型上的共轭性和简单性，通常在贝叶斯统计软件中可用。然而，从建模的角度来看，逆Wishart分布呈现出一些不期望的特性。它可能过于严格，因为假设每个方差参数的先验信息量相同，更重要的是，它显示了方差和相关性之间的先验关系。已经提出了一些替代分布。比例逆Wishart分布，它提供了更多的灵活性的方差先验保持共轭性质，但不消除方差和相关性之间的先验关系。其次，可以为个体相关性和标准差拟合单独的先验。该策略消除了协方差阵参数内的任何先验关系，但它不是共轭的，因此计算缓慢。
2016-07-08 stat.ME
BCMA-ES: A Bayesian approach to CMA-ES
LAMSADE（LAMSADE实验室）；A.I Square Connect（人工智能广场连接）；Paris Dauphine（巴黎第九大学）；LISIC（LISIC实验室）；ULCO-LISIC（ULCO-LISIC实验室）
针对著名的CMA-ES算法，提出了一种新的理论上合理的方法。假设最小值的多变量正态分布的参数遵循共轭先验分布，我们推导出它们在每个迭代步骤的最优更新。不仅提供了这个贝叶斯框架的更新的CMA-ES算法的理由，但它也给出了两个新版本的CMA-ES无论是假设正常Wishart或正常逆Wishart先验，这取决于我们是否参数化的可能性，其协方差或精度矩阵。我们支持我们的理论研究结果的数值实验表明，这些修改后的版本的CMA-ES的快速收敛。
2019-04-02 cs.LG stat.ML
Student-t Processes as Alternatives to Gaussian Processes
University of Cambridge（剑桥大学）
我们调查学生t过程作为替代的高斯过程作为一个非参数先验函数。通过在高斯过程模型的协方差核上先积分一个逆Wishart过程，得到了Student-t过程的边缘似然和预测分布的封闭形式表达式.我们发现令人惊讶的等效性不同层次的高斯过程模型导致学生t过程，并推导出一个新的采样方案的逆Wishart过程，这有助于阐明这些等效性。总体而言，我们表明，学生t过程可以保留高斯过程的吸引人的属性-非参数表示，分析的边缘和预测分布，并通过协方差内核容易模型选择-但具有增强的灵活性，预测协方差，不像高斯过程，明确地依赖于训练观测值。我们经验验证，学生t过程是特别有用的情况下，有变化的协方差结构，或在应用程序，如贝叶斯优化，准确的预测协方差是至关重要的良好的性能。这些优点与高斯过程相比没有额外的计算成本。
2014-02-19 cs.AI cs.LG stat.ME
Exact formulas for the normalizing constants of Wishart distributions for graphical models
在过去的四十年里，高斯图模型受到了统计和机器学习界的广泛关注。在该模型的贝叶斯处理中，G-Wishart分布用作满足图形约束的逆协方差阵的共轭先验。虽然它是直接的，以简化的非归一化密度，这些分布的归一化常数已被称为只有弦，或可分解的图形。到目前为止，人们还不知道一般图的归一化常数是否可以显式表示，并且出现了大量的计算文献，试图避免这种明显的棘手问题。我们关闭这个问题，提供了一个明确的表示一般图的G-Wishart归一化常数。
2016-06-22 math.ST stat.TH
Bayesian Hierarchical Modeling on Covariance Valued Data
分析人脑的结构和功能连通性（FC）对于认知能力的诊断具有重要意义。人类连接组计划（HCP）提供了一个很好的神经数据源，这些数据跨越了活体人脑的不同感兴趣区域（ROI）。从现有分析中可获得个体特定数据（Dai等人，2017）以表示当受试者执行特定任务时的大脑活动的时变协方差阵的形式。作为研究人群中脑连接组学异质性的初步目标，我们使用缩放Wishart分布为协方差阵的样本开发了一个概率模型。我们在这里强调，我们的数据单元是以协方差阵的形式提供的，我们使用Wishart分布来创建我们的似然函数，而不是将其更常见的用法作为协方差阵的先验。基于经验探索表明数据矩阵具有低有效秩，我们进一步使用正交因子模型类型分解对Wishart分布的中心进行建模。我们鼓励收缩对一个低秩结构，通过一个新的收缩前，并讨论策略，从后验分布使用吉布斯和切片采样的组合。我们将我们的建模框架扩展到动态设置来检测变化点。该方法的有效性进行了探讨，在各种模拟设置，并举例说明了几个案例研究，包括我们的激励HCP数据。我们将我们的建模框架扩展到动态设置来检测变化点。
2020-07-09 stat.AP
Enriched standard conjugate priors and the right invariant prior for Wishart distributions
多元正态分布的方差-协方差阵的预测在多元分析中是一个重要的问题.我们研究了Kullback-Leibler散度下Wishart分布的贝叶斯预测分布。Wishart分布族的条件约简使我们能够分解贝叶斯预测分布的风险。我们考虑了最近引入的一类先验分布，这是所谓的家庭丰富的标准共轭先验分布，并比较了贝叶斯预测分布的基础上，这些先验分布。进一步研究了基于族中参考先验分布的贝叶斯预测分布的性能，证明了族中存在一个先验分布优于参考先验分布.我们的研究提供了新的见解多元分析时，存在一个有序的推理重要性的自变量。
2022-09-23 math.ST stat.TH
Adaptive multi-resolution Gaussian processes: Scalable exact inference with naturally data-sparse covariance matrices
Institute of Applied Physics and Computational Mathematics（北京应用物理与计算数学研究所）
提出自适应多分辨率高斯过程框架，利用自然数据稀疏协方差矩阵实现精确推断，训练成本O(n log²n)，预测成本O(log^d n)，兼顾可扩展性与模型保真度。
2026-09-28 cs.AI cs.LG stat.ML
Efficient Bayesian hierarchical functional data analysis with basis function approximations using Gaussian-Wishart processes
Functional data are defined as realizations of random functions (mostly smooth functions) varying over a continuum, which are usually collected with measurement errors on discretized grids. In order to accurately smooth noisy functional observations and deal with the issue of high-dimensional observation grids, we propose a novel Bayesian method based on the Bayesian hierarchical model with a Gaussian-Wishart process prior and basis function representations. We first derive an induced model for the basis-function coefficients of the functional data, and then use this model to conduct posterior…
2016-12-12 stat.ME
Testing in high-dimensional spiked models
我们考虑由James（1964）确定的五类多元统计问题，它们一起涵盖了许多经典的多元分析，加上一个更简单的极限情况，对称矩阵去噪。James的每个问题都涉及到$E^{-1}H$的特征值，其中$H$和$E$与高维Wishart矩阵成比例。在原假设下，两个Wisharts都是具有同一协方差的中心。在另一种情况下，$H$的非中心性或协方差参数具有独立的单个特征值，即尖峰。当尖峰信号小于特定情况下的相变阈值时，没有一个样本本征值与体相分离，这使得测试问题具有挑战性。使用一个统一的策略的六种情况下，我们表明，由次临界尖峰值参数化的对数似然比过程收敛到高斯过程的对数相关。然后，我们推导出渐近功率包络测试的存在一个尖峰。
2018-02-03 math.ST stat.TH
Posterior Graph Selection and Estimation Consistency for High-dimensional Bayesian DAG Models
高维多元数据的协方差估计与选择是现代统计学中的一个基本问题。高斯有向无环图（DAG）模型是用于此目的的一类流行的模型。高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，稀疏性模式又对应于对基础变量的特定条件独立性假设。近年来，各种先验已经开发了贝叶斯推断在DAG模型，但这些模型的关键收敛性和稀疏性选择属性还没有得到彻底的研究。这些先验知识中的大多数是Wishart分布在DAG上下文中的适应或概括。在本文中，我们考虑了灵活的和一般的类，这些“DAG Wishart”先验与多个形状参数。在弱正则性假设下，当变量p随样本量样本量n以适当的次指数速率增长时，我们建立了强图选择一致性和后验收敛率.
2017-10-11 math.ST stat.ME stat.TH
Scalable Multi-Output Gaussian Processes with Stochastic Variational Inference
Department of Computer Science（计算机科学系）；University of Manchester（曼彻斯特大学）；Faculty of Biology, Medicine and Health（生物医学与健康学院）
针对潜变量多输出高斯过程（LV-MOGP）计算复杂度随输出数线性增长的问题，提出支持输入输出小批量训练的随机变分推理方法，实现训练迭代复杂度与输出数无关的可扩展MOGP建模。
2025-06-05 cs.LG stat.ML
Robust Inference of Dynamic Covariance Using Wishart Processes and Sequential Monte Carlo
本文针对Wishart过程推断困难的问题，提出序贯蒙特卡洛采样器，通过模拟和临床抑郁症数据证明其在动态协方差估计与样本外预测上比MCMC和变分推断更鲁棒。
2024-06-07 stat.ME stat.ML
A normal-inverse-Wishart (NIW) Bayesian synthesizer for multivariate normal data with application to polygenic risk scores
Aalborg University（奥尔堡大学）；Aalborg University Hospital（奥尔堡大学医院）
本文提出基于正态-逆Wishart先验的多元正态数据贝叶斯合成器，揭示合成数据泄露风险与原始数据集规模、特征维度及合成信息量的关系，并将其应用于多基因风险评分数据集生成。
2026-09-03 math.PR stat.ME
Bayesian inference for Gaussian graphical models beyond decomposable graphs
图模型的贝叶斯推断近年来受到了广泛的关注。众所周知，当图G是可分解的时，贝叶斯推断比在一般的不可分解设置中明显更易处理。另一方面，惩罚似然推理在过去几年中在可扩展性和易处理性方面取得了巨大的进步。然而，贝叶斯推断并没有取得同样的成功，尽管可扩展的贝叶斯方法有其各自的优势，特别是在量化不确定性方面。为了解决这个问题，我们提出了一个可扩展的和灵活的新贝叶斯方法估计和模型选择高斯无向图模型。首先，我们开发了一类广义G-Wishart分布的多个形状参数的任意底层图。这个类包含G-Wishart分布作为特例。然后，我们引入了广义Bartlett（GB）图的类，并推导出一个有效的吉布斯抽样算法，以获得后验绘制从广义G-Wishart分布对应的GB图。广义Bartlett图类包含可分解图类作为特殊情况，但比可分解图类大得多。我们继续推导出所提出的吉布斯采样器的理论性质。然后，我们证明，建议的吉布斯采样器是可扩展的显着高维问题相比，使用一个接受拒绝或大都市-黑斯廷斯算法。最后，我们展示了所提出的方法对模拟和真实数据的有效性。
2015-05-04 stat.ME
A permutation-based Bayesian approach for inverse covariance estimation
多维数据集的协方差估计与选择是现代统计学中的一个基本问题。高斯图形模型是用于此目的的一类流行的模型。目前高斯图形模型下逆协方差阵估计的贝叶斯方法需要底层图形，因此变量的排序是已知的。然而，在实践中，关于真正的基本模型的这种信息往往是不可用的。因此，我们提出了一种新的基于置换的贝叶斯方法来解决未知变量排序问题。特别是，我们对每个排列利用DAG-Wishart先验下的多个最大后验估计，然后构造逆协方差阵的最终估计。该估计量具有较小的变异性并具有阶不变性质。我们建立后验收敛率在温和的假设下，并通过仿真研究表明，我们的方法优于现有的方法在估计逆协方差阵。
2019-02-26 stat.ME
The Inverse G-Wishart Distribution and Variational Message Passing
University of Technology Sydney（悉尼科技大学）
因子图上的消息传递是任意图形化大型模型的近似推理算法编码的一个强大范例。因子图片段的概念允许代数和计算机代码的划分。我们发现，逆G-Wishart家庭的分布，使基本的变分信息传递因子图片段，以优雅和简洁地表示。这样的片段出现在模型中，其中对该模型进行关于协方差阵或方差参数的近似推断，并且在当代统计学和机器学习中普遍存在。
2020-12-11 cs.LG stat.ML
Post-Processed Posteriors for Sparse Covariances and Its Application to Global Minimum Variance Portfolio
我们考虑稀疏协方差阵的贝叶斯推断，并提出了一个后处理后验。该方法包括两个步骤。在第一步中，后验样本是从共轭逆Wishart后验得到的，不考虑稀疏结构假设。在第二步中，通过硬阈值函数对后验样本进行变换以满足稀疏结构假设。这种非传统的贝叶斯过程是合理的，表明后处理后的后验达到最佳的极大极小率。我们还研究了后处理后的应用程序的全局极小值方差组合的估计。我们证明了在稀疏协方差假设下，全局极小值投资组合的后处理后验概率也达到了最优极大极小化率。通过模拟研究和标准普尔400指数的实际数据分析，证明了后处理后验方法在全局极小值方差投资组合中的优越性。
2021-08-21 math.ST stat.ME stat.TH
Towards One Model for Classical Dimensionality Reduction: A Probabilistic Perspective on UMAP and t-SNE
University of Cambridge（剑桥大学）
本文从概率视角将 UMAP 与 t-SNE 近似统一为 Ravuri 等模型下的 MAP 推断，并通过核与 GPLVM 建立理论联系。
2025-05-10 cs.AI cs.LG stat.ML
Post-Processed Posteriors for Banded Covariances
我们考虑带状协方差阵的贝叶斯推断，并提出了一个后处理后验。后处理包括两个步骤。在第一步中，后验样本从共轭逆Wishart后验不满足任何结构限制。在第二步中，通过后处理函数对后验样本进行变换以满足结构约束。后处理后的概念简单的过程，使其计算效率，并可以提供协方差阵的泛函的区间估计。我们表明，它有近最佳的极大极小率带状协方差之间的所有可能的先验和后处理功能。此外，我们证明了预期的覆盖概率的$(1-α)100\%$后处理后的后验最高后验密度区域是渐近$1-α$相对于一个传统的后验分布。这意味着后处理后验的最高后验密度区域平均而言是常规后验的可信集合。仿真研究和实际数据分析表明后处理后的优势。
2020-11-25 math.ST stat.TH
Modeling uncertainty in the covariance matrix for probabilistic forecast reconciliation
University of Pavia（帕维亚大学）；SUPSI, Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)（瑞士应用科学与艺术大学，达莱·莫勒人工智能研究所）
本文提出一种贝叶斯协调模型，通过逆 Wishart 先验和高斯残差假设，使协调后的预测分布服从多元 t 分布，从而改进预测区间。
2026-09-04 stat.CO stat.ME
Flexible Bayesian Dynamic Modeling of Correlation and Covariance Matrices
由于正定性约束和潜在的高维性，建模相关（和协方差）矩阵可能具有挑战性。我们的方法是将协方差阵分解为相关矩阵和方差矩阵，并提出了一种新的贝叶斯框架的基础上建模的相关性作为产品的单位向量。通过指定一个广泛的分布范围内的球（例如平方Dirichlet分布），所提出的方法诱导灵活的先验分布的协方差阵（超越常用的逆Wishart先验）。为了模拟具有复杂依赖结构的真实时空过程，我们将我们的方法扩展到动态情况，并引入单位向量高斯过程先验，以捕获多变量时间序列的分量之间的相关性的演变。为了处理由此产生的后验的棘手性，我们引入了自适应$Δ$ -球面哈密顿蒙特卡罗。我们证明了我们提出的框架的有效性和灵活性，在模拟研究的周期性过程和分析大鼠的局部场电位活动在一个复杂的序列记忆任务。
2019-01-16 stat.ME
Bayesian Low Rank and Sparse Covariance Matrix Decomposition
本文研究了一类特殊结构的高维协方差阵的估计问题，该结构是低秩稀疏矩阵的和。该协方差结构具有广泛的应用，包括因子分析和随机效应模型。我们提出了一种估计协方差阵的贝叶斯方法，通过将协方差模型表示为潜在因子个数未知的因子模型的形式。我们引入二元指标的因素选择和秩估计的低秩分量结合贝叶斯套索方法的稀疏分量估计。仿真结果表明，该方法可以恢复的秩以及稀疏的两个组件分别。我们进一步将我们的方法扩展到图形因子模型，其中残差的图形模型以及选择因子的数量是感兴趣的。我们采用超逆Wishart先验建模的残差可分解的图形，和贝叶斯图形套索选择方法的不受限制的图形。我们通过模拟表明，扩展模型可以恢复的潜在因素的数量和图形模型的残差成功时，样本量是足够的相对于尺寸。
2013-10-15 stat.ME
Enabling scalable stochastic gradient-based inference for Gaussian processes by employing the Unbiased LInear System SolvEr (ULISSE)
在高斯过程的应用中，不确定性的量化是主要的兴趣，它是必要的，以准确地描述协方差参数的后验分布。本文提出了一种自适应的随机梯度Langevin动态算法，从协方差参数的后验分布中提取样本，具有可忽略的偏差，而不需要计算边缘似然。在高斯过程回归中，这有一个巨大的优点，即随机梯度可以通过求解线性系统来计算。提出了一种基于并行化协方差阵-向量积的无偏线性系统求解器，以加速梯度的无偏估计。结果表明，使可扩展的和准确的（在蒙特卡罗意义上）量化高斯过程中的不确定性，而不施加任何特殊结构的协方差或减少输入向量的数量的可能性。
2015-09-03 stat.CO stat.ME stat.ML
Gaussian variational approximation for high-dimensional state space models
本文考虑高维状态空间模型中后验密度的高斯变分近似。待优化的变分参数是近似的均值向量和协方差阵。由于协方差阵中的参数数量与模型参数数量的平方成正比，因此当模型参数数量较大时，需要找到简单有效的协方差结构参数化方法。我们近似的联合后验分布的高维状态向量的动态因子模型，具有马尔可夫时间依赖性和因子协方差结构的状态。这给出了一个减少的描述的依赖结构的状态，以及一个时间的条件独立结构类似于真正的后验。该方法的有用性说明预测在两个高维应用程序，是具有挑战性的马尔可夫链蒙特卡罗采样。第一个是欧亚领鸽在北美的传播的时空模型;第二个是基于Wishart的金融收益的多变量随机波动模型。
2020-02-19 stat.CO stat.ME stat.ML
FREESIA: Covariance-Aware Posterior Transport for Expressive and Scalable Data Assimilation
Tongji University（同济大学）；University of South Carolina（南卡罗来纳大学）
针对高维稀疏观测下非线性数据同化的多峰后验推断难题，提出免训练、渐近精确的协方差感知后验传输方法，嵌入交叉协方差并校正后验，在多个基准上显著提升精度。
2026-09-29 cs.LG cs.NA math.NA
BFDA: A Matlab Toolbox for Bayesian Functional Data Analysis
We provide a MATLAB toolbox, BFDA, that implements a Bayesian hierarchical model to smooth multiple functional data with the assumptions of the same underlying Gaussian process distribution, a Gaussian process prior for the mean function, and an Inverse-Wishart process prior for the covariance function . This model-based approach can borrow strength from all functional data to increase the smoothing accuracy, as well as estimate the mean- covariance functions simultaneously. An option of approximating the Bayesian inference process using cubic B-spline basis functions is integrated in BFDA, wh…
2017-02-03 stat.AP stat.OT
p-Markov Gaussian Processes for Scalable and Expressive Online Bayesian Nonparametric Time Series Forecasting
在本文中，我们介绍了一种新的在线时间序列预测模型，我们称之为pM-GP滤波器。我们证明了我们的模型等价于高斯过程回归，其优点是超参数的在线预测和在线学习都具有恒定的（而不是立方的）时间复杂度和恒定的（而不是平方的）观测数量的内存要求，而无需采用近似。此外，所提出的模型是表达的，家庭的协方差函数的隐含的潜在过程，即谱Matern内核，最近被证明是能够近似任意以及任何非线性不变的协方差函数。与竞争模型相比，我们的方法的好处是使用几个现实生活中的数据集上的实验证明。
2015-10-09 stat.ML
Scalable and optimal Bayesian inference for sparse covariance matrices via screened beta-mixture prior
本文提出一种结合连续收缩先验与筛选过程的可扩展贝叶斯方法，用于稀疏协方差矩阵估计，解决了“大p，小n”高维问题，并具备确定筛选性质与最优收敛速率。
2023-11-21 stat.ME
A generalized likelihood based Bayesian approach for scalable joint regression and covariance selection in high dimensions
研究了贝叶斯范式下高维多元回归模型中回归系数矩阵和误差精度矩阵（逆协方差矩阵）的联合稀疏性选择问题。所选择的稀疏模式对于帮助理解预测变量和响应变量之间的关系网络以及后者之间的条件关系至关重要。虽然贝叶斯方法具有通过后验包含概率和可信区间提供自然不确定性量化的优点，但当前贝叶斯方法要么限制于稀疏模式的特定子类和/或不可扩展到具有数百个响应和预测因子的设置。贝叶斯方法只关注于估计后验模式是可扩展的，但不从后验分布生成样本用于不确定性量化。使用基于双凸回归的广义似然和尖峰和平板先验，我们开发了一种称为联合回归网络的算法（JRNS），用于联合回归和协方差选择，该算法（a）可以适应一般稀疏模式，（b）提供不确定性量化的后验样本，（c）可扩展，比提供不确定性量化的最先进贝叶斯方法快几个数量级。我们证明了所提出的方法对合成数据的统计和计算效率，并通过对选定的癌症数据集的分析。我们还建立了高维后验一致性的开发算法之一。
2022-01-14 stat.CO stat.ME
Visibility graph-based covariance functions for scalable spatial analysis in non-convex domains
提出基于可见性图的协方差函数，在非凸域空间分析中保留部分欧几里得性质并保证正定性与边际平稳性，提供可扩展算法并在合成与真实数据上验证其优越性。
2024-08-27 stat.ME
Scalable Dirichlet Process Mixture Models with Unknown Concentration and Adaptive Covariance for High-Dimensional Clustering Applied to Leukemia Transcriptomics
本文提出了一种结合Collapsed VI和弱信息先验的狄利克雷过程混合模型，用于高维数据聚类，并在白血病转录组学中实现了亚型恢复和额外基团识别。
2026-09-10 stat.ME
Bayesian inference for spectral projectors of the covariance matrix
设$X_1, \ldots, X_n$为i.i.d.。$\mathbb{R}^p$中的样本，具有零均值和协方差阵$\mathbf{Σ^*}$。经典的PCA方法通过其经验对应物$\mathbf{\widehat{P}_{\mathcal{J}}}$将投影器$\mathbf{P^*_{\mathcal{J}}}$恢复到$\mathbf{Σ^*}$的主特征空间上。最近的论文[Koltchinskii，Lounici（2017）]研究了投影机$\| \mathbf{\widehat{P}_{\mathcal{J}}} - \mathbf{P^*_{\mathcal{J}}} \|_2$之间的Frobenius距离的渐近分布，而[Naumov等人。（2017）]提供了一个自举程序来测量即使在有限样本设置中恢复该子空间$\mathbf{P^*_{\mathcal{J}}}$的不确定性。本文从贝叶斯的角度考虑这个问题，建议使用由共轭逆Wishart先验引起的协方差矩阵空间上的伪后验分布的可信集作为尖锐置信集。这产生了一个数值上有效的过程。此外，我们从理论上证明了这种方法，并得出相应的覆盖概率的有限样本界。与[Koltchinskii，Lounici（2017），Naumov等人（2017）]相反，获得的结果对非高斯数据有效：我们施加的主要假设是样本协方差$\mathbf{\widehatΣ}$在…
2019-06-26 math.ST stat.TH
A note on the geometry of the MAP partition in Conjugate Exponential Bayesian Mixture Models
本文研究了贝叶斯混合模型中最大后验概率（MAP）划分的几何性质，其中成分分布和基分布都是从共轭指数族中选取的。我们证明，在这种情况下，集群分离的轮廓线的线性泛函的充分统计量。作为一个特定的例子，我们描述了贝叶斯混合正态分布与正态-逆-Wishart之前的组件的平均值和协方差，其中集群在任何MAP分区分离的二次曲面。结合Rajkowski（2018）的结果，其中证明了具有固定分量协方差阵的贝叶斯混合模型中聚类的线性可分性，它给出了Fisher判别分析（LDA和QDA）几何特性的很好的贝叶斯模拟。
2019-06-24 math.ST stat.TH
Bayesian Alternatives to the Black-Litterman Model
Black-Litterman模型将投资者的个人观点与历史数据相结合，并给出最佳投资组合权重。在本文中，我们将介绍原始的Black-Litterman模型（第1节），我们将修改模型，使其适合贝叶斯框架，通过考虑投资者的个人观点作为收益均值的直接先验，并通过在收益的协方差矩阵上添加典型的逆Wishart先验（第2节）。最后，我们将使用Leonard和Hsu（1992）关于在协方差矩阵的对数上添加先验的想法（第3节）。对投资者对其个人观点的信心水平进行了敏感性模拟，并根据由2018年1月的回报组成的测试数据集评估了模型的性能。
2018-12-25 q-fin.PM q-fin.ST stat.AP
Posterior consistency in multi-response regression models with non-informative priors for the error covariance matrix in growing dimensions
本文在增长维度下研究多响应回归模型中误差协方差矩阵采用逆威沙特尺度混合先验时的后验相合性，建立了回归系数矩阵和协方差矩阵的收缩速率，并分析了q_n/n趋于非零常数时后验不相合的情形。
2024-09-18 math.ST stat.TH
Wishart Mechanism for Differentially Private Principal Components Analysis
我们提出了一种新的输入扰动机制来发布协方差矩阵，以实现$(ε,0)$ -差分隐私。我们的机制使用Wishart分布来生成矩阵噪声。特别地，我们将这种机制应用于主成分分析。我们的机制是能够保持半正定公布的协方差矩阵。因此，我们的方法产生了一个一般的出版框架输入扰动的对称半正定矩阵。与经典的Laplace机制相比，该方法具有更好的效用保证.据我们所知，Wishart机制是$(ε,0)$ -差分私有PCA的最佳输入扰动方法。我们还比较了我们的工作与以前的指数机制算法在文献中，并提供近最优的界限，同时具有更大的灵活性和更少的计算棘手性。
2015-11-19 cs.CR cs.DS stat.ML
Smoothing and mean-covariance estimation of functional data with a Bayesian hierarchical model
Functional data, with basic observational units being functions (e.g., curves, surfaces) varying over a continuum, are frequently encountered in various applications. While many statistical tools have been developed for functional data analysis, the issue of smoothing all functional observations simultaneously is less studied. Existing methods often focus on smoothing each individual function separately, at the risk of removing important systematic patterns common across functions. We propose a nonparametric Bayesian approach to smooth all functional observations simultaneously and nonparametr…
2015-07-07 stat.ME
Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation
CNRS（法国国家科学研究中心）；CentraleSupélec（中央高等电力学院）；Université Paris-Saclay（巴黎萨克雷大学）；University Savoie Mont Blanc（萨瓦勃朗峰大学）；CNAM（法国国立工艺学院）
本文提出适用于 Riemannian 流形参数与先验分布的内蕴贝叶斯 Cramér-Rao 界，并用于 Gaussian 数据、逆 Wishart 先验下的协方差矩阵估计。
2024-09-09 cs.LG math.ST stat.AP
Adaptive Bayesian multivariate density estimation with Dirichlet mixtures
我们表明，率自适应的多变量密度估计可以使用贝叶斯方法的基础上正常内核的协方差阵参数的先验分布的Dirichlet混合物。我们推导出充分条件的事先说明，保证收敛到一个真正的密度的速度是最佳的极小极大的平滑类的真正的密度属于。假设没有平滑度的先验知识。的充分条件示出持有的Dirichlet位置混合的法线之前的高斯基测量和逆Wishart之前的协方差阵参数。局部Hölder光滑类和它们的各向异性扩展。我们的研究涉及到几个技术创新，包括尖锐的逼近可微多元密度正常的混合物和一个新的筛子上的空间，这种密度。
2013-03-19 math.ST stat.TH
Bayesian Analysis of Spiked Covariance Models: Correcting Eigenvalue Bias and Determining the Number of Spikes
本文针对尖峰协方差模型提出贝叶斯推断框架，通过逆Wishart先验推导后验分布，设计两种特征值偏差修正策略，并基于BIC型边际似然近似推断尖峰数量，在高维情形下证明后验相合性与极小极大最优性。
2025-08-19 math.ST stat.ME stat.TH
Maximum Pairwise Bayes Factors for Covariance Structure Testing
协方差阵结构的假设检验具有重要意义，但在高维背景下面临着巨大的挑战。虽然已经提出了一致的频率主义单样本协方差检验，但对于大的协方差阵，缺乏简单的、计算上可扩展的、理论上合理的贝叶斯检验方法。出于这一差距，并需要测试，是强大的稀疏替代品，我们提出了一种新的测试框架的基础上最大成对贝叶斯因子。我们最初的重点是单样本协方差检验，所提出的测试可以{ \it最佳}区分零假设和备择假设在频率渐近意义。然后，我们提出了对角线测试和可扩展的协方差图选择程序，被证明是一致的。模拟研究评估所提出的方法相对于竞争对手。我们说明了我们的图选择方法的基因表达数据集上的优势。
2020-07-21 stat.ME
Generalised Wishart Processes
引入了一个具有Wishart边缘的随机过程：广义Wishart过程（GWP）.它是由任意因变量索引的半正定随机矩阵的集合。我们使用它来建模动态（例如，时变）协方差阵。与现有模型不同，它可以捕获各种协方差结构，可以轻松处理缺失数据，因变量可以很容易地包括时间以外的协变量，并且它可以很好地随维度缩放;不需要自由参数，并且可选参数易于解释。我们描述了如何构建GWP，介绍一般的推理和预测程序，并表明它优于其主要竞争对手，多变量Gestival，即使在财务数据，特别适合Gestival。我们还展示了如何预测一个多变量过程的平均值，同时考虑动态相关性。
2010-12-31 math.PR q-fin.CP q-fin.ST
Estimating the normal-inverse-Wishart distribution
University of Cambridge（剑桥大学）
本文提出一种收敛过程，用于在正态-逆Wishart分布族中实现均值参数到自然参数的转换及最大似然估计，以满足期望传播等应用的需求。
2024-06-03 cs.LG math.ST stat.ML
Bayesian Rao test for distributed target detection in interference and noise with limited training data
本文针对训练数据有限条件下干扰与噪声中的距离扩展目标检测问题，提出基于逆Wishart先验和Rao检验的贝叶斯检测器，并通过仿真与实测数据验证其性能优于现有方法。
2025-05-06 cs.IT math.IT stat.ME
Thinning a Wishart Random Matrix
本文提出基于样本均值和协方差矩阵生成独立数据矩阵的方法，解决Wishart分布稀疏化问题。
2025-02-14 stat.ME stat.ML
Objective Bayes Covariate-Adjusted Sparse Graphical Model Selection
提出了一种用于高斯多元回归模型中协方差选择的客观贝叶斯方法，该模型的误差项具有关于有向无环图（DAG）的马尔可夫协方差结构。范围是协变量调整稀疏图形模型选择，一个日益重要的主题，特别是在遗传基因组学（eQTL分析）领域。具体来说，我们提供了一个封闭形式的表达的边缘可能性的任何DAG（与小的父集），其计算几乎不需要主观的启发由用户，只涉及共轭矩阵正常Wishart分布。这是通过一种特定形式的先验分配来实现的，根据分数贝叶斯因子的概念，在完整的DAG模型下只需要指定一个先验。其他DAG模型下的所有先验都是使用Geiger & Heckerman（2002）的术语中的先验模块性和全局参数独立性导出的。由于我们获得的边际似然是恒定的每一类马尔可夫等价的DAG，我们的方法自然专门协变量调整可分解的图形模型。
2015-10-08 stat.ME
Joint Bayesian Variable and DAG Selection Consistency for High-dimensional Regression Models with Network-structured Covariates
考虑了高维回归模型中协变量的回归系数和协变量的协方差阵的联合稀疏估计问题，其中预测变量既与响应变量相关，又通过高斯有向无圈图（DAG）模型在函数上相互关联.高斯DAG模型在逆协方差阵的Cholesky因子中引入稀疏性，而稀疏性模式又对应于对基础预测变量的特定条件独立性假设。近年来已经开发了各种方法贝叶斯推理在确定这样的网络结构的预测回归设置，但这些模型的重要稀疏性选择属性还没有得到彻底的研究。本文研究了一类在回归系数上具有spike和slab先验的递阶模型和一类在逆协方差阵的Cholesky因子上具有多个形状参数的灵活且一般的DAG-Wishart分布.在温和的规律性假设下，我们建立了联合选择一致性的变量和潜在的DAG的协变量时，预测的维度允许增长远远大于样本量。我们证明了我们的方法优于现有的方法在选择网络结构的预测在几个模拟设置。
2020-04-20 math.ST stat.ME stat.TH
Posterior contraction rates in a sparse non-linear mixed-effects model
本文研究高维稀疏非线性混合效应模型的贝叶斯后验收缩性质，采用spike-and-Laplace先验和Inverse-Wishart先验，推导出协方差参数、预测项及稀疏回归向量的后验收缩速率。
2025-09-22 math.ST stat.TH
Scalable high-dimensional Bayesian varying coefficient models with unknown within-subject covariance
本文提出NVC-SSL方法用于高维贝叶斯变系数模型，通过函数随机效应灵活建模未知受试者内协方差，并设计了在观测数和协变量数上线性扩展的ECM和近似MCMC算法，实现高效变量选择与不确定性量化。
2023-09-18 stat.ME
Parallel cross-validation: a scalable fitting method for Gaussian process models
高斯过程（GP）模型被广泛用于分析空间参考数据和预测在没有观测的位置处的值。与许多算法程序相反，GP模型基于统计框架，这使得模型结构和预测的不确定性量化成为可能。似然估计和预测都涉及求解线性系统。因此，计算成本很大，限制了可以处理的数据量。虽然有许多近似策略，降低GP模型的计算成本，他们往往只提供次优支持当前（高性能）计算环境的并行计算能力。我们的目标是弥合这一差距的参数估计和预测方法，被设计为并行。更准确地说，我们将空间域划分为重叠的子集，并使用交叉验证（CV）并行估计协方差参数。我们提出了模拟研究，评估参数估计和预测的准确性。此外，我们表明，我们的实现具有良好的弱和强并行缩放属性。为了说明，我们将指数协方差模型拟合到具有500万个观测值的科学相关冠层高度数据集。并行使用512个处理器内核可将一个协方差参数配置的评估时间缩短到1.5分钟以内。并行CV方法可以很容易地扩展到包括近似似然方法，多变量和时空数据，以及非平稳协方差模型。
2019-12-31 stat.CO
Consistent Bayesian Sparsity Selection for High-dimensional Gaussian DAG Models with Multiplicative and Beta-mixture Priors
高维多元数据的协方差阵估计是现代统计学中一个具有挑战性的重要问题。在本文中，我们专注于高维高斯DAG模型，稀疏性诱导的逆协方差阵的Cholesky因子L。在最近的工作中，（[Cao，Khare和Ghosh，2019]），我们为分层贝叶斯DAG模型建立了高维稀疏选择一致性，其中Erdos-Renyi先验被放置在Cholesky因子L中的稀疏模式上，并且DAG-Wishart先验被放置在产生的非零Cholesky条目上。在本文中，我们显着改进和扩展这项工作，（a）考虑更多样化和有效的先验的稀疏模式在L中，即β-混合先验和乘法先验，（b）建立稀疏选择一致性显着放宽条件下的p，和真实模型的稀疏模式。我们通过数值模拟证明了我们的理论结果的有效性，并使用进一步的模拟来证明我们的稀疏性选择方法与现有的最先进的方法，包括频率论和贝叶斯方法在各种设置中具有竞争力。
2019-03-08 math.ST stat.ME stat.TH
EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
Carnegie Mellon University（卡内基梅隆大学）
在许多现实问题中，样本之间和特征之间都存在复杂的依赖关系。两个图的克罗内克和或笛卡尔积（每个图对特征和样本之间的依赖性进行建模）由于其更直观的稀疏结构而被用作矩阵变量高斯分布的逆协方差阵，作为克罗内克积逆协方差阵的替代。然而，现有的稀疏Kronecker和逆协方差估计的方法是有限的，因为它们不能扩展到超过几百个特征和样本，并且不可识别的参数在估计中构成挑战。在本文中，我们介绍了EiGLasso，稀疏Kronecker和逆协方差估计的高度可扩展的方法，基于牛顿的方法结合特征分解的两个图，利用Kronecker和的结构。EiGLasso通过基于样本和特征图的特征分解来近似Hessian，进一步减少了计算时间。EiGLasso实现了精确Hessian的二次收敛和近似Hessian的线性收敛。我们描述了一个简单的新方法来估计不可识别的参数，概括了现有的方法。在模拟和真实世界的数据，我们证明了EiGLasso实现了两到三个数量级的速度相比，现有的方法。
2021-05-20 cs.LG stat.ML
Scalable sparse covariance estimation via self-concordance
我们考虑一类凸极小化问题，由一个自协调函数，如$\log\det$度量，凸数据保真度项$h(\cdot)$和正则化-可能是非光滑-功能$g(\cdot)$。这类问题最近引起了极大的兴趣，主要是由于它们在一流的应用程序中无处不在。在这个\emph{locally} Lipschitz连续梯度设置下，我们分析了近似牛顿格式的收敛行为，并增加了可能存在的不精确估计的扭曲。我们证明有吸引力的收敛速度保证和增强国家的最先进的优化方案，以适应这种发展。稀疏协方差估计的实验结果表明，我们的算法的优点，无论是在恢复效率和复杂度。
2014-05-13 cs.IT math.IT math.OC
