时变网络的两种高斯正则化方法

有序加权L1正则化的高斯图模型学习

Learning Gaussian Graphical Models with Ordered Weighted L1 Regularization

McGill University（麦吉尔大学）

我们解决的任务，确定密集连接的多变量高斯随机变量的子集内的图形模型框架。我们提出了两个新的估计基于有序加权$\ell_1$（OWL）范数：1）图形OWL（GOWL）是一种惩罚似然方法，适用于OWL范数的精度矩阵的下三角分量。2)逐列图形OWL（ccGOWL）通过执行OWL正则化线性回归来估计精度矩阵。这两种方法可以同时识别高度相关的变量组，并控制所得精度矩阵的稀疏性。我们制定GOWL，它解决了一个复合优化问题，并建立估计有一个唯一的全局解。此外，我们证明了充分的分组条件的ccGOWL精度矩阵估计的每一列。我们提出了近似下降算法，以找到最佳的两个估计。对于存在组结构的合成数据，ccGOWL估计器需要显著减少的计算，并实现与最先进的估计器相似或更高的精度。定时比较，并展示了卓越的计算效率的ccGOWL。我们说明了分组性能的ccGOWL方法对癌症基因表达数据集和股票数据集。

2020-11-19cs.LGstat.ML

AgFlow：基于梯度流隐正则化效应的惩罚PCA快速模型选择

AgFlow: Fast Model Selection of Penalized PCA via Implicit Regularization Effects of Gradient Flow

Big Data Lab, Baidu Research（百度研究院大数据实验室）；School of Artificial Intelligence and Automation Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）

主成分分析（PCA）作为一种有效的特征提取和降维技术得到了广泛的应用。在高维低样本量（HDLSS）设置中，人们可能更喜欢修改的主成分，带有惩罚载荷，并通过在这些不同模型中使用不同的惩罚来实现模型选择，从而实现自动惩罚选择。早期的工作[1，2]提出了惩罚主成分分析，指出了$L_2$ -惩罚主成分分析通过岭回归的求解路径进行模型选择的可行性，但由于矩阵求逆的计算量大，非常耗时。在本文中，我们提出了一种快速的惩罚PCA模型选择方法，称为近似梯度流（AgFlow），它通过引入（随机）梯度流[3，4]引入的隐式正则化效应来降低计算复杂度，并在不同的$L_2$ -正则化下获得$L_2$ -惩罚PCA的完整解路径。我们在真实世界的数据集上进行了大量的实验。AgFlow在计算成本方面优于现有方法（Oja [5]，Power [6]和Shamir [7]以及vanilla Ridge估计器）。

2021-10-07cs.LGstat.ML

具有$L^1$ -正则化的分层非平稳时间高斯过程

Hierarchical Non-Stationary Temporal Gaussian Processes With $L^1$-Regularization

本文研究了层次非平稳时间高斯过程（NSGPs）的正则化扩展，其中参数（例如，长度尺度）被建模为GP。特别是，我们考虑两个常用的NSGP的建设是基于显式构造的非平稳协方差函数和随机微分方程，分别。我们扩展这些NSGPs包括$L^1$ -正则化的过程，以诱导稀疏。为了解决正则化NSGP（R-NSGP）回归问题，我们开发了一种基于交替方向乘子法（ADMM）的方法，并从理论上分析了其收敛性。我们还评估了所提出的方法在模拟和真实世界的数据集的性能。

2021-05-20stat.COstat.MEstat.ML

平滑变化的岭正则化

Smoothly varying ridge regularization

对于具有复杂结构的数据，基展开正则化方法对于灵活的或鲁棒的非线性回归模型非常有吸引力。当基础函数具有非齐次光滑性时，传统的正则化方法表现不佳。在这种情况下，一个自适应的过程，如自由节点样条或局部似然方法往往被引入作为一种有效的方法。然而，这两种方法都需要密集的计算负载。在这项研究中，我们考虑了一个新的有效的基展开，提出了一个光滑变化的正则化方法，它是由一些特殊的惩罚。我们称之为适应性惩罚。在我们的建模中，自适应型惩罚发挥关键作用，它已经成功地给出了良好的估计非齐次光滑函数。建模过程中的一个关键问题是在候选模型中选择合适的模型。为了选择合适的模型，我们推导出一个近似的广义信息准则（GIC）。通过蒙特卡罗模拟和实际数据分析研究了该方法。数值结果表明，我们的方法在各种情况下表现良好。

2021-01-30stat.ME

流惩罚回归模型中时变正则化参数的解释

Towards the interpretation of time-varying regularization parameters in streaming penalized regression models

高维流数据集在现代应用中无处不在。例子从金融和电子商务到生物医学和神经成像数据的研究。因此，已经提出了许多新的算法来解决这些数据集带来的挑战。在这项工作中，我们专注于使用$\ell_1$正则化线性模型的上下文中（可能是非平稳的）流数据最近，人们已经注意到，正则化参数的选择是基本的，在这样的模型和几种方法已经提出了迭代调整这样的参数在一个~随时间变化的方式，从而允许潜在的稀疏估计模型的变化。此外，在许多应用中，对正则化参数的推断本身可能是感兴趣的，因为这样的参数与模型的底层\textit{sparsity}相关。然而，在这项工作中，我们强调并提供了大量的经验证据，说明数据中的各种（通常不相关的）统计特性如何导致正则化参数的变化。特别是，通过各种合成实验，我们证明了正则化参数的变化可能是由真实的底层稀疏性，信噪比甚至模型误指定的变化所驱动的。因此，这封信的目的是突出和编目各种统计性质，诱导相关的正则化参数的变化。最后，我们提出了两个应用程序：一个涉及金融数据和神经成像数据，在上述讨论是相关的。

2020-09-25stat.ME

条件高斯图模型的结构正则化

Structured Regularization for conditional Gaussian Graphical Models

条件高斯图模型（cGGM）是多元线性回归模型的最新重新参数化，它显式地显示了$i)$（预测因子和响应之间的偏协方差）和$ii)$（响应本身之间的偏协方差）。由于偏协方差描述了变量之间的强关系，因此这种模型特别适合于可解释性。在这个框架中，我们提出了一个正则化方案，以提高模型的学习策略，通过先验结构信息驱动相关输入特征的选择。它带有一个有效的交替优化过程，保证收敛到全局最小值。除了在人工和真实数据集上表现出竞争力外，我们的方法还展示了对其参数进行精细解释的能力，如光谱学，遗传学和基因组学的三个高维数据集所示。

2014-09-25stat.ME

基于正则基函数的变系数建模

Varying-coefficient modeling via regularized basis functions

我们解决的问题，构建变系数模型的基础上的基础扩展以及正则化技术。在我们的建模过程中的一个关键点是正则化方法中平滑参数的选择。为了客观地选择参数，我们从信息论和贝叶斯方法的角度推导了模型选择准则。我们通过蒙特卡罗模拟和分析一个真实的数据集，证明了所提出的建模策略的有效性。

2011-07-19stat.ME

具有测量误差的高斯图模型的贝叶斯正则化

Bayesian Regularization of Gaussian Graphical Models with Measurement Error

我们考虑一个框架，用于确定和估计的条件成对关系的变量时，所观察到的样本被污染的测量误差在高维设置。假设真实的潜在变量遵循多元高斯分布，如果不存在测量误差，则通常通过在稀疏约束下估计精度矩阵来解决该问题。然而，当存在测量误差时，不对其进行校正会导致精度矩阵的不一致估计和关系的不良识别。我们提出了一种新的贝叶斯方法来纠正观测样本的测量误差。该贝叶斯程序利用最新的加标-平板Lasso变体获得精密度矩阵的点估计值，并通过最近提出的针对缺失数据设计的插补-正则化优化程序校正污染。我们的方法被证明比天真的方法，忽略测量误差在识别和估计精度。为了显示该方法的实用性，我们应用新的方法来建立一个条件基因网络从微阵列数据集。

2019-07-04stat.ME

基于高斯过程的空间变系数模型的R软件包

varycoef: An R Package for Gaussian Process-based Spatially Varying Coefficient Models

高斯过程（GP）是用于对空间统计学、时间序列分析或计量经济学中的应用的相关数据进行建模的公知工具。在这篇文章中，我们提出了R包varycoef，实现估计，预测和变量选择的线性模型与空间变化系数（SVC）定义的GP，所谓的GP-基于SVC模型。这种模式提供了高度的灵活性，同时相对容易解释。使用varycoef，我们展示了（空间）变化系数模型在空间和时间序列数据上的多用途应用。这包括模型和系数估计与预测和变量选择。该软件包使用最先进的计算统计技术，如并行化，基于模型的优化和协方差锥形。这允许用户以计算高效的方式使用（S）VC模型，即，在可行的时间量内对大数据集进行模型估计是可能的。

2021-06-04stat.COstat.ME

基于极值分布的高斯图模型自适应正则化

Adaptive Regularization via Extreme Value Distributions for Gaussian Graphical Models

Vanderbilt University（范德堡大学）；The Pennsylvania State University（宾夕法尼亚州立大学）

针对高斯图模型边选择中固定正则化参数不适应数据的问题，提出基于极值理论的数据自适应惩罚族，通过290个数据集和模拟验证，在保持特异性的同时提高敏感性，推荐Weibull惩罚。

2026-09-09stat.ME

动态系统时变参数的流形约束高斯过程推断

Manifold-constrained Gaussian process inference for time-varying parameters in dynamic systems

在生物医学研究和其他科学领域中，对动态系统建模时，常微分方程（ODE）中的参数识别是一项重要且具有挑战性的任务，特别是在存在时变参数的情况下。本文提出了一种快速、准确的时变MAnifold-constrained高斯过程推断方法TVMAGI（Time-Varying MAnifold-constrained Gaussian process Inference），利用噪声和稀疏观测数据同时估计常微分方程中的时常数和时变参数。TVMAGI在系统元件的时间序列以及时变参数上施加高斯过程模型，并限制导数过程以满足ODE条件。因此，TVMAGI完全绕过数值积分，并实现了计算时间的大幅节省。通过将ODE结构通过多种约束，TVMAGI享有贝叶斯范式下的原则性统计结构，这进一步使其能够处理系统与缺失数据或未观察到的组件。高斯过程先验也解决了常微分方程中时变参数的可辨识性问题。与现有的方法不同，TVMAGI可以应用于一般的非线性系统，而无需特定的结构假设。三个仿真例子，包括一个传染病房室模型，以说明我们的方法的鲁棒性和效率相比，数值积分和贝叶斯滤波方法。

2022-02-28stat.ME

基于高斯过程先验的分布式贝叶斯变系数建模

Distributed Bayesian Varying Coefficient Modeling Using a Gaussian Process Prior

变系数模型（VCM）被广泛用于估计函数数据的非线性回归函数。然而，他们的贝叶斯变体使用高斯过程先验的函数系数，在大规模数据应用中受到了有限的关注，这主要是由于使用马尔可夫链蒙特卡罗（MCMC）算法的后验计算非常慢。我们使用分治贝叶斯方法解决这个问题。我们首先创建大量的数据子样本，这些子样本的大小要小得多。然后，我们制定的VCM作为一个线性混合效应模型，并开发了一个数据增强算法，以获得MCMC提请所有的子集并行。最后，我们将基于MCMC的子集后验估计聚合成单个聚合蒙特卡罗（AMC）后验，该后验用作真实后验分布的计算有效替代。理论上，我们得到了变系数和平均回归函数的AMC后验的minimax最优后验收敛速度。我们提供的子集样本量和子集的数量的顺序量化。实证结果表明，满足我们的理论假设的组合方案，包括AMC后验，有更好的估计性能比他们的主要竞争对手在不同的模拟和实际数据分析。

2022-02-26stat.COstat.ME

三维空间中高斯随机场的各向异性

Spatially Varying Anisotropy for Gaussian Random Fields in Three-Dimensional Space

各向同性协方差结构对于三维空间（如海洋）中的现象可能是不合理的。在海洋中，响应的可变性可能随深度而变化，洋流可能导致空间变化的各向异性。通过随机偏微分方程（SPDE）构造了一类三维非平稳各向异性高斯随机场（GRF），其中计算采用高斯马尔可夫随机场近似.该方法被证明在模拟研究中，估计这些模型所需的数据量进行了探讨。然后，该方法被应用到构建一个GRF事先对特隆赫姆，挪威以外的海洋质量，从复杂的数值海洋模式SINMOD模拟的基础上。这GRF之前相比，一个固定的各向异性GRF使用现场测量收集的自主水下航行器，我们的方法优于固定的各向异性GRF的实时预测未观察到的位置。

2023-01-12stat.ME

基于高斯过程的空间变系数模型中固定效应和随机效应的联合变量选择

Joint Variable Selection of both Fixed and Random Effects for Gaussian Process-based Spatially Varying Coefficient Models

空间变系数（SVC）模型是一种空间数据的回归模型，其中协变量效应随空间而变化。如果有多个协变量，一个自然的问题是哪些协变量具有空间变化效应，哪些没有。针对基于高斯过程的SVC模型，提出了一种新的变量选择方法.它依赖于惩罚极大似然估计（PMLE），并允许变量选择相对于固定效应和高斯过程随机效应。我们验证了我们的方法在模拟研究以及现实世界的数据集。我们的新方法在模拟研究中表现出良好的选择性能。在实际数据应用中，我们提出的PMLE产生稀疏SVC模型，并实现了一个更小的信息标准比经典的MLE。在应用于实际数据的交叉验证中，我们表明，稀疏PML估计SVC模型与ML估计SVC模型在预测性能方面不相上下。

2021-02-11stat.ME

一类新的变局部各向异性非平稳空间高斯随机场

Exploring a New Class of Non-stationary Spatial Gaussian Random Fields with Varying Local Anisotropy

高斯随机场（GRF）构成了空间建模的重要组成部分，但对于一般的协方差结构，在计算上是不可行的。一个有效的方法是指定GRF通过随机偏微分方程（SPDE）和高斯马尔可夫随机场（GMRF）近似的解决方案。我们考虑建设一类具有不同的局部各向异性的非平稳GRF，其中的局部各向异性是通过允许在SPDE中的系数随位置而变化。这是通过使用由高斯白噪声驱动的具有空间变化扩散矩阵的扩散方程的形式来完成的。这允许通过参数化扩散矩阵来引入控制GRF的参数。这些参数和GRF可以被认为是分层模型的一部分，并且在贝叶斯框架中估计参数。结果表明，使用一个SPDE与非常数系数是一个很有前途的方式创建非平稳空间GMRF，允许物理解释的参数，虽然有几个剩余的挑战，需要解决这些模型可以投入一般的实际使用之前。

2014-04-25stat.ME

基于阈值化相关高斯过程的空间变化相关性贝叶斯推断

Bayesian Inference of Spatially Varying Correlations via the Thresholded Correlation Gaussian Process

针对多模态神经影像学中两种成像模态关联的脑区识别问题，提出基于阈值化相关高斯过程（TCGP）的贝叶斯非参数模型，确保空间相关性的分段平滑、稀疏和跳跃性，在小样本或低信噪比下适用，通过理论分析和实验验证了方法有效性。

2024-11-27stat.ME

稀疏和不规则抽样函数数据变系数模型的估计

On estimation in varying coefficient models for sparse and irregularly sampled functional data

本文研究了一种基于稀疏不规则采样函数数据的变系数模型的光滑正则化方法，该模型含有一定的测量误差。基于再生核Hilbert空间方法，我们估计了潜在随机过程的一维协方差和互协方差函数。然后，我们得到系数函数的最小二乘估计。仿真结果表明，该方法具有良好的性能。我们通过分析原发性胆汁性肝硬化的纵向数据来说明我们的方法。

2017-11-27stat.ME