A General Bayesian Model for Heteroskedastic Data with Fully Conjugate Full-Conditional Distributions
异方差数据模型适用于从金融时间序列到环境统计的各种应用。然而，有条件地对方差函数建模的主题并没有像对均值建模那样受到关注。波动率模型已用于特定应用中，但由于后验分布很难有效采样，因此这些模型可能难以拟合贝叶斯设置。在这项工作中，我们介绍了异方差数据的一般模型。该方法将混合模型方法中的条件方差建模为任何所需协变量或随机效应的函数。我们依靠新的分布理论，以构建先验，产生充分共轭的充分条件分布。因此，我们的方法可以很容易地通过吉布斯抽样。此外，我们将该模型扩展到深度学习方法，可以为时间相关数据提供高度准确的估计。我们还提供了重尾数据的扩展。我们通过三个应用程序来说明我们的方法。第一个应用程序利用具有固有空间依赖性的高维土壤数据集。第二个应用程序涉及资产波动性建模。第三个应用程序侧重于肌酸酐的临床试验数据。
2020-09-28 stat.CO stat.ME
A unified framework for closed-form nonparametric regression, classification, preference and mixed problems with Skew Gaussian Processes
Trinity College（都柏林圣三一学院）；Dalle Molle Institute for Artificial Intelligence Research (IDSIA)（达尔莫尔人工智能研究所（IDSIA））
斜高斯过程将有限维向量上的多元统一斜正态分布推广到函数上的分布。SkewGP比高斯过程更通用和灵活，因为SkewGP也可以表示不对称分布。在最近的一篇文章中，我们证明了SkewGP和probit似然是共轭的，这使我们能够计算非参数二元分类和偏好学习的精确后验。在本文中，我们推广了以前的结果，我们证明了SkewGP是共轭的正常和仿射概率似然，更一般地说，与他们的产品。这使我们能够（i）在一个统一的框架中处理分类、偏好、数值和序数回归以及混合问题;（ii）导出相应后验分布的封闭形式表达式。我们的经验表明，提出的框架的基础上SkewGP提供了更好的性能比高斯过程中的主动学习和贝叶斯（约束）优化。这两项任务是实验设计和数据科学的基础。
2021-01-27 cs.LG math.ST stat.ML
Subset selection for linear mixed models
线性混合模型（Linear mixed models，LMM）用于具有结构化相关性的回归分析，如分组、聚类或多级数据。然而，在考虑这种结构性依赖的同时，在协变量中进行选择仍然是一个挑战。我们介绍了一个贝叶斯决策分析的子集选择与LIFE。使用Mahalanobis损失函数，其中包括结构化的依赖，我们得到最佳的线性系数（i）任何给定的变量子集和（ii）满足基数约束的所有变量子集。至关重要的是，这些估计继承了基础贝叶斯模型的收缩或正则化和不确定性量化，并适用于任何指定的贝叶斯LMM。更广泛地说，我们的决策分析策略不再强调单个“最佳”子集的作用，而倾向于一组接近最佳的子集，因为单个“最佳”子集通常不稳定且信息量有限。此集合按关键成员子集和特定于变量的重要性度量进行汇总。定制的子集搜索和样本外近似算法提供了更可扩展的计算。这些工具应用于模拟数据和纵向身体活动数据集，并表现出出色的预测，估计和选择能力。
2022-04-18 stat.CO stat.ME stat.ML
Bayesian Information Criterion for Linear Mixed-effects Models
在模型选择过程中使用贝叶斯信息准则（BIC）是在假设观测值独立同分布（i.i.d.）的情况下进行的。然而，在实践中，我们并不总是有i.i.d.。样品例如，在同一组内，聚类观察往往更相似，而纵向数据是通过重复测量同一对象来收集的。在这些场景中，BIC中的假设不被满足。提出了有效样本量的概念，用有效样本量代替了原BIC表达式中的样本量，定义了改进的BIC，为混合效应模型的研究提供了更好的理论基础。最后给出了数值实验结果，并与目前广泛使用的BIC进行了性能比较。
2021-04-30 stat.AP
Additive quantile regression for clustered data with an application to children's physical activity
加法模型是灵活的回归工具，可以处理线性和非线性项。后者通常通过平滑样条来建模。加性混合模型扩展了加性模型，以在根据聚类设计对数据进行采样时包括随机项（例如，纵向）。当重复测量可用时，这些模型可用于研究人类的生长，某些疾病机制和能量消耗等现象。本文提出了一种新的分位数回归的可加混合模型。我们的方法的动机是应用到身体活动的基础上，超过50万加速度计测量的儿童在英国千年队列研究的数据集。在模拟研究中，我们评估了现有的替代方案所提出的方法。
2019-06-07 stat.ME
Convergence analysis of the Gibbs sampler for Bayesian general linear mixed models with improper priors
一般线性混合模型数据的贝叶斯分析是具有挑战性的，因为任何非平凡的前导致一个棘手的后验密度。然而，如果采用条件共轭先验密度，则可以使用简单的Gibbs采样器来探索后验密度。在条件共轭先验中，一个常见的缺陷是不适当的先验，它与回归参数上的平坦先验和每个方差分量上的所谓幂先验形成乘积形式。本文对相应的Gibbs采样器进行了收敛速度分析。主要结果是Gibbs-马尔可夫链几何遍历性的一个简单、易检验的充分条件。这个结果接近于最好的可能结果，因为这个充分条件仅仅比确保后验适当性所需的条件稍微强一些。本文中开发的理论是非常重要的，从实用的角度来看，因为它保证了存在的中心极限定理，允许计算有效的渐近标准误差的估计使用吉布斯采样器计算。
2013-02-18 math.ST stat.TH
Bayesian Analysis of Spatial Generalized Linear Mixed Models with Laplace Random Fields
高斯随机场（GRF）模型在空间统计学中被广泛用于捕获空间相关误差。研究了空间广义线性混合模型中用拉普拉斯移动平均代替高斯过程的结果。我们证明，LMAs提供更好的预测能力时，数据表现出本地化的尖峰响应。与LMA的SGLCLUNK保持类似的参数推断和类似的计算高斯SGLCLUNK。我们提出了一种新的离散空间LMA模型的不规则格和构造共轭采样器的LMA与地理参考和面积的支持。我们提供了一个贝叶斯分析的SGLsites与LMA和GRF在多个数据支持和响应类型。
2019-07-25 stat.AP stat.CO
Pólygamma Data Augmentation to address Non-conjugacy in the Bayesian Estimation of Mixed Multinomial Logit Models
Cornell University（康奈尔大学）；UNSW Australia（新南威尔士大学）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
混合多项Logit（MMNL）模型的标准Gibbs抽样方法是采用Metropolis-Hastings（MH）算法对效用参数的条件密度进行抽样，但由于Logit核的共轭先验不可用。为了解决这种非共轭问题，我们提出了应用Pólygamma数据增强（PG-DA）技术的MMNL估计。增广和默认吉布斯采样器的后验估计是相似的两个替代方案（二进制选择），但我们遇到的情况下，更多的替代品（$J \geq 3$）的经验识别问题。
2019-04-13 cs.LG econ.EM stat.AP
Bootstrapping Clustered Data in R using lmeresampler
线性混合效应模型通常用于分析聚类数据结构。有许多包可以在R中拟合这些模型并进行基于可能性的推理。基于重采样的推理过程的实现更加有限。在本文中，我们介绍了lmeresampler软件包，用于通过lme4或nlme拟合自举嵌套线性混合效应模型。对于小样本量和分布假设失效时，Bootstrap估计允许偏倚校正、调整标准误和置信区间。我们还将说明如何使用引导程序重新启动来诊断这个模型类。此外，lmeresampler使得构造模型参数函数的区间估计变得容易。
2021-06-11 stat.CO stat.ME
Approximation, Consistency, and Prediction in Generalized Neural Network Mixed Models for Longitudinal and Clustered Data
Pennsylvania State University-Altoona（宾夕法尼亚州立大学阿尔图纳分校）；Virginia Commonwealth University（弗吉尼亚联邦大学）；University of South Alabama（阿拉巴马大学南部分校）；Quinnipiac University（昆尼皮亚克大学）；Rhodes College（罗兹学院）
本文针对用于纵向和聚类数据的广义神经网络混合模型（GNMM），证明其近似性、一致性等统计特性，通过模拟与精神分裂症数据集验证其预测性能，为GNMM的应用提供理论支撑。
2026-10-14 stat.CO stat.ME
A closed form solution for Bayesian analysis of a simple linear mixed model
Norwegian University of Life Sciences（挪威生命大学）
本研究提出了一种基于四参数广义Beta分布的闭式贝叶斯解法，用于简单线性混合模型的分析，实现了与传统方法相当的性能并降低了均方误差。
2026-02-11 math.ST stat.ME stat.TH
Non-conjugate variational Bayes for pseudo-likelihood mixed effect models
提出一种统一且易编码的非共轭变分贝叶斯算法，通过高斯变分近似和消息传递优化策略，实现通用贝叶斯广义混合效应模型的后验近似，无需数据增强即可处理非共轭先验和非平滑损失，并在计算效率和近似精度上表现优异。
2025-10-13 stat.CO stat.ME
MEGH: A parametric class of general hazard models for clustered survival data
在生存数据分析的许多应用中，个体在不同的医疗中心接受治疗，或者属于由地理或行政区域定义的不同群组。分析这类数据需要考虑聚类之间的差异。忽略此类变异性将在分析中强加不切实际的假设，并可能影响对统计模型的推断。我们开发了一种新的参数混合效应一般风险（MEGH）模型，特别适合于聚类生存数据的分析。建议的结构概括了混合效应比例风险（MEPH）和混合效应加速失效时间（MEAFT）的结构，在其他结构中，这是作为特殊情况下的MEGH结构。我们开发了一种基于似然的算法，用于MEGH模型的一般子类中的参数估计，该算法在我们的R包{ \tt MEGH}中实现。我们提出了诊断工具，用于评估的随机效应和他们的分布假设，在建议的MEGH模型。我们调查的MEGH模型的性能，使用理论和模拟研究，以及白血病的实际数据应用。
2022-05-02 stat.AP stat.ME
Latent Mixture Modeling for Clustered Data
本文提出了一种混合建模方法来估计聚类（分组）数据中的聚类条件分布。我们适应的混合专家模型的潜在分布，并提出了一个模型，其中每个集群明智的密度表示为一个混合的潜在专家与集群明智的混合比例分布为Dirichlet分布。模型参数的估计，通过最大化的边缘似然函数使用新开发的蒙特卡罗期望最大化算法。我们还扩展了模型，使集群的混合比例的分布取决于一些集群级协变量。通过仿真研究，将该模型的有限样本性能与现有的一些混合建模方法以及线性混合模型进行了比较。该模型还说明了在日本公布的土地价格数据。
2017-04-20 stat.ME
Marginalizable conditional model for clustered ordinal data
我们引入了一个灵活的参数相关的二进制数据的混合效应模型，参数可以直接解释为边际优势比。这导致一个稳健估计方程，其最佳加权矩阵是真正的基于模型的协方差阵的逆。相关随机效应可以施加灵活的相关结构，相关参数可以通过求解复合似然得分函数来估计。即使在条件参数模型被错误指定时，边缘参数也被一致地估计，并且在正确的模型指定下，与极大似然估计相比，稳健估计过程具有低的估计效率损失。模拟，分析马德拉斯纵向精神分裂症研究和英国社会属性面板调查进行了证明我们的方法。
2014-03-30 stat.ME
A distribution-free mixed-integer optimization approach to hierarchical modelling of clustered and longitudinal data
本文提出一种基于混合整数优化的聚类感知回归方法，在LMM模型中选择聚类并评估新数据点的聚类效应，显著提升了稀疏解的预测能力和模型鲁棒性。
2024-03-25 math.OC stat.ME stat.ML
A Regression Tree Method for Longitudinal and Clustered Data with Multivariate Responses
RE-EM树是一种基于树的方法，它结合了回归树和线性混合效应模型，用于建模单变量响应纵向或聚类数据。本文采用De'Ath [2002]提出的多元回归树方法，将RE-EM树方法推广到多元响应数据。多元RE-EM树方法估计由多个响应同时驱动的总体水平单树结构和每个响应变量的对象水平随机效应，其中响应变量之间和关联的随机效应之间均允许相关性。通过仿真研究，我们验证了多元RE-EM树的优势，使用多个单变量RE-EM树和多元回归树。我们应用多元RE-EM树分析一个真实的数据集，包含多维的非金融特征的贫困的不同国家的反应，和各种潜在的原因，贫困的预测。
2023-02-28 stat.ME
A Proportional Random Effect Block Bootstrap for General Clustered Data
The Australian National University（澳大利亚国立大学）
研究针对一般聚类数据，提出比例随机效应块自助法，适用于不平衡聚类大小等复杂情况，推广了原方法，经模拟和实际数据集验证，该方法在有限样本推断性能上表现出色，能给出改进的自助置信区间。
2026-07-27 stat.CO stat.ME
Robust Linear Mixed Models using Hierarchical Gamma-Divergence
针对线性混合模型对异常值敏感的问题，提出基于层次伽马散度的稳健估计与推断方法，通过自动降权异常值并开发可扩展算法，在重污染下仍具渐近控制性，模拟与艾滋病队列数据验证其优越性。
2025-03-27 stat.ME
SEMMS with Random Effects: A Mixed-Model Extension for Variable Selection in Clustered and Longitudinal Data
本文扩展了SEMMS模型以处理纵向和簇状数据中的随机效应，通过交替坐标上升算法改进变量选择性能，并在不同数据集上验证了其有效性。
2026-03-16 stat.CO stat.ME
UQ-ARMED: Uncertainty quantification of adversarially-regularized mixed effects deep learning for clustered non-iid data
这项工作证明了为模型拟合、固定效应协方差系数和预测置信度生成易于解释的统计指标的能力。重要的是，这项工作比较了4个合适的和常用的认知UQ方法，BNN，SWAG，MC辍学，和合奏的方法，在他们的能力来计算这些统计指标的ARMED MEDL模型。在我们对AD预后的实验中，不仅UQ方法提供了这些益处，而且几种UQ方法保持了原始ARMED方法的高性能，有些甚至提供了适度的（但不具有统计学显著性）性能改善。集成模型，特别是具有90%子采样的集成方法，在我们测试的所有指标中表现良好，具有（1）与非UQ ARMED模型相当的高性能，（2）适当地对混淆探针进行去权重，并为其分配统计学上不显著的p值，（3）获得相对较高的输出预测置信度校准。结果表明，在保持ARMED方法的基本性能的同时，集成方法（尤其是90%子采样的集成方法）在预测和不确定性估计方面提供了最好的综合性能，并实现了我们的目标：提供模型拟合的统计显著性、统计显著性协变量系数和预测置信度
2022-11-29 cs.AI cs.LG stat.ME
Sign-Flipping Score Tests for Fixed Effects in Multivariate Clustered Data
Ca’ Foscari University of Venice（威尼斯大学）；University of Padova（帕多瓦大学）
本文提出一种无需估计Fisher信息且不依赖随机效应分布正确性的检验方法，用于多元线性混合模型中固定效应的推断。
2026-10-15 stat.ME
A Scalable Variational Bayes Approach for Fitting Non-Conjugate Spatial Generalized Linear Mixed Models via Basis Expansions
Purdue University（普渡大学）；George Mason University（乔治梅森大学）
针对具有非高斯响应的大型空间数据集贝叶斯推断难的问题，提出结合半隐式变分推断与空间广义线性混合模型基表示的可扩展框架，在模拟场景中效果与传统方法相当且计算加速，还应用于实际数据集证明其有效性。
2026-07-21 stat.CO stat.ME
Convergence analysis of block Gibbs samplers for Bayesian linear mixed models with $p>N$
探索与一般线性混合模型的贝叶斯版本相关的棘手的后验分布，经常使用马尔可夫链蒙特卡罗。特别地，如果使用条件共轭先验，则存在可用的简单两块吉布斯采样器。Román和Hobert [线性代数Appl. 473（2015）54-77]表明，当先验是适当的并且$X$矩阵具有满列秩时，这些Gibbs采样器下的马尔可夫链几乎总是几何遍历的。在本文中，Román和Hobert（2015）的结果通过允许方差分量上的不适当先验，更重要的是，通过删除$X$矩阵上的所有假设来扩展。因此，$X$不仅允许（列）秩亏，这在参数化固定效应时提供了额外的灵活性，还允许列数多于行数，这在$p>N$越来越重要的情况下是必要的。关于$X$的满秩假设是Román和Hobert（2015）证明的核心。因此，扩展到无限制的$X$需要一个完全不同的分析。
2016-09-30 math.ST stat.TH
Random effects model-based sufficient dimension reduction for independent clustered data
本文提出基于随机效应模型的充分降维方法，通过假设聚类特异的中心子空间服从Grassmann流形分布来捕获聚类间异质性，并在逆回归框架下提出两阶段算法估计固定效应与随机效应中心子空间，有效提升了聚类数据的降维性能。
2024-10-13 stat.ME
Propensity score weighting for causal inference with clustered data
倾向得分加权是因果推断的一种工具，用于调整观察性研究中测量的混杂因素。在实践中，数据往往呈现复杂的结构，如聚类，这使得倾向得分建模和估计具有挑战性。此外，对于聚类数据，可能存在与治疗分配和结局均相关的未测量的聚类特异性变量。当存在此类未测量的集群特异性混杂因素，并且在倾向得分模型中被省略时，随后的倾向得分调整可能会有偏倚。在这篇文章中，我们提出了一个校准技术的倾向得分估计下的潜在可重复的治疗分配机制，即，考虑到观察到的协变量和潜在的集群效应，治疗-结果关系是无混杂的。当倾向得分和结果遵循广义线性混合效应模型时，我们提供了平均处理效应的一致倾向分数加权估计。建议的倾向得分加权估计是有吸引力的，因为它不需要规范的倾向得分和结果模型的功能形式，因此是强大的模型误指定。建议的加权方法可以结合抽样权重的综合解决方案，以处理混杂和抽样设计的因果推断与聚类调查数据。在模拟研究中，我们表明，所提出的估计是优于其他竞争对手。我们评估了学校体重指数筛查对宾夕法尼亚州小学超重和肥胖患病率的影响。
2017-03-17 stat.ME
Nonparametric Method for Clustered Data in Pre-Post Factorial Design
在涉及聚类单元的重复测量析因设计中，使用参数方法（如线性混合效应模型）来处理受试者内相关性。然而，这些参数模型的假设，如连续性和正态性通常是很难得到在许多情况下。同方差假设在实践中很难验证。此外，这些假设甚至可能不现实，当数据是在一个非度量尺度测量时，就像通常发生的那样，例如，在生活质量结果中。在这篇文章中，非参数效应量措施的聚集数据的析因设计与前后测量将被介绍。效应量指标提供了治疗和时间效应的直观可解释和信息丰富的概率比较。在治疗组之间，聚类内的观察结果之间的依赖性可以是任意的。将讨论效应量估计量及其用于计算置信区间和进行假设检验的渐近性质。本文研究了在小样本下保持某些最优渐近行为的具有$χ^2$近似的ANOVA型统计量。在每个治疗组中，我们允许一些聚类涉及干预前后的观察结果（称为完整聚类），而另一些聚类仅包含干预前后的观察结果（称为不完整聚类）。我们的方法被证明是，特别有效的存在多种形式的聚类。所开发的非参数方法说明了从三臂随机试验的室内木材烟雾减少的数据。该研究考虑了两种积极的治疗方法，以改善生活在使用木材炉取暖的家庭中的儿童的哮喘症状。
2021-04-11 stat.ME
Estimation for High-Dimensional Linear Mixed-Effects Models Using $\ell_1$-Penalization
我们提出了一个$\ell_1$惩罚估计程序的高维线性混合效应模型。该模型是有用的，只要有一个分组结构之间的高维观测，即聚类数据。我们证明了一个一致性和一个预言的最优性结果，我们开发了一个算法，可证明的数值收敛。此外，我们证明了模拟和真实的高维数据集上的方法的性能。
2010-11-25 stat.CO stat.ME
Inference for high-dimensional linear mixed-effects models: A quasi-likelihood approach
线性混合效应模型广泛应用于分析聚类或重复测量数据。提出了一种估计和推断高维固定效应线性混合效应模型中未知参数的拟似然方法。所提出的方法适用于一般的设置中的尺寸的随机效应和集群的大小可能是大的。关于固定效应，我们提供了不依赖于方差分量的结构信息的速率最优估计量和有效的推断过程。我们还研究了一般情况下高维固定效应下方差分量的估计。该算法易于实现，计算速度快。所提出的方法进行了评估，在各种模拟设置，并施加到一个真正的研究，关于身体质量指数和遗传多态性标记之间的关联在一个异质性股票小鼠种群。
2021-03-09 stat.ME
Mixed-effects models using the normal and the Laplace distributions: A $\mathbf{2 \times 2}$ convolution scheme for applied research
在统计应用中，正态分布和拉普拉斯分布经常被对比：前者作为标准分析工具，后者作为其强大的对应物。我将讨论这两个流行的分布的卷积及其在研究中的应用。我考虑了一个简单的$2\times 2$方案中的四个模型，该方案在聚类分析中具有实际意义（例如，纵向）数据。在我看来，这些模型，其中一些是不知道比其他大多数应用研究人员，构成了一个“家庭”的明智的替代品时，建模问题出现。在三个例子中，我重新审视了最近在流行病学和临床文献中发表的数据以及经典的生物数据集。
2017-12-19 stat.ME
Gradient Boosting for Linear Mixed Models
来自统计学习领域的梯度提升被广泛认为是通过适应分类理论的概念来估计和选择各种回归模型中的预测器效应的强大框架。电流提升方法还提供了考虑随机效应的方法，从而能够预测纵向和聚类数据的混合模型。然而，这些方法包括几个缺陷，导致不平衡的效果选择与错误地诱导收缩和低收敛速度，一方面和有偏估计的随机效应的另一方面。因此，我们提出了一个新的提升算法，明确占随机结构，排除它从选择过程中，适当地纠正随机效应估计，并提供基于似然估计的随机效应方差结构。新算法提供了一个有机的和无偏的拟合方法，这是通过模拟和数据的例子。
2020-11-02 stat.ME
Weighted Sum-of-Trees Model for Clustered Data
The University of Texas MD Anderson Cancer Center（德克萨斯大学MD安德森癌症中心）
本文提出加权树之和模型，通过为每个样本组学习决策树并结合权重，提升对非样本组的预测性能，同时支持组间相似性推断。
2026-02-03 cs.LG stat.ME
Efficient variational inference for generalized linear mixed models with large datasets
本文开发了一种混合变分贝叶斯算法，结合了平均场和固定形式的变分贝叶斯方法。新的估计算法可以用来近似任何后验，而不依赖于共轭先验。我们提出了一个划分和重组策略的大型数据集的分析，它将一个大的数据集划分成较小的块，然后结合的变分分布，已学习在每个单独的一块使用混合变分贝叶斯算法并行。将该方法应用于广义线性混合模型的拟合。并行和混合变分贝叶斯算法的计算效率证明了几个模拟和真实数据集。
2013-08-08 stat.ME
Generalized Correlation Regression for Disentangling Dependence in Clustered Data
针对聚类和纵向数据中非高斯响应的复杂相关结构，提出广义相关性回归（GCR）框架，直接将相关性建模为协变量函数并估计边际均值，在提升预测性能的同时揭示多层级依赖驱动因素。
2025-09-17 stat.AP stat.ME
Structure Learning on Clustered Data
University of Technology Sydney（悉尼科技大学）；University of Michigan（密歇根大学）
针对现有技术无法用于聚类数据结构学习的问题，提出新方法，将经典混合模型框架扩展到结构学习，通过可微图耦合机制、收敛一阶方法等，在聚类数据中检测到其他估计器遗漏的依赖关系。
2026-07-10 cs.LG stat.ME stat.ML
Consistent Fixed-Effects Selection in Ultra-high dimensional Linear Mixed Models with Error-Covariate Endogeneity
最近，应用科学，包括生物医学中的纵向和聚类研究，需要分析超高维线性混合效应模型，我们需要从大量的候选变量中选择重要的固定效应变量。然而，所有现有的文献都假设所有可用的协变量和随机效应分量与模型误差无关，而模型误差在实践中经常被违反（内隐）。在本文中，我们首先研究了这个重要的问题，在超高维线性混合效应模型，特别是侧重于固定效应的选择。我们研究了不同类型的内隐函数对现有正则化方法的影响，并证明了它们的不一致性。然后，我们提出了一种新的轮廓聚焦广义矩量法（PFGMM）方法，以在“误差协变量”内隐条件下一致地选择固定效应，即，模型误差和协变量之间存在相关性。我们的建议被证明是预言机一致的概率趋于一，并在大多数其他类型的内隐式也很好。此外，我们还提出并说明了一些一致的参数估计，包括那些方差分量，以及通过PFGMM变量选择。实证模拟和一个有趣的真实数据的例子进一步支持我们的建议声称的效用。
2020-04-26 stat.ME
Methods of Selective Inference for Linear Mixed Models: a Review and Empirical Comparison
本文综述了线性混合模型中固定效应选择后的选择性推断方法，通过模拟和真实生物数据比较其性能与计算可行性，发现变量增多时方法稀缺，样本分割最可靠。
2025-03-12 stat.ME
Multilevel models for continuous outcomes
多层次模型（混合效应模型或分层线性模型）现在是分析社会、行为和医学科学中集群和纵向数据的标准方法。这篇综述文章的重点是连续响应（结果或因变量）的多水平线性回归模型。这些模型可以被视为传统线性回归模型的扩展，以解释数据中的聚类并从中学习。常见的聚类应用包括学校对学生成绩的影响，医院对病人健康的影响，以及邻里对受访者态度的影响。在所有这些例子中，多层次模型允许人们研究回归关系如何在集群之间变化，识别预测这种变化的集群特征，解开在不同分析层次上运行的社会过程，并进行集群特定的预测。常见的纵向应用包括研究个人身高和体重的生长曲线以及个人行为的发展轨迹。在这些例子中，多层次模型允许一个描述和解释增长率的变化，并同时探索预测内和个体间的变化。本文介绍并举例说明了这类功能强大的模型。我们首先集中在最常用的两个水平的随机截距和斜率模型。我们通过两个详细的例子来说明如何将这些模型应用于集群和纵向数据，并在观测和实验设置。然后，我们审查更灵活的三个层次，交叉分类，多个成员和多变量响应模型。最后，我们推荐一系列关于所有这些主题的进一步阅读。
2019-07-12 stat.ME
Empirical Likelihood Inference of Variance Components in Linear Mixed-Effects Models
线性混合效应模型广泛应用于分析重复测量数据，包括聚类数据和纵向数据，其中固定效应和方差分量的推断都很重要。与已得到充分研究的固定效应推断不同，由于空值位于边界上以及固定效应的干扰参数，对方差分量的推断更具挑战性。现有的方法通常需要对随机效应和随机误差进行强分布假设。在本文中，我们开发了经验似然为基础的方法，在固定效应的存在下的方差分量的推断。导出了方差分量的经验似然比统计量的Wilks定理的非参数形式。我们还开发了一个经验似然检验的多个方差分量相关的一系列相关的结果。仿真研究表明，所提出的方法表现出更好的类型1错误控制比常用的似然比检验时，高斯分布假设的随机效应被违反。我们应用这些方法来研究澳大利亚双胞胎研究中通过可穿戴设备测量的身体活动的遗传性，并观察到这种活动仅在0.375至0.514的分位数范围内是可遗传的。
2022-08-30 stat.ME
A stochastic variational framework for fitting and diagnosing generalized linear mixed models
在随机变分推断中，使用随机梯度近似来优化变分贝叶斯目标函数，其中在小的随机数据子集上计算的梯度用于近似整个数据集上的真实梯度。这使得复杂的模型能够适应大型数据集，因为数据可以在小批量中处理。本文将共轭指数模型的随机变分推断推广到非共轭模型，并提出了一种适合于大数据集的广义线性混合模型的随机非共轭变分消息传递算法。此外，我们表明，诊断先验似然冲突，这是有用的贝叶斯模型的批评，可以从非共轭变分信息自动传递，作为替代基于模拟的马尔可夫链蒙特卡罗方法。最后，我们证明，对于中等规模的数据集，收敛速度可以通过使用随机版本的非共轭变分消息传递在初始阶段的优化之前切换到标准版本。
2014-03-28 stat.ME
Analysis of Relaxation Methods for Feature Selection in Mixed Effects Models
线性混合效应（LME）模型是一个基本的工具，用于建模集群数据，包括队列研究，纵向数据分析和荟萃分析。大型海洋生态系统变量选择方法的设计和分析比线性回归困难得多，因为大型海洋生态系统模型是非线性的。这里考虑的方法是由最近的稀疏松弛正则化回归（SR 3）的变量选择的背景下，线性回归的方法。发展的理论基础，建议扩展到大海洋生态系统，包括一致性结果，变分性质，可实施的优化方法，和收敛结果。特别是，我们提供了一个基本的实现SR3 LME（称为MSR3）和加速混合算法（称为MSR3快速）的收敛性分析。数值结果表明，这些算法的实用性和速度在现实的模拟数据集。数值实现可在开源Python包pysr 3中获得。
2022-09-26 math.OC stat.ME
Longitudinal modeling of age-dependent latent traits with generalized additive latent and mixed models
我们提出了广义加性潜伏和混合模型（GALASTIC）的聚类数据的响应和潜变量依赖于观测变量顺利分析。提出了一种可扩展的极大似然估计算法，利用拉普拉斯近似，稀疏矩阵计算，自动微分。混合响应类型、异方差性和交叉随机效应自然被纳入框架。开发的模型的动机是在认知神经科学中的应用，并提出了两个案例研究。首先，我们展示了GALASTIC如何共同模拟情节记忆，工作记忆和速度/执行功能的复杂寿命轨迹，分别由加利福尼亚语言学习测试（CVLT），数字广度测试和Stroop测试测量。接下来，我们研究了社会经济地位对大脑结构的影响，使用教育和收入数据以及通过磁共振成像估计的海马体积。通过将半参数估计与潜在变量建模相结合，GALASTIC可以更真实地表示大脑和认知在整个生命周期中的变化，同时从测量项目中估计潜在特征。模拟实验表明，即使在中等样本量的情况下，模型估计值也是准确的。
2023-02-02 stat.AP stat.ME
Canonical fundamental skew-t linear mixed models
在临床试验中，研究经常呈现纵向数据或聚类数据。这些研究通常使用线性混合模型（LLM）进行分析，通常考虑随机效应和误差项的高斯假设。最近，一些提案扩展了传统LMM的限制性假设，通过更灵活的假设，可以适应偏度和重尾，因此对离群值更鲁棒。本文提出了一个典型的基本偏t线性混合模型（ST-LMM），它允许非对称和重尾随机效应和误差，并包括几个重要的情况作为特殊情况，这是提出和考虑模型选择。对于这个强大的和灵活的模型，我们提出了一个有效的EM型算法参数估计通过极大似然，实现在一个封闭的形式，通过探索的ST-LMM的分层表示。此外，还讨论了标准误和随机效应的估计。该方法是通过应用程序来说明精神分裂症的数据和一些模拟研究。
2021-09-24 math.ST stat.ME stat.TH
Simultaneous inference for linear mixed model parameters with an application to small area estimation
在过去的几十年里，线性混合模型在应用统计学的各个领域都引起了相当大的关注。它们在研究聚类、层次或纵向数据时很受欢迎。尽管如此，有效的同时推断混合参数的统计工具是罕见的。这是令人惊讶的，因为一个经常面临的推理问题以外的逐点检查固定或混合参数。例如，在重复测量的研究中，有兴趣对聚类水平的参数或特定主题的估计值进行比较分析。我们讨论的方法，同时推断假设一个线性混合模型。具体来说，我们开发的同时预测区间以及混合参数的多重检验程序。它们对于集群级参数的联合考虑或比较是有用的。我们采用一致的bootstrap近似的分布的最大型统计量来构建我们的工具。在模拟实验中研究了所开发的方法的数值性能，并在小面积家庭收入的数据示例中进行了说明。
2021-09-16 stat.AP stat.CO stat.ME
Estimating Linear Mixed Effects Models with Truncated Normally Distributed Random Effects
线性混合效应（LME）模型在市场研究、临床试验和生物医学研究等领域的聚类数据分析中得到了广泛的应用。如果假设随机效应为正态分布，则可使用极大似然法进行推断。然而，在经济、商业和医学的许多应用中，在考虑回归参数的真实世界解释之后，对回归参数施加约束通常是必要的。因此，在本文中，我们扩展了经典的（无约束）LME模型，使其整体系数的符号约束。我们建议假设随机效应服从对称双截尾正态分布，而不是经典文献中常见的无约束正态分布。随着上述变化，难度急剧增加，因为因变量的精确分布变得难以分析。然后，我们开发了基于似然的方法来估计未知的模型参数，利用其精确分布的近似。仿真研究表明，所提出的约束模型不仅提高了现实世界的解释结果，但也取得了令人满意的性能模型拟合相比，现有的模型。
2021-07-31 stat.ME stat.ML
Subgroup detection in linear growth curve models with generalized linear mixed model (GLMM) trees
本文将GLMM树从聚类横截面数据扩展到纵向增长曲线数据，用于识别轨迹形状不同的子组；实验表明其准确度优于原始算法和LongCART、与SEM树相当，且更稳健、计算更快。
2023-09-11 stat.ME stat.ML
Extended multivariate generalised linear and non-linear mixed effects models
多变量数据出现在广泛的领域，提出了更加灵活的模型规范，通常在多变量广义线性混合效应（MGLME）框架内。在这篇文章中，我们描述了一个扩展的框架，包括任何类型的多个结果，其中每一个可以重复测量（纵向），与任何数量的水平，并与任何数量的随机效应在每个水平。描述了许多标准分布，以及非标准的用户定义的非线性模型。该扩展专注于每个结果模型的复杂线性预测器，允许以极其灵活的方式在结果模型之间共享和链接，可以直接链接随机效应，也可以在另一个结果的线性预测器中链接一个结果（或其函数）的预期值。通过使用样条或分数多项式，非线性和时间相关效应也无缝地并入线性预测器。我们进一步提出了特定水平的随机效应分布和数值积分技术，以提高可用性，放松正态分布的随机效应假设，允许多元$t$分布的随机效应。我们考虑一些特殊的情况下的一般框架，描述了一些新的模型，在该领域的集群生存数据，联合生存模型，并讨论了各种潜在的用途的实现。用户友好，易于扩展，软件提供。
2017-10-05 stat.CO stat.ME
Uniformly Valid Inference Based on the Lasso in Linear Mixed Models
本文针对高斯线性混合模型，基于Lasso型估计量构建固定效应置信集，量化变量选择与参数估计的联合不确定性，并证明其一致有效性及优于朴素选择后程序。
2023-08-16 math.ST stat.ME stat.TH
Scalable Krylov Subspace Methods for Generalized Mixed-Effects Models with Crossed Random Effects
Lucerne University of Applied Sciences and Arts（卢塞恩应用科学与艺术大学）；Seminar for Statistics, ETH Zurich（苏黎世联邦理工学院统计研究所）；University of Basel（巴塞尔大学）
本文提出基于克雷洛夫子空间的方法，解决高维交叉随机效应下的计算瓶颈，理论和实验证明其在速度和稳定性上的优势。
2026-09-14 cs.LG stat.ME stat.ML
Conjugate gradient methods for high-dimensional GLMMs
本文针对高维广义线性混合模型，提出使用共轭梯度方法替代稠密Cholesky分解，结合谱分析与随机图理论证明其线性复杂度，并用数值实验验证了方法的有效性及局限性。
2025-10-07 math.ST stat.CO stat.ME
Fisher Scoring for crossed factor Linear Mixed Models
纵向、异构或不平衡聚类数据的分析对于广泛的应用是至关重要的。线性混合模型（LMM）是专门为此目的而设计的线性模型的流行和灵活的扩展。从历史上看，LMM上发表的很大一部分材料涉及流行的数值优化算法的应用，如牛顿-拉夫森，费舍尔评分和期望最大化到单因子LMM（即LMM只包含一个“因子”，观察结果被分组）。然而，近年来，LMM文献的重点已经转向更复杂，多因子设计的估计和推理方法的发展。在本文中，我们提出并推导出新的表达式的经典用于单因素LMM参数估计，Fisher评分，多，交叉因子设计的算法的扩展。通过模拟和真实数据的例子，我们比较了五个变种的Fisher Scoring算法彼此之间，以及对R包lmer建立的基线，并找到证据的正确性和强大的计算效率的五个建议的方法。此外，我们提供了一个新的方法LMM Satterthwaite自由度估计的基础上的分析结果，这不需要迭代梯度估计。通过仿真，我们发现，这种方法产生的估计具有较低的偏差和较低的方差比现有的方法。
2021-02-12 stat.CO stat.ME
A Transformation Perspective on Marginal and Conditional Models
在对照研究和观察性研究中，重复观察是普遍存在的，在多中心试验或纵向调查中也会自然出现。本文提出了一种新的聚类分析模型，其中边缘分布用线性变换模型描述，相关性用联合多元正态分布描述。联合模型提供了边缘分布的解析公式。由于转换模型的丰富性，这些技术适用于任何类型的响应变量，包括有界、偏斜、二元、有序或生存响应。我们展示了如何在睡眠剥夺基准数据集中放松反应时间的共同正态假设，并报告了众所周知的困难脚趾甲数据的边际比值比。我们还讨论了两个临床试验的分析，旨在估计边际处理效应。在第一次试验中，疼痛反复评估有界视觉模拟量表和边际比例优势模型。第二项试验报告了直肠癌患者的无病生存率，其中Weibull和Cox模型的边际风险比特别令人感兴趣。实证评估比较的性能的新方法，一般估计方程的二进制响应和条件的混合效应模型的连续响应。在R系统的“tram”附加包中提供了一个实现，并根据文献中建立的模型进行了基准测试。
2022-11-02 math.ST stat.ME stat.TH
A comparison of methods for the analysis of binomial proportion data in behavioral research
在行为和精神病学研究中，经常会出现由有限数量的试验中每个受试者的“成功”和“失败”比例组成的数据。这类聚集的二进制数据通常是非正态分布的，如果应用通常的一般线性模型并且样本量较小，则可能会导致参数估计和预测问题。在这里，我们研究了一些可用的分析方法的性能适用于比例数据的分析，即线性回归，泊松回归，β-二项回归和广义线性混合模型（GLISPR）。我们报告的结论，从模拟研究评估功率和I型错误率的这些模型的情况下，类似于那些遇到的行为研究人员和不同的样本量，集群大小和固定效应参数;此外，我们描述了从应用这些方法的数据从两个真正的行为实验的结果。我们的研究结果表明，虽然GLSTO和β-二项回归是分析聚类二进制结果的强大工具，但线性近似仍然可以在这种情况下提供可靠的假设检验。另一方面，泊松回归在用于比例数据建模时，可能会严重受到模型误设的影响。我们的结论提供了一些指导方针，选择合适的分析仪器，样品和集群大小取决于实验条件。
2016-05-06 q-bio.NC q-bio.QM stat.ME
