Bayesian high-dimensional covariate selection in non-linear mixed-effects models using the SAEM algorithm
针对非线性混合效应模型中的高维协变量选择问题，提出结合 spike-and-slab 先验与 SAEM 算法的贝叶斯方法，通过惩罚参数网格选择相关变量，兼具速度、性能与灵活性。
2024-04-05 math.ST stat.TH
Bayesian Boosting for Linear Mixed Models
University of Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）
Boosting方法因其变量选择特性而被广泛应用于统计学习中处理高维数据。然而，这些方法缺乏直接的方法来构建参数精度的估计，如方差或置信区间，这可以通过传统的统计方法，如贝叶斯推断。本文针对线性混合模型提出了一种新的推理方法“BayesBoost”，它将Boosting和Bayesian相结合，一方面使随机效应的不确定性估计成为可能。另一方面，新方法克服了贝叶斯推断的缺点，在提供精确和明确的指导方针的协变量的选择，受益于boosting技术。贝叶斯推断的实现导致模型选择准则的随机性，如条件AIC（cAIC），所以我们也提出了一个基于cAIC的模型选择准则，专注于稳定的区域，而不是全局最小值。新方法的有效性可以通过模拟和来自神经生理学领域的数据示例来观察，该领域专注于在听不愉快的声音时大脑中的机制。
2021-06-09 cs.LG stat.ME stat.ML
Hybrid Parameter Search and Dynamic Model Selection for Mixed-Variable Bayesian Optimization
University of California, Berkeley（加州大学伯克利分校）；Lawrence Berkeley National Laboratory（劳伦斯伯克利国家实验室）
针对含连续、整数和分类变量的贝叶斯优化问题，提出 hybridM，将 MCTS/UCTS 与 GP 结合，并引入动态在线核选择，实验验证其优越性。
2024-01-19 cs.LG math.ST stat.ML
Bayesian Compressed Mixed-Effects Models
本文提出压缩混合效应模型，通过随机投影降低随机效应协方差维度并结合收缩先验与折叠吉布斯采样，在预测、区间覆盖和固定效应选择上优于现有方法。
2025-07-22 stat.CO stat.ME
Two-Step Mixed-Type Multivariate Bayesian Sparse Variable Selection with Shrinkage Priors
提出一种使用收缩先验的混合类型多元回归贝叶斯框架，通过新颖的两步变量选择方法，在 $p$ 相对 $n$ 呈指数增长时实现后验收缩，并具备确定筛选性质。
2024-12-19 math.ST stat.TH
Exploring natural variation in tendon constitutive parameters via Bayesian data selection and mixed effects models
本文通过贝叶斯混合效应模型结合分层贝叶斯数据选择方法，分析马群中SDFT和CDET肌腱本构参数的自然变异，发现CDET更硬且胶原相关参数更高，为肌腱力学特性的群体差异研究提供方法与数据支持。
2025-08-22 stat.AP
A Bayesian Finite Mixture Model with Variable Selection for Data with Mixed-type Variables
University of Florida（佛罗里达大学）；University of Florida Health Cancer Center（佛罗里达大学健康癌症中心）；University of Pittsburgh（匹兹堡大学）
有限混合模型是聚类方法的一个重要分支，可以应用于混合类型变量的数据集。然而，在其应用中存在挑战。首先，它通常依赖于期望最大化算法，该算法可能对初始值的选择敏感。其次，生物标志物受检测限（LOD）的限制在临床数据中是常见的，这将删失变量带入有限混合模型。此外，由于可用于聚类的变量数量越来越多，研究人员最近对变量重要性越来越感兴趣。为了解决这些挑战，我们提出了一个贝叶斯有限混合模型，同时进行变量选择，占生物标志物LOD和获得聚类结果。为了克服期望最大化算法的局限性，我们采用贝叶斯方法来获得参数估计和聚类隶属度。为了解释LOD，我们在吉布斯抽样中增加了一个步骤，以迭代地填充低于或高于LOD的生物标志物值。此外，我们把一个尖峰和平板型的先验对每个变量，以获得变量的重要性。在各种情况下进行模拟，以检查这种方法的性能。还进行了电子健康记录的真实数据应用。
2019-05-09 cs.LG stat.AP stat.ML
A Bayesian Integrative Mixed Modeling Framework for Analysis of the Adolescent Brain and Cognitive Development Study
扩展贝叶斯整合分析与预测（BIP）框架提出BIPmixed，通过结合2级嵌套随机效应实现特征选择与结果建模，有效整合多视图数据并应用于ABCD研究。
2025-01-29 stat.AP stat.ME
Bayesian Optimisation for Mixed-Variable Inputs using Value Proposals
Data61, CSIRO（澳大利亚联邦科学与工业研究组织Data61）；Manufacturing, CSIRO（澳大利亚联邦科学与工业研究组织制造部）
许多现实世界的优化问题都是针对分类变量和连续变量定义的，但贝叶斯优化（BO）等高效优化方法并不是为了处理此类混合变量搜索空间而设计的。最近的方法来解决这个问题投的分类变量的选择作为一个强盗问题，独立操作旁边的BO组件，优化连续变量。在本文中，我们采用了一个整体的观点，旨在巩固优化的分类和连续的子空间下一个单一的收购指标。我们从ExpectedImprovement标准中获得候选项，我们称之为值建议，并使用这些建议对输入的分类和连续分量进行选择。我们表明，这种统一的方法显着优于现有的混合变量优化方法在几个混合变量的黑盒优化任务。
2022-02-17 cs.LG stat.ML
An iterative algorithm for joint covariate and random effect selection in mixed effects models
我们考虑一般混合效应模型中固定效应和随机效应的联合选择。估计的混合效应模型的解释是具有挑战性的，因为改变一组效应的结构可能导致模型中重要协变量的不同选择。我们提出了一个逐步选择算法来执行固定和随机效应的同时选择。它是基于BIC型标准，其处罚适用于混合效应模型。所提出的程序执行模型选择在线性和非线性模型。它应用于低维设置，其中协变量数量和随机效应数量相对于观察总数而言是中等的。该算法的性能进行评估，通过模拟研究，其中也包括一个比较研究的替代品时，在文献中。该方法的使用说明在抗生素剂动力学的临床研究。
2020-02-25 stat.ME
Fixed effects selection in the linear mixed-effects model using adaptive ridge procedure for L0 penalty performance
本文讨论了线性混合效应模型中固定效应的选择以及固定效应、随机效应和方差分量的估计。我们引入了一个选择过程的基础上的自适应岭（AR）惩罚的轮廓似然，其中的随机效应的协方差阵是Cholesky因式分解。该选择程序适用于低维和高维设置，其中允许固定效应的数量随总样本量呈指数增长，由于L0罚分引起的非凸优化问题而产生技术困难。通过大量的仿真研究，该程序相比，LASSO选择，似乎享有模型选择的一致性，以及估计的一致性。
2017-05-05 stat.ME
spikeSlabGAM: Bayesian Variable Selection, Model Choice and Regularization for Generalized Additive Mixed Models in R
R软件包spikeSlabGAM在高斯、二项式和泊松响应的（geo-）加性混合模型中实现贝叶斯变量选择、模型选择和正则化估计。其目的是（1）选择潜在协变量及其相互作用的适当子集，（2）确定是否需要线性或更灵活的函数形式来建模各个协变量的影响，以及（3）估计它们的形状。模型项的选择和正则化是基于与参数和半参数效应相关的系数组上的新的尖峰和板型先验。
2011-05-26 stat.ME
A Bayesian Finite Mixture Model Approach for Mixed-type Data Clustering and Variable Selection with Censored Biomarkers
University of Pittsburgh（匹兹堡大学）
本文提出一种贝叶斯有限混合模型方法，用于处理混合类型数据的聚类和变量选择，尤其在处理截断生物标志物方面具有优势，通过模拟研究和实际数据集验证其在复杂生物医学数据中的有效性。
2026-06-23 stat.AP
On the propriety of the posterior of hierarchical linear mixed models with flexible random effects distributions
在随机效应正态性假设下，研究了贝叶斯分层线性混合模型中不适当先验的使用。我们研究了更灵活的分布假设和一般不适当的先验结构下的后验的适当性。
2014-09-23 math.ST stat.TH
Convex method for selection of fixed effects in high-dimensional linear mixed models
由于许多应用，例如遗传学（全基因组关联研究中的DNA数据），光谱学或网络分析，高维数据的分析目前是一个热门的研究领域。与此同时，遗传学中出现的问题类型通常可以使用线性混合模型结合高维数据进行建模，因为线性混合模型允许我们指定模型的协方差结构。这使我们能够捕捉数据中的关系，如人口结构，家庭相关性，在本文中，我们引入了两个新的凸变量选择方法在高维线性混合模型，由于凸性，可以处理更多的变量比现有的非凸方法。这两种方法与现有的方法进行了比较，并在最后，我们提出了一种更广泛的一类线性混合模型的方法。
2018-05-24 stat.ME
Analysis of the Polya-Gamma block Gibbs sampler for Bayesian logistic linear mixed models
在这篇文章中，我们使用Polson等人（2013）的数据增强技术，在适当的先验条件下，使用Polya-Gamma潜变量构建了贝叶斯逻辑线性混合模型的两块Gibbs采样器。此外，我们证明了这种Gibbs抽样的一致遍历性，这保证了基于MCMC估计的中心极限定理的存在性。
2017-11-17 math.ST stat.TH
Best subset selection in linear regression via bi-objective mixed integer linear programming
研究了在给定n个观测值的线性回归中p个特征的最佳子集的选择问题。这个问题自然包含两个目标函数，包括最小化偏差量和最小化预测因子的数量。现有的方法将问题转化为一个单目标优化问题。我们解释了现有方法的主要弱点，并克服其缺点，我们提出了一个双目标混合整数线性规划方法。计算研究表明，所提出的方法的有效性。
2018-04-21 stat.ME
A scalable and efficient covariate selection criterion for mixed effects regression models with unknown random effects structure
我们提出了一个新的模型选择准则的混合效应回归模型，是可计算的，当模型拟合的两步法，即使当结构和分布的随机效应是未知的。该标准是特别有用的，在早期阶段的模型建立过程中，需要决定哪些协变量应包括在一个混合效应回归模型，但没有知识的随机效应结构。这在变量选择以信息标准而不是正规化为指导的实质性领域尤其相关。该标准的计算只需要集群级对数似然的评价，并不依赖于沉重的数值积分。我们提供了理论和数值参数来证明该方法的合理性，我们通过对年轻的美国印第安人的社会经济研究的数据分析来说明它的实用性。
2017-03-22 stat.ME
Bayesian Adaptive Lasso with Variational Bayes for Variable Selection in High-dimensional Generalized Linear Mixed Models
本文介绍了一个完整的贝叶斯处理同时固定效应选择和参数估计的高维广义线性混合模型。该方法包括使用贝叶斯自适应Lasso惩罚信号级自适应收缩和快速变分贝叶斯方案估计后验模式的系数。与现有的方法相比，该方法具有自适应收缩参数的自动加入，不需要拉普拉斯近似步骤来积分出随机效应等优点。几个模拟和真实数据的例子说明了我们的方法的性能。该算法在R软件包glmmvb中实现，并可在线使用。
2016-08-30 stat.ME
A Relaxation Approach to Feature Selection for Linear Mixed Effects Models
线性混合效应（LME）模型是对相关数据建模的基本工具，包括队列研究、纵向数据分析和荟萃分析。由于LME模型是非线性的，因此LME变量选择方法的设计和分析比线性回归更困难。在这项工作中，我们提出了一个松弛策略和优化方法，使各种各样的变量选择方法的LME使用凸和非凸正则化，包括$\ell_1$，自适应$\ell_1$，CAD和$\ell_0$。计算框架只需要每个正则化器的近似运算符可用，并且可以在开源python包pysr 3中实现，与sklearn标准一致。模拟数据集上的数值结果表明，所提出的策略提高了最先进的精度和计算时间。变量选择技术也验证了一个真实的例子，使用欺负受害的数据集。
2022-05-13 stat.ME
Selection and Estimation for Mixed Graphical Models
我们考虑的问题，估计的参数在一个成对的图形模型中，每个节点的分布，在其他的条件下，可能有一个不同的参数形式。特别地，我们假设每个节点的条件分布是指数族。我们确定了一个定义良好的联合密度的存在所需的参数空间上的限制，并建立了一致性的邻域选择方法的图形重建在高维时，真正的底层图形是稀疏的。受我们的理论结果的启发，我们调查节点之间的边缘的选择，其条件分布采取不同的参数形式，并表明，如果从特定节点的回归得到的边缘估计被用来重建图，可以获得效率。这些结果与高斯，伯努利，泊松和指数分布的例子说明。我们的理论研究结果证实了模拟研究的证据。
2014-08-01 stat.ME
Variable Selection for Fixed and Random Effects in Multilevel Functional Mixed Effects Models
提出MuFuMES方法，用于多水平函数回归中同时选择固定和随机效应，通过SSGL先验和ECM算法实现，在模拟和NHANES数据中有效识别年龄和种族特异的身体活动模式异质性。
2025-10-23 stat.ME
Consistent Fixed-Effects Selection in Ultra-high dimensional Linear Mixed Models with Error-Covariate Endogeneity
最近，应用科学，包括生物医学中的纵向和聚类研究，需要分析超高维线性混合效应模型，我们需要从大量的候选变量中选择重要的固定效应变量。然而，所有现有的文献都假设所有可用的协变量和随机效应分量与模型误差无关，而模型误差在实践中经常被违反（内隐）。在本文中，我们首先研究了这个重要的问题，在超高维线性混合效应模型，特别是侧重于固定效应的选择。我们研究了不同类型的内隐函数对现有正则化方法的影响，并证明了它们的不一致性。然后，我们提出了一种新的轮廓聚焦广义矩量法（PFGMM）方法，以在“误差协变量”内隐条件下一致地选择固定效应，即，模型误差和协变量之间存在相关性。我们的建议被证明是预言机一致的概率趋于一，并在大多数其他类型的内隐式也很好。此外，我们还提出并说明了一些一致的参数估计，包括那些方差分量，以及通过PFGMM变量选择。实证模拟和一个有趣的真实数据的例子进一步支持我们的建议声称的效用。
2020-04-26 stat.ME
Mixed Effect Modeling and Variable Selection for Quantile Regression
已知分位数回归（QR）的估计方程可以使用期望最大化算法求解，其中M步通过加权最小二乘法计算，在E步处计算的权重作为独立广义逆高斯变量的期望。这里利用这一事实来扩展QR，以允许线性预测器中的随机效应。在这种设置的算法的收敛性建立表明，它是一个广义交替最小化（GAM）的过程。另一个修改的期望最大化算法也允许我们适应最近提出的方法，平均回归模型中的变量选择的QR设置。仿真结果表明，所得到的方法显着优于使用套索惩罚的QR模型中的变量选择。应用到实际数据包括住院时间的脆弱QR分析，以及使用高维基因表达阵列预测肺癌发病年龄和核黄素生产率的变量选择。
2021-04-17 stat.ME
Post-selection inference for linear mixed model parameters using the conditional Akaike information criterion
我们研究了线性混合模型中固定参数和混合参数的后选择推断问题，使用条件赤池信息准则作为模型选择过程.在线性混合模型的框架内，我们发展了完整的理论来构建置信区间的回归和混合参数在三个框架：嵌套和一般模型集以及误指定的模型。我们的理论分析是伴随着一个模拟实验和后选择检查平均收入在加利西亚的县。我们的数值研究证实了我们的新程序的良好性能。此外，他们揭示了一个惊人的鲁棒性的模型错误指定的一个天真的方法来构建的置信区间的混合参数，这是在对比我们的研究结果的固定参数。
2021-09-22 stat.AP stat.CO stat.ME
Hierarchical selection of genetic and gene by environment interaction effects in high-dimensional mixed models
本文提出基于正则化惩罚拟似然估计的统一方法，在高维混合模型中实现基因-环境交互效应的分层选择，兼顾群体结构与共享环境暴露，模拟和真实数据验证其控制假阳性且预测性能最佳。
2023-12-20 stat.ME
Selective Inference for Additive and Linear Mixed Models
本文研究了在模型选择后对可加性和线性混合模型进行有效推理的问题。克服模型选择后过度自信的推理结果的一种可能的解决方案是选择性推理，其构成选择后推理框架，通过对选择事件进行条件化来产生有效的推理语句。我们最近的工作选择性推理类的添加剂和线性混合模型的任何类型的模型选择机制，可以表示为一个函数的结果变量（并可能在协变量上，它的条件）。我们调查的性质，我们的建议在模拟研究和应用框架的数据集在货币经济学。由于我们提出的方法的一般性，所提出的方法也适用于非标准的选择程序，我们在我们的应用程序中证明。在这里，最终添加剂混合模型选择使用分层选择过程，这是基于条件赤池信息标准，并涉及不同的数据集大小。
2020-12-20 stat.CO stat.ME
Stochastic Search Variable Selection for Bayesian Generalized Linear Mixed Effect Models
本文将 Yang 等（2020）面向线性混合模型的 SSVS 方法扩展至贝叶斯 GLMMs，以联合选择固定效应与随机效应，并通过模拟与真实数据验证其有效性及超参数影响。
2024-12-02 stat.AP stat.ME
MIP-BOOST: Efficient and Effective $L_0$ Feature Selection for Linear Regression
数学规划的最新进展使混合最优化成为在回归问题中选择特征的流行正则化方法的一个有竞争力的替代方案。这种方法无疑具有基本的吸引力和多功能性，但也提出了重要的挑战。在这里，我们提出了MIP-BOOST，一个标准的混合编程特征选择的修订版，减少了调整关键稀疏边界参数的计算负担，并提高了性能的特征共线性和信号的性质和强度不同的存在。最终的结果是一个更有效的和有效的$L_0$功能选择方法的实际规模和复杂性的应用程序，严格的交叉验证调整和精确优化相关的混合并行程序的基础上。通过三个独立但协同的建议，实现了在现实场景中的计算可行性和改进的性能。
2019-09-30 stat.ME
Gradient Boosting for Linear Mixed Models
来自统计学习领域的梯度提升被广泛认为是通过适应分类理论的概念来估计和选择各种回归模型中的预测器效应的强大框架。电流提升方法还提供了考虑随机效应的方法，从而能够预测纵向和聚类数据的混合模型。然而，这些方法包括几个缺陷，导致不平衡的效果选择与错误地诱导收缩和低收敛速度，一方面和有偏估计的随机效应的另一方面。因此，我们提出了一个新的提升算法，明确占随机结构，排除它从选择过程中，适当地纠正随机效应估计，并提供基于似然估计的随机效应方差结构。新算法提供了一个有机的和无偏的拟合方法，这是通过模拟和数据的例子。
2020-11-02 stat.ME
Post-Selection Inference for Multiverse Analysis in Mixed-Effects Models (PIMAX)
University of Bologna（博洛尼亚大学）
结合两种方法开发PIMAX框架，用于聚类观测的多宇宙推断，将选择后推断扩展到聚类数据设置，能处理异方差等情况，提供全局p值等多种推断结果。
2026-07-07 stat.ME
Analysis of Relaxation Methods for Feature Selection in Mixed Effects Models
线性混合效应（LME）模型是一个基本的工具，用于建模集群数据，包括队列研究，纵向数据分析和荟萃分析。大型海洋生态系统变量选择方法的设计和分析比线性回归困难得多，因为大型海洋生态系统模型是非线性的。这里考虑的方法是由最近的稀疏松弛正则化回归（SR 3）的变量选择的背景下，线性回归的方法。发展的理论基础，建议扩展到大海洋生态系统，包括一致性结果，变分性质，可实施的优化方法，和收敛结果。特别是，我们提供了一个基本的实现SR3 LME（称为MSR3）和加速混合算法（称为MSR3快速）的收敛性分析。数值结果表明，这些算法的实用性和速度在现实的模拟数据集。数值实现可在开源Python包pysr 3中获得。
2022-09-26 math.OC stat.ME
Clustering and Variable Selection in the Presence of Mixed Variable Types and Missing Data
我们考虑的问题，基于模型的聚类存在许多相关的，混合的连续和离散变量，其中一些可能有缺失值。离散变量被视为一个潜在的连续变量的方法和狄利克雷过程被用来构建一个未知数量的组件的混合模型。还执行变量选择以识别对确定聚类成员关系最有影响的变量。这项工作的动机是需要根据许多认知和/或行为测试分数对被认为可能患有自闭症谱系障碍（ASD）的患者进行聚类。数据集中有适度数量的患者（约480）以及许多（约100）测试评分变量（其中许多是离散值和/或缺失）。这项工作的目标是（i）将这些患者聚类到相似的组中，以帮助识别具有相似临床表现的患者，以及（ii）识别通知聚类的稀疏测试子集，以消除不必要的测试。所提出的方法相比，非常有利的其他方法，通过模拟这种类型的问题。ASD分析的结果表明，三个集群是最有可能的，而只有四个测试分数具有高（>0.5）后验概率的信息。这将导致更有效和信息量更大的测试。在许多相关的，连续/离散的变量与缺失值的基础上进行聚类观察的需要，是健康科学以及许多其他学科中的一个常见问题。
2018-03-11 stat.ME
Feature Selection for Data Integration with Mixed Multi-view Data
同时分析多个数据源的数据集成方法通常可以提供比单独查询每个数据源更全面的见解。基于“大数据”时代数据集成的优势，研究了混合数据类型（连续、二进制、计数值）高维多视图数据的特征选择问题.多视图数据的这种异质性对现有的特征选择方法提出了许多挑战。然而，在通过经验和理论指导的镜头严格审查这些问题后，我们开发了一个实用的解决方案，块随机自适应迭代套索（B-RAIL），它结合了随机套索，自适应加权方案和稳定性选择的优势。B-RAIL作为一种通用的数据集成方法，稀疏回归和图形选择，我们证明了B-RAIL的有效性，通过广泛的模拟和案例研究，推断卵巢癌基因调控网络。在这个案例研究中，B-RAIL成功地识别了与卵巢癌相关的众所周知的生物标志物，并暗示了未来卵巢癌研究的新候选人。
2020-01-10 stat.AP stat.ME stat.ML
Soft calibration for selection bias problems under mixed-effects models
本文针对非概率抽样中的选择偏差问题，提出一种基于混合效应模型的软校准方法，对固定效应精确校准、对随机效应近似校准，兼具最佳线性无偏预测和惩罚倾向得分加权的优势，并通过模拟和实证验证了其高效性。
2023-02-23 stat.AP stat.ME
Sparse Linear Mixed Model Selection via Streamlined Variational Bayes
线性混合模型是一种通用的统计工具，通过考虑来自多个变异性来源的固定效应和随机效应来研究数据。在许多情况下，有大量的候选固定效应可用，选择与预测响应变量有效相关的候选固定效应的一个简约子集是有意义的。变分近似便于对各种统计模型（包括线性混合模型）的参数进行快速近似贝叶斯推断。然而，对于具有大量固定或随机效应的模型，由于模型设计矩阵的大小和对由所需的近似密度参数更新引起的稀疏矩阵问题的低效处理，标准变分推断原理的简单应用不会导致快速近似推断算法。我们说明了如何最近开发的流线型变分推断程序可以推广到快速，准确的推理与嵌套的随机效应和全局-局部先验贝叶斯固定效应选择的线性混合模型的参数。我们的变分推断算法实现收敛到相同的最优的标准实现，虽然显着降低计算工作量，内存使用和时间，特别是对于大量的随机效应。使用模拟和真实数据的例子，我们评估的质量自动程序的固定效应的选择是免费的超参数调整，只依赖于变分后验近似。此外，我们通过马尔可夫链蒙特卡罗抽样对模型拟合的变分近似的高精度。
2022-09-08 stat.CO stat.ME
Modeling of Daily Precipitation Amounts Using the Mixed Gamma Weibull Distribution
通过认识到，日降水量建模的主要困难是选择一个合适的概率分布，本研究旨在建立一个模型选择框架，以确定合适的概率分布的建模日降水量从常用的概率分布，即指数，伽玛，威布尔，混合指数分布。混合伽马威布尔（MGW）分布服务于此目的，因为所有常用的概率分布都是MGW分布的特例，并且MGW分布将所有常用的概率分布集成到一个框架中。最后，通过似然比的大样本推断，建立了一个模型选择准则，从MGW分布框架中确定适合日降水量建模的模型。
2020-08-29 stat.AP stat.ME
Moment-Based Selection of Multiresponse Linear Mixed-Effects Models
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）
提出MOMENT框架，利用二阶交叉矩恒等式选择随机效应协方差矩阵和固定效应系数，通过投影梯度下降求解稀疏约束凸优化问题，并建立有限样本理论保证。
2026-07-03 stat.ME stat.ML
Non-Concave Penalization in Linear Mixed-Effects Models and Regularized Selection of Fixed Effects
混合效应模型在分析具有分层结构的数据时非常流行，例如纵向设计中受试者的重复观察，多中心设计中嵌套在中心内的患者。然而，最近，由于医学的进步，从每个患者收集的固定效应协变量的数量可能相当大，例如每个患者的基因表达数据，并且所有这些变量对于结果不一定重要。因此，正确选择相关协变量对于获得整个研究的最优推断是非常重要的。另一方面，相关的随机效应通常是低维的，并且是预先指定的。本文考虑线性混合效应模型中重要固定效应变量的正则化选择以及基于一般非凹罚的固定效应和随机效应参数的极大惩罚似然估计。对于低维情形和高维非多项式阶的样本量（参数个数远大于样本量）情形，证明了渐近和变量选择与Oracle性质的一致性.我们还提供了一个合适的计算效率的算法实现。此外，所有的理论结果证明了一个一般的非凸优化问题，适用于几个重要的情况远远超出了混合模型设置（如有限混合回归等）。这说明了我们的建议的广泛适用性。
2016-07-11 stat.AP stat.ME
The use of the EM algorithm for regularization problems in high-dimensional linear mixed-effects models
本文提出EMLMLasso算法，结合EM算法与R包glmnet进行线性混合效应模型中固定效应的Lasso变量选择，在模拟与实际应用中均优于glmmLasso，且可扩展至岭和弹性网惩罚。
2023-08-03 stat.ME
Model Selection in Variational Mixed Effects Models
针对变分混合效应模型缺乏模型选择工具的问题，推导了专门的VAIC并实现参数高效的VME，能准确区分随机效应结构并在真实数据集上验证有效性。
2023-07-31 stat.AP stat.CO stat.ME
Integrative Generalized Convex Clustering Optimization and Feature Selection for Mixed Multi-View Data
在混合多视图数据中，在同一组样本上测量多组不同的特征。通过整合所有可用的数据源，我们试图发现可能隐藏在一个单一的数据视图的个人主义集群分析的样本之间的共同的组结构。虽然这种综合聚类的几种技术已被探索，我们提出并开发了一个凸形式化，将继承强大的统计，数学和经验性质的日益流行的凸聚类方法。具体来说，我们的综合广义凸聚类优化（iGecco）方法采用不同的凸距离，损失，或分歧的每个不同的数据视图与联合凸融合惩罚，导致共同的群体。此外，当每个数据源都是高维的时，集成混合多视图数据通常具有挑战性。为了在这种情况下进行特征选择，我们开发了一种自适应的移位组套索惩罚，通过将其缩小到特定的损失中心来选择特征。我们所谓的iGecco+方法从每个数据视图中选择最适合确定组的特征，通常会导致改进的综合聚类。为了适应我们的模型，我们开发了一种新型的广义多块ADMM算法，使用子问题近似，更有效地适合我们的大数据集模型。通过文本挖掘和基因组学的一系列数值实验和真实数据示例，我们表明iGecco+对于高维混合多视图数据具有优异的经验性能。
2019-12-11 stat.ME stat.ML
Bayesian Variable Selection for Probit Mixed Models Applied to Gene Selection
在计算生物学中，基因表达数据集的特征在于与每个样本的大量测量相比，非常少的个体样本。因此，合并这些数据集以增加观察的数量并使数据多样化是有吸引力的，从而允许更可靠地选择与生物学问题相关的基因。此外，合并数据集的大小增加有助于将其重新拆分为训练集和验证集。这需要将数据集作为随机效应引入。在此背景下，扩展了Lee等人（2003）的工作，提出了一种方法，用于在概率单位混合回归模型中从数万个变量中选择相关变量，该模型被认为是更大的分层贝叶斯模型的一部分。潜变量用于识别选定变量的子集，Liu（1994）的分组（或分块）技术与Metropolis-within-Gibbs算法（Robert和Casella 2004）相结合。该方法应用于由三个单独的基因表达数据集组成的合并数据集，其中数百个人类乳腺癌样本中的每一个都有数万个测量结果。即使是这个大的数据集由约20000个预测，该方法被证明是有效的和可行的。作为一个例子，它用于选择表征乳腺癌患者雌激素受体状态的最重要的基因。
2011-02-23 q-bio.QM stat.AP stat.ME
A Penalized Multi-trait Mixed Model for Association Mapping in Pedigree-based GWAS
在全基因组关联研究（GWAS）中，惩罚效应是识别与性状相关的遗传标记的重要方法，而混合模型在解释样本间复杂的依赖结构方面取得了成功。因此，惩罚线性混合模型是一种结合惩罚方法和线性混合模型优点的工具。在这项研究中，GWAS与多个高度相关的性状进行了分析。对于多个数量性状高度相关的GWAS，使用性状进行分析不可避免地丢失了多个性状之间的一些重要信息。我们提出了一个惩罚MTMM，惩罚多变量线性混合模型，允许两个性状内和性状间方差分量同时为多个性状。提出的惩罚MTMM使用AI-REML方法估计方差分量，并同时使用组MCP和稀疏组MCP进行变量选择和点估计。使用最佳线性无偏预测器（BLUP）来寻找预测值，并使用预测值与其相应观测值之间的Pearson相关性来评估预测性能。通过仿真研究，评估了该方法的预测和选择性能，并与单性状惩罚LMM进行了比较。我们将所提出的方法应用于遗传分析研讨会（GAW）18的GWAS数据。
2013-05-19 stat.ME
A General Framework for Random Effects Models for Binary, Ordinal, Count Type and Continuous Dependent Variables Including Variable Selection
本文提出了一种一般随机效应混合阈值模型，支持连续、二分类、有序分类和计数等多种响应变量类型，突破了指数族分布限制并解决了过度分散问题，同时提供了参数稀疏化方法以应对高维参数挑战。
2024-04-27 stat.ME
Mixed-type Distance Shrinkage and Selection for Clustering via Kernel Metric Learning
University of British Columbia（不列颠哥伦比亚大学）
针对混合类型数据距离度量问题，提出基于混合核的 KDSUM 度量方法，通过交叉验证优化带宽选择，实现了从现有混合度量到统一度量的收缩，显著提升了聚类准确率。
2024-10-11 cs.LG stat.CO stat.ME
A Variational Inference method for Bayesian variable selection
变量选择是统计学中的一个经典问题。在本文中，我们考虑了Ročková和George（2014）提出的基于混合正态分布的spike-and-slab先验的贝叶斯变量选择问题。受Ormerod和You（2017，2023）的启发，我们使用变分推断和折叠变分推断方法来解决贝叶斯问题，而不是MCMC。与Ormerod and You（2017，2023）一样，我们也解释了稀疏估计是如何被导出的，并且在某些温和的假设下，我们还证明了一致和渐近的结果。
2023-03-07 stat.ME
The Mixed-Sparse-Smooth-Model Toolbox (MSSM): Efficient Estimation and Selection of Large Multi-Level Statistical Models
本文提出 MSSM 工具箱，通过仅依赖对数似然梯度与 Hessian 的高效框架及 L-qEFS 近似算法，实现大规模多层混合稀疏平滑模型的估计与选择。
2025-06-16 stat.AP stat.ME
smartcor: Intelligent Correlation Method Selection for Mixed Variable Types
American University of Sharjah（沙迦美国大学）；Indian Institute of Management Indore（印多尔印度管理学院）
研究针对混合变量类型选择相关方法的问题，利用smartcor包（R语言和Python）自动检测变量类型，为每对变量选择合适方法并解释，支持14种方法涵盖10种变量对组合，经模拟验证和案例研究展示了该方法优势。
2026-07-27 stat.CO stat.ME
Functional Linear Mixed Models for Irregularly or Sparsely Sampled Data
我们提出了一种估计方法来分析相关的功能数据，观察到的不平等的网格，甚至稀疏。我们使用的模型是一个功能线性混合模型，线性混合模型的功能模拟。估计是基于降维通过功能主成分分析和混合模型方法。我们的程序允许数据的变异性的分解，以及感兴趣的平均效应的估计，并借用跨曲线的强度。均值效应的置信带可以在估计的主成分的条件下构建。我们提供R代码来实现我们的方法。该方法的动机，并应用于语音产生研究的数据。
2015-08-07 stat.ME
Effect Size Estimation in Linear Mixed Models
本文重新审视线性混合模型下的Cohen效应量度量$f^2$，通过人工数据集演示其应用，并展示在R软件中使用lme4包计算$f^2$的方法，无需计算决定系数。
2023-05-20 stat.ME
Cross-Validation in Penalized Linear Mixed Models: Addressing Common Implementation Pitfalls
针对惩罚线性混合模型处理相关高维数据时直接沿用独立数据调参方法的问题，本文提出正确的交叉验证实现以规避常见陷阱，并以证明、模拟和真实数据验证其有效性。
2025-03-18 stat.ME
An Approximate Restricted Likelihood Ratio Test for Variance Components in Generalized Linear Mixed Models
广义线性混合模型（GLSII）用于对具有固定效应和随机效应组合的指数家族的响应进行建模。对于广义似然估计中的方差分量，我们提出了一种近似的限制性似然比检验，对惩罚拟似然估计中的工作响应进行检验.这提供了标准化响应方面的假设检验，允许将现有检验方法应用于线性混合模型。我们的测试是灵活的，计算效率高，并优于几个竞争对手。我们说明了所提出的方法与广泛的模拟研究和两个数据应用程序的实用性。提供了一个R包。
2019-06-07 stat.ME
Just add noise: Debiasing tree-based variable importance in mixed data
Duke University（杜克大学）
针对树模型变量重要性偏向连续变量的问题，提出添加噪声的简单去偏方法，并结合稳定性选择实现混合数据变量选择与错误发现控制。
2026-09-15 cs.LG stat.ME stat.ML
