Parameter-Expanded ECME Algorithms for Logistic and Penalized Logistic Regression
本文提出了一种用于逻辑回归的参数扩展ECME算法，通过引入额外隐参数最大化惩罚对数似然，在保持单调性和更新简单性的同时大幅提升计算效率，并验证了其在高维问题中的优越性。
2023-04-08 stat.CO
Bayesian Multinomial Logistic Normal Models through Marginally Latent Matrix-T Processes
贝叶斯多项逻辑正态（MLN）模型对于序列计数数据的分析是流行的（例如，微生物组或基因表达数据），这是由于它们能够对具有复杂协方差结构的多变量计数数据进行建模。然而，MLN模型的现有实现限于处理小数据集，由于多项式和逻辑正态分布的非共轭性。我们介绍MLN模型，可以写为边际潜在矩阵-t过程（LTP）模型。边际LTP模型描述了一类灵活的广义线性回归、非线性回归和时间序列模型。我们开发的推理方案边际LTP模型，并通过应用到MLN模型，表明我们的推理方案是高度准确的，往往比MCMC快4-5个数量级。
2019-04-01 stat.ME
A bivariate logistic regression model based on latent variables
二元和有序数据的双变量观测经常出现，并且在人们对作为单独结果的边缘分布的各个方面以及两者之间的关联感兴趣的情况下需要双变量建模方法。我们考虑的方法来构建这样的二元模型的逻辑边缘，并提出了一个模型的基础上的Ali-Mikhail-Haq二元逻辑斯谛分布。我们激励的模型作为一个扩展的Gumbel 2型分布的基础上考虑由其他作者，并作为一个二元扩展的逻辑斯谛分布，它保留了某些自然特征。所获得的模型的基本属性进行了研究，并说明了所提出的方法，通过分析两个数据集，一个描述挪威徒步旅行者的徒步旅行习惯，其他来自视觉识别和意识的认知实验。
2019-10-02 stat.ME
Endogeneity-Aware Cognitive Diagnostic Model for Multidomain Ordinal Assessments
Sun Yat-sen University（中山大学）；University of Hong Kong（香港大学）
针对传统认知诊断模型无法表征多域潜在属性定向依赖的问题，提出内生性感知认知诊断模型EACDM，通过联合估计实现更准确的属性关系分析，在模拟与帕金森病数据中验证了其有效性。
2026-08-12 stat.ME
Multidimensional latent Markov models in a developmental study of inhibitory control and attentional flexibility in early childhood
本文提出多维潜马尔可夫模型分析学龄前儿童三期二元测验数据，结合双参数logistic参数化与EM推断，证明抑制控制和注意灵活性是不同构念并揭示其发展转移特征。
2008-12-30 stat.AP
Understanding Measurement Precision from a Regression Perspective
本文扩展McDonald的回归框架，统一信度与PRMSE为决定系数，提出蒙特卡洛估计方法，并通过因子分析、双参数逻辑及二维IRT树模型验证其适用性。
2025-03-18 stat.ME
Latent Guided Sampling for Combinatorial Optimization
Sorbonne Université and Université Paris Cité, CNRS, Laboratoire de Probabilités, Statistique et Modélisation, F-75005 Paris, France（索邦大学和巴黎Cité大学，法国国家科学研究中心，概率、统计与建模实验室，法国巴黎F-75005）；LOPF, Califrais' Machine Learning Lab, Paris, France（LOPF，Califrais机器学习实验室，法国巴黎）
提出LGS-Net潜在空间模型，结合马尔可夫链蒙特卡洛与随机逼近的潜在引导采样方法，在路由任务上达到最先进性能。
2026-06-09 cs.LG math.OC stat.ML
An Anchored Logistic Family for Bounded Trait Measurement and Growth: Origin Before Unit
The George Washington University（乔治华盛顿大学）
该研究提出锚定逻辑斯蒂族，将认知特质模型推广至任意精通锚点，采用贝叶斯模态EM估计参数，速度远超MCMC采样器，可用于有界特质测量与增长建模，其贡献在解释与计算而非测量本身。
2026-08-25 stat.AP stat.ME
Bayesian inference for logistic models using Polya-Gamma latent variables
我们提出了一种新的数据增强策略，完全贝叶斯推断模型与二项式似然。该方法利用一类新的Polya-Γ分布，并详细构造了这类分布.各种各样的例子来显示该方法的多功能性，包括逻辑斯谛回归，负二项回归，非线性混合效应模型，和计数数据的空间模型。在每一种情况下，我们的数据增强策略都能为后验推理提供简单有效的方法：（1）避免解析近似、数值积分或Metropolis-Hastings的需要;（2）在易用性和计算效率方面优于其他已知的数据增强策略。所有的方法，包括一个有效的采样器的Polya-Γ分布，在R包贝叶斯Logit实现。在论文结尾的技术补充中，我们提供了关于Polya-Gamma随机变量生成的进一步细节;主要手稿中报告的经验基准;以及将基本数据增强框架扩展到列联表和多项式结果。
2013-07-22 stat.CO stat.ME stat.ML
Detecting Latent Communities in Network Formation Models
本文提出了一个logistic无向网络形成模型，该模型允许对观察到的个体特征进行选择性匹配，并存在边向固定效应。我们将观测特征的系数建模为具有潜在的社区结构，将边缘方向的固定效应建模为低秩。我们提出了一个多步骤的估计过程，涉及核范数正则化，样本分裂，迭代逻辑回归和谱聚类检测潜在的社区。我们发现，当网络的期望度为log n或更高时，可以准确地恢复潜在社区，其中n是网络中的节点数。通过模拟和真实数据集说明了新的估计和推断方法的有限样本性能。
2021-03-05 econ.EM stat.ME
Discrete flow posteriors for variational inference in discrete dynamical systems
University of Cambridge（剑桥大学）；HHMI Janelia Research Campus（HHMI珍妮亚研究园区）
变分自动编码器（VAE）的每个训练步骤都需要我们从近似后验中进行采样，因此我们通常选择简单（例如因子分解）的近似后验，其中采样是一种充分利用GPU并行性的有效计算。然而，这种简单的近似后验往往是不够的，因为它们消除了后验中的统计依赖性。虽然可以对连续潜伏期使用归一化流近似后验，但一些问题具有离散潜伏期和强统计依赖性。对这些依赖性建模的最自然的方法是自回归分布，但是从这样的分布中进行采样本质上是顺序的，因此速度很慢。我们开发了一个快速，并行采样程序的自回归分布的基础上的固定点迭代，使有效和准确的变分推断在离散状态空间潜变量动力系统。为了优化变分边界，我们考虑了两种方法来评估概率：将松弛样本直接插入到离散分布的pmf中，或者转换为连续的logistic潜变量并将K步定点迭代解释为归一化流。我们发现，转换为连续的潜变量给了相当大的额外的范围之间的不匹配的真实和近似的后验，这导致有偏见的推断，因此，我们使用前一种方法。使用我们的快速采样程序，我们能够实现相关后验的好处，包括一个细胞的准确不确定性估计，以及多个细胞的准确连接估计，在一个数量级更少的时间。
2018-05-28 cs.LG q-bio.NC stat.ML
Log-Linear Bayesian Additive Regression Trees for Multinomial Logistic and Count Regression Models
本文介绍了对数线性模型的贝叶斯加性回归树（BART），包括多项逻辑斯谛回归和计数回归，其中包含零膨胀和过度离差。BART已被应用于非参数均值回归和二进制分类问题在一系列的设置。然而，现有的应用程序的BART已被限制为高斯“数据”，无论是观察到的或潜在的模型。这主要是因为有效的MCMC算法可用于高斯似然。但是，虽然许多有用的模型是自然铸造的潜在高斯变量，许多其他人不是-包括本文考虑的模型。我们开发了新的数据增强策略，并仔细指定这些新模型的先验分布。像原来的BART先验一样，新的先验分布经过精心构造和校准，在防止过拟合的同时具有灵活性。新的先验和数据增强方案使我们能够在高斯模型的背景之外实现一个有效的MCMC采样器。这些新方法的效用说明了与以前公布的数据集的例子和应用程序。
2019-08-26 stat.ME
Introducing Variational Inference in Statistics and Data Science Curriculum
本文提出一个为期一周的变分推断教学模块，结合讲授、R shiny应用和真实数据实验，帮助高年级学生掌握面向大规模数据的概率建模与近似推断方法。
2023-05-25 stat.CO stat.OT
A Conditional Density Estimation Partition Model Using Logistic Gaussian Processes
条件密度估计（密度回归）估计以协变量x为条件的响应变量y的分布。利用划分模型框架，提出了一种基于Logistic高斯过程的条件密度估计方法。分区是使用Voronoi曲面细分创建的，并使用可逆跳跃马尔可夫链蒙特卡罗算法从数据中学习。通过对逻辑高斯过程模型的潜变量进行拉普拉斯近似，使得马尔可夫链蒙特卡罗算法成为可能。这种近似使每个分区元素中的参数边缘化，从而允许有效搜索曲面细分的后验分布。该方法具有理想的稠度特性。在模拟和应用中，该模型成功地估计了y的分区结构和条件分布。
2017-03-20 stat.ME
Variational Bayes latent class approach for EHR-based phenotyping with large real-world data
University College Dublin（都柏林大学学院）；The Insight Centre for Data Analytics, University College Dublin（洞察数据分析中心，都柏林大学学院）；School of Mathematics & Statistics, University College Dublin（数学与统计学院，都柏林大学学院）；School of Medicine, University College Dublin（医学院，都柏林大学学院）
该研究通过两个真实世界数据案例对比不同VB方法性能，验证了用VB替代蒙特卡洛的贝叶斯患者表型复合模型更适配临床真实场景，可为罕见病决策支持提供新工具。
2024-08-28 stat.AP
A tree-based model for addressing sparsity and taxa covariance in microbiome compositional count data
本文提出logistic-tree normal（LTN）生成模型，通过基于树的分解和多元logistic-normal分布灵活刻画微生物组数据的稀疏性与分类群协方差，并利用共轭分块Gibbs采样实现高效贝叶斯推断，在差异丰度分析中无需显式零膨胀成分即可准确生成零值比例。
2024-12-31 stat.AP stat.ME
Convex Latent Effect Logit Model via Sparse and Low-rank Decomposition
Facebook Inc.（Facebook公司）；Penn State University（宾夕法尼亚州立大学）；Texas Tech University（德克萨斯理工大学）
本文提出了一个学习具有潜在异质效应的逻辑回归模型（logit）的凸形式。在运输中，逻辑回归及其变体通常被解释为效用理论下的离散选择模型（McFadden，2001）。Logit模型在交通领域的两个突出应用是交通事故分析和选择建模。在这些应用中，研究人员往往希望了解和捕捉在相同的事故或选择场景下的个体差异。混合效应逻辑回归（Mixed Effect Logistic Regression，Mixed Logit）是交通研究人员常用的模型。为了估计混合logit参数的分布，需要求解一个具有嵌套高维积分的非凸优化问题。基于仿真的优化通常应用于解决混合logit参数估计问题。尽管它很受欢迎，但学习个体异质性的混合logit方法有几个缺点。首先，分布的参数形式需要领域知识和用户强加的假设，尽管这个问题可以通过使用非参数方法在一定程度上得到解决。第二，混合logit的参数估计和非参数扩展的非凸性，这导致不稳定的模型解释的最优化问题。第三，模拟辅助估计中的模拟大小缺乏有限样本的理论保证，并且在实践中选择得有些随意。为了解决这些问题，我们有动力开发一个配方，模型的潜在的个人异质性，同时保持凸性，并避免了需要基于模拟的近似。我们的设置是基于将参数分解为人口中的稀疏同质成分和每个个体的低秩异质部分。
2021-08-22 cs.LG stat.ME stat.ML
Discriminative Relational Topic Models
Tsinghua University（清华大学）
许多科学和工程领域涉及分析网络数据。对于文档网络，关系主题模型（RTMs）提供了一个概率生成过程来描述链接结构和文档内容，并且它们在预测网络结构和发现潜在主题表示方面表现出了希望。然而，现有的RTMs在有限的模型表达能力和处理不平衡的网络数据的能力的局限性。为了扩大RTMs的适用范围并提高其推理精度，本文提出了三个扩展：1）不同于通常的只允许相同主题交互的对角权重矩阵的链接似然，我们将其推广为使用一个完整的权重矩阵，它可以捕获所有成对主题交互，并且适用于非对称网络; 2）而不是做标准的贝叶斯推理，我们执行正则化贝叶斯推理，（RegBayes）通过引入正则化参数，解决了一般真实网络中链路结构不平衡的问题，提高了学习后的潜规则的判别能力，陈述; 3）在不做严格平均场假设的情况下，通过探索数据增强，给出了广义关系主题模型的收缩Gibbs抽样算法，而不是用严格平均场假设进行变分近似.在一般的RegBayes框架下，我们仔细研究了两个流行的判别损失函数，即逻辑对数损失和最大边际铰链损失。在几个真实网络数据集上的实验结果表明，这些扩展对提高预测性能具有重要意义，并且通过一种简单的快速近似方法可以显著提高时间效率。
2013-10-09 cs.IR cs.LG stat.ML
A Contrastive Divergence for Combining Variational Inference and MCMC
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）；DeepMind（深度思考）
我们开发了一种方法，结合马尔可夫链蒙特卡罗（MCMC）和变分推断（VI），利用这两种推理方法的优点。具体来说，我们通过运行几个MCMC步骤来改进变分分布。为了使推理易于处理，我们引入了变分对比发散（VCD），这是一种新的发散，取代了VI中使用的标准Kullback-Leibler（KL）发散。VCD捕获初始变分分布与其改进版本（在运行MCMC步骤后获得）之间的差异的概念，并且它渐近收敛于变分分布与感兴趣的后验之间的对称化库尔贝克-莱布勒散度。VCD目标可以通过随机最优化相对于变参数有效地优化。我们的实验表明，优化VCD导致更好的预测性能的两个潜变量模型：逻辑矩阵分解和变分自动编码器（VAE）。
2019-05-28 cs.LG stat.ML
Anomaly Detection in Large Scale Networks with Latent Space Models
我们开发了一个实时的异常检测算法的大型，稀疏网络上的定向活动。我们使用动态逻辑模型与发送者和接收者特定的潜在因素的相互作用项，除了发送者和接收者特定的流行度分数的未来活动的倾向建模;从这个基础模型的偏差构成潜在的异常。潜在的节点属性估计通过变分贝叶斯方法，并可能随着时间的推移而变化，代表网络活动的自然变化。估计增加了病例-对照近似，以利用网络的稀疏性，并将计算复杂度从$O(N^2)$降低到$O(E)$，其中$N$是节点数，$E$是观察到的边数。我们在从超过25，000台计算机的企业网络收集的网络事件记录上运行我们的算法，并且能够识别红队攻击，其检测率为模型所需的一半，而没有潜在的交互项。
2021-01-29 cs.CR cs.SI stat.AP
Latent space models for networks with nodal multiplicative effects
该研究针对网络隐空间模型引入节点乘性效应，通过模拟实验与优化推理方案验证，提升了模型生成灵活性，更准确复现真实网络拓扑性质。
2026-08-10 stat.ME stat.OT
A flexible Bayesian tool for CoDa mixed models: logistic-normal distribution with Dirichlet covariance
针对成分数据混合模型拟合含结构化随机效应时的难题，提出带狄利克雷协方差的逻辑正态模型LNDM，整合进R-INLA包并探索相关模型选择准则，经模拟和生态案例验证其应用潜力。
2023-11-08 stat.CO stat.ME
From Partial Exchangeability to Predictive Probability: A Bayesian Perspective on Classification
本文提出一种结合高斯过程先验与狄利克雷过程先验的贝叶斯非参数分类模型，扩展了de Finetti表示定理框架，并在模拟数据上验证其优于标准逻辑回归。
2025-08-22 stat.ME stat.ML
Confidence sets for network structure
潜变量模型经常被用来识别二分网络数据的结构，部分原因是它们产生了伯努利乘积似然，这是很好理解的，并且与可交换随机图的概念一致。在这篇文章中，我们提出了保守的置信度集，这些置信度集相对于这些底层的伯努利参数作为网络节点的任何给定分区的函数，使我们能够评估“剩余”网络结构的估计，即，不能用已知协变量解释的结构，因此不能通过手动检查轻松验证。我们证明了所提出的方法，通过分析学生的友谊网络从全国青少年健康纵向调查，包括种族，性别和学年作为协变量。我们采用随机期望最大化算法来拟合逻辑斯谛回归模型，该模型包括这些解释变量以及潜在的随机块模型组件和附加的节点特定效应。虽然最大似然估计不出现在这种情况下一致的，我们能够评估置信度集作为不同的块模型分区的函数，这使我们能够定性地评估估计的残差网络结构相对于基线的意义，模型协变量，但缺乏块结构。
2011-05-31 cs.SI physics.soc-ph stat.ME
Hurdle Network Model With Latent Dynamic Shrinkage For Enhanced Edge Prediction in Zero-Inflated Directed Network Time Series
本文提出动态Hurdle网络模型（Hurdle-Net），通过结合二元与连续时间序列、动态收缩过程及共享潜在结构，有效处理零膨胀有向网络时间序列的边预测，在国际贸易流分析中表现出更优的估计与预测性能。
2025-04-30 stat.AP stat.ME
Sparsifying Bayesian neural networks with latent binary variables and normalizing flows
针对贝叶斯神经网络过拟合与不确定性估计需求，对潜在二元贝叶斯神经网络提出局部重参数化技巧加速和归一化流变分后验两项扩展，提升预测性能与网络稀疏性，得到更真实的不确定性估计。
2023-05-05 cs.LG stat.CO stat.ME
Topical Hidden Genome: Discovering Latent Cancer Mutational Topics using a Bayesian Multilevel Context-learning Approach
集体超罕见的全基因组体细胞突变的癌症位点特异性的统计推断是一个悬而未决的问题。传统的统计方法由于其超高维度和极端的数据稀疏性而无法处理全基因组突变数据-例如，在本文考虑的约1700个全基因组肿瘤数据集中观察到> 3000万个独特变体，其中>99%的变体仅遇到一次。为了利用这些罕见变异中的信息，我们最近提出了“隐藏基因组模型”，这是一种正式的多级多逻辑模型，它挖掘超罕见体细胞变异中的信息来表征肿瘤类型。该模型通过利用个体突变背景的分层来浓缩罕见变异中的信号。该模型目前使用一致的、可扩展的点估计技术来实现，该技术可以处理在数千个肿瘤中检测到的数千万个变异。我们最近的出版物证明了其令人印象深刻的准确性和可归因性的规模。然而，由于突变背景的体积、相关性和不可解释性，来自模型的原则性统计推断是不可行的。在本文中，我们提出了一个新的框架，利用计算语言学领域的主题模型，以诱导一个可解释的降维模型中使用的突变上下文。所提出的模型是使用一个有效的MCMC算法，允许严格的完整的贝叶斯推断的规模是数量级超出了开箱即用的高维多类回归方法和软件的能力。我们将我们的模型应用于全基因组泛癌症分析（PCAWG）数据集，我们的结果揭示了有趣的新见解。
2022-12-30 stat.AP stat.CO stat.ME
Estimating time-varying networks
随机网络是动态系统中实体（如活细胞或社会社区）之间关系信息的合理表示。虽然有丰富的文献中估计一个静态或时间不变的网络从观察数据，几乎没有做对估计时变网络从实体属性的时间序列。在本文中，我们提出了两种新的机器学习方法来估计时变网络，这两种方法都建立在时间平滑的$l_1$ -正则化的逻辑斯谛回归形式主义，可以作为一个标准的凸优化问题，并有效地解决了可扩展到大型网络的通用求解器。我们报告有希望的结果恢复模拟随时间变化的网络。对于真实的数据集，我们逆向工程的潜在序列的时间重新布线的政治网络之间的参议员从美国参议院的投票记录和潜在的不断发展的监管网络的基础588基因的果蝇的整个生命周期的微阵列时间过程。
2010-10-20 q-bio.MN q-bio.QM stat.AP
Network Psychometrics
University of Amsterdam（阿姆斯特丹大学）
本章介绍心理测量学中的网络建模，讲解成对马尔可夫随机场及适用于二分类数据的Ising模型，论证其与逻辑回归、MIRT等心理测量模型的等价性，概述模型估计方法并探讨潜变量的新解读。
2018-06-07 stat.ME
