Without Pain -- Clustering Categorical Data Using a Bayesian Mixture of Finite Mixtures of Latent Class Analysis Models
本文提出一种贝叶斯两层有限混合模型，用潜在类别分析近似簇分布，结合伸缩采样器和标签切换处理，实现对未知簇数多元分类数据的简约聚类，并在模拟和下背痛数据上验证了有效性。
2024-07-07 stat.ME
A class of dependent Dirichlet processes via latent multinomial processes
我们描述了一个程序，介绍一般的依赖结构的一组Dirichlet过程。依赖性可以是在一个方向上以定义时间序列，或者是在两个方向上以定义空间依赖性。也可以考虑更多的方向。依赖性是通过一组潜在的过程诱导，并利用Dirichlet和多项式过程之间的共轭性质，以确保该集合的每个元素的边际法是一个Dirichlet过程。依赖性的特点是任何两个元素之间的相关性。当我们使用Dirichlet过程的集合作为先验分布时，我们得到了一个非参数背景下的后验分布。后验预测分布诱导广义Pólya urs定义的部分可交换序列。最后给出了一个数值例子。
2021-10-14 stat.ME
Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data
多变量分类数据出现在机器学习的许多应用中。这些分类变量向量的主要困难之一是稀疏性。可能的观测值数量随着向量长度呈指数增长，但相比之下，数据集的多样性可能较差。最近的模型在使用这些数据的监督任务中获得了显着的改进。这些模型将观测嵌入连续空间中，以捕捉它们之间的相似性。基于这些想法，我们提出了一个贝叶斯模型的无监督任务的分布估计的多元分类数据。我们对从连续潜在空间的非线性变换生成的分类变量向量进行建模。非线性捕获分布中的多模态。连续表示解决稀疏性。我们的模型将许多现有的模型联系在一起，将线性分类潜在高斯模型，高斯过程潜在变量模型和高斯过程分类联系在一起。我们推导出我们的模型的基础上，最近的事态发展，抽样为基础的变分推断。我们的经验表明，该模型优于其线性和离散的稀疏数据的插补任务。
2015-03-07 stat.ML
Bayesian Latent Class Regression with Interpretable Binary Profiles
Duke University（杜克大学）；Columbia University（哥伦比亚大学）
针对高维分类数据，提出一种引入二元潜在属性层的贝叶斯潜在类别回归模型（BLIP），满足可识别性和后验一致性，并具有贝叶斯最优聚类性质以应对维数灾难。
2026-05-27 stat.ME
Latent class analysis for multi-layer categorical data
Chongqing University of Technology（重庆理工大学）
针对多选项响应的多层分类数据建模需求，提出多层潜在类别模型与三种谱方法，证明其估计一致性，给出确定潜在类别数的方案，通过实验验证了方法的有效性。
2024-08-10 cs.LG stat.ML
Detection of latent heteroscedasticity and group-based regression effects in linear models via Bayesian model selection
标准线性建模方法可能会对分类效应的结构做出过于简单的假设，这可能会混淆管理数据的更复杂关系。例如，最近的工作集中在双向无重复布局表明，隐藏的分组之间的水平的一个分类预测因子经常与未分组的因素。我们将“潜在分组因子”的概念推广到一般的线性模型。拟议的工作使研究人员能够确定是否一个明显的分类预测的水平分组揭示了一个合理的隐藏结构给定的观察数据。具体来说，我们提供贝叶斯模型选择为基础的方法，以揭示潜在的基于组的异方差，回归效应，和/或相互作用。如果不考虑这些结构，可能会得出误导性的结论。由于潜在的组结构的存在往往是未知的先验的研究人员，我们使用分数贝叶斯因子方法和混合$g$先验，以克服缺乏先验信息。
2019-03-04 stat.AP stat.ME
Multiple Imputation of Missing Categorical and Continuous Values via Bayesian Mixture Models with Local Dependence
我们提出了一个非参数贝叶斯联合模型的多变量连续和分类变量，目的是开发一个灵活的引擎，多重插补的缺失值。该模型融合了分类变量多项分布的Dirichlet过程混合和连续变量多元正态分布的Dirichlet过程混合。我们将连续和分类变量之间的依赖性（i）建模的正态分布的平均值作为组件特定的功能的分类变量和（ii）形成不同的混合成分的分类和连续数据的概率，通过分层模型。这种结构允许模型捕获分类数据和连续数据之间的复杂依赖关系，而分析人员只需进行最小的调整。我们应用该模型来填补缺失值，由于项目无应答的收入和计划参与调查（SIPP）的重新设计的评价。目标是将新设计的现场测试估计值与旧设计下收集的面板中选定个体的估计值进行比较。我们表明，占缺失数据改变了一些结论的可比性分布在两个数据集。我们还进行了广泛的重复抽样模拟使用类似的数据，从完整的情况下，在现有的SIPP面板，比较我们提出的模型的默认应用程序的多重插补链式方程。在这种现实环境中，基于所提出的模型的插补往往比链式方程的默认应用具有更好的重复采样特性。
2015-10-13 stat.AP stat.ME
Straightforward Bayesian A/B testing with Dirichlet posteriors
针对高频 A/B 测试中联合后验构建耗时且依赖专家的问题，本研究提出使用 Dirichlet-Categorical 模型近似真实联合后验，该方法在模拟与实际场景中表现良好，已被作为标准分析方法。
2025-08-11 stat.ME
Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型（DP-GLM），一种新的非参数回归方法，可容纳连续和分类的输入，和响应，可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子，包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性，为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集，比较它的现代非参数回归方法，如CART，贝叶斯树和高斯过程。与现有技术相比，DP-GLM提供了一个单一的模型（和相应的推理算法），在许多回归设置中表现良好。
2010-07-15 stat.ML
Latent class analysis by regularized spectral clustering
Chongqing University of Technology（重庆理工大学）
本文提出基于正则化拉普拉斯矩阵的两种新算法，用于有序分类数据的潜在类别模型参数估计，并给出理论收敛速率、类别数确定度量及模拟与真实数据验证。
2026-09-09 cs.LG stat.ML
Vectorized Bayesian Inference for Latent Dirichlet-Tree Allocation
Concordia Institute for Information Systems Engineering（康科迪亚信息系统工程研究所）；Concordia University（康科迪亚大学）
本文提出潜在狄利克雷树分配（LDTA），通过引入树状先验改进LDA，实现高效向量化推断以增强主题建模能力。
2026-02-21 cs.LG stat.ML
Dimension-Grouped Mixed Membership Models for Multivariate Categorical Data
混合隶属度模型（MMM）是一种流行的复杂多元数据的潜在结构模型。MMM不是强制每个主题属于单个集群，而是包含一个特定主题权重的向量，该向量表征跨集群的部分成员关系。这种灵活性带来了唯一识别、估计和解释参数的挑战。在这篇文章中，我们提出了一个新的类的扩展-分组MMM（Gro-M $^3$ s）的多元分类数据，它提高了简约性和可解释性。在Gro-M $^3$ s中，观测变量被划分为组，使得潜在成员资格对于组内的变量是恒定的，但是可以在组之间不同。当所有变量都在一个组中时获得传统的潜在类模型，而当每个变量都在自己的组中时获得传统的MMM。新模型对应于一种新的概率张量分解。理论上，我们推导出透明的可识别性条件，在一般设置的未知的分组结构和模型参数。在方法论上，我们提出了Dirichlet Gro-M $^3$ s的贝叶斯方法来推断变量分组结构和估计模型参数。仿真结果表明，良好的计算性能和经验确认的可识别性的结果。我们说明了新的方法，通过应用程序的功能残疾调查数据集和人格测试数据集。
2023-02-14 stat.ME
A Class of Conjugate Priors Defined on the Unit Simplex
Dirichlet分布及其无穷维推广的Dirichlet过程在贝叶斯统计中主要用于分类分布和多项分布的共轭先验。有人建议扩展，以扩大不同用途的应用。在这篇文章中，我们探讨了一类先验分布密切相关的狄利克雷分布，并纳入额外的信息的数据生成机制。给出的例子来显示潜在的使用模型。
2014-12-04 stat.ME stat.OT
Sparsity-Inducing Categorical Prior Improves Robustness of the Information Bottleneck
Michigan State University（密歇根州立大学）；Argonne National Laboratory（阿贡国家实验室）；Google Research（谷歌研究院）
信息瓶颈框架提供了一种系统的方法来学习表示，压缩输入中的滋扰信息，并提取有关预测的语义上有意义的信息。然而，选择固定所有数据的维度的先验分布会限制这种方法用于学习鲁棒表示的灵活性。我们提出了一种新的稀疏诱导穗板分类先验，使用稀疏性作为一种机制，以提供灵活性，允许每个数据点学习自己的维度分布。此外，它提供了一种机制，用于学习潜在变量和稀疏度的联合分布，因此可以考虑潜在空间中的完全不确定性。通过在MNIST、CIFAR-10和ImageNet数据上使用分布内和分布外学习场景进行的一系列实验，我们表明，与传统的固定维先验以及文献中提出的潜变量模型的其他稀疏诱导机制相比，所提出的方法提高了准确性和鲁棒性。
2022-10-28 cs.LG stat.ME stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Blocking Collapsed Gibbs Sampler for Latent Dirichlet Allocation Models
隐狄利克雷分配（LDA）模型是机器学习中广泛使用的文本分析隐变量模型。该模型的推断通常涉及与观测相关联的潜变量的单站点塌陷吉布斯抽样步骤。采样的效率对于模型在实际大规模应用中的成功至关重要。在这篇文章中，我们介绍了一个阻塞计划的崩溃吉布斯采样器的LDA模型，可以在理论上保证，提高链混合效率。我们开发了两个程序，一个O（K）步向后模拟和O（log K）步嵌套模拟，直接采样每个块内的潜变量。我们证明，阻塞计划实现了显着改善链混合相比，最先进的单网站崩溃吉布斯采样器。我们还表明，当主题的数量超过数百个，嵌套模拟阻塞计划可以实现显着减少计算时间相比，单站点采样器。
2016-08-02 stat.CO stat.ML
Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors
Shanghai Jiao Tong University（上海交通大学）；Northwestern University（西北大学）
科学和工程问题通常需要使用人工智能来帮助理解和寻找有前途的设计。虽然高斯过程（GP）作为易于使用和可解释的学习器脱颖而出，但它们难以适应大数据集，分类输入和多个响应，这已成为越来越多的数据驱动设计应用程序的共同挑战。在本文中，我们提出了一个GP模型，利用通过变分推理得到的潜变量和函数，同时解决上述挑战。该方法是建立在潜变量高斯过程（LVGP）模型，其中分类因素被映射到一个连续的潜在空间，使GP模型的混合变量数据集。通过将变分推理扩展到LVGP模型，大型训练数据集被一小组诱导点所取代，以解决可扩展性问题。输出响应向量由独立潜在函数的线性组合表示，形成灵活的内核结构以处理可能具有不同行为的多个响应。比较研究表明，所提出的方法可以很好地扩展超过10^4个数据点的大型数据集，同时优于最先进的机器学习方法，而不需要太多的超参数调整。此外，获得了一个可解释的潜在空间，以深入了解分类因素的影响，例如与超材料和材料设计中的建筑模块和元件选择相关的因素。我们的方法被证明是机器学习的三元氧化物材料和拓扑优化的多尺度顺应机制与非周期性的微结构和多种材料。
2021-06-30 cs.LG stat.ML
Classification and categorical inputs with treed Gaussian process models
认识到树型高斯过程（TGP）模型作为非参数回归的一个可解释的和节俭的模型的成功，我们试图将该模型扩展到分类。树模型和高斯过程（GP），分别享有巨大的成功，在分类问题的应用。前者的一个例子是Bayesian CART。在后者中，实值GP输出可以用于经由潜变量的分类，潜变量通过softmax函数提供分类规则。我们制定了一个贝叶斯模型的平均计划，结合这两个模型，并描述了一个蒙特卡罗方法，从全后验分布与联合提案的树拓扑结构和GP参数对应的潜在变量在树叶的采样。我们专注于有效的采样的潜变量，这是很重要的，以获得良好的混合在扩展的参数空间。树结构是特别有助于这项任务，也为发展一个有效的计划，处理分类预测，这通常出现在分类问题。我们提出的分类TGP（CTGP）的方法说明了合成和真实数据集的集合。我们评估性能相对于现有的方法，从而显示如何CTGP是高度灵活的，提供易处理的推理，产生的规则，易于解释，并表现良好的样本。
2010-09-26 stat.CO stat.ME
Nested Dirichlet Process For Population Size Estimation From Multi-list Recapture Data
当捕获模式随时间和地点而不同时，响应模式的异质性在从多个再捕获数据估计封闭种群的大小时是重要的。在本文中，我们将Manrique-Vallier（2016）提出的多重捕获数据的非参数单层潜在类模型扩展为嵌套潜在类模型，第一层建模个体异质性，第二层建模位置-时间差异。具有相似记录模式的位置-时间组在相同的顶层潜在类中，并且每个顶层类中的个体是依赖的。嵌套潜在类模型将层次异质性纳入建模，以估计人口规模从多列表重捕获数据。这种方法导致更准确的人口规模估计和减少不确定性。我们将该方法应用于估计叙利亚冲突造成的伤亡。
2020-07-13 stat.AP stat.ME
Deconvolution of dust mixtures by latent Dirichlet allocation in forensic science
从鞋底回收的灰尘颗粒可以指示个体最近访问过的地点，并且特别地，指示个体在特定的感兴趣地点的存在，例如，犯罪现场通过用固定数量的尘埃粒子类型的多项分布描述给定地点的尘埃剖面，我们可以通过潜狄利克雷分配定义从鞋底回收的尘埃的混合物的概率分布。我们使用变分贝叶斯推断来研究模型的参数，并使用它们产生的后验分布来对（a）感兴趣的地点对灰尘混合物的贡献，以及（b）与这些地点相关的颗粒分布进行推断。
2019-01-31 stat.AP
A Dirichlet Process Mixture Model of Discrete Choice
我们提出了一个混合多项logit（MNL）模型，它利用截断棒打破过程表示的狄利克雷过程作为一个灵活的非参数混合分布。该模型是一个狄利克雷过程混合模型，并容纳离散表示的异质性，像一个潜在的类MNL模型。然而，与潜在类MNL模型不同，建议的离散选择模型不需要分析师在估计之前固定混合成分的数量，因为离散混合分布的复杂性是从证据中推断出来的。对于离散选择的Dirichlet过程混合模型的后验推理，我们给出了一个期望最大化算法。在模拟研究中，我们证明了所提出的模型框架可以灵活地捕获不同形状的口味参数分布。此外，我们实证验证了模型框架的案例研究中的驾驶员的路线选择偏好，并发现建议的离散选择的Dirichlet过程混合模型优于一个潜在的类MNL模型和混合MNL模型与常见的参数混合分布的样本内拟合和样本外的预测能力。与现有的建模方法相比，建议的离散选择模型大大简化了规格搜索，因为它依赖于较少的限制性参数假设，并不需要分析师指定的离散混合分布的复杂性之前估计。
2018-01-19 econ.EM stat.AP stat.CO
An Empirical Comparison of Multiple Imputation Methods for Categorical Data
多重插补是处理统计数据库中缺失值的常用方法。插补者使用从观察数据估计的预测模型中提取的数据填充缺失值，从而产生多个完整版本的数据库。研究人员已经开发了各种默认例程来实现多重插补;然而，比较这些方法的性能的研究有限，特别是对于分类数据。我们使用模拟研究来比较三种默认多重插补方法的重复抽样特性，包括使用广义线性模型的链式方程，使用分类和回归树的链式方程，以及基于Dirichlet过程混合模型的完全贝叶斯联合分布。我们基于美国社区调查的分类数据进行模拟。在本研究的情况下，结果表明，默认链式方程的方法的基础上广义线性模型的默认回归树和贝叶斯混合模型的方法占主导地位。他们还提出了回归树和贝叶斯混合模型方法的竞争优势，使两个合理的默认引擎的多重插补的分类数据。本文的补充材料可在网上查阅。
2016-12-23 stat.CO stat.ME
Robust Estimators under the Imprecise Dirichlet Model
Walley的不精确Dirichlet模型（IDM）的分类数据克服了几个基本问题，其他方法的不确定性遭受。然而，为了在实践中有用，人们需要有效的方法来计算不精确的鲁棒集合或区间。这项工作的主要目标是在IDM下推导出一大类统计估计量（包括熵和互信息）的精确、保守、近似、稳健和可信的区间估计。
2003-05-08 cs.IT cs.LG math.IT
Estimating the variance-covariance matrix of two-step estimates of latent variable models: A general simulation-based approach
本文提出一种基于模拟的通用方法，用于估计潜变量模型两步估计的方差-协方差矩阵，避免计算交叉导数矩阵，并在潜类别模型和潜特质模型上验证了其有效性。
2025-07-22 stat.CO stat.ME
Bayesian Nonparametric Dimensionality Reduction of Categorical Data for Predicting Severity of COVID-19 in Pregnant Women
Stony Brook University（石溪大学）；Department of Obstetrics, Gynecology and Reproductive Medicine（妇产科与生殖医学系）
针对孕妇COVID-19临床研究代表性不足、多分类临床数据维度爆炸的问题，提出基于潜在高斯过程的贝叶斯非参数降维方法，用于预测孕妇COVID-19重症程度，准确率优于传统独热编码方法。
2021-09-27 cs.LG stat.AP
Practical Robust Estimators for the Imprecise Dirichlet Model
分类独立同分布的Walley不精确Dirichlet模型数据将经典的Dirichlet模型扩展到一组先验。它克服了其他不确定性方法所遇到的几个基本问题。然而，为了在实践中有用，人们需要有效的方法来计算不精确的鲁棒集合或区间。这项工作的主要目标是在IDM下推导出一大类统计估计量（包括熵和互信息）的精确、保守、近似、稳健和可信的区间估计。
2009-01-26 cs.LG math.ST stat.ML
A derivation of variational message passing (VMP) for latent Dirichlet allocation (LDA)
Stellenbosch University（斯泰伦博斯大学）；Praelexis（Praelexis公司）；KU Leuven（鲁汶大学）
潜在狄利克雷分配（LDA）是一种概率模型，用于发现文档语料库中的潜在主题。通常使用变分贝叶斯（VB）算法进行推断，该算法计算参数的后验分布的下限。推导新模型的变分更新方程需要相当大的人工努力，变分消息传递（VMP）已成为一个“黑盒子”的工具，以加快变分推理的过程。但在实践中应用VMP仍然存在微妙的挑战，现有文献不包含为标准平滑LDA模型实现VMP所需的步骤，也没有可用的黑盒概率图形建模软件能够进行实现LDA所需的单词主题更新。因此，在本文中，我们提出了一个详细的推导的LDA的VMP更新方程。我们认为这是使其他研究人员能够计算类似图形模型的VMP更新的第一步。
2022-08-25 cs.LG stat.ML
Robust Bayesian inference of networks using Dirichlet t-distributions
贝叶斯图模型提供了一种有吸引力的方法来获得不确定性估计时，推断网络结构，最近的进展已经取得了高斯模型。这些模型已被广泛应用于基因表达数据的应用中，即使在似乎与高斯模型存在显著偏差的情况下。对于更稳健的推断，考虑对t分布模型的扩展是很自然的。我们认为，经典的多元t-分布，定义使用一个单一的潜在伽玛随机变量重新缩放高斯随机向量，是在高度多元设置，并提出其他更灵活的t分布的小用。对随机向量的每个分量使用一个独立的伽玛因子定义了我们所称的替代t分布。相关的模型允许人们从高度多变量数据中提取信息，即使大多数实验包含一些测量值的离群值。然而，这种替代模型的使用增加了计算成本，并对可实现的相关性结构施加了限制，从而需要在经典模型和替代模型之间进行折衷。为此，我们建议使用的狄利克雷过程的自适应聚类的潜在的伽玛标量，其中每一个可以划分一组潜在的高斯变量。狄利克雷过程通常用于对独立观测进行聚类;在这里，它们被用来对单个观测的相关分量进行聚类。由此产生的狄利克雷t分布自然插值的经典和替代t分布的两个极端情况之间，并结合了更有吸引力的建模的多元依赖结构与良好的计算性能。
2012-07-05 stat.ME
Beyond the Flow: A Bayesian Latent Clustering Framework for Shared Micro-mobility Users in Venice
Department of Statistical Sciences, University of Padova（帕多瓦大学统计科学系）
提出贝叶斯有限混合模型，直接从重复出行记录中聚类共享微出行用户，保留出行类别结构，识别八种潜在移动模式。
2026-07-01 stat.AP
Microbiome subcommunity learning with logistic-tree normal latent Dirichlet allocation
混合隶属度（MM）模型，如潜在狄利克雷分配（LDA）已被应用于微生物组成数据，以确定潜在的亚群落的微生物物种。这些亚群落对于理解微生物的生物相互作用和预测健康结果是有用的。然而，微生物组组成通常在亚群落组成中显示出实质性的跨样品异质性-即样品间共享亚群落中微生物比例的变异性-这在先前的分析中没有考虑到。因此，LDA可以产生推理，这是高度敏感的规格的数量的子社区，往往把一个单一的子社区到多个人工的。为了解决这个问题，我们将逻辑树正常（LTN）模型LDA形成一个新的MM模型。该模型允许每个子社区的组成围绕一些定义子社区的“质心”组成进行跨样本变化。结合辅助Pólya-Gamma变量，使计算效率高的崩溃块吉布斯采样器进行贝叶斯推断在这个模型下。通过考虑这种异质性，我们的新模型恢复了子社区数量规范中的推断的鲁棒性，并允许识别有意义的子社区。
2022-05-17 stat.AP stat.ML
Model-based clustering for conditionally correlated categorical data
通过放松经典的变量的“类条件独立性假设”，提出了一种扩展的潜在类模型用于分类数据的聚类。该模型包括将变量分组为相互独立和相互依赖的块，以考虑主要的类内相关性。通过混合独立性和最大依赖性两个极值分布来考虑类中同一块内变量之间的依赖性。当变量依赖于给定的类时，这种方法有望减少潜在类模型的偏差。事实上，它产生了一个有意义的依赖模型，只有几个额外的参数。通过期望最大化算法，通过极大似然估计参数。此外，吉布斯采样器用于模型选择，以克服计算的棘手性的块结构搜索所涉及的组合问题。医学和生物数据集上的两个应用程序显示了这种新模型的相关性。结果加强了这样一种观点，即该模型是有意义的，它减少了潜在类模型的条件独立性假设所引起的偏差。
2014-07-10 stat.CO
A Bayesian Nonparametric Latent Space Approach to Modeling Evolving Communities in Dynamic Networks
动态（时变）网络数据中的社区演化是一个突出的感兴趣的话题。理解这些动态网络的一种流行方法是将二元关系嵌入到潜在度量空间中。虽然使用这种方法进行聚类的方法存在于动态网络中，但它们都假设静态社区结构。本文提出了一个动态网络的贝叶斯非参数模型，可以模拟网络与不断变化的社区结构。我们的模型扩展了现有的潜在空间的方法，明确建模的添加，删除，分裂和合并的组与层次狄利克雷过程隐马尔可夫模型。我们提出的方法，层次狄利克雷过程潜在位置聚类模型（HDP-LPCM），采用了传递性，模型的数据的个人和群体层面的方面，并避免了计算昂贵的选择所需的群体数量最流行的方法。我们提供了一个马尔可夫链蒙特卡罗估计算法，并将我们的方法应用于合成和真实世界的网络，以证明其性能。
2020-03-16 stat.ME
Density regression via Dirichlet process mixtures of normal structured additive regression models
本文提出单权重相依 Dirichlet 过程正态结构化加法回归混合模型，利用惩罚 B 样条和张量积实现灵活密度回归，并通过闭式满条件分布支持高效 Gibbs 后验推断。
2024-05-13 stat.AP stat.ME
Exact marginal inference in Latent Dirichlet Allocation
Google Research（谷歌研究院）
假设我们有潜在的“原因”$z\in Z$，它产生具有已知概率$β(w|z)$的“事件”$w$。我们观察到$w_1,w_2,...,w_n$，我们可以说什么原因的分布？贝叶斯估计将假设$Z$上分布的先验（我们假设Dirichlet先验）并计算后验。然后，对后验进行平均，得到$Z$的分布，该分布估计了每个原因$z$对我们的观察结果的贡献。这是潜在狄利克雷分配的设置，它可以应用于例如在文档中“产生”单词的主题。在这种情况下，观察到的单词数量通常很大，但潜在主题的数量很少。我们在这里感兴趣的应用程序与许多潜在的“原因”（例如，在地球上的位置），但只有少数意见。我们表明，精确的贝叶斯估计可以计算在线性时间（和恒定的空间）在$|Z|$为一个给定的上限$n$与一个令人惊讶的简单的公式。我们将该算法推广到稀疏概率$β(w|z)$的情况，其中我们只需要假设观测值上的“交互图”的树宽度是有限的。另一方面，我们也表明，没有这样的限制，该问题是NP-难的。
2020-03-31 cs.LG stat.ML
Bayesian nonparametric modeling of latent partitions via Stirling-gamma priors
本文提出Stirling-gamma分布作为Dirichlet过程精度参数的新先验，通过理论分析证明其改进的稳健性和共轭性质，并在蚂蚁群落检测应用中验证了方法的有效性。
2024-09-02 math.ST stat.ME stat.TH
Fast mixing for Latent Dirichlet allocation
Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
马尔可夫链蒙特卡罗（MCMC）算法在概率论中普遍存在，特别是在机器学习中。设计了一个马尔可夫链，使其平稳分布是某种感兴趣的概率分布。然后，通过运行马尔可夫链“很长一段时间”，从给定的分布中进行采样，直到它看起来是平稳的，然后收集样本。然而，这些链通常非常复杂，并且没有理论保证实际上达到平稳性。在本文中，我们研究了潜在狄利克雷分配的一个非常简单的情况下，可以说是最有名的贝叶斯无监督学习模型的文本生成和文本分类的后验分布的吉布斯采样器。结果表明，当语料库由两个等长的$m$文档组成，而词汇表仅由两个不同的词组成时，混合时间至多为$m^2\log m$阶（相当于$m\log m$在语料库中的循环次数）.从我们的分析中可以明显看出，在文档数量和词汇量都很大的情况下，只要每个单词在每个文档中表示为一个很大的数字，即使所涉及的计算可能很难处理，混合时间也不会差得多。
2017-11-01 cs.LG stat.ML
The Immersion of Directed Multi-graphs in Embedding Fields. Generalisations
Jiratech
本文的目的是概述了一个通用的模型，用于表示混合的关系分类，符号，感知感知和感知潜在的数据，从而体现，在同一个架构的数据层，表示的输入，输出和潜在的张量。这种表示的多样性目前被计算机视觉、NLP/NLU、强化学习中的各种机器学习模型所使用，这些模型允许直接应用跨域查询和函数。这是通过赋予有向张量类型多图至少一些表示来自各种潜在空间的嵌入的边属性来实现的，以便定义、构建和计算张量形式之间和跨张量形式的新的相似性和距离关系，包括视觉、语言、听觉潜在表示，从而将观察到的宇宙的逻辑分类视图缝合到贝叶斯/统计视图。
2020-04-28 cs.AI cs.CV cs.LG
Bayesian Double Feature Allocation for Phenotyping with Electronic Health Records
我们提出了一种分类矩阵分解方法，以无监督的方式从电子健康记录（EHR）数据中推断潜在疾病。潜伏性疾病被定义为一种未知的生物学异常，导致一组患者的一系列共同症状。该方法是基于一种新的双特征分配模型，同时分配功能的行和列的分类矩阵。使用贝叶斯方法，已知疾病的先验信息大大提高了潜在疾病的可识别性和可解释性。这包括患者的已知诊断以及疾病与症状的已知关联。我们验证了所提出的方法，包括错误指定的模型和稀疏的潜在因素模型的比较模拟研究。在中国EHR数据的应用中，我们发现了有趣的结果，其中一些与相关的临床和医学知识。
2019-02-14 stat.AP
PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes
PReMiuM是最近开发的R包贝叶斯聚类使用Dirichlet过程混合模型。该模型是回归模型的替代模型，通过聚类成员关系将响应向量与协变量数据非参数化地联系起来。该软件包支持Bernoulli、Binomial、Poisson、Normal和分类响应，以及Normal和离散协变量。此外，可以对响应进行预测，并处理协变量的缺失值。几个采样器和标签切换移动与诊断工具一起实施，以评估收敛。还提供了一些用于输出后处理的R函数。除了拟合混合物之外，还可能需要确定哪些协变量主动驱动混合物成分。这在包中作为变量选择实现。
2014-04-25 stat.CO
Equivalence Set Restricted Latent Class Models (ESRLCM)
本文提出等价集约束潜类别模型（ESRLCM），以更一般的方式识别具有共同项目响应概率的簇，并验证其可识别性及在模拟和实际应用中的有效性。
2024-06-05 cs.LG math.ST stat.ML
Beyond Softmax: A Natural Parameterization for Categorical Random Variables
Università della Svizzera italiana, IDSIA（瑞士大学、IDSIA）
本文提出Catnat函数作为替代Softmax的方案，通过信息几何视角分析其局限性，并通过实验展示其在提升学习效率和测试性能方面的优势。
2026-05-12 cs.LG stat.ML
CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
通过分类变量精确地反向传播梯度是一项具有挑战性的任务，它出现在各个领域，例如训练离散潜变量模型。为此，我们提出了CARMS，分类随机变量的无偏估计的基础上多个相互负相关（共同对立）的样本。CARMS将REINFORCE与基于copula的抽样相结合，以避免重复样本并减少其方差，同时使用重要性采样保持估计量无偏。它推广了二元变量的ARMS对偶估计，这是两个类别的CARMS，以及LOORF/VarGrad，留一法REINFORCE估计，这是独立样本的CARMS。我们在生成式建模任务以及结构化输出预测任务的多个基准数据集上评估了CARMS，发现它优于竞争方法，包括强大的自我控制基线。代码是公开的。
2021-10-26 cs.LG stat.ML
Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
本文提出基于高斯混合的向量量化框架GM-VQ，利用隐变量均值与自适应方差捕获复杂数据分布，避免VQ-VAE的启发式假设，并引入ALBO优化目标，有效提升码本利用率并减少信息损失。
2024-10-14 cs.LG stat.ML
Dirichlet moment tensors and the correspondence between admixture and mixture of product models
University of Chicago（芝加哥大学）；Duke University（杜克大学）；University of Michigan（密歇根大学）
本文通过动量张量分解，建立了admixture模型与product mixture模型的等价性，从而在更弱的条件下推导了两类模型的可识别性和后验收缩率。
2025-12-19 math.ST stat.TH
Mixed Likelihood Gaussian Process Latent Variable Model
KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出了混合似然高斯过程隐变量模型（GP-LVM），能够建模数据的不同类型的属性。GP-LVM的标准公式假设每个观测值都来自高斯分布，这使得模型不适合具有分类或名义属性的数据。我们的模型，我们使用基于抽样的变分推理，而不是假设一个单独的可能性为每个观察到的维度。该公式产生更有意义的潜在表示，并为具有不同类型维度的真实世界数据提供更好的预测性能。
2018-11-19 cs.LG stat.ML
Categorical Reparameterization with Denoising Diffusion models
KTH Royal Institute of Technology（皇家理工学院）；Institute of Foundation Models, MBZUAI（基础模型研究所）；Mohamed Bin Zayed University of AI（穆罕默德·本·扎耶德人工智能大学）
ReDGE是一种基于扩散模型的新型软重参数化方法，用于高效优化分类分布的梯度估计。
2026-02-09 cs.LG stat.ML
Modernizing full posterior inference for surrogate modeling of categorical-output simulation experiments
针对大规模分类模拟实验，提出基于椭圆切片采样和Vecchia近似的GP分类框架，实现全贝叶斯后验推断，优于变分推断方法，并扩展到深度非平稳分类。
2025-01-24 stat.CO
Moment-Based Inference for Regression with Latent Dirichlet Covariates
UCL（伦敦大学学院）
针对回归前使用主题模型降维导致的推断困难，提出一种基于校正谱矩的方法，直接识别回归系数β，避免估计文档级主题份额，并通过可交换性条件估计未知总浓度α0，实现有效推断。
2026-05-29 econ.EM stat.ME stat.ML
