Dirichlet Process Mixture Models for Modeling and Generating Synthetic Versions of Nested Categorical Data
本文提出了一个估计多变量分类数据的联合分布的贝叶斯模型。这种数据经常出现在社会科学背景下，例如，生活在家庭中的人。该模型假设（i）每个组是组级潜在类的成员，以及（ii）每个单元是嵌套在其组级潜在类内的单元级潜在类的成员。该结构允许模型捕获同一组中的单元之间的依赖性。它还有助于在组和单元级别同时对变量进行建模。我们开发了一个版本的模型，将零概率分配给具有物理上不可能的变量组合的组和单元。我们应用该模型来估计在美国社区调查的一个子集中的多变量关系。使用估计的模型，我们生成的合成家庭数据，可以传播为编辑的公共使用文件，具有高分析有效性和低披露风险。本文的补充材料可在线获取。
2016-10-28 stat.ME
Dirichlet Process Mixtures of Generalized Linear Models
我们提出了狄利克雷过程混合广义线性模型（DP-GLM），一种新的非参数回归方法，可容纳连续和分类的输入，和响应，可以模拟的广义线性模型。我们证明了DP-GLM回归均值函数估计的渐近无偏性的条件。我们还给出了当这些条件成立时的例子，包括紧支持的连续分布模型和具有连续协变量和分类响应的模型。我们实证分析的DP-GLM的属性，为什么它提供了更好的结果比现有的Dirichlet过程混合物回归模型。我们评估DP-GLM的几个数据集，比较它的现代非参数回归方法，如CART，贝叶斯树和高斯过程。与现有技术相比，DP-GLM提供了一个单一的模型（和相应的推理算法），在许多回归设置中表现良好。
2010-07-15 stat.ML
Gaussian Process Models with Low-Rank Correlation Matrices for Both Continuous and Categorical Inputs
Dortmund University of Applied Sciences and Arts（多特蒙德应用科学与艺术大学）
我们介绍了一种方法，在混合连续和分类高斯过程模型中使用互相关矩阵的低秩近似。这种新方法-称为低秩相关（LRC）-提供了通过选择适当的近似秩来灵活调整参数数量的能力。此外，我们提出了一个系统的方法来定义测试功能，可用于评估的模型或优化方法，是关注连续和分类输入的准确性。我们比较LRC现有的方法建模的互相关矩阵。结果表明，新方法在互相关估计和响应面预测方面表现良好。因此，LRC是对现有方法的灵活和有用的补充，特别是对于增加类别输入的水平组合的数量。
2020-10-06 cs.LG stat.ME stat.ML
Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data
多变量分类数据出现在机器学习的许多应用中。这些分类变量向量的主要困难之一是稀疏性。可能的观测值数量随着向量长度呈指数增长，但相比之下，数据集的多样性可能较差。最近的模型在使用这些数据的监督任务中获得了显着的改进。这些模型将观测嵌入连续空间中，以捕捉它们之间的相似性。基于这些想法，我们提出了一个贝叶斯模型的无监督任务的分布估计的多元分类数据。我们对从连续潜在空间的非线性变换生成的分类变量向量进行建模。非线性捕获分布中的多模态。连续表示解决稀疏性。我们的模型将许多现有的模型联系在一起，将线性分类潜在高斯模型，高斯过程潜在变量模型和高斯过程分类联系在一起。我们推导出我们的模型的基础上，最近的事态发展，抽样为基础的变分推断。我们的经验表明，该模型优于其线性和离散的稀疏数据的插补任务。
2015-03-07 stat.ML
A reproducible comparative study of categorical kernels for Gaussian process regression, with new clustering-based nested kernels
Safran Tech, Digital Sciences \& Technologies, 78114 Magny-Les-Hameaux, France；Centre de Mathématiques Appliquées, Ecole polytechnique, Institut Polytechnique de Paris, 91120 Palaiseau, France；Univ Rennes, Ensai, CNRS, CREST - UMR 9194, F-35000 Rennes, France
该研究针对高斯过程回归中分类核设计难、现有研究缺乏可复现性的问题，开展多测试用例可复现比较，提出新评估指标与基于聚类的嵌套核策略，在多数据集上实现更优性能与低计算成本。
2025-10-02 cs.LG stat.ML
Diffusing Gaussian Mixtures for Generating Categorical Data
McGill University（麦吉尔大学）
学习分类分布有其自身的一系列挑战。最先进的作品所采取的一种成功方法是将问题投射到连续域中，以利用连续数据的生成模型的令人印象深刻的性能。其中包括最近出现的扩散概率模型，它具有生成高质量样本的明显优势。分类生成模型的最新进展集中在对数似然改进上。在这项工作中，我们提出了一个生成模型的分类数据的基础上，扩散模型，重点是高质量的样本生成，并提出基于样本的评估方法。我们的方法的功效源于在连续域中执行扩散，同时通过目标分布的分类性质的结构来通知其参数化。我们的评估方法强调了不同生成模型生成分类数据的能力和局限性，并包括对合成和真实世界蛋白质数据集的实验。
2023-03-08 cs.LG
Scalable Gaussian Processes for Data-Driven Design using Big Data with Categorical Factors
Shanghai Jiao Tong University（上海交通大学）；Northwestern University（西北大学）
科学和工程问题通常需要使用人工智能来帮助理解和寻找有前途的设计。虽然高斯过程（GP）作为易于使用和可解释的学习器脱颖而出，但它们难以适应大数据集，分类输入和多个响应，这已成为越来越多的数据驱动设计应用程序的共同挑战。在本文中，我们提出了一个GP模型，利用通过变分推理得到的潜变量和函数，同时解决上述挑战。该方法是建立在潜变量高斯过程（LVGP）模型，其中分类因素被映射到一个连续的潜在空间，使GP模型的混合变量数据集。通过将变分推理扩展到LVGP模型，大型训练数据集被一小组诱导点所取代，以解决可扩展性问题。输出响应向量由独立潜在函数的线性组合表示，形成灵活的内核结构以处理可能具有不同行为的多个响应。比较研究表明，所提出的方法可以很好地扩展超过10^4个数据点的大型数据集，同时优于最先进的机器学习方法，而不需要太多的超参数调整。此外，获得了一个可解释的潜在空间，以深入了解分类因素的影响，例如与超材料和材料设计中的建筑模块和元件选择相关的因素。我们的方法被证明是机器学习的三元氧化物材料和拓扑优化的多尺度顺应机制与非周期性的微结构和多种材料。
2021-06-30 cs.LG stat.ML
Practical Robust Estimators for the Imprecise Dirichlet Model
分类独立同分布的Walley不精确Dirichlet模型数据将经典的Dirichlet模型扩展到一组先验。它克服了其他不确定性方法所遇到的几个基本问题。然而，为了在实践中有用，人们需要有效的方法来计算不精确的鲁棒集合或区间。这项工作的主要目标是在IDM下推导出一大类统计估计量（包括熵和互信息）的精确、保守、近似、稳健和可信的区间估计。
2009-01-26 cs.LG math.ST stat.ML
Gaussian Mixture Vector Quantization with Aggregated Categorical Posterior
National University of Singapore（新加坡国立大学）；Indian Institute of Technology Jodhpur（焦特布尔印度理工学院）
本文提出基于高斯混合的向量量化框架GM-VQ，利用隐变量均值与自适应方差捕获复杂数据分布，避免VQ-VAE的启发式假设，并引入ALBO优化目标，有效提升码本利用率并减少信息损失。
2024-10-14 cs.LG stat.ML
Dirichlet-based Gaussian Processes for Large-scale Calibrated Classification
EURECOM（欧洲通信学院）；University of Genoa（热那亚大学）；IIT（意大利理工学院）；MIT（麻省理工学院）
在本文中，我们研究的问题，得出快速和准确的分类算法与不确定性量化。高斯过程分类提供了一种原则性的方法，但相应的计算负担在大规模问题中几乎是不可持续的，并且设计有效的替代方案是一个挑战。在这项工作中，我们研究了直接应用于分类标签的高斯过程回归是否以及如何用于解决这个问题。虽然在这种情况下，训练时间明显更快，但预测需要针对分类和不确定性估计进行校准。为此，我们提出了一种新的方法的基础上解释的Dirichlet分布的输出标签。大量的实验结果表明，所提出的方法提供了基本相同的精度和不确定性量化的高斯过程分类，而只需要一小部分的计算资源。
2018-05-28 cs.LG stat.ML
A mixed-categorical correlation kernel for Gaussian process
ONERA/DTIS, Université de Toulouse（法国国家航空航天研究院/信息处理与系统部，图卢兹大学）；ISAE-SUPAERO, Université de Toulouse（法国国立高等航空航天学院，图卢兹大学）；Polytechnique Montréal（蒙特利尔理工学院）；Institut Clément Ader (ICA), Université de Toulouse, ISAE-SUPAERO, Mines Albi, UPS, INSA, CNRS（克莱蒙·阿德尔研究所，图卢兹大学，法国国立高等航空航天学院，阿尔比矿业学院，图卢兹第三大学，法国国立应用科学学院，法国国家科学研究中心）
针对混合分类变量的 GP 代理建模问题，提出一种扩展连续指数核的相关核，统一并推广连续松弛与 Gower 距离 GP，在解析和工程问题上取得更优似然与残差。
2024-01-23 cs.LG math.OC stat.ML
On the Variational Posterior of Dirichlet Process Deep Latent Gaussian Mixture Models
Orange Labs（Orange实验室）；Institute Mines-Telecom Atlantique（大西洋矿业电信学院）
由于重新参数化技巧，深度潜在高斯模型最近在学习潜在表示方面取得了巨大的成功。然而，将它们与非参数先验（如狄利克雷过程（DP））耦合的能力由于其不可参数化的性质而没有看到类似的成功。本文提出了Dirichlet过程深潜高斯混合模型（DP-DLGMM）变分后验的另一种处理方法，证明了β分布和聚类隐变量的先验聚类参数和变分后验可以以封闭形式更新.这导致了一个标准的重新参数化技巧高斯隐变量知道集群分配。我们在标准基准数据集上展示了我们的方法，我们表明我们的模型能够为获得的每个聚类生成真实的样本，并在半监督设置中表现出竞争力。
2020-07-27 cs.AI cs.LG stat.ML
Multiple Imputation of Missing Categorical and Continuous Values via Bayesian Mixture Models with Local Dependence
我们提出了一个非参数贝叶斯联合模型的多变量连续和分类变量，目的是开发一个灵活的引擎，多重插补的缺失值。该模型融合了分类变量多项分布的Dirichlet过程混合和连续变量多元正态分布的Dirichlet过程混合。我们将连续和分类变量之间的依赖性（i）建模的正态分布的平均值作为组件特定的功能的分类变量和（ii）形成不同的混合成分的分类和连续数据的概率，通过分层模型。这种结构允许模型捕获分类数据和连续数据之间的复杂依赖关系，而分析人员只需进行最小的调整。我们应用该模型来填补缺失值，由于项目无应答的收入和计划参与调查（SIPP）的重新设计的评价。目标是将新设计的现场测试估计值与旧设计下收集的面板中选定个体的估计值进行比较。我们表明，占缺失数据改变了一些结论的可比性分布在两个数据集。我们还进行了广泛的重复抽样模拟使用类似的数据，从完整的情况下，在现有的SIPP面板，比较我们提出的模型的默认应用程序的多重插补链式方程。在这种现实环境中，基于所提出的模型的插补往往比链式方程的默认应用具有更好的重复采样特性。
2015-10-13 stat.AP stat.ME
Robust Estimators under the Imprecise Dirichlet Model
Walley的不精确Dirichlet模型（IDM）的分类数据克服了几个基本问题，其他方法的不确定性遭受。然而，为了在实践中有用，人们需要有效的方法来计算不精确的鲁棒集合或区间。这项工作的主要目标是在IDM下推导出一大类统计估计量（包括熵和互信息）的精确、保守、近似、稳健和可信的区间估计。
2003-05-08 cs.IT cs.LG math.IT
Bayesian Optimisation over Multiple Continuous and Categorical Inputs
University of Oxford（牛津大学）
包括连续和分类输入的黑盒问题的有效优化是重要的，但也带来了重大挑战。我们提出了一种新的方法，连续和分类贝叶斯优化（CoCaBO），它结合了多武装土匪和贝叶斯优化的优势，选择分类和连续输入的值。我们使用一个高斯过程内核对这个混合类型空间进行建模，该内核旨在允许跨多个分类变量共享信息，每个变量都有多个可能的值;这使得CoCaBO能够有效地利用所有可用数据。我们将我们的方法扩展到批量设置，并提出了一个有效的选择过程，动态平衡探索和开发，同时鼓励批量多样性。我们的经验表明，我们的方法优于现有的方法在合成和现实世界的优化任务与连续和分类输入。
2020-08-09 cs.LG stat.ML
High-dimensional mixed-categorical Gaussian processes with application to multidisciplinary design optimization for a green aircraft
ONERA（法国航空航天研究院）；Université de Toulouse（图卢兹大学）；ISAE-SUPAERO（法国高等航空航天学院）；Polytechnique Montréal（蒙特利尔理工学院）；GERAD（GERAD（蒙特利尔运筹学与决策科学研究组））；ICA（图卢兹计算机科学研究所）；INSA（法国国立应用科学学院）；CNRS（法国国家科学研究中心）；MINES ALBI（阿尔比矿业学校）；UPS（图卢兹第三大学）
针对混合类别GP超参数过多的问题，本文提出基于偏最小二乘回归的降维方法，并通过悬臂梁与绿色飞机多学科优化验证其效果。
2024-02-02 cs.AI math.OC stat.ML
Dirichlet Variational Autoencoder
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出了一种Dirichlet变分自编码器（DirVAE），它利用Dirichlet先验对具有分类概率特征的连续潜变量进行编码。为了推断DirVAE的参数，我们利用随机梯度法近似的伽玛分布，这是一个组成部分的狄利克雷分布，逆伽玛CDF近似。此外，我们通过调查两个问题来源，这是解码器权重塌陷和潜在值塌陷重塑组件塌陷问题，我们表明，DirVAE没有组件塌陷，而高斯VAE表现出解码器权重塌陷和Stick-Breaking VAE表现出潜在值塌陷。实验结果表明：1）与基线相比，DirVAE以最佳的对数似然对潜在表示结果进行建模; 2）DirVAE产生更多可解释的潜在值，而没有基线模型遭受的崩溃问题。此外，我们表明，从DirVAE学习的潜在表示在MNIST，OMNIGLOT和SVHN上的半监督和监督分类任务中实现了最佳的分类精度，与基线VAE相比。最后，我们证明了DirVAE增强主题模型在大多数情况下表现出更好的性能。
2019-01-09 cs.LG stat.ML
Simplex-to-Euclidean Bijections for Categorical Flow Matching
Department of Computer Science, University of Helsinki（赫尔辛基大学计算机科学系）；Department of Computer Science, Aalto University（阿莱大学计算机科学系）；ELLIS Institute Finland（芬兰ELLIS研究所）
该研究提出了一种基于Aitchison几何的简单形到欧几里得空间的双射方法，用于学习和采样概率分布，支持对类别数据的建模，并在合成和现实数据集上表现出色。
2026-02-26 cs.LG
Straightforward Bayesian A/B testing with Dirichlet posteriors
针对高频 A/B 测试中联合后验构建耗时且依赖专家的问题，本研究提出使用 Dirichlet-Categorical 模型近似真实联合后验，该方法在模拟与实际场景中表现良好，已被作为标准分析方法。
2025-08-11 stat.ME
Gaussian Copula Variational Autoencoders for Mixed Data
Pohang University of Science and Technology（浦项科技大学）
变分自编码器（VAE）是一种具有连续潜变量的生成模型，其中一对概率编码器（自下而上）和解码器（自上而下）通过随机梯度变分贝叶斯联合学习。我们首先阐述高斯VAE，近似的本地协方差阵的解码器作为一个外积的主方向在一个位置确定的样本从高斯分布。我们表明，该模型，称为VAE-ROC，更好地捕捉数据流形，相比标准的高斯VAE独立的多变量高斯被用来模拟解码器。然后，我们扩展VAE-ROC处理混合分类和连续数据。为此，我们采用高斯copula模型的局部依赖混合分类和连续数据，导致{ \em高斯copula变分自动编码器}（GCVAE）。在VAE-ROC中，我们使用高斯copula中协方差的秩一近似来捕获混合数据中的局部依赖结构。在各种数据集上的实验证明了VAE-ROC和GCVAE与标准VAE相比的有用行为。
2016-04-18 cs.LG stat.ML
Effects of Distributional Biases on Gradient-Based Causal Discovery in the Bivariate Categorical Case
TUM（慕尼黑技术大学）；Ruhr University Bochum（博德姆鲁尔大学）；Institute for Neural Computation, Faculty for Computer Science（神经计算研究所，计算机科学学院）
该研究识别出双变量分类场景下影响基于梯度的因果发现的两类分布偏差，验证了相关模型易受其影响，提出消除因果分解竞争可提升模型鲁棒性。
2025-09-01 cs.LG stat.ML
On Simulations from the Two-Parameter Poisson-Dirichlet Process and the Normalized Inverse-Gaussian Process
在本文中，我们开发了简单，但有效的，两参数泊松-狄利克雷过程和归一化逆高斯过程的采样近似的程序。我们比较了新的近似的效率，相应的棒打破近似，在其中，我们表现出实质性的改善。
2012-09-24 stat.CO
Common Failure Modes of Subcluster-based Sampling in Dirichlet Process Gaussian Mixture Models -- and a Deep-learning Solution
Ben-Gurion University（本-古里安大学）
狄利克雷过程高斯混合模型（DPGMM）常用于聚类数据时，聚类数是未知的。一个主要的DPGMM推理范式依赖于采样。在这里，我们考虑一个已知的最先进的采样器（由Chang和Fisher III（2013）提出，并由Dinari等人（2019）改进），分析其故障模式，并展示如何改进它，通常是大幅改进。具体地说，在该采样器中，每当形成一个新的集群时，它都会增加两个子集群，其标签是随机初始化的。在它们的演化过程中，子集群用于提出父集群的分裂。我们表明，随机初始化往往是有问题的，伤害了否则有效的采样器。具体来说，我们证明，这种初始化往往会导致穷人的分裂建议和/或太多的迭代之前，所需的分裂被接受。这会减慢收敛速度，并可能破坏聚类。作为一种补救措施，我们提出了两个下拉式替换选项的子集群初始化子程序。第一个是直观的启发式，而第二个是基于深度学习。我们表明，所提出的方法产生更好的分裂，这反过来又转化为性能，结果和稳定性的大幅改善。
2022-03-25 cs.LG stat.ML
Group kernels for Gaussian process metamodels with categorical inputs
高斯过程（GP）被广泛用作仿真耗时的计算机代码的元模型。我们专注于涉及分类输入的问题，具有潜在的大量L的水平（通常是几十个），划分在G << L组的各种大小。然后，可以通过块协方差阵T来定义简约的协方差函数或核，其中块对之间和块内的协方差恒定。我们研究这种矩阵的正定性，以鼓励他们的实际应用。等效于嵌套贝叶斯线性模型的分层组/水平结构提供了有效块矩阵T的参数化。然后，当放松块内的假设时，可以使用相同的模型，给出有效的协方差阵的灵活参数族，其中块对之间具有恒定的协方差。T的正定性等价于大小为G的较小矩阵的正定性，通过平均每个块获得。该模型被应用于核废料分析中的一个问题，其中的分类输入之一是原子序数，它有90多个级别。
2018-07-24 math.ST stat.ME stat.TH
Regime-Adaptive Bayesian Optimization via Dirichlet Process Mixtures of Gaussian Processes
Department of Computer Science, Florida State University（佛罗里达州立大学计算机科学系）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；School of Mechanical Engineering, Purdue University（普渡大学机械工程学院）；College of Nanotechnology, Science, and Engineering, State University of New York at Albany（纽约州立大学阿尔巴尼分校纳米技术、科学与工程学院）
本文提出RAMBO方法，通过狄利克雷过程混合高斯过程实现自适应贝叶斯优化，有效处理多制度问题，提升分子构象优化、药物发现等任务的性能。
2026-07-29 cs.LG stat.ML
A Class of Conjugate Priors Defined on the Unit Simplex
Dirichlet分布及其无穷维推广的Dirichlet过程在贝叶斯统计中主要用于分类分布和多项分布的共轭先验。有人建议扩展，以扩大不同用途的应用。在这篇文章中，我们探讨了一类先验分布密切相关的狄利克雷分布，并纳入额外的信息的数据生成机制。给出的例子来显示潜在的使用模型。
2014-12-04 stat.ME stat.OT
Flow Duality and Source Geometry for Categorical Generation
本文发现连续与离散流匹配间的对偶性，通过argmax投影将连续凸插值转为离散，并揭示源分布几何对类别生成质量的影响。
2026-09-15 cs.LG stat.ML
Fast Predictive Uncertainty for Classification with Bayesian Deep Networks
University of Tübingen（图宾根大学）；Max-Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在贝叶斯深度学习中，分类神经网络输出的分布通常通过首先在权重上构建高斯分布来近似，然后从中采样以接收softmax输出的分布。这是昂贵的。我们重新考虑旧的工作（拉普拉斯桥）来构建这个softmax输出分布的Dirichlet近似，它产生了logit空间中的高斯分布和输出空间中的Dirichlet分布（分类分布之前的共轭）之间的解析映射。重要的是，香草拉普拉斯桥有一定的局限性。我们分析了这些，并提出了一个简单的解决方案，相比其他常用的估计的softmax-Gaussian积分。我们证明了由此产生的Dirichlet分布具有多种优势，特别是更有效地计算不确定性估计和扩展到大型数据集和网络，如ImageNet和DenseNet。我们进一步证明了这种Dirichlet近似的有用性，使用它来构建ImageNet的轻量级不确定性感知输出排名。
2022-05-31 cs.LG stat.ML
Logit-Coordinate Generative Models for Mixed Continuous-Categorical Tabular Data
School of Statistics, University of Minnesota（明尼苏达大学统计学院）
研究混合连续-分类表格数据表示问题，提出Logit坐标框架，将分类变量编码与数值变量结合，形成Logit流匹配和扩散公式，经模拟和真实数据验证，该框架在多方面表现良好，能改进分布指标等。
2026-07-28 cs.LG stat.ML
Classification of pulsars with Dirichlet process Gaussian mixture model
Istanbul Technical University（伊斯坦布尔理工大学）
年轻的孤立中子星（INS）通常表现为旋转动力中子星（RPP），包括常规射电中子星、伽马射线中子星（GRP）和旋转射电瞬变（RRAT）。其他一些年轻的INS家族表现为异常X射线源星（AXP）和软伽马射线中继星（SGR），它们通常被认为是磁星，即具有超强衰减场的磁动力中子星。然而，其他一些年轻的惯性导航系统被确定为中央致密天体（CCO）和X射线暗淡孤立中子星（XDINS），它们是由其热能驱动的冷却天体。较老的双星，由于之前一个伴星的长时间吸积，表现为毫秒双星，更常见于双星系统中。我们使用Dirichlet过程高斯混合模型（DPGMM），一种无监督的机器学习算法，分析这些脉冲星家族的周期和周期导数的参数空间中的分布。我们比较了所有发现的星系团的特征年龄、磁偶极场强度、表面温度和横向速度的平均值。我们验证了DPGMM是强大的，并提供了线索，推断不同类别的类之间的关系。我们讨论了我们的研究结果的磁热自旋演化模型和后备光盘的影响。
2020-01-15 astro-ph.HE cs.LG stat.ML
Classification and categorical inputs with treed Gaussian process models
认识到树型高斯过程（TGP）模型作为非参数回归的一个可解释的和节俭的模型的成功，我们试图将该模型扩展到分类。树模型和高斯过程（GP），分别享有巨大的成功，在分类问题的应用。前者的一个例子是Bayesian CART。在后者中，实值GP输出可以用于经由潜变量的分类，潜变量通过softmax函数提供分类规则。我们制定了一个贝叶斯模型的平均计划，结合这两个模型，并描述了一个蒙特卡罗方法，从全后验分布与联合提案的树拓扑结构和GP参数对应的潜在变量在树叶的采样。我们专注于有效的采样的潜变量，这是很重要的，以获得良好的混合在扩展的参数空间。树结构是特别有助于这项任务，也为发展一个有效的计划，处理分类预测，这通常出现在分类问题。我们提出的分类TGP（CTGP）的方法说明了合成和真实数据集的集合。我们评估性能相对于现有的方法，从而显示如何CTGP是高度灵活的，提供易处理的推理，产生的规则，易于解释，并表现良好的样本。
2010-09-26 stat.CO stat.ME
Location Dependent Dirichlet Processes
East China Normal University（华东师范大学）；Columbia University（哥伦比亚大学）
狄利克雷过程（DP）在贝叶斯非参数建模中有着广泛的应用。然而，在它们的基本形式中，它们并不直接整合来自空间和时间的数据之间的依赖信息。在本文中，我们提出了位置相关的狄利克雷过程（LDDP），它将非参数高斯过程的DP建模框架，以模拟这种依赖关系。我们开发的LDDP的上下文中的混合建模，并开发了一个平均场变分推断算法的混合模型。所提出的建模框架的有效性上显示的图像分割任务。
2017-07-02 cs.LG stat.ML
An Empirical Comparison of Multiple Imputation Methods for Categorical Data
多重插补是处理统计数据库中缺失值的常用方法。插补者使用从观察数据估计的预测模型中提取的数据填充缺失值，从而产生多个完整版本的数据库。研究人员已经开发了各种默认例程来实现多重插补;然而，比较这些方法的性能的研究有限，特别是对于分类数据。我们使用模拟研究来比较三种默认多重插补方法的重复抽样特性，包括使用广义线性模型的链式方程，使用分类和回归树的链式方程，以及基于Dirichlet过程混合模型的完全贝叶斯联合分布。我们基于美国社区调查的分类数据进行模拟。在本研究的情况下，结果表明，默认链式方程的方法的基础上广义线性模型的默认回归树和贝叶斯混合模型的方法占主导地位。他们还提出了回归树和贝叶斯混合模型方法的竞争优势，使两个合理的默认引擎的多重插补的分类数据。本文的补充材料可在网上查阅。
2016-12-23 stat.CO stat.ME
Adaptive Low-Complexity Sequential Inference for Dirichlet Process Mixture Models
MIT Lincoln Laboratory（麻省理工学院林肯实验室）
我们开发了一个顺序的低复杂度的推理过程的Dirichlet过程混合高斯在线聚类和参数估计时，集群的数量是未知的先验。我们提出了一个易于计算的，封闭形式的参数表达式的条件似然，其中超参数递归更新的流数据假设共轭先验的函数。受大样本渐近性的启发，我们提出了一种新的自适应低复杂度的Dirichlet过程浓度参数的设计，并表明类的数量最多以对数速度增长。进一步证明了在大样本极限下，条件似然和数据预测分布都是渐近高斯分布。我们通过对合成和真实数据集的实验证明，我们的方法优于其他在线最先进的方法。
2015-09-11 cs.LG stat.ME stat.ML
Dirichlet Process Parsimonious Mixtures for clustering
Normandie Univ（诺曼底大学）；UNICAEN（卡昂大学）；CNRS（法国国家科学研究中心）；Aix Marseille Université（艾克斯-马赛大学）；ENSAM（法国国立高等工程技术学校）；Université de Toulon（土伦大学）
简约高斯混合模型，它利用一个特征值分解的组协方差阵的高斯混合，已显示出他们的成功，特别是在聚类分析。它们的估计一般通过极大似然估计进行，并且也从参数贝叶斯前景考虑。我们提出了新的Dirichlet过程简约混合物（DPPM），代表这些简约高斯混合模型的贝叶斯非参数制定。所提出的DPPM模型是贝叶斯非参数简约混合模型，允许同时推断模型参数，混合物组分的最佳数量和最佳简约混合物结构的数据。我们开发了一个吉布斯抽样技术的最大后验概率（MAP）估计的DPMM模型，并提供了一个贝叶斯模型选择框架，通过使用贝叶斯因子。我们将它们应用于聚类模拟数据和真实数据集，并将它们与标准的简约混合模型进行比较。所得到的结果突出了所提出的非参数简约混合模型作为一个很好的非参数替代参数简约模型的有效性。
2018-10-17 cs.LG stat.ME stat.ML
Accurate parameter estimation for Bayesian Network Classifiers using Hierarchical Dirichlet Processes
Monash University（莫纳什大学）
本文介绍了一种新的贝叶斯网络分类器（BNC）的概率表的参数估计方法，使用分层Dirichlet过程（HDPs）。本文的主要结果是表明，改进的参数估计允许BNC优于领先的学习方法，如随机森林的0-1损失和RMSE，尽管只是在分类数据集。随着数据资产变得越来越大，进入被大肆宣传的“大”世界，高效准确的分类需要三个主要元素：（1）具有低偏差的分类器，可以捕获大型数据集的细节;（2）可以从数据中学习而不必将其全部保存在主内存中的非核心学习器;（3）可以非常有效地分类新数据的模型。最新的贝叶斯网络分类器（BNC）满足这些要求。它们的偏差可以通过增加图中节点的父节点的数量来容易地控制。它们的结构可以通过有限的数据传递次数在核心之外学习。然而，由于偏差被降低以准确地建模分类任务，因此其参数估计的准确性也降低，因为每个参数都是从不断减少的数据量中估计的。在本文中，我们介绍了使用分层Dirichlet过程的准确BNC参数估计。我们在68个标准数据集上进行了一系列广泛的实验，并证明了我们得到的分类器在预测方面与随机森林非常有竞争力，同时保持了核心外的能力和优越的分类时间。
2018-05-08 cs.LG stat.ML
Bayesian inference for a class of latent Markov models for categorical longitudinal data
针对一类隐马尔可夫模型提出了一种贝叶斯推断方法。这些模型被广泛用于纵向分类数据的分析，当感兴趣的是在研究一个人的不可观察的特征的演变。我们认为，特别是，基本的潜在马尔可夫，它不占个别协变量，其版本，包括这样的协变量的测量模型。所提出的推理方法是基于一个系统的先验制定的初始和转移概率的潜在马尔可夫链的转换。这个先验系统等价于基于狄利克雷分布的先验系统。为了从参数和潜在状态数的联合后验分布中抽取样本，我们实现了一个可逆的跳跃算法，该算法将Metropolis-Hastings类型的移动与分裂/合并和出生/死亡类型的移动交替进行。所提出的方法说明通过两个应用程序的基础上纵向数据集。
2011-01-04 stat.ME
Mixed Likelihood Gaussian Process Latent Variable Model
KTH Royal Institute of Technology（KTH皇家理工学院）
我们提出了混合似然高斯过程隐变量模型（GP-LVM），能够建模数据的不同类型的属性。GP-LVM的标准公式假设每个观测值都来自高斯分布，这使得模型不适合具有分类或名义属性的数据。我们的模型，我们使用基于抽样的变分推理，而不是假设一个单独的可能性为每个观察到的维度。该公式产生更有意义的潜在表示，并为具有不同类型维度的真实世界数据提供更好的预测性能。
2018-11-19 cs.LG stat.ML
Bayesian Nonparametric Dimensionality Reduction of Categorical Data for Predicting Severity of COVID-19 in Pregnant Women
Stony Brook University（石溪大学）；Department of Obstetrics, Gynecology and Reproductive Medicine（妇产科与生殖医学系）
针对孕妇COVID-19临床研究代表性不足、多分类临床数据维度爆炸的问题，提出基于潜在高斯过程的贝叶斯非参数降维方法，用于预测孕妇COVID-19重症程度，准确率优于传统独热编码方法。
2021-09-27 cs.LG stat.AP
PReMiuM: An R Package for Profile Regression Mixture Models using Dirichlet Processes
PReMiuM是最近开发的R包贝叶斯聚类使用Dirichlet过程混合模型。该模型是回归模型的替代模型，通过聚类成员关系将响应向量与协变量数据非参数化地联系起来。该软件包支持Bernoulli、Binomial、Poisson、Normal和分类响应，以及Normal和离散协变量。此外，可以对响应进行预测，并处理协变量的缺失值。几个采样器和标签切换移动与诊断工具一起实施，以评估收敛。还提供了一些用于输出后处理的R函数。除了拟合混合物之外，还可能需要确定哪些协变量主动驱动混合物成分。这在包中作为变量选择实现。
2014-04-25 stat.CO
Dirichlet Process Mixtures of Trees with Gaussian Process Splits: A Bayesian Nonparametric Framework with Posterior Contraction Rate
Indian Statistical Institute（印度统计研究所）
提出一种基于狄利克雷过程先验的贝叶斯非参数回归树混合模型，利用高斯过程分裂规则统一多种树方法，实现数据驱动的集成规模选择，并证明后验收敛率，在多个基准和应用中优于现有方法。
2026-09-24 cs.LG math.ST stat.ME
Sketching for Latent Dirichlet-Categorical Models
Carnegie Mellon University（卡内基梅隆大学）；Oracle Labs（甲骨文实验室）
最近的工作探索了将数据集转换为更小的近似摘要，以扩展贝叶斯推理。我们研究了一个相关的问题，其中贝叶斯模型的参数是非常大的和昂贵的存储在内存中，并提出了更紧凑的表示参数值，可以在推理过程中使用。我们专注于一类图形模型，我们称之为潜在的Dirichlet分类模型，并显示如何结合两个草图算法称为计数最小草图和近似计数器提供了一个有效的表示。我们表明，这种草图组合-尽管已经在NLP应用程序中使用过，但以前没有分析过-具有理想的特性。我们证明了对于这类模型，当草图被用于马尔可夫链蒙特卡罗推理过程中，草图MCMC的平衡收敛到精确链的草图参数进行调整，以减少出错率。
2018-10-02 cs.LG stat.ML
Density regression via Dirichlet process mixtures of normal structured additive regression models
本文提出单权重相依 Dirichlet 过程正态结构化加法回归混合模型，利用惩罚 B 样条和张量积实现灵活密度回归，并通过闭式满条件分布支持高效 Gibbs 后验推断。
2024-05-13 stat.AP stat.ME
Distributional encoding for Gaussian process regression with qualitative inputs
ENSAI, CREST - UMR 9194（ENSAI、CREST - UMR 9194）
本文提出分布编码方法，利用类别目标变量的完整分布信息替代传统标签编码，并结合最大均值差异与Wasserstein距离构建适用于类别输入的高斯过程回归，在多种数据集上取得最先进预测性能。
2025-06-05 cs.LG stat.ML
Mixtures of Gaussian process experts based on kernel stick-breaking processes
the University of Melbourne（墨尔本大学）
提出基于核stick-breaking过程的高斯过程专家混合模型，改进门控函数，提升预测性能，并用切片采样实现后验计算，在六个数据集上验证效果。
2023-05-05 cs.LG stat.ML
CAVIAR: Categorical-Variable Embeddings for Accurate and Robust Inference
Cornell University（康奈尔大学）；Singapore Management University（新加坡管理大学）
针对高维稀疏分类变量在因果推断中违反Donsker条件、传统方法效果不佳的问题，提出CAVIAR嵌入方法，通过降维实现稳定鲁棒估计，并在服装销售数据集上验证了其效用。
2024-04-11 cs.LG econ.EM
DP-GP-LVM: A Bayesian Non-Parametric Model for Learning Multivariate Dependency Structures
University of Bath（巴斯大学）；University of Bristol（布里斯托尔大学）
我们提出了一个非参数贝叶斯潜变量模型，能够在多变量环境中学习跨维度的依赖结构。我们的方法是基于灵活的高斯过程先验的生成映射和可互换的狄利克雷过程先验学习的结构。引入狄利克雷过程作为一个特定的结构先验，使我们的模型，以规避与以前的高斯过程潜变量模型的问题。推导出一个有效的变分边界上的边际对数似然模型进行推理。
2018-07-12 cs.LG stat.ML
Analysis of the maximal posterior partition in the Dirichlet Process Gaussian Mixture Model
混合模型在许多应用中是自然的选择，但是很难对组分的数量设置先验的上界。为了规避这一点，研究人员越来越多地转向狄利克雷过程混合模型（DPMM）。因此，必须了解这一办法的长处和短处。这项工作考虑了高斯DPMM（其中聚类均值具有高斯分布，对于每个聚类，聚类内的观测值具有高斯分布）的MAP（最大后验）聚类。一些理想的属性的MAP分区证明：“几乎不相交”的凸包的集群（他们可能有最多一个共同点）和（与自然的假设）的可比性的大小，这些集群相交的任何固定的球与观察的数量（因为后者走向无穷大）。因此，这种集群的数量仍然有限。此外，如果数据来自独立同分布的抽样从一个给定的分布与有界的支持，然后渐近MAP分区的观察空间最大化的功能，有一个简单的表达式，这只取决于组内协方差参数。随着该协方差参数的算子范数的减小，MAP划分中的簇的数量变得任意大，这可能导致混合分量的数量的高估。
2018-06-21 math.ST stat.TH
A Variational Dirichlet Framework for Out-of-Distribution Detection
Samsung Research（三星研究院）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
随着近年来深度学习的快速发展，深度神经网络已被广泛应用于许多现实生活中。然而，深度神经网络也被认为对看不见的例子的不确定性几乎没有控制力，这在实际场景中可能会导致非常有害和令人讨厌的后果。在本文中，我们特别感兴趣的是为深度神经网络设计一个高阶不确定性度量，并研究其在~\cite{hendrycks2016baseline}提出的分布外检测任务下的有效性。该方法首先假设存在一个高阶分布$\mathbb{P}(z)$，它控制K维单纯形上类的标签分类分布$\mathbb{P}(y)$，然后在变分推理框架下通过参数化后验函数$p_θ(z|x)$来近似这种高阶分布，最后使用学习后验分布$p_θ(z|x)$的熵作为不确定性度量来检测分布外的例子.此外，我们提出了一个辅助目标函数来区分合成的对抗性示例，以进一步提高所提出的不确定性度量的鲁棒性。通过对各种数据集的综合实验，我们提出的框架被证明是一贯优于竞争算法。
2019-04-20 cs.AI cs.CV cs.LG
Variance matrix priors for Dirichlet process mixture models with Gaussian kernels
狄利克雷过程混合模型（DPMM）是一种贝叶斯非参数方法，广泛用于密度估计和聚类。在这篇文章中，我们研究的选择先验的方差或精度矩阵时，采用高斯核。通常，在相关文献中，混合模型的评估是通过考虑只有少数几个维度的空间中的观测来完成的。相反，我们关心的是更现实的高维问题，在一个高达20维的空间。我们观察到，先验的选择是越来越重要的问题的维数增加。在确定了某些不良属性的标准先验的高维问题，我们审查和实施可能的替代先验。最有前途的先验识别，以及其他因素影响MCMC采样器的收敛。我们的研究结果表明，先验的选择是至关重要的，以获得可靠的后验推理。这份手稿提供了一个彻底的概述和比较调查可能的先验，其实施的详细指导方针。虽然我们的工作集中在使用DPMM聚类，它也适用于密度估计。
2022-02-08 stat.ME
A survey on Bayesian inference for Gaussian mixture model
聚类已经成为机器学习中的核心技术，主要是由于其在无监督学习、聚类、分类和密度估计领域的应用。一种基于混合模型的频率论方法被称为EM算法，其中混合模型的参数通常被估计到最大似然估计框架中。有限和无限高斯混合模型的贝叶斯方法生成所有变量的点估计以及以整体估计的后验分布形式的相关不确定性。本综述的唯一目的是对有限和无限高斯混合模型的贝叶斯推理中的概念和数学工具进行独立的介绍，以便在后续章节中无缝地介绍它们的应用。然而，我们清楚地认识到，我们无法涵盖有关这一领域的所有有用和有趣的结果，并且由于缺乏讨论的范围，例如，分别分析了用破棒法和波利亚瓮法生成Dirichlet样本的方法。我们建议读者参考文献领域的狄利克雷过程混合物模型更详细地介绍了相关领域。一些优秀的例子包括（Frigyik等人，2010; Murphy，2012; Gelman等人，2014; Hoff，2009）。本文主要综述了高斯混合模型的研究目的、意义、重要背景和技术，狄利克雷先验，中国餐馆的过程，最重要的是起源和复杂的方法，揭示了他们的现代应用。数学的先决条件是概率的第一门课程。除了这个温和的背景，发展是独立的，与严格的证明提供了整个。
2021-08-20 cs.AI cs.LG stat.ML
Graphical model-based clustering of categorical data
Università degli Studi di Milano-Bicocca（米兰比可卡大学）；Università Cattolica del Sacro Cuore（天主教撒克心大学）
本文提出了一种基于图形模型的分类数据聚类方法，通过狄利克雷过程混合模型捕捉变量间的依赖结构，提升聚类效果。
2026-01-21 stat.ME
DIVIDE: A Framework for Learning from Independent Multi-Mechanism Data Using Deep Encoders and Gaussian Processes
University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）
针对多独立机制混合的科学数据集，提出DIVIDE框架，结合深度编码器与结构化高斯过程解耦各机制贡献，实现可解释预测与高效主动学习，在多类基准上验证了有效性与鲁棒性。
2025-11-16 cond-mat.mtrl-sci cs.LG
Learning discrete Bayesian networks with hierarchical Dirichlet shrinkage
Gladstone Institute of Data Science and Biotechnology（格拉德斯通数据科学与生物技术研究所）；Duke University（杜克大学）
本文提出一种层次模型用于节点-父条件概率，通过后验诱导收缩低维潜在参数，结合Gibbs采样和Metropolis调整 Langevin 算法进行高效采样，并通过模拟验证方法在稀疏计数、图结构发现和竞争DAG选择中的性能，应用于乳腺癌预后网络结构分析。
2026-08-25 stat.ME stat.ML
