Using Multiple Samples to Learn Mixture Models
Stanford University（斯坦福大学）；Microsoft Research（微软研究院）
在混合模型问题中，假设存在$K$分布$θ_{1},\ldots,θ_{K}$，并且可以从这些分布的混合物中观察具有未知系数的样本。目标是将实例与其生成分布相关联，或者识别隐藏分布的参数。在这项工作中，我们假设，我们有机会从相同的$K$底层分布，但不同的混合权重的几个样本。与主题建模一样，拥有多个样本通常是一个合理的假设。我们证明了可以使用样本之间的差异来更好地恢复底层结构，而不是将数据汇集到一个样本中。我们提出的算法，恢复的基础结构下温和的假设比目前的艺术状态时，无论是维数或分离高。当应用于主题建模时，该方法允许泛化到训练数据中不存在的单词。
2013-11-28 cs.LG stat.ML
Fast Learning of Clusters and Topics via Sparse Posteriors
Brown University（布朗大学）
混合模型和主题模型从单个聚类中生成每个观察结果，但每个观察结果的标准变分后验为所有可能的聚类分配正概率。这需要密集的存储和运行时成本，这些成本随着集群的总数而扩展，即使通常只有少数集群对任何数据点具有显著的后验质量。我们提出了一个稀疏变分分布的约束族，最多允许$L$非零条目，其中可调阈值$L$在速度和准确性之间进行权衡。以前的稀疏近似使用硬分配（$L=1$），但我们发现，中等值的$L>1$提供优越的性能。我们的方法很容易与随机或增量优化算法集成，以扩展到数百万个示例。实验训练混合模型的图像补丁和主题模型的新闻文章表明，我们的方法产生更好的质量模型在更少的时间比基线方法。
2016-09-23 cs.AI cs.LG stat.ML
Model Selection for Topic Models via Spectral Decomposition
University of Southern California（南加州大学）
主题模型在分析大规模文本语料库方面取得了显著的成功。在实际应用中，我们总是面临着模型选择的挑战，即，如何合理设置题目的数量。基于张量分解在主题模型推理方面的最新进展，本文首次尝试对潜在Dirichlet分配中的模型选择进行理论分析。在较弱的条件下，给出了有限大小的文本集合中主题数的上界和下界。实验结果表明，我们的边界是准确的，紧。此外，以高斯混合模型为例，我们表明，我们的方法可以很容易地推广到其他潜在模型的模型选择分析。
2015-02-17 cs.IR cs.LG stat.CO
Topic-informed dynamic mixture model for occupational heterogeneity in health risk behaviors
Department of Economics, Ca’ Foscari University of Venice（威尼斯大学经济系）
本研究提出一种动态混合模型，利用职业信息分析健康风险行为的异质性，通过贝叶斯框架整合职业文本数据，以提高公共卫生干预的针对性。
2025-12-23 stat.AP
Graph Topic Modeling for Documents with Spatial or Covariate Dependencies
Department of Statistics, The University of Chicago（芝加哥大学统计系）
针对含空间或协变量依赖的文档，本文扩展pLSI并提出图正则化迭代SVD估计器，给出高概率误差界与专用交叉验证，实验证明优于贝叶斯方法。
2025-03-15 cs.LG stat.ME
Guaranteed Model Order Estimation and Sample Complexity Bounds for LDA
如何确定混合模型（如潜在狄利克雷分配（LDA））中独立潜在因子（主题）的个数具有重要的实际意义。在大多数应用程序中，主题的确切数量是未知的，并且取决于应用程序和数据集的大小。贝叶斯非参数方法可以避免主题数选择的问题，但它们在大样本量时速度慢得不切实际，并且容易陷入局部最优。我们开发了一个有保证的程序，主题数恢复，不需要事先学习模型的潜在参数。我们的程序依赖于适应随机矩阵理论的结果。我们的主题数恢复程序的性能优于hLDA，一种非参数方法。我们还讨论了我们的研究结果的样本的复杂性和流行的谱学习算法的LDA的准确性的一些影响。我们的结果和过程可以扩展到其他可交换混合模型以及隐马尔可夫模型的谱学习算法。
2014-01-21 stat.ML
Learning Nonlinear Mixtures: Identifiability and Algorithm
University of Minnesota（明尼苏达大学）；Oregon State University（俄勒冈州立大学）；University of Virginia（弗吉尼亚大学）；University of Florida（佛罗里达大学）
线性混合模型已被证明在大量应用中非常有用，例如，主题建模、聚类和声源分离。作为线性混合模型的一个重要方面，模型参数的可辨识性在独立成分分析和约束矩阵分解等框架下得到了很好的研究。然而，当线性混合物被一个未知的非线性函数所扭曲时--这在许多情况下是很好的动机和更现实的--可识别性问题的研究要少得多。这项工作提出了一个非线性混合模型的识别准则，在许多现实世界的应用是很好的基础，并提供可识别性保证。提出了一种基于合理设计的神经网络的实用实现方法，并给出了一种有效的学习算法。合成和实际数据的数值结果证实了所提出的方法的有效性。
2019-01-06 cs.LG stat.ML
Generalized Identifiability Bounds for Mixture Models with Grouped Samples
Technische Universität Berlin（柏林工业大学）；Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
最近的工作表明，只要可以访问已知来自相同混合成分的大小为$2m-1$的样本组，具有$m$成分的有限混合模型是可识别的，同时不对混合成分做出任何假设。在这项工作中，我们推广的结果，并表明，如果每个子集的混合模型的$k$混合成分是线性无关的，那么该混合模型是可识别的，每组只有$(2m-1)/(k-1)$样本。我们进一步表明，这个值不能提高。我们证明了一个类似的结果，一个更强的形式的可识别性被称为“determinedness”以及相应的下界。如果从一个$k$维空间中随机选择混合组分，则这种独立性假设几乎肯定成立。我们描述了我们的研究结果多项式混合模型和主题建模的一些影响。
2022-07-22 cs.LG math.ST stat.ML
Learning latent causal graphs via mixture oracles
University of Chicago（芝加哥大学）；Carnegie Mellon University（卡内基梅隆大学）
我们研究的问题重建的因果图模型的数据中存在的潜在变量。感兴趣的主要问题是恢复潜在变量的因果结构，同时允许变量之间的一般，潜在的非线性依赖。在许多实际问题中，原始观测（例如图像中的像素）之间的相关性远不如某些高级潜在特征（例如概念或对象）之间的相关性，这是感兴趣的设置。我们提供的条件下，潜在的陈述和潜在的因果模型是可识别的减少到一个混合物的预言。这些结果突出了一个有趣的连接之间的学习混合模型的顺序和学习的问题之间的可观察和不可观察的二分结构的研究问题。证明是建设性的，并导致几个算法，明确重建完整的图形模型。我们讨论有效的算法，并提供实验说明算法在实践中。
2021-11-21 cs.AI cs.LG stat.ML
Structural Under-Representation of Women in News: Nonparametric Bayesian Mixtures Capture Time-Dependent Dynamics
National Institute of Informatics (NII)（日本情报理工学院）
采用时间依赖贝叶斯混合模型分析加拿大新闻数据，揭示女性引述比例在所有主题和地区中均存在结构性低代表性，且超过85%的时间序列未见改善。
2026-06-09 stat.AP
Bridging Asymptotic Independence and Dependence in Spatial Extremes Using Gaussian Scale Mixtures
高斯尺度混合物被构造为具有随机方差的高斯过程。它们具有非高斯边缘，并且可以表现出与高斯过程不同的渐近依赖性，高斯过程除了完全依赖的情况外是渐近独立的。在本文中，我们详细研究了高斯尺度混合物的极值依赖性质，我们统一和扩展的联合尾衰减率在渐近依赖和独立的情况下的一般结果。出于对空间极值的分析，我们提出了几种灵活而简约的参数Copula模型，这些模型可以从渐近依赖平滑地插值到独立性，并将高斯依赖作为特例。我们展示了如何使用删失似然方法将这些新模型拟合到高阈值的一致性，并且我们证明了它们提供了有关尾部特征的有价值的信息。我们的参数方法优于广泛使用的非参数$χ$和$\barχ$统计，通常用于指导模型选择在探索阶段，通过借用跨位置的强度，更好地估计渐近依赖类。我们证明了我们的方法的能力，充分捕捉极端属性的风速数据收集在太平洋西北部，美国。
2017-01-27 stat.ME
A new mixture model for spatiotemporal exceedances with flexible tail dependence
North Carolina State University（北卡罗来纳州立大学）；University of Michigan（密歇根大学）；University of Arkansas（阿肯色大学）
本文提出了一种新型混合模型，用于空间时间超额值，通过随机森林进行仿真推理，有效捕捉尾部依赖性，验证了方法的可行性和实用性。
2026-02-18 stat.ME
The Search Problem in Mixture Models
University of Texas, Austin（得克萨斯大学奥斯汀分校）；Rheinische Friedrich-Wilhelms-Universität Bonn（莱茵弗里德里希-威廉大学波恩分校）
我们考虑学习混合模型的{ \em单一}成分的参数的任务，对于当我们给出关于该成分的{ \em边信息}的情况，我们称之为混合模型中的“搜索问题”。我们希望以低于解决整个原始问题的计算和样本复杂度来解决这个问题，其中一个学习所有组件的参数。我们的主要贡献是发展一个简单的，但一般的模型的概念，边信息，和相应的简单的基于矩阵的算法，解决搜索问题，在这个一般的设置。然后，我们专门这个模型和算法的四个常见的情况下：高斯混合模型，LDA主题模型，子空间聚类和混合线性回归。对于其中的每一个，我们表明，当（且仅当）边信息是信息丰富的，我们获得参数估计具有更高的精度，也提高了计算复杂性比现有的基于矩的混合模型算法（例如张量方法）。我们还说明了几种自然的方式，可以获得这样的边信息，为特定的问题实例。我们在真实数据集（纽约时报，Yelp，BSDS 500）上的实验进一步证明了我们的算法在运行时间和准确性方面的显着改善的实用性。
2018-02-24 cs.LG stat.ML
Scalable Bayesian nonparametric measures for exploring pairwise dependence via Dirichlet Process Mixtures
在这篇文章中，我们提出了新的贝叶斯非参数方法，使用Dirichlet过程混合（Dirichlet Process Mixture）模型来检测随机变量之间的成对依赖关系，同时考虑潜在分布形式的不确定性。一个关键的标准是，这些程序应该扩展到大型数据集。在这方面，我们发现，正式计算的贝叶斯因子的依赖与。独立联合概率测度在计算上是不可行的。为了解决这个问题，我们提出了贝叶斯诊断措施，对成对独立的“空模型”的特征证据。在模拟研究中，以及一个真正的数据分析，我们表明，我们的方法提供了一个有用的工具，探索性的非参数贝叶斯分析的大型多元数据集。
2016-04-27 stat.ME
Codifference as a measure of dispersion and dependence for mixture models
本文提出协差作为混合模型中分散性和依赖性的度量，探讨其在非高斯分布中的应用及渐近分布特性。
2025-12-15 math.ST stat.TH
A smoothed semiparametric likelihood for estimation of nonparametric finite mixture models with a copula-based dependence structure
在这篇文章中，我们考虑了一个有限的多元非参数混合模型，其中的边际密度之间的依赖关系是使用copula设备建模。最近提出的伪EM随机算法估计的所有组件的边缘上的位置-规模的约束下，这个模型。在这里，我们介绍了一个确定性算法，旨在最大限度地提高平滑半参数似然。没有位置规模的假设是关于边缘。该算法在一种特殊情况下是单调的，而在另一种情况下，导致“近似单调性”-从而目标函数的连续值之间的差异变得非负，直到在足够大的迭代次数后变得可以忽略不计的加法项。在几个模拟数据集上说明了该算法的行为。结果表明，在适当的条件下，所提出的算法可能确实是单调的一般。讨论的结果和一些可能的未来研究方向轮我们的介绍。
2022-12-13 stat.CO
Managing sparsity, time, and quality of inference in topic models
Japan Advanced Institute of Science and Technology（北陆先端科学技术大学院大学）
推理是概率主题模型的一个组成部分，但对于为特定模型导出有效算法来说往往是不平凡的。当我们想找到一个快速的推理算法，总是产生稀疏的潜在表示的文件，这是更具挑战性的。在这篇文章中，我们介绍了一个简单的概率主题模型推理框架，表示为FW。该框架具有通用性和灵活性，可以很容易地适应混合模型。它具有线性收敛速度，提供了一种简单的方法来合并先验知识，并为我们提供了一种简单的方法来直接权衡稀疏性与质量和时间。我们证明了良好的和灵活的FW在现有的推理方法的一些任务。最后，我们展示了如何在主题模型与非共轭先验推理可以有效地完成。
2013-04-15 cs.AI cs.CV stat.ME
A Semiparametric Gaussian Mixture Model with Spatial Dependence and Its Application to Whole-Slide Image Clustering Analysis
本文提出融合空间位置的半参数高斯混合模型SGMM，通过非参数混合概率与新型EM算法实现空间聚类，并在CAMELYON16全切片图像上验证其优异性能。
2025-10-18 stat.ME
Deep de Finetti: Recovering Topic Distributions from Large Language Models
Princeton University（普林斯顿大学）
本文提出LLMs通过隐式贝叶斯推断捕获文档主题结构，并以LDA为目标验证了LLMs内部表示能恢复潜在主题分布。
2023-12-21 cs.AI cs.CL cs.LG
Dirichlet moment tensors and the correspondence between admixture and mixture of product models
University of Chicago（芝加哥大学）；Duke University（杜克大学）；University of Michigan（密歇根大学）
本文通过动量张量分解，建立了admixture模型与product mixture模型的等价性，从而在更弱的条件下推导了两类模型的可识别性和后验收缩率。
2025-12-19 math.ST stat.TH
Inference on Gaussian mixture models with dependent labels
本文研究球形双组分高斯混合模型中相依标签下的估计极限，证明任意相依下朴素估计量$\sqrt{n}$相合，并在伊辛模型下发现相变，提出变分逼近估计量。
2025-10-07 math.ST stat.TH
Spectra of high-dimensional Spearman correlation matrices under scale-mixture dependence
Académie des Sciences（法兰西学术院）；Capital Fund Management（资本基金管理公司）；Institut Louis Bachelier（路易·巴舍利耶研究所）；LadHyX, UMR CNRS 7646, École Polytechnique, Institut Polytechnique de Paris（巴黎理工学院高等力学与工业应用实验室（CNRS联合研究单位7646））；Princeton University（普林斯顿大学）
研究尺度混合数据的高维斯皮尔曼相关矩阵渐近谱性质，通过特定观测形式分析其高阶相依性，在比例情形下得出经验谱分布收敛规律，还给出潜在变量扩展及可解示例与数值近似，受重尾数据相关领域启发。
2026-07-29 math.PR math.ST stat.TH
Multiple Imputation of Missing Categorical and Continuous Values via Bayesian Mixture Models with Local Dependence
我们提出了一个非参数贝叶斯联合模型的多变量连续和分类变量，目的是开发一个灵活的引擎，多重插补的缺失值。该模型融合了分类变量多项分布的Dirichlet过程混合和连续变量多元正态分布的Dirichlet过程混合。我们将连续和分类变量之间的依赖性（i）建模的正态分布的平均值作为组件特定的功能的分类变量和（ii）形成不同的混合成分的分类和连续数据的概率，通过分层模型。这种结构允许模型捕获分类数据和连续数据之间的复杂依赖关系，而分析人员只需进行最小的调整。我们应用该模型来填补缺失值，由于项目无应答的收入和计划参与调查（SIPP）的重新设计的评价。目标是将新设计的现场测试估计值与旧设计下收集的面板中选定个体的估计值进行比较。我们表明，占缺失数据改变了一些结论的可比性分布在两个数据集。我们还进行了广泛的重复抽样模拟使用类似的数据，从完整的情况下，在现有的SIPP面板，比较我们提出的模型的默认应用程序的多重插补链式方程。在这种现实环境中，基于所提出的模型的插补往往比链式方程的默认应用具有更好的重复采样特性。
2015-10-13 stat.AP stat.ME
PCA Reduced Gaussian Mixture Models with Applications in Superresolution
TU Berlin（柏林工业大学）；Univ. Bordeaux（波尔多大学）；Bordeaux INP（波尔多国立理工学院）；CNRS（法国国家科学研究中心）
尽管计算硬件发展迅速，但大规模高维数据集的处理仍然是一个具有挑战性的问题。本文件对这一专题作出了双重贡献。首先，我们提出了一个高斯混合模型结合的数据在模型的每个组成部分的降维的主成分分析，称为PCA-GMM。为了学习混合模型的（低维）参数，我们提出了一种期望最大化算法，其M步需要求解约束优化问题。幸运的是，这些约束问题不依赖于通常大量的样本，可以有效地解决了（惯性）近端交替线性化最小化算法。其次，我们应用我们的PCA-GMM的超分辨率的2D和3D材料图像的基础上的Sandeep和Jacob的方法。数值结果证实了降维对整体超分辨结果的适度影响。
2021-05-06 cs.LG eess.IV math.ST
Learning Topic Hierarchies by Tree-Directed Latent Variable Models
本文提出基于有根有向树结构约束LDA的潜变量主题模型，建立数学框架证明潜在主题层次的可识别性并推导后验收缩率界限，通过模拟和《纽约时报》数据验证了其有效性与实用性。
2024-08-26 math.ST stat.TH
Bayesian nonparametric mixtures of Archimedean copulas
University of Toronto（多伦多大学）；ITAM（墨西哥自治技术学院）
本文提出了一种基于Poisson-Dirichlet过程的Archimedean copula贝叶斯非参数混合模型，以提升依赖性建模的灵活性，并通过数值实验验证了其有效性。
2026-10-26 stat.ME
Bivariate Gamma Mixture of Experts Models for Joint Insurance Claims Modeling
在一般保险中，不同类别的风险通常是独立建模的，它们的总和被视为保险人为换取保费而承担的总风险。即使可能存在相关性，例如一次车祸可能导致多个风险类别的索赔，但多个风险的相关性通常也被忽略。为了更好地预测未来的索赔，从而提高费率制定的准确性，在建模时考虑不同类别的协方差是可取的。在这项工作中，多变量的严重性模型进行了研究，使用混合专家模型与双变量Γ分布，其中的依赖结构直接使用GLM框架建模，协变量可以放置在门控和专家网络。此外，简约的参数化被认为是，这导致一个家庭的双变量伽玛混合专家模型。它可以被看作是一个基于模型的聚类方法，聚类的保单持有人到不同的依赖关系的子组，和混合模型的参数依赖于协变量。聚类被证明是很重要的，在分离的数据到子组，强依赖性往往是存在的，即使整个数据集表现出只有弱的依赖。在这样做时，不同组成部分之间的相关性在模型中占有突出地位。结果表明，通过应用到模拟数据和现实世界的爱尔兰GI保险公司的数据集，索赔预测可以得到改善。
2019-04-09 stat.AP
On the identifiability of Dirichlet mixture models
La Trobe University（拉筹伯大学）；Kyushu University（九州大学）；University of Glasgow（格拉斯哥大学）
研究Dirichlet混合模型在单纯形内部的可识别性，证明了有限混合Dirichlet分布的非可识别性，并在固定总参数切片和受限区域中恢复可识别性，同时指出有限混合广义Dirichlet等模型的非可识别性。
2026-03-23 math.ST stat.TH
Learning Subspaces of Different Dimension
我们介绍了贝叶斯模型推断不同尺寸的子空间的混合物。这种混合模型的关键挑战是在不同维度的子空间上指定先验分布。我们通过将子空间或格拉斯曼流形嵌入到相对低维的球体中并指定球体上的先验来解决这一挑战。我们提供了一个有效的抽样算法的后验分布的模型参数。我们说明了一个单扩张我们的混合子空间模型可以应用到主题建模。我们还证明了混合子空间模型的后验一致性。我们的方法的实用性证明了与应用程序的真实和模拟数据。
2015-09-23 math.ST stat.ME stat.TH
Dependent Mixtures of Geometric Weights Priors
通过构造$m$随机密度函数之间的两两相关性，提出了一种部分可交换观测值联合估计的新方法，其中每个随机密度函数都被建模为几何棒断裂过程的混合.这种方法基于Hatjispyros等人（2011）首次引入的成对依赖狄利克雷过程先验混合模型（PDDP）的新随机中心质量版本。其思想是通过Dirichlet随机测度的位置保持期望来创建成对依赖。我们的论点是，混合物建模与成对相关的几何棒断裂过程（PDGSBP）先验是足够的预测和估计的目的，此外，相关的吉布斯采样器是更快，更容易实现比基于Dirichlet过程的对应。在这方面，我们提供了一个先验同步的比较研究稀疏$m$ -可扩展的合成和真实数据的例子。
2017-09-28 stat.ME
Regional Topics in British Grocery Retail Transactions
了解交易数据背后的客户行为在杂货零售行业具有很高的商业价值。客户每天产生数百万笔交易，选择和购买产品以满足特定的购物需求。由于当地需求和当地供应，产品可用性可能会因地理位置而异，因此在相应的商店和区域环境中分析交易的重要性。主题模型为分析交易数据提供了一个强大的工具，它可以识别显示经常一起购买的产品的主题，并将交易总结为主题的混合。我们使用分段主题模型（STM）来捕捉商店内嵌套的客户行为。STM不仅提供主题和交易摘要，还提供商店级别的主题摘要，可用于识别区域主题。我们总结了后验分布的STM后处理多个后验样本，并选择语义模式表示为经常性的主题。我们使用线性高斯过程回归来模拟整个英国领土的主题流行率，同时考虑空间自相关。我们实现了我们的方法从一个主要的英国杂货零售商的交易数据的数据集，并表明，购物行为可能会因地区而异，附近的商店往往表现出类似的区域需求。
2021-11-15 stat.AP stat.ME
A semi-parametric estimation for max-mixture spatial processes
我们提出了一个半参数估计过程，以估计参数的最大混合模型和最大稳定模型（逆最大稳定模型）作为替代的复合似然。一个很好的估计所提出的估计需要的依赖措施，以检测所有的依赖结构的模型，特别是在处理最大混合模型。我们通过使用F-madogram克服了这一挑战。半参数估计是基于准最小二乘法，通过最小化理论F-madogram和经验之间的平方差。我们通过模拟研究评估了这种估计的性能。结果表明，平均而言，估计是执行良好的，虽然在某些情况下，它遇到了一些困难。我们应用我们的估计程序来模拟东澳大利亚的每日风暴。
2017-12-05 math.PR math.ST stat.TH
Hierarchical Transformed Scale Mixtures for Flexible Modeling of Spatial Extremes on Datasets with Many Locations
灵活的空间模型，允许尾部依赖类之间的过渡最近出现在文献中。然而，这些模型的推断是计算上禁止的，即使在中等尺寸，由于重复评估的多元高斯分布函数的必要性。在这项工作中，我们试图实现真正的高维推理的极端空间过程，同时保留所需的灵活性，在尾部依赖结构，通过修改已建立的一类模型的基础上规模混合高斯过程。我们表明，所需的极值依赖性从原始模型下的修改，并证明相应的贝叶斯分层模型不涉及昂贵的计算的多元高斯分布函数。我们将我们的模型拟合到高阈值的概率，并执行覆盖分析和跨模型检查，以验证其捕获不同类型尾部特征的能力。我们使用标准的自适应Metropolis算法进行模型拟合，并通过并行化和Rcpp进一步加速计算。最后，我们将该模型应用于美国大平原地区的火灾威胁指数数据集，该地区易受大规模破坏性野火的影响。我们发现，联合尾部的火灾威胁指数表现出衰减的依赖结构，不能被捕获的限制极值模型。
2019-12-09 math.ST stat.ME stat.TH
A bi-dimensional finite mixture model for longitudinal data subject to dropout
在纵向研究中，受试者可能失访，或错过一些计划的访视，导致应答序列不完整。当无应答的概率（以可用协变量和观察到的应答为条件）仍然取决于未观察到的结局时，脱落机制被称为不可预测。一个共同的目标是建立一个可靠的关联结构，占纵向和辍学过程之间的依赖。从现有的文献出发，我们引入了一个基于随机系数的辍学模型，通过离散的潜在效应来建模结果之间的关联。这些效应是结局特异性的，并解释了单变量特征的异质性。轮廓之间的依赖性是通过使用相应的分布的二维表示。通过这种方式，我们定义了一个灵活的潜在类结构，它允许有效地描述两个利润率内的依赖关系和它们之间的依赖关系。通过使用这种表示，我们表明，不像标准的（一维）有限混合模型，非可重复的辍学模型正确嵌套其可重复的对应。我们详细介绍了所提出的建模方法，通过分析数据的纵向研究在老年人的认知功能的动态。此外，对模型参数估计的辍学过程的非线性的假设的影响（局部）调查使用的非线性的（局部）敏感性指数。
2017-07-07 stat.ME
Clustering and Model Selection via Penalized Likelihood for Different-sized Categorical Data Vectors
在这项研究中，我们考虑无监督聚类的分类向量，可以使用混合不同的大小。我们使用似然最大化来估计底层混合模型的参数，并使用惩罚技术来选择混合成分的数量。无论真实的分布，产生的数据，我们表明，一个明确的惩罚，已知的乘法常数，导致一个非渐近的甲骨文不等式与Kullback-Leibler分歧的两侧的不等式。这一理论结果说明了一个文档聚类应用程序。为此，提出了一种新的鲁棒期望最大化算法来估计最能代表不同主题的混合参数。斜率算法用于校准惩罚并选择多个聚类。
2017-09-07 math.ST stat.TH
Autoregressive Density Modeling with the Gaussian Process Mixture Transition Distribution
我们开发了一个混合模型的过渡密度近似，连同软模型选择，在存在噪声和异质非线性动力学。我们的模型建立在高斯混合转移分布（MTD）模型的连续状态空间，扩展组件的意思是使用高斯过程（GP）先验建模的非线性函数。由此产生的模型灵活地捕捉非线性和异构滞后依赖时，几个混合物组件是活跃的，识别低阶非线性依赖，同时推断相关的滞后时，很少的组件是活跃的，并平均在多个和竞争的单滞后模型量化/传播的不确定性。混合权重上的稀疏诱导先验有助于选择活动滞后的子集。分层模型规范遵循GP回归和MTD模型的惯例，允许方便的吉布斯抽样方案进行后验推断。我们证明了两个模拟和两个实时的时间序列，强调滞后依赖的过渡密度和模型选择的近似所提出的模型的属性。在大多数情况下，该模型决定性地恢复了重要特征。该模型提供了一个简单而灵活的框架，保留了MTD模型类的有用和独特的特征。
2020-07-17 stat.ME
A Model-Free Selection Criterion For The Mixing Coefficient Of Spatial Max-Mixture Models
极值理论的一个主要问题是量化联合尾部之间的相关性。使用在联合尾部缺乏灵活性的随机过程可能会导致严重低估或高估与同时发生的极端事件相关的概率。根据最近的进展，在文献中，一个灵活的模型称为最大混合模型已被引入建模的情况下，极值依赖结构可能会随着距离而变化。在本文中，我们提出了一个非参数模型的混合系数的选择标准，我们的标准是来自一个madogram，一个概念，经典的地质统计学捕捉空间结构。该过程是基于一个非线性最小二乘法之间的理论madogram和经验之一。我们进行了模拟研究，并将我们的标准应用于澳大利亚东部的每日降水量。
2018-01-03 math.PR math.ST stat.TH
A Bayesian hidden Markov mixture model to detect overexpressed chromosome regions
在这项研究中，我们提出了一个隐马尔可夫混合模型的基因表达测量映射到染色体位置的分析。这些表达值代表在AffyIdea寡核苷酸阵列的每个探针中观察到的预处理的光强度。这里，使用算法BLAT将数千个探针序列与每个染色体进行比对。主要目标是识别与高表达值相关的基因组区域，其定义由连续观察组成的聚类。所提出的模型假设一个混合分布，其中一个组件（具有最高的期望值）应该容纳过表达的集群。该模型利用数据的串行结构，并使用邻居之间的距离信息来推断马尔可夫依赖的存在。这种依赖性在检测过表达区域中至关重要。我们提出并讨论了一种适合该模型的马尔可夫链蒙特卡罗算法。最后，所提出的方法用于分析代表三种类型的癌症（乳腺癌，卵巢癌和脑癌）的五个数据集。
2016-09-26 stat.AP
A New Extended Mixture Model of Residual Lifetime Distributions
在本文中，我们首先提出了一个新的扩展的混合模型的剩余寿命分布。我们表明，该模型是适合在一些实际情况下的剩余寿命建模。在此模型下，得到了一些著名的相依概念、随机序和老化概念的封闭性。最后，讨论了在该模型下某些随机序的保持性，并给出了一些有趣的例子。
2014-12-30 stat.ME
Interpreting Dense Retrieval as Mixture of Topics
稠密检索（DR）在第一阶段的检索中达到了最先进的结果，但对其成功的机制知之甚少。因此，在这项工作中，我们最近提出的DR模型进行解释研究。具体来说，我们首先离散化文档和查询编码器输出的嵌入。基于离散表示，我们分析了输入标记的属性。定性和定量实验都是在公共测试集上进行的。结果表明，DR模型注意不同方面的输入和提取各种高层次的主题表示。因此，我们可以将DR模型学习的表示视为高级主题的混合。
2021-11-27 cs.IR
Topic Analysis for Text with Side Data
Northwestern University（西北大学）；Metonymize
虽然潜在因素模型（例如，矩阵分解）在预测中获得良好的性能，但是它们遭受若干问题，包括冷启动、不透明和次优推荐。在本文中，我们使用带有侧数据的文本来解决这些限制。我们介绍了一种混合生成概率模型，它结合了神经网络和潜在主题模型，这是一个四层次贝叶斯模型。在该模型中，每个文档被建模为一个有限的混合在一个底层的主题集，每个主题被建模为一个无限的混合在一个底层的主题概率集。此外，每个主题概率被建模为边数据上的有限混合。在文本的上下文中，神经网络提供关于对应文本的边数据的概览分布，其是LDA中的先验分布以帮助执行主题分组。该方法在几个不同的数据集上进行了评估，其中该模型在主题分组，模型困惑，分类和评论生成方面优于标准LDA和Dirichlet多项式回归（DMR）。
2022-03-01 cs.CL cs.IR cs.LG
Generalized Topic Modeling
最近有显着的活动，在开发算法与可证明的保证主题建模。在标准的主题模型中，主题（例如体育、商业或政治）被视为单词上的概率分布$\vec a_i$，并且通过首先在主题上选择混合$\vec w$，然后生成单词i.i.d.从缔合的混合物$A{\vec w}$中分离。给定大量这样的文档，目标是恢复主题向量，然后根据它们的主题混合来正确地对新文档进行分类。在这项工作中，我们认为这个框架的一个广泛的推广，其中的话不再被假定为独立同分布绘制。而是主题是段落序列上的复杂分布。由于人们甚至不能希望在一般情况下表示这样的分布（即使段落使用一些自然特征表示），我们的目标是直接学习文档分类器。也就是说，我们的目标是学习一个预测器，该预测器在给定一个新文档的情况下，准确地预测其主题混合，而无需显式地学习分布。我们提出了几个自然条件下，人们可以有效地做到这一点，并讨论在这个模型中的噪声容限和样本的复杂性等问题。更一般地说，我们的模型可以被视为机器学习中多视图或协同训练设置的泛化。
2016-11-04 cs.CL cs.DS cs.IR
Ordering-sensitive and Semantic-aware Topic Modeling
The University of Hong Kong（香港大学）；Zhejiang University（浙江大学）
文本语料库的主题建模是一个重要而富有挑战性的问题。在大多数以前的工作中，“词袋”的假设通常是忽略了单词的顺序。这种假设简化了计算，但它不切实际地丢失了上下文中单词的排序信息和语义。本文提出了一种高斯混合神经主题模型（GMNTM），它将词的排序和句子的语义结合到主题建模中。具体来说，我们将每个主题表示为多维向量的聚类，并将语料库嵌入到由高斯混合模型生成的向量集合中。每个词不仅受其主题的影响，还受其周围词的嵌入向量和上下文的影响。高斯混合分量和文档、句子和单词的主题可以联合学习。大量的实验表明，我们的模型可以学习更好的主题和更准确的词分布为每个主题。定量分析表明，与现有的主题建模方法相比，GMNTM在困惑度、检索准确率和分类准确率方面都有明显的提高。
2015-02-12 cs.CL cs.IR cs.LG
Learning to Compose Topic-Aware Mixture of Experts for Zero-Shot Video Captioning
University of California, Santa Barbara（加州大学圣巴巴拉分校）；The Ohio State University（俄亥俄州立大学）
虽然在视频描述中已经取得了有希望的结果，但现有的模型仅限于训练语料库中的固定活动清单，并且不推广到开放的词汇场景。在这里，我们介绍了一个新的任务，zero-shot视频描述，旨在描述看不见的活动的域外视频。不同活动的视频通常需要不同的字幕策略，如选词、语义构建、风格表达等，这对在没有配对训练数据的情况下刻画新颖的活动提出了很大的挑战。但与此同时，类似的活动在这些方面有一些共同之处。因此，本文提出了一种基于主题感知的混合专家模型（TAMoE），用于zero-shot视频描述，该模型能够根据不同的主题嵌入来组合不同的专家，将从可见活动中学习到的知识隐式地传递给不可见活动。此外，我们利用外部的主题相关的文本语料库来构建主题嵌入每个活动，它体现了主题内最相关的语义向量。实验结果不仅验证了该方法在利用语义知识进行视频描述方面的有效性，而且在描述新颖活动时也显示了其较强的泛化能力。
2018-11-23 cs.CL cs.CV cs.IR
Integrating Document Clustering and Topic Modeling
Carnegie Mellon University（卡内基梅隆大学）；Tsinghua University（清华大学）
文档聚类和主题建模是两个密切相关的任务，可以相互受益。主题建模可以将文档投影到一个主题空间中，这有助于有效的文档聚类。通过文档聚类发现的聚类标签可以被合并到主题模型中，以提取特定于每个聚类的局部主题和所有聚类共享的全局主题。在本文中，我们提出了一个多粒度聚类主题模型（MGCTM），它集成了文档聚类和主题建模到一个统一的框架，并共同执行这两项任务，以达到整体最佳性能。该模型将两个组件紧密耦合：用于发现文档集合中潜在组的混合组件和用于挖掘多粒度主题的主题模型组件，其中多粒度主题包括特定于每个簇的局部主题和跨簇共享的全局主题，采用变分推理来近似隐变量的后验，并学习模型参数。在两个数据集上的实验证明了该模型的有效性。
2013-09-26 cs.CL cs.IR cs.LG
Jointly Modeling Topics and Intents with Global Order Structure
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
文档结构建模对于语篇分析及其相关应用具有重要意义。本研究的目标是通过将文档建模为主题词和修辞词的混合来捕获文档意图结构。在同一篇文章中，主题是相对不变的，而句子的修辞功能在语篇中通常是按照一定的顺序发生变化的。提出了一种基于主题建模的贝叶斯无监督模型GMM-LDA，用于分析文档意图结构和订单信息。我们的模型是灵活的，有能力结合的注释和做监督学习。此外，可以引入熵正则化来对主题和意图之间的显著分歧进行建模。我们在无监督和有监督的环境下进行了实验，结果表明我们的模型优于几个最先进的基线。
2015-12-07 cs.CL cs.IR cs.LG
Mixture of Virtual-Kernel Experts for Multi-Objective User Profile Modeling
Tencent Inc.（腾讯公司）
在在线广告和推荐系统等行业应用中，多样化和准确的用户简档可以极大地帮助提高个性化。深度学习被广泛应用于从用户在系统中的历史交互中挖掘对用户的表达性标签，例如，点击，转化动作在广告链中。通常的方法是以某个动作为目标，引入多个独立的Two-Tower模型来预测用户对标签的动作可能性（称为CTR或CVR预测）。预测用户的高吸引力标签代表他们的偏好。然而，单一动作模型不能互补学习，也不能支持对数据稀疏动作的有效培训。此外，由于两个塔之间缺乏信息融合，该模型的学习不足以很好地表示用户对各种标签\textbf{topics}的偏好。本文介绍了一种新的多任务模型称为混合虚拟内核专家（MVKE），学习用户对各种动作和主题的偏好统一。在MVKE中，我们提出了虚拟内核专家的概念，它专注于对用户偏好的一个特定方面进行建模，并且所有这些方面都是协调学习的。此外，MVKE采用基于门的结构，在双塔之间搭建了一座信息融合的桥梁，提高了模型的性能，保持了较高的效率。我们将该模型应用于腾讯广告系统，线上和线下的评估结果表明，该方法较现有方法有了明显的改进，并对实际广告收入带来了明显的提升。
2022-05-31 cs.IR cs.LG
DESIRE-ME: Domain-Enhanced Supervised Information REtrieval using Mixture-of-Experts
针对开放域问答的主题异构性问题，提出基于混合专家框架的神经信息检索模型 DESIRE-ME，通过 Wikipedia 数据训练门控机制对查询分类并加权领域专家预测，使模型自适应多领域，显著提升检索性能。
2024-03-20 cs.IR
Context Reinforced Neural Topic Modeling over Short Texts
Sun Yat-sen University（中山大学）；Lingnan University（岭南大学）
神经网络主题建模作为一种流行的主题挖掘工具，以其训练效率高、泛化能力强等优点引起了人们的广泛关注。然而，由于每个短文本中缺乏上下文，现有的神经主题模型可能会遭受这样的文档的特征稀疏性。为了缓解这个问题，我们提出了一个上下文增强神经主题模型（CRNTM），其特点可以概括如下。首先，通过假设每个短文本只覆盖几个突出的主题，CRNTM在一个狭窄的范围内推断每个词的主题。其次，我们的模型通过将主题视为嵌入空间中的多元高斯分布或高斯混合分布来利用预训练的词嵌入。在两个基准数据集上的实验验证了该模型在主题发现和文本分类方面的有效性。
2020-08-11 cs.CL cs.IR
Sparseness-constrained Nonnegative Tensor Factorization for Detecting Topics at Different Time Scales
本文提出稀疏约束非负张量分解（S-NCPD）及其在线变体，用于自动检测时间数据中不同持续时间的主题，并定量控制主题长度，实验表明在线变体能更快降低重构误差。
2023-09-01 cs.IR cs.NA cs.SI
