Switching Hamiltonian Monte Carlo for sampling from mixture distributions
提出切换哈密顿蒙特卡洛方法,结合对称数值积分器和泊松跳跃,实现有限混合玻尔兹曼-吉布斯分布的采样,并证明几何遍历性和二阶偏差。
2026-06-12 cs.NA math.NA math.ST
A parsimonious family of multivariate Poisson-lognormal distributions for clustering multivariate count data
多变量计数数据通常通过生物信息学、文本挖掘或体育分析中的高通量测序技术遇到。虽然泊松分布似乎很适合这些计数数据,但其多变量扩展在计算上是昂贵的。在大多数情况下,假设变量之间相互独立,但这没有考虑到数据中通常观察到的变量之间的相关性。最近,多元Poisson-lognormal(MPLN)模型的混合已被用于分析具有相关结构的此类多元计数测量。在MPLN模型中,使用以潜在多变量高斯变量为条件的独立泊松分布对每个计数进行建模。由于这种分层结构,MPLN模型可以解释过度分散,而不是传统的泊松分布,并允许变量之间的相关性。不是依赖于计算效率低的基于蒙特卡罗的估计框架,而是在此使用基于快速变分EM的框架来进行参数估计。此外,提出了一个简约的家庭的混合泊松对数正态分布的分解的协方差阵和这些分解施加约束。使用模拟和基准数据集,这些模型的效用。
2020-04-15 stat.CO
Mixture Conditional Regression with Ultrahigh Dimensional Text Data for Estimating Extralegal Factor Effects
针对文本判决文书中的超高维控制变量,本文提出混合条件回归 MCR 及 EM 估计算法,用于在潜在类别结构下高效估计法外因素效应。
2023-11-14 stat.ME
A Gamma-Poisson Mixture Topic Model for Short Text
University of Pretoria(比勒陀利亚大学);Center for Artificial Intelligence Research (CAIR)(人工智能研究中心(CAIR))
大多数主题模型都是在假设文档遵循多项分布的前提下构建的。泊松分布是描述计数数据概率的另一种分布。对于主题建模,泊松分布描述了一个词在固定长度的文档中出现的次数。泊松分布已成功地应用于文本分类,但其应用主题建模没有很好的记录,特别是在生成概率模型的上下文中。此外,文献中的几个泊松主题模型是混合模型,假设文档是由主题的混合生成的。在这项研究中,我们专注于短文本。许多研究表明,混合模型的简单假设更适合短文本。与混合模型相反,混合模型的生成假设是文档从单个主题生成。一个主题模型,它使这个一个主题,每个文档的假设,是狄利克雷多项混合模型。这项工作的主要贡献是一个新的Gamma-Poisson混合模型,以及一个崩溃的吉布斯采样模型。折叠吉布斯采样器推导的好处是,该模型能够自动选择语料库中包含的主题的数量。结果表明,在选择标注语料库主题数时,Gamma-Poisson混合模型优于Dirichlet-multinomial混合模型。此外,伽玛泊松混合产生更好的主题连贯性分数比狄利克雷-多项式混合模型,从而使其成为一个可行的选择,具有挑战性的任务,主题建模的短文本。
2020-04-23 cs.CL cs.IR cs.LG
Universality of Gaussian-Mixture Reverse Kernels in Conditional Diffusion
Center for Mathematics and Interdisciplinary Sciences, Fudan University(复旦大学数学与交叉科学中心);Shanghai Institute for Mathematics and Interdisciplinary Sciences (SIMIS)(上海数学与交叉科学研究院(SIMIS));Northeastern University(东北大学);Infectious Diseases Division, icddr,b(icddr,b传染病部门);Rutgers University(罗格斯大学)
研究证明,具有ReLU网络对数的有限高斯混合反向核的条件扩散模型可近似任意正则目标分布,误差随扩散时间增加而减小。
2026-04-15 cs.LG stat.ML
Mixture Density Conditional Generative Adversarial Network Models (MD-CGAN)
University of Oxford(牛津大学);Oxford-Man Institute of Quantitative Finance(牛津-曼量化金融研究所)
生成对抗网络(GANs)近年来受到了极大的关注,特别是在计算机视觉中的应用令人印象深刻。然而,与这些例子相比,GANs在时间序列建模(包括预测)方面的应用更为有限。在这项工作中,我们提出了混合密度条件生成对抗模型(MD-CGAN),重点是时间序列预测。我们表明,我们的模型是能够估计的概率后验分布的预测,并在一组基准方法相比,MD-CGAN模型表现良好,特别是在噪声是一个重要组成部分的情况下观察到的时间序列。此外,通过使用高斯混合模型作为输出分布,MD-CGAN提供了非高斯的后验预测。
2020-12-04 cs.LG stat.ML
Mixture Gaussian Process Conditional Heteroscedasticity
Imperial College London(帝国理工学院);Cyprus University of Technology(塞浦路斯理工大学)
广义自回归条件异方差(GARCH)模型一直被认为是最成功的金融收益率波动建模方法之一。在本文中,我们提出了一种替代方法的基础上广泛使用的统计机器学习领域的方法。具体来说,我们提出了一种新的非参数贝叶斯混合高斯过程回归模型,其中每个组件模型的噪声方差过程,污染的观测数据作为一个单独的潜在的高斯过程驱动的观测数据。这样,我们基本上得到了一个混合高斯过程条件异方差(MGPCH)模型的金融收益率波动建模。我们施加一个非参数先验与幂律性质的模型混合物成分的分布,即Pitman-Yor过程之前,允许更好地捕捉建模的数据分布与重尾和偏度。最后,我们提供了一种基于copula的方法,用于获得通过假设MGPCH模型建模的资产收益协方差的预测后验。我们评估了我们的方法在一些基准场景中的有效性,并将其性能与最先进的方法进行比较。
2013-01-25 cs.LG stat.ML
Fisher-Pitman permutation tests based on nonparametric Poisson mixtures with application to single cell genomics
University of Washington(华盛顿大学);Google Inc(谷歌公司);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Fred Hutchinson Cancer Research Center(弗雷德·哈钦森癌症研究中心)
本文研究了Fisher-Pitman型排列检验用于评估未知泊松混合分布的相等性的理论和经验性能。建立在混合分布的非参数极大似然估计(NPMLEs),这些测试理论上被证明能够适应复杂的未指定结构的计数数据,也符合其相应的方差分析型替代品;后者是一个结果平行于经典索赔罗宾逊(罗宾逊,1973年)。然后将研究的方法应用于从自闭症受试者和健康对照的大脑样本中获得的不同细胞类型的单细胞RNA-seq数据;根据经验,他们揭示了自闭症和对照受试者之间差异表达的基因,但使用普通测试却错过了这些基因。为了证明它们的使用,NPMLE的速率最优性也在类似于非参数高斯(Wu和Yang,2020 a)和二项式混合(Tian等人,2017; Vinayak等人,2019年)。
2021-06-06 cs.LG stat.ME stat.ML
Estimating conditional density of missing values using deep Gaussian mixture model
Jagiellonian University(雅盖隆大学)
我们考虑的问题估计的条件概率分布的缺失值的观察。我们提出了一种方法,它结合了深度神经网络的灵活性和高斯混合模型(GARCH)的简单性。给定一个不完整的数据点,我们的神经网络返回代表相应条件密度的高斯分布参数(以因子分析模型的形式)。我们通过实验验证了我们的模型比以典型方式训练的条件GMM提供了更好的对数似然。此外,通过使用我们模型的均值向量替换缺失值获得的插补在视觉上看起来似乎是合理的。
2020-10-06 cs.LG
Fitting A Mixture Distribution to Data: Tutorial
University of Waterloo(滑铁卢大学)
本文是一个逐步教程拟合混合分布的数据。它只是假设读者有微积分和线性代数的背景。在解释主要算法之前,简要回顾其他所需的背景。在解释的主要算法,首先,拟合两个分布的混合物是详细的和拟合两个高斯和泊松的例子,分别为连续和离散的情况下,介绍。此后,解释了在一般情况下拟合几个分布,并再次提供了几个高斯(高斯混合模型)和泊松的例子。基于模型的聚类,作为混合分布的应用之一,也被介绍。为了更好地澄清,高斯和泊松的例子也提供了数值模拟。
2020-10-11 cs.LG stat.ME stat.ML
Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models
School of Management, University of Science and Technology of China(中国科学技术大学管理学院);Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院)
针对条件生成模型多候选生成器性能随场景波动的问题,提出无需可处理密度的样本驱动最优模型平均框架,含静态与输入自适应方法,经多模态实验验证效果优于基线。
2026-07-07 cs.LG stat.ML
Algebraic and Analytic Approaches for Parameter Learning in Mixture Models
Microsoft Research(微软研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
我们提出了两种不同的方法在一维混合模型的参数学习。我们的第一种方法使用复杂的分析方法,并适用于高斯混合共享方差,二项式混合共享成功概率,泊松混合,等等。示例结果是$\exp(O(N^{1/3}))$样本足以精确地学习$k<N$泊松分布的混合,每个泊松分布具有由$N$限定的积分速率参数。我们的第二种方法使用代数和组合工具,并适用于二项式混合物与共享的试验参数$N$和不同的成功参数,以及几何分布的混合物。同样,作为示例,对于具有$k$分量和离散化为分辨率$ε$的成功参数的二项式混合,$O(k^2(N/ε)^{8/\sqrtε})$样本足以精确地恢复参数。对于其中一些分布,我们的结果代表了参数估计的第一个保证。
2020-01-19 cs.LG stat.ML
Sparse component separation from Poisson measurements
IRFU, CEA(法国原子能和替代能源委员会红外与射电天文学研究所)
盲源分离(BSS)的目的是从混合信号中恢复信号。这个问题已被广泛研究的情况下,混合物被污染的加性高斯噪声。然而,它不太适合描述被泊松测量破坏的数据,例如在低光子计数光学或高能天文成像(例如钱德拉或费米望远镜的观测)。为此,我们提出了一种新的BSS算法创造pGMCA,专门处理从泊松测量稀疏源的盲分离。
2018-12-11 cs.LG physics.data-an stat.ML
Optimal Clustering of Multi-layer Networks under Mixture Block Models
Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
本文研究了多层网络及离散混合分布的最优聚类问题,提出了基于张量初始化和似然Lloyd算法的两阶段聚类方法,实现了由Renyi散度刻画的极小化最优聚类错误率。
2026-10-23 cs.LG cs.SI math.ST
Conditional Poisson Stochastic Beam Search
ETH Zürich(苏黎世联邦理工学院);Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学)
束搜索是NLP中许多序列生成任务的默认解码策略。该算法返回的近似K-best项集是许多应用程序的分布的有用总结;然而,候选项通常表现出高度重叠,并且在我们的模型下可能会对期望值进行高度偏倚的估计。这些问题可以通过使用随机解码策略来解决。在这项工作中,我们提出了一种新的方法,把束搜索到一个随机过程:条件泊松随机束搜索。我们不是在每次迭代时取最大值集,而是根据条件泊松抽样设计对K个候选者进行抽样,而不进行替换。我们认为这是一个更自然的替代库尔等。2019年的随机束搜索(SBS)。此外,我们展示了如何在CPSBS设计下生成的样本可以用于构建一致的估计量和序列模型的样本集。在我们的实验中,我们观察到CPSBS比SBS产生更低的方差和更有效的估计,甚至在高熵设置中也有改进。
2023-03-01 cs.CL cs.LG
Improving VAE generations of multimodal data through data-dependent conditional priors
University of Geneva(日内瓦大学)
变分自编码器的主要缺点之一是不能从源自混合分布的数据的各个模态产生代。这主要是由于在数据生成的祖先采样过程中使用简单的各向同性高斯作为潜在代码的先验。我们提出了一种新的配方的变分自编码器,条件先验VAE(CP-VAE),它学会区分各个混合成分,因此允许从分布式数据集群的世代。我们假设一个两级的生成过程,连续(高斯)的潜变量采样条件上的离散(分类)的潜在成分。新的变分目标自然地耦合后验和先验条件的学习,以及以无监督方式编码原始数据的多模态的潜在类别的学习。然后,当从对应于原始数据的多模态结构的各个混合成分生成新样本时,数据相关的条件先验被用于对连续潜码进行采样。我们的实验结果说明了我们的新模型与多个基线相比的生成性能。
2019-11-25 cs.LG stat.ML
A Multimodal Conditional Mixture Model with Distribution-Level Physics Priors
本文提出了一种基于混合密度表示的物理信息多模态条件建模框架,通过组件特定的正则化项嵌入物理知识,以更简单和可解释的方式处理多模态性问题。
2026-02-11 cs.LG physics.comp-ph
Class-conditional embeddings for music source separation
MERL(三菱电机研究实验室)
在音乐混合物中分离出单个乐器有无数潜在的应用,考虑到最近的深度学习方法所达到的性能水平,这似乎是迫在眉睫的。虽然大多数音乐声源分离技术为每个乐器学习一个独立的模型,但我们建议在深度聚类和深度吸引子网络的启发下,为混合物中所有乐器的时频箱使用一个公共嵌入空间。此外,辅助网络用于生成高斯混合模型(GMM)的参数,其中嵌入空间中的GMM分量上的后验分布可以用于创建将各个源从混合物中分离的掩模。除了在MUSDB-18数据集上优于掩码推理基线外,我们的嵌入空间很容易解释,可用于基于查询的分离。
2018-11-07 cs.LG cs.SD eess.AS
InClass Nets: Independent Classifier Networks for Nonparametric Estimation of Conditional Independence Mixture Models and Unsupervised Classification
University of Florida(佛罗里达大学)
我们引入了一种新的基于机器学习的方法,我们称之为独立分类器网络(InClass网)技术,条件独立混合模型(CIMM)的非参数估计。我们将CIMM的估计视为多类分类问题,因为将数据集划分为不同类别自然会导致混合模型的估计。InClass网络由多个独立的分类器神经网络(NN)组成,每个网络处理CIMM的一个变量。通过使用合适的成本函数同时训练各个NN来执行CIMM对数据的拟合。神经网络逼近任意函数的能力使得我们的技术是非参数的。进一步利用NN的能力,我们允许模型的条件独立变量是单独的高维,这是我们的技术相对于现有的非机器学习方法的主要优势。我们得到了一些新的结果的非参数可识别的二元CIMM的形式的一个必要条件和一个(不同的)充分条件的二元CIMM是可识别的。我们提供了一个名为RainDancesVI的Python包,并通过几个示例验证了我们的InClass网技术。我们的方法在无监督和半监督分类问题中也有应用。
2020-08-31 cs.LG econ.EM hep-ph
Task-customized Masked AutoEncoder via Mixture of Cluster-conditional Experts
Hong Kong University of Science and Technology(香港科技大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
提出MoCE,一种基于聚类条件专家混合的MAE预训练范式,通过为每个下游任务定制预训练模型,解决数据分布差异导致的负迁移问题,在11个任务上平均提升2.45%,并刷新检测与分割的SOTA。
2024-02-08 cs.CV cs.LG
Mixture Proportion Estimation and Weakly-supervised Kernel Test for Conditional Independence
Institute of Science Tokyo(东京科学大学);RIKEN AIP(理化学研究所革新智能综合研究中心)
本文提出基于条件独立性的新假设,解决了混合比例估计中的可识别性问题,并开发了弱监督核检验方法,用于验证条件独立性假设,提升了估计性能和检验准确性。
2026-04-08 cs.AI cs.LG
Mining Block I/O Traces for Cache Preloading with Sparse Temporal Non-parametric Mixture of Multivariate Poisson
NetApp, Inc.(网存公司);Indian Institute of Science(印度科学学院)
本文提出稀疏时间非参数混合多维泊松模型,用于从块I/O轨迹中挖掘缓存预加载的长程模式,通过稀疏建模提高效率,实验证明在基准轨迹上显著提升命中率。
2014-10-13 cs.LG cs.OS cs.SY
RagGAD: Rationale-Aware Conditional Gaussian Mixture Normalizing Flow for Unsupervised Graph Anomaly Detection
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院);State Key Laboratory of Submarine Geoscience, School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学海洋地质国家重点实验室、自动化与智能传感学院)
针对现有图异常检测方法依赖同质性假设、鲁棒性不足的问题,提出RagGAD框架,通过依据解缠与混合建模提升性能,在多基准数据集上优于现有方法。
2026-08-18 cs.AI cs.LG
Technical report: Training Mixture Density Networks with full covariance matrices
Heidelberg University(海德堡大学)
混合密度网络是一个久经考验的工具,用于建模条件概率分布。因此,它们构成了解决这个问题的新方法的一个很好的基线。在标准公式中,MDN采用高斯混合模型的一些输入和输出参数,并对混合分量的协方差进行限制。由于随机变量之间的协方差是我们正在研究的条件建模问题中的一个核心问题,我推导并实现了一个具有无限制协方差的MDN公式。这可能是以前做过的,但我在网上找不到任何资源。出于这个原因,我以本技术报告的形式记录了我的方法,希望它可能对面临类似情况的其他人有用。
2020-03-04 cs.LG
Deep Conditional Gaussian Mixture Model for Constrained Clustering
ETH Zürich(苏黎世联邦理工学院);University Children’s Hospital Regensburg (KUNO)(雷根斯堡大学儿童医院(KUNO));University of Regensburg(雷根斯堡大学)
约束聚类在机器学习领域得到了极大的关注,因为它可以利用越来越多的部分标记数据的先验信息。根据深度生成模型的最新进展,我们提出了一种新的约束聚类框架,该框架直观,可解释,并且可以在随机梯度变分推理的框架中有效地训练。通过明确地整合领域知识的概率关系的形式,我们提出的模型(DC-GMM)揭示了潜在的分布数据的条件上事先聚类的偏好,表示为成对的约束。这些约束通过指示哪些样本应该或不应该属于同一聚类来引导聚类过程朝向数据的期望分区。我们提供了大量的实验来证明,DC-GMM显示出优越的聚类性能和鲁棒性相比,国家的最先进的深度约束聚类方法在广泛的数据集。我们进一步证明了我们的方法在两个具有挑战性的现实世界中的应用程序的有用性。
2022-02-01 cs.LG
Mixture of Cache-Conditional Experts for Efficient Mobile Device Inference
Contextual AI;Qualcomm AI Research
针对内存受限移动设备上MoE部署的挑战,提出缓存感知路由策略利用专家重用提升缓存局部性,在语言建模、MMLU和GSM8K基准上实现2倍加速,且无需训练。
2025-06-24 cs.AI cs.AR cs.LG
Complete and separate: Conditional separation with missing target source attribute completion
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对条件声源分离中目标源语义信息不完整的问题,提出先训练模型补全缺失语义属性,再用于增强非耦合多条件分离网络,使其性能接近完整信息 oracle 模型并媲美专用单条件模型。
2023-07-27 cs.LG cs.SD eess.AS
Enhancing Online Continual Learning with Plug-and-Play State Space Model and Class-Conditional Mixture of Discretization
Harbin Institute Of Technology(哈尔滨工业大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Harbin Institute Of Technology (Shenzhen)(哈尔滨工业大学(深圳));University of Oxford(牛津大学)
提出即插即用模块S6MOD,通过离散化混合和类条件路由算法动态调整状态空间模型参数,显著提升在线持续学习的模型适应性与性能。
2024-12-24 cs.AI cs.CV cs.LG