Low-rank Characteristic Tensor Density Estimation Part II: Compression and Latent Density Estimation
University of Virginia(弗吉尼亚大学);University of Minnesota(明尼苏达大学);Amazon(亚马逊)
生成概率模型的学习是机器学习的核心问题,由于维数灾难的存在,使得生成概率模型的学习面临着巨大的挑战。本文提出了一种联合降维和非参数密度估计框架,使用一种新的估计,可以显式地捕捉潜在的分布适当的降维表示的输入数据。其思想是联合设计一个非线性降维自动编码器,根据一组简约的潜在随机变量对训练数据进行建模,并学习傅立叶域中潜在变量的联合分布的规范低秩张量模型。所提出的潜在密度模型是非参数的和通用的,而不是预定义的前,假设在变分自动编码器。联合优化的自动编码器和潜在的密度估计追求通过制定学习的负对数似然在潜在域和自动编码器重建损失的组合最小化。我们证明了该模型在玩具,表格和图像数据集上回归任务,采样和异常检测方面取得了非常有前途的结果。
2021-06-20 cs.LG stat.ML
Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology(东京工业大学)
在数据科学和机器学习中,经常使用分层参数模型,例如混合模型。它们包含两种变量:可观察变量,代表可以直接测量的数据部分,以及潜变量,代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加,但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中,我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性,并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而,单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下,给出了两类单变量估计的误差函数的渐近展开式,该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明,贝叶斯和最大似然方法的精度是渐近等价的,并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
Automated Analytic Asymptotic Evaluation of the Marginal Likelihood for Latent Models
Technion - Israel Institute of Technology(以色列理工学院)
我们提出并实现了两个算法的分析渐近估计的边际似然数据的贝叶斯网络与隐藏节点。如以前的工作所示,这种评估对于潜在贝叶斯网络模型特别困难,即包含隐藏变量的网络,其中渐近近似偏离标准BIC分数。我们的算法解决了两个中心的边缘似然积分的渐近评估的困难,即,定期降维潜贝叶斯网络模型和计算这些模型的奇异统计的非标准近似公式的评估。所提出的算法在Matlab和Maple中实现,并证明了其使用的隐变量贝叶斯网络的边缘似然近似。
2012-10-19 cs.LG stat.ML
Latent Distance Estimation for Random Geometric Graphs
Laboratoire de Math\'ematiques d'Orsay (LMO) Universit\'e Paris-Sud 91405 Orsay Cedex \
随机几何图是网络潜在点生成模型的流行选择。它们的定义是基于一个样本的$n$点$X_1,X_2,\cdots,X_n$上的欧几里德球~ $\mathbb{S}^{d-1}$,它代表了潜在的位置的节点的网络。节点之间的连接概率由在潜在点之间的距离处评估的未知函数(称为“链接”函数)确定。我们引入了一个谱估计的潜在点之间的成对距离,我们证明了它的收敛速度是相同的$\mathbb{S}^{d-1}$上的函数的非参数估计,对数因子。此外,我们提供了一个有效的谱算法来计算这个估计没有任何知识的非参数连接函数。作为副产品,我们的方法也可以一致地估计潜在空间的维度$d$。
2019-09-15 cs.LG stat.ML
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind(深度思维);Microsoft Research New England(微软新英格兰研究院)
由于梯度的高方差,离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计,利用双控制变量。这些控制变量作用于主要控制变量之上,并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型,例如具有二进制潜变量的变分自编码器,与使用REINFORCE leave-one-out估计器的标准训练相比,我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明,我们的估计可以有较低的方差相比,其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia(弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
研究了隐变量高斯图模型(LVGGM)的估计问题,其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度,提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法,该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外,我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性,并证实了我们的理论。
2017-02-28 cs.LG stat.ML
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Google(谷歌);University of Toronto(多伦多大学)
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上,给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化,则编码器的参数可以被优化以最小化该估计器的方差。我们表明,使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务,其中无偏估计,而不是边际似然下限,是首选,如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Posterior Ratio Estimation of Latent Variables
University of Bristol(布里斯托大学)
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而,在某些应用中,我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是,我们假设后验比函数可以很好地近似的参数模型,然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时,估计量的相合性和估计参数的渐近正态性。最后,我们使用数值实验验证我们的理论,并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
Estimation of Individual Treatment Effect in Latent Confounder Models via Adversarial Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Oxford(牛津大学);University at Buffalo(布法罗大学)
从观察数据中估计个体治疗效果(ITE)在医学上是必不可少的。估计ITE的一个核心挑战是处理混杂因素,这些因素是影响干预及其结果的因素。大多数以前的工作依赖于unconfoundedness假设,假设所有的混杂因素都在观测数据中测量。但是,如果存在不可测量的(潜在的)混杂因素,则会引入混杂偏倚。幸运的是,潜在混杂因素的噪声代理通常是可用的,并且可以用于对ITE进行无偏估计。在本文中,我们开发了一种新的对抗性学习框架,使用噪声代理对ITE进行无偏估计。
2018-11-21 cs.LG stat.ML
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);University of Missouri(密苏里大学)
我们提出了一个新的统计学习范式玻尔兹曼机的基础上,我们提出了一个新的推理原则:潜在的最大熵原则(LME)。LME既不同于Jaynes最大熵原理,也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理,并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明,基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
2012-10-19 cs.LG stat.ML
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院)
研究了在发电机模型的隐空间中学习基于能量的模型(EBM)的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗(MCMC)。相反,我们建议使用噪声对比估计(NCE)通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而,NCE通常不能准确地估计这样的密度比,给定两个密度之间的大差距。为了有效地解决这个问题,并学习更具表现力的先验模型,我们开发了自适应多阶段密度比估计,将估计分解为多个阶段,并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习,使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息,并且可以有效地训练。我们的实验表明,强大的性能,在图像生成和重建,以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Modal Uncertainty Estimation via Discrete Latent Representation
The Chinese University of Hong Kong(香港中文大学)
现实世界中的许多重要问题并没有独特的解决方案。因此,重要的是机器学习模型能够提出不同的合理的解决方案与有意义的概率措施。在这项工作中,我们引入了这样一个深度学习框架,它学习输入和输出之间的一对多映射,以及忠实的不确定性度量。我们称我们的框架为{ \it模态不确定性估计},因为我们对通过一组离散潜变量生成的一对多映射进行建模,每个潜变量表示解释相应类型的输入-输出关系的潜模式假设。因此,潜在表示的离散性质使我们能够非常有效地估计任何输入的输出的条件概率分布。离散潜在空间及其不确定性估计在训练期间联合学习。我们通过当前条件生成模型中的多模态后验崩溃问题来激励我们使用离散潜在空间,然后发展理论背景,并在合成和现实任务上广泛验证我们的方法。我们的框架展示了更准确的不确定性估计比目前最先进的方法,是翔实的,方便的实际使用。
2020-07-25 cs.CV cs.LG stat.ML
Treatment effect estimation with disentangled latent factors
University of South Australia(南澳大利亚大学)
许多研究致力于从观察数据估计治疗效果的问题;然而,大多数方法假设观察变量仅包含混杂因素,即,影响治疗和结果的变量。不幸的是,这一假设在现实世界的应用中经常被违反,因为一些变量只影响治疗而不影响结果,反之亦然。此外,在许多情况下,只能观察到潜在混杂因素的代理变量。在这项工作中,我们首先表明区分混杂因素与工具和风险因素对于平均和条件平均治疗效果估计的重要性,然后我们提出了一种变分推理方法,同时从观察变量中推断潜在因素,将因素分解为三个不相交的集合,分别对应于工具,混杂和风险因素,并将解缠后的因子用于治疗效果评估。实验结果表明,该方法的有效性在广泛的合成,基准和真实世界的数据集。
2021-04-26 cs.LG stat.ML
Disentangling Learning Representations with Density Estimation
Duke University(杜克大学);Oak Ridge National Laboratory(橡树岭国家实验室)
解纠缠学习表示在许多应用中具有很好的实用性,但它们目前存在严重的可靠性问题。我们提出了高斯信道自动编码器(GCAE),通过灵活的密度估计的潜在空间,实现可靠的解纠缠的方法。GCAE通过将其潜在空间的子集与双总相关(DTC)度量分离,从而将其高维潜在联合分布表示为许多低维条件分布的集合,从而避免了密度估计的维数灾难。在我们的实验中,与最先进的基线相比,GCAE实现了高度竞争力和可靠的解缠分数。
2023-02-08 cs.LG stat.ML
Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping
Columbia University(哥伦比亚大学);Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);University of Florida(佛罗里达大学)
在强化学习和变分自编码器(VAE)训练等背景下,梯度估计通常是拟合具有离散潜变量的生成模型所必需的。DisARM估计器(Yin等人,2020; Dong,Mnih和Tucker 2020)在许多情况下实现了Bernoulli潜变量模型的最新梯度方差。然而,DisARM和其他估计量在参数空间的边界附近具有潜在的爆炸性方差,解决方案往往位于该边界附近。为了改善这个问题,我们提出了一个新的梯度估计\textit{bitflip} -1,具有较低的方差在参数空间的边界。由于bitflip-1具有与现有估计器互补的特性,因此我们引入了一个聚合估计器\textit{unbiased gradient variance clipping}(UGC),该估计器对每个坐标使用bitflip-1或DisARM梯度更新。我们从理论上证明了UGC比DisARM具有一致更低的方差。从经验上讲,我们观察到,UGC在玩具实验,离散VAE训练和最佳子集选择问题中实现了优化目标的最佳值。
2022-08-12 cs.LG stat.ML
Solving Non-identifiable Latent Feature Models
NEC Data Science Research Laboratories(NEC数据科学研究实验室)
潜在特征模型(LFM)被广泛用于提取数据的潜在结构。虽然提供了高,参数估计是困难的LFM,因为潜在的功能的组合性质,和不可识别性是一个特别困难的问题时,参数估计是不唯一的,存在等效的解决方案。本文给出了不可识别性的一个充分必要条件。该条件与特征的依赖性显著相关,这意味着不可识别性可能经常发生在现实世界的应用中。提出了一种新的参数估计方法,解决了不可识别性问题。该方法可以作为一个后处理与现有的方法相结合,可以找到一个适当的解决方案,通过有效地跳跃通过等效的解决方案。我们已经评估了该方法在合成和真实世界数据集上的有效性。
2018-09-26 cs.LG stat.ML
Accuracy of Latent-Variable Estimation in Bayesian Semi-Supervised Learning
分层概率模型,如高斯混合模型,被广泛用于无监督学习任务。这些模型由可观察变量和潜在变量组成,分别代表可观察数据和基础数据生成过程。无监督学习任务,如聚类分析,被认为是基于可观察的潜在变量的估计。在半监督学习中,观察到一些标签,潜在变量的估计将比无监督学习更精确,其中一个关注点是澄清标记数据的影响。然而,还没有足够的理论分析的精度估计的潜变量。在以前的研究中,制定了基于分布的误差函数,并计算了其渐近形式,用于生成模型的无监督学习。结果表明,对于潜变量的估计,贝叶斯方法比最大似然方法更准确。本文揭示了贝叶斯半监督学习中判别式和生成式模型误差函数的渐近形式。结果表明,生成模型,它使用所有给定的数据,表现得更好时,模型是很好的指定。
2015-03-25 stat.ML
Network Causal Effect Estimation In Graphical Models Of Contagion And Latent Confounding
Williams College(威廉姆斯学院)
研究网络中传染与潜在混淆的区分问题,基于隔离图表示推导似然比检验识别依赖机制,并提出在完全干扰场景下提供无偏一致估计的网络因果效应估计策略。
2025-03-05 cs.LG stat.ML
Asymptotic Accuracy of Bayes Estimation for Latent Variables with Redundancy
由可观测变量和潜变量组成的分层参数模型被广泛用于无监督学习任务。例如,混合模型是用于聚类的代表性分层模型。从统计的角度来看,由于数据的分布,模型可以是规则的或奇异的。在常规情况下,模型具有可辨识性,模型表达式的概率密度函数与参数之间存在一一对应的关系。费舍尔信息矩阵是正定的,并研究了可观测变量和潜变量的估计精度。另一方面,在奇异情况下,模型是不可识别的,Fisher矩阵不是正定的。基于逆Fisher矩阵的传统统计分析不适用。最近,一个代数几何分析已被开发出来,并用于阐明可观测变量的贝叶斯估计。本文将这种分析应用于潜变量估计,并确定其理论性能。我们的结果阐明了后验分布的收敛性。研究发现,可观测变量估计的后验和潜变量估计的后验可以不同。基于参数和潜变量的马尔可夫链蒙特卡罗方法由于两者的差异,无法构造出期望的后验分布。
2014-01-23 stat.ML
Improving the Noise Estimation of Latent Neural Stochastic Differential Equations
Institute for Computing and Information Sciences, Radboud University, Nijmegen, the Netherlands(计算与信息科学研究所,拉德堡德大学,尼美根,荷兰);Earth System Modelling, School of Engineering and Design, TU Munich, Germany(地球系统建模,工程与设计学院,慕尼黑技术大学,德国);Computational Network Science, Dept of Computer Science, RWTH Aachen University, Germany(计算网络科学,计算机科学系,亚琛工业大学,德国)
针对潜空间神经 SDE 系统性低估随机时间序列噪声的问题,本文在损失函数中引入显式额外噪声正则化,使其准确学习扩散分量,并在随机双稳态概念模型上验证了改进效果。
2025-06-10 cs.LG stat.ML
A Bayesian estimation approach to analyze non-Gaussian data-generating processes with latent classes
近年来,在各个领域积累了大量的观测数据,并且越来越需要估计这些数据的生成过程。基于外部影响的非高斯性,提出了一种线性非高斯非循环模型(LiNGAM)来估计变量的数据生成过程。然而,如果存在潜在类,则估计的结果可能有偏差。在本文中,我们首先回顾LiNGAM,其扩展模型,以及LiNGAM的贝叶斯框架中的估计过程。然后,我们提出了一个新的贝叶斯估计过程,解决了这个问题。
2014-08-02 stat.ML
A Gaussian process latent force model for joint input-state estimation in linear structural systems
University of Waterloo(滑铁卢大学);University of Notre Dame(圣母大学)
研究了基于结构模型的先验知识和实测响应的线性结构系统的状态和输入联合估计问题。提出了一种新的方法,使用高斯过程的潜在力量模型来解决这个问题,在一个随机设置。高斯过程潜在力模型(GPLFM)是将表示物理系统的微分方程与数据驱动的非参数高斯过程模型相结合的混合模型。在这项工作中,未知的输入力作用在一个结构上被建模为高斯过程与一些选择的协方差函数相结合的机械微分方程表示的结构,以构建一个GPLFM。GPLFM,然后方便地制定为一个增广的随机状态空间模型与额外的状态表示的潜在的力分量,和联合输入和状态推断的结果模型使用卡尔曼滤波器实现。GPLFM的增广状态空间模型被示出为输入增广状态空间模型类的泛化,被证明是可观察的,并且在数值稳定性方面与常规增广公式相比是鲁棒的。基于观测数据,使用最大似然优化来估计控制协方差函数的超参数,从而克服了通过试错法手动调整超参数的需要。为了评估所提出的GPLFM方法的性能,状态和输入估计的几种情况下,演示了使用数值模拟的10自由度剪切建筑物和76层ASCE基准办公楼。结果表明,所提出的方法优于传统的卡尔曼滤波器为基础的方法的性能。
2019-04-02 cs.LG stat.ML
Estimation of causal orders in a linear non-Gaussian acyclic model: a method robust against latent confounders
我们考虑在一个称为LiNGAM的线性非高斯非循环模型中学习变量的因果排序。几种现有的方法已被证明是一致的估计因果排序假设所有的模型假设是正确的。但是,如果实际上违背了某些假设,估计结果可能会失真。在本文中,我们提出了一个新的算法学习因果顺序,是强大的对一个典型的违反模型假设:潜在的混淆。我们证明了我们的方法使用人工数据的有效性。
2012-04-09 stat.ML
Bayesian estimation of possible causal direction in the presence of latent confounders using a linear non-Gaussian acyclic structural equation model with individual-specific effects
我们考虑在潜在混杂变量的存在下学习两个观测变量的可能因果方向。几种现有的方法已被证明是一致的估计因果方向假设线性或某种类型的非线性关系,没有潜在的混杂因素。然而,如果实际上违反任何一个假设,估计结果可能会失真。在本文中,我们首先提出了一个新的线性非高斯非循环结构方程模型与个人的具体影响,允许潜在的混杂因素被考虑。然后,我们提出了一个经验贝叶斯方法估计可能的因果方向,使用新的模型。我们使用人工和真实世界的数据证明了我们的方法的有效性。
2014-05-20 stat.ML
Bayesian Estimation of Multidimensional Latent Variables and Its Asymptotic Accuracy
分层学习模型,如混合模型和贝叶斯网络,被广泛用于无监督学习任务,如聚类分析。它们由可观测变量和隐变量组成,分别表示给定的数据及其隐藏的生成过程。有人指出,传统的统计分析是不适用于这些模型,因为冗余的潜变量产生的奇异性的参数空间。近年来,一种基于代数几何的方法使我们能够分析使用贝叶斯估计时预测可观测变量的准确性。然而,如何分析潜变量还没有得到充分的研究,即使在无监督学习的主要问题之一是确定如何准确地估计潜变量。以前的一项研究提出了一种方法,当潜在变量的范围与生成数据的模型相比是冗余的时,可以使用该方法。本文将该方法推广到潜变量具有冗余维数的情况。我们制定新的误差函数,并推导出其渐近形式。在两层贝叶斯网络中演示了误差函数的计算。
2018-01-04 stat.ML
Consistent Estimation of Low-Dimensional Latent Structure in High-Dimensional Data
我们考虑从高维随机变量中提取低维线性潜变量结构的问题。具体来说,我们表明,在温和的条件下,当这个结构表现为一个线性空间,跨越条件的意思,它是可以一贯恢复的结构,只使用这些随机变量的二阶矩的信息。这一发现,专门为一个参数的指数家庭的方差函数是二次在他们的意思,允许这样的潜在结构的一个显式估计的推导。这种方法作为一个潜在的变量模型估计器,并作为一个工具,降维的高维矩阵的数据组成的许多相关的变量。我们的理论结果得到了验证的模拟研究和基因组数据的应用。
2015-10-13 stat.ML
Meta-learning for Out-of-Distribution Detection via Density Estimation in Latent Space
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Computer and Data Science Laboratories(NTT计算机与数据科学实验室)
已经提出了许多基于神经网络的分布外(OoD)检测方法。然而,它们需要为每个目标任务提供许多训练数据。我们提出了一种简单而有效的元学习方法来检测目标任务中具有小分布数据的OoD。该方法通过潜在空间中的密度估计实现OoD检测。所有任务之间共享的神经网络用于灵活地将原始空间中的实例映射到潜在空间。对神经网络进行元学习,使得通过使用与目标任务不同的各种任务来提高预期的OoD检测性能。这种元学习过程使我们能够在潜在空间中获得适当的表示,用于OoD检测。对于密度估计,我们使用一个高斯混合模型(GMM)与全协方差的每一类。我们可以通过最大化可能性来使GMM参数以封闭形式适应每个任务中的分布数据。由于封闭形式的解决方案是可微的,我们可以元学习的神经网络有效地与随机梯度下降方法,通过将解决方案纳入元学习目标函数。在使用六个数据集的实验中,我们证明了所提出的方法比现有的元学习和OoD检测方法具有更好的性能。
2022-06-20 cs.AI cs.LG stat.ML
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London(帝国理工学院)
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术,具有最佳理论保证。嵌入可以用来估计网络的社区结构,在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中,提出了一种新的贝叶斯模型,同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据,表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
Supervised learning of a regression model based on latent process. Application to the estimation of fuel cell life time
INRETS(法国国家交通与安全研究所);Université Paris 12(巴黎第十二大学);Université de Franche-Comté(弗朗什-孔泰大学);FCLAB(燃料电池实验室)
本文介绍了一种模式识别方法,旨在估计燃料电池的持续时间从电化学阻抗谱测量。它包括首先从阻抗谱的实部和虚部提取特征。一个参数模型被认为是在实部的情况下,而在后一种情况下使用的回归模型与潜变量。然后,使用提取的特征的不同子集的线性回归模型用于燃料电池持续时间的估计。实验数据集上的性能评估所提出的方法,以证明其可行性。这可能会导致燃料电池的预测性维护政策的有趣的前景。
2013-12-25 cs.LG stat.AP stat.ML
Latent Gaussian Processes for Distribution Estimation of Multivariate Categorical Data
多变量分类数据出现在机器学习的许多应用中。这些分类变量向量的主要困难之一是稀疏性。可能的观测值数量随着向量长度呈指数增长,但相比之下,数据集的多样性可能较差。最近的模型在使用这些数据的监督任务中获得了显着的改进。这些模型将观测嵌入连续空间中,以捕捉它们之间的相似性。基于这些想法,我们提出了一个贝叶斯模型的无监督任务的分布估计的多元分类数据。我们对从连续潜在空间的非线性变换生成的分类变量向量进行建模。非线性捕获分布中的多模态。连续表示解决稀疏性。我们的模型将许多现有的模型联系在一起,将线性分类潜在高斯模型,高斯过程潜在变量模型和高斯过程分类联系在一起。我们推导出我们的模型的基础上,最近的事态发展,抽样为基础的变分推断。我们的经验表明,该模型优于其线性和离散的稀疏数据的插补任务。
2015-03-07 stat.ML
Disentangled Graph Autoencoder for Treatment Effect Estimation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Petrochina Engineering and Planning Institute(中国石油工程规划研究院)
针对网络化观测数据中潜在因素被混淆的问题,提出解耦变分图自编码器,将潜在变量分离为工具、混杂、调整和噪声因素并强制独立,提升处理效应估计性能。
2025-02-20 cs.AI cs.LG stat.ML
Universally Consistent Latent Position Estimation and Vertex Classification for Random Dot Product Graphs
在这项工作中,我们表明,使用特征分解的邻接矩阵,我们可以一致地估计潜在的位置随机点积图提供的潜在位置是独立同分布。从一些分布。如果类标签观察到的顶点数量趋于无穷大,那么我们表明,剩余的顶点可以进行分类,误差收敛到贝叶斯最优的$k$ -最近邻分类规则。我们根据模拟数据和来自维基百科的图表评估了所提出的方法。
2012-07-29 math.ST stat.ML stat.TH
Latent Multimodal Functional Graphical Model Estimation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学);Stanford University(斯坦福大学)
本文提出潜变量多模态函数图模型估计框架,通过扩展函数型偏相关算子同时估计空间变换与潜图,并在脑成像数据中验证其有效性。
2023-10-01 cs.LG stat.ME stat.ML
High Dimensional Semiparametric Latent Graphical Model for Mixed Data
图形模型是对多变量随机变量建模的常用工具。虽然存在许多方便的多变量分布,如连续数据的高斯分布,但存在离散变量或连续变量和离散变量的组合的混合数据在统计建模中提出了新的挑战。本文提出了一种适用于二元和混合数据的半参数模型--潜高斯Copula模型。假设观测的二进制数据是通过对一个满足高斯copula分布或非paranormal分布的潜变量进行二分而得到的。假设隐变量为多元高斯分布的隐高斯模型是该模型的一个特例。提出了一种新的基于秩的方法,用于潜在图估计和潜在主成分分析。从理论上讲,所提出的方法实现了相同的收敛速度的精度矩阵估计和特征向量估计,如果观察到的潜在变量。在相似条件下,建立了图结构恢复和特征选择对前导特征向量的一致性。所提出的方法的性能进行数值评估,通过模拟研究,并说明了我们的方法的使用遗传数据集。
2014-04-29 stat.ML
Local Learning for Covariate Selection in Nonparametric Causal Effect Estimation with Latent Variables
Department of Applied Statistics, Beijing Technology and Business University(应用统计系,北京技术与商业大学);SIAT, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
针对潜变量存在下非参数因果效应估计的协变量选择问题,提出利用可观测变量间可检验关系进行局部学习的有效且完备的方法,并通过合成与真实数据实验验证其有效性。
2025-10-27 cs.LG math.ST stat.ML
Group-Aware Matrix Estimation and Latent Subspace Recovery
Department of Statistics, Columbia University(哥伦比亚大学统计系);Irving Institute for Cellular Dynamics, Zuckerman Institute Columbia University(Zuckerman研究所细胞动力学院,哥伦比亚大学);School of Data and Information Sciences, University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校数据与信息科学学院)
本文提出了一种针对异质数据中群体特定低秩矩阵估计的凸估计器GAME,通过重叠核范数惩罚正则化来恢复子群特定的子空间结构,同时在共享坐标系中保留局部潜在结构,并在不同数据集上验证了其在结构缺失情况下优于传统低秩方法的性能。
2026-05-19 cs.LG stat.AP stat.ME
On Statistical Rates of Conditional Diffusion Transformers: Approximation, Estimation and Minimax Optimality
Northwestern University(西北大学);National Taiwan University(台湾大学);National Center for Theoretical Sciences(国家理论科学中心)
该研究分析了带无分类器引导的条件扩散Transformer(DiTs)的逼近与估计速率,证明其在特定设置下的极小极大最优性,为DiT模型开发提供统计理论指导。
2024-11-26 cs.AI cs.CV cs.LG
Asymptotic Theory of Eigenvectors for Latent Embeddings with Generalized Laplacian Matrices
Princeton University(普林斯顿大学);University of Southern California(南加利福尼亚大学);Tsinghua University(清华大学)
本文针对依赖性下随机矩阵理论的发展瓶颈,提出广义拉普拉斯矩阵潜在嵌入的特征向量渐近理论(ATE-GL)框架,利用广义二次向量方程和局部定律实现特征向量与特征值的渐近正态性,支持精确推断与不确定性量化。
2025-03-01 cs.IT cs.LG math.IT
Particle algorithms for maximum likelihood training of latent variable models
University of Warwick(华威大学)
(Neal和Hinton,1998)将任何给定潜变量模型的极大似然估计改写为自由能泛函$F$的最小化,并将期望最大化算法改写为应用于$F$的坐标下降。在这里,我们探索优化函数的替代方法。特别是,我们确定了各种梯度流与$F$,并表明他们的限制与$F$的驻点相吻合。通过离散化的流量,我们得到了实用的基于粒子的算法极大似然估计在广泛的类别的潜变量模型。新的算法规模高维设置,并在数值实验中表现良好。
2023-02-18 cs.LG math.OC stat.CO
Model-free Estimation of Latent Structure via Multiscale Nonparametric Maximum Likelihood
针对多元分布中潜结构难以识别估计的问题,提出无模型多尺度非参数最大似然方法,通过构建密度多尺度表示、数据驱动选模型及刻画渐近极限,设计有效聚类算法捕捉多种潜结构。
2025-04-15 math.ST stat.ME stat.ML
Transfer learning under latent space model
School of Economics, Xiamen University(厦门大学经济学院);Center of Applied Statistics and School of Statistics, Renmin University of China(中国人民大学统计学院与应用统计研究中心)
本文提出潜在空间模型下的迁移学习方法,通过两阶段算法利用相似源网络提升目标网络潜在变量估计精度,并给出理论性质与实证验证。
2025-09-19 stat.ME stat.ML
Bayesian Estimation of Causal Effects Using Proxies of a Latent Interference Network
Tel Aviv University(特拉维夫大学)
本文提出了一种基于代理网络的贝叶斯方法,用于估计潜在干扰网络的因果效应,通过结构因果模型和块Gibbs采样器有效探索高维后验空间。
2026-02-03 stat.AP stat.CO stat.ME