Asymptotic Accuracy of Bayesian Estimation for a Single Latent Variable
Tokyo Institute of Technology(东京工业大学)
在数据科学和机器学习中,经常使用分层参数模型,例如混合模型。它们包含两种变量:可观察变量,代表可以直接测量的数据部分,以及潜变量,代表生成数据的底层过程。虽然对可观测变量估计精度的研究有所增加,但对潜变量估计的理论分析尚未得到深入研究。在以前的研究中,我们确定了数据集中潜变量的联合概率的贝叶斯估计的准确性,并且我们证明了贝叶斯方法比最大似然方法渐近更准确。然而,单个潜在变量的贝叶斯估计的准确性仍然是未知的。本文在满足统计规律性的条件下,给出了两类单变量估计的误差函数的渐近展开式,该误差函数由库尔贝克-莱布勒散度定义.我们的研究结果表明,贝叶斯和最大似然方法的精度是渐近等价的,并澄清贝叶斯方法只有利于多变量估计。
2015-04-17 cs.LG stat.ML
Nonparametric Estimation of Multi-View Latent Variable Models
Georgia Institute of Technology(佐治亚理工学院);University of California Irvine(加州大学欧文分校)
谱方法极大地推进了潜变量模型的估计,产生了一系列具有强有力理论保证的新颖而有效的算法。然而,目前的谱算法主要限于离散或高斯分布的混合物。在本文中,我们提出了一种核方法学习多视图潜变量模型,允许每个混合成分是非参数的。该方法的核心思想是将多视点隐变量的联合分布嵌入到再生核Hilbert空间中,然后利用鲁棒的张量幂方法恢复隐变量参数。我们建立了所提出的方法的样本复杂性是二次的潜在组件的数量和其他相关参数是一个低阶多项式。因此,我们的非参数张量学习潜变量模型的方法具有良好的样本和计算效率。此外,在我们的实验中,非参数张量幂方法优于EM算法和其他现有的谱算法。
2013-12-08 cs.LG stat.ML
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind(深度思维);Microsoft Research New England(微软新英格兰研究院)
由于梯度的高方差,离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计,利用双控制变量。这些控制变量作用于主要控制变量之上,并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型,例如具有二进制潜变量的变分自编码器,与使用REINFORCE leave-one-out估计器的标准训练相比,我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明,我们的估计可以有较低的方差相比,其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
On the Identifiability of Latent Class Models for Multiple-Systems Estimation
潜在类模型最近在人权应用中的多系统估计中变得流行。然而,目前还不知道在这种情况下,一个给定的家庭的潜在类模型是可识别的。我们提供了充要条件和充分条件的数量所需的一个家庭的潜在类模型是可识别的潜在类。一路上,我们提供了一种机制,用于验证一类多系统估计模型,允许个人异质性的可识别性。
2020-08-22 math.ST stat.ME stat.TH
SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models
Tsinghua University(清华大学);Princeton University(普林斯顿大学);Google(谷歌);University of Toronto(多伦多大学)
用于训练潜变量模型的标准变分下界对大多数感兴趣的量产生有偏估计。本文在无穷级数随机截断的基础上,给出了潜变量模型的对数边际似然及其梯度的一个无偏估计。如果由编码器-解码器架构参数化,则编码器的参数可以被优化以最小化该估计器的方差。我们表明,使用我们的估计器训练的模型比基于标准重要性抽样的方法提供更好的测试集似然性相同的平均计算成本。该估计器还允许使用潜变量模型的任务,其中无偏估计,而不是边际似然下限,是首选,如最小化反向KL分歧和估计得分函数。
2020-07-10 cs.LG stat.ML
Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping
Columbia University(哥伦比亚大学);Memorial Sloan Kettering Cancer Center(纪念斯隆-凯特琳癌症中心);Howard Hughes Medical Institute(霍华德·休斯医学研究所);University of Florida(佛罗里达大学)
在强化学习和变分自编码器(VAE)训练等背景下,梯度估计通常是拟合具有离散潜变量的生成模型所必需的。DisARM估计器(Yin等人,2020; Dong,Mnih和Tucker 2020)在许多情况下实现了Bernoulli潜变量模型的最新梯度方差。然而,DisARM和其他估计量在参数空间的边界附近具有潜在的爆炸性方差,解决方案往往位于该边界附近。为了改善这个问题,我们提出了一个新的梯度估计\textit{bitflip} -1,具有较低的方差在参数空间的边界。由于bitflip-1具有与现有估计器互补的特性,因此我们引入了一个聚合估计器\textit{unbiased gradient variance clipping}(UGC),该估计器对每个坐标使用bitflip-1或DisARM梯度更新。我们从理论上证明了UGC比DisARM具有一致更低的方差。从经验上讲,我们观察到,UGC在玩具实验,离散VAE训练和最佳子集选择问题中实现了优化目标的最佳值。
2022-08-12 cs.LG stat.ML
Bayesian Estimation of Kendall's tau Using a Latent Normal Approach
两个变量之间基于秩的关联可以通过向有序数据引入潜在正态水平来建模。我们演示了这种方法如何产生贝叶斯推断肯德尔的秩相关系数,改善最近的贝叶斯解的渐近性质的检验统计量。
2018-05-24 stat.ME
Two-step estimation of latent trait models
本文提出将两步估计法应用于潜特质模型,先估计测量模型再固定参数估计结构模型,并通过模拟与应用实例证明其优于一步法和三步法,具有良好实用性与概念优势。
2025-08-25 stat.ME
Bayesian estimation of the latent dimension and communities in stochastic blockmodels
Imperial College London(帝国理工学院)
无向图的邻接矩阵或拉普拉斯矩阵的谱嵌入是在低维潜在空间中表示网络的常用技术,具有最佳理论保证。嵌入可以用来估计网络的社区结构,在随机块模型框架下具有强一致性结果。用于从谱嵌入进行社区发现的标准算法的主要实际限制之一是必须预先指定社区的数目和嵌入的潜在维度。在这篇文章中,提出了一种新的贝叶斯模型,同时和自动选择适当的尺寸的潜在空间和块的数量。扩展到有向图和二分图进行了讨论。该模型进行了测试模拟和真实世界的网络数据,表现出良好的性能恢复潜在的社区结构。
2020-05-28 cs.LG cs.SI stat.AP
On estimating the size of overcoverage with the latent class model. A critique of the paper "Population Size Estimation Using Multiple Incomplete Lists with Overcoverage" by di Cecco, di Zio, Filipponi and Rocchetti (2018, JOS 34 557-572)
我们感兴趣地阅读了di Cecco等人的文章。(2018),但对潜在类模型专门用于估计过度覆盖的有用性持保留态度。特别是,我们质疑的解释的参数的拟合潜在类模型。
2020-05-11 stat.ME
Comparing the Value of Labeled and Unlabeled Data in Method-of-Moments Latent Variable Estimation
Stanford University(斯坦福大学)
为现代机器学习标记数据既昂贵又耗时。潜变量模型可以用于从对未标记数据进行操作的较弱的、更容易获取的源推断标签。这样的模型也可以使用标记数据进行训练,这就提出了一个关键问题:用户应该投资于少数标记点还是许多未标记点?我们回答这个问题,通过一个框架,集中在模型误指定的方法的矩潜变量估计。我们的核心结果是一个偏置方差分解的泛化误差,这表明,unlabeled-only的方法会引起额外的偏差下误指定。然后,我们引入了一个修正,证明在某些情况下消除这种偏见。我们将我们的分解框架应用于三种场景--明确指定的、错误指定的和正确的模型--以1)在标记数据和未标记数据之间进行选择,2)从它们的组合中学习。我们从理论上和合成实验中观察到,对于指定的模型,标记点比未标记点更有价值。然而,对于错误指定,由于额外的偏差,它们的相对值更高,但可以通过校正来降低。我们还应用我们的方法来研究现实世界中的弱监督技术的数据集建设。
2021-03-03 cs.LG stat.ML
A mirror descent approach to maximum likelihood estimation in latent variable models
University of Turin(都灵大学);Collegio Carlo Alberto(卡罗阿尔贝托学院)
本文提出一种结合镜像下降与序列蒙特卡洛的潜变量模型参数推断与后验估计方法,适用于离散潜变量,并在实验中优于标准期望最大化算法。
2025-11-06 stat.CO stat.ME
A Gaussian process latent force model for joint input-state estimation in linear structural systems
University of Waterloo(滑铁卢大学);University of Notre Dame(圣母大学)
研究了基于结构模型的先验知识和实测响应的线性结构系统的状态和输入联合估计问题。提出了一种新的方法,使用高斯过程的潜在力量模型来解决这个问题,在一个随机设置。高斯过程潜在力模型(GPLFM)是将表示物理系统的微分方程与数据驱动的非参数高斯过程模型相结合的混合模型。在这项工作中,未知的输入力作用在一个结构上被建模为高斯过程与一些选择的协方差函数相结合的机械微分方程表示的结构,以构建一个GPLFM。GPLFM,然后方便地制定为一个增广的随机状态空间模型与额外的状态表示的潜在的力分量,和联合输入和状态推断的结果模型使用卡尔曼滤波器实现。GPLFM的增广状态空间模型被示出为输入增广状态空间模型类的泛化,被证明是可观察的,并且在数值稳定性方面与常规增广公式相比是鲁棒的。基于观测数据,使用最大似然优化来估计控制协方差函数的超参数,从而克服了通过试错法手动调整超参数的需要。为了评估所提出的GPLFM方法的性能,状态和输入估计的几种情况下,演示了使用数值模拟的10自由度剪切建筑物和76层ASCE基准办公楼。结果表明,所提出的方法优于传统的卡尔曼滤波器为基础的方法的性能。
2019-04-02 cs.LG stat.ML
Efficient preconditioned stochastic gradient descent for estimation in latent variable models
本文提出一种基于正定Fisher信息矩阵估计的预条件随机梯度算法,用于潜变量模型的参数估计,在温和假设下证明收敛性,并通过模拟验证其在非线性混合效应模型和随机块模型中的性能。
2023-06-22 math.ST stat.TH
Classification Accuracy and Parameter Estimation in Multilevel Contexts: A Study of Conditional Nonparametric Multilevel Latent Class Analysis
目前的研究有两个目的。首先,使用一个经验数据集来演示多站点项目评估的效用条件非参数多级潜在类分析(NP-MLCA)。其次,研究了潜在类别指标的质量、潜在类别指标的数量、水平1协变量效应、水平间协变量效应、水平2单位的数量和水平2单位的大小等六个研究因素对条件NP-MLCA分类精度和参数估计的影响。使用模拟研究检查了总共96个条件。分类准确率、跨水平协变量效应和背景效应的功效和第一类错误表明非参数多水平潜在类别模型可以广泛应用于多水平背景。
2020-10-30 stat.AP stat.ME
Minimum ϕ-divergence estimation in constrained latent class models for binary data
本文的主要目的是介绍和研究二进制项的潜在类模型中最小散度估计作为极大似然估计的替代的行为。正如下面将变得清楚的那样,最小散度估计量是极大似然估计量的自然扩展。研究了二元数据隐类模型最小散度估计的渐近性质.最后,为了比较这些新的估计量与极大似然估计量在样本量不足以应用渐近结果时的效率和稳健性,我们进行了模拟研究。
2014-05-31 stat.ME
Estimation of latent variable models for ordinal data via fully exponential Laplace approximation
有序数据的潜变量模型在不同的研究领域中是一个有用的工具,其中感兴趣的结构是不可直接观察的。在这种模型中,由于不存在解析解,可能会出现与似然函数的积分有关的问题。数值逼近,如广泛使用的高斯厄米特(GH)求积,通常用于解决这些问题。然而,GH变得不可行的潜变量的数量增加。在本文中,我们提出了一个扩展版本的拉普拉斯方法近似的积分,称为全指数拉普拉斯近似。该方法在隐变量较多的情况下也是可行的,并且比经典的Laplace方法更精确。
2011-05-09 stat.ME
Computation for Latent Variable Model Estimation: A Unified Stochastic Proximal Framework
针对含大量潜变量、混合变量类型、参数约束与惩罚的潜变量模型估计问题,本文提出统一优化表述及拟牛顿随机近端算法,并证明其理论性质与计算优势。
2021-08-09 stat.CO stat.ME
Latent variable estimation with composite Hilbert space Gaussian processes
TU Dortmund University(多特蒙德工业大学)
本研究提出基于复合希尔伯特空间高斯过程的可扩展潜变量估计模型,通过谱分解实现降秩以适配大数据,经模拟和单细胞生物学案例验证,在估计准确性、校准和速度上均有效,助力生物过程研究。
2025-10-29 stat.ME
Improved return level estimation via a weighted likelihood, latent spatial extremes model
对罕见事件(如大降雨事件的强度)的回报水平估计的不确定性使得难以制定减轻洪水等相关灾害的战略。潜在的空间极端模型通过利用极端事件统计特征的空间依赖性来跨位置借用力量,从而减少不确定性。然而,这些估计值可能由于模型错误而具有较差的特性:许多潜在的空间极值模型不考虑极值依赖性,这是极端事件本身的空间依赖性。我们提出了一个加权的可能性,使用极值系数,将信息的极值依赖在估计过程中,潜在的空间极值模型,使条件独立的假设,提高估计。这种方法与直接对空间极值依赖进行建模不同,但更简单;例如,通过拟合最大稳定过程,这对于拟合真实的大型数据集来说是具有挑战性的。我们采用了一个分层贝叶斯推理框架,使用模拟显示加权模型提供了改进的估计高分位数,并应用我们的模型,以提高回报水平的估计科罗拉多州降雨事件与1%的年重复概率。
2018-12-21 stat.AP
Particle algorithms for maximum likelihood training of latent variable models
University of Warwick(华威大学)
(Neal和Hinton,1998)将任何给定潜变量模型的极大似然估计改写为自由能泛函$F$的最小化,并将期望最大化算法改写为应用于$F$的坐标下降。在这里,我们探索优化函数的替代方法。特别是,我们确定了各种梯度流与$F$,并表明他们的限制与$F$的驻点相吻合。通过离散化的流量,我们得到了实用的基于粒子的算法极大似然估计在广泛的类别的潜变量模型。新的算法规模高维设置,并在数值实验中表现良好。
2023-02-18 cs.LG math.OC stat.CO
Bayesian Estimation of Causal Effects Using Proxies of a Latent Interference Network
Tel Aviv University(特拉维夫大学)
本文提出了一种基于代理网络的贝叶斯方法,用于估计潜在干扰网络的因果效应,通过结构因果模型和块Gibbs采样器有效探索高维后验空间。
2026-02-03 stat.AP stat.CO stat.ME
Adoption and implication of the Biased-Annotator Competence Estimation (BACE) model into COVID-19 vaccine Twitter data: Human annotation for latent message features
本文针对传统人工编码假设编码者同等准确的弱点,提出将BACE模型应用于COVID-19疫苗Twitter数据,通过贝叶斯建模考虑编码者偏倚并将真实标签视为潜在参数,以改进潜在消息特征的人工编码。
2025-04-02 stat.AP stat.CO
Latent Parameter Estimation in Fusion Networks Using Separable Likelihoods
University of Edinburgh(爱丁堡大学);Telecom-SudParis(电信南方学院)
本文提出一种更准确的可分离伪似然方法,用于在多传感器状态空间模型中估计潜在参数,并通过经验贝叶斯视角评估其在多目标和测量关联模糊情况下的有效性。
2018-01-02 cs.IT cs.MA cs.SY
Nested Dirichlet Process For Population Size Estimation From Multi-list Recapture Data
当捕获模式随时间和地点而不同时,响应模式的异质性在从多个再捕获数据估计封闭种群的大小时是重要的。在本文中,我们将Manrique-Vallier(2016)提出的多重捕获数据的非参数单层潜在类模型扩展为嵌套潜在类模型,第一层建模个体异质性,第二层建模位置-时间差异。具有相似记录模式的位置-时间组在相同的顶层潜在类中,并且每个顶层类中的个体是依赖的。嵌套潜在类模型将层次异质性纳入建模,以估计人口规模从多列表重捕获数据。这种方法导致更准确的人口规模估计和减少不确定性。我们将该方法应用于估计叙利亚冲突造成的伤亡。
2020-07-13 stat.AP stat.ME
Multidimensional Item Response Theory under General Latent Distributions
University of Michigan(密歇根大学);University of Washington(华盛顿大学)
针对多维项目反应理论中潜在分布被假定为高斯分布的限制,提出基于流的框架以捕捉非高斯潜在分布,并联合学习项目参数、潜在分布和后验近似,改善参数恢复。
2026-05-28 stat.AP stat.ME
AI-Augmented Statistical Network Estimation with Proxy Gene Embeddings
The University of Hong Kong(香港大学);Carnegie Mellon University(卡内基梅隆大学)
研究利用现代生物医学基础模型提供的代理基因嵌入改善部分观察目标网络的潜在结构恢复,提出PLANE模型,结合两种信息源,经分析得出网络嵌入权重的最优选择,模拟等验证其能提升潜在恢复等效果。
2026-07-08 stat.ME
Sample Size Estimation using a Latent Variable Model for Mixed Outcome Co-Primary, Multiple Primary and Composite Endpoints
混合结局终点结合多个连续和离散组分,形成共同主要、多个主要或复合终点,通常用作临床试验的主要结局指标。使用潜变量框架对个体结果进行联合建模有许多优点,但是为了在实践中利用模型,我们需要样本量估计技术。在本文中,我们展示了如何潜变量模型可以应用于三种类型的联合终点,并提出适当的假设,权力和样本量估计方法。我们使用一个基于MUSE试验中四维终点的数值示例来说明该技术,并发现协同主要终点所需的样本量大于效应量最小的单个终点所需的样本量。相反,多个主要终点所需的样本量从具有最大效应量的个体结局所需的样本量减少。我们表明,分析技术同意从模拟研究的经验力量。我们通过模拟研究进一步说明了在混合结局复合终点试验中可能实现的所需样本量的减少,并发现样本量主要取决于驱动响应和相关性结构的组分,而较少取决于个体终点中的处理效应结构。
2019-12-11 stat.AP stat.ME
A hierarchical latent class model for predicting disability small area counts from survey data
本文认为,估计的严重残疾人的数量使用的数据,从意大利的调查健康状况和呼吁医疗保险。残疾是使用一套分类项目间接衡量的,这些项目调查一个人完成日常工作能力的一系列功能。潜在类别模型可以用来根据与残疾有关的潜在变量的不同水平对人口进行分类。然而,调查旨在提供行政区一级(NUTS 2级)的可靠估计数,而地方当局则有兴趣量化次区域一级属于每个潜在类别的人口数量。因此,应使用小面积估计技术。本申请的挑战在于不直接观察到感兴趣的变量。采用一个完整的贝叶斯方法,我们的基础上的潜在类模型,属于每个潜在类的概率变化的协变量和年龄的影响是从使用惩罚样条的数据学习小面积估计。Deimmler-Reisch基地被证明可以提高用于模拟后验的MCMC链的速度和混合。
2012-04-18 stat.AP stat.ME
Sparse Latent Class Analysis For Dichotomous Responses: Post-Estimation Refinement via Item-level Pseudo-Likelihood
London School of Economics and Political Science(伦敦政治经济学院);RWTH Aachen University(亚琛工业大学)
本文提出一种计算高效的后估计细化方法,通过稀疏模型估计提升模型可解释性,通过项目特定响应概率的模型选择进一步减少冗余层次,从而获得更易于解释的稀疏矩阵。
2026-09-11 stat.ME
Latent Estimation of GDP, GDP per capita, and Population from Historic and Contemporary Sources
国内生产总值(GDP),人均GDP和人口的概念是政治学和经济学研究的核心。然而,越来越多的文献表明,这些概念的现有措施包含相当大的错误或基于过于简单的建模选择。我们通过创建一个动态的三维潜在特质模型来解决这些问题,该模型使用有关GDP,人均GDP和人口的观测信息来估计这些重要概念的后验预测区间。通过结合历史和当代的信息来源,我们能够将国家年单位的现有数据集的时间和空间覆盖范围扩展到公元1500年到公元2015年,并且由于该模型使用了基本概念的多个指标,我们能够估计不同国家年估计的相对精度。总的来说,我们的潜变量模型提供了一种原则性的方法,用于整合来自不同历史和当代数据源的信息。随着研究人员发现关于这些概念的新的或替代的信息来源,它可以被扩展或细化。
2017-06-04 stat.AP
Estimation of causal orders in a linear non-Gaussian acyclic model: a method robust against latent confounders
我们考虑在一个称为LiNGAM的线性非高斯非循环模型中学习变量的因果排序。几种现有的方法已被证明是一致的估计因果排序假设所有的模型假设是正确的。但是,如果实际上违背了某些假设,估计结果可能会失真。在本文中,我们提出了一个新的算法学习因果顺序,是强大的对一个典型的违反模型假设:潜在的混淆。我们证明了我们的方法使用人工数据的有效性。
2012-04-09 stat.ML
Nonparametric Latent Tree Graphical Models: Inference, Estimation, and Structure Learning
树结构图模型在表达变量间的长范围或层次依赖关系方面具有很强的能力,在计算机科学和统计学的各个领域得到了广泛的应用。然而,现有的参数估计、推理和结构学习方法主要依赖于高斯或离散假设,这在许多应用中受到限制。在本文中,我们提出了新的非参数方法的基础上再生核希尔伯特空间嵌入的分布,可以恢复潜在的树结构,估计参数,并进行推理高维连续和非高斯变量。所提出的方法的有用性说明了彻底的数值结果。
2014-01-16 stat.ML
Low-rank Characteristic Tensor Density Estimation Part II: Compression and Latent Density Estimation
University of Virginia(弗吉尼亚大学);University of Minnesota(明尼苏达大学);Amazon(亚马逊)
生成概率模型的学习是机器学习的核心问题,由于维数灾难的存在,使得生成概率模型的学习面临着巨大的挑战。本文提出了一种联合降维和非参数密度估计框架,使用一种新的估计,可以显式地捕捉潜在的分布适当的降维表示的输入数据。其思想是联合设计一个非线性降维自动编码器,根据一组简约的潜在随机变量对训练数据进行建模,并学习傅立叶域中潜在变量的联合分布的规范低秩张量模型。所提出的潜在密度模型是非参数的和通用的,而不是预定义的前,假设在变分自动编码器。联合优化的自动编码器和潜在的密度估计追求通过制定学习的负对数似然在潜在域和自动编码器重建损失的组合最小化。我们证明了该模型在玩具,表格和图像数据集上回归任务,采样和异常检测方面取得了非常有前途的结果。
2021-06-20 cs.LG stat.ML
High Dimensional Semiparametric Latent Graphical Model for Mixed Data
图形模型是对多变量随机变量建模的常用工具。虽然存在许多方便的多变量分布,如连续数据的高斯分布,但存在离散变量或连续变量和离散变量的组合的混合数据在统计建模中提出了新的挑战。本文提出了一种适用于二元和混合数据的半参数模型--潜高斯Copula模型。假设观测的二进制数据是通过对一个满足高斯copula分布或非paranormal分布的潜变量进行二分而得到的。假设隐变量为多元高斯分布的隐高斯模型是该模型的一个特例。提出了一种新的基于秩的方法,用于潜在图估计和潜在主成分分析。从理论上讲,所提出的方法实现了相同的收敛速度的精度矩阵估计和特征向量估计,如果观察到的潜在变量。在相似条件下,建立了图结构恢复和特征选择对前导特征向量的一致性。所提出的方法的性能进行数值评估,通过模拟研究,并说明了我们的方法的使用遗传数据集。
2014-04-29 stat.ML
Latent Distance Estimation for Random Geometric Graphs
Laboratoire de Math\'ematiques d'Orsay (LMO) Universit\'e Paris-Sud 91405 Orsay Cedex \
随机几何图是网络潜在点生成模型的流行选择。它们的定义是基于一个样本的$n$点$X_1,X_2,\cdots,X_n$上的欧几里德球~ $\mathbb{S}^{d-1}$,它代表了潜在的位置的节点的网络。节点之间的连接概率由在潜在点之间的距离处评估的未知函数(称为“链接”函数)确定。我们引入了一个谱估计的潜在点之间的成对距离,我们证明了它的收敛速度是相同的$\mathbb{S}^{d-1}$上的函数的非参数估计,对数因子。此外,我们提供了一个有效的谱算法来计算这个估计没有任何知识的非参数连接函数。作为副产品,我们的方法也可以一致地估计潜在空间的维度$d$。
2019-09-15 cs.LG stat.ML
Asymptotic Accuracy of Distribution-Based Estimation for Latent Variables
Tokyo Institute of Technology(东京工业大学)
层次统计模型在信息科学和数据工程中有着广泛的应用。模型由两种类型的变量组成:代表给定数据的可观察变量和不可观察标签的潜变量。模型的渐近分析在评估学习过程中起着重要的作用;分析的结果不仅适用于理论,而且适用于实际情况,如最佳模型选择和主动学习。有许多关于泛化误差的研究,泛化误差衡量可观测变量的预测精度。然而,估计的潜变量的准确性尚未阐明。为了定量评估这一点,本文制定了基于分布的函数的潜在变量的估计误差。分析了极大似然和贝叶斯方法的渐近行为。
2014-02-20 cs.LG stat.ML
Adaptive Multi-stage Density Ratio Estimation for Learning Latent Space Energy-based Model
University of Chicago(芝加哥大学);Stevens Institute of Technology(史蒂文斯理工学院)
研究了在发电机模型的隐空间中学习基于能量的模型(EBM)的基本问题。学习这种先验模型通常需要运行昂贵的马尔可夫链蒙特卡罗(MCMC)。相反,我们建议使用噪声对比估计(NCE)通过潜在先验密度和潜在后验密度之间的密度比估计来区分学习EBM。然而,NCE通常不能准确地估计这样的密度比,给定两个密度之间的大差距。为了有效地解决这个问题,并学习更具表现力的先验模型,我们开发了自适应多阶段密度比估计,将估计分解为多个阶段,并顺序自适应地学习不同阶段的密度比。潜在先验模型可以使用在前一阶段中估计的比率来逐渐学习,使得最终的潜在空间EBM先验可以由不同阶段中的比率的乘积自然形成。所提出的方法能够提供比现有基线更丰富和更清晰的先验信息,并且可以有效地训练。我们的实验表明,强大的性能,在图像生成和重建,以及异常检测。
2022-09-19 cs.CV cs.LG stat.ML
Universally Consistent Latent Position Estimation and Vertex Classification for Random Dot Product Graphs
在这项工作中,我们表明,使用特征分解的邻接矩阵,我们可以一致地估计潜在的位置随机点积图提供的潜在位置是独立同分布。从一些分布。如果类标签观察到的顶点数量趋于无穷大,那么我们表明,剩余的顶点可以进行分类,误差收敛到贝叶斯最优的$k$ -最近邻分类规则。我们根据模拟数据和来自维基百科的图表评估了所提出的方法。
2012-07-29 math.ST stat.ML stat.TH
Modal Uncertainty Estimation via Discrete Latent Representation
The Chinese University of Hong Kong(香港中文大学)
现实世界中的许多重要问题并没有独特的解决方案。因此,重要的是机器学习模型能够提出不同的合理的解决方案与有意义的概率措施。在这项工作中,我们引入了这样一个深度学习框架,它学习输入和输出之间的一对多映射,以及忠实的不确定性度量。我们称我们的框架为{ \it模态不确定性估计},因为我们对通过一组离散潜变量生成的一对多映射进行建模,每个潜变量表示解释相应类型的输入-输出关系的潜模式假设。因此,潜在表示的离散性质使我们能够非常有效地估计任何输入的输出的条件概率分布。离散潜在空间及其不确定性估计在训练期间联合学习。我们通过当前条件生成模型中的多模态后验崩溃问题来激励我们使用离散潜在空间,然后发展理论背景,并在合成和现实任务上广泛验证我们的方法。我们的框架展示了更准确的不确定性估计比目前最先进的方法,是翔实的,方便的实际使用。
2020-07-25 cs.CV cs.LG stat.ML
Speeding Up Latent Variable Gaussian Graphical Model Estimation via Nonconvex Optimizations
University of Virginia(弗吉尼亚大学);Carnegie Mellon University(卡内基梅隆大学)
研究了隐变量高斯图模型(LVGGM)的估计问题,其中精度矩阵是稀疏矩阵和低秩矩阵的叠加。为了提高稀疏和低秩分量的估计速度,提出了一种基于矩阵分解的稀疏约束极大似然估计方法和一种有效的硬阈值交替梯度下降算法,该算法比基于凸松弛的LVGGM估计方法快几个数量级.此外,我们证明了我们的算法是保证线性收敛到未知的稀疏和低秩组件的最佳统计精度。在合成数据和基因组数据上的实验证明了该算法的优越性,并证实了我们的理论。
2017-02-28 cs.LG stat.ML
Posterior Ratio Estimation of Latent Variables
University of Bristol(布里斯托大学)
密度比估计由于其比较两个数据集的底层分布的能力而引起了机器学习社区的关注。然而,在某些应用中,我们希望比较来自观测值的\emph{inferred}随机变量的分布。本文研究潜变量的两个后验概率密度函数之比的估计问题。特别是,我们假设后验比函数可以很好地近似的参数模型,然后估计使用观察到的信息和先验样本。证明了当先验样本数趋于无穷大时,估计量的相合性和估计参数的渐近正态性。最后,我们使用数值实验验证我们的理论,并通过一些实际应用证明了所提出的方法的实用性。
2020-06-25 cs.LG stat.ML
Estimation of Individual Treatment Effect in Latent Confounder Models via Adversarial Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Oxford(牛津大学);University at Buffalo(布法罗大学)
从观察数据中估计个体治疗效果(ITE)在医学上是必不可少的。估计ITE的一个核心挑战是处理混杂因素,这些因素是影响干预及其结果的因素。大多数以前的工作依赖于unconfoundedness假设,假设所有的混杂因素都在观测数据中测量。但是,如果存在不可测量的(潜在的)混杂因素,则会引入混杂偏倚。幸运的是,潜在混杂因素的噪声代理通常是可用的,并且可以用于对ITE进行无偏估计。在本文中,我们开发了一种新的对抗性学习框架,使用噪声代理对ITE进行无偏估计。
2018-11-21 cs.LG stat.ML
Boltzmann Machine Learning with the Latent Maximum Entropy Principle
University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学);University of Missouri(密苏里大学)
我们提出了一个新的统计学习范式玻尔兹曼机的基础上,我们提出了一个新的推理原则:潜在的最大熵原则(LME)。LME既不同于Jaynes最大熵原理,也不同于标准的极大似然估计。本文通过导出Boltzmann机参数估计的新算法来证明LME原理,并展示如何发展新的EM算法的鲁棒性和快速性。我们的实验表明,基于LME的估计通常比极大似然估计产生更好的结果。特别是当从少量数据推断隐藏单元时。
2012-10-19 cs.LG stat.ML
Treatment effect estimation with disentangled latent factors
University of South Australia(南澳大利亚大学)
许多研究致力于从观察数据估计治疗效果的问题;然而,大多数方法假设观察变量仅包含混杂因素,即,影响治疗和结果的变量。不幸的是,这一假设在现实世界的应用中经常被违反,因为一些变量只影响治疗而不影响结果,反之亦然。此外,在许多情况下,只能观察到潜在混杂因素的代理变量。在这项工作中,我们首先表明区分混杂因素与工具和风险因素对于平均和条件平均治疗效果估计的重要性,然后我们提出了一种变分推理方法,同时从观察变量中推断潜在因素,将因素分解为三个不相交的集合,分别对应于工具,混杂和风险因素,并将解缠后的因子用于治疗效果评估。实验结果表明,该方法的有效性在广泛的合成,基准和真实世界的数据集。
2021-04-26 cs.LG stat.ML
Disentangling Learning Representations with Density Estimation
Duke University(杜克大学);Oak Ridge National Laboratory(橡树岭国家实验室)
解纠缠学习表示在许多应用中具有很好的实用性,但它们目前存在严重的可靠性问题。我们提出了高斯信道自动编码器(GCAE),通过灵活的密度估计的潜在空间,实现可靠的解纠缠的方法。GCAE通过将其潜在空间的子集与双总相关(DTC)度量分离,从而将其高维潜在联合分布表示为许多低维条件分布的集合,从而避免了密度估计的维数灾难。在我们的实验中,与最先进的基线相比,GCAE实现了高度竞争力和可靠的解缠分数。
2023-02-08 cs.LG stat.ML
Solving Non-identifiable Latent Feature Models
NEC Data Science Research Laboratories(NEC数据科学研究实验室)
潜在特征模型(LFM)被广泛用于提取数据的潜在结构。虽然提供了高,参数估计是困难的LFM,因为潜在的功能的组合性质,和不可识别性是一个特别困难的问题时,参数估计是不唯一的,存在等效的解决方案。本文给出了不可识别性的一个充分必要条件。该条件与特征的依赖性显著相关,这意味着不可识别性可能经常发生在现实世界的应用中。提出了一种新的参数估计方法,解决了不可识别性问题。该方法可以作为一个后处理与现有的方法相结合,可以找到一个适当的解决方案,通过有效地跳跃通过等效的解决方案。我们已经评估了该方法在合成和真实世界数据集上的有效性。
2018-09-26 cs.LG stat.ML
Network Causal Effect Estimation In Graphical Models Of Contagion And Latent Confounding
Williams College(威廉姆斯学院)
研究网络中传染与潜在混淆的区分问题,基于隔离图表示推导似然比检验识别依赖机制,并提出在完全干扰场景下提供无偏一致估计的网络因果效应估计策略。
2025-03-05 cs.LG stat.ML
Improving the Noise Estimation of Latent Neural Stochastic Differential Equations
Institute for Computing and Information Sciences, Radboud University, Nijmegen, the Netherlands(计算与信息科学研究所,拉德堡德大学,尼美根,荷兰);Earth System Modelling, School of Engineering and Design, TU Munich, Germany(地球系统建模,工程与设计学院,慕尼黑技术大学,德国);Computational Network Science, Dept of Computer Science, RWTH Aachen University, Germany(计算网络科学,计算机科学系,亚琛工业大学,德国)
针对潜空间神经 SDE 系统性低估随机时间序列噪声的问题,本文在损失函数中引入显式额外噪声正则化,使其准确学习扩散分量,并在随机双稳态概念模型上验证了改进效果。
2025-06-10 cs.LG stat.ML
Transfer learning under latent space model
School of Economics, Xiamen University(厦门大学经济学院);Center of Applied Statistics and School of Statistics, Renmin University of China(中国人民大学统计学院与应用统计研究中心)
本文提出潜在空间模型下的迁移学习方法,通过两阶段算法利用相似源网络提升目标网络潜在变量估计精度,并给出理论性质与实证验证。
2025-09-19 stat.ME stat.ML
Meta-learning for Out-of-Distribution Detection via Density Estimation in Latent Space
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Computer and Data Science Laboratories(NTT计算机与数据科学实验室)
已经提出了许多基于神经网络的分布外(OoD)检测方法。然而,它们需要为每个目标任务提供许多训练数据。我们提出了一种简单而有效的元学习方法来检测目标任务中具有小分布数据的OoD。该方法通过潜在空间中的密度估计实现OoD检测。所有任务之间共享的神经网络用于灵活地将原始空间中的实例映射到潜在空间。对神经网络进行元学习,使得通过使用与目标任务不同的各种任务来提高预期的OoD检测性能。这种元学习过程使我们能够在潜在空间中获得适当的表示,用于OoD检测。对于密度估计,我们使用一个高斯混合模型(GMM)与全协方差的每一类。我们可以通过最大化可能性来使GMM参数以封闭形式适应每个任务中的分布数据。由于封闭形式的解决方案是可微的,我们可以元学习的神经网络有效地与随机梯度下降方法,通过将解决方案纳入元学习目标函数。在使用六个数据集的实验中,我们证明了所提出的方法比现有的元学习和OoD检测方法具有更好的性能。
2022-06-20 cs.AI cs.LG stat.ML
Supervised learning of a regression model based on latent process. Application to the estimation of fuel cell life time
INRETS(法国国家交通与安全研究所);Université Paris 12(巴黎第十二大学);Université de Franche-Comté(弗朗什-孔泰大学);FCLAB(燃料电池实验室)
本文介绍了一种模式识别方法,旨在估计燃料电池的持续时间从电化学阻抗谱测量。它包括首先从阻抗谱的实部和虚部提取特征。一个参数模型被认为是在实部的情况下,而在后一种情况下使用的回归模型与潜变量。然后,使用提取的特征的不同子集的线性回归模型用于燃料电池持续时间的估计。实验数据集上的性能评估所提出的方法,以证明其可行性。这可能会导致燃料电池的预测性维护政策的有趣的前景。
2013-12-25 cs.LG stat.AP stat.ML
Model-free Estimation of Latent Structure via Multiscale Nonparametric Maximum Likelihood
针对多元分布中潜结构难以识别估计的问题,提出无模型多尺度非参数最大似然方法,通过构建密度多尺度表示、数据驱动选模型及刻画渐近极限,设计有效聚类算法捕捉多种潜结构。
2025-04-15 math.ST stat.ME stat.ML
Disentangled Graph Autoencoder for Treatment Effect Estimation
School of Mathematical Sciences, Zhejiang University(浙江大学数学科学学院);Petrochina Engineering and Planning Institute(中国石油工程规划研究院)
针对网络化观测数据中潜在因素被混淆的问题,提出解耦变分图自编码器,将潜在变量分离为工具、混杂、调整和噪声因素并强制独立,提升处理效应估计性能。
2025-02-20 cs.AI cs.LG stat.ML