A probabilistic latent variable model for detecting structure in binary data
University of California Berkeley(加州大学伯克利分校);Duke University School of Medicine(杜克大学医学院);Beth Israel Deaconess Medical Center(贝斯以色列女执事医疗中心);Harvard Medical School(哈佛医学院);Intel Labs(英特尔实验室)
我们引入了一种新的概率二进制潜变量模型来检测稀疏二进制数据中的模式的噪声或近似重复。该模型是基于“噪音或模型”(Heckerman,1990年),以前用于疾病和主题建模。该模型的能力是通过从视网膜神经元记录中提取结构来证明的,但它可以广泛应用于发现和建模噪声二进制数据中的潜在结构。在尖峰神经数据的上下文中,任务是根据神经元组(“细胞集合体”(CA))“解释”单个神经元的尖峰,由于相互作用或其他原因,这些神经元组经常一起激发。该模型在一组二进制潜在变量中推断稀疏活动,每个潜在变量描述细胞组装的活动。当细胞集合的潜变量是活跃的时,它降低了属于该集合的神经元不活跃的概率。潜在成分的条件概率核是从期望最大化方案中的数据中学习的,涉及对潜在状态的推断和对模型的参数调整。我们彻底验证了模型的合成尖峰列车构建统计学上类似记录的视网膜反应的白噪声刺激和自然电影刺激的数据。我们还将我们的模型应用于视网膜神经节细胞(RGC)在电影刺激过程中记录的尖峰响应,并讨论了发现的结构。
2022-01-26 cs.LG q-bio.NC stat.ML
Probabilistic Digital Twin for Misspecified Structural Dynamical Systems via Latent Force Modeling and Bayesian Neural Networks
Department of Applied Mechanics, Indian Institute of Technology Delhi(印度理工学院德里分校应用力学系)
本文提出一种基于潜在力建模和贝叶斯神经网络的概率数字孪生框架,用于误指定结构动力学系统的响应预测,通过联合估计模型误差和系统状态以提升预测准确性与鲁棒性。
2025-11-27 cs.LG stat.AP stat.ML
Probabilistic Contrastive Learning Recovers the Correct Aleatoric Uncertainty of Ambiguous Inputs
University of Tübingen(图宾根大学);TUM University(慕尼黑工业大学);Tübingen AI Center(图宾根人工智能中心)
针对模糊输入导致潜变量后验具有异方差不确定性的问题,扩展InfoNCE目标预测潜变量分布,证明其能恢复正确后验及偶然不确定性,并提供校准的不确定性估计与图像检索可信区间。
2023-05-17 cs.AI cs.LG stat.ML
Probabilistic Geometric Alignment via Bayesian Latent Transport for Domain-Adaptive Foundation Models
School of Information, Computer;Communication Technology Sirindhorn International Institute of Technology, Thammasat University Pathumthani, Thailand 0009-0006-4313-7359;epartment of Architecture, Faculty of Architecture Khon Kaen University Khon Kaen, Thailand
本文提出一种概率潜在传输框架,通过在表示空间中将领域适应建模为随机几何对齐问题,解决领域自适应中的潜在分布不匹配、优化动态不稳定和不确定性传播校准问题。
2026-03-26 cs.AI cs.LG math.OC
Bayesian Manifold Learning: The Locally Linear Latent Variable Model (LL-LVM)
我们介绍了局部线性潜变量模型(LL-LVM),非线性流形发现的概率模型,描述了一个联合分布的观察,他们的流形坐标和局部线性映射条件下的一组邻域关系。该模型允许直接变分优化的后验分布的坐标和局部线性映射从潜在空间的观察空间给定的数据。因此,LL-LVM封装了作为非概率方法(如局部线性嵌入(LLE))基础的局部几何保持直觉。它的概率语义使得它很容易评估的质量假设的邻域关系,选择流形的内在维度,构建样本外的扩展,并结合流形模型与额外的概率模型,捕捉结构的坐标在流形内。
2015-12-01 stat.ML
Metrics for Probabilistic Geometries
Sheffield Institute for Translational Neuroscience(谢菲尔德转化神经科学研究所)
我们使用黎曼几何的工具研究概率生成降维模型的几何结构。我们明确定义了一个分布在自然度量模型。我们提供了必要的算法来计算预期的度量张量的分布在映射是由一个高斯过程。我们将相应的隐变量模型视为一个黎曼流形,并利用度量在高斯过程下的期望来定义插值路径和测量隐点之间的距离。我们展示了如何尊重预期的度量距离导致更适当的新数据的生成。
2014-11-27 cs.LG stat.ML
A Latent Variable Model for Two-Dimensional Canonical Correlation Analysis and its Variational Inference
Isfahan University of Technology(伊斯法罕理工大学)
通过概率模型描述降维(DR)技术最近得到了特别的关注。概率模型,除了一个更好的可解释性的DR方法,提供了一个框架,这样的算法的进一步扩展。概率DR方法的新途径之一是保持数据的内部结构。这意味着在降维过程中,不需要首先将数据从矩阵或张量格式转换为向量格式。本文提出了一种用于典型相关分析(CCA)的矩阵变量数据的潜变量模型。由于在一般情况下,没有任何分析的最大似然解决方案,这个模型,我们提出了两种方法来学习的参数。使用合成数据的收敛性和映射的质量方面所提出的方法进行评估。此外,真实的数据集被用来评估所提出的方法与几个概率和非概率CCA为基础的方法。结果证实了所提出的方法相对于竞争算法的优越性。此外,该模型可以被认为是进一步扩展的框架。
2017-08-04 cs.CV cs.LG stat.ML
Unifying Linear-Time Attention via Latent Probabilistic Modelling
University College London, AI Centre(伦敦大学学院,人工智能中心);UiPath
本文通过潜在概率建模统一线性时间注意力,提出定向参数化方法以解决方向性问题,并在语言建模中取得优于现有方法的性能。
2025-12-02 cs.CL stat.ML
A Generative Model for Natural Sounds Based on Latent Force Modelling
Queen Mary University of London(伦敦玛丽女王大学)
自然声音的子带振幅包络分析的最新进展已经导致令人信服的合成,显示子带振幅是感知的重要组成部分。概率潜变量分析特别具有启发性,但现有的方法不包含有关振幅包络的物理行为的先验知识,例如指数衰减和反馈。我们使用潜在的力量建模,概率学习范式,将物理知识纳入高斯过程回归,跨频谱子带包络模型的相关性。我们通过明确地对多个时间步长的相关性进行建模来增强标准的潜在力模型方法。对这种先验知识的阐述加强了对潜在函数作为产生信号的源的解释。我们通过一个实验来研究这种解释,该实验表明,从我们的概率模型中采样产生的声音被认为比基于非负矩阵分解的类似模型产生的声音更真实,即使在我们的模型从重建误差的角度来看表现出色的情况下。
2019-03-27 cs.LG cs.SD eess.AS
Asymmetric latent semantic indexing for gene expression experiments visualization
我们提出了一种新的方法来可视化基因表达实验的启发,潜在的语义索引,技术最初提出的文本分析上下文中。通过使用对应词-基因文档-实验,我们定义了一个非对称的相似性度量的关联基因,占潜在的层次结构的数据,关键是获得有意义的基因映射。我们使用极分解,以获得的相似性矩阵的不对称性的来源,这是后来结合以前的知识。基因的遗传类的基因识别的混合模型应用于基因的潜在空间。我们描述了该过程的步骤,并展示了其在人类癌症数据集中的实用性。
2015-04-07 stat.AP
A Tutorial on Probabilistic Latent Semantic Analysis
Lehigh University(理海大学)
在本教程中,我将详细讨论概率潜在语义分析(PLSA)是如何形式化的,以及如何提出不同的学习算法来学习模型。
2012-12-21 cs.LG stat.ML
Improving Cross-domain Recommendation through Probabilistic Cluster-level Latent Factor Model--Extended Version
Beijing University of Posts and Telecommunications(北京邮电大学)
跨领域推荐通过将多个领域的评分数据集中在一起来传递用户行为模式,以缓解单一评分领域中出现的稀疏性问题。然而,以前的模型只假设多个领域共享一个潜在的共同评级模式的基础上的用户项目的共同聚类。为了捕捉不同领域之间的差异,我们提出了一种新的概率统计等级潜在因子(PCLF)模型,以提高跨域推荐性能。在多个真实数据集上的实验表明,我们提出的模型在跨域推荐任务中的性能优于现有的方法。
2014-09-24 cs.IR cs.LG stat.ML
Variational Inference for Deep Probabilistic Canonical Correlation Analysis
University of Alberta(阿尔伯塔大学)
在本文中,我们提出了一种深度概率多视图模型,该模型由基于潜在空间中的概率典型相关分析(CCA)描述的线性多视图层以及作为观察模型的深度生成网络组成。该网络的目的是将所有视图的变化分解成一个共享的潜在表示和一组视图特定的组件,其中共享的潜在表示旨在描述视图之间的变化的共同的潜在来源。一个有效的变分推理过程的开发,近似的后验分布的潜在概率多视图层,同时考虑到概率CCA的解决方案。还提出了一个推广到任意数量的视图模型。实验结果表明,所提出的深度生成式多视图模型能够有效地整合多视图间的关系,降低学习难度,并将深度变分推理成功地扩展到多视图学习中。
2020-03-09 cs.LG stat.ML
Unsupervised representation learning with recognition-parametrised probabilistic models
University College London(伦敦大学学院);Gatsby Computational Neuroscience Unit(盖茨比计算神经科学中心)
本文提出识别参数化模型RPM,通过结合参数化先验、条件潜在分布与非参数边缘分布实现无监督表示学习,并在图像分类、LDA及RP-GPFA时空数据任务中验证其有效性。
2023-04-20 cs.LG stat.ML
Probabilistic QoS Metric Forecasting in Delay-Tolerant Networks Using Conditional Diffusion Models on Latent Dynamics
School of Computer Science Nanjing University of Posts(南京邮电大学计算机科学学院)
本文提出利用条件扩散模型结合潜在时间动态,对延迟容忍网络中的QoS指标进行概率预测,以量化不确定性并优于传统方法。
2025-10-15 cs.LG stat.ML
Enhancing Domain Word Embedding via Latent Semantic Imputation
New Jersey Institute of Technology(新泽西理工学院);Stony Brook University(石溪大学)
本文提出了一种新的方法潜在语义填补(LSI),将外部知识转移到语义空间,以增强词嵌入。该方法结合图论来提取实体在亲和空间中的潜在流形结构,并利用标准单纯形约束的非负最小二乘和幂迭代方法来获得谱嵌入。它提供了一个有效的和高效的方法来组合实体表示定义在不同的欧几里德空间。具体来说,我们的方法生成并估算可靠的嵌入向量的低频词在语义空间和利益的下游语言任务,依赖于词嵌入。我们进行了全面的实验,精心设计的分类问题和语言建模,并证明了通过LSI的增强嵌入的优越性超过几个著名的基准嵌入。我们还证实了我们的方法在不同参数设置下的结果的一致性。
2019-05-21 cs.IR cs.LG stat.ML
Probabilistic Decomposed Linear Dynamical Systems for Robust Discovery of Latent Neural Dynamics
Georgia Institute of Technology(佐治亚理工学院);Emory University(埃默里大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对现有神经信号潜变量估计方法抗噪声与非线性能力弱的问题,提出概率分解线性动力系统方法及扩展模型,在合成与真实临床数据中实现更准确鲁棒的可解释潜变量推断。
2024-10-28 cs.LG stat.ML
Learning Probabilistic Models from Generator Latent Spaces with Hat EBM
OPPO US Research Center(OPPO美国研究中心);Salesforce Research(赛富时研究院);University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
这项工作提出了一种方法,使用任何发电机网络的基础上的能量为基础的模型(EBM)。我们的公式假定观察到的图像是通过生成器网络的未观察到的潜变量和跨越生成器输出和图像流形之间的间隙的剩余随机变量的总和。然后可以定义一个EBM,它将生成器作为其前向传递的一部分,我们称之为帽子EBM。该模型可以在不推断观测数据的潜变量或计算生成雅可比行列式的情况下进行训练。这使得任何类型的发电机网络的输出分布的显式概率建模成为可能。实验表明,所提出的方法在以下方面表现出色:(1)以128x128分辨率进行无条件ImageNet合成,(2)改进现有生成器的输出,以及(3)学习包含非概率生成器的EBM。可在https://github.com/point0bar1/hat-ebm上获得代码和预训练模型,以重现我们的结果。
2023-01-13 cs.CV cs.LG stat.ML
Probabilistic Autoencoder
Berkeley Center for Cosmological Physics(伯克利宇宙物理中心);University of California(加利福尼亚大学);Lawrence Berkeley National Laboratory(劳伦斯伯克利国家实验室)
主成分分析(PCA)最小化给定的一类线性模型的固定分量维数的重建误差。概率PCA通过学习PCA潜在空间权重的概率分布来添加概率结构,从而创建生成模型。自编码器(AE)在一类固定潜在空间维数的非线性模型中最小化重建误差,并在固定维数下优于PCA。在这里,我们介绍了概率自动编码器(PAE),它使用归一化流(NF)学习AE潜在空间权重的概率分布。PAE快速且易于训练,并且在下游任务中实现小的重建误差、高样本质量和良好的性能。我们比较PAE变分AE(VAE),表明PAE训练速度更快,达到较低的重建误差,并产生良好的样本质量,而不需要特殊的调整参数或训练过程。我们进一步证明了PAE是一个强大的模型,用于在修复和去噪应用的逆问题的贝叶斯推理的背景下执行概率图像重建的下游任务。最后,我们确定潜在的空间密度从NF作为一个有前途的离群值检测度量。
2022-09-19 cs.LG stat.ML
Temporal Latent Auto-Encoder: A Method for Probabilistic Multivariate Time Series Forecasting
IBM Research(IBM研究院)
高维多变量时间序列的概率预测是一个众所周知的具有挑战性的任务,无论是在计算负担和分布建模。大多数以前的工作要么做简单的分布假设或放弃建模交叉系列的相关性。一个有前途的工作线利用可扩展矩阵分解进行潜在空间预测,但仅限于线性嵌入,无法建模分布,并且在使用深度学习预测时无法进行端到端的训练。我们介绍了一种新的时间潜在自动编码器方法,该方法能够对多变量时间序列进行非线性因式分解,并使用时间深度学习潜在空间预测模型进行端到端学习。通过施加概率潜在空间模型,输入序列的复杂分布通过解码器建模。大量的实验表明,我们的模型在许多流行的多变量数据集上实现了最先进的性能,对于几个标准指标,增益有时高达$50\%$。
2021-01-25 cs.AI cs.LG cs.NE
Probabilistic Latent Tensor Factorization Model for Link Pattern Prediction in Multi-relational Networks
LIP6 - UPMC(LIP6实验室 - 皮埃尔和玛丽·居里大学)
本文针对多个关系类型连接的对象集合中的链接模式预测问题,其中每种类型都可能扮演不同的角色。虽然常见的链接分析模型仅限于单一类型的链接预测,我们试图在这里捕捉不同的关系类型之间的相关性,并揭示各种关系类型对性能质量的影响。为此,我们将对象对之间的整体关系定义为\textit{link pattern},它由网络中的交互模式和连接结构组成,然后使用张量形式化来联合建模和预测链接模式,我们称之为\textit{Link Pattern Prediction}(LPP)问题。为了解决这个问题,我们提出了一个概率潜在张量分解(PLTF)模型,通过引入另一个潜在的因素,多个关系类型,并提供层次贝叶斯处理所提出的概率模型,以避免过拟合解决LPP问题。为了学习所提出的模型,我们开发了一个有效的马尔可夫链蒙特卡罗抽样方法。在几个真实世界的数据集上进行了大量的实验,并证明了对现有的几种最先进的方法的显着改进。
2012-04-11 cs.LG cs.SI stat.ML
Adaptive probabilistic principal component analysis
Aston University(阿斯顿大学);Radboud University(拉德堡德大学);Massachussetts Institute of Technology(麻省理工学院)
使用线性高斯隐变量模型作为出发点,我们放松了一些约束,它所施加的非参数隐特征高斯变量模型。该模型将额外的离散潜变量引入到原始结构中。这种新模型的贝叶斯非参数性质使其能够随着观察到更多数据而适应复杂性,并将每个数据点投影到不同数量的子空间上。连续潜在变量和观测变量之间的线性关系使得所提出的模型易于解释,类似于局部自适应概率PCA(A-PPCA)。我们提出了两种替代的吉布斯抽样程序的推断在新的模型和被动健康监测传感器数据证明其适用性。
2019-05-27 cs.LG stat.AP stat.ML
A Unified Probabilistic Model for Learning Latent Factors and Their Connectivities from High-Dimensional Data
University College London(伦敦大学学院);University of Helsinki(赫尔辛基大学)
在高维数据的背景下,连通性估计是具有挑战性的。一个有用的预处理步骤是将变量分组到聚类中,然而,从连通性估计的角度来看,如何做到这一点并不总是很清楚。另一个实际挑战是,我们可能有来自多个相关类的数据(例如,多个科目或条件)并且希望结合对跨类的相似性的约束。我们提出了一种概率模型,它同时执行一组变量(即,检测社区结构)和估计对应于潜在变量的组之间的连接性。该模型本质上是一个因子分析模型,其中允许因子具有任意的相关性,而因子负荷矩阵被限制为表达社区结构。该模型可以应用于多个类,使得类之间的连接性可以不同,而社区结构对于所有类都是相同的。提出了一种基于分数匹配的有效估计算法,并证明了模型的可辨识性。最后,我们提出了一个扩展到有向(因果)连接的潜变量。对fMRI数据的仿真和实验验证了该方法的实用性。
2018-05-24 cs.LG stat.ML
Group Fairness by Probabilistic Modeling with Latent Fair Decisions
University of California, Los Angeles(加州大学洛杉矶分校)
机器学习系统越来越多地用于做出有影响力的决策,例如贷款申请和刑事司法风险评估,因此,确保这些系统的公平性至关重要。这通常具有挑战性,因为数据中的标签是有偏见的。本文研究了通过显式建模一个代表隐藏的无偏标签的潜在变量来从有偏数据中学习公平的概率分布。特别是,我们的目标是通过在学习模型中强制执行某些独立性来实现人口均等。我们还表明,只有当用于提供这些保证的分布确实捕获了真实世界的数据时,组公平性保证才有意义。为了密切的数据分布模型,我们采用概率电路,一个富有表现力和易处理的概率模型,并提出了一个算法来学习他们从不完整的数据。我们在一个合成数据集上评估了我们的方法,在这个数据集上观察到的标签确实来自公平标签,但有额外的偏见,并证明了公平标签被成功检索。此外,我们在现实世界的数据集上表明,我们的方法不仅是一个比现有的数据生成方法更好的模型,而且还达到了有竞争力的准确性。
2020-12-17 cs.AI cs.LG stat.ML
SLP-ProbHard: Probabilistic Hard-Constrained Learning via Structural Latent Parameterization
University of Parma(帕尔马大学);University School for Advanced Studies IUSS Pavia(帕维亚高等研究院)
SLP-ProbHard提出结构可行潜在参数化框架,通过潜在分布与可行映射直接生成满足硬约束的预测分布,在仿射和非线性约束下减少随机坐标并提升MSE/MAE,表明精确可行性不唯一决定预测分布。
2026-09-29 cs.LG stat.ML
Probabilistic Semantic Inpainting with Pixel Constrained CNNs
Schlumberger Software Technology Innovation Center(斯伦贝谢软件技术创新中心)
语义修复是在给定周围像素和高级图像语义的情况下推断图像中丢失像素的任务。大多数语义修复算法都是确定性的:给定一个缺失区域的图像,生成一个单一的修复图像。然而,对于一个给定的缺失区域,通常有几个合理的修复。在本文中,我们提出了一种方法,通过建立一个基于PixelCNN的模型来执行概率语义修复,该模型学习以可见像素子集为条件的图像分布。MNIST和CelebA数据集上的实验表明,我们的方法产生多样和逼真的修复。
2019-02-23 cs.CV cs.LG stat.ML
From Classical Probabilistic Latent Variable Models to Modern Generative AI: A Unified Perspective
School of Computing and Engineering University of Huddersfield(计算与工程学院赫德斯菲尔德大学)
本文以概率潜变量模型为统一框架,梳理从经典模型到变分自编码器、扩散模型等现代生成式AI的演进脉络,揭示共享原理与推断策略差异,为生成式AI提供理论路线图。
2025-08-18 cs.AI cs.LG
Probabilistic Digital Twins of Users: Latent Representation Learning with Statistically Validated Semantics
Department of Applied Mathematics, Columbia University(应用数学系,哥伦比亚大学)
本文提出了一种概率数字孪生框架,通过变分自编码器学习用户潜在表示,结合统计验证方法解释潜在维度,展示可解释且具有不确定性的用户表示。
2025-12-19 cs.LG cs.SI
Scaling Up Probabilistic Circuits by Latent Variable Distillation
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对概率电路(PCs)参数增多后性能易达平台期、现有优化器难以发挥其表达能力的问题,提出潜变量蒸馏方法,从Transformer生成模型提取信息指导PCs优化,在多个基准上提升了大型PCs性能,甚至媲美主流深度生成模型。
2024-12-11 cs.AI cs.LG
Maximum Likelihood Learning of Latent Dynamics Without Reconstruction
UCL(伦敦大学学院)
提出识别参数化高斯状态空间模型(RP-GSSM),通过最大似然学习马尔可夫高斯潜变量,无需重构网络,结合精确推断与非线性表达力,在视频动力学学习等任务中优于现有方法。
2025-05-29 cs.LG stat.ML
Disentangled Latent Spaces for Reduced Order Models using Deterministic Autoencoders
Institute for Fluid Dynamics and Ship Theory, Hamburg University of Technology(汉堡工业大学流体动力学与船舶理论研究所);Institute of Mathematics, Hamburg University of Technology(汉堡工业大学数学研究所)
针对自编码器降阶模型可解释性不足的问题,提出两种非概率确定性自编码器解耦方法,在基准数据集上取得与β-VAE相当的效果,且超参数鲁棒性更强,还可识别活跃潜变量,并验证了其在飞机着水载荷降维中的工业应用价值。
2025-02-20 cs.LG
Probabilistic Embeddings for Frozen Vision-Language Models: Uncertainty Quantification with Gaussian Process Latent Variable Models
Computer Vision Group, Friedrich Schiller University Jena(计算机视觉组,费迪里奇·施勒尔大学耶纳)
本文提出GroVE,一种基于高斯过程潜变量模型的事后方法,从冻结的视觉-语言模型中学习不确定性感知的概率嵌入,在跨模态检索、视觉问答和主动学习等任务上实现了最先进的不确定性校准。
2025-07-04 cs.CV cs.LG
Latent Space Score-based Diffusion Model for Probabilistic Multivariate Time Series Imputation
Halmstad University(哈尔姆斯塔德大学);Lund University(隆德大学)
针对现有扩散模型忽略低维潜分布、难处理无标签缺失数据的问题,提出LSSDM模型,通过无监督潜空间粗重建结合条件扩散精插补,实现更优的多元时间序列概率插补及不确定性分析。
2024-09-13 cs.AI cs.LG stat.ML
Approximate Probabilistic Inference for Time-Series Data A Robust Latent Gaussian Model With Temporal Awareness
Karlstad University(卡尔斯塔德大学)
针对传统模型在非平稳时间序列预测中泛化差的问题,提出具有时间感知与鲁棒性的概率生成模型tDLGM,通过负对数损失和考虑数据趋势的正则化器优化,有效重建复杂时间序列并抵御噪声。
2024-11-15 cs.LG
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University(哈佛大学);Boston University(波士顿大学)
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题,提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法,可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
Anomaly Detection in Video Data Based on Probabilistic Latent Space Models
University of Genova(热那亚大学);University Carlos III de Madrid(马德里卡洛斯三世大学)
提出了一种视频数据异常检测方法。变分自编码器(VAE)用于降低视频帧的维度,生成与低维传感数据(例如,定位、转向角度),使得为自动驾驶车辆开发一致的多模式架构成为可能。一个自适应马尔可夫跳粒子滤波定义的离散和连续的推理水平被用来预测后续帧和检测新的视频序列中的异常。我们的方法在不同的视频场景中进行评估,其中半自动驾驶车辆在封闭环境中执行一组任务。
2020-03-17 cs.CV cs.LG
Continuous Mixtures of Tractable Probabilistic Models
Eindhoven University of Technology(埃因霍温理工大学);Graz University of Technology(格拉茨技术大学)
本文提出将连续潜空间模型与可处理概率模型混合,利用数值积分将连续混合编译为概率电路,在密度估计基准上达到新的最先进水平。
2023-03-24 cs.AI cs.LG stat.ML
Video Probabilistic Diffusion Models in Projected Latent Space
KAIST(韩国科学技术院);Google Research(谷歌研究院)
尽管在深度生成模型方面取得了显着进展,但由于其高维性和复杂的时间动态以及大的空间变化,合成高分辨率和时间相干的视频仍然是一个挑战。最近的工作扩散模型已经显示出他们的潜力,以解决这一挑战,但他们遭受严重的计算和内存效率低下,限制了可扩展性。为了解决这个问题,我们提出了一种新的生成模型的视频,创造投影潜在视频扩散模型(PVDM),概率扩散模型,学习视频分布在一个低维的潜在空间,从而可以有效地训练与高分辨率的视频在有限的资源。具体来说,PVDM由两个组件组成:(a)一个自动编码器,它将给定的视频投影为2D形状的潜在向量,这些潜在向量对视频像素的复杂立方结构进行因式分解;以及(b)一个扩散模型架构,专门用于我们新的因式分解潜在空间和训练/采样过程,以便用单个模型合成任意长度的视频。在流行的视频生成数据集上的实验证明了PVDM与以前的视频合成方法相比的优越性;例如,PVDM在UCF-101长视频(128帧)生成基准上获得639.7的FVD分数,这提高了现有技术的1773.4。
2023-03-30 cs.CV cs.LG
Constructing Semantics-Aware Adversarial Examples with a Probabilistic Perspective
University of Cambridge(剑桥大学);University College London(伦敦大学学院)
本文提出一种概率视角下的语义感知对抗样本生成方法,在保持图像整体语义的同时进行大规模像素修改,从而在难以被人类察觉的情况下更有效地绕过对抗防御机制。
2024-11-24 cs.CR cs.LG stat.ML
I Know What I Don't Know: Latent Posterior Factor Models for Multi-Evidence Probabilistic Reasoning
Epalea
本文提出LPF模型,通过将变分自编码器的潜在后验转换为软似然因子,实现对无结构证据的可 tractable 概率推理,同时保持校准的不确定性估计。
2026-03-18 cs.AI cs.LG
Semantic uncertainty intervals for disentangled latent spaces
MIT(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);Technion—Israel Institute of Technology(以色列理工学院)
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此,最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息,但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中,我们提供了原则性的不确定性区间,保证包含任何底层生成模型的真实语义因素。该方法执行以下操作:(1)它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间(2)校准这些不确定性,使得它们包含新的、看不见的输入的潜在的真实值。然后,这些校准间隔的端点可以通过生成器传播,以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
Multi-Object Classification and Unsupervised Scene Understanding Using Deep Learning Features and Latent Tree Probabilistic Models
University of California, Irvine(加州大学欧文分校)
深度学习已经在ImageNet等数据集上显示出最先进的分类性能,这些数据集在每个图像中包含一个对象。然而,多目标分类更具挑战性。我们提出了一个统一的框架,利用多种机器学习方法的优势,即深度学习,概率模型和内核方法,以获得最先进的性能在Microsoft COCO上,由非图标图像。我们通过条件潜在树概率模型(CLTM)将上下文信息纳入自然图像中,其中对象同现以从预训练的Imagenet CNN中提取的fc 7特征为条件作为输入。我们学习的CLTM树结构使用条件成对概率的对象同现,通过内核方法估计,我们学习它的节点和边缘的潜力,通过训练一个新的3层神经网络,它需要FC 7功能作为输入。对象分类是通过对学习条件树模型的推理进行的,我们在MS-COCO上获得了显着的精度-召回率和F-措施,特别是对于困难的对象类别。此外,CLTM中的潜变量捕获场景信息:具有潜在节点的顶部激活的图像具有共同的主题,例如草原或食物场景等。此外,我们表明,仅对推断的潜在节点进行简单的k均值聚类显着提高了MIT-Indoor数据集上的场景分类性能,而无需任何重新训练,并且在训练期间不使用场景标签。因此,我们提出了一个统一的框架,多目标分类和无监督场景理解。
2015-05-02 cs.CV cs.LG
Semantics of higher-order probabilistic programs with conditioning
University College London(伦敦大学学院);Cornell University(康奈尔大学)
我们提出了一个指称语义高阶概率规划的线性算子之间的Banach空间。我们的语义是植根于经典理论的Banach空间及其张量积,但承担的相似之处与著名的斯科特语义的高阶程序通过使用有序的Banach空间,允许定义的不动点。基于一个monoidal而不是carnival封闭结构,我们的语义有效地把随机性作为一种资源。
2019-02-28 cs.LG cs.LO cs.PL
Scaling Continuous Latent Variable Models as Probabilistic Integral Circuits
Eindhoven University of Technology(埃因霍温理工大学);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文针对概率积分电路仅支持树形结构且数值求积训练内存开销大的问题,提出基于任意变量分解的DAG构建流程、张量化训练方法及神经功能共享技术,实验证明QPC优于传统概率电路。
2025-02-05 cs.AI cs.LG
Probabilistic Zero-shot Classification with Semantic Rankings
The Ohio State University(俄亥俄州立大学)
在本文中,我们提出了一个非度量排名为基础的表示语义相似性,允许自然聚合的语义信息从多个异构源。我们将基于排名的表示应用于零样本学习问题,并提出了确定性和概率性的zero-shot分类器,可以从预先训练的分类器中构建,而无需重新训练。我们在两个大型的真实世界图像数据集上展示了它们的优势。特别是,我们表明,聚合不同来源的语义信息,包括众包,导致更准确的分类。
2015-02-27 cs.AI cs.CV cs.LG
Transferable Reinforcement Learning via Probabilistic Latent Embeddings and Dynamic Policy Adaptation for Sim-to-Real Deployment
Lyles School of Civil and Construction Engineering, Purdue University, West Lafayette, USA(普渡大学土木与建设工程学院);Elmore Family School of Electrical and Computer Engineering, Purdue University, West Lafayette, USA(普渡大学埃尔莫尔家庭电气与计算机工程学院)
提出一种基于概率潜在嵌入和动态策略自适应的强化学习框架,通过元学习推断环境潜在表示并动态调整风险水平,实现安全高效的Sim2Real策略迁移。
2026-05-26 cs.AI cs.LG
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University(北京大学)
本文提出了一种新的潜在语义学习方法,用于从大量具有结构化稀疏表示的丰富中级特征(即视觉关键字)的词汇中提取高级特征(即潜在语义),这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构,我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法,而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是,我们构建了L1-图的结构化稀疏表示,这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中,我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核,学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同,本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构,从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
Continuous-Latent Predictive Modeling with Semantic Alignment for EEG-Language Foundation Models
本文提出BLPM模型,通过CELP编码器与MQSD模块对齐EEG语义,解决EEG基础模型预训练的关键挑战,在多基准任务中实现良好泛化。
2026-08-13 cs.LG
Meta-probabilistic Modeling
本文提出元概率建模(MPM),通过分层结构学习生成模型结构,支持广泛概率模型并连接现有架构,实验显示其能有效适应数据并恢复有意义的潜在表示。
2026-04-07 cs.LG
Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial Modeling
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Google Research(谷歌研究院)
研究了三维物体的生成问题。我们提出了一个新的框架,即3D生成对抗网络(3D-GAN),它通过利用体积卷积网络和生成对抗网络的最新进展从概率空间生成3D对象。我们的模型的好处有三方面:首先,使用对抗性标准,而不是传统的启发式标准,使生成器能够隐式地捕获对象结构并合成高质量的3D对象;其次,生成器建立从低维概率空间到3D对象空间的映射,使得我们可以在没有参考图像或CAD模型的情况下对对象进行采样,并探索3D对象流形;第三,对抗性学习提供了一个强大的3D形状描述符,无需监督即可学习,在3D对象识别中具有广泛的应用。实验表明,我们的方法生成高质量的3D对象,我们的无监督学习功能实现令人印象深刻的性能上的3D对象识别,与那些监督学习方法。
2017-01-04 cs.CV cs.LG
Knowledge-Aided Semantic Communication Leveraging Probabilistic Graphical Modeling
Polytechnic Institute, Zhejiang University(浙江大学理工学院);College of Information Science and Electronic Engineering, Zhejiang University(浙江大学信息科学与工程学院);Jinhua Institute of Zhejiang University(浙江大学金华研究院)
本文提出基于概率图模型的语义通信方法,通过共享PGM知识压缩可预测语义信息并在接收端重建,在保持图像质量的同时显著提升传输效率。
2024-08-08 cs.LG
Towards Explaining Deep Neural Network Compression Through a Probabilistic Latent Space
University of Maine(缅因大学);San Diego State University(圣地亚哥州立大学)
本文提出基于概率潜在空间的理论框架,利用信息论散度解释DNN最优稀疏性,引入AP2和AP3概念并证明其与网络性能的关系,通过标准基准实验验证了理论结果。
2025-07-02 cs.LG
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.(InterDigital公司)
生成对抗网络(GANs)已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中,我们发现,面部属性解纠缠不是最佳的,因此,依赖于线性属性分离的面部编辑是有缺陷的。因此,我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示,我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
Learning Disentangled Semantic Representation for Domain Adaptation
Guangdong University of Technology(广东工业大学);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);Foshan University(佛山科学技术学院)
领域自适应是一项重要而又具有挑战性的任务。现有的大多数领域自适应方法难以在领域信息和语义信息纠缠的特征空间上提取领域不变的表示。不同于以往的纠缠特征空间的努力,我们的目标是提取领域不变的语义信息的潜在的解纠缠语义表示(DSR)的数据。在DSR中,我们假设数据生成过程由两组独立的变量控制,即,语义潜变量和领域潜变量。在上述假设下,我们采用变分自动编码器来重构数据背后的语义潜变量和领域潜变量。我们进一步设计了一个双对抗网络来解开这两组重构的潜在变量。解开的语义潜变量最终适应跨域。实验研究证明,我们的模型产生的最先进的性能在几个领域自适应基准数据集。
2020-12-22 cs.CV cs.LG