Variance-Based Risk Estimations in Markov Processes via Transformation with State Lumping
Concordia Institute of Information System Engineering(康考迪亚信息系统工程研究院);Concordia University(康考迪亚大学)
方差在风险敏感强化学习中起着至关重要的作用,大多数风险度量都可以通过方差进行分析。在本文中,我们考虑两个法律不变的风险作为例子:均值方差风险和指数效用风险。借助于状态增强变换(SAT),我们证明了这两种风险可以在具有随机转移报酬和随机策略的马尔可夫决策过程(MDP)中得到估计.为了缓解状态空间的扩大,提出了一种新的同位素态的定义状态集总,考虑到特殊的结构转换的转移概率。在数值实验中,我们说明了状态集总在SAT,错误从一个天真的奖励简化,和SAT的有效性的两个风险估计。
2019-07-09 cs.AI cs.LG stat.ML
Reanalysis of Variance Reduced Temporal Difference Learning
The Ohio State University(俄亥俄州立大学);The University of Utah(犹他大学)
时间差分(TD)学习是强化学习中用于策略评估的流行算法,但是普通TD实质上会受到固有优化方差的影响。Korda和La(2015)提出了一种方差缩减TD(VRTD)算法,该算法将方差缩减技术直接应用于马尔可夫样本的在线TD学习。在这项工作中,我们首先指出了Korda和La(2015)在VRTD分析中的技术错误,然后提供了VRTD非渐近收敛及其方差减少性能的数学分析。我们证明了VRTD保证以线性收敛速度收敛到TD不动点解的邻域。此外,方差误差(对于i.i.d.\和马尔可夫抽样)和偏差误差(马尔可夫抽样)的VRTD显着降低了批量的方差减少相比,香草TD。结果表明,VRTD获得给定精确解的总体计算复杂性优于马尔可夫采样下的TD,优于独立同分布下的TD。抽样为一个足够小的条件数。
2020-01-10 cs.LG stat.ML
Risk-Sensitive Markov Decision Processes with Combined Metrics of Mean and Variance
Business School, Sun Yat-Sen University(中山大学商学院)
研究了同时考虑报酬均值和方差的具有长期平均度量的无限阶段离散时间马尔可夫决策过程的最优化问题。这样的绩效指标很重要,因为均值表示平均回报,方差表示风险或公平性。然而,方差度量耦合在所有阶段的奖励,传统的动态规划是不适用的时间一致性原则失效。我们研究这个问题从一个新的角度称为灵敏度为基础的优化理论。推导了一个性能差异公式,该公式可以量化任意两种策略下MDP的均值-方差组合度量的差异。差分公式可以用来产生新的政策,严格改进的均值-方差性能。给出了最优策略的一个必要条件和确定性策略的最优性。我们进一步发展了一种策略迭代形式的迭代算法,证明了该算法在混合和随机策略空间中均收敛于局部最优。特别地,当策略中的平均报酬为常数时,保证算法收敛到全局最优值。最后,我们应用我们的方法来研究在储能系统中的风力发电的波动减少,这表明我们的最优化方法的潜在适用性。
2020-08-09 cs.AI cs.LG math.OC
Greedy-GQ with Variance Reduction: Finite-time Analysis and Improved Complexity
University of Utah(犹他大学);University at Buffalo(布法罗大学)
Greedy-GQ是一种基于值的强化学习(RL)算法,用于最优控制。最近,有限时间分析的贪婪-GQ已被开发下的线性函数逼近和马尔可夫采样,该算法被证明是实现一个$ε$ -平稳点的顺序$\mathcal{O}(ε^{-3})$的样本复杂度。如此高的样本复杂度是由于马尔可夫样本引起的大方差。本文提出了一种用于非策略最优控制的方差减小的贪婪GQ(VR-Greedy-GQ)算法。特别地,该算法应用基于SVRG的方差减小方案来减小两个时间尺度更新的随机方差。在线性函数逼近和马尔可夫采样下,研究了VR-Greedy-GQ的有限时间收敛性,并证明了该算法比原Greedy-GQ具有更小的偏差和方差误差.特别是,我们证明了VR-Greedy-GQ实现了一个改进的样本复杂度是在$\mathcal{O}(ε^{-2})$的顺序。我们进一步比较了VR-Greedy-GQ和Greedy-GQ在各种RL实验中的性能,以证实我们的理论研究结果。
2021-03-30 cs.LG math.OC
Inferring the Optimal Policy using Markov Chain Monte Carlo
University of California, Berkeley(加州大学伯克利分校)
本文研究了具有未知转移动态和未知报酬函数的马尔可夫决策过程的最优随机控制策略的估计方法。这种形式的无模型强化学习包括许多真实世界的系统,例如玩视频游戏,模拟控制任务和真实机器人运动。现有的方法估计的最优随机控制策略依赖于高方差估计的政策下降。然而,这些方法不能保证找到最优随机策略,并且高方差梯度估计使收敛不稳定。为了解决这些问题,我们提出了一种技术,使用马尔可夫链蒙特卡罗生成样本的后验分布的参数条件是最佳的。我们的方法可证明收敛到全局最优的随机策略,并与策略梯度相比具有经验相似的方差。
2019-11-16 cs.AI cs.LG stat.ML
Off-Policy Risk Assessment in Markov Decision Processes
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学);Purdue University(普渡大学)
为了解决安全性与人类偏好的一致性以及学习效率等不同目的,越来越多的强化学习研究关注依赖于整个收益分布的风险泛函。最近的工作\emph{off-policy risk assessment}(OPRA)的上下文土匪介绍了一致的估计目标政策的CDF的回报以及有限的样本保证,扩展到(并同时举行)所有的风险。在本文中,我们解除OPRA马尔可夫决策过程(MDPs),其中重要性采样(IS)CDF估计遭受高方差较长的轨迹,由于有效样本量小。为了缓解这些问题,我们将基于模型的估计开发的第一个双稳健(DR)估计CDF的回报MDP。该估计量具有显著较小的方差,并且当模型被很好地指定时,达到Cramer-Rao方差下限。此外,对于许多风险泛函,下游估计享有更低的偏差和更低的方差。此外,我们推导出了第一个极大极小的下边界的非政策CDF和风险估计,这与我们的误差界匹配到一个常数因子。最后,我们证明了我们的DR CDF估计在几个不同的环境实验的精度。
2022-09-21 cs.AI cs.LG stat.ML
Variance Reduced Value Iteration and Faster Algorithms for Solving Markov Decision Processes
Stanford University(斯坦福大学);Princeton University(普林斯顿大学)
在本文中,我们提供了更快的算法近似求解折扣马尔可夫决策过程的多参数制度。给定一个折扣马尔可夫决策过程(DMDP)与$|S|$状态,$|A|$行动,折扣因子$γ\in(0,1)$,并在$[-M, M]$范围内的奖励,我们展示了如何计算$ε$ -最优策略,概率$1 - δ$在时间\[ \tilde{O}\left( \left(|S|^2 |A| + \frac{|S| |A|}{(1 - γ)^3} \right) \log\left( \frac{M}ε \right) \log\left( \frac{1}δ \right) \right) ~ . \]这一贡献反映了第一近线性时间,近线性收敛算法求解DMDP的中间值$γ$。我们还展示了如何获得改进的次线性时间算法,我们可以从$O(1)$时间的过渡函数的样本。在此假设下,我们提供了一个算法,计算$ε$ -最优策略的概率$1 - δ$在时间\[ \tilde{O} \left(\frac{|S| |A| M^2}{(1 - γ)^4 ε^2} \log \left(\frac{1}δ\right) \right) ~. \]最后,我们将这两个算法扩展到解决有限时域MDP。我们的算法改进了以前最好的近似计算最优政策的固定地平线MDP在多参数制度。有趣的是,我们通过对近似值迭代的仔细修改来获得我们的结果。我们展示了如何将经典的近似值迭代…
2020-12-23 cs.DS cs.LG math.OC
Unsupervised Neural Hidden Markov Models with a Continuous latent state space
ANEO;Centre Borelli - ENS Paris-saclay(巴黎萨克雷高等师范学院博雷利中心);Criteo AI Lab(科韬人工智能实验室);Crest, ENSAE(法国国立统计与经济管理学院 Crest 研究中心)
我们介绍了一个新的过程神经化无监督隐马尔可夫模型在连续的情况下。这提供了更高的灵活性来解决潜在的潜在变量的问题。这种方法的合成和真实数据进行评估。除了生成与现成的神经架构(LSTM、GRU等)具有可比性能的可能模型参数之外,所得结果易于解释。
2021-06-10 cs.LG
Latent Target Score Matching, with an application to Simulation-Based Inference
University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校);NVIDIA(英伟达)
本文提出潜在目标分数匹配方法,通过利用联合分数降低方差,提升基于模拟推断任务的分数准确性和样本质量。
2026-02-06 cs.LG
REBAR: Low-variance, unbiased gradient estimates for discrete latent variable models
Google Brain(谷歌大脑);DeepMind;University of Oxford(牛津大学)
由于高方差梯度估计量,具有离散潜变量的模型中的学习具有挑战性。通常,方法依赖于控制变量来减少REINFORCE估计量的方差。最近的工作(Jang et al. 2016,Maddison et al. 2016)采取了不同的方法,引入了离散变量的连续松弛来产生低方差但有偏的梯度估计。在这项工作中,我们结合了这两种方法,通过一种新的控制变量,产生低方差,\emph{unbiased}梯度估计。然后,我们介绍了一个修改的连续松弛,并表明放松的紧密度可以在线适应,删除它作为一个超参数。我们在几个基准生成建模任务上展示了最先进的方差减少,通常会更快地收敛到更好的最终对数似然。
2017-11-06 cs.LG stat.ML
Targeted stochastic gradient Markov chain Monte Carlo for hidden Markov models with rare latent states
Harvard University(哈佛大学);Duke University(杜克大学);Google(谷歌公司)
针对隐马尔可夫模型中稀有隐状态导致数据不平衡的问题,提出目标子采样(TASS)方法,通过过采样稀有状态观测值并构建权重降低梯度估计方差,显著提升了稀有事件的预测和推断准确性。
2024-07-25 cs.LG stat.ML
Beyond ReinMax: Low-Variance Gradient Estimators for Discrete Latent Variables
Australian National University(澳大利亚国立大学)
本文提出ReinMax-Rao和ReinMax-CV估计器,通过Rao-Blackwellisation和控制变量技术降低方差,提升离散潜在变量模型的训练效率。
2026-03-09 cs.LG stat.ML
Patch-PODiff-ViT: Structured Latent Diffusion with Patchwise POD for Super-Resolution and Uncertainty Quantification
提出Patch-PODiff-ViT框架,使用分块本征正交分解(POD)定义固定线性正交基的潜在空间,结合Vision Transformer实现高效扩散,并通过线性解码器解析传播不确定性,在多个领域实现参数少、内存低且校准良好的超分辨率重建。
2026-07-01 cs.LG
Forward-Backward Latent State Inference for Hidden Continuous-Time semi-Markov Chains
Technische Universitat Darmstadt(达姆施塔特工业大学)
隐半马尔可夫模型(HSMM)-虽然广泛使用-但仅限于离散和均匀的时间网格。因此,它们不太适合解释经常不规则间隔的离散事件数据从连续时间现象。我们表明,非采样为基础的潜在状态推断中使用的HSMM的可以推广到潜在的连续时间半马尔可夫链(CTSMC)。我们制定积分微分向前和向后方程调整的观察可能性,并引入一个精确的积分方程的贝叶斯后边缘和可扩展的Viterbi型算法的后验路径估计。所提出的方程可以有效地解决使用众所周知的数值方法。作为一种实用的工具,变步长HSMM的介绍。我们评估我们的方法相比,经典的HSMM的潜在状态推理的情况下。
2022-10-17 cs.LG stat.ML
Projected Latent Markov Chain Monte Carlo: Conditional Sampling of Normalizing Flows
Department of Electrical and Computer Engineering(电气与计算机工程系);Duke University(杜克大学)
我们介绍了投影隐马尔可夫链蒙特卡罗(PL-MCMC),一种从归一化流学习的高维条件分布中采样的技术。我们证明了一个大都会黑斯廷斯实施PL-MCMC渐近样本从与规范化流的确切条件分布。作为一种条件采样方法,PL-MCMC支持蒙特卡洛期望最大化(MC-EM)训练,从不完整的数据中规范化流。通过对各种数据集的缺失数据任务应用规范化流的实验测试,我们证明了PL-MCMC对规范化流的条件采样的有效性。
2021-02-26 cs.LG stat.ML
Double Control Variates for Gradient Estimation in Discrete Latent Variable Models
DeepMind(深度思维);Microsoft Research New England(微软新英格兰研究院)
由于梯度的高方差,离散潜变量模型的基于随机梯度的优化具有挑战性。我们介绍了一个方差减少技术的得分函数估计,利用双控制变量。这些控制变量作用于主要控制变量之上,并试图进一步减少总体估计量的方差。我们开发了一个双控制变量的REINFORCE留一法估计使用泰勒展开。对于训练离散潜变量模型,例如具有二进制潜变量的变分自编码器,与使用REINFORCE leave-one-out估计器的标准训练相比,我们的方法不会增加额外的计算成本。我们将我们的方法应用于挑战高维玩具示例和使用二进制潜变量训练变分自编码器。我们表明,我们的估计可以有较低的方差相比,其他国家的最先进的估计。
2022-06-04 cs.LG stat.ML
PCAE: Learning Ordered Representations in Latent Space for Intrinsic Dimension Estimation via Principal Component Autoencoder
University of Pennsylvania(宾夕法尼亚大学)
本文提出了一种结合非均匀方差正则化与等距约束的自编码器框架,用于在潜在空间中学习有序表示以估计内在维度。
2026-08-10 cs.LG
Variance reduction for Markov chains with application to MCMC
Duisburg-Essen University(杜伊斯堡-埃森大学);HSE University(高等经济大学);Ecole Polytechnique(巴黎综合理工学院)
在本文中,我们提出了一种新的方差减少方法的马尔可夫链的可加泛函的基础上,这些泛函的渐近方差的估计在适当的控制变量类的最小化。所提出的方法的一个显着特点是它能够显着降低整体有限样本方差。这一功能从理论上证明了通过一个深刻的非渐近分析的方差减少功能,以及通过一个彻底的模拟研究。特别是我们将我们的方法应用到各种MCMC贝叶斯估计问题,它有利地比较现有的方差减少方法。
2020-02-15 cs.LG math.PR math.ST
A Characterization of Markov Equivalence Classes for Directed Acyclic Graphs with Latent Variables
不同的有向无环图(DAG)可能是马尔可夫等价的,因为它们在观测变量之间具有相同的条件独立关系。Meek(1995)通过提出一组方向规则来表征DAG的马尔可夫等价类(没有潜在变量),该方向规则可以正确地识别马尔可夫等价类中所有DAG共享的所有箭头方向,给定该类的成员。对于具有潜在变量的DAG模型,最大祖先图(MAG)提供了一种简洁的表示,便于模型搜索。早期的工作(阿里等人,2005年)已经确定了一套方向规则,足以构建所有箭头共同的马尔可夫等价类的MAG。在本文中,我们提供了额外的规则足以构造所有共同的尾巴。我们最终与一组定位规则的声音和完整的识别跨马尔可夫等价类的MAG,这是特别有用的因果推断的共性。
2012-06-20 cs.LG stat.ME stat.ML
Characterizing A Database of Sequential Behaviors with Latent Dirichlet Hidden Markov Models
本文提出了一种生成模型,潜在的狄利克雷隐马尔可夫模型(LDHMM),用于表征数据库的序列行为(序列)。LDH2说明每个序列由基础马尔可夫链过程生成,该过程由相应的参数(即,初始状态向量、转移矩阵和发射矩阵)。每个序列的这些序列级潜在参数被建模为潜在狄利克雷随机变量,并通过一组确定性数据库级超参数进行参数化。通过这种方法,我们期望在两个层次上对序列进行建模:数据库级的确定性超参数和序列级的潜参数。为了学习LDHHT中的确定性超参数和参数的近似后验,我们在变分EM框架下提出了一种迭代算法,该算法由E步和M步组成。我们研究了两种不同的方案,完全分解和部分分解的形式,框架,基于不同的假设。我们提出了实证结果的行为建模和序列分类的三个真实世界的数据集,并将它们与其他相关模型进行比较。实验结果证明,所提出的LDHALTORY产生更好的泛化性能的对数似然和序列分类问题上提供有竞争力的结果。
2013-05-24 cs.LG stat.ML
Recency-weighted Markovian inference
MRC Cognition and Brain Sciences Unit, University of Cambridge(剑桥大学医学研究理事会认知与脑科学研究所)
我们描述了一个马尔可夫潜在状态空间(MLSS)模型,其中的潜在状态分布是一个衰减的混合在多个过去的状态。我们提出了一个简单的采样算法,允许近似这样的高阶MLSS与固定的时间和内存成本。
2017-11-08 cs.LG stat.ML
JUMP-Means: Small-Variance Asymptotics for Markov Jump Processes
MIT(麻省理工学院)
马尔可夫跳跃过程(MJPs)用于模拟从疾病进展到RNA路径折叠的各种现象。然而,参数模型的极大似然估计会导致轨迹退化,并且在非参数模型中推理性能较差。我们采取小方差渐近(SVA)的方法来克服这些限制。我们推导出小方差渐近参数和非参数MJP直接观察和隐藏的状态模型。在参数的情况下,我们得到一个新的目标函数,导致非退化的轨迹。为了得到非参数的版本,我们引入了伽马-伽马过程,一个新的扩展的伽马-指数过程。我们提出了这些配方,我们称之为\emph{JUMP-means}的算法。我们的实验表明,JUMP-means在速度和重建精度方面与广泛使用的MJP推理方法具有竞争力或优于MJP推理方法。
2015-06-05 cs.LG stat.ML
Stable by Construction: Variational Latent Markov Operators for Long-Horizon PDE Prediction
Duke University(杜克大学)
本文提出变分潜在马尔可夫算子(VAMO),通过潜在分布与概率转移建模物理状态,减少长时程自回归预测中的误差累积,并在流体动力学基准上验证了其稳定性和有效性。
2026-09-16 cs.LG stat.ML
Viking: Variational Bayesian Variance Tracking
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);Électricité de France R&D(法国电力研发中心)
我们考虑在自适应设置的时间序列预测的问题。我们专注于在未知和潜在的时变噪声方差下的状态空间模型的推断。我们引入了一个增广模型,其中的方差表示为辅助高斯潜变量的跟踪模式。由于方差是非负的,因此选择变换并将其应用于这些潜在变量。推理依赖于在线变分贝叶斯方法,该方法包括在每个时间步最小化Kullback-Leibler发散。我们观察到,Kullback-Leibler发散的最小值是考虑方差不确定性的卡尔曼滤波器的扩展。我们设计了一个新的算法,命名为海盗,使用这些最佳的递归更新。对于辅助潜变量,我们使用二阶界限,其最佳允许封闭形式的解决方案。在合成数据上的实验表明,Viking算法性能良好,对错误描述具有鲁棒性.
2021-11-09 cs.AI cs.LG
DisARM: An Antithetic Gradient Estimator for Binary Latent Variables
Google Research(谷歌研究院);DeepMind(深度思维)
由于难以准确估计梯度,训练具有离散潜变量的模型具有挑战性。最近取得的许多进展都是利用了系统的连续弛豫,而这种弛豫并不总是可用的,甚至是不可能的。Augment-REINFORCE-Merge(ARM)估计器提供了一种替代方法,即使用连续增强来代替松弛。应用对偶抽样的增广变量产生一个相对较低的方差和无偏估计适用于任何模型与二进制潜变量。然而,虽然对偶抽样减少方差,扩增过程增加方差。我们表明,ARM可以通过分析整合的随机性引入的增强过程,保证大幅降低方差。我们的估计,DisARM,是简单的实现,并具有相同的计算成本作为ARM. We评估DisARM的几个生成建模基准,并表明它始终优于ARM和一个强大的独立样本基线方差和对数似然。此外,我们提出了一个本地版本的DisARM设计优化多样本变分界,并表明它优于VIMCO,目前最先进的方法。
2020-12-03 cs.LG stat.ML
Self-Repellent Random Walks on General Graphs -- Achieving Minimal Sampling Variance via Nonlinear Markov Chains
IQVIA Inc.(艾昆纬公司);North Carolina State University(北卡罗来纳州立大学)
该研究提出一般图上的自排斥随机游走(SRRW),证明其经验分布收敛于目标平稳分布,且排斥性越强渐近采样方差越小,还通过数值模拟验证了时变α版本的综合优势。
2024-01-28 cs.LG math.PR
Discovering Nonlinear Static Relationships in Unlabeled Dataset using Autoencoder with Ordered Variance
Automation Lab, Department of Chemical Engineering(自动化实验室,化学工程系)
提出一种有序方差自编码器(AEO)及其残差网络扩展(RAEO),通过方差正则化项强制潜变量有序排列,实现未标注数据中非线性关系的无监督发现与静态模型提取。
2026-05-30 cs.LG cs.SY eess.SY
Restricted maximum-likelihood method for learning latent variance components in gene expression data with known and unknown confounders
University of Bergen(卑尔根大学)
随机效应模型是用于检测和校正由于全基因组基因表达数据中隐藏的混杂因素而导致的虚假样本相关性的流行统计模型。在已知某些混杂因素的应用中,同时估计随机效应模型中已知和潜在方差分量的贡献是一项挑战,迄今为止,该挑战依赖于基于数值梯度的优化器来最大化似然函数。这是不令人满意的,因为所得的解决方案的特征很差,并且该方法的效率可能是次优的。在这里,我们证明分析,最大似然潜变量总是可以选择正交的已知的混杂因素,换句话说,最大似然潜变量解释样本协方差还没有解释已知的因素。基于这一结果,我们提出了一种限制最大似然方法,通过最大化正交于已知混杂因素的限制子空间上的似然来估计潜在变量,并表明这降低到该子空间上的概率PCA。然后,该方法使用该问题的新推导的解析解,通过在给定潜变量的情况下最大化似然函数中的剩余项来估计方差-协方差参数。与基于梯度的优化器相比,我们的方法获得了更大或相等的似然值,可以使用标准矩阵运算进行计算,导致潜在因素不与任何已知因素重叠,并且运行时间减少了几个数量级。因此,限制的最大似然方法有利于随机效应建模策略的应用,学习潜在的方差分量更大的基因表达数据集比可能与当前的方法。
2021-11-04 cs.LG q-bio.GN q-bio.QM
Generalization of Auto-Regressive Hidden Markov Models to Non-Linear Dynamics and Unit Quaternion Observation Space
University of Verona(维罗纳大学)
本文提出ARHMM的两种推广:用非线性基函数线性组合描述笛卡尔空间自回归动力学,以及在单位四元数空间中建立线性动力学以处理姿态,从而提升对复杂观测动态的建模能力。
2023-06-08 cs.LG cs.RO
NP-PROV: Neural Processes with Position-Relevant-Only Variances
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Northwestern Polytechnical University(西北工业大学)
神经过程(NP)家族将函数上的分布编码为潜在表示,给定上下文数据,并解码未知位置处的后验均值和方差。由于均值和方差来自相同的潜在空间,因此它们可能会在域外任务中失败,其中函数值的波动放大了模型的不确定性。我们提出了一个新的成员命名为神经过程与位置相关的唯一方差(NP-PROV)。NP-PROV假设靠近上下文点的目标点具有小的不确定性,而不管该位置处的函数值如何。由此产生的方法分别从函数值相关的空间和位置相关的潜在空间导出均值和方差。我们对合成数据集和真实数据集的评估表明,当函数值存在漂移时,NP-PROV可以实现最先进的似然性,同时保持有界方差。
2020-06-15 cs.CV cs.LG stat.ML
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London(帝国理工学院)
我们专注于生成式自动编码器,例如变分或对抗式自动编码器,它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布,它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗(MCMC)采样过程,相当于迭代解码和编码,这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射,因此我们可以使用MCMC来提高从生成模型提取的样本的质量,特别是当学习的潜在分布远离先验时。使用MCMC采样,我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Large-scale Uncertainty Quantification for Latent Variable Models Using Subsampling Markov Chain Monte Carlo
University of Cambridge(剑桥大学)
针对潜变量模型中SGLD-Gibbs算法超参数调优缺乏理论指导的问题,通过推导统计缩放极限理论,提出确保不确定性量化有意义的调优准则。
2026-05-29 cs.LG stat.ML
Latent Annealed Posterior Sampling with a Variance-Preserving Local Gaussian Approximation for Sparsely Observed Random Fields
School of Statistics and Mathematics, Yunnan University of Finance and Economics(云南财经大学统计与数学学院)
针对稀疏观测随机场后验推断的两大挑战,本文提出带方差保持桥的潜在退火后验采样(LAPS)方法,实验表明其在后验准确性、不确定性校准与计算效率间实现了良好权衡。
2026-11-17 cs.LG stat.ML
Variance Constrained Autoencoding
Victoria University of Wellington(惠灵顿维多利亚大学)
最新的基于自动编码器的生成模型具有编码器-解码器结构,并学习具有可从中采样的预定义分布的潜在表示。以随机方式实现这些模型的编码器网络提供了一种自然和常见的方法来避免过拟合并执行平滑的解码器功能。然而,我们表明,对于随机编码器,同时试图强制执行分布约束和最小化输出失真导致生成和重建质量的降低。此外,在执行解纠缠时,试图强制执行潜在的分布约束是不合理的。因此,我们提出了方差约束自动编码器(VCAE),它只对潜在分布执行方差约束。我们的实验表明,VCAE提高了Wasserstein自动编码器和变分自编码器在MNIST和CelebA上的重建和生成质量。此外,我们表明,VCAE配备了一个总的相关性惩罚项执行等效于FactorVAE在学习解纠缠表示的3D-双曲,而更有原则的方法。
2020-05-08 cs.LG stat.ML
Understanding Domain-Size Generalization in Markov Logic Networks
TU Wien(维也纳技术大学);Ludwig-Maximilians-Universität München(慕尼黑大学)
本文研究了 Markov Logic Networks 在不同 domain 规模间泛化能力差的问题,通过量化参数方差对内部不一致性和 KL 散度的界限,证明最小化参数方差可提升泛化能力,并在四个数据集上得到验证。
2024-06-03 cs.AI cs.LG
A Fourier View of REINFORCE
GIK Institute(GIK学院)
我们展示了布尔函数的傅立叶谱和二进制潜变量模型的REINFORCE梯度估计之间的联系。我们表明,REINFORCE估计(一个因素)的程度-1傅立叶系数的布尔函数。使用这种连接,我们提供了一个新的视角,在潜变量模型的梯度估计方差减少:即,方差减少涉及消除或减少不具有1度的傅立叶系数。然后,我们使用这种联系为二进制潜变量模型(例如S形信念网络)开发低方差无偏梯度估计器。该估计是基于布尔傅立叶理论的噪声算子的属性,并涉及一个样本依赖的基线添加到REINFORCE估计的方式,保持估计无偏。基线可以插入到现有的梯度估计进一步减少方差。
2018-08-12 cs.LG stat.ML
To Regularize or Not To Regularize? The Bias Variance Trade-off in Regularized AEs
IIT Delhi(印度理工学院德里分校);TIFR Mumbai(塔塔基础研究院孟买分院)
正则化自动编码器(Regularized Auto-Encoders,RAE)是一类丰富的神经生成模型。它们使用编码器-解码器组合有效地对数据和潜在空间之间的联合分布进行建模,并根据潜在空间的先验进行正则化。尽管它们具有诸如训练稳定性等优点,但基于AE的模型的性能尚未达到诸如生成对抗网络(GANs)等其他生成模型的性能的优越标准。基于此,本文研究了潜在先验对确定性声发射模型生成质量的影响。具体而言,我们认为类的RAE确定性编码器-解码器对,Wasserstein自动编码器(WAE),并表明,有一个固定的先验分布,\textit{a priori},无视的“真正的”潜在空间的维数,将导致考虑的优化问题的不可行性。此外,我们表明,在有限的数据制度,尽管知道正确的潜在维度,存在一个偏差方差权衡与任何任意的先验强加。作为对上述两个问题的补救措施,我们在WAE的优化目标中以灵活学习的潜在先验的形式引入了额外的状态空间。我们隐式地学习潜在先验的分布与AE训练,这不仅使学习目标可行,而且便于在偏差-方差曲线的不同点上进行操作。我们通过在多个数据集上的几个实验展示了我们的模型(称为FlexAE)的有效性,并证明了它是基于AE的生成模型的最新技术水平。
2020-09-19 cs.CV cs.LG stat.ML
SAHMM-VAE: A Source-Wise Adaptive Hidden Markov Prior Variational Autoencoder for Unsupervised Blind Source Separation
本文提出SAHMM-VAE,通过为每个潜在维度分配自适应的隐马尔可夫先验,实现无监督盲源分离的端到端学习,学习源特定的时间结构。
2026-03-26 cs.LG stat.ML
Markov Random Geometric Graph (MRGG): A Growth Model for Temporal Dynamic Networks
Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心);École Centrale de Lyon(里昂中央理工学院)
我们介绍马尔可夫随机几何图(MRGGs),时间动态网络的增长模型。它是基于马尔可夫潜在的空间动态:连续的潜在点采样的欧几里得球使用一个未知的马尔可夫内核;和两个节点连接的概率取决于其潜在的测地线距离的一个未知函数。更准确地说,在每个标记时间$k$上,我们添加一个潜在点$X_k$,该潜在点是通过在均匀选择的方向上从前一个$Y_k$跳跃来采样的,并且具有从称为纬度函数的未知分布中绘制的长度$r_k$。每对节点之间的连接概率等于这两个潜在点之间的距离的包络函数。我们为纬度和包络函数的非参数估计提供了理论保证,并提出了一种基于ad-hoc层次凝聚聚类方法的非参数估计算法。作为一个产品,我们展示了如何MRGG可以用来检测依赖结构的增长图,并解决链接预测问题。
2022-03-09 cs.LG cs.SI math.ST
Deep Markov Spatio-Temporal Factorization
Northeastern University(东北大学);University of Oregon(俄勒冈大学)
我们介绍了深度马尔可夫时空分解(DMSTF),时空数据的动态分析的生成模型。与其他因子分析方法一样,DMSTF通过时间相关权重和空间相关因子之间的乘积来近似高维数据。这些权重和因素反过来表示在使用随机变分推理推断的低维潜伏期。DMSTF的创新之处在于,我们将权重参数化为具有离散潜时的深度马尔可夫先验可扩展性,从而能够表征非线性多模态时间动态,并进行多维时间序列预测。DMSTF学习一个低维的空间潜在生成参数化的空间因素或其功能的形式,以适应高空间维度。我们参数化相应的变分分布使用双向递归网络在低级别的潜在表示。这产生了一系列灵活的分层深度生成因子分析模型,这些模型可以扩展以执行时间序列聚类或在存在控制信号的情况下执行因子分析。我们的实验,其中包括模拟和真实世界的数据,表明DMSTF优于相关方法的预测性能方面看不见的数据,揭示了有意义的集群的数据,并在各种领域进行预测与潜在的非线性时间转换。
2020-08-18 cs.LG stat.ML
Identifiable Markov Switching Models with Instantaneous Effects and Exponential Families
University of Amsterdam(阿姆斯特丹大学)
针对非平稳时间序列,提出在指数族噪声下具有瞬时效应的马尔可夫切换模型的可识别性理论,并开发FlowMSM框架用于检测隐状态和恢复因果结构。
2026-06-15 cs.LG stat.ME stat.ML
Markov Chain Score Ascent: A Unifying Framework of Variational Inference with Markovian Gradients
Sogang University(西江大学);University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学)
利用随机梯度下降(SGD)最小化包含的Kullback-Leibler(KL)发散是具有挑战性的,因为其梯度被定义为后验上的积分。最近,已经提出了多种方法来运行SGD从马尔可夫链获得的有偏梯度估计。本文通过建立它们的混合率和梯度方差,首次给出了这些方法的非渐近收敛性分析。要做到这一点,我们证明,这些方法,我们统称为马尔可夫链得分上升(MCSA)的方法,可以铸造的马尔可夫链梯度下降框架的特殊情况。此外,通过利用这种新的理解,我们开发了一种新的MCSA方案,并行MCSA(pMCSA),实现了更严格的约束的梯度方差。我们证明,这种改进的理论结果转化为优越的经验性能。
2022-10-13 cs.AI cs.LG stat.ML
A Time-Series Scale Mixture Model of EEG with a Hidden Markov Structure for Epileptic Seizure Detection
Hiroshima University(广岛大学);Okayama University Hospital(冈山大学医院)
在本文中,我们提出了一个基于马尔可夫转移的尺度混合分布的时间序列随机模型来检测脑电图(EEG)中的癫痫发作。在该模型中,每个时间点的EEG信号被假定为遵循高斯分布的随机变量。高斯分布的协方差矩阵加权的潜在规模参数,这也是一个随机变量,导致协方差的随机波动。通过引入一个潜在的状态变量与马尔可夫链的背景下,这种随机关系,时间序列的变化,潜在的尺度参数的分布可以表示根据癫痫发作的状态。在一个实验中,我们评估了所提出的模型的性能,癫痫发作检测使用EEG与多个频段分解从临床数据集。结果表明,该模型可以检测癫痫发作具有较高的灵敏度和优于几个基线。
2021-11-12 cs.LG eess.SP stat.ML
Autoregressive Hidden Markov Models with partial knowledge on latent space applied to aero-engines prognostics
Department of Applied Mechanics(应用力学系);Institut FEMTO-ST, UBFC/UFC/ENSMM/CNRS/UTBM(FEMTO-ST 研究所,UBFC/UFC/ENSMM/CNRS/UTBM)
[This论文最初发表在2016年的PHME会议上,被选为进一步发表在国际预后与健康管理杂志上。提出了一种基于传感器数据的设备故障检测与故障诊断的自回归部分隐马尔可夫模型(ARPHMM)。它是一种特殊的动态贝叶斯网络,允许通过隐马尔可夫模型(HMM)和自回归(AR)过程来表示系统的动态。马尔可夫链假设系统在内部状态之间来回切换,而AR过程确保传感器测量的时间相干性。基于极大似然的标准ARHMM的良好学习过程允许同时迭代地估计所有参数。本文提出了一种修改的学习过程,考虑到一个可能有先验知识的结构,成为部分隐藏。先验的整合是基于加权分布理论,该理论与期望最大化算法在收敛性质仍然满足的意义上兼容。我们将展示如何应用该模型来估计剩余的使用寿命的健康指标的基础上。自回归参数确实可以用于预测,而潜在结构可以用于获得有关退化水平的信息。CMAPSS数据集上证明了所提出的方法的性能和健康评估的兴趣。
2021-05-01 cs.LG stat.AP stat.ME
Latent Representation and Simulation of Markov Processes via Time-Lagged Information Bottleneck
University of Amsterdam(阿姆斯特丹大学);Microsoft Research AI4Science(微软研究院AI4Science)
针对大规模马尔可夫过程长时间尺度仿真计算成本高的问题,提出基于信息论的时滞信息瓶颈T-IB方法,通过映射到简化表示空间、捕获时间特征并丢弃高频信息来降低仿真复杂度,实验证明其在选定时滞下的建模效果优于现有方法。
2024-01-26 cs.AI cs.IT cs.LG
A Latent-Variable Lattice Model
Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
马尔可夫随机场(MRF)学习是棘手的,其近似算法是计算昂贵的。我们的目标是一个小的子集,经常使用的MRF在计算机视觉。我们用三个概念来描述这个子集:格,齐性和惯性;并设计了一个非马尔可夫模型作为替代。我们的目标是从小数据集进行鲁棒学习。我们的学习算法使用矢量量化,在时间复杂度O(U log U)的U像素的数据集,是比通用MRF快得多。
2016-06-08 cs.CV cs.LG stat.ML
Physics-guided Deep Markov Models for Learning Nonlinear Dynamical Systems with Uncertainty
National University of Singapore(新加坡国立大学);ETH Zürich(苏黎世联邦理工学院);Singapore-ETH Centre(新加坡-ETH中心)
在本文中,我们提出了一个概率物理指导的框架,称为物理指导的深度马尔可夫模型(PgDMM)。该框架的目标是从测量数据中推断非线性动态系统的特征和潜在结构,其中对潜在变量的精确推断通常是难以处理的。最近出现的一个选项涉及利用变分推理来执行近似推理。在这样的方案中,系统的转换和发射函数经由前馈神经网络(深度生成模型)被参数化。然而,由于神经网络函数的通用和高度通用的公式化,学习的潜在空间往往缺乏物理解释和结构化表示。为了解决这个问题,我们将基于物理的状态空间模型与深度马尔可夫模型连接起来,从而为非线性动力系统的无监督学习和识别提供了混合建模框架。所提出的框架利用了深度学习的表达能力,同时通过在潜在空间一侧施加物理驱动的限制来保留动力系统的驱动物理。我们证明了这样的融合的好处,在说明性的仿真例子和非线性系统的实验案例研究方面实现了更好的性能。我们的研究结果表明,所采用的转换和发射函数中涉及的基于物理的模型本质上是一个更结构化和物理上可解释的潜在空间,这对于增强和推广基于深度学习的模型的预测能力至关重要。
2022-05-25 cs.CE cs.LG nlin.CD
Context-Aware Markov VAE for CSI Compression in Wireless Systems
Ericsson Research(爱立信研究);Knut and Alice Wallenberg Foundation(克努特和阿莉斯·瓦伦贝格基金会);ELLIIT;Lund University(隆德大学)
提出基于k-记忆马尔可夫变分自编码器的上下文感知压缩框架,利用有限时间窗口捕捉CSI在潜在空间中的演化,在低中压缩率下显著提升重构性能。
2026-06-16 cs.IT cs.LG eess.SP