Neural Canonical Polyadic Factorization for Traffic Analysis
College of Computer and Information Science, Southwest University(计算机与信息科学学院,西南大学)
针对智能交通系统中数据缺失影响建模可靠性的问题,提出融合低秩CP分解与深度学习的NCPF模型,通过可解释因子建模与非线性表示优化实现鲁棒交通数据补全,在6个数据集上优于现有基线,支撑交通数字孪生与自适应管控。
2025-09-03 cs.LG stat.ML
Zero-state Coupled Markov Switching Count Models for Spatio-temporal Infectious Disease Spread
传染病病例的时空计数通常包含过多的零。由于现有的零膨胀计数模型适用于这些数据,因此难以量化疾病在地区之间传播的影响的时空异质性。此外,现有的方法不允许单独的动态影响疾病的重新出现和持续。作为一种替代方案,我们开发了一个新的零状态耦合马尔可夫切换负二项模型,根据该模型,疾病之间的存在和不存在的时期,在每个区域通过一系列的部分隐藏的非齐次马尔可夫链耦合相邻位置之间的切换。当疾病存在时,自回归负二项模型生成可能为0的病例,表示未检测到疾病。贝叶斯推断和预测说明使用时空计数的登革热病例在巴西里约热内卢。
2021-12-03 stat.AP
Generalized Least Squares Kernelized Tensor Factorization
McGill University(麦吉尔大学)
针对恢复多维张量结构数据问题,提出GLSKF框架,通过整合全局与局部相关分量,利用协方差正则化等方法建模,结合交替最小二乘算法求解,在多个实际数据补全任务中展现出卓越性能和良好扩展性。
2026-07-22 cs.CV cs.LG stat.ML
Non-Separable Spatio-temporal Models via Transformed Gaussian Markov Random Fields
捕捉空间和时间动态的模型在许多科学领域都是适用的。在文献中引入了不可分离的时空模型来捕捉这些特征。然而,这些模型通常在构造和解释上都很复杂。我们引入了一类不可分离的变换高斯马尔可夫随机场(TGMRF),其中的依赖结构是灵活的,有利于简单的解释有关的空间,时间和时空参数。此外,TGMRF模型的优点是允许专家定义任何所需的边缘分布在模型的建设,而不会遭受时空混淆。因此,在TGMRF框架下使用时空模型导致了一类新的通用模型,例如时空伽马随机场,其可以直接用于对时空数据的泊松强度进行建模。所提出的模型被应用于确定重要的环境特征,影响的丰富的Nenia tridens,一个优势物种的蜗牛在一个研究充分的热带生态系统的变化,并描述其空间和时间的趋势,这是特别关键的人类世,一个时代的特点是人类引起的环境变化与气候和土地利用。
2020-05-11 stat.AP stat.ME
Probabilistic sequential matrix factorization
The Alan Turing Institute(阿兰·图灵研究所);University of Warwick(华威大学)
我们介绍了概率顺序矩阵分解(PSMF)方法分解的时变和非平稳数据集组成的高维时间序列。特别是,我们考虑非线性高斯状态空间模型,其中顺序近似推理导致数据矩阵分解为字典和具有潜在非线性马尔可夫依赖性的时变系数。假设的马尔可夫结构的系数,使我们能够编码到一个低维的特征空间的时间依赖性。所提出的推理方法是完全基于一个近似的扩展卡尔曼滤波方案,这使得所得到的方法特别有效。PSMF可以解释时间非线性,更重要的是,可以用来校准和估计通用可微非线性子空间模型。我们还介绍了一个强大的版本的PSMF,称为rPSMF,它使用Student-t过滤器来处理模型误指定。我们表明,PSMF可以用于多种情况下:建模的时间序列与周期性的子空间,robustifying变点检测方法,并填补缺失数据在几个高维时间序列,如测量伦敦的污染物。
2021-03-18 cs.LG stat.CO stat.ML
Structure Learning of Partitioned Markov Networks
我们从联合观测中学习两组随机变量之间的马尔可夫网络的结构。由于建模和学习完整的MN结构可能很难,因此直接学习两个组之间的链接可能是优选的选择。我们引入了一个新的概念,称为\emph{partitioned ratio},其分解直接与两组随机变量的马尔可夫性质。提出了一种简单的单次凸优化方法来学习划分比的\emph{sparse}分解,并在理论上保证了在温和的条件下恢复正确的群间结构.所提出的方法的性能进行了实验比较与最先进的MN结构学习方法,使用ROC曲线。还报告了分析美国国会两党合作和成对DNA/时间序列比对的实际应用。
2016-05-27 stat.ML
Identifying Coherent Anomalies in Multi-Scale Spatio-Temporal Data using Markov Random Fields
许多物理过程涉及时空观测,可以在不同的空间和时间尺度上进行研究。例如,可以在日、月或年的时间尺度以及地方、网格、区域或国家的空间尺度上考虑雨量计每天测量的降雨量数据。在这项工作中,我们专注于在这样的多尺度时空数据的异常检测。我们认为一个异常的事件,在时空扩展区域的测量值是显着不同的,从他们的长期均值。然而,我们的目标是避免对测量值和时空大小设置任何阈值,因为不仅阈值是主观的,而且长期平均值通常在空间和时间上变化。为此,我们使用时空马尔可夫随机场,其中潜在状态指示异常类型(正异常,负异常,无异常/正常)。通过适当的边缘电位保持时空相干性。该模型被扩展到多个时空尺度,以实现我们的第二个目标:在任何规模的异常应定义在该规模的数据,并在其他规模的异常。这使我们能够从粗尺度到细尺度追踪异常。例如,某一年的降雨量在某一地区是否异常,不仅应取决于整个地区的降雨总量,还应取决于在网格尺度和月尺度上是否存在这种异常。我们使用这种方法来研究降雨异常在印度-非常不同的降雨-在1901-2011年期间,并显示其优势,现有的方法。
2017-10-18 stat.AP
Semi-supervised Learning Meets Factorization: Learning to Recommend with Chain Graph Model
Zhejiang University(浙江大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
近年来,潜在因素模型(LFM)由于其良好的性能和可扩展性,在推荐系统中受到了广泛的关注。然而,现有的LFM预测缺失值的用户项目评级矩阵的基础上,只有已知的,因此,稀疏的评级矩阵总是限制了他们的性能。同时,半监督学习(SSL)提供了一种有效的方法来减轻标签(即,rating)稀疏性问题,这主要是基于对亲和图的平滑性洞察。然而,基于图的SSL在直接用于推荐时存在严重的可扩展性和图不可靠问题。在本文中,我们提出了一种新的概率链图模型(CGM)结婚SSL与LFM。建议CGM是贝叶斯网络和马尔可夫随机场的组合。贝叶斯网络被用来建模的评级生成和回归过程,和马尔可夫随机场被用来建模的置信度感知的平滑度之间的约束生成的评级。实验结果表明,我们提出的CGM显着优于国家的最先进的方法在四个评估指标,并具有更大的性能裕度时,数据稀疏性增加。
2020-03-05 cs.LG stat.ML
Hidden Markov modelling of spatio-temporal dynamics of measles in 1750-1850 Finland
University of Jyväskylä(于韦斯屈莱大学);INVEST Research Flagship Centre, University of Turku(图尔库大学INVEST研究旗舰中心);University of Helsinki(赫尔辛基大学)
本文利用隐马尔可夫模型与条件自回归模型分析18世纪芬兰麻疹死亡数据,揭示了时空变化的感染动态及1812年前后传播模式的变化。
2026-03-27 q-bio.PE stat.ME
Understanding Urban Dynamics via Context-aware Tensor Factorization with Neighboring Regularization
Beihang University(北京航空航天大学);Microsoft Research Asia(微软亚洲研究院)
近年来,世界范围内出现了人口众多的大都市。因此,了解居民的流动模式或城市动态对于建设现代智慧城市至关重要。在本文中,我们提出了一个邻居正则化和上下文感知的非负张量因子分解模型(NR-cNTF),以发现可解释的城市动态从城市异构数据。与现有的许多通过张量完成预测任务的研究不同,NR-cNTF专注于从空间,时间和时空模式中获得城市管理见解。这是通过基于POI的城市背景和地理相邻关系正则化的高质量塔克因子分解实现的。NR-cNTF还能够通过管道初始化方法揭示城市动态的长期演变。我们将NR-cNTF应用于包含北京丰富的出租车GPS轨迹和POI记录的真实数据集。结果表明:1)NR-cNTF准确捕捉到了四种城市节奏和十七个空间群落; 2)以CBD为代表的北京市的快速发展确实加剧了职住不平衡; 3)近期政府投资的南部地区表现出更健康的发展趋势。最后,NR-cNTF与一些基线的交通预测进行了比较,这进一步证明了城市环境意识和邻近法规的重要性。
2019-05-10 cs.LG stat.ML
Online nonnegative CP-dictionary learning for Markovian data
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);University of California, Los Angeles(加州大学洛杉矶分校)
在线张量分解(OTF)是从流多模态数据中学习低维可解释特征的基本工具。虽然各种算法和理论方面的OTF最近已经调查,一个一般的收敛保证不需要任何不相干或稀疏假设的目标函数的固定点仍然缺乏,即使是独立同分布。案子在这项工作中,我们介绍了一种新的算法,学习一个CANDECOMP/PARAFAC(CP)的基础上,从一个给定的流的张量值的数据下的一般约束,包括非负性约束,诱导学习CP基础的可解释性。我们证明了我们的算法几乎必然收敛到目标函数的平稳点集的假设下,数据张量的序列是由一个潜在的马尔可夫链。我们的设置涵盖了经典的i.i.d.案例以及广泛的应用环境,包括由独立或MCMC采样生成的数据流。我们的结果弥补了OTF和在线矩阵分解在全局收敛性分析\commHL{for CP-decompositions}中的不足。实验上,我们表明,我们的算法收敛速度比标准算法的非负张量因式分解任务的合成和真实世界的数据。此外,我们还展示了我们的算法在图像,视频和时间序列数据的不同示例集上的实用性,说明了如何通过多种方式利用张量结构从相同的张量数据中学习定性不同的CP字典。
2022-04-03 cs.LG math.OC stat.ML
A Markov-switching spatio-temporal ARCH model
针对传统ARCH/GARCH模型易因突发冲击导致波动率估计偏高的问题,提出时空对数ARCH模型的马尔可夫切换框架,经模拟和股指数据验证,其拟合效果更优且能捕捉多地同时发生的结构突变。
2023-10-04 stat.ME
A tutorial on spatiotemporal partially observed Markov process models via the R package spatPomp
该教程介绍R包spatPomp,用于高维时空部分观测马尔可夫过程(SpatPOMP)的建模与统计推断,并通过高斯系统和麻疹传播模型示例展示其实现与应用。
2024-04-18 stat.CO stat.ME
Detection of Spatiotemporally Coherent Rainfall Anomalies Using Markov Random Fields
降水是一种大尺度、时空不均匀的现象,其异常频繁地表现出异常的高值或低值。我们使用马尔可夫随机场(MRFs)检测时空相干异常在1901-2005年印度各地的网格年降雨量数据。MRF是无向图模型,其中每个节点与\{位置,年份\}对相关联,边连接代表相邻位置或年份的节点。一些节点表示降水观测值,而其余节点表示未观测(\emph{latent})状态,可以取三个值之一:高/低/正常。MRF使用在图的节点和边上定义的\emph{node potential}和\emph{edge potential}函数来表示变量上的概率分布。潜在状态变量的最佳值估计通过最大化观测值的后验概率,使用吉布斯抽样。边缘势增强时空相干性,节点势通过影响状态的先验概率来影响异常阈值。该模型可以被调整以恢复由基于阈值的方法检测到的异常。空间和时间相干性的竞争影响可以通过边缘电位来调节。我们研究了这种方法发现的降水异常的时空特性,使用适当的措施。我们确定的非平稳性发生的积极和消极的异常之间的第一和第二半的20世纪。我们发现,在这些时期之间,在6月至9月(JJAS)的降雨量减少,在其他月份增加。这些影响在异常的统计数据中突出显示。从这种方法中了解到的异常属性可以通过气候模型和统计模拟器对区域尺度降雨模拟进行测试。
2017-10-31 stat.AP
Gaussian Markov Random Fields versus Linear Mixed Models for satellite-based PM2.5 assessment: Evidence from the Northeastern USA
研究空气污染对健康的影响是环境流行病学的一个关键领域。准确估计空气污染的影响需要时空分辨的空气污染数据集,特别是细颗粒物(PM)。卫星技术大大提高了在无法直接测量的地点提供PM评估的能力。间接PM测量是一个统计预测问题。时空统计文献提供了各种预测模型:高斯随机场(GRF)和线性混合模型(LMM),特别是。GRF强调数据中的时空结构,但计算要求很高。LIFE在计算上更容易适应,但需要一些篡改来处理空间和时间。时空统计文献中的最新进展提出通过高斯马尔可夫随机场(GMRF)近似GRF来减轻计算负担。由于LMF和GMRF都是计算上可行的,问题就出现了:哪一个在统计上更好?我们发现,尽管LPERS在环境监测和污染评估中非常受欢迎,但在美国东北部,LPERS在统计学上不如GMRF测量PM。
2019-02-22 stat.AP
A Comparison between Markov Switching Zero-inflated and Hurdle Models for Spatio-temporal Infectious Disease Counts
针对传染病计数中疾病持续与再现需分别建模的问题,本文提出马尔可夫转换负二项hurdle模型,并与零膨胀版本比较;基于里约热内卢基孔肯雅热数据,零膨胀马尔可夫模型预测最佳。
2025-06-11 stat.AP
Spatio-Temporal Reconstructions of Global CO2-Fluxes using Gaussian Markov Random Fields
大气反演模型是一种利用观测到的大气浓度和大气示踪剂迁移模型重建陆地与大气之间温室气体历史通量的方法。相对于未知通量分量的数量,观测到的大气浓度的数量较少,使得逆问题病态,并且需要对通量进行假设以约束解。一种常见的做法是使用具有平均结构的潜在高斯场来模拟通量,该平均结构是根据过程模拟(自然通量)和统计簿记(人为排放)相结合的估计通量。在这里,我们重建全球\CO通量场建模通量使用高斯马尔可夫随机场(GMRF),从而在一个灵活的和计算的有益的模型与Matérn样的空间协方差,和时间协方差定义通过自回归模型与季节性依赖。与以前的反演相反,通量被定义在空间连续域上,并且传统的离散通量表示被传输模型指定的分辨率下的积分通量所取代。该公式消除了通量协方差中的聚集误差,这是由于离散点通量的面积积分的传统表示,并提供了一个更接近现实生活中的时空连续通量的模型。
2019-07-05 stat.AP stat.CO stat.ME
Spatio-Temporal Graphical Model Selection
University of Michigan(密歇根大学)
我们考虑的问题,估计在一个离散状态,离散时间时空图形模型中的空间相互作用的拓扑结构的相互作用影响的时间演变的每个代理在网络中。在其他模型中,用于相互作用事件的易感、感染、恢复($SIR$)模型属于该框架。我们提出的问题作为一个结构学习问题,并解决它使用$\ell_1$惩罚似然凸规划。我们评估的解决方案在一个复杂的网络上的传染病的模拟传播。我们的拓扑估计优于那些标准的空间马尔可夫随机场图形模型选择使用$\ell_1$正则化逻辑斯谛回归。
2010-04-14 cs.AI stat.ML
Convolutional Tensor-Train LSTM for Spatio-temporal Learning
University of Maryland(马里兰大学);NVIDIA Research(英伟达研究院)
时空数据学习在人类行为分析、目标跟踪、视频压缩、物理仿真等领域有着广泛的应用,但现有的时空数据学习方法在长时间预测等视频任务中表现不佳。这是因为这些具有挑战性的任务需要学习视频序列中的长期时空相关性。在本文中,我们提出了一个高阶卷积LSTM模型,可以有效地学习这些相关性,以及历史的简洁表示。这是通过一个新的张量训练模块来实现的,该模块通过组合跨时间的卷积特征来执行预测。为了使这在计算和内存需求方面可行,我们提出了一种新的高阶模型的卷积张量-训练分解。这种分解通过将卷积核序列联合近似为低秩张量训练因子分解来降低模型复杂度。因此,我们的模型优于现有的方法,但只使用了一小部分参数,包括基线模型。我们的结果在广泛的应用程序和数据集上实现了最先进的性能,包括Moving-MNIST-2和KTH动作数据集上的多步视频预测以及Something-Something V2数据集上的早期活动识别。
2020-10-04 cs.CV cs.LG stat.ML
Ranking of Communities in Multiplex Spatiotemporal Models of Brain Dynamics
University College London(伦敦大学学院);University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
作为一个相对较新的领域,网络神经科学倾向于关注大脑在许多连续实验或长时间记录中的平均行为,以构建强大的大脑模型。这些模型在解释大脑中作为正常大脑功能的结果而自发发生的动态变化方面能力有限。在神经成像时间序列数据上训练的隐马尔可夫模型(HMRM)已经作为产生易于训练但难以完全参数化或分析的动态模型的方法而出现。我们提出了一个解释,这些神经障碍的多重大脑状态图模型,我们长期隐马尔可夫图模型(HMGMs)。这种解释允许使用完整的网络分析技术来分析动态大脑活动。此外,我们提出了一种在没有外部数据的情况下选择HMM超参数的通用方法,基于最大熵的原则,并使用它来选择多重模型中的层数。我们产生了一个新的工具,用于确定重要的社区的大脑区域使用时空随机行走为基础的程序,利用底层马尔可夫模型的结构。我们对真实的多学科功能磁共振成像数据的分析提供了新的结果,证实了大脑在休息时的模块化处理假设,并为动态大脑状态社区之间和内部的功能重叠提供了新的证据。我们的分析管道提供了一种在新的行为或条件下观察大脑动态网络活动的方法。
2022-05-17 cs.LG cs.SI q-bio.NC
A Constructive Spatio-Temporal Approach to Modeling Spatial Covariance
我提出了一种方法,通过考虑平稳分布的时空马尔可夫随机游动的面积空间协方差建模。在面积数据的情况下,这种固定的分布对应于一个内在的同步自回归(SAR)模型的空间相关性,并提供了一个原则性的方法来指定面积的空间模型时,时空生成过程可以假设。我应用的方法来研究鳟鱼的空间遗传变异在美国康涅狄格州的流网络,并在美国俄亥俄州哥伦布市的社区犯罪率的研究。
2015-07-03 stat.ME
Online Energy Price Matrix Factorization for Power Grid Topology Tracking
University of Minnesota(明尼苏达大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
电网安全和开放市场是智能电网的两大目标。市场数据的透明度有助于创造一个有竞争力和高效的能源环境,但它也可能揭示关键的物理系统信息。恢复网格拓扑结构的基础上,完全公开的市场数据在这里探讨。实时能源价格计算为网络约束经济调度的拉格朗日乘数;也就是说,通过线性规划(LP)通常每5分钟求解一次。假设网格拉普拉斯算子是这个LP的一个参数,人们可以通过观察连续的LP对偶结果来推断这样一个拓扑揭示矩阵。时空价格的矩阵首先被示出为作为逆拉普拉斯乘稀疏矩阵的乘积的因子。利用稀疏矩阵分解的结果,拓扑恢复计划与互补的优势,随后制定。设计了可扩展到高维和流式市场数据的求解器。使用IEEE 30节点电网上的实际负载数据进行的数值验证为当前和未来的市场设计提供了有用的输入。
2014-10-22 cs.LG math.OC stat.AP
Spatio-temporal càdlàg functional marked point processes: Unifying spatio-temporal frameworks
定义了càdlàg函数标记点过程类(CFMPP)。这些是由随机元标记的(时空)点过程,这些随机元在càdlàg函数空间中取值,即标记由càdlàg随机过程给出。我们概括了标记(时空)点过程的概念,并指出这个类,在一个明智的方式,连接的点过程框架与随机场框架。我们还展示了如何使用它们来构造一类时空布尔模型,如何通过选择特定的标记函数来构造不同类别的这些模型,以及càdlàg函数标记的Cox过程如何与随机场有双重联系。我们还讨论了有限CFMPPs,纯时间良好定义的CFMPPs和马尔可夫CFMPPs。此外,我们定义的特点,如产品密度,棕榈分布和条件强度,以开发统计推断工具,如似然估计方案。
2014-03-10 math.PR math.ST stat.ME
Variance partitioning in spatio-temporal disease mapping models
贝叶斯疾病绘图,如果说在描述风险随时间和空间的变化方面是非常有用的,那么它也会遇到难以解释的随机效应精确参数的先验启发的障碍。我们介绍了一个重新参数化版本的流行的时空相互作用模型,克罗内克产品的内在高斯马尔可夫随机场的基础上,我们命名的方差分割(VP)模型。VP模型包括一个混合参数,用于平衡主效应和交互作用效应对总(广义)方差的贡献,并增强可解释性。在混合参数上使用惩罚复杂度先验有助于以直观的方式对先验信息进行编码。我们用两个案例来说明VP模型的优点。
2022-05-17 stat.ME
Measuring Territorial Control in Civil Wars Using Hidden Markov Models: A Data Informatics-Based Approach
领土控制是形成内战态势的一个关键方面。尽管其重要性,我们缺乏关于领土控制的数据,这些数据足够精细,可以说明国家以下一级的时空变化,并涵盖大量冲突。为了解决这个问题,我们提出了一个理论模型的领土控制和战术选择之间的关系在内战中,并概述了如何隐马尔可夫模型(HALGORY)是适合捕捉理论的直觉和估计水平的领土控制。我们讨论了在此应用程序中使用Hacking的挑战和未来工作的缓解策略。
2017-12-09 cs.CY physics.soc-ph stat.AP
lgcp An R Package for Inference with Spatio-Temporal Log-Gaussian Cox Processes
本文介绍了一个用于时空预测和对数高斯Cox过程预测的R软件包。这些模型的主要计算工具是马尔可夫链蒙特卡罗和新的软件包,lgcp,因此也提供了一个可扩展的功能套件,用于实现MCMC算法的过程中,这种类型的。建模框架和推理程序的细节,首先提出之前的lgcp功能的旅游是通过步行通过数据分析。涵盖的主题包括读取和转换数据,估计模型的关键组件和参数,指定输出和模拟量,计算蒙特卡罗预期,后处理和模拟数据集。
2011-10-27 stat.CO
Understanding the Spatio-temporal Topic Dynamics of Covid-19 using Nonnegative Tensor Factorization: A Case Study
Queensland University of Technology(昆士兰科技大学)
社交媒体平台通过使数十亿人能够无处不在地分享他们的想法和活动,为人类提供了一个数据驱动的世界。如果分析得当,这些庞大的数据可以为人们的行为提供有用的见解。在新型冠状病毒肺炎疫情下,现在比以往任何时候都更是了解人们在线行为的关键时刻,要详细了解人们在讨论什么话题,以及在哪里(空间)和何时(时间)讨论这些话题。针对海量社交媒体数据复杂度高、质量差的特点,需要一种有效的时空主题检测方法。本文提出了一种基于张量的社交媒体数据表示和非负张量因子分解(NTF),以识别社交媒体数据中讨论的主题以及时空主题动态。澳大利亚Twitter圈的Covid-19相关推文案例研究旨在识别和可视化Covid-19的时空主题动态
2020-09-19 cs.LG cs.SI
A structured matrix factorization framework for large scale calcium imaging data analysis
我们提出了一个结构化的矩阵分解方法来分析钙成像记录的大型神经元系综。我们的目标是同时识别神经元的位置,分离空间重叠的成分,并从钙指标的缓慢动态中去噪和去卷积每个神经元的尖峰活动。矩阵分解方法依赖于观察到时空荧光活性可以表示为两个矩阵的乘积:编码每个神经元在光场中的位置的空间矩阵和表征每个神经元随时间的钙浓度的时间矩阵。我们提出了一个简单的方法来估计钙指标的动态,以及从观测数据的观测噪声统计。然后,这些参数被用来建立一个约束形式的矩阵分解问题,不需要进一步的参数调整。我们讨论的初始化和后处理技术,提高我们的方法的性能,以及高效和大部分可并行化的算法。我们将我们的方法应用于{ \it in vivo}大规模多神经元成像数据,并演示了如何使用类似的方法来分析{ \it in vivo}树突状成像数据。
2014-09-09 q-bio.NC q-bio.QM stat.AP
Variational Factorization Machines for Preference Elicitation in Large-Scale Recommender Systems
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Kyoto University(京都大学)
因式分解机(FM)是一个强大的工具,用于在稀疏观测的背景下进行回归和分类,已成功应用于协同过滤,特别是当用户或项目的辅助信息可用时。已经提出了FM的贝叶斯公式来提供模型预测的置信区间,但是它们通常涉及马尔可夫链蒙特卡罗方法,需要许多样本来提供准确的预测,导致在大规模数据的背景下训练缓慢。在本文中,我们提出了一个变分公式的因式分解机,使我们能够得到一个简单的目标,可以很容易地使用标准的小批量随机梯度下降优化,使其适合大规模的数据。我们的算法学习用户和项目参数的近似后验分布,这导致预测的置信区间。我们使用几个数据集表明,它在预测精度方面具有与现有方法相当或更好的性能,并提供了主动学习策略中的一些应用,例如,偏好诱导技术。
2022-12-20 cs.AI cs.IR cs.LG
Nonnegative Matrix Factorization to understand Spatio-Temporal Traffic Pattern Variations during COVID-19: A Case Study
Kyungpook National University(庆北大学);Queensland University of Technology(昆士兰科技大学)
随着智能交通系统(ITS)的迅速发展和道路上车辆数量的不断增加,产生了大量的道路交通数据。从这些数据中了解时空交通模式至关重要,并已有效地帮助交通规划,道路建设等。然而,了解COVID-19大流行期间的交通模式非常具有挑战性和重要性,因为人和车辆的出行行为模式存在巨大差异。本文通过一个案例研究来了解COVID-19期间时空交通模式的变化。我们应用非负矩阵分解(NMF),以得出模式。NMF模型输出是根据2019年和2020年(分别为大流行之前和大流行期间)在英国观察到的时空模式行为进行分析的。所分析的时空交通模式变化行为的输出将在智能交通系统中的交通管理和在与道路交通相关的流行病或不可避免的场景的各个阶段的管理领域中是有用的。
2021-11-05 cs.CY cs.LG
Cluster detection and risk estimation for spatio-temporal health data
在流行病学疾病绘图方面,目的是估计疾病风险的时空模式,并确定高风险集群,从而使卫生干预措施有适当的针对性。贝叶斯时空模型被用来估计平滑的风险面,但这与确定与其邻近地区相比风险较高的区域单元组的目的背道而驰。因此,在本文中,我们提出了一种新的贝叶斯分层建模方法,同时估计疾病风险,并确定高风险集群的空间和时间。该模型的推理是基于马尔可夫链蒙特卡罗模拟,使用免费提供的R软件包CARBayesST,已与本文一起开发。我们的方法是出于两个案例研究,其中第一个评估是否有公共卫生区和结肠癌集群之间的关系在格鲁吉亚,而第二个着眼于在英国的公共场所禁烟对心血管疾病集群的影响。
2014-11-10 stat.ME
On Computationally-Scalable Spatio-Temporal Regression Clustering of Precipitation Threshold Excesses
针对系统性缺失协变量情况下基于回归的极值分析,提出了一种基于数据驱动的时空回归的阈值过度聚类方法。结果表明,在系统缺失的协变量的存在下,阈值过度的行为变得非平稳和非齐次。所提出的方法描述了这种复杂的行为由一组本地平稳广义帕累托分布(GPD)模型,其中的参数表示为回归模型,和一个潜在的时空切换过程。利用模型参数有界变化的时间序列分析非参数有限元方法(FEM-BV),解决了时空切换过程。所提出的FEM-BV-GPD方法超越了标准潜在类模型(如混合模型和隐马尔可夫模型)中的强先验假设。此外,它还提供了底层依赖结构的实用描述。该框架的性能表现在瑞士的历史降水量数据,并与相同的数据通过标准方法获得的结果进行比较。
2021-04-01 stat.ME
Spatio-temporal circular models with non-separable covariance structure
循环数据出现在许多应用领域。最近,人们有兴趣研究在时间和空间上分别收集的循环数据。在这里,我们将这项工作的一些时空设置,引入时空依赖。我们容纳协变量,实施完整的克里金法和预测,并允许可能与时间相关的金块。我们在贝叶斯框架内工作,引入合适的潜在变量,以促进马尔可夫链蒙特卡罗(MCMC)模型拟合。贝叶斯框架使我们能够实现完整的推理,获得克里金和预测的预测分布。我们提供灵活性较低但更易于解释的包装高斯过程和更灵活但更易于解释的投影高斯过程之间的比较。我们这样做说明性地使用模拟数据和数据从计算机模型输出的波在亚得里亚海的意大利海岸的方向。
2017-04-17 stat.ME
A Dynamic Spatiotemporal and Network ARCH Model with Common Factors
本文提出一种纳入波动率特定潜在因子与可观测因子的动态时空ARCH模型,利用贝叶斯MCMC估计与因子选择方法刻画空间、时间及网络溢出效应,并在美国住房市场和股票市场应用中验证了其捕捉互联性的能力。
2024-10-21 econ.EM q-fin.ST stat.ME
Bayesian modeling and clustering for spatio-temporal areal data: An application to Italian unemployment
时空面状数据可以看作是一组时间序列,这些序列在空间上按照特定的相邻结构相互关联。将时间和空间维度扩展到统计模型中对基本理论框架以及高效计算方法的实现提出了挑战。我们建议包括时空随机效应使用的条件自回归先验,其中的时间相关性是通过自回归均值分解和空间相关性的精度矩阵继承相邻结构建模。它们的联合分布构成高斯马尔可夫随机场,其稀疏精度矩阵使得能够使用有效的采样算法。我们使用非参数先验对面积单元进行聚类,从而学习面积单元的潜在分区。该模型的性能进行评估,通过应用程序来研究在意大利的区域失业模式。与其他空间和时空竞争对手相比,该模型显示出更精确的估计,从聚类中获得的额外信息可以对意大利各省的失业率进行扩展的经济解释。
2022-11-19 stat.ME
Markov-Switching State-Space Models with Applications to Neuroimaging
状态空间模型(SSM)与马尔可夫切换提供了一个强大的框架,检测多个政权在时间序列,分析相互依赖和动态的政权,并断言政权之间的过渡。然而,这些模型提出了相当大的计算挑战,由于指数数量的可能政权序列考虑。此外,时间序列的高维性会阻碍基于似然性的推理。本文提出了新的统计方法的马尔可夫切换SSM使用极大似然估计,期望最大化(EM),参数自举。我们开发了用于初始化期望最大化算法、加速收敛和进行推理的解决方案,这些解决方案非常适合于大脑信号等海量时空数据。我们评估这些方法在模拟和目前的应用程序,癫痫和运动想象的脑电图研究。所有提出的方法都在MATLAB工具箱中实现,可在https://github.com/ddegras/switch-ssm上获得。
2021-06-09 stat.AP stat.ME
STELAR: Spatio-temporal Tensor Factorization with Latent Epidemiological Regularization
University of Minnesota(明尼苏达大学);IQVIA(艾昆纬);University of Virginia(弗吉尼亚大学);Temple University(天普大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
准确预测COVID-19等流行病的传播对实施有效的缓解措施至关重要。在这项工作中,我们开发了一个张量方法来预测多个地区同时流行趋势的演变。我们构造了一个3向时空张量(位置,属性,时间)的情况下计数,并提出了一个非负张量分解与潜在的流行病学模型正则化命名为STELAR。与标准的张量分解方法,不能预测板坯提前,STELAR使长期预测,通过一个系统的离散时间差分方程的广泛采用的流行病学模型,将潜在的时间正则化。我们使用潜在的而不是位置/属性级别的流行病学动态来捕获常见的流行病学特征子类型,并改善协作学习和预测。我们使用县级和州级COVID-19数据进行实验,并表明我们的模型可以识别流行病的有趣潜在模式。最后,我们评估了我们的方法的预测能力,与基线相比表现出优越的性能,县级预测的均方根误差降低了21%,平均绝对误差降低了25%。
2021-03-17 cs.LG q-bio.PE
Learning Hidden Markov Models using Non-Negative Matrix Factorization
Dartmouth College(达特茅斯学院);California State University at Los Angeles(加州州立大学洛杉矶分校)
Baum-Welsh算法及其衍生物和变体一直是从观测数据中学习隐马尔可夫模型(HMM)的主要技术。我们提出了一种基于高阶马尔可夫统计的非负矩阵分解(NMF)的HMM学习算法,该算法在结构上不同于Baum-Welsh及其相关方法。所描述的算法支持估计HMM的递归状态的数量,并迭代非负矩阵分解(NMF)算法以改进学习的HMM参数。数值例子也提供。
2011-01-08 cs.AI cs.IT cs.LG
Identifying Sparse Low-Dimensional Structures in Markov Chains: A Nonnegative Matrix Factorization Approach
University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们考虑学习大规模马尔可夫链的低维表示的问题。我们将表示学习的任务表述为将模型的状态空间映射到低维状态空间,称为核空间。内核空间包含一组Meta状态,这些元状态仅代表原始状态的一个小子集。为了促进这一结构属性,我们约束状态空间和核空间之间的映射的非零条目的数量。通过施加所需的特性的表示,我们投的问题作为一个约束的非负矩阵分解。为了计算解,我们提出了一种有效的块坐标梯度下降算法,并从理论上分析了其收敛性。
2020-04-07 cs.LG cs.SY eess.SY
Markov random fields factorization with context-specific independences
Universidad Tecnológica Nacional(国立技术大学)
马尔可夫随机场通过在无向图中表示其独立性来提供联合概率分布的紧凑表示。著名的Hammersley-Clifford定理使用这些条件独立性将吉布斯分布分解为一组因子。然而,使用图来表示独立性的一个重要问题是它不能编码某些类型的独立关系,例如上下文特定的独立性(CSI)。它们是条件独立性的一种特殊情况,只对它的条件集的某个赋值为真;与之相反,条件独立性必须对它的所有赋值都成立。本文提出了一种根据分布中存在的CSI对马尔可夫随机场进行因子分解的方法,并形式上保证了这种分解是正确的。这是在我们的主要贡献,上下文特定的Hammersley-Clifford定理,一个推广到CSI的Hammersley-Clifford定理,适用于条件独立。
2013-06-10 cs.AI cs.LG
Multi-Head Self-Attending Neural Tucker Factorization
College of Computer and Information Science, Southwest University(西南大学计算机与信息科学学院)
针对大规模QoS数据动态时间模式捕获问题,提出多头自注意力神经Tucker分解(MSNTucF)方法,通过神经网络推广Tucker分解并引入多头自注意力机制学习非线性时空特征交互,在真实数据集上预测精度优于现有基准模型。
2025-03-04 cs.LG
Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning
Max-Planck-Institut für Quantenoptik(马克斯·普朗克量子光学研究所);Munich Center for Quantum Science and Technology (MCQST)(慕尼黑量子科学与技术中心(MCQST));Dahlem Center for Complex Quantum Systems, Freie Universität Berlin(柏林自由大学达勒姆复杂量子系统中心);Freie Universität Berlin(柏林自由大学)
张量网络技术在物理学中取得了巨大的成功,并且最近在机器学习中引起了人们的关注,既作为制定新的学习算法的工具,又作为增强对现有方法的数学理解的工具。受这些发展的启发,以及张量网络和概率图形模型之间的自然对应关系,我们对离散多元概率分布的各种张量网络因子分解的表达能力进行了严格的分析。这些因子分解包括非负张量序列/MPS,它们与隐马尔可夫模型相对应,以及Born机,它们与局域量子电路自然相关。当用于建模概率分布时,它们表现出易处理的似然性,并允许有效的学习算法。有趣的是,我们证明了存在概率分布,其中一些张量网络分解的资源需求之间存在无界分离。特别令人惊讶的是,使用复张量而不是实张量可以导致网络参数数量的任意大的减少。此外,我们引入了局部纯化态(LPS),这是一种受量子系统模拟技术启发的新因子分解,具有比所有其他表示更好的表达能力。通过数值实验探讨了这一结果的后果。我们的研究结果意味着,LPS应被视为超过隐马尔可夫模型,并进一步提供了指导方针的概率建模的局部量子电路的设计。
2019-11-29 cond-mat.str-el cs.LG math.OC
Online matrix factorization for Markovian data and applications to Network Dictionary Learning
University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
在线矩阵分解(OMF)是字典学习问题的基本工具,它通过减少提取特征的数量来近似表示复杂数据集。在文献中,大多数OMF算法的收敛保证假设数据矩阵之间的独立性,并且依赖数据流的情况在很大程度上仍未被探索。在本文中,我们证明了一个非凸推广的著名的OMF算法的i.i.d. \citep{mairal2010online}中的数据流几乎必然收敛到期望损失函数的临界点集,即使数据矩阵是满足温和混合条件的某个底层马尔可夫链的函数。这使得人们可以更有效地从相关数据流中提取特征,因为不需要对数据序列进行二次采样来近似满足独立性假设。作为主要的应用,通过结合在线非负矩阵分解和最近的MCMC算法从网络中采样图案,我们提出了一种新的网络字典学习框架,它以在线方式从给定的网络中提取“网络字典补丁”,对网络的主要特征进行编码。我们展示了这种技术及其在真实网络数据上的网络去噪问题中的应用。
2020-11-07 cs.DS cs.LG math.OC
Variational Low-rank Tensor Decomposition for Multisubject Spatiotemporal Data Analysis
CRAN, Université de Lorraine, CNRS, Vandoeuvre-lès-Nancy, France(CRAN、洛林大学、CNRS、法国凡多伊-勒-纳恩西)
针对多主体时空数据建模难题,提出时空变分张量分解框架,结合张量分解模型与结构化先验,利用LL1和LSTM分别处理空间和时间因子,经展开优化算法迭代推理,热启动策略提升性能,实验显示其优于基准方法。
2026-07-27 cs.LG eess.SP stat.ML
Discovering Dynamic Patterns from Spatiotemporal Data with Time-Varying Low-Rank Autoregression
Polytechnique Montreal(蒙特利尔理工学院);McGill University(麦吉尔大学)
在时空数据分析中具有广泛实际意义的问题,即,从时空数据中发现可解释的动态模式。为此,我们开发了一个时变降秩向量自回归(VAR)模型,其系数矩阵参数化低秩张量分解。该模型利用张量分解结构,可以同时实现模型压缩和模式发现。特别是,该模型允许一个特征的非平稳性和时变系统行为的时空数据。为了评估所提出的模型,广泛的实验进行了各种时空数据代表不同的非线性动力系统,包括流体动力学,海面温度,美国表面温度,和纽约市出租车行程。实验结果表明,该模型的时空数据建模和空间/时间模式特征的有效性。在空间背景下,空间模式可以自动提取和直观地表征的空间模式。在时间背景下,复杂的时变系统的行为可以揭示所提出的模型中的时间模式。因此,我们的模型奠定了深刻的基础,了解复杂的时空数据在现实世界的动力系统。改编的数据集和Python实现可在https://github.com/xinychen/vars上公开获得。
2022-11-28 cs.AI cs.LG eess.SP
Generating Hidden Markov Models from Process Models Through Nonnegative Tensor Factorization
Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室);North Carolina State University(北卡罗来纳州立大学)
本文提出一种基于非负张量分解的新方法,将专家构建的理论过程模型与相互关联的最小隐马尔可夫模型(HMM)集成,以克服数据稀缺问题,并在合成与真实过程模型上验证了其有效性。
2024-04-26 cs.LG
Latent Factorization of Tensors with Threshold Distance Weighted Loss for Traffic Data Estimation
Chongqing University of Posts and Telecommunications(重庆邮电大学)
针对传统张量潜在分解模型对异常值敏感的问题,提出结合阈值距离加权损失的TDWLFT模型,通过为样本分配差异化权重降低异常值影响,在多个交通速度数据集上实现了准确性与计算效率的双重提升。
2025-06-11 cs.AI cs.LG
Monotonic Gaussian Process for Spatio-Temporal Disease Progression Modeling in Brain Imaging Data
Université Côte d’Azur(蔚蓝海岸大学);Inria Sophia Antipolis(法国国家信息与自动化研究所索菲亚·安提波利斯分部);CoBTeK lab(CoBTeK实验室)
我们引入了一个概率生成模型,用于从一系列高维脑图像中解开时空疾病轨迹。该模型是基于时空矩阵分解,其中对源的推断受到解剖学上合理的统计先验的约束。为了模拟真实的轨迹,时间源被定义为单调和时间重新参数化的高斯过程。为了解释大脑图像的非平稳性,我们将空间源建模为在多个尺度上卷积的稀疏代码。与标准盲源分离方法相比,该方法在合成数据上进行了测试。在来自临床研究的大规模成像数据上的应用允许解开映射神经退行性变的关键脑区域的差异时间进展模式,同时揭示与临床诊断相关的疾病特异性时间尺度。
2019-10-10 cs.LG q-bio.NC stat.ML
Spatio-Temporal Variational Gaussian Processes
The Alan Turing Institute(艾伦·图灵研究所);Aalto University(阿尔托大学);NVIDIA(英伟达);University of Warwick(华威大学)
我们介绍了一种可扩展的方法,高斯过程推理,结合时空滤波与自然梯度变分推理,从而在非共轭GP方法的多变量数据,相对于时间线性缩放。我们的自然梯度方法使应用程序的并行滤波和平滑,进一步降低时间跨度的复杂性是对数的时间步长。我们推导出一个稀疏的近似,构建一个状态空间模型在一个减少的空间诱导点集,并表明,可分离马尔可夫内核的完整和稀疏的情况下,完全恢复标准的变分GP,同时表现出良好的计算性能。为了进一步提高空间缩放,我们提出了一个平均场假设的空间位置之间的独立性,再加上稀疏性和并行化,导致一个高效和准确的方法为大型时空问题。
2021-11-02 cs.LG stat.ML
Online Factorization and Partition of Complex Networks From Random Walks
Princeton University(普林斯顿大学);Johns Hopkins University(约翰霍普金斯大学)
找到降维结构对于理解复杂网络至关重要。现有的方法,如谱聚类是适用的,只有当整个网络是明确观察。在本文中,我们专注于在线因式分解和分区的隐式大规模网络的基础上,从一个相关的随机游动的观察。我们制定成一个非凸随机因子分解问题,并提出了一个有效的和可扩展的随机广义赫布算法。该算法能够处理底层网络动态生成的相关状态转换数据,并学习每个顶点的低维表示。通过应用扩散近似分析,我们表明,连续时间限制过程的随机算法收敛到全局的“主成分”的马尔可夫链,并实现了近最佳的样本复杂性。一旦给出了学习的低维表示,我们进一步应用聚类技术来恢复网络分区。我们表明,当相关的马尔可夫过程是集总的,可以恢复分区准确地以高概率。我们应用所提出的方法来模拟曼哈顿的交通流量为全市范围内的随机行走。通过使用我们的算法分析出租车出行数据,我们发现了曼哈顿城市的一个与交通动态密切匹配的潜在分区。
2017-12-11 cs.LG math.OC stat.ML
An Efficient Algorithm for Computing Interventional Distributions in Latent Variable Causal Models
Harvard School of Public Health(哈佛公共卫生学院);University of Washington(华盛顿大学)
图模型中的概率推理是从联合概率分布的因子分解表示计算感兴趣的边际和条件密度的任务。诸如变量消除和置信传播之类的推理算法利用嵌入在该因子分解中的约束来有效地计算这样的密度。在本文中,我们提出了一个算法,计算由无环有向混合图(ADMG)表示的潜在变量因果模型的干预分布。为了有效地计算这些分布,我们利用递归因式分解,它概括了通常的马尔可夫分解的DAG和最近的因式分解的ADMG。我们的算法可以被看作是一个推广的变量消除的混合图的情况下。我们表明,我们的算法是指数的混合图推广的树宽。
2012-02-14 cs.LG stat.ML
Dynamic Collaborative Filtering with Compound Poisson Factorization
Princeton University(普林斯顿大学)
基于模型的协同过滤分析用户-项目交互,以推断代表用户偏好和项目特征的潜在因素,从而预测未来的交互。大多数协同过滤算法假设这些潜在因素是静态的,尽管已经表明用户偏好和项目感知会随着时间的推移而漂移。在本文中,我们提出了一个共轭和数值稳定的动态矩阵分解(DCPF)的基础上复合泊松矩阵分解模型的平滑漂移的潜在因素,使用伽马马尔可夫链。我们提出了一个数值稳定的伽玛链结构,然后提出了一个随机变分推理方法来估计我们的模型的参数。我们将我们的模型应用于时间戳评级数据集:Netflix,Yelp和Last.fm,其中DCPF实现了比最先进的静态和动态因子分解模型更高的预测准确性。
2016-11-01 cs.AI cs.LG stat.ML
Deep Gaussian Markov Random Fields for Graph-Structured Dynamical Systems
University of Amsterdam(阿姆斯特丹大学)
本文提出将图结构状态空间模型重构为深度高斯马尔可夫随机场,利用空间与时间图层构建可学习的时空先验,并通过变分推断和共轭梯度法实现比卡尔曼滤波更高效的状态估计与学习。
2023-10-27 cs.LG
Fast and Accurate Power Load Data Completion via Regularization-optimized Low-Rank Factorization
Chongqing Aerospace Polytechnic(重庆航天职业技术学院);Dongfang Electronics Co.,Ltd(东方电子股份有限公司);China Mobile Cloud Capability Center(中国移动云能力中心);Southwest University(西南大学)
针对电力负荷数据缺失问题,提出基于PID控制器自适应调整正则化系数的低秩分解方法,在保持随机梯度下降效率的同时提升插补精度与训练效率。
2025-06-22 cs.LG