Kinematics-aware Trajectory Generation and Prediction with Latent Stochastic Differential Modeling
Northwestern University(西北大学);the University of Southampton(南安普顿大学)
提出将运动学知识集成到神经随机微分方程中并构建变分自编码器,以生成物理现实且精确可控的车辆轨迹,同时预测潜在空间中的不可观测物理变量。
2024-03-22 cs.LG cs.RO
Efficient Virtuoso: A Latent Diffusion Transformer Model for Goal-Conditioned Trajectory Planning
Independent Researcher(独立研究者)
本文提出高效演奏家模型,利用两阶段归一化与潜扩散Transformer实现目标条件轨迹规划,在Waymo数据集上达到最先进性能,并揭示多步稀疏路线对高保真战术执行的关键作用。
2025-09-06 cs.AI cs.LG cs.RO
Communication-Efficient Parallel Belief Propagation for Latent Dirichlet Allocation
Soochow University(苏州大学);City University of Hong Kong(香港城市大学)
提出了一种新的通信效率高的并行置信传播(CE-PBP)算法,用于训练潜在狄利克雷分配(LDA)。在同步置信传播算法的基础上,提出了一种基于并行结构的并行置信传播算法。由于大规模的通信延迟往往导致并行主题建模的效率低下,我们进一步使用Zipf定律来降低PBP中的总通信开销。在不同数据集上的大量实验表明,CE-PBP算法比并行Gibbs采样(PGS)算法具有更高的主题建模精度,并减少了80%以上的通信开销.
2012-06-11 cs.LG
Driving Reaction Trajectories via Latent Flow Matching
University of Notre Dame(诺丁汉大学)
LatentRxnFlow通过连续潜在轨迹建模提升反应预测的准确性与透明性,实现轨迹级诊断与不确定性分析。
2026-02-11 cs.AI cs.LG
Latent Plan Transformer for Trajectory Abstraction: Planning as Latent Space Inference
Department of Statistics and Data Science, UCLA(统计与数据科学系, UCLA);Salesforce Research(Salesforce 研究);Akool Research(Akool 研究);Xi’an Jiaotong University(西安交通大学);Department of Computer Science, UCLA(计算机科学系, UCLA)
本文提出Latent Plan Transformer(LPT),通过潜在变量推断将规划视为潜在空间推断,从次优轨迹中学习时间一致的抽象并提升长期决策性能。
2025-08-18 cs.LG
The Wasserstein Believer: Learning Belief Updates for Partially Observable Environments through Reliable Latent Space Models
AI Lab, Vrije Universiteit Brussel(布鲁塞尔自由大学AI实验室);University of Antwerp(安特卫普大学);Flanders Make(弗兰德斯制造机构);Urban Innovation and R&D, City of Amsterdam(阿姆斯特丹市城市创新与研发部门)
本文提出 Wasserstein 信念更新器,通过学习 POMDP 的潜在模型和信念更新近似,克服循环神经网络压缩历史缺乏成功保证的问题,并在理论上保证近似质量足以学习最优价值函数。
2023-10-26 cs.AI cs.LG
Learning General Latent-Variable Graphical Models with Predictive Belief Propagation
Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
学习一般潜变量概率图模型是机器学习和人工智能的一个关键理论挑战。所有以前的方法,包括EM算法和谱算法,面临着严重的限制,在很大程度上限制了它们的适用性,并影响其性能。为了克服这些局限性,在本文中,我们介绍了一种新的配方的消息传递推理连接树命名为预测的信念传播,并提出了一个新的学习和推理算法的基础上,这种配方的一般潜变量图形模型。该算法将硬参数学习问题简化为一系列监督学习问题,并将不同类型的隐图模型的学习统一到一个无局部最优和统计一致的学习框架中.然后,我们给出了我们的算法的正确性的证明,并在合成和真实数据集上的实验表明,我们的算法显着优于EM算法和谱算法,同时也是数量级更快的计算。
2019-11-28 cs.AI cs.LG stat.ML
Aircraft Trajectory Dataset Augmentation in Latent Space
Department of Air Transport, Transportation, and Logistics(航空运输与物流系)
提出ATRADA框架,利用Transformer编码器、PCA降维和GMM采样在潜空间中增强飞机轨迹数据集,生成高质量合成数据以提升下游任务性能。
2025-09-26 cs.LG
Recurrent Dirichlet Belief Networks for Interpretable Dynamic Relational Data Modelling
University of Technology Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学);Fudan University(复旦大学)
Dirichlet Belief Network~(DirBN)是最近提出的一种学习对象可解释的深层潜在表征的方法。在这项工作中,我们利用其可解释的建模架构,并提出了一个深度的动态概率框架-递归狄利克雷信念网络~(递归DBN)-研究可解释的隐藏结构的动态关系数据。所提出的递归DBN具有以下优点:(1)它为时间步内和跨时间步的对象推断可解释和有组织的分层潜在结构;(2)它能够实现递归长期时间依赖建模,其性能优于大多数动态概率框架中的一阶马尔可夫描述。此外,我们开发了一种新的推理策略,首先向上和向后传播潜计数,然后向下和向前样本变量,使有效的吉布斯采样的递归DBN。我们将递归DBN应用于动态关系数据问题。在真实数据上的大量实验结果验证了递归DBN在可解释的潜在结构发现和改进的链接预测性能方面优于现有模型。
2020-04-29 cs.LG stat.ML
A Topic Modeling Toolbox Using Belief Propagation
School of Computer Science and Technology(计算机科学与技术学院);Soochow University(苏州大学)
潜在狄利克雷分配(LDA)是一种重要的概率主题建模的层次贝叶斯模型,在文本挖掘、计算机视觉和计算生物学等领域有着广泛的应用,引起了广泛的关注。介绍了一个基于置信传播算法的主题建模工具箱。TMBP工具箱由MEX C++/Matlab/Octave实现,适用于Windows 7或Linux。与现有的主题建模包相比,该工具箱的新颖之处在于学习基于LDA的主题模型的BP算法。当前版本包括用于潜在狄利克雷分配(LDA)、作者主题模型(ATM)、关系主题模型(RTM)和标记LDA(LaLDA)的BP算法。这个工具箱是一个正在进行的项目,在不久的将来,将添加更多的基于BP算法的各种主题模型。感兴趣的用户还可以扩展BP算法,以学习更复杂的主题模型。源代码可以在GNU通用公共许可证1.0版下免费获得,网址是https://mloss.org/software/view/399/。
2012-04-05 cs.LG
Beliefs and Behavior in Language Models
Toulouse School of Economics(图卢兹经济学院);Carnegie Mellon University(卡内基梅隆大学)
本研究提出实证方法,通过推断语言模型输出中的潜在信念变量来预测其行为,发现高能力模型可被有效描述为持有信念,并探讨了信念的测量、决策规则遵循及推理中的演变。
2026-09-09 cs.AI cs.LG
Selecting Belief-State Approximations in Simulators with Latent States
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了一种在具有潜在状态的模拟器中选择信念状态近似的方法,通过归约条件分布选择任务,探讨了两种不同的形式化方法及其在不同roll-out方法下的表现差异。
2025-11-25 cs.AI cs.LG stat.ML
Deep Belief Nets for Topic Modeling
Technical University of Denmark(丹麦技术大学);Issuu
将传统的协同过滤应用于数字出版是具有挑战性的,因为用户数据由于相对于用户数量的大量文档而非常稀疏。另一方面,基于内容的方法很有吸引力,因为文本内容通常信息量很大。在本文中,我们描述了大规模的基于内容的协同过滤的数字出版。为了解决数字出版推荐问题,我们比较了两种方法:潜在狄利克雷分配(LDA)和深度信念网(DBN),这两种方法都能找到文档的低维潜在表示。有效的检索可以在潜在表示中进行。我们既致力于公共基准,也致力于在线出版平台Issuu提供的数字媒体内容。本文还提供了一个新开发的深度信念网工具箱,用于主题建模,专门针对DBN模型的性能评估以及与LDA模型的比较。
2015-01-18 cs.CL cs.LG stat.ML
Learning noisy-OR Bayesian Networks with Max-Product Belief Propagation
DeepMind(深度思维)
噪声或贝叶斯网络(BN)是一类概率图模型,它在二进制数据中表达了丰富的统计依赖性。变分推理(VI)已经是提出来学习具有复杂潜在结构的噪声或BN的主要方法(Jaakkola & Jordan,1999; Ji等人,2020; Buhai等人,2020年)。然而,建议的VI方法要么(a)使用识别网络与标准的摊销推理,不能诱导“解释”;或(b)假设一个简单的平均场(MF)后,这是容易受到坏的局部最优。现有的MF VI方法还顺序地更新MF参数,这使得它们固有地慢。在本文中,我们提出了并行最大乘积作为学习具有复杂潜在结构的噪声或BN的替代算法,并推导出一种可扩展到大型数据集的快速随机训练方案。我们在几个基准上评估了这两种方法,其中VI是最先进的,并表明我们的方法(a)在大型稀疏真实数据集上学习具有分层潜在结构的噪声OR BN时,比Ji等人(2020)实现了更好的测试性能;(b)从杂乱的合成场景中恢复比Buhai等人(2020)更多的地面真实参数;以及(c)解决了Lazaro-Gredilla等人(2021)和变体(包括二进制矩阵分解)的2D盲解卷积问题,而VI灾难性地失败,并且慢了两个数量级。
2023-01-31 cs.LG
Textual Belief States for World Models: Identifiable Representation Learning Under Strict Mediation
Intuit AI Research(Intuit AI研究)
提出严格中介原则解决LLM中历史旁路导致的潜在状态不可识别问题,引入离散文本潜在状态和因子化GRPO方法,在TextWorld和ScienceWorld上实现表示质量和滚动性能显著提升。
2026-06-29 cs.CL cs.LG
Limits of Learning about a Categorical Latent Variable under Prior Near-Ignorance
Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (IDSIA)(达莱莫莱人工智能研究所);University of St. Gallen(圣加仑大学);Australian National University(澳大利亚国立大学);NICTA(澳大利亚国家信息与通信技术研究院)
在本文中,我们认为连贯的理论(认知)的不确定性的瓦利,其中的信念表示通过一组概率分布,我们专注于建模先验无知的问题关于一个分类随机变量。在这种情况下,一个已知的结果是,先前的无知状态与学习是不相容的。为了克服这个问题,另一种状态的信念,称为\emph{near-ignorance},已被提出。近乎无知与无知非常相似,通过满足一些可以被认为是无知状态下必要的原则,并允许学习发生。本文所做的,是提供新的和实质性的证据,也接近无知不能真正被视为一种出路的问题,开始统计推断的条件下,非常弱的信念。该结果的关键是关注以感兴趣的变量\emph{latent}为特征的设置。我们认为,这样的设置是迄今为止最常见的情况下,在实践中,我们提供的情况下,分类潜变量(和一般\emph{manifest}变量)的条件,如果满足,防止学习发生在以前的近乎无知。即使在最常见的统计问题中,这个条件也很容易满足。我们认为这些结果是一个强有力的证据,反对在实际的统计问题中采用事先近乎无知的条件。
2009-04-29 cs.LG
Classifying Directional Trajectories Near Criticality in the Three-State Majority-Vote Model with Deep Belief Networks and Bidirectional GRUs
本研究用DBN与Bi-GRU处理MV3轨迹分类问题,DBN编码静态快照,Bi-GRU实现四类轨迹近乎完美分离,可实时感知MV3动态 regime,为意见动力学模型临界转变检测提供分层架构。
2026-08-20 cs.LG
Belief-Conditioned One-Step Diffusion: Real-Time Trajectory Planning with Just-Enough Sensing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Florida(佛罗里达大学);Providence College(普罗维登斯学院);Florida International University(佛罗里达国际大学)
本文提出信念条件化一步扩散(B-COD)规划器,利用去噪轨迹散布作为定位误差代理,使软演员-评论家在线选择最小传感器子集,在保证任务完成的同时降低感知能耗,并在无人艇上实时验证。
2025-08-27 cs.LG cs.RO cs.SY
Unsupervised Belief Representation Learning with Information-Theoretic Variational Graph Auto-Encoders
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);College of William and Mary(威廉与玛丽学院)
本文开发了一种新型的无监督算法,用于极化网络中的信念表示学习,该算法(i)揭示底层信念空间的潜在维度,以及(ii)将用户和内容项(与他们交互)联合嵌入到该空间中,以促进许多下游任务,例如立场检测、立场预测和意识形态映射。受信息论中的总相关性的启发,我们提出了信息论变分图自动编码器(InfoVGAE),它学习投影用户和内容项(例如,表示用户视图的帖子)到适当的解开的潜在空间中。为了更好地解开该空间中的潜变量,我们开发了一个总相关正则化模块,比例积分(PI)控制模块,并采用整流高斯分布,以确保正交性。然后,用户和内容的潜在表示可以用于量化他们的意识形态倾向,并检测/预测他们对问题的立场。我们评估了三个真实世界的数据集,其中两个是从Twitter和一个从美国国会投票记录收集的性能建议InfoVGAE。评估结果表明,我们的模型优于最先进的无监督模型,减少了10.5%的用户聚类错误,并实现了12.1%的更高的F1分数的立场分离的内容项目。此外,InfoVGAE产生了与监督模型相当的结果。我们还讨论了它的立场预测和意识形态群体内的用户排名的性能。
2022-05-09 cs.LG cs.SI
Ordinal Graph Gamma Belief Network for Social Recommender Systems
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了建立推荐系统,不仅考虑用户项目的交互表示为有序变量,但也利用社会网络描述用户之间的关系,我们开发了一个分层贝叶斯模型,称为有序图因子分析(OGFA),它联合模型用户项目和用户用户之间的交互。OGFA不仅取得了良好的推荐性能,而且还提取了与代表性用户偏好相对应的可解释的潜在因素。我们进一步将OGFA扩展到有序图伽玛信念网络,这是一个多随机层的深度概率模型,可以在多个语义层次上捕获用户偏好和社交社区。为了有效的推理,我们开发了一个并行的混合Gibbs-EM算法,该算法利用了图的稀疏性,并可扩展到大型数据集。我们的实验结果表明,所提出的模型不仅在具有显式或隐式反馈的推荐数据集上优于最近的基线,而且还提供了可解释的潜在表示。
2022-09-12 cs.IR cs.LG
Next-Latent Prediction Transformers Learn Compact World Models
Massachusetts Institute of Technology(麻省理工学院);Microsoft Research(微软研究院)
提出NextLat方法,通过潜在空间中的自监督预测训练变换器学习紧凑世界模型,提升泛化能力和推理效率。
2026-11-13 cs.LG
Discovering Behavioral Modes in Deep Reinforcement Learning Policies Using Trajectory Clustering in Latent Space
Norwegian University of Science and Technology (NTNU)(挪威科技大学);Centre for Autonomous Marine Operations and Systems (AMOS)(自主海洋作业与系统中心)
本文提出在DRL策略的潜在空间中结合PaCMAP降维与TRACLUS轨迹聚类,以识别行为模式和次优决策,并通过领域知识针对性提升Mountain Car任务中的策略性能。
2024-02-20 cs.AI cs.LG
Self-Consistent Trajectory Autoencoder: Hierarchical Reinforcement Learning with Trajectory Embeddings
University of California, Berkeley(加利福尼亚大学伯克利分校);Google Brain(谷歌大脑)
在这项工作中,我们采取表示学习的角度分层强化学习,其中学习层次结构中的较低层的问题转化为学习自动生成模型的问题。我们证明了我们可以学习轨迹的连续潜在表示,这在解决时间扩展和多阶段问题中是有效的。我们提出的模型SeCTAR从变分自编码器中汲取灵感,并学习轨迹的潜在表示。这种方法的一个关键组成部分是学习一个潜在的条件政策和一个潜在的条件模型是一致的。给定相同的潜势,策略生成的轨迹应该与模型预测的轨迹相匹配。该模型通过预测闭环策略行为的结果,提供了一个内置的预测机制。我们提出了一种新的算法来执行分层RL与此模型,结合基于模型的规划学习的潜在空间与无监督的探索目标。我们表明,我们的模型是有效的推理在长期的视野与稀疏的奖励几个模拟任务,优于标准的强化学习方法和先验方法的层次推理,基于模型的规划和探索。
2018-06-07 cs.AI cs.LG stat.ML
Neural Assistant: Joint Action Prediction, Response Generation, and Latent Knowledge Reasoning
Google(谷歌);Salesforce(赛富时);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所);UC Santa Barbara(加州大学圣巴巴拉分校)
面向任务的对话提出了一个困难的挑战,包括多轮语言理解和生成,知识检索和推理,行动预测等多个问题。现代对话系统通常通过使用监督学习将对话历史转换为称为信念状态的符号对象来开始。然后,信念状态被用于推理外部知识源,其结果与会话历史一起独立地用于动作预测和响应生成任务。这种单独优化组件的管道不仅使开发过程变得繁琐,而且还使利用会话级用户强化信号变得不容易。在本文中,我们开发了神经助理:一个单一的神经网络模型,以会话历史和外部知识源作为输入,并共同产生文本响应和系统采取的行动作为输出。该模型利用来自文本生成和动作预测任务的弱监督信号学习对所提供的知识源进行推理,从而消除了对信念状态注释的需要。在MultiWOZ数据集中,我们研究了远程监督的效果,以及知识库的大小对模型性能的影响。我们发现,与Transformer相比,没有信念状态的神经助手能够结合外部知识信息,实现更高的事实准确性得分。在与报告的基线系统相当的设置中,当提供oracle信念状态时,神经助手显著提高了语言生成性能。
2019-10-31 cs.CL cs.LG stat.ML
Latent Reasoning Does Not Lack Signal, It Lacks Invariance: Subspace-Constrained Refinement for Robust Reasoning
发现潜在推理轨迹中存在稳定不变方向,提出TILR方法通过低秩子空间干预提升推理一致性与稳定性。
2026-11-10 cs.AI cs.CG cs.LG
Improved Exploration through Latent Trajectory Optimization in Deep Deterministic Policy Gradient
Arizona State University(亚利桑那州立大学);Google DeepMind(谷歌DeepMind)
深度确定性策略梯度(DDPG)等无模型强化学习算法通常需要额外的探索策略,特别是当参与者具有确定性时。这项工作评估了使用基于模型的轨迹优化方法用于探索深度确定性策略梯度时,训练的潜像嵌入。此外,DDPG的扩展派生使用价值函数作为评论家,利用学习的深度动力学模型来计算策略梯度。这种方法导致深度强化学习算法和潜在轨迹优化器之间的共生关系。轨迹优化器受益于RL算法学习的评论家,后者受益于规划器生成的增强探索。两个连续的控制任务,一个在模拟和一个在现实世界中的方法进行评估。特别是,Baxter机器人被训练来执行插入任务,同时只接收稀疏的奖励和图像作为来自环境的观察。
2019-11-15 cs.AI cs.LG cs.RO
SocialVAE: Human Trajectory Prediction using Timewise Latents
Clemson University(克莱姆森大学);Roblox(罗布乐思);CIMAT, A.C.(墨西哥数学研究中心)
预测行人运动对于人类行为分析以及安全高效的人机交互至关重要。然而,尽管取得了重大进展,它仍然是具有挑战性的现有方法来捕捉人类导航决策的不确定性和多模态。在本文中,我们提出了SocialVAE,一种新的人类轨迹预测方法。SocialVAE的核心是一个时间上的变分自编码器架构,该架构利用随机递归神经网络进行预测,结合社会注意力机制和后向后验近似,以更好地提取行人导航策略。我们表明,SocialVAE在几个行人轨迹预测基准上提高了当前最先进的性能,包括ETH/UCY基准,斯坦福无人机数据集和SportVU NBA运动数据集。代码可在:https://github.com/xupei0610/SocialVAE.
2022-07-31 cs.CV cs.LG
LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models
Meta;University of Maryland(马里兰大学);University of Oxford(牛津大学);UC Davis(加州大学戴维斯分校)
本文提出LaVR模型,通过利用大规模4D重建模型的潜在空间中的隐式几何知识,解决视频重绘中几何未条件化模型的空间感知不足和几何条件化模型对深度不准确的依赖问题,实现状态-of-the-art结果。
2026-04-02 cs.CV cs.LG
Trajectory-Constrained Deep Latent Visual Attention for Improved Local Planning in Presence of Heterogeneous Terrain
McGill University(麦吉尔大学)
我们提出了一种奖励预测,基于模型的深度学习方法,具有强制约束的视觉注意力,用于视觉导航任务中的局部规划。我们的方法学习将视觉注意力放在潜像空间中的位置,这些位置遵循车辆控制动作引起的轨迹,以提高规划过程中的预测准确性。注意力模型由特定于任务的损失和额外的冗余约束损失共同优化,允许自适应性,但鼓励正则化结构,以提高泛化能力和可靠性。重要的是,视觉注意力被应用在潜在的特征映射空间,而不是原始图像空间,以促进有效的规划。我们验证了我们的模型在视觉导航任务规划低湍流,无碰撞的轨迹在越野设置和爬山锁定差速器在湿滑的地形。实验涉及随机程序生成的模拟和现实世界的环境。我们发现,与无注意和自注意替代方案相比,我们的方法提高了泛化和学习效率。
2022-05-25 cs.CV cs.LG cs.RO
Three-in-One World Model: Energy-Based Consistency, Prediction, and Counterfactual Inference for Marketing Intervention
Meijo University(名古屋大学)
本文提出三位一体世界模型,利用深度玻尔兹曼机学习消费者特征,通过轻量任务适配器实现一致性评估、预测和反事实推断,展示其在营销干预中的优势。
2026-05-08 cs.AI cs.LG
Ensemble Kalman Variational Objectives: Nonlinear Latent Trajectory Inference with A Hybrid of Variational Inference and Ensemble Kalman Filter
Meiji University(明治大学);Chuo University(中央大学)
变分推断(VI)结合贝叶斯非线性滤波产生潜在的时间序列建模的最先进的结果。最近的大量工作集中在序贯蒙特卡罗(SMC)及其变体上,例如,前向滤波后向模拟(FFBSi)。虽然这些研究取得了成功,严重的问题仍然存在于粒子退化和有偏梯度估计。在本文中,我们提出了Ensemble卡尔曼变分目标(EnKO),VI和集合卡尔曼滤波(EnKF)的混合方法,推断状态空间模型(SSM)。我们提出的方法可以有效地识别潜在的动态,因为它的粒子多样性和无偏梯度估计。我们证明了我们的EnKO优于SMC为基础的方法在预测能力和粒子效率的三个基准非线性系统识别任务。
2021-11-09 cs.LG stat.CO stat.ML
UWM-JEPA: Predictive World Models That Imagine in Belief Space
AgentField AI
针对部分可观测环境,提出UWM-JEPA模型,通过密度矩阵潜变量和酉预测器在信念空间中保持联合状态谱,实现长时域盲推演下的不确定性保持,显著优于向量潜变量基线。
2026-05-25 cs.AI cs.LG cs.RO
RD-JEPA: Predictive latent pretraining for few-trajectory transfer across reaction--diffusion equations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
针对反应-扩散方程代理模型迁移需新模拟数据的问题,提出RD-JEPA自监督预训练架构,在五个系统预训练后适应三个保留系统,用少量轨迹即超越多种基线,实现数据高效迁移。
2026-09-25 cs.AI cs.LG
Trajectory Stitching for Solving Inverse Problems with Flow-Based Models
University College London(伦敦大学学院);University of Cambridge(剑桥大学)
MS-Flow通过轨迹拼接方法优化逆问题求解,减少内存消耗并提升重建质量。
2026-10-02 cs.LG eess.IV
Model Validation of Agentic AI Systems: A POMDP-Based Framework for Belief-State, Forecast, and Policy Validation
Quiota LLC(Quiota公司)
提出基于部分可观测马尔可夫决策过程(POMDP)的智能体AI模型验证框架,将自主决策分解为信息、信念、预测、动作和效用组件独立验证,并通过投资组合管理案例展示其有效性。
2026-06-17 cs.AI cs.LG q-fin.RM
Deep Context Maps: Agent Trajectory Prediction using Location-specific Latent Maps
MIT(麻省理工学院);Toyota Research Institute(丰田研究院)
在本文中,我们提出了一种新的方法,代理运动预测在杂乱的环境。预测智能体运动的主要挑战之一是考虑位置和上下文特定信息。我们的主要贡献是学习上下文映射的概念,以改善预测任务。上下文映射是一组与预测器一起训练的特定于位置的潜在映射。因此,所提出的地图能够捕捉位置上下文超出视觉上下文线索(例如,通常的平均速度和典型轨迹)或预定义的地图图元(如车道和停车线)。我们将上下文地图学习作为一个多任务训练问题,并描述了我们的地图模型及其融入最先进的轨迹预测器。在广泛的实验中,它表明,使用学习地图可以显着提高预测精度。此外,通过提供地图语义的部分知识,可以额外地提高性能。
2020-06-19 cs.CV cs.LG cs.RO
ALBU: An approximate Loopy Belief message passing algorithm for LDA to improve performance on small data sets
Stellenbosch University(斯泰伦博斯大学)
变分贝叶斯(VB)应用于潜在狄利克雷分配(LDA)已成为最流行的方面建模算法。虽然在从大型语料库中提取文本主题方面足够成功,但VB在有限数据的情况下识别方面不太成功。我们提出了一种新的变分的消息传递算法,适用于潜在的狄利克雷分配(LDA),并将其与黄金标准VB和崩溃吉布斯采样。在边缘化导致非共轭消息的情况下,我们使用采样的想法来推导近似更新方程。在共轭成立的情况下,使用循环信念更新(LBU)(也称为Lauritzen-Spiegelhalter)。我们的算法,ALBU(近似LBU),有很强的相似性与可变消息传递(VMP)(这是VB的消息传递变体)。为了在有限数据的情况下比较算法的性能,我们使用了由推文和新闻组组成的数据集。此外,为了执行更细粒度的评估和比较,我们使用模拟,通过Kullback-Leibler散度(KLD)与地面实况进行比较。使用文本语料库和KLD与模拟的一致性措施,我们表明,ALBU学习潜在的分布更准确地比VB,特别是对于较小的数据集。
2022-08-19 cs.CL cs.IR cs.LG
Partially Observed Trajectory Inference using Optimal Transport and a Dynamics Prior
Boston University(波士顿大学);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);IBM Research(IBM研究院)
本文针对部分观测轨迹推断问题,将框架扩展到潜在状态空间模型,提出PO-MFL算法并给出理论保证,实验验证其鲁棒性、指数收敛及优于无潜在基线。
2025-02-26 cs.LG stat.ML
TraLFM: Latent Factor Modeling of Traffic Trajectory Data
Shandong University(山东大学);York University(约克大学);Wilfrid Laurier University(劳里埃大学)
定位装置的广泛使用(例如,GPS)已经产生了大量的人类运动数据,通常以轨迹的形式。了解人类移动模式可以使许多基于位置的应用程序受益。在本文中,我们提出了一种新的生成模型称为TraLFM通过潜在因素建模挖掘人类流动模式的交通轨迹。TraLFM基于三个关键观察:(1)人类移动模式由轨迹中的位置序列反映;(2)人类移动模式因人而异;(3)人类移动模式往往是周期性的,并随时间而变化。因此,TraLFM模型的联合行动的顺序,个人和时间因素在一个统一的方式,并带来了新的视角,许多应用,如潜在因素分析和下一个位置预测。我们在两个真实数据集上进行了深入的实证研究,实验结果证实TraLFM在这些应用中显着优于最先进的方法。
2020-03-16 cs.LG cs.SI stat.ML
Target specific peptide design using latent space approximate trajectory collector
Carnegie Mellon University(卡内基梅隆大学);The Ohio State University(俄亥俄州立大学)
尽管深度学习在从头分子设计中的应用非常普遍且取得了许多成功,但靶向特定蛋白质的肽生成问题仍未解决。这方面的主要障碍是缺乏高质量的训练数据。为了解决这个问题,我们提出了一种新的基于机器学习的肽设计架构,称为潜在空间近似轨迹收集器(LSATC)。它由高度非凸能量景观上的优化轨迹上的一系列采样器组成,该能量景观近似潜在空间中具有所需特性的肽的分布。该过程几乎不涉及人工干预,可以以端到端的方式实施。我们证明了该模型的设计肽延伸靶向β-连环蛋白,一个关键的核效应蛋白参与典型的Wnt信号。当与随机取样器相比时,LSATC可以在$16$乘以更小的四分位距(IQR)中对具有较低结合分数的$36\%$的肽进行取样,并且在$1.4$乘以更小的IQR中对具有较低疏水性的$284\%$的肽进行取样。LSATC也大大优于其他常见的生成模型。最后,我们利用聚类算法从100个LSATC设计的肽中选择4个肽进行实验验证。结果证实,通过LSATC延伸的所有四种肽显示出至少$20.0\%$改善的β-连环蛋白结合,并且与基础肽相比,两种肽显示出结合亲和力的$3$倍增加。
2023-02-02 cs.AI cs.CE cs.LG
NVExplain: Explaining Time Series Forecasting with Latent Trajectory Analysis and Structure-Preserving Surrogates
NVIDIA(英伟达)
该研究提出模型无关的NVExplain框架,通过潜在轨迹分析与结构保持替代模型,提升时间序列预测解释的忠实性与效率,解释具鲁棒性。
2026-08-27 cs.AI cs.LG stat.ML
Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space
研究通过故事理解探讨LLM在概念信念空间中的动态信念更新,发现信念更新可描述为低维结构流形上的轨迹,并能通过简单线性探针预测行为。
2026-05-12 cs.AI cs.CL cs.LG
LaDi-RL: Latent Diffusion Reasoning Prevents Entropy Collapse in Reinforcement Learning
UC San Diego(斯克利普斯海洋研究所);Apple(苹果公司)
本文提出LaDi-RL方法,通过潜在扩散模型生成潜在推理轨迹,解决强化学习中熵崩溃问题,提升代码生成和数学推理性能。
2026-05-17 cs.AI cs.LG
MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models
Pragya Lab, BITS Pilani Goa, India(BITS Pilani 去掉 Goa 的机构名,因为该机构名中包含 'Goa',但根据规则,如果机构已有常见中文名,使用常见中文名。'Pragya Lab, BITS Pilani' 是 BITS Pilani 的一个实验室,因此翻译为 'BITS Pilani 实验室');IIIT Delhi, India(德里印度理工学院);Amazon, USA(美国亚马逊);Meta, USA(美国Meta);Apple, USA(美国苹果)
提出MENTIS框架,通过层间协方差扭转范数、谱扭转诊断和能量-辐射-激活度量,测量偏好对齐在语言模型内部计算中引起的选择性、深度局部的几何结构变化。
2026-06-07 cs.AI cs.CL cs.LG
Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes
AImageLab;University of Modena and Reggio Emilia(摩德纳-雷焦艾米利亚大学);Ammagamma S.r.l.(Ammagamma有限责任公司)
提出基于实例码本低秩更新的VQ-VAEs与扩散模型结合的框架,解决轨迹预测中保真度与多样性平衡问题,在三个基准上达到最先进性能。
2024-08-29 cs.AI cs.CV cs.LG
Trajectory Dynamics in Self-Supervised Learning Latent Space for Audio Deepfake Detection
Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心)
该研究利用自监督学习隐空间的轨迹动力学检测音频深度伪造,通过LSTM预测器与MLP结合的系统在多基准测试中达到最优性能,验证了生理约束可作为检测信号。
2026-08-17 cs.LG cs.SD eess.AS
A Covering Framework for Offline POMDPs Learning using Belief Space Metric
Northwestern University(西北大学)
本文提出一种利用信念空间度量的离线POMDP学习覆盖框架,通过分析价值相关函数的Lipschitz连续性,缓解时间与内存的指数增长,提升样本效率。
2026-03-03 cs.LG math.OC stat.ML
Behavioral Cloning via Search in Video PreTraining Latent Space
University of Eastern Finland(东芬兰大学);University of Bielefeld(比勒费尔德大学);Indian Institute of Technology BHU(印度理工学院(BHU))
本文提出在视频预训练潜在空间中对 BASALT MineRL 专家演示进行邻近搜索的行为克隆方法,使智能体在 Minecraft 中展现类人行为。
2023-04-17 cs.AI cs.CV cs.LG
Real-Time Variational Method for Learning Neural Trajectory and its Dynamics
Stony Brook University(石溪大学);National Institute of Mental Health(美国国家精神卫生研究院);Champalimaud Research(尚帕利莫研究所)
提出指数族变分Kalman滤波器(eVKF),一种在线递归贝叶斯方法,可同时推断潜神经轨迹并学习其动力系统,在合成和真实数据上表现优异。
2023-05-18 cs.LG q-bio.NC stat.ML