ATI-VLA: Action-Centric Predictive Vision-Language-Action Models via Actionable Alignment Then Adaptive Injection
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Institute for Artificial Intelligence, Great Bay University(大湾区大学人工智能研究院);Shenzhen Loop Area Institute(深圳河套学院);Macao Polytechnic University(澳门理工大学);Shenzhen Technology University(深圳技术大学);Dongguan Key Laboratory for Intelligence and Information Technology(东莞市智能与信息技术重点实验室)
针对预测式VLA模型因模态错位和优化冲突而性能不佳的问题,提出ATI-VLA框架,通过共享码本对齐表示并自适应注入预测潜在变量,在仿真和真实任务上达到最先进性能且收敛更快。
2026-10-02 cs.CV
Unifying Object-Centric World Models and Diffusion Policy: A Hierarchical Framework for Multi-Stage Robotic Tasks
Tandon School of Engineering, New York University(纽约大学坦登工程学院);Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所);AMI Labs(AMI实验室)
提出WorldDP分层框架,结合高层世界模型进行运行时子目标优化和低层扩散策略执行,利用对象中心表示解耦环境实体,实现多阶段机器人操作任务的有效规划与执行。
2026-10-08 cs.AI cs.RO
Multirotor Ensemble Model Predictive Control I: Simulation Experiments
Massachusetts Institute of Technology(麻省理工学院)
针对高度非线性问题传统方法保真度降低的缺陷,提出完全非线性前向模型结合集成 Gaussian process 后向计算的 EMPC 方法,仿真验证其在四旋翼控制中有效且易于实现。
2023-05-22 cs.LG cs.RO cs.SY
Robust Predictive Motion Planning by Learning Obstacle Uncertainty
Linköping University(林雪平大学);Imperial College London(帝国理工学院);Lund University(隆德大学)
针对动态环境中不确定障碍物导致规划保守的问题,提出在线学习障碍物控制集以计算非保守可达集,并设计鲁棒模型预测控制器生成安全轨迹,经仿真与硬件实验验证。
2025-01-20 cs.RO cs.SY eess.SY
Intrinsic Physical Concepts Discovery with Object-Centric Predictive Models
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出PHYCINE系统,通过以对象为中心的预测模型在无监督条件下自下而上地发现质量和电荷等内在物理概念,提升因果推理任务表现。
2023-04-09 cs.CV
Neuro-Symbolic Forward Reasoning
TU Darmstadt(达姆施塔特工业大学);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心);Hessian Center for AI (hessian.AI)(黑森人工智能中心)
推理是人类智能的重要组成部分,因此一直是人工智能研究的长期目标。随着最近深度学习的成功,将推理与深度学习系统相结合,即,神经符号人工智能已经成为一个主要的兴趣领域。我们提出了神经符号前向推理(NSFR),一种新的方法,推理任务利用可微的前向链接使用一阶逻辑。其核心思想是将可微前向链推理与以对象为中心的(深度)学习相结合。可微前向链推理平滑地计算逻辑蕴涵,即,它以可微的方式从给定的事实和规则中推导出新的事实。以对象为中心的学习方法将原始输入分解为对象的表示。因此,它允许我们提供一个一致的框架来执行从原始输入的前向链接推理。NSFR将原始输入分解为以对象为中心的表示,将其转换为概率基础原子,最后使用加权推理规则执行可微前向链推理。我们的全面的实验评估对象为中心的推理数据集,二维Kandinsky模式和三维CLEVR-Hans,和各种任务显示了我们的方法的有效性和优势。
2021-10-18 cs.AI cs.CV cs.LG
Ego-centric Predictive Model Conditioned on Hand Trajectories
本文提出一个以手部轨迹为条件的统一二阶段预测框架,通过连续状态建模和因果交叉注意力引导潜在扩散模型,在自我中心场景中联合预测未来动作并生成视觉结果,在Ego4D、BridgeData和RLBench上优于现有基线。
2025-08-28 cs.CV
WorldSplat: Gaussian-Centric Feed-Forward 4D Scene Generation for Autonomous Driving
Nankai University(南开大学);Nanjing University, Suzhou(南京大学苏州校区)
WorldSplat提出前馈4D场景生成框架,结合4D感知扩散模型与视频细化,生成时空一致的多轨迹驾驶视频,解决生成与重建的矛盾。
2025-10-16 cs.CV
F4Splat: Feed-Forward Predictive Densification for Feed-Forward 3D Gaussian Splatting
KAIST(韩国国立科学技术院);Korea University(韩国大学)
本文提出F4Splat,通过面向前馈3D高斯点绘制的预测密集化方法,引入基于密集度指导的分配策略,实现自适应的空间复杂度和多视角重叠的高斯点分配,减少冗余并提升重建质量。
2026-09-04 cs.CV
Multi-Object Manipulation via Object-Centric Neural Scattering Functions
Fudan University(复旦大学);Stanford University(斯坦福大学);Toyota Research Institute(丰田研究院)
针对多物体交互场景表示及光照影响下操作建模难的问题,提出在模型预测控制框架中用以物体为中心的神经散射函数做物体表示,结合逆参数估计与图神经动力学模型,提升了多物体环境下控制性能与泛化能力。
2023-06-14 cs.AI cs.CV cs.LG
KINet: Unsupervised Forward Models for Robotic Pushing Manipulation
University of Minnesota(明尼苏达大学)
本文提出无监督关键点交互网络KINet,利用视觉观测学习对象关键点图表示和动作条件前向模型,实现机器人推动操作中的可规划对象中心表示与准确前向预测。
2023-08-05 cs.CV cs.LG cs.RO
Deep Object-Centric Representations for Generalizable Robot Learning
UC Berkeley(加州大学伯克利分校);OpenAI
复杂开放世界场景中的机器人操作需要可靠的物理操作技能和有效且可推广的感知。在本文中,我们提出了一种方法,其中通用预训练的视觉模型作为学习策略的感知系统的以对象为中心的先验。我们设计了一个对象级的注意力机制,可以用来确定相关的对象从一些轨迹或演示,然后立即将这些对象纳入一个学习的政策。任务无关的元注意力定位场景中可能的对象,任务特定的注意力识别哪些对象是预测的轨迹。任务特定的注意力的范围很容易调整,通过显示演示与干扰对象或不同的相关对象。我们的研究结果表明,这种方法表现出良好的泛化在对象实例使用很少的样本,并可用于学习各种操作任务,使用强化学习。
2017-09-26 cs.AI cs.CV cs.RO
GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hunan University(湖南大学);Voyager Research, Didi Chuxing(滴滴出行沃歌研究)
GeoPredict通过引入轨迹级模块和预测3D高斯几何模块,提升VLA模型在3D空间推理中的精度,实验表明其在几何密集和空间要求高的任务中表现优异。
2026-04-07 cs.CV cs.RO
Instance-Aware Predictive Navigation in Multi-Agent Environments
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);ETH Zurich(苏黎世联邦理工学院)
在这项工作中,我们的目标是实现高效的端到端学习的动态多智能体环境中的驾驶策略。在对象级别预测和预测未来事件对于做出明智的驾驶决策至关重要。我们提出了一个实例感知预测控制(IPC)的方法,预测代理之间的相互作用以及未来的场景结构。我们采用了一种新的多实例事件预测模块来估计可能的互动代理在自我为中心的观点,条件是所选择的动作序列的自我车辆。为了决定每一步的动作,我们通过重复采样可能的动作序列,根据预测模块的输出来寻找可以导致安全未来状态的动作序列。我们设计了一个顺序动作采样策略,以更好地利用场景级和实例级的预测状态。我们的方法建立了一个新的艺术状态在具有挑战性的CARLA多智能体驾驶模拟环境中没有专家演示,提供更好的解释性和样本效率。
2021-01-14 cs.CV cs.RO
OCH3R: Object-Centric Holistic 3D Reconstruction
Stanford University(斯坦福大学)
OCH3R提出一种统一框架,从单张RGB图像实现以对象为中心的全局3D重建,通过单次前向传递预测所有对象实例的6D位姿和详细3D重建,提升效率与鲁棒性。
2026-09-15 cs.CV
Object-Centric World Model for Language-Guided Manipulation
本文提出一种基于槽注意力的对象中心世界模型,通过语言指令在紧凑表示空间中预测未来状态,在视觉-语言-运动控制任务中比生成式世界模型具有更高的样本与计算效率。
2025-03-12 cs.AI cs.CV cs.RO
Entity-Centric World Models: Interaction-Aware Masking for Causal Video Prediction
Genentech, Inc.(基因泰克公司)
本文提出IA-JEPA,通过运动中心的自监督掩码策略,优先捕捉物理交互,提升因果推理任务的准确性,并在真实世界动作和物理谜题中验证了其泛化能力。
2026-06-08 cs.CV
Reasoning-Enhanced Object-Centric Learning for Videos
Renmin University of China(中国人民大学);Northeastern University(东北大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出带记忆缓冲的基于槽位时空 Transformer 模块 STATM,通过槽位时空注意力与融合增强视频对象中心模型的推理、预测及 VQA 表现。
2025-02-15 cs.AI cs.CV cs.LG
MVM-IOD: An Industrial Object-Centric Benchmark Dataset for the Evaluation of 3D Reconstruction Methods
Machine Vision Metrology, Institute of Photogrammetry and Remote Sensing, Karlsruhe Institute of Technology, Germany(德国卡尔斯鲁厄理工学院摄影测量与遥感研究所机器视觉计量学)
针对工业场景3D重建评估数据集匮乏的问题,提出MVM-IOD数据集,包含工业对象图像、参考相机位姿和点云,并评估了多种SOTA方法,发现前馈方法对非分布图像敏感。
2026-06-16 cs.CV
Faster Convergence in Deep-Predictive-Coding Networks to Learn Deeper Representations
Naval Surface Warfare Center(海军水面作战中心);US Naval Sea Systems Command(美国海军海上系统司令部);University of Florida(佛罗里达大学)
深度预测编码网络(DPCNs)是分层的生成模型。它们依赖于前馈和反馈连接,以动态和上下文敏感的方式调节刺激的潜在特征表征。DPCNs的一个关键要素是一个前向-后向推理过程,以揭示稀疏,不变的特征。然而,这种推断是一个主要的计算瓶颈。由于学习停滞,它严重限制了网络深度。在这里,我们证明了为什么会出现这种瓶颈。然后,我们提出了一个新的前向推理策略的基础上加速邻近梯度。该策略具有比用于DPCCH的策略更快的理论收敛保证。它克服了学习停滞。我们还证明了它允许构建深度和广度的预测编码网络。这样的卷积网络实现了能够很好地捕捉网络训练对象的整个类别的感受野。与我们实验室以前的非卷积和卷积DPCCH相比,这改进了特征表示。它产生的无监督对象识别超过了卷积自动编码器,并与以监督方式训练的卷积网络相当。
2021-09-24 cs.AI cs.CV cs.NE
Dynamic Tiling: A Model-Agnostic, Adaptive, Scalable, and Inference-Data-Centric Approach for Efficient and Accurate Small Object Detection
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);AI Affinity LLC(AI Affinity有限责任公司)
本文提出动态切块方法,通过动态重叠率、切块最小化器和大小目标过滤机制,在模型无关的前提下高效解决小目标检测中的碎片化问题,并显著降低计算开销、提升检测精度。
2023-09-20 cs.AI cs.CV
Provably Learning Object-Centric Representations
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学)
本文分析了无监督学习以对象为中心表示的条件,提出组合性与不可约性假设,证明可逆组合推理模型可识别对象表示,并在合成数据上验证了理论对现有模型的预测力。
2023-05-23 cs.CV cs.LG
Visual Reasoning in Object-Centric Deep Neural Networks: A Comparative Cognition Approach
Instituto de Alta Investigación, Universidad de Tarapacá(塔拉帕卡大学高等研究院);School of Psychological Science, University of Bristol(布里斯托大学心理学院)
本研究采用比较认知领域难度各异的任务,测试多种以对象为中心的模型与ResNet-50基线的视觉关系学习与泛化能力,发现前者简单任务表现更优但难任务仍存不足,表明抽象视觉推理仍是深度神经网络的待解挑战。
2024-02-20 cs.CV
Reconstructing Is Not Acting: Action-Centric Latent Dynamics Modeling
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Beihang University(北京航空航天大学)
针对潜在行动模型重建误差与行动质量不匹配的问题,提出以行动为中心的ACT-LAM框架,通过行动查询IDM和行动令牌FDM强化行动提取与利用,在VP$^2$基准上以更低开销提升成功率7.6%。
2026-09-15 cs.CV
Better Slots, Better Worlds: Representation Quality & Robustness in Object-Centric World Models
该研究通过受控实验分析以对象为中心的世界模型,发现槽质量与规划成功率正相关,槽绑定良好时可减少辅助输入,且在分布偏移下其鲁棒性优于LeWM,预训练特征是鲁棒性关键因素。
2026-08-13 cs.AI cs.CV cs.LG
LSRM: High-Fidelity Object-Centric Reconstruction via Scaled Context Windows
Meta Reality Labs Research(Meta现实实验室)
LSRM通过扩展上下文窗口提升3D重建精度,采用高效粗到细流程和3D感知空间路由机制,实现高质量纹理和外观恢复,优于现有最先进方法。
2026-07-24 cs.AI cs.CV
Gaze-Regularized VLMs for Ego-Centric Behavior Understanding
HKU Musketeers Foundation Institute of Data Science, The University of Hong Kong(香港大学穆凯特基金会数据科学研究所,香港大学)
本文提出一种基于目光调节的视觉语言模型框架,通过整合目光信息提升以自身为中心的行为理解能力,实验结果显示在语义得分上提升了近13%。
2026-03-24 cs.CV
Learning Visual Predictive Models of Physics for Playing Billiards
University of California, Berkeley(加州大学伯克利分校)
计划和执行目标特定的行动在不同的,意想不到的设置的能力是智能代理的核心要求。在本文中,我们将探讨如何为智能体配备外部世界动态的内部模型,以及如何使用该模型通过运行多个内部模拟(“视觉想象”)来计划新的行动。我们的模型直接处理原始视觉输入,并使用一种新的以对象为中心的预测公式,该公式基于以对象为中心的视觉瞥见(固定)来执行学习的物理定律的平移不变性。智能体通过与不同环境的随机交互来收集训练数据,然后所产生的模型可以用于在智能体以前从未见过的新环境中规划目标导向的行动。我们证明,我们的代理可以准确地计划行动,玩模拟台球游戏,这需要推动一个球到目标位置或与另一个球碰撞。
2016-01-19 cs.CV
Object-Centric Stereo Ranging for Autonomous Driving: From Dense Disparity to Census-Based Template Matching
本文提出一种综合立体测距系统,结合密集BM/SGM视差、基于census的目标中心模板匹配和单目几何先验,实现实时测距。核心贡献是新的基于census的目标中心模板匹配算法,通过GPU加速稀疏立体匹配,提升远距离测距鲁棒性。
2026-04-09 cs.CV
Protecting Feed-Forward Networks from Adversarial Attacks Using Predictive Coding
Cheriton School of Computer Science(谢里顿计算机科学学院);University of Waterloo(滑铁卢大学)
针对现有对抗防御依赖模型修改或大量对抗样本的问题,本研究提出将预测编码网络作为预处理步骤集成到前馈网络中,在MNIST、CIFAR10上分别实现约82%、65%的鲁棒性提升,为增强分类器安全性提供新方案。
2024-10-31 cs.AI cs.CR cs.CV
Boundary-Centric Clip-Budgeted Active Learning for Temporal Action Segmentation
University of California, Berkeley(加州大学伯克利分校)
提出B-ACT框架,通过边界中心监督策略,在有限标注预算下优先标注动作边界帧,显著提升时间动作分割的标签效率,在多个数据集上超越现有方法。
2026-06-15 cs.CV
World-as-Graph: Relational World Modeling Through Latent Space Graphs
RMIT University(皇家墨尔本理工大学);Monash University(莫纳什大学);KStelrix(KStelrix公司);The University of Melbourne(墨尔本大学)
提出世界即图(WAG),一种基于图的对象中心世界模型,通过关系感知结构归纳和对象中心记忆转换,在JEPA框架中引入关系归纳偏置,实现显式关系建模与自回归预测,在视觉推理和机器人操作任务中表现优越。
2026-10-01 cs.CV cs.LG
Evaluating glioma growth predictions as a forward ranking problem
Erasmus MC(伊拉斯姆斯大学医学中心)
肿瘤生长预测的问题是具有挑战性的,但有希望的结果已经取得了模型驱动和统计方法。在这项工作中,我们提出了一个框架的增长预测,侧重于空间渗透模式的评估,特别是评估未来增长的预测。我们建议框架的问题作为一个排名问题,而不是分割问题。使用平均精度作为度量,我们可以在使用完整时空预测的同时使用分割来评估结果。此外,通过将模型拟合优度与未来预测性能分离,我们表明,在某些情况下,模型参数的更好拟合并不能保证更好的预测能力。
2021-03-22 cs.CV cs.LG eess.IV