TONAV: Task-Oriented Navigation and Action-Velocity Chunk Learning for Articulated Object Quadrupedal Mobile Manipulation
School of Artificial Intelligence and Robotics, Hunan University(湖南大学人工智能与机器人学院);National Engineering Research Center of Robot Visual Perception and Control Technology, Hunan University(湖南大学机器人视觉感知与控制技术国家工程研究中心);College of Semiconductors (College of Integrated Circuits), Hunan University(湖南大学半导体学院(集成电路学院))
该研究针对四足移动操作中导航与操作的耦合问题,提出TONAV框架,结合任务导向导航与动作-速度块学习,通过遥操作、视觉语言推理及速度监督实现更优的操作性能。
2026-09-07 cs.CV cs.RO
Structure from Action: Learning Interactions for Articulated Object 3D Structure Discovery
Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
本文提出SfA框架,通过选择信息量大的交互并结合3D感知,准确分割、重建未见铰接物体的部件几何并推断关节参数,在未见类别上显著优于现有方法。
2023-04-07 cs.CV
A Non-structural Representation Scheme for Articulated Shapes
Middle East Technical University(中东技术大学)
为了表示关节形状,作为替代的结构化模型的基础上表示部分层次结构的图形,我们提出了一个基于像素的清晰度措施。它的空间分布产生一个分区的形状成一组区域,其中每个区域表示通过大小归一化的概率分布的独特性。在不施加任何结构关系的零件,成对形状相似性制定为各自的区域之间的最优分配的成本。匹配是通过匈牙利算法允许一些不匹配的区域。所提出的相似性度量的上下文中聚类的一组形状。在三个铰接形状数据集上获得的聚类结果表明,即使我们没有明确建模组件关系,我们的方法也可以与利用组件图或树的最新方法相媲美。
2018-07-30 cs.CV
Opening the Sim-to-Real Door for Humanoid Pixel-to-Action Policy Transfer
NVIDIA;UC Berkeley(加州大学伯克利分校);CMU(卡内基梅隆大学);CUHK(香港中文大学)
本文提出了一种基于教师-学生-Bootstrap框架的人形机器人仿真到现实策略转移方法,通过分阶段重置探索策略和GRPO微调程序,实现了在多样化可动物体交互任务中的高效零样本性能。
2025-11-30 cs.CV cs.RO
Behavior Discovery and Alignment of Articulated Object Classes from Unstructured Video
University of Edinburgh(爱丁堡大学);Google(谷歌)
我们提出了一个自动系统,用于组织一个关节对象类(如老虎,马)的非结构化视频的集合的内容。通过利用视频中该类的重复运动模式,我们的系统:1)识别其特征行为; 2)在不同实例中恢复像素到像素的对齐。我们的系统可以用于组织视频集合进行索引和检索。此外,它可以是一个平台,学习的外观或行为的对象类从互联网视频。传统的监督技术无法直接利用这些丰富的数据,因为它们需要大量耗时的手动注释。行为发现阶段生成时间视频间隔,每个时间视频间隔自动修剪为所发现行为的一个实例,按类型聚类。它依赖于我们的新的运动表示关节运动的基础上的位移的有序对轨迹(PoTs)。对齐阶段将类的数百个实例对齐到很高的精度,尽管外观变化很大(例如成年老虎和幼崽)。它使用一个灵活的薄板样条变形模型,可以随时间变化。我们在一个新的、完全注释的数据集上仔细评估了我们系统的每一步。在行为发现方面,我们优于最先进的改进DTF描述符。在空间对齐方面,我们优于流行的SIFT Flow算法。
2016-08-11 cs.CV
ManipGPT: Is Affordance Segmentation by Large Vision Models Enough for Articulated Object Manipulation?
CFCS, School of Computer Science, Peking University(计算机学院,北京大学);PKU-Agibot Lab(北京大学AGIBOT实验室)
本文提出ManipGPT框架,利用大型预训练ViT和9.9k图像数据集进行部件级可供性分割,结合阻抗适应策略,实现铰接物体在模拟和现实中的有效操作。
2025-10-09 cs.CV cs.RO
From Articulated Kinematics to Routed Visual Control for Action-Conditioned Surgical Video Generation
SJTU(上海交通大学);NUS(国立新加坡大学);THU(清华大学);EIT(欧洲研究所);WHU(武汉大学);Harvard(哈佛大学);NVIDIA(NVIDIA公司);CUHK(香港大学)
本文提出一种运动学至视觉提升范式,通过五种图像对齐的控制模态生成动作条件化外科视频,采用分层路由框架提升控制精度与效率,构建新基准并验证方法有效性。
2026-09-28 cs.CV
Adaptive Articulated Object Manipulation On The Fly with Foundation Model Reasoning and Part Grounding
Beijing University of Posts and Telecommunications(北京邮电大学);School of Computer Science, Peking University(北京大学计算机学院);School of EECS, Peking University(北京大学电子工程学院)
本文提出 AdaRPG 框架,利用基础模型进行部件提取、可供性推理与机制推理,结合部件级数据集和原语技能控制,实现机器人对未见类别铰接物体的自适应操作泛化。
2025-07-24 cs.CV cs.RO
ArtiBench and ArtiBrain: Benchmarking Generalizable Vision-Language Articulated Object Manipulation
University of Science and Technology of China(中国科学技术大学);Technical University of Munich(慕尼黑技术大学)
ArtiBench和ArtiBrain通过统一高层推理与自适应低层控制,提升可操纵物体操作的鲁棒性和泛化能力。
2025-11-27 cs.CV cs.RO
ArtMesh: Part-Aware Articulated Mesh Fields with Motion-Consistent Dynamics
University of California San Diego(加州大学圣地亚哥分校);University of North Texas(北卡罗来纳州立大学)
ArtMesh通过构建基于网格的可微渲染基础,实现了从多视角图像中重建可变形物体的连接三角网格,并在100个新基准数据集上超越了现有3DGS方法。
2026-05-15 cs.CV
Rodrigues Network for Learning Robot Actions
MIT(麻省理工学院);Stanford University(斯坦福大学);UC Berkeley(加州大学伯克利分校)
本文提出罗德里格斯网络,通过引入运动学先验知识提升机器人动作学习性能,验证了其在动作预测和手部重建中的有效性。
2026-04-22 cs.CV cs.RO
ArtSplat: Feed-Forward Articulated 3D Gaussian Splatting from Sparse Multi-State Uncalibrated Views
Seoul National University(首尔国立大学);Sogang University(成均馆大学);NAVER AI Lab(NAVER AI实验室)
提出首个前馈框架ArtSplat,通过稀疏多视图跨多个关节状态,一次性重建几何和关节参数,引入逐像素关节图表示和跨状态注意力机制,在PartNet-Mobility上实现400倍加速。
2026-05-23 cs.AI cs.CV
Act the Part: Learning Interaction Strategies for Articulated Object Part Discovery
Columbia University(哥伦比亚大学);Allen Institute for AI(艾伦人工智能研究所)
人们经常使用物理直觉时,操纵关节对象,不管对象的语义。出于这一观察,我们确定了一个重要的具体任务,代理人必须发挥与对象恢复其部分。为此,我们引入行为的一部分(AtP)学习如何与关节对象进行交互,以发现和分割他们的作品。通过耦合动作选择和运动分割,AtP能够隔离结构,使感知部分恢复可能没有语义标签。我们的实验表明,AtP学习有效的策略,部分发现,可以推广到看不见的类别,并能够条件推理的任务。虽然在模拟中进行了训练,但我们在没有微调的情况下展示了令人信服的转移到现实世界的数据。
2021-05-03 cs.CV
RigGS: Rigging of 3D Gaussians for Modeling Articulated Objects in Videos
City University of Hong Kong(香港城市大学);University of Science and Technology of China(中国科学技术大学)
针对视频中关节物体建模需兼顾新视角合成与可编辑驱动的问题,提出RigGS范式,结合3D高斯与骨架运动表示,通过骨架感知变形、可学习蒙皮与姿态细节变形,无需模板先验即可实现高质量新视角渲染与新动作生成。
2025-03-21 cs.CV
Learning Environment-Aware Affordance for 3D Articulated Object Manipulation under Occlusions
CFCS, School of CS, PKU(计算机学院,北京大学);School of EECS, PKU(电子工程系,北京大学);University of Oxford(牛津大学);National Key Laboratory for Multimedia Information Processing, School of CS, PKU(多媒体信息处理国家重点实验室,计算机学院,北京大学)
提出环境感知可供性框架,结合物体先验与环境约束,通过对比学习解决遮挡复杂性导致的组合爆炸,实现从单一遮挡到复杂遮挡的泛化。
2025-09-16 cs.AI cs.CV cs.RO
RPMArt: Towards Robust Perception and Manipulation for Articulated Objects
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学);Hefei University of Technology(合肥工业大学)
本文提出RPMArt框架,通过RoArtNet从噪声点云中鲁棒估计关节参数与可负担点,并结合关节感知分类实现零样本仿真到真实迁移,在关节式物体操作任务中取得最先进性能。
2024-09-28 cs.AI cs.CV cs.RO
LASR: Learning Articulated Shape Reconstruction from a Monocular Video
Carnegie Mellon University(卡内基梅隆大学);Google Research(谷歌研究院)
从视频或图像集合中进行刚性结构的三维重建已经取得了显着的进展。然而,由于其约束不足的性质,从RGB输入重建非刚性结构仍然具有挑战性。虽然基于模板的方法,如参数化形状模型,在建模已知对象类别的“封闭世界”方面取得了巨大的成功,但它们不能很好地处理新颖对象类别或离群形状的“开放世界”。在这项工作中,我们引入了一种无模板的方法来从单个视频中学习3D形状。它采用了一种分析合成策略,向前渲染对象的轮廓,光流,和像素值与视频观察,生成梯度,以调整相机,形状和运动参数进行比较。在不使用特定类别的形状模板的情况下,我们的方法忠实地从人类,动物和未知类别的对象的视频中重建非刚性3D结构。代码将在lasr-google.github.io上提供。
2021-05-06 cs.CV cs.GR
ArtLang: Structured Language-to-Kinematics Grounding for Articulated 3D Actuation
University of California San Diego(加利福尼亚大学圣迭戈分校);University of North Texas(北得克萨斯大学)
研究针对铰接物体控制的语义匿名问题,提出ArtLang框架,通过语义-运动学铰接图等技术实现开放词汇语言控制,经多类实验验证了可靠的语言绑定与连续铰接控制能力。
2026-08-18 cs.CV
Generalizable Articulated Object Perception with Superpoints
University of Science and Technology of China(中国科学技术大学);Hefei University of Technology(合肥工业大学);China Agricultural University(中国农业大学);National Institute of Technology, Durgapur(杜尔加尔国家理工学院);Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
本文提出一种基于超点的感知方法,利用可学习的部件感知超点生成技术与2D基础模型SAM的分割能力,结合基于查询的transformer解码器,显著提升了铰接物体3D点云的部件分割精度。
2024-12-21 cs.AI cs.CV
Self-Supervised Learning of Action Affordances as Interaction Modes
University of Toronto(多伦多大学);Vector Institute(向量研究所);ETH Zurich(苏黎世联邦理工学院);Nvidia(英伟达);Samsung(三星)
本文提出一种无监督学习方法,利用模拟器深度传感器学习关节式物体的交互模式先验,其生成模型可覆盖人类主要交互方式、超越现有 affordance 学习方法,并能泛化到新物体及快速微调为目标条件模型。
2023-05-27 cs.CV cs.RO
PWM-ArtGen: Part World Model for Articulated Object Generation
School of Computer Science and Engineering, Sun Yat-sen University, China(计算机科学与工程学院,中山大学)
提出部分世界模型PWM-ArtGen,通过联合学习视觉动态和运动学参数,利用无标注数据协同训练,实现从单张图像生成铰接3D物体,在静止状态和零样本泛化上显著优于现有方法。
2026-07-03 cs.CV
PixelVLA: Advancing Pixel-level Understanding in Vision-Language-Action Model
University of Trento(特伦托大学);School of Automation Science and Engineering, South China University of Technology(华南理工大学自动化科学与工程学院);Mohamed bin Zayed University of Artificial Intelligence(马尔代夫人工智能大学);Australian National University(澳大利亚国立大学)
PixelVLA通过引入多尺度像素感知编码器和视觉提示感知编码器,提升视觉-语言-动作模型的像素级理解和多模态提示能力,在三个基准和两个模型变体中提升了10.1%-28.7%的操控成功率。
2026-03-21 cs.CV cs.RO
New Graph-based Features For Shape Recognition
Shahid Beheshti University(沙希德·贝赫什提大学)
形状识别是计算机视觉中最具挑战性的问题。不同的方法和工具被用来解决这个问题。大多数现有的物体识别方法都是基于像素的。基于像素的方法取决于像素的几何形状和性质,因此像素的破坏会降低其性能。本文研究了图的形状识别能力。我们构建一个图,捕捉对象的拓扑和几何属性。然后,使用其顶点的坐标和关系,我们提取的特征是鲁棒的噪声,旋转,尺度变化,和关节。为了评估我们的方法,我们提供了不同的比较与国家的最先进的结果在各种已知的基准,包括Kimia的,Tari56,Tetrapod,和铰接数据集。我们提供了我们的方法对不同的变化进行分析。结果证实了我们的性能,特别是对噪音。
2019-09-08 cs.CV
Full-Body Articulated Human-Object Interaction
Peking University(北京大学);Beijing Institute of General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Tsinghua University(清华大学)
本文构建大规模全身铰接式人-物交互数据集CHAIRS,并提出利用人体姿态与交互先验估计铰接物体位姿和形状的模型,在多种设置下显著优于基线。
2023-12-18 cs.CV
DragAPart: Learning a Part-Level Motion Prior for Articulated Objects
University of Oxford(牛津大学)
DragAPart通过在合成数据集Drag-a-Move上微调预训练图像生成器,学习部件级运动先验,实现对铰接对象的拖拽交互响应,并展现出优于现有方法的部件级运动理解与泛化能力。
2024-07-28 cs.CV
Toward Parts-Based Scene Understanding with Pixel-Support Parts-Sparse Pictorial Structures
SUNY at Buffalo(纽约州立大学布法罗分校)
场景理解仍然是计算机视觉界的一个重大挑战。视觉心理物理学文献已经证明了场景各部分之间相互依赖的重要性。然而,计算机视觉中的大多数方法仍然是局部的。图像结构作为一种基本的基于部分的模型已经出现在一些视觉问题中,例如铰接式目标检测。然而,经典的图像结构的形式限制了它们对全局问题的适用性,例如语义像素标记。在本文中,我们提出了一个扩展的图像结构的方法,称为像素支持部分稀疏图像结构,或PS3,以克服这一限制。我们的模型扩展了经典的形式在两个方面:第一,它定义的部分直接基于像素的支持,而不是在一个参数的形式,第二,它指定了一个空间的似是而非的部分为基础的场景模型,并允许一个被用于任何给定的图像上的推理。PS3在统一场景元素的对象级和像素级建模方面取得了长足的进步。在本报告中,我们实现了模型的前半部分,并依赖外部知识为给定图像提供初始图结构。我们在基准数据集上的实验结果证明了这种新的基于部件的场景建模视图的能力。
2011-08-20 cs.CV stat.ML
Pixel Motion as Universal Representation for Robot Control
Stony Brook University(石溪大学)
本文提出双系统视觉-语言-动作框架 LangToMo,以可从视频弱监督学习的像素运动为通用中间表示,连接语言条件生成与机器人动作映射。
2025-08-28 cs.CV cs.RO
BSL-1K: Scaling up co-articulated sign language recognition using mouthing cues
University of Oxford(牛津大学);University College London(伦敦大学学院);Deafness, Cognition and Language Research Centre(聋症、认知与语言研究中心)
最近在细粒度手势和动作分类以及机器翻译方面的进展,指出了自动手语识别成为现实的可能性。在实现这一目标方面取得进展的一个关键障碍是缺乏适当的训练数据,这是由于标志注释的高度复杂性和合格注释者的供应有限。在这项工作中,我们介绍了一种新的可扩展的方法来数据汇集的标志识别连续视频。我们利用弱对齐字幕和关键字识别方法,在1,000小时的视频中自动定位1,000个标志的词汇。我们做出了以下贡献:(1)我们展示了如何使用来自签名者的口形线索来从视频数据中获得高质量的注释-结果是BSL-1 K数据集,一个前所未有的英国手语(BSL)标志的集合;(2)我们证明了我们可以用BSL-1 K来训练强标志识别模型,这些模型还为其他手语和基准提供了出色的预训练-我们在MSASL和WLASL基准上都超过了最先进的水平。最后,(3)我们提出了新的大规模评估集的任务的标志识别和标志发现,并提供基线,我们希望这将有助于刺激在这一领域的研究。
2021-10-13 cs.CV
From Pixels to Executable Physics: Behavior-Grounded World Models for Embodied Action Consequence Prediction
针对四足机器人户外动作结果预测难题,提出结合机器人-地形接触动力学的DR-WM模型,其在物理指标上优于基线,搭配8B视觉语言模型可提升动作选择性能。
2026-10-14 cs.CV cs.RO
H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions
Mitsubishi Electric Corporation(三菱电机公司);Massachusetts Institute of Technology(麻省理工学院);Mitsubishi Electric Research Labs(三菱电机研究实验室)
世界上充满了难以单独从视觉确定如何使用的铰接对象,例如,门可以向内或向外打开。人类处理这些物体的策略是试错:首先推一扇门,如果不起作用,就拉一拉。我们使这些能力在自主智能体提出“假设,模拟,行动,更新和重复”(H-SAUR),概率生成框架,同时生成一个分布的假设对象如何表达给定的输入观察,捕捉确定性的假设随着时间的推移,并推断出合理的行动探索和目标条件的操纵。我们将我们的模型与现有的工作进行比较,在PartNet-Mobility数据集上进行了一些探索操作后操纵对象。我们进一步提出了一个新的PuzzleBoxes基准,其中包含锁定的盒子,需要多个步骤来解决。我们表明,所提出的模型显着优于当前国家的最先进的铰接对象操作框架,尽管使用零训练数据。我们进一步提高了测试时间的效率H-SAUR通过整合一个学习之前从基于学习的视觉模型。
2022-10-22 cs.AI cs.CV cs.RO
Action Images: End-to-End Policy Learning via Multiview Video Generation
UMass Amherst(马萨诸塞大学阿默斯特分校);NVIDIA(英伟达);Harvard University(哈佛大学);Genesis AI
本文提出Action Images,通过多视图视频生成实现策略学习,利用像素化的动作表示,使视频模型本身成为零样本策略,提升视频-动作联合生成质量。
2026-04-15 cs.CV cs.RO
Goal2Pixel: Grounding Goals to Pixels for Vision-Language Navigation
Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
提出Goal2Pixel范式,通过将连续环境中的视觉语言导航(VLN-CE)重新定义为可导航像素锚定,利用图像平面作为统一空间接口,预测可见导航像素并反投影为3D航点,结合可见性感知关键帧记忆和坐标感知辅助损失,在减少VLM调用次数的同时实现竞争性性能。
2026-10-28 cs.CV cs.RO
End-to-End Pixel-Based Deep Active Inference for Body Perception and Action
Technical University of Munich(慕尼黑工业大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
我们提出了一种基于像素的深度主动推理算法(PixelAI),其灵感来自人体感知和动作。我们的算法将神经科学中的自由能原理(植根于变分推理)与深度卷积解码器相结合,以扩展算法,直接处理原始视觉输入,并提供在线自适应推理。我们的方法是通过研究身体感知和行动在一个模拟和一个真正的Nao机器人进行验证。结果表明,我们的方法允许机器人执行1)动态身体估计其手臂只使用单目摄像机图像和2)自主达到“想象”的手臂姿势在视觉空间。这表明,机器人和人体的感知和行动可以有效地解决看作是一个积极的推理问题的指导下进行感官输入。
2020-05-29 cs.AI cs.CV cs.LG
Action Map Policy: Learning 3D Closed-loop Manipulation via Pixel Classification
Northeastern University(东北大学);Stanford University(斯坦福大学);Brown University(布朗大学)
研究针对机器人学习中动作空间的挑战,提出动作映射策略(AMP),将3D闭环操作策略学习转为图像空间分类问题,通过投影动作到图像平面,以像素为类别控制维度,实现高精度、快速推理,实验证明其优于基线。
2026-07-14 cs.AI cs.CV cs.LG
Perceive, Predict, and Plan: a Unified World Action Model for Egocentric Dexterous Manipulation
HKUST (GZ)(香港科技大学(广州));Primatix;ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);HKUST(香港科技大学);University of St. Gallen(圣加仑大学)
该研究提出P³-WAM统一世界动作模型,通过三种互补模式实现自我中心灵巧操作,经统一训练后在多任务上优于专门基线,提升了规划等能力。
2026-10-23 cs.CV cs.RO
MoWM: Mixture-of-World-Models for Embodied Planning via Latent-to-Pixel Feature Modulation
Tsinghua University(清华大学);Manifold AI;Shanghai Jiao Tong University(上海交通大学)
MoWM通过融合潜在世界模型与像素特征,提升具身规划中动作解码的精度与泛化能力。
2026-02-10 cs.CV
World2Act: Latent Action Post-Training from World Model Dynamics
MBZUAI
提出World2Act框架,通过潜在空间对齐世界模型动力学与动作嵌入,避免像素级监督,在仿真和真实机器人上提升VLA策略的成功率。
2026-05-29 cs.CV
Beyond Pixels: Leveraging the Language of Soccer to Improve Spatio-Temporal Action Detection in Broadcast Videos
Centre for Robotics, Mines Paris - PSL(机器人中心,巴黎 Mines - PSL 高等学院);Footovision(Footovision 公司)
本文提出通过引入去噪序列转换任务,利用足球战术规律提升广播视频中时空动作检测的精度和召回率。
2025-05-14 cs.CV
I2E: From Image Pixels to Actionable Interactive Environments for Text-Guided Image Editing
Huazhong University of Science and Technology(华中科技大学);Kuaishou Technology(快手科技);Central China Normal University(华中师范大学);Tsinghua University(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
I2E提出一种'分解-然后-行动'范式,通过分解器将无结构图像转换为可操作的对象层,并利用物理感知的视觉-语言-行动代理进行复杂指令解析,同时构建I2E-Bench基准测试集,实验表明其在处理复杂组合指令和保持物理合理性方面优于现有方法。
2026-04-07 cs.CV
From Pixels to UI Actions: Learning to Follow Instructions via Graphical User Interfaces
Google DeepMind(谷歌DeepMind);Google(谷歌)
本文提出基于像素截图与通用键鼠动作空间的 GUI 智能体,并借助像素预训练首次在 MiniWob++ 上超越人类众包工作者。
2023-12-06 cs.CL cs.CV cs.HC
Multimodal Multipart Learning for Action Recognition in Depth Videos
Nanyang Technological University(南洋理工大学);Institute for Infocomm Research(资讯通信研究院);City University of Hong Kong(香港城市大学)
人类行为的清晰和复杂的本质使得行为识别的任务变得困难。处理这种复杂性的一种方法是将其划分为身体部位的动力学,并基于这些部分描述符分析动作。我们提出了一种基于联合稀疏回归的学习方法,该方法利用结构化稀疏度将每个动作建模为来自稀疏身体部位集合的多模态特征的组合。为了表示零件的动态和外观,我们采用了一组异构的深度和骨架为基础的功能。通过提出的分层混合范数将多模态多部分特征的适当结构公式化到学习框架中,以正则化每个部分的结构化特征并在它们之间应用稀疏性,有利于组特征选择。我们的实验结果揭示了所提出的学习方法的有效性,在所有三个测试数据集中,它优于其他方法,同时通过实现完美的精度饱和其中之一。
2015-07-31 cs.CV
Part-based Graph Convolutional Network for Action Recognition
IIIT Hyderabad(海得拉巴国际信息技术学院)
人类的动作包括关节连接的身体部位的联合运动或“手势”。人体骨架直观地表示为一个稀疏图,其中关节为节点,它们之间的自然连接为边。图卷积网络已被用于从骨架视频中识别动作。我们引入了一个基于部分的图卷积网络(PB-GCN),为这项任务,可变形的基于部分的模型(DPM)的启发。我们将骨架图划分为四个子图,它们之间共享关节,并使用基于部分的图卷积网络学习识别模型。我们表明,这样的模型提高了识别性能,相比使用整个骨架图的模型。而不是使用3D关节坐标作为节点功能,我们表明,使用相对坐标和时间位移提高性能。我们的模型在两个具有挑战性的基准数据集NTURGB+D和HDM 05上实现了最先进的性能,用于骨骼动作识别。
2018-09-13 cs.AI cs.CV
AgentSTAR: Agentic Shape Tracking and Reconstruction from Monocular Videos
Amazon FAR (Frontier AI and Robotics)(亚马逊前沿人工智能与机器人部门)
本文提出AgentSTAR方法,利用视觉-语言模型智能体通过分析-合成循环从单目视频重建和跟踪物体形状与位姿,在ARCTIC和HOT3D数据集上超越现有基线。
2026-09-22 cs.AI cs.CV
VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model
University of Science and Technology of China(中国科学技术大学);Zhongguancun Academy, Beijing, China(中关村学院);Shanghai Jiao Tong University(上海交通大学);Tsinghua University(清华大学);Eastern Institute of Technology, Ningbo(宁波东部科技研究院);University of Chinese Academy of Sciences(中国科学院大学);Nankai University(南开大学)
VLA-JEPA通过潜在世界模型提升视觉-语言-动作模型的泛化与鲁棒性,采用无泄露状态预测和两阶段训练策略。
2026-02-14 cs.CV cs.RO
Focusing and Diffusion: Bidirectional Attentive Graph Convolutional Networks for Skeleton-based Action Recognition
Shanghai Jiao Tong University(上海交通大学);University of California, Los Angeles(加州大学洛杉矶分校);Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所)
一系列基于图卷积网络的方法通过探索邻域信息和帧内关节之间的密集依赖关系,在基于卷积的动作识别中取得了成功。然而,这些方法通常忽略了时空全局上下文以及帧间和帧内的局部关系。在本文中,我们提出了一种聚焦和扩散机制,以提高图卷积网络关注的运动学依赖性的关节的人体姿势在一个帧和他们的隐式依赖帧。在聚焦过程中,我们引入了一个注意力模块来学习帧内关节上的潜在节点,以传达空间上下文信息。通过这种方式,可以很好地捕获帧中关节之间的稀疏连接,而整个序列上的全局上下文通过这些具有双向LSTM的隐藏节点进一步捕获。在扩散过程中,学习到的时空上下文信息被传递回空间关节,导致双向注意图卷积网络(BAGCN),可以促进基于动作的动作识别。在具有挑战性的NTU RGB+D和Queton-Kinetics基准上进行的大量实验证明了我们方法的有效性。
2019-12-24 cs.CV cs.LG cs.RO
TTF-VLA: Temporal Token Fusion via Pixel-Attention Integration for Vision-Language-Action Models
针对VLA模型逐帧处理丢失时间信息的问题,提出无需训练的TTF方法,通过双维度检测选择性融合历史与当前视觉表示,在多个数据集和真实任务中提升推理性能,且模型无关,还为KQV矩阵重用提供新方向。
2025-11-14 cs.AI cs.CV cs.LG
Conceptualization of seeded region growing by pixels aggregation. Part 1: the framework
Adams和Bishop在1994年提出了一种新的区域生长算法,称为种子区域生长像素聚合(SRGPA)。本文介绍了一个框架,实现一个算法使用SRGPA。这个框架是建立在两个概念:本地化和组织的应用行动。这种概念化的方法可以快速实现算法,实现数学思想和数值实现之间的直接转换,提高算法的效率。
2008-06-24 cs.CV
HyWorldVLA: A Vision-Language-Action Model with Hybrid World Modeling for Autonomous Driving
Automotive New Technology Research Institute, BYD Company Limited(比亚迪汽车新技术研究院)
研究针对自动驾驶中视觉-语言-动作模型的不足,提出HyWorldVLA框架,统一像素级监督与潜在表征学习。预训练阶段预测视频潜在并重建帧,微调阶段预测潜在特征生成轨迹,实验表明其性能优于基线,还建立了世界模型噪声鲁棒性评估新基准。
2026-07-24 cs.AI cs.CV
From Pixels to Privacy: Temporally Consistent Video Anonymization via Token Pruning for Privacy Preserving Action Recognition
Aalborg University(奥尔堡大学);Aarhus University(奥胡斯大学);Poineer Centre for AI(先锋人工智能中心);University of Southern Denmark(南丹麦大学);Milestone System(Milestone系统公司)
本文提出一种基于注意力机制的时空视频匿名化框架,通过分离效用和隐私特征,实现对隐私保护的行动识别。
2026-03-27 cs.CV
Actor and Action Video Segmentation from a Sentence
University of Amsterdam(阿姆斯特丹大学)
本文致力于视频内容中演员及其动作的像素级分割。不同于现有的作品,这一切都学习分割从一个固定的词汇表的演员和动作对,我们推断的分割从一个自然语言输入句子。这允许区分同一超类别中的细粒度参与者,识别参与者和动作实例,以及参与者和动作词汇表之外的分段对。我们提出了一个全卷积模型,用于像素级演员和动作分割,使用针对视频优化的编码器解码器架构。为了展示从句子中分割演员和动作视频的潜力,我们扩展了两个流行的演员和动作数据集,其中包含超过7,500个自然语言描述。实验表明,质量的广告引导分割,我们的模型的泛化能力,其优势,传统的演员和动作分割相比,国家的最先进的。
2018-03-20 cs.CV
RoboEXP: Action-Conditioned Scene Graph via Interactive Exploration for Robotic Manipulation
Peking University(北京大学);National University of Singapore(新加坡国立大学);Columbia University(哥伦比亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司)
本研究提出交互式场景探索任务与RoboEXP系统,融合LMM和显式记忆,让机器人自主探索并构建动作条件场景图,可高效支撑多种真实世界物体操作任务。
2024-10-08 cs.AI cs.CV cs.LG
On Encoding Temporal Evolution for Real-time Action Prediction
Queensland University of Technology(昆士兰科技大学);Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);University of Maryland(马里兰大学)
预测未来的行动是智能的关键组成部分,特别是当它应用于实时的【形】系统时,如机器人或自动驾驶汽车。虽然最近的工作已经解决了原始RGB像素值的预测,我们专注于预测未来视频帧中的运动演变。为此,我们构建动态图像(DI)通过总结未来帧序列的移动像素。我们训练一个卷积LSTM,以基于无监督学习过程预测下一个DI,然后识别与预测的DI相关的活动。我们在3个基准动作数据集上证明了我们的方法的有效性,表明尽管在具有复杂活动的视频上运行,我们的方法仍然能够高精度地预测下一个人类动作,并获得比最先进的方法更好的结果。
2018-02-08 cs.CV
From Pixels to States: Rethinking Interactive World Models as Game Engines
Alaya Lab(阿亚实验室)
本文从玩家动作控制等四个维度审视交互式游戏世界建模,分析现有方法优缺点,还为《黑神话:悟空》提供可扩展数据引擎,收集相关游戏资源用于状态感知建模,助力推动交互式游戏世界发展。
2026-07-16 cs.CV
Modeling Temporal Dynamics and Spatial Configurations of Actions Using Two-Stream Recurrent Neural Networks
Center for Research on Intelligent Perception and Computing (CRIPAC)(智能感知与计算研究中心);National Laboratory of Pattern Recognition (NLPR)(模式识别国家重点实验室);University of Chinese Academy of Sciences (UCAS)(中国科学院大学);Center for Excellence in Brain Science and Intelligence Technology (CEBSIT)(脑科学与智能技术卓越创新中心);Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所)
最近,基于骨架的动作识别由于具有成本效益的深度传感器与实时骨架估计算法相结合而越来越受欢迎。传统的基于手工特征的方法仅限于表示运动模式的复杂性。最近的方法,使用循环神经网络(RNN)来处理原始骨架只集中在上下文的时间域的依赖性,而忽略了关节骨架的空间配置。在本文中,我们提出了一种新的两个流RNN架构建模的时间动态和空间配置的骨架为基础的动作识别。我们探索了两种不同的时间流结构:堆栈RNN和层次RNN。层次RNN是根据人体运动学设计的。我们还提出了两种有效的方法来建模的空间结构转换成一个序列的关节的空间图形。为了提高我们的模型的泛化能力,我们进一步利用基于3D变换的数据增强技术,包括旋转和缩放变换,以在训练过程中变换骨架的3D坐标。在3D动作识别基准数据集上的实验表明,我们的方法对各种动作都有相当大的改进,即,通用动作、交互活动和手势。
2017-04-12 cs.CV