Grasp-type Recognition Leveraging Object Affordance
Microsoft（微软公司）；Applied Robotics Research（应用机器人研究部门）
机器人教学中的一个关键挑战是使用单个RGB图像和目标对象名称进行抓取类型识别。在这里，我们提出了一个简单而有效的管道，通过利用每个对象的抓取类型的先验分布来增强基于学习的识别。在流水线中，卷积神经网络（CNN）从RGB图像识别抓取类型。使用先验分布（即，示能表示），其与目标对象名称相关联。实验结果表明，该方法优于CNN的唯一和提供唯一的方法。结果突出的有效性，语言驱动的对象启示，以提高抓取类型的识别机器人教学。
2020-08-26 cs.CV cs.RO
Filling the Pareto-Optimal Front for Affordance Segmentation on Embedded Devices Using RGB-D Cameras
University of Genoa（热那亚大学）；DITEN（DITEN（热那亚大学电子、电信和工程系））
针对嵌入式设备RGB-D相机的affordance分割，提出硬件感知神经架构搜索与专用微调方法，生成平衡泛化性能和硬件需求的帕累托最优解，原型在Jetson Nano上实现实时性能。
2026-07-31 cs.CV cs.LG cs.RO
AffordanceNet: An End-to-End Deep Learning Approach for Object Affordance Detection
Australian Centre for Robotic Vision (ACRV), University of Adelaide（澳大利亚机器人视觉中心（ACRV）、阿德莱德大学）；IIT（意大利理工学院）
我们提出了AffordanceNet，这是一种新的深度学习方法，可以从RGB图像中同时检测多个对象及其启示。我们的AffordanceNet有两个分支：一个目标检测分支，用于对对象进行定位和分类;一个示能表示检测分支，用于将对象中的每个像素分配给其最可能的示能表示标签。所提出的框架采用了三个关键组成部分，有效地处理多类问题的启示面具：一个序列的反卷积层，一个强大的反卷积策略，和一个多任务损失函数。在公共数据集上的实验结果表明，我们的AffordanceNet比最近的最先进的方法有相当大的优势，而其端到端架构允许以每幅图像150 ms的速度进行推理。这使得我们的AffordanceNet非常适合实时机器人应用。此外，我们证明了AffordanceNet在不同的测试环境和实际机器人应用中的有效性。源代码可在https://github.com/nqanh/affordance-net上获得
2018-03-04 cs.CV cs.RO
AffordMatcher: Affordance Learning in 3D Scenes from Visual Signifiers
University of Liverpool（利物浦大学）；AIOZ Ltd.（AIOZ有限公司）；National Tsing Hua University（国立清华大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；University of Western Australia（西澳大学）；Indian Institute of Science（印度科学理工学院）；NVIDIA（英伟达）
本文提出AffordMatcher，通过结合点云和图像实例，利用视觉符号实现更精确的affordance区域识别，基于大规模数据集验证了方法有效性。
2026-03-30 cs.CV
Learning Social Affordance Grammar from Videos: Transferring Human Interactions to Human-Robot Interactions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Fudan University（复旦大学）；Indiana University（印第安纳大学）
在本文中，我们提出了一个通用的框架来学习社会启示语法作为时空与或图（ST-AOG）从RGB-D视频的人类互动，并转移到类人机器人的语法，使实时运动推理的人机交互（HRI）。基于Gibbs抽样，我们的弱监督语法学习可以自动构建一个层次表示的交互与长期联合子任务的代理和短期原子行动的个人代理。基于一个新的RGB-D视频数据集与丰富的人类互动的实例，我们的实验巴克斯特模拟，人类评估，和真正的巴克斯特测试表明，从有限的训练数据学习的模型成功地产生类似人类的行为在看不见的场景，并优于两个基线。
2017-03-01 cs.AI cs.CV cs.RO
Deep Affordance-grounded Sensorimotor Object Recognition
Centre for Research and Technology Hellas（希腊研究与科技中心）；University of Thessaly（色萨利大学）
认知神经科学已经确立，人类对物体的感知构成了一个复杂的过程，其中物体外观信息与关于所谓的物体“启示”的证据相结合，即人类在与它们交互时通常执行的动作类型。这一事实最近激发了“感觉运动”方法来完成具有挑战性的自动对象识别任务，其中两个信息源被融合以提高鲁棒性。在这项工作中，上述范式被采用，超越目前的局限性的感觉运动物体识别研究。具体来说，深度学习范式首次被引入到这个问题中，开发了许多新颖的神经生物学和神经生理学启发的架构，这些架构利用最先进的神经网络以多种方式融合可用的信息源。所提出的方法进行评估，使用一个大型的RGB-D语料库，这是专门收集的感觉运动对象识别的任务，并公开提供。实验结果表明，效用的启示信息的对象识别，实现了高达29%的相对误差减少其列入。
2017-04-10 cs.CV
AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation
The University of Hong Kong（香港大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；The Chinese University of Hong Kong（香港中文大学）；National University of Singapore（新加坡国立大学）；Knowin AI（考拉悠然科技）
提出AffordanceWAM，通过可供性感知的生成式世界动作模型，联合预测未来视觉与动作，利用人类视频实现无需动作标签的机器人操作迁移，并在多个基准上取得一致提升。
2026-10-20 cs.AI cs.CV cs.RO
Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion
Harvard University（哈佛大学）；Cornell Tech（康奈尔科技）；The Hong Kong Polytechnic University（香港理工大学）；Boston College（波士顿大学）
本文提出Mask-Aware Dual Diffusion模型，通过双流扩散同时去噪RGB图像和插入掩码，实现可供性感知的任意对象插入，构建含300万示例的SAM-FB数据集，性能优于现有方法。
2025-04-20 cs.CV
Feature Learning for Interaction Activity Recognition in RGBD Videos
University of Science（科学大学）
本文提出了一种基于特征的人体活动识别方法，该方法从三维视频数据中学习，而不需要结合领域知识。对RGBD相机收集的数据进行的实验产生了优于其他技术的结果。我们的特征编码方法遵循视觉词袋模型，然后我们使用SVM分类器来识别活动。我们不使用骨架或跟踪信息，相同的技术应用于颜色和深度数据。
2015-08-10 cs.CV
Predicting Human Activities Using Stochastic Grammar
University of California, Los Angeles（加州大学洛杉矶分校）；Xi’an Jiaotong University（西安交通大学）
本文提出了一种新的方法来预测未来的人类活动，从部分观察的RGB-D视频。由于人类活动的非马尔可夫性质以及人类与环境之间的复杂关系，使得人类活动预测变得困难。我们使用一个随机语法模型来捕捉事件的组成结构，整合人类的行动，对象，和他们的启示。我们用时空与或图（ST-AOG）来表示事件。ST-AOG由定义在子活动上的时间随机语法和表示子活动的空间图组成，子活动包括人类动作、对象及其启示。未来的子活动预测使用的时间语法和Earley解析算法。然后相应地推断出相应的动作、对象和示能表示标签。大量的实验表明，我们的模型在语义事件解析和未来活动预测方面的有效性。
2017-08-02 cs.CV
Egocentric affordance detection with the one-shot geometry-driven Interaction Tensor
University of Bristol（布里斯托尔大学）
在这篇摘要中，我们描述了最近[4，7]和最新的工作，在视觉感知的3D场景中确定启示。我们的方法建立在这样的假设上，即几何形状本身提供了足够的信息来检测环境中的重要交互可能性。这背后的动机是几何信息与世界上物体所提供的物理相互作用密切相关。该方法使用通用表示来表示日常物品（如杯子或雨伞）与环境之间的交互，以及更复杂的示能表示（如人类坐着或骑着摩托车）。与合成和真实的RGB-D场景的实验表明，该表示能够在新的环境中以快速的速率和从单个（一次性）训练样本预测启示候选位置。确定示能是迈向需要感知周围环境并与之交互的系统的关键一步。我们在这里说明了两种情况下的输出模拟机器人和增强现实设置，都感知以自我为中心的方式。
2019-06-13 cs.CV cs.RO
EGO-TOPO: Environment Affordances from Egocentric Video
UT Austin（德克萨斯大学奥斯汀分校）；Facebook AI Research（Facebook人工智能研究）
第一人称视频自然地将物理环境的使用带到了最前沿，因为它显示了相机佩戴者根据他的意图在空间中流畅地互动。然而，目前的方法在很大程度上将观察到的操作与持久空间本身分离开来。我们介绍了一个模型的环境启示，是直接从自我中心的视频。其主要思想是获得一个以人为中心的物理空间（如厨房）模型，该模型捕获（1）交互的主要空间区域和（2）它们支持的可能活动。我们的方法将空间分解为来自第一人称活动的拓扑图，将自我视频组织成一系列对不同区域的访问。此外，我们展示了如何在多个相关环境中链接区域（例如，来自多个厨房的视频）以获得环境功能的合并表示。在EPIC-Kitterfly和EGTEA+上，我们展示了我们在长视频中学习场景启示和预测未来动作的方法。
2020-03-27 cs.CV
2HandedAfforder: Learning Precise Actionable Bimanual Affordances from Human Videos
Computer Science Department, Technische Universität Darmstadt（德意志联邦共和国达姆施塔特技术大学计算机科学系）
本文提出2HandedAfforder框架，从人类视频中提取双手可供性数据并训练基于VLM的预测模型，实现精确可执行的可供性区域分割，并在机器人操作中验证其有效性。
2025-07-01 cs.CV cs.LG cs.RO
Human Activity Recognition in RGB-D Videos by Dynamic Images
RGB-D视频中的人体活动识别在过去十年中一直是一个活跃的研究课题。然而，在文献中还没有发现用于识别其中多个表演者同时表演的RGB-D视频中的人类活动的努力。在本文中，我们介绍了这样一个具有挑战性的数据集与几个表演者执行的活动。我们提出了一种新的方法来识别人类活动在这样的视频。所提出的方法的目的是通过产生对应于输入视频的动态图像来捕获整个视频的运动信息。我们使用两个并行的ResNext-101分别为RGB视频和深度视频生成动态图像。动态图像仅包含运动信息，因此消除了不必要的背景信息。我们通过神经网络的全连接层分别发送从RGB和深度视频中提取的两个动态图像。所提出的动态图像通过从视频中提取稀疏矩阵来降低识别过程的复杂性。然而，所提出的系统保持所需的运动信息，用于识别活动。所提出的方法已在MSR Action 3D数据集上进行了测试，并显示出与最先进的性能相当的性能。我们还将所提出的方法应用于我们自己的数据集，其中所提出的方法优于最先进的方法。
2018-07-09 cs.CV
NTU RGB+D: A Large Scale Dataset for 3D Human Activity Analysis
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research（资讯通信研究院）
基于深度的人类活动分析的最新方法取得了出色的性能，并证明了3D表示对动作类分类的有效性。目前可用的基于深度和基于RGB + D的动作识别基准有许多限制，包括缺乏训练样本，不同的类标签，相机视图和各种主题。在本文中，我们介绍了一个用于RGB + D人体动作识别的大规模数据集，该数据集包含超过5.6万个视频样本和400万帧，收集自40个不同的主题。我们的数据集包含60个不同的动作类，包括日常，相互和健康相关的动作。此外，我们提出了一种新的递归神经网络结构来模拟每个身体部位的特征的长期时间相关性，并利用它们进行更好的动作分类。实验结果表明，在我们的数据集的建议的跨主题和跨视图评估标准上，应用深度学习方法比最先进的手工制作的特征具有优势。这个大规模数据集的引入将使社区能够应用，开发和适应各种数据饥渴的学习技术，用于基于深度和RGB + D的人类活动分析任务。
2016-04-11 cs.CV
NTU RGB+D 120: A Large-Scale Benchmark for 3D Human Activity Understanding
Nanyang Technological University（南洋理工大学）；Chalmers University of Technology（查尔姆斯理工大学）；Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）；Alibaba Group（阿里巴巴集团）
基于深度的人体活动分析的研究取得了出色的性能，并证明了3D表示的动作识别的有效性。现有的基于深度和基于RGB+ D的动作识别基准具有许多局限性，包括缺乏大规模训练样本，不同类别类别的实际数量，相机视图的多样性，各种环境条件以及各种人类主体。在这项工作中，我们介绍了一个用于RGB+D人体动作识别的大规模数据集，该数据集从106个不同的主题中收集，包含超过11.4万个视频样本和800万帧。该数据集包含120个不同的动作类，包括日常、相互和健康相关的活动。我们评估了一系列现有的3D活动分析方法在该数据集上的性能，并展示了将深度学习方法应用于基于3D的人类动作识别的优势。此外，我们研究了一个新的一次性3D活动识别问题，我们的数据集，并提出了一个简单而有效的部分语义相关性感知（APSR）框架，这产生了有前途的结果识别的新的动作类。我们相信，这个大规模数据集的引入将使社区能够应用、适应和开发各种数据饥渴的学习技术，用于基于深度和RGB+ D的人类活动理解。[The数据集可在以下网址获得：http：//rose1.ntu.edu.sg/Datasets/actions.asp]
2019-06-10 cs.CV
Object-agnostic Affordance Categorization via Unsupervised Learning of Graph Embeddings
University of Leeds（利兹大学）；Tongji University（同济大学）
本文提出一种基于深度信息定性空间表示构建活动图并进行无监督聚类的方法，在类别无关物体和开放式交互下实现可供性分类，实验表明在杂乱场景中仍能获得高V-measure。
2023-03-30 cs.AI cs.CV cs.LG
Shopper Analytics: a customer activity recognition system using a distributed RGB-D camera network
Università Politecnica delle Marche（马尔凯理工大学）；Grottini Lab srl（格罗蒂尼实验室有限公司）
本文的目的是提出一个集成系统，包括一个RGB-D摄像头和一个软件，能够监控购物者在智能零售环境。我们提出了一种创新的低成本智能系统，可以理解购物者的行为，特别是他们与货架上的产品的互动，目的是开发一种自动RGB-D技术的视频分析。摄像机系统检测到人的存在，并明确地识别他们。通过深度框架，系统检测购物者与货架上的产品的交互，并确定是否拾取了产品，或者产品是否被拿走然后放回，最后，是否没有与产品接触。该系统具有成本低、安装方便等优点，实验结果表明，该系统在实际环境中的性能也令人满意。
2015-08-27 cs.CV
GLOVER: Generalizable Open-Vocabulary Affordance Reasoning for Task-Oriented Grasping
AI, HKUST(GZ)（香港科技大学（广州）人工智能学院）；ZJUT（浙江工业大学）；CSE, HKUST（香港科技大学计算机科学与工程系）
提出GLOVER框架，通过微调LLM在RGB特征空间预测视觉可供性，并设计非参数抓取规划器AGE，实现了比SOTA快数十倍的开放词汇任务导向抓取。
2025-05-01 cs.CV cs.RO
RoboPCA: Pose-centered Affordance Learning from Human Demonstrations for Robot Manipulation
Key Laboratory of AI Safety of CAS, Institute of Computing Technology, Chinese Academy of Sciences（中国科学院人工智能安全重点实验室、计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
RoboPCA通过联合预测接触区域和姿态，提升机器人操作中从人类示范中学习空间可及性的性能。
2026-03-08 cs.CV cs.RO
Learning Social Affordance for Human-Robot Interaction
University of California, Los Angeles（加州大学洛杉矶分校）；Indiana University, Bloomington（印第安纳大学伯明顿分校）
在本文中，我们提出了一种方法，机器人学习的社会启示从人类活动的视频。我们在人机交互的背景下考虑这个问题：我们的方法学习人-人（和人-物体-人）交互的结构表示，描述每个代理的身体部位如何相对于彼此移动，以及它们应该保持什么样的空间关系来完成每个子事件（即，次级目标）。这使得机器人能够根据人体运动来推断自己的运动，从而使其能够自然地复制这种交互。我们介绍了社会启示的表示，并提出了一个生成模型的弱监督学习从人类演示视频。我们的方法发现关键步骤（即，潜在的子事件）以及与它们相关联的典型运动，学习应该涉及哪些身体部位以及如何涉及。实验结果表明，我们的马尔可夫链蒙特卡罗（MCMC）的学习算法自动发现语义有意义的互动启示RGB-D视频，这使我们能够生成适当的全身运动的代理。
2016-04-20 cs.AI cs.CV cs.LG
Towards Robust Human Activity Recognition from RGB Video Stream with Limited Labeled Data
Georgia State University（佐治亚州立大学）
基于视频流的人体活动识别近年来受到了广泛的关注。由于缺乏深度信息，与基于RGB-D视频的解决方案相比，基于RGB视频的活动识别性能较差。另一方面，获取深度信息、惯性等是昂贵的，需要特殊的设备，而RGB视频流在普通相机中是可用的。因此，我们的目标是调查是否可以实现类似的，甚至更高的准确性与RGB的唯一模式。在这方面，我们提出了一种新的框架，耦合从RGB视频提取的骨架数据和深度双向长短期记忆（BLSTM）模型的活动识别。训练这种深度网络的一大挑战是有限的训练数据，而探索仅RGB流大大夸大了难度。因此，我们提出了一组算法技术来有效地训练该模型，例如，数据增强、动态帧丢失和梯度注入。实验表明，我们的RGB解决方案超越了最先进的方法，所有利用RGB-D视频流的显着保证金。这使得我们的解决方案可以广泛部署在普通相机上。
2018-12-16 cs.AI cs.CV cs.LG
Synthesizing Long-Term 3D Human Motion and Interaction in 3D Scenes
UC San Diego（加州大学圣地亚哥分校）；UC Berkeley（加州大学伯克利分校）；Shanghai Jiao Tong University（上海交通大学）；NVIDIA（英伟达）
合成三维人体运动在许多图形应用以及理解人体活动中起着重要作用。虽然许多努力已经产生逼真和自然的人体运动，大多数方法忽略了建模的重要性，人的场景交互和启示。另一方面，可供性推理（例如，站在地板上或坐在椅子上）主要是用静态的人体姿势和姿势来研究的，很少用人体运动来解决。在本文中，我们提出了桥梁人体运动合成和场景启示推理。我们提出了一个分层生成框架来合成长期的3D人体运动调节的3D场景结构。在此基础上，我们进一步加强多个几何约束之间的人体网格和场景点云通过优化，以提高真实感的合成。我们的实验表明，显着的改进，在场景中产生自然和物理上合理的人体运动比以前的方法。
2021-06-14 cs.CV
Holistic 3D Scene Parsing and Reconstruction from a Single RGB Image
University of California, Los Angeles（加州大学洛杉矶分校）；International Center for AI and Robot Autonomy (CARA)（国际人工智能与机器人自主中心（CARA））
我们提出了一个计算框架，共同解析一个单一的RGB图像和重建一个整体的3D配置组成的一组CAD模型，使用随机语法模型。具体来说，我们引入了一个整体场景语法（HSG）来表示3D场景结构，其特征在于室内场景的功能和几何空间的联合分布。所提出的HSG捕获室内场景的三个基本且通常潜在的维度：i）潜在的人类背景，描述房间布置的示能表示和功能，ii）场景配置上的几何约束，以及iii）保证物理上合理的解析和重建的物理约束。我们解决这个联合解析和重建问题的分析合成的方式，寻求最大限度地减少输入图像和我们的3D表示生成的渲染图像之间的差异，在空间的深度，表面法线，和对象分割图。由解析图表示的最佳配置使用马尔可夫链蒙特卡罗（MCMC）来推断，该MCMC有效地遍历不可微的解空间，联合优化对象定位、3D布局和隐藏的人类背景。实验结果表明，该算法提高了泛化能力，在三维布局估计、三维目标检测和整体场景理解等方面的性能明显优于现有方法。
2018-08-07 cs.CV
Template co-updating in multi-modal human activity recognition systems
University of Bologna（博洛尼亚大学）
多模态系统在人类活动识别的背景下非常常见;广泛使用的RGB-D传感器（Kinect是最突出的例子）可以访问并行数据流，通常是RGB图像，深度数据，骨架信息。多模态信息的丰富性已在文献中的许多工作中得到了很大程度的利用，而迄今为止尚未研究其增量模板更新的有效性分析。本文的目的是定义一个通用的框架，在多模态系统中，不同的数据源可以提供互补的信息，提高更新过程的有效性，并在同一时间减少不正确的模板修改的概率无监督模板更新。
2019-12-04 cs.CV
THOR: Thermal-guided Hand-Object Reasoning via Adaptive Vision Sampling
Northwestern University（西北大学）
针对可穿戴相机连续处理RGB图像能耗高、数据量大等问题，提出THOR方法，利用热传感自适应采样RGB帧并定位手-物交互区域，仅用3%数据即可达到与全视频相当的识别性能。
2025-07-08 cs.CV
Skeleton Focused Human Activity Recognition in RGB Video
The Hong Kong Polytechnic University（香港理工大学）
数据驱动的方法学习视觉特征的最佳表示，如骨架帧或RGB视频，目前是活动识别的主要范例。虽然已经取得了很大的改进，从现有的单一模式的方法与越来越大的数据集，融合的各种数据模态在特征级很少尝试。在本文中，我们提出了一个多模态特征融合模型，利用骨架和RGB模态来推断人类活动。其目的是通过有效利用不同数据模态之间的互补信息来提高活动识别的准确性。对于骨架模态，我们建议使用图卷积子网络来学习骨架表示。而对于RGB模态，我们将使用RGB视频中的时空感兴趣区域，并从骨架模态中提取注意力特征来指导学习过程。该模型可以通过反向传播算法以端到端的方式单独或统一地训练。NTU-RGB+D和Northwestern-UCLA Multiview数据集的实验结果达到了最先进的性能，这表明所提出的针对RGB模态的基于子驱动的注意力机制增加了不同数据模态之间的相互通信，并为推断人类活动带来了更多的区分特征。
2020-04-29 cs.CV cs.LG eess.IV
Affordance Diffusion: Synthesizing Hand-Object Interactions
Carnegie Mellon University（卡内基梅隆大学）；NVIDIA（英伟达）
提出基于扩散模型的两步生成方法（LayoutNet和ContentNet），从物体RGB图像合成人手交互，能泛化至新物体并预测可供性信息。
2023-05-20 cs.CV cs.RO
Unstructured Human Activity Detection from RGBD Images
Cornell University（康奈尔大学）
能够检测和识别人类活动对于包括个人辅助机器人在内的多种应用至关重要。在本文中，我们执行非结构化的人类活动在非结构化环境中的检测和识别。我们使用RGBD传感器（Microsoft Kinect）作为输入传感器，并根据人体姿势和运动以及图像和点云信息计算一组特征。我们的算法是基于分层最大熵马尔可夫模型（MEMM），它认为一个人的活动组成的一组子活动。我们使用动态规划方法推断出两层图结构。我们测试了我们的算法，检测和识别四个人在不同环境中（如厨房，客厅，办公室等）进行的十二种不同活动，并且即使在训练集中之前没有见过该人时也能实现良好的性能。
2012-02-14 cs.CV cs.RO
Human Activity Recognition using RGB-Event based Sensors: A Multi-modal Heat Conduction Model and A Benchmark Dataset
School of Computer Science and Technology, Anhui University（安徽大学计算机科学与技术学院）；Beijing Institute of Technology（北京理工大学）；University of Chinese Academy of Sciences（中国科学院大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）；School of Computer Science, Peking University（北京大学计算机学院）；School of Electronic and Computer Engineering, Shenzhen Graduate School, Peking University（北京大学深圳研究生院电子与计算机工程学院）
本文针对传统RGB相机在光照不足和快速运动下性能下降的问题，提出结合RGB与事件相机的多模态热传导框架MMHCO-HAR，并构建了包含300类、107,646对视频的大规模基准数据集HARDVS 2.0，实验验证了方法的有效性与鲁棒性。
2025-04-08 cs.AI cs.CV
PhotoHOI: Synthesizing 3D Hand-Object Interactions from a Single RGB Photograph
PhotoHOI从单张RGB照片与开放词汇指令合成3D手-物体交互，通过视觉-语言模型解析任务规格、规划碰撞感知轨迹、学习接触与抓取先验，在GRAB、H2O数据集及真实照片上表现优异。
2026-08-07 cs.CV
Skeleton-based Group Activity Recognition via Spatial-Temporal Panoramic Graph
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Pengcheng Laboratory（鹏城实验室）
针对群体活动识别中RGB模态的挑战及现有关键点方法的局限，提出融合多人骨骼与物体的全景图，通过时空图卷积统一多类型交互建模，MP-GCN在准确率和效率上优于RGB方法。
2024-11-29 cs.CV
Human activity recognition from mobile inertial sensors using recurrence plots
SAMSUNG Research Institute（三星研究院）
惯性传感器目前存在于大多数移动设备中，并且人们在他们的大多数日常活动中使用这种设备。在本文中，我们提出了一种基于惯性传感器的人体活动识别方法，采用递归图（RP）和视觉描述符。所提出的方法的流水线如下：从传感器数据计算RP，从RP计算视觉特征，并在机器学习协议中使用它们。由于RP产生纹理视觉模式，我们将传感器数据分类问题转化为纹理分类问题。基于加速度计数据对人类活动进行分类的实验表明，该方法获得了最高的准确率，优于直接从传感器数据中提取的时域和频域特征。当使用RGB RP时获得最佳结果，其中每个RGB通道对应于独立加速度计轴的RP。
2017-12-05 cs.CV
ETRI-Activity3D: A Large-Scale RGB-D Dataset for Robots to Recognize Daily Activities of the Elderly
Electronics and Telecommunications Research Institute（电子通信研究院）
深度学习是许多现代算法的基础，众所周知，它是数据饥渴的。特别是，很难获得适用于预期应用的数据集。为了应对这种情况，我们引入了一个新的数据集，称为ETRI-Activity 3D，专注于老年人在机器人视图中的日常活动。新数据集的主要特点是：1）从对老年人日常生活的近距离观察中选择实际行动类别; 2）真实的数据汇集，反映机器人的工作环境和服务情况; 3）克服当前3D活动分析基准数据集的局限性的大规模数据集。该数据集包含112，620个样本，包括RGB视频，深度图和骨架序列。在数据采集期间，要求100名受试者进行55项日常活动。此外，我们提出了一种新的网络称为四流自适应CNN（FSA-CNN）。提出的FSA-CNN具有三个主要特性：对时空变化的鲁棒性，输入自适应激活函数，以及传统双流方法的扩展。在实验部分，我们使用NTU RGB+D和ETRI-Activity 3D证实了所提出的FSA-CNN的优越性。此外，两个年龄组之间的域的差异进行了实验验证。最后，扩展FSA-CNN处理多模态数据进行了研究。
2020-03-11 cs.CV cs.RO
Unsupervised Learning of Long-Term Motion Dynamics for Videos
Stanford University（斯坦福大学）
我们提出了一种无监督的表示学习方法，压缩编码的运动依赖的视频。给定来自视频剪辑的一对图像，我们的框架学习预测长期的3D运动。为了降低学习框架的复杂性，我们建议将运动描述为使用RGB-D模态计算的原子3D流序列。我们使用基于递归神经网络的编码器-解码器框架来预测这些流序列。我们认为，为了使解码器重建这些序列，编码器必须学习一个强大的视频表示，捕捉长期的运动依赖性和时空关系。我们证明了我们学习的时间表示在多个模态和数据集（如NTU RGB+D和MSR Daily Activity 3D）上对活动分类的有效性。我们的框架是通用的任何输入模态，即，RGB、深度和RGB-D视频。
2017-04-11 cs.CV
Detect, anticipate and generate: Semi-supervised recurrent latent variable models for human activity modeling
KTH Royal Institute of Technology（KTH皇家理工学院）
成功的人机协作需要人类行为的预测模型。机器人需要能够识别当前的目标和行动，并在给定的背景下预测未来的活动。然而，人类行为的时空序列很难建模，因为潜在的因素，如意图，任务，知识，直觉和偏好决定了每个人的行动选择。在这项工作中，我们引入了半监督变分递归神经网络，它能够a）对潜在因素和可观察特征空间的时间分布进行建模，b）在可用时加入离散标签，如活动类型，以及c）在特征和标签级别上生成可能的未来动作序列。我们在Cornell Activity Dataset CAD-120数据集上评估了我们的模型。我们的模型在活动和启示检测和预测方面都优于最先进的方法。此外，我们展示了未来可能的动作序列的样本是如何与过去的观察一致的。
2018-09-19 cs.CV
Activity-Biometrics: Person Identification from Daily Activities
University of Central Florida（中佛罗里达大学）；Center for Research in Computer Vision（计算机视觉研究中心）
研究日常活动中人员识别问题，提出ABNet框架，通过解耦生物与非生物特征并利用活动先验，在五个数据集上验证了其有效性。
2024-03-26 cs.CV
Can I Pour into It? Robot Imagining Open Containability Affordance of Previously Unseen Objects via Physical Simulations
the Johns Hopkins University（约翰斯·霍普金斯大学）
开口容器，即，无盖容器是人类生活中重要且普遍存在的一类物品。在这封信中，我们提出了一种新的方法，让机器人通过物理模拟“想象”一个以前看不见的物体的开放包容性启示。我们实现我们的想象力的方法上UR 5机械手。机器人使用RGB-D相机自动扫描物体。扫描的3D模型用于开放式可容纳性想象，其通过物理模拟将颗粒滴落到物体上并计算其中保留的颗粒数量来量化开放式可容纳性启示。该量化用于开放式容器与非开放式容器的二元分类（以下称为开放式容器分类）。如果物体被分类为敞开的容器，则机器人再次使用物理模拟进一步想象倒入物体中，以获得用于真实机器人自主倾倒的倾倒位置和取向。我们评估我们的方法对开放的容器分类和自主倾倒的粒状材料的数据集包含130个以前看不见的对象与57个对象类别。虽然我们提出的方法只使用11个对象进行模拟校准（训练），但其开放容器分类与人类判断一致。此外，我们的方法赋予机器人自主倒入数据集中的55个容器的能力，成功率非常高。我们还将其与深度学习方法进行了比较。结果表明，我们的方法实现了与深度学习方法在开放容器分类上相同的性能，并且在自主倾倒上优于它。此外，我们的方法是完全可以解释的。
2021-02-25 cs.AI cs.CV cs.RO
EgoExOR: An Ego-Exo-Centric Operating Room Dataset for Surgical Activity Understanding
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）
EgoExOR是首个融合第一人称和第三人称视角的手术室数据集与基准，包含多模态数据与详细场景图标注，为手术活动理解与下一代临床感知奠定基础。
2025-05-30 cs.CV
A Probabilistic Semi-Supervised Approach to Multi-Task Human Activity Modeling
KTH Royal Institute of Technology（瑞典皇家理工学院）
人的行为是一个连续的随机时空过程，它受语义行为和启示以及潜在因素的制约。因此，基于视频的人类活动建模涉及许多任务，例如推断当前和未来的语义标签，预测未来的连续观察以及想象可能的未来标签和特征序列。在本文中，我们提出了一个半监督概率深度潜变量模型，可以表示离散标签和连续观测以及随时间的潜在动态。这允许模型一次解决多个任务，而无需显式微调。在这里，我们专注于动作分类，检测，预测和预测，以及运动预测和合成的基础上记录与Kinect的三维人体活动数据的任务。我们进一步扩展了模型，以捕获分层标签结构，并对多个实体（如人和对象）之间的依赖关系进行建模。我们的实验表明，我们的人类活动建模的原则性方法可用于检测当前和预测未来的语义标签，并预测和合成未来的标签和特征序列。当将我们的模型与最先进的方法进行比较时，这些方法是专门为例如动作分类而设计的，我们发现我们的概率公式优于这些任务特定的模型。
2019-03-14 cs.CV
Two-Stream Region Convolutional 3D Network for Temporal Activity Detection
UC Berkeley（加州大学伯克利分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）；Boston University（波士顿大学）
我们解决的问题，在连续的，未修剪的视频流的时间活动检测。这是一项艰巨的任务，需要提取有意义的时空特征来捕获活动，准确定位每个活动的开始和结束时间。我们引入了一种新的模型，区域卷积3D网络（R-C3 D），它使用三维全卷积网络编码视频流，然后生成包含活动的候选时间区域，最后将选定的区域分类为特定的活动。由于在建议和分类管道之间共享卷积特征，因此节省了计算。我们进一步提高了检测性能，有效地整合了光流为基础的运动流与原始的RGB流。通过融合不同层次的流和RGB特征图，对双流网络进行联合优化。此外，训练阶段还采用了在线硬示例挖掘策略，以解决任何检测管道中通常观察到的极端前景-背景不平衡问题。我们不是对最终活动分类阶段的候选细分进行随机抽样，而是根据它们的表现对其进行排名，只选择表现最差的细分来更新模型。这改进了模型，而无需大量的超参数调整。在三个基准数据集上进行了广泛的实验，以显示优于现有的时间活动检测方法的性能。我们的模型在THUMOS'14和Charades数据集上实现了最先进的结果。我们进一步证明，我们的模型是一个通用的时间活动检测框架，不依赖于特定的数据集属性的假设，通过评估我们的方法对ActivityNet数据集。
2019-06-05 cs.CV
PERF-Net: Pose Empowered RGB-Flow Net
Google Research（谷歌研究院）
近年来，视频动作识别文献中的许多作品表明，两个流模型（结合空间和时间输入流）是必要的，以实现最先进的性能。在本文中，我们展示了包含另一个基于从每个帧估计的人体姿势的流的好处-特别是通过在输入RGB帧上渲染姿势。乍一看，这个额外的流似乎是多余的，因为人体姿势完全由RGB像素值决定-然而，我们表明（也许令人惊讶），这个简单而灵活的添加可以提供互补的增益。利用这一洞察力，我们提出了一个新的模型，我们称之为PERF-Net（Pose Empowered RGB-Flow Net的缩写），它通过蒸馏技术将这个新的姿势流与标准的RGB和基于流的输入流相结合，并表明我们的模型在许多人类动作识别数据集中的性能大大优于最先进的模型，同时不需要在推理时显式计算流或姿势。提议的姿势流也是ActivityNet Kinetics Challenge 2020获奖解决方案的一部分。
2021-10-20 cs.CV
Pose-conditioned Spatio-Temporal Attention for Human Action Recognition
Univ Lyon, INSA-Lyon, CNRS, LIRIS（里昂大学，里昂国立应用科学学院，法国国家科学研究中心，里昂信息科学与技术实验室）；Laboratoire d’Informatique de l’Université de Tours (EA 6300), INSA Centre Val de Loire（图尔大学信息学实验室，卢瓦尔河谷国立应用科学学院）
我们从多模态视频数据（包括关节姿势和RGB帧）中识别人体动作，并提出了一种双流方法。用卷积模型处理姿态流，该卷积模型将保持来自子序列的数据的3D张量作为输入。一个特定的关节排序，它尊重人体的拓扑结构，确保不同的卷积层对应于有意义的抽象层次。原始RGB流由以来自姿态网络的特征为条件的时空软注意力机制处理。LSTM网络在每个时刻从一组图像位置接收输入。可训练的一瞥传感器提取由姿势流指定的一组预定义位置上的特征，即参与活动的两个人的4只手。外观特征对手部运动和每只手中的物体提供了重要的线索。我们表明，这是很感兴趣的注意力转移到不同的手在不同的时间步骤取决于活动本身。最后，时间注意力机制学习如何随着时间的推移融合LSTM特征。我们在3个数据集上评估了该方法。在最大的人类活动识别数据集NTU-RGB+D以及SBU Kinect Interaction数据集上实现了最先进的结果。在较小的MSR日常活动3D数据集上实现了接近最先进水平的性能。
2017-08-07 cs.CV
InterCap: Joint Markerless 3D Tracking of Humans and Objects in Interaction
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）
人类不断地与日常物体互动以完成任务。为了理解这种相互作用，计算机需要通过摄像机观察全身与场景的相互作用来重建这些相互作用。由于身体和对象之间的遮挡、运动模糊、深度/比例模糊以及手和可抓握对象部分的低图像分辨率，这是具有挑战性的。为了使问题易于处理，社区要么关注相互作用的手，忽略身体，要么关注相互作用的身体，忽略手。GRAB数据集解决了灵巧的全身交互，但使用基于标记的MoCap并且缺乏图像，而BEHAVE捕获了身体对象交互的视频，但缺乏手部细节。我们解决了以前的工作与InterCap，一种新的方法，重建相互作用的全身和对象从多视图RGB-D数据的局限性，使用参数全身模型SMPL-X和已知的对象网格。为了解决上述挑战，InterCap使用了两个关键的观察结果：（i）手和物体之间的接触可以用来改善两者的姿态估计。(ii)Azure Kinect传感器允许我们设置一个简单的多视图RGB-D捕获系统，最大限度地减少遮挡的影响，同时提供合理的相机间同步。通过这种方法，我们捕获了InterCap数据集，其中包含10名受试者（5名男性和5名女性）与10个不同大小和启示的对象进行交互，包括与手或脚的接触。InterCap总共有223个RGB-D视频，产生67，357个多视图帧，每个帧包含6个RGB-D图像。我们的方法为每个视频帧提供伪地面实况体网格和对象。我们的InterCap方法和数据集填补了文献…
2022-10-01 cs.CV
ShaRPy: Shape Reconstruction and Hand Pose Estimation from RGB-D with Uncertainty
Friedrich-Alexander-Universität (FAU) Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；University Hospital Erlangen（埃尔朗根大学医院）
提出ShaRPy，首个基于RGB-D的手部形状重建与姿态追踪系统，通过结合数据驱动对应预测与能量最小化，提供姿态不确定性估计以支持临床决策。
2023-09-12 cs.CV
Learning Task-Oriented Grasping from Human Activity Datasets
Stanford University（斯坦福大学）
我们建议利用真实世界的人类活动RGB数据集来教授机器人任务导向抓取（TOG）。我们开发了一个模型，作为输入的RGB图像和输出的手的姿势和配置，以及对象的姿势和形状。我们遵循的见解，联合估计手和对象的姿态增加准确性相比，估计这些量彼此独立。给定训练好的模型，我们处理RGB数据集以自动获得数据来训练TOG模型。该模型以物体点云作为输入，并输出适合特定任务抓取的区域。我们的消融研究表明，用手部姿势信息训练物体姿势预测器（反之亦然）比没有这些信息的训练更好。此外，我们在真实世界的数据集上的结果表明，我们的方法的适用性和竞争力的国家的最先进的。与机器人的实验表明，我们的方法可以允许机器人上的新对象进行TOG。
2020-05-21 cs.CV cs.RO
Glimpse Clouds: Human Activity Recognition from Unstructured Feature Points
Univ Lyon（里昂大学）；INSA-Lyon（里昂国立应用科学学院）；CNRS（法国国家科学研究中心）；LIRIS（里昂图像与智能信息系统实验室）；INRIA（法国国家信息与自动化研究所）；Université de Tours（图尔大学）；INSA Centre Val de Loire（中央卢瓦尔河谷国立应用科学学院）；University of Guelph（圭尔夫大学）；Vector Institute（向量研究所）
我们提出了一种从RGB数据中识别人类活动的方法，该方法在测试期间不依赖于任何姿势信息，并且在内部不显式计算姿势信息。相反，视觉注意力模块学习预测每帧中的一瞥序列。这些一瞥对应于场景中与分类活动相关的兴趣点。没有空间相干性被强加在一瞥位置上，这使得模块可以自由地探索每帧的不同点，并更好地优化仔细检查视觉信息的过程。跟踪和顺序集成这种非结构化数据是一个挑战，我们通过将一组一瞥与一组经常性的跟踪/识别工作人员分离来解决这个问题。这些工作人员接收一瞥，共同执行后续的运动跟踪和活动预测。这些一瞥被软分配给工人，使用外部存储器模块优化空间，时间和特征空间中的分配的一致性。没有做出任何艰难的决定，也就是说，每个视点都被分配给所有现有的工人，尽管重要性不同。我们的方法在迄今为止最大的人类活动识别数据集上的表现优于最先进的方法; NTU RGB+D数据集，以及较小的人类动作识别数据集Northwestern-UCLA Multiview Action 3D数据集。我们的代码可在https://github.com/fabienbaradel/glimpse_clouds上公开获取。
2018-08-21 cs.CV
3D Human Activity Recognition with Reconfigurable Convolutional Neural Networks
Sun Yat-Sen University（中山大学）；Hefei University of Technology（合肥工业大学）；Harbin Institute of Technology（哈尔滨工业大学）
使用3D/深度传感器理解人类活动在多媒体处理和交互中受到越来越多的关注。这项工作的目标是开发一种新的深度模型，用于从RGB-D视频中自动识别活动。我们将每个人类活动表示为一个类似于视频片段的集合，并学习发现一类活动的时间结构，即如何在分类方面分解活动。我们的模型可以被视为结构化的深度架构，因为它通过引入结构替代方案来扩展卷积神经网络（CNN）。具体来说，我们在视频片段上构建由3D卷积和最大池运算符组成的网络，并在每个卷积层中引入潜变量来操纵神经元的激活。因此，我们的模型在两个方面推进了现有的方法：（i）它直接作用于原始输入（灰度深度数据）来进行识别，而不是依赖于手工制作的特征，以及（ii）模型结构可以动态调整，以考虑人类活动的时间变化，即允许在推理过程中部分激活网络配置。对于模型训练，我们提出了一种EM型优化方法，该方法迭代地（i）通过确定每个训练样本的分解动作来发现潜在结构，以及（ii）通过使用反向传播算法来学习网络参数。我们的方法在具有挑战性的场景中得到了验证，并且优于最先进的方法。此外，还提供了一个大型的RGB-D视频人体活动数据库。
2015-02-01 cs.CV
View-invariant Deep Architecture for Human Action Recognition using late fusion
未知视角下的人体动作识别是一项具有挑战性的任务。我们提出了一个视图不变的深度人类动作识别框架，这是一个新的整合两个重要的动作线索：运动和形状的时间动态（STD）。运动流将动作的运动内容封装为RGB动态图像（RGB-DI），由微调的InceptionV 3模型处理。STD流使用从基于结构相似性指数矩阵（SSIM）的关键深度人类姿势帧中挖掘的基于人类姿势模型（HPM）的视图不变特征来学习动作的长期视图不变形状动态。为了预测测试样本的分数，三种类型的后期融合（最大值，平均值和产品）技术应用于个人流分数。为了验证所提出的新框架的性能，使用跨主题和跨视图验证方案在三个可供参考的基准上进行实验- NUCLA多视图数据集，UWA 3D-II活动数据集和NTU RGB-D活动数据集。我们的算法在准确性、受试者操作特征（ROC）曲线和曲线下面积（AUC）方面显着优于现有的最新技术。
2019-12-08 cs.CV
A Survey of Efficient Regression of General-Activity Human Poses from Depth Images
本文对基于回归的人体姿态估计方法进行了综述。人体姿态估计问题已经得到了深入的研究，并使许多应用从娱乐到培训。传统的方法往往只依赖于彩色图像，不能完全模糊关节的三维位置，特别是在复杂的背景下。随着深度传感器的普及，三维估计的精度有了显著的提高。在本文中，我们给出了一个详细的分析，最先进的人体姿态估计，包括基于深度图像和RGB-D的方法。实验结果表明，他们的优势和局限性，为不同的场景。
2017-09-02 cs.CV
Affinity Contrastive Learning for Skeleton-based Human Activity Understanding
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Electronic, Electrical and Communication Engineering, Univeristy of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；Moonshot AI
ACLNet通过引入亲和度度量和动态温度调度，提升基于骨架的人体活动理解的特征判别能力。
2026-02-24 cs.CV
General Flow as Foundation Affordance for Scalable Robot Learning
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qi Zhi Institute（上海期智研究院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
提出利用大规模RGBD人类视频数据集训练语言条件的3D flow预测模型，为零样本人机技能迁移提供可操作指导，无需微调即取得81%成功率。
2024-09-23 cs.AI cs.CV cs.RO
Human Activity Recognition for Edge Devices
University of California San Diego（加利福尼亚大学圣地亚哥分校）
随着大量Kinetics（400和600）数据的发布，视频活动识别最近获得了很大的动力。I3 D和C3 D网络等架构在活动识别方面表现出了最先进的性能。这些最先进的网络的一个主要缺陷是它们需要大量的计算。在本文中，我们将探讨如何实现与这些最先进的边缘设备网络相媲美的结果。我们主要探索两种架构-I3 D和时间段网络。我们表明，可以实现可比的结果，通过改变测试程序使用十分之一的内存使用。我们还报告了Resnet架构作为我们的骨干的结果，除了原始的Inception架构。具体地说，我们实现了84.54%的前1名的准确性UCF-101数据集上使用仅RGB帧。
2019-03-18 cs.CV
Human activity recognition from skeleton poses
Plymouth University（普利茅斯大学）
人类动作识别是人机交互的一项重要任务，因为机器人和人类之间的合作需要人工智能体识别来自环境的复杂线索。一种很有前途的方法是使用经过训练的分类器，通过从传感器的图像或RGB-D数据中提取的骨架姿势序列来识别人类动作。然而，由于许多不同的数据集集中在略微不同的动作集和不同的算法上，因此不清楚哪种策略对于在家庭环境中执行的室内活动产生最高的准确度。本工作讨论，测试和比较经典的算法，即支持向量机和k-近邻，2个类似的分层神经气体的方法，需要时增长的神经气体和增长的神经气体。
2019-08-20 cs.CV
