ClothPPO: A Proximal Policy Optimization Enhancing Framework for Robotic Cloth Manipulation with Observation-Aligned Action Spaces
East China Normal University(华东师范大学);The Hong Kong University of Science and Technology(香港科技大学)
本文提出 ClothPPO 框架,将布料操作建模为 POMDP,并通过监督预训练与 PPO 在观测对齐的百万级动作空间中增强策略,提升机器人布料展开性能。
2024-05-05 cs.AI cs.CV cs.RO
USEEK: Unsupervised SE(3)-Equivariant 3D Keypoints for Generalizable Manipulation
Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学);Shanghai AI Lab(上海人工智能实验室)
一个机器人可以操纵类内看不见的对象在任意姿势的帮助下,仅仅是一个单一的对象实例上的抓取姿势示范?在本文中,我们试图通过使用USEEK来解决这个有趣的挑战,USEEK是一种无监督的SE(3)-等变关键点方法,可以在类别中的实例之间进行对齐,以执行可推广的操作。USEEK遵循教师-学生结构来解耦无监督关键点发现和SE(3)-等变关键点检测。有了USEEK,机器人可以以有效和可解释的方式推断类别级任务相关的对象框架,从而能够从任何姿势操纵任何类别内对象。通过大量的实验,我们证明了USEEK产生的关键点具有丰富的语义,从而成功地将功能知识从演示对象转移到新的。与其他对象表示的操作相比,USEEK是更自适应的,在面对大的类别内的形状变化,更强大的有限的演示,更有效的推理时间。
2023-02-17 cs.CV cs.RO
KOVIS: Keypoint-based Visual Servoing with Zero-Shot Sim-to-Real Transfer for Robotics Manipulation
Institute for Infocomm Research (IR), A*STAR(A*STAR资讯通信研究院(IR));Institute for High Performance Computing (IHPC), A*STAR(A*STAR高性能计算研究院(IHPC))
我们提出了KOVIS,一种新的学习为基础的,无标定的视觉伺服方法,精细的机器人操作任务与手眼立体摄像机系统。我们只在模拟环境中对深度神经网络进行训练,训练后的模型可以直接用于现实世界的视觉伺服任务。KOVIS由两个网络组成。第一个关键点网络使用自动编码器从图像中学习关键点表示。然后视觉伺服网络根据从摄像机图像中提取的关键点学习运动。这两个网络在模拟环境中通过自监督学习进行端到端的训练,而无需手动数据标记。在使用数据增强、域随机化和对抗性示例进行训练后,我们能够实现zero-shot仿真到现实迁移到现实世界的机器人操作任务。我们证明了所提出的方法的有效性,在模拟环境和现实世界的实验与不同的机器人操作任务,包括抓取,钉孔插入与4mm的间隙,和M13螺钉插入。演示视频可在http://youtu.be/gfBJBR2tDzA上获得
2020-07-28 cs.CV cs.RO
Self-Supervised Learning of Multi-Object Keypoints for Robotic Manipulation
University of Freiburg(弗莱堡大学)
近年来,使用强化或模仿的策略学习方法取得了重大进展。然而,这两种技术仍然存在计算昂贵和需要大量训练数据的问题。这个问题在现实世界的机器人操作任务中尤其普遍,在这些任务中,无法访问地面实况场景特征,而是从原始相机观察中学习策略。在本文中,我们展示了通过密集对应借口任务学习图像关键点的有效性,用于下游策略学习。将先前的工作扩展到具有挑战性的多对象场景,我们表明我们的模型可以被训练来处理表示学习中的重要问题,主要是尺度不变性和遮挡。我们评估我们的方法在不同的机器人操作任务,比较它与其他视觉表示学习方法,并证明其灵活性和有效性的样本效率的策略学习。
2022-10-11 cs.CV cs.RO
KITE: Keypoint-Conditioned Policies for Semantic Manipulation
Stanford University(斯坦福大学)
KITE提出两步框架,利用2D关键点接地指令与参数化技能,实现细粒度语义操作,在真实环境中指令跟随成功率显著优于现有方法。
2023-10-11 cs.CV cs.RO
KINet: Unsupervised Forward Models for Robotic Pushing Manipulation
University of Minnesota(明尼苏达大学)
本文提出无监督关键点交互网络KINet,利用视觉观测学习对象关键点图表示和动作条件前向模型,实现机器人推动操作中的可规划对象中心表示与准确前向预测。
2023-08-05 cs.CV cs.LG cs.RO
The Treachery of Images: Bayesian Scene Keypoints for Deep Policy Learning in Robotic Manipulation
University of Freiburg(弗莱堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出贝叶斯关键点跟踪方法BASK,通过解决图像歧义实现尺度不变关键点跟踪,在遮挡和视野外物体场景下提升机器人操作策略学习的样本效率和鲁棒性。
2023-09-20 cs.AI cs.CV cs.RO
S3K: Self-Supervised Semantic Keypoints for Robotic Manipulation via Multi-View Consistency
University College London(伦敦大学学院);DeepMind(深度思维(DeepMind))
机器人的行动能力从根本上受到它所能感知的东西的限制。视觉表示学习的许多现有方法利用通用训练标准,例如图像重建、潜在空间中的平滑度或用于控制的有用性,或者利用用特定特征(边界框、分割等)注释的大型数据集。然而,这两种方法通常难以捕捉特定对象上的精确任务所需的精细细节,例如抓取和配合插头和插座。我们认为,这些困难来自缺乏这些模型的几何结构。在这项工作中,我们提倡语义3D关键点作为视觉表示,并提出了一个半监督的训练目标,可以允许实例或类别级别的关键点被训练到1-5毫米的精度,最小的监督。此外,与基于局部纹理的方法不同,我们的模型集成了来自大面积的上下文信息,因此对遮挡,噪声和缺乏可辨别的纹理具有鲁棒性。我们证明,这种定位语义关键点的能力,使人类可理解的行为高层次的脚本。最后,我们表明,这些关键点提供了一个很好的方式来定义奖励函数的强化学习,是一个很好的代表性训练代理。
2020-10-13 cs.CV cs.LG cs.RO
Synthetic Data Generation and Vision-based Wrinkle and Keypoint Detection for Bimanual Cloth Manipulation
Department of Engineering, University of Luxembourg(卢森堡大学工程系);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);Université de Lorraine, Arts et Metiers Institute of Technology, LCFC(洛林大学,艺术与工艺技术学院,LCFC)
针对布料操作中视觉感知难题,提出基于Blender的合成数据生成管道和结合CNN与YOLOv8-OpenCV的感知框架,实现褶皱抓取和关键点熨烫,关键点模型平均位置误差1.7615像素。
2026-06-04 cs.CV cs.RO
FUNCTO: Function-Centric One-Shot Imitation Learning for Tool Manipulation
Southern University of Science and Technology(南方科技大学);National University of Singapore(新加坡国立大学);Smart Systems Institute, National University of Singapore(新加坡国立大学智能系统研究院)
针对现有一次性模仿学习方法难以将工具操作技能泛化到同功能新工具的问题,提出以3D功能关键点建立功能对应关系的FUNCTO方法,经真实机器人实验验证其泛化性能更优。
2025-02-21 cs.CV cs.RO
SimNet: Enabling Robust Unknown Object Manipulation from Pure Synthetic Data via Stereo
Toyota Research Institute(丰田研究院);University of California, Berkeley(加州大学伯克利分校)
由于未知物体的形状、材料、排列方式和光照条件的多样性,机器人在非结构化环境中对未知物体的操纵是一个具有挑战性的问题。即使有大规模的真实世界数据汇集,在各种照明条件下对透明和反射物体的鲁棒感知和操纵仍然具有挑战性。为了解决这些挑战,我们提出了一种方法来执行仿真到现实迁移的机器人感知。底层模型SimNet被训练为单个多头神经网络,使用模拟的立体数据作为输入,模拟的对象分割掩模、3D定向边界框(OBB)、对象关键点和视差作为输出。SimNet的一个关键组成部分是结合了一个学习的立体声子网络来预测视差。SimNet在2D汽车检测、未知目标检测和可变形物体关键点检测方面进行了评估,其性能明显优于使用结构光RGB-D传感器的基线。通过使用OBB和关键点预测来推断抓取位置,SimNet可用于在简单和困难的场景中使用我们的丰田HSR机器人在四个家庭环境中对未知物体进行端到端操作。在未知物体抓取实验中,来自基线RGB-D网络和SimNet的预测能够成功抓取大多数容易的物体。然而,RGB-D基线仅抓住35%的硬(例如,透明)对象,而SimNet掌握了95%,这表明SimNet可以在未知环境中对未知对象(包括透明对象)进行鲁棒操作。
2021-06-30 cs.CV cs.LG cs.RO
GeoPredict: Leveraging Predictive Kinematics and 3D Gaussian Geometry for Precise VLA Manipulation
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Hunan University(湖南大学);Voyager Research, Didi Chuxing(滴滴出行沃歌研究)
GeoPredict通过引入轨迹级模块和预测3D高斯几何模块,提升VLA模型在3D空间推理中的精度,实验表明其在几何密集和空间要求高的任务中表现优异。
2026-04-07 cs.CV cs.RO
VisualMimic: Visual Humanoid Loco-Manipulation via Motion Tracking and Generation
Stanford University(斯坦福大学)
针对非结构化环境中类人机器人移动操作的感知与控制整合难题,提出VisualMimic框架,结合第一视角视觉与分层全身控制,实现模拟到现实的零样本迁移,完成多任务并泛化至户外环境。
2025-11-13 cs.CV cs.LG cs.RO
Model-Driven Feed-Forward Prediction for Manipulation of Deformable Objects
Columbia University(哥伦比亚大学)
可变形物体的机器人操作是一个困难的问题,特别是因为物体可以变形的许多不同方式的复杂性。搜索这样的高维状态空间使得识别、跟踪和操纵可变形对象变得困难。在本文中,我们介绍了一种预测,模型驱动的方法来解决这一挑战,使用预先计算,模拟数据库的可变形对象模型。利用重力作用下不同姿态拾取的服装模拟了常见可变形服装的网格模型,并将其存储在数据库中,以实现快速有效的检索。为了验证这种方法,我们开发了一个全面的管道,用于在典型的洗衣任务中处理衣服。首先,该数据库用于在任意位置的服装的类别和姿态估计。实时构建服装的全功能3D模型,然后使用体积特征来获得数据库中最相似的模型,以预测对象类别和姿势。第二,数据库可以通过非刚性配准显著地有益于可变形对象的操纵,提供重建的对象模型和数据库模型之间的准确对应。第三,精确的模型仿真还可以用于优化可变形物体的操纵轨迹,例如服装的折叠。使用各种不同的服装显示了上述任务的广泛实验结果。
2016-07-15 cs.CV cs.GR cs.RO
Learning by Watching: Physical Imitation of Manipulation Skills from Human Videos
University of Toronto(多伦多大学);Vector Institute(矢量研究所);Tianjin University(天津大学);Nvidia(英伟达)
从视觉数据中学习打开了一个潜力,通过利用人类示范,而不是指定每一个数学,而是通过自然的任务规范,积累了大量的操作行为。在本文中,我们提出了通过观看学习(LbW),策略学习的算法框架,通过模仿指定任务的单个视频。我们的方法的关键见解是双重的。首先,由于人类手臂可能不具有与机器人手臂相同的形态,因此我们的框架学习无监督的人到机器人翻译以克服形态不匹配问题。其次,为了捕获对学习状态表示至关重要的显著区域中的细节,我们的模型对翻译的机器人视频进行无监督的关键点检测。检测到的关键点形成包含语义上有意义的信息的结构化表示,并且可以直接用于计算奖励和策略学习。我们评估了我们的LbW框架在五个机器人操作任务上的有效性,包括达到,推动,滑动,咖啡制作和抽屉关闭。广泛的实验评估表明,我们的方法对国家的最先进的方法表现良好。
2021-11-14 cs.CV cs.LG cs.RO
Robotic Fabric Flattening with Wrinkle Direction Detection
Delft University of Technology(代尔夫特理工大学);University of York(约克大学);Honda Research Institute Europe(本田欧洲研究所)
本文提出一种基于Gabor滤波器的图像处理算法用于检测布料褶皱方向,并设计了相应的布料展平策略,实验证明该方法在仿真和真实机器人环境中均能准确识别褶皱方向且除皱效果优于基线方法。
2023-10-26 cs.CV cs.RO
You Only Demonstrate Once: Category-Level Manipulation from Single Visual Demonstration
Intrinsic Innovation LLC(Intrinsic创新有限责任公司);Rutgers University(罗格斯大学)
最近在类别级操作中已经取得了令人满意的结果,这些操作概括了对象实例。然而,它通常需要昂贵的真实世界的数据汇集和手动规范的语义关键点的每个对象类别和任务。此外,粗略的关键点预测和忽略中间动作序列阻碍了在拾取和放置之外的复杂操作任务中的采用。这项工作提出了一种新的,类别级的操作框架,利用以对象为中心的,类别级的表示和无模型的6自由度运动跟踪。规范对象表示仅在模拟中学习,然后用于解析来自单个演示视频的类别级任务轨迹。演示通过规范表示被重新投影到针对新对象定制的目标轨迹。在执行过程中,操作地平线被分解为远程,无碰撞的运动和最后一英寸的操作。对于后一部分,类别级行为克隆(CatBC)方法利用运动跟踪来执行闭环控制。CatBC遵循从演示投影并锚定到动态选择的类别级别坐标框架的目标轨迹。通过局部注意力机制沿着操纵水平线自动选择帧。该框架允许通过仅提供单个演示来教授不同的操作策略,而无需复杂的手动编程。广泛的实验证明了它在高精度装配中一系列具有挑战性的工业任务中的有效性,这些任务涉及学习复杂的、长期的政策。该过程表现出鲁棒性对不确定性,由于动态以及泛化对象实例和场景配置。补充视频可在www.example.com上获得v = WAr8ZY3mYyw
2022-05-06 cs.AI cs.CV cs.RO
Visual IRL for Human-Like Robotic Manipulation
The University of Georgia(佐治亚大学)
提出视觉逆强化学习方法,利用RGB-D关键点作为状态特征,结合神经符号动力学模型实现协作机器人类人操作,在农产品处理和液体倒灌任务中验证了有效性。
2024-12-16 cs.AI cs.CV cs.RO
Semantic State Estimation in Cloth Manipulation Tasks
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(西班牙国家研究委员会-加泰罗尼亚理工大学机器人与工业信息研究所);Halmstad University(哈尔姆斯塔德大学)
由于问题的复杂性和高维性,理解诸如纺织品的可变形对象操作是一个挑战。特别地,缺乏语义状态的通用表示(例如,\textit{crumpled},\textit{diagonally folded})引入了识别操纵类型的障碍。在本文中,我们的目标是解决在布料操作任务的语义状态估计的问题。为此,我们引入了一个新的大规模的完全注释的RGB图像数据集显示不同的复杂的布料操作的各种人类示范。我们提供了一组基线深度网络,并使用我们提出的数据集在语义状态估计问题上对其进行基准测试。此外,我们调查我们的语义状态估计框架的可扩展性在机器人监测任务的长期和复杂的布料操作。
2022-03-22 cs.CV cs.RO
VLMbench: A Compositional Benchmark for Vision-and-Language Manipulation
University of California, Santa Cruz(加州大学圣克鲁兹分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
受益于语言的灵活性和组合性,人类自然会使用语言来命令具体的代理执行复杂的任务,如导航和对象操作。在这项工作中,我们的目标是填补最后一英里的空白体现代理-对象操纵遵循人类的指导,例如,“把红色杯子移到盒子旁边,同时保持它直立。为此,我们引入了一个自动操作求解器(AMSolver)系统,并在此基础上构建了一个视觉和语言操作基准(VLMbench),其中包含分类机器人操作任务的各种语言指令。具体来说,模块化的基于规则的任务模板创建自动生成机器人演示与语言指令,包括不同的对象形状和外观,动作类型和运动约束。我们还开发了一个基于关键点的模型6D-CLIPort来处理多视图观察和语言输入,并输出6个自由度(DoF)动作的序列。我们希望新的模拟器和基准将促进未来的研究语言引导的机器人操作。
2022-08-17 cs.CL cs.CV cs.RO
Combining Self-Supervised Learning and Imitation for Vision-Based Rope Manipulation
University of California, Berkeley(加州大学伯克利分校)
可变形物体的操纵,如绳索和布料,是机器人技术中一个重要但具有挑战性的问题。我们提出了一个基于学习的系统,机器人作为输入的一系列图像的人操纵绳子从初始到目标的配置,并输出一系列的行动,可以重现人类的示范,只使用单目图像作为输入。为了执行这项任务,机器人以自我监督的方式直接从图像中学习绳索操作的像素级逆动力学模型,使用机器人自主收集的绳索进行约60K次交互。人类演示提供了一个高级的计划,该计划是做什么和低级别的逆模型用于执行计划。我们表明,通过结合高层次和低层次的计划,机器人可以成功地操纵绳子成各种目标形状,只使用一系列的人类提供的图像的方向。
2017-03-06 cs.CV cs.LG cs.RO
SoMA: A Real-to-Sim Neural Simulator for Robotic Soft-body Manipulation
Fudan University, China(复旦大学);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室);Shanghai Jiao Tong University, China(上海交通大学);The Chinese University of Hong Kong, China(香港中文大学);The University of Hong Kong, China(香港大学)
SoMA是一种用于机器人软体操作的实-仿真神经模拟器,通过统一的潜在神经空间实现可控、稳定的长周期操作和泛化能力。
2026-07-21 cs.AI cs.CV cs.RO
kPAM-SC: Generalizable Manipulation Planning using KeyPoint Affordance and Shape Completion
Massachusetts Institute of Technology(麻省理工学院)
操作规划是计算机器人轨迹的任务,该轨迹将一组对象移动到其目标配置,同时满足物理可行性。与现有的作品,假设已知的对象模板相比,我们感兴趣的是操纵规划一类对象与潜在的未知实例和大的类别内形状变化。为了实现这一目标,我们需要一个对象表示与操纵规划可以原因的物理可行性和所需的对象配置,同时被推广到新的实例。广泛使用的姿势表示是不合适的,因为从一个固定的模板表示一个对象的参数化变换不能捕捉大的类别内形状变化。因此,我们提出了一种新的混合对象表示的语义关键点和密集的几何(点云或网格)作为感知模块和运动规划器之间的接口。利用基于学习的关键点检测和形状完成方面的进步,可以从原始传感器输入中感知密集的几何形状和关键点。使用建议的混合对象表示,我们制定的操作任务作为一个运动规划问题,编码的对象目标配置和物理可行性的一类对象。以这种方式,许多现有的操纵规划器可以被推广到对象的类别,并且所得到的感知到动作操纵流水线对大的类别内形状变化是鲁棒的。大量的硬件实验表明,我们的流水线可以产生机器人轨迹,完成与以前从未见过的对象的任务。
2019-09-16 cs.CV cs.RO
Self-supervised Cloth Reconstruction via Action-conditioned Cloth Tracking
Carnegie Mellon University(卡内基梅隆大学)
由于织物的高维性和自遮挡性,织物的状态估计是织物处理的最大挑战之一。先前的工作提出通过在仿真中训练网格重建模型来识别起皱衣服的完整状态。然而,由于布料模拟和真实世界之间的差异,这种模型容易遭受模拟到真实的差距。在这项工作中,我们提出了一个自我监督的方法来微调网格重建模型在现实世界中。由于真实世界中很难获得褶皱布料的完整网格,我们设计了一种特殊的数据汇集方案和一种基于动作条件模型的布料跟踪方法,为自监督学习生成伪标签。通过在这个伪标记数据集上对预训练的网格重建模型进行微调,我们证明了我们可以在不需要人工注释的情况下提高重建网格的质量,并提高下游操作任务的性能。
2023-02-19 cs.CV cs.RO
Center Direction Network for Grasping Point Localization on Cloths
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院)
针对布料等可变形物体抓取难、缺乏标准化基准的问题,提出结合中心方向回归的CeDiRNet-3DoF模型,获ICRA 2023挑战赛感知任务第一,并发布含2万张图像的ViCoS Towel Dataset,性能优于现有最优方法。
2024-08-26 cs.CV
Diffusion Dynamics Models with Generative State Estimation for Cloth Manipulation
University of California San Diego(加州大学圣地亚哥分校);Hillbot Inc(Hillbot公司)
针对布料操作中状态估计与动力学建模的难题,提出基于transformer扩散模型的生成式方法,大幅降低长时预测误差,结合模型预测控制实现真实机器人布料折叠。
2025-08-29 cs.CV cs.RO cs.SY
Benchmarking the Sim-to-Real Gap in Cloth Manipulation
Aalto University(阿尔托大学)
本文提出一个开源基准数据集,用于评估织物操控中仿真与现实之间的差距,测试四个主流模拟器的性能与稳定性。
2024-01-25 cs.CV cs.LG cs.RO
BiFold: Bimanual Cloth Folding with Language Guidance
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(工业机器人与计算机研究所,CSIC-UPC)
针对布料折叠的复杂性与标注数据缺失问题,提出BiFold模型,借助预训练视觉语言模型实现语言引导的双臂折叠,构建新型数据集,在基准和新场景下均取得优异性能与强泛化性。
2025-06-16 cs.CV cs.RO
SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation
Shanghai Jiao Tong University(上海交通大学);The Hong Kong University of Science and Technology(香港科技大学);National University of Singapore(新加坡国立大学);Yuandao AI(元岛人工智能);Shanghai AI Lab(上海人工智能实验室)
针对衣物变形多样导致机器人操作难、传统方法扩展性差的问题,提出融合状态感知关键点轨迹与VLM的统一方法,用合成数据集训练,提升了关键点检测精度与任务成功率,为相关应用奠基。
2024-10-07 cs.AI cs.CV cs.RO
A Real-to-Sim-to-Real Approach to Robotic Manipulation with VLM-Generated Iterative Keypoint Rewards
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon(亚马逊公司);Columbia University(哥伦比亚大学)
针对开放世界机器人操作任务规范的挑战,提出基于VLM生成迭代关键点奖励(IKER)的真实-仿真-真实框架,通过动态奖励函数实现多步任务执行、错误恢复和策略调整,提升机器人在动态环境中的操作能力。
2025-02-18 cs.AI cs.CV cs.RO
Vision-Based 6-DoF Grasp Pose Estimation for Robot Cloth Unfolding
Faculty of Computer and Information Science, University of Ljubljana(卢布尔雅那大学计算机与信息科学学院);Jožef Stefan International Postgraduate School(约热夫·斯特凡国际研究生院);Jožef Stefan Institute(约热夫·斯特凡研究所)
针对布料展开中感知模糊与抓取点选择难题,提出CeDiRNet-6DoF框架,联合预测抓取点与6自由度姿态,在ICRA 2024竞赛中达最优性能,为机器人布料操作奠定基础。
2026-09-28 cs.CV cs.RO
ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
提出 ReKep,一种基于3D关键点的视觉约束表示,通过分层优化实时求解机器人动作,并利用视觉语言模型自动生成约束,实现无需任务特定数据的多样化操作。
2024-11-12 cs.AI cs.CV cs.RO
AR-VRM: Imitating Human Motions for Visual Robot Manipulation with Analogical Reasoning
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对视觉机器人操作中多模态数据不足的问题,本文提出AR-VRM方法,通过显式模仿人类手部关键点动作并学习人机类比推理映射,在少样本场景下大幅提升了泛化与操作性能。
2025-08-11 cs.CV cs.RO
Grasp-Oriented Fine-grained Cloth Segmentation without Real Supervision
Institut de Robòtica i Informàtica Industrial, CSIC-UPC(加泰罗尼亚理工大学-西班牙国家研究委员会机器人与工业信息研究所);Imperial College London(帝国理工学院)
从单个深度图像中自动检测可抓握区域是布料操作中的关键因素。布料变形的大变化性促使当前大多数方法专注于识别特定的抓握点而不是语义部分,因为局部区域的外观和深度变化比较大区域更小且更容易建模。然而,像衣服折叠或辅助穿衣这样的任务需要识别更大的片段,例如比点携带更多信息的语义边缘。因此,本文的第一个目标是解决仅使用深度图像的变形衣服中的细粒度区域检测的问题。作为概念的证明,我们实现了一种方法的T恤,并定义了多达6个不同程度的语义区域,包括边缘的领口,袖口,下摆,加上顶部和底部抓点。我们引入了一个基于U网的网络来分割和标记这些部分。我们工作的第二个贡献是关于我们对拟议网络进行训练所需的监督水平。虽然大多数方法通过结合真实和合成注释来学习检测抓握点,但在这项工作中,我们无视合成数据的限制,并提出了一种多层领域自适应(DA)策略,该策略根本不使用真实注释。我们彻底评估了我们的方法在用细粒度标签注释的T恤的真实深度图像上。我们表明,仅用合成数据训练我们的网络和建议的DA产生的结果与在真实数据上训练的模型竞争。
2021-10-06 cs.CV
Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos
本文提出结合大规模基础模型与点跟踪技术,从人类视频中提取操作轨迹,以实现更高效的数据收集和机器人学习。
2025-11-03 cs.CV cs.RO
FAKER: Full-body Anonymization with Human Keypoint Extraction for Real-time Video Deidentification
Nana Co., LTD.(娜娜有限公司)
本研究提出了一种基于人体关键点提取和姿态估计的小型模型方法,实现视频中个人的实时全身匿名化,有效去除肤色和体型等识别信息,同时保留位置与姿态信息,可无缝集成至CCTV或IP摄像机系统。
2024-08-06 cs.CV cs.LG eess.IV
Semi-automatic 3D Object Keypoint Annotation and Detection for the Masses
Autonomous Systems Lab, ETH Zürich(苏黎世联邦理工学院自主系统实验室)
创建计算机视觉数据集需要仔细规划以及大量的时间和精力。在机器人研究中,我们经常需要使用标准化的对象,例如YCB对象集,用于对象跟踪、姿态估计、抓取和操纵等任务,因为这些对象有数据集和预先学习的方法。这限制了我们研究的影响,因为基于学习的计算机视觉方法只能用于现有数据集支持的场景。在这项工作中,我们提出了一个完整的对象关键点跟踪工具包,包括从数据汇集,标记,模型学习和评估的整个过程。我们提出了一种半自动的方式收集和标记数据集使用手腕安装在一个标准的机器人手臂上的相机使用我们的工具包和方法,我们能够获得一个工作的3D对象关键点检测器,并通过整个过程的数据汇集,注释和学习在短短几个小时的活动时间。
2022-01-19 cs.CV cs.RO
FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis
CFCS, School of Computer Science, Peking University(计算机学院,北京大学)
本文提出一种合成服装数据集,通过关键点驱动的资产和演示合成,学习通用的服装折叠闭环策略,提升现实世界成功率25%。
2026-03-19 cs.CV cs.RO
Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出KIS-GMM方法,通过学习3D关键点结合模仿与强化学习,使机器人在无需新真实数据下实现零样本泛化并快速适应新环境。
2023-10-23 cs.AI cs.CV cs.LG