AR-VRM: Imitating Human Motions for Visual Robot Manipulation with Analogical Reasoning
Wangxuan Institute of Computer Technology, Peking University(北京大学计算机技术研究院);State Key Laboratory of General Artificial Intelligence, Peking University(北京大学通用人工智能国家重点实验室)
针对视觉机器人操作中多模态数据不足的问题,本文提出AR-VRM方法,通过显式模仿人类手部关键点动作并学习人机类比推理映射,在少样本场景下大幅提升了泛化与操作性能。
2025-08-11 cs.CV cs.RO
S3K: Self-Supervised Semantic Keypoints for Robotic Manipulation via Multi-View Consistency
University College London(伦敦大学学院);DeepMind(深度思维(DeepMind))
机器人的行动能力从根本上受到它所能感知的东西的限制。视觉表示学习的许多现有方法利用通用训练标准,例如图像重建、潜在空间中的平滑度或用于控制的有用性,或者利用用特定特征(边界框、分割等)注释的大型数据集。然而,这两种方法通常难以捕捉特定对象上的精确任务所需的精细细节,例如抓取和配合插头和插座。我们认为,这些困难来自缺乏这些模型的几何结构。在这项工作中,我们提倡语义3D关键点作为视觉表示,并提出了一个半监督的训练目标,可以允许实例或类别级别的关键点被训练到1-5毫米的精度,最小的监督。此外,与基于局部纹理的方法不同,我们的模型集成了来自大面积的上下文信息,因此对遮挡,噪声和缺乏可辨别的纹理具有鲁棒性。我们证明,这种定位语义关键点的能力,使人类可理解的行为高层次的脚本。最后,我们表明,这些关键点提供了一个很好的方式来定义奖励函数的强化学习,是一个很好的代表性训练代理。
2020-10-13 cs.CV cs.LG cs.RO
ReKep: Spatio-Temporal Reasoning of Relational Keypoint Constraints for Robotic Manipulation
Stanford University(斯坦福大学);Columbia University(哥伦比亚大学)
提出 ReKep,一种基于3D关键点的视觉约束表示,通过分层优化实时求解机器人动作,并利用视觉语言模型自动生成约束,实现无需任务特定数据的多样化操作。
2024-11-12 cs.AI cs.CV cs.RO
Keypoint Abstraction using Large Models for Object-Relative Imitation Learning
Massachusetts Institute of Technology(麻省理工学院);National Taiwan University(台湾大学)
针对机器人模仿学习中关键点表征依赖人工设计与标注的问题,提出KALM框架,利用大模型自动生成任务相关且跨实例一致的关键点,训练关键点条件策略实现高效泛化,仅需少量演示即可适配多任务多场景。
2024-10-30 cs.AI cs.CV cs.RO
A Real-to-Sim-to-Real Approach to Robotic Manipulation with VLM-Generated Iterative Keypoint Rewards
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Stanford University(斯坦福大学);Amazon(亚马逊公司);Columbia University(哥伦比亚大学)
针对开放世界机器人操作任务规范的挑战,提出基于VLM生成迭代关键点奖励(IKER)的真实-仿真-真实框架,通过动态奖励函数实现多步任务执行、错误恢复和策略调整,提升机器人在动态环境中的操作能力。
2025-02-18 cs.AI cs.CV cs.RO
The Treachery of Images: Bayesian Scene Keypoints for Deep Policy Learning in Robotic Manipulation
University of Freiburg(弗莱堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出贝叶斯关键点跟踪方法BASK,通过解决图像歧义实现尺度不变关键点跟踪,在遮挡和视野外物体场景下提升机器人操作策略学习的样本效率和鲁棒性。
2023-09-20 cs.AI cs.CV cs.RO
FisheyeSuperPoint: Keypoint Detection and Description Network for Fisheye Images
Maynooth University(梅努斯大学);University of Limerick(利默里克大学);Valeo Vision Systems(法雷奥视觉系统公司)
关键点检测和描述是计算机视觉系统中常用的构建块,特别是用于机器人和自动驾驶。然而,到目前为止,大多数技术都集中在标准相机上,很少考虑通常用于城市驾驶和自动停车的鱼眼相机。在本文中,我们提出了一种新的鱼眼图像的训练和评估管道。我们使用SuperPoint作为我们的基线,它是一个自监督的关键点检测器和描述符,在单应性估计方面取得了最先进的结果。我们引入了一个鱼眼自适应管道,以支持在未失真的鱼眼图像上进行训练。我们评估的性能HPatches基准,并通过引入基于鱼眼的评价方法检测重复性和描述符匹配的正确性,在牛津RobotCar数据集。
2021-11-29 cs.CV cs.RO
Robot Skill Generalization via Keypoint Integrated Soft Actor-Critic Gaussian Mixture Models
University of Freiburg(弗赖堡大学);University of Technology Nuremberg(纽伦堡工业大学)
本文提出KIS-GMM方法,通过学习3D关键点结合模仿与强化学习,使机器人在无需新真实数据下实现零样本泛化并快速适应新环境。
2023-10-23 cs.AI cs.CV cs.LG
FoldNet: Learning Generalizable Closed-Loop Policy for Garment Folding via Keypoint-Driven Asset and Demonstration Synthesis
CFCS, School of Computer Science, Peking University(计算机学院,北京大学)
本文提出一种合成服装数据集,通过关键点驱动的资产和演示合成,学习通用的服装折叠闭环策略,提升现实世界成功率25%。
2026-03-19 cs.CV cs.RO
Learning Keypoints for Robotic Cloth Manipulation using Synthetic Data
Ghent University(根特大学);imec(imec(校际微电子中心))
针对布料操作中合成数据存在的sim-to-real gap问题,提出用于训练近乎展平布料关键点检测器的合成数据流水线,经真实数据集验证,微调后mAP达74%,并分析了失效模式与差距优化方向。
2024-05-21 cs.CV
Efficient Surgical Robotic Instrument Pose Reconstruction in Real World Conditions Using Unified Feature Detection
Department of Electrical and Computer Engineering, University of California San Diego(电气与计算机工程系,加州大学圣地亚哥分校)
针对微创手术机器人标定中特征检测一致性差、推理慢的问题,提出统一几何基元检测的框架,单次推理同时检测关键点与边缘,经合成数据训练后在手术场景中实现快速高精度位姿估计。
2025-10-03 cs.CV cs.RO
Unsupervised Learning of Visual 3D Keypoints for Control
Carnegie Mellon University(卡内基梅隆大学)
从高维图像中学习感觉运动控制策略至关重要地依赖于底层视觉表征的质量。先前的工作表明,结构化的潜在空间,如视觉关键点往往优于非结构化的表示机器人控制。然而,大多数这些表示,无论是结构化的还是非结构化的,都是在2D空间中学习的,即使控制任务通常是在3D环境中执行的。在这项工作中,我们提出了一个框架来学习这样的3D几何结构直接从图像中的端到端的无监督的方式。输入图像通过可微分编码器嵌入到潜在的3D关键点中,该编码器经过训练以优化多视图一致性损失和下游任务目标。这些发现的3D关键点倾向于以跨时间和3D空间的一致方式有意义地捕获机器人关节以及对象运动。所提出的方法在各种强化学习基准测试中优于现有的最先进的方法。https://buoyancy99.github.io/unsup-3d-keypoints/上的代码和视频
2021-06-14 cs.CV cs.LG cs.RO
Robust Surgical Robotic Instrument Tracking via Sequential Multi-Cue Fusion and Sim-to-Real Self-Training
University of California San Diego(加州大学圣迭戈分校)
针对手术机器人器械跟踪中真实标注昂贵的问题,提出一种跟踪器引导的自训练框架,利用机器人关节状态和不确定性感知EKF及RTS平滑器生成伪标签,微调基于合成图像预训练的特征检测器,在真实视频上提升了关键点指标并优于先前方法。
2026-10-06 cs.CV cs.RO
Keypoint Detection and Description for Raw Bayer Images
University of Georgia(佐治亚大学)
针对机器人感知中关键点检测与特征描述依赖RGB图像的问题,提出直接处理原始图像的新型网络,通过定制卷积核保留通道信息,降低硬件需求,在原始图像上性能更优。
2025-04-12 cs.CV
6D Object Pose Estimation using Keypoints and Part Affinity Fields
University of Bonn(波恩大学)
根据RGB图像估计6D物体位姿的任务是自主服务机器人能够与现实世界交互的重要要求。在这项工作中,我们提出了一个两步的管道,用于估计已知对象的6自由度的平移和方向。采用OpenPose CNN架构从人体姿态估计中预测输入图像的关键点和部分亲和场(PAF)。然后通过PnP-RANSAC算法从检测到的关键点和模型关键点之间的2D-3D对应关系计算对象姿态。所提出的方法在YCB视频数据集上进行了评估,并达到了与文献中最近的方法相当的精度。使用PAF将检测到的关键点组装到对象实例中证明优于仅使用热图。训练用于预测单个对象类的关键点的模型的性能明显优于训练用于多个类的模型。
2021-07-22 cs.CV cs.RO
RoboEye: Enhancing 2D Robotic Object Identification with Selective 3D Geometric Keypoint Matching
Hunan University(湖南大学)
RoboEye提出两阶段框架,通过选择性3D几何关键点匹配增强2D特征,在仅用RGB图像的情况下将Recall@1较RoboLLM提升7.1%。
2025-09-18 cs.AI cs.CV cs.RO
Semantic keypoint extraction for scanned animals using multi-depth-camera systems
点云中的关键点注释是3D重建、对象跟踪和对齐的重要任务,特别是在可变形或移动场景中。在农业机器人的背景下,牲畜自动化的一项关键任务是进行状态评估或行为识别。在这项工作中,我们提出了一种新的方法在点云语义关键点标注,通过重新制定的关键点提取的关键点和点云的其余部分之间的距离的回归问题。我们使用映射到径向基函数(RBF)的点云流形上的距离,然后使用编码器-解码器架构学习。通过考虑外部校准和相机帧丢失上的噪声,对特定于多深度相机系统的数据增强给予特别考虑。此外,我们研究计算效率高的非刚性变形方法,可以应用于动物点云。我们的方法进行了测试,在现场收集的数据,在移动的肉牛,与多个硬件同步的RGB-D相机的校准系统。
2022-11-16 cs.CV cs.RO
AnyOKP: One-Shot and Instance-Aware Object Keypoint Extraction with Pretrained ViT
Department of Electrical and Computer Engineering, University of California San Diego(加利福尼亚大学圣地亚哥分校电气与计算机工程系)
提出基于预训练 ViT 的一次性实例感知物体关键点提取方法 AnyOKP,通过搜索最佳原型对生成候选关键点并划分子图以区分实例,在多种机器人采集的真实图像上验证了跨类别灵活性、实例感知能力及对领域偏移和视角变化的鲁棒性。
2023-09-15 cs.CV
Dexterous Point Policy: Learning Point-based Dexterous Hand Policies from Human Demonstrations
KAIST(韩国科学技术院)
提出Dexterous Point Policy框架,通过统一3D关键点表示从人类视频学习灵巧操作策略,无需机器人演示,在真实任务中达到75%成功率。
2026-06-09 cs.CV cs.LG cs.RO
CtRoFlow: Monocular Camera-to-Robot Pose Estimation via Conditioned 3D Flow Matching
The Chinese University of Hong Kong(香港中文大学);Shenzhen Loop Area Institute(深圳河套学院);Xi’an Jiaotong University(西安交通大学);EACV Research Center(EACV研究中心)
本研究提出RoPE-Flow框架,通过关键点中心特征提取器、图引导条件生成器及两类损失函数,实现单目视觉下的机器人位姿估计,性能优于现有方法且在零样本跨场景任务中表现出色。
2026-11-17 cs.CV cs.RO
Lessons from Deploying CropFollow++: Under-Canopy Agricultural Navigation with Keypoints
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Earthsense Inc.(Earthsense公司)
针对冠层下农业机器人因间距狭窄、RTK-GPS精度下降及LiDAR噪声导致的自主导航难题,提出基于语义关键点的视觉导航系统CropFollow++,并在大规模真实田间条件下部署验证,总结了关键经验。
2024-04-26 cs.AI cs.CV cs.LG
Design and Identification of Keypoint Patches in Unstructured Environments
Ulsan National Institute of Science and Technology(蔚山科学技术院)
针对非结构化杂乱环境中模糊和阴影导致关键点检测困难的问题,本文设计了四种考虑尺度、旋转和相机投影的关键点贴片,并定制 Superpoint 网络以增强图像退化下的检测鲁棒性,通过真实视频测试验证了其在视觉自主系统中的有效性。
2024-10-01 cs.CV cs.RO
Synthetic Data Generation and Vision-based Wrinkle and Keypoint Detection for Bimanual Cloth Manipulation
Department of Engineering, University of Luxembourg(卢森堡大学工程系);School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);Université de Lorraine, Arts et Metiers Institute of Technology, LCFC(洛林大学,艺术与工艺技术学院,LCFC)
针对布料操作中视觉感知难题,提出基于Blender的合成数据生成管道和结合CNN与YOLOv8-OpenCV的感知框架,实现褶皱抓取和关键点熨烫,关键点模型平均位置误差1.7615像素。
2026-06-04 cs.CV cs.RO
Tracking Object Positions in Reinforcement Learning: A Metric for Keypoint Detection (extended version)
Institute for Data Science in Mechanical Engineering (DSME), RWTH Aachen University(亚琛工业大学机械工程数据科学研究所(DSME))
本文提出一种轻量级评估指标,通过衡量空间自编码器(SAE)关键点对真实目标的跟踪能力来预测其在下游强化学习中的表现,并据此提出三项架构改进。
2024-07-02 cs.CV cs.LG cs.RO
FuncBridge: Towards Functional Tool-Use Generalization via Keypoint Trajectory Reasoning
MARS Lab, Nanyang Technological University(南洋理工大学MARS实验室);Georgia Institute of Technology(佐治亚理工学院)
研究针对机器人功能工具使用泛化问题,提出FORGE两阶段策略,通过关键点轨迹推理解耦功能推理与动作执行,在七工具击打基准测试中,对未见工具表现优于现有方法,平均成功率显著提升。
2026-10-02 cs.AI cs.CV cs.RO
3D Pose Estimation of Tomato Peduncle Nodes using Deep Keypoint Detection and Point Cloud
Wageningen University and Research(瓦赫宁根大学与研究中心)
针对温室果蔬生产劳动力短缺及机器人感知受环境干扰的问题,提出基于关键点检测与点云融合的番茄果梗节点3D位姿估计方法,经商业温室验证精度高、视角鲁棒性好,可推广至其他温室作物。
2023-11-08 cs.CV cs.RO
RoboPEPP: Vision-Based Robot Pose and Joint Angle Estimation through Embedding Predictive Pre-Training
New York University Tandon School of Engineering(纽约大学Tandon工程学院);New York University Courant Institute of Mathematical Sciences(纽约大学Courant数学科学研究所);Meta-FAIR
针对未知关节角度的机器人位姿估计在遮挡下性能受限的问题,提出 RoboPEPP 方法,通过基于掩码的自监督嵌入预测预训练融合物理模型信息,并在多个数据集上取得最佳位姿与关节角度估计结果,对遮挡鲁棒性最强且执行时间最短。
2025-05-02 cs.CV cs.RO
Learning from Watching: Scalable Extraction of Manipulation Trajectories from Human Videos
本文提出结合大规模基础模型与点跟踪技术,从人类视频中提取操作轨迹,以实现更高效的数据收集和机器人学习。
2025-11-03 cs.CV cs.RO
Under the Radar: Learning to Predict Robust Keypoints for Odometry Estimation and Metric Localisation in Radar
University of Oxford(牛津大学);Applied AI Lab(应用人工智能实验室)
本文提出了一种自监督的框架,学习检测强大的里程估计和度量定位雷达的关键点。通过在我们的架构中嵌入可微的基于点的运动估计器,我们可以单独从定位误差中学习关键点位置,分数和描述符。这种方法避免了对什么是鲁棒的关键点施加任何假设,并且关键是允许它们针对我们的应用进行优化。此外,该架构是传感器不可知的,并且可以应用于大多数模态。我们在牛津雷达RobotCar数据集的280公里真实世界驾驶中进行了实验,并改进了基于点的雷达里程计的最新技术,将误差减少了45%,同时运行速度提高了一个数量级,同时解决了度量环路闭合问题。结合这些输出,我们提供了一个框架,能够在城市环境中使用雷达进行完整的映射和定位。
2020-02-24 cs.CV cs.LG cs.RO
Single-Stage Keypoint-Based Category-Level Object Pose Estimation from an RGB Image
NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院)
关于6-DoF对象姿态估计的先前工作主要集中在实例级处理上,其中纹理CAD模型可用于被检测的每个对象。类别级6自由度姿态估计是开发在非结构化真实世界场景中操作的机器人视觉系统的重要一步。在这项工作中,我们提出了一个单阶段,基于关键点的方法,用于类别级对象姿态估计,使用单个RGB图像作为输入,在已知类别内的未知对象实例上进行操作。所提出的网络执行2D目标检测,检测2D关键点,估计6自由度姿态,并回归相对边界长方体尺寸。这些数量是以顺序的方式估计的,利用最近的convGRU思想将信息从更容易的任务传播到更困难的任务。我们在设计选择中倾向于简单:通用长方体顶点坐标,单级网络和单目RGB输入。我们在具有挑战性的Objectron基准上进行了广泛的实验,在3D IoU指标上优于最先进的方法(比MobilePose单阶段方法高27.6%,比相关的两阶段方法高7.1%)。
2022-05-12 cs.CV cs.RO
Gesture Recognition in RGB Videos UsingHuman Body Keypoints and Dynamic Time Warping
University of Koblenz-Landau(科布伦茨-兰道大学)
手势识别为人类与机器的直观交互开辟了新的途径。特别是对于服务机器人,手势可以是通信手段的有价值的补充,例如,将机器人的注意力吸引到某人或某事上。从视频数据中提取手势并对其进行分类是一项具有挑战性的任务,多年来已经提出了各种方法。本文提出了一种RGB视频中的手势识别方法,使用OpenPose提取人的姿势,并使用动态时间规整(DTW)结合一个最近邻(1NN)进行时间序列分类。这种方法的主要特点是独立于任何特定的硬件和高度的灵活性,因为只需添加几个示例就可以将新的手势添加到分类器中。我们利用了基于深度学习的OpenPose框架的鲁棒性,同时避免了自己训练神经网络的数据密集型任务。我们使用公共数据集证明了我们的方法的分类性能。
2019-06-25 cs.CV cs.LG cs.RO
AdaCropFollow: Self-Supervised Online Adaptation for Visual Under-Canopy Navigation
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Bonn(波恩大学);University of Oxford(牛津大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
本文提出一种自监督在线自适应方法,利用视觉基础模型、几何先验和伪标签适应语义关键点表示,使林冠下机器人在无需人工干预下实现跨田地和作物的完全自主沿行导航。
2024-10-16 cs.CV cs.RO
Time-to-Collision Based Dynamic Obstacle Avoidance Using Pretrained Vision Models for Robots in Unstructured Environments
研究非结构化环境中机器人动态避障问题,利用预训练视觉模型UniDepth,通过扩展特征对应管道等计算关键点TTC,实现避障。该方法数据效率高,无需模型训练,在真实数据上评估有较好表现,能在不同障碍物类型中保持可解释和可推广性。
2026-07-10 cs.AI cs.CV cs.RO
KGNv2: Separating Scale and Pose Prediction for Keypoint-based 6-DoF Grasp Synthesis on RGB-D input
Georgia Institute of Technology(佐治亚理工学院)
针对基于关键点的6自由度抓取合成依赖精准关键点预测的问题,提出KGNv2网络分离位姿与尺度预测并重构关键点输出空间,在RGB-D输入下大幅优于基线,且具备仿真到现实的迁移能力。
2023-05-01 cs.AI cs.CV cs.LG
From Generated Human Videos to Physically Plausible Robot Trajectories
University of California, Berkeley(加州大学伯克利分校);New York University(纽约大学);Johannes Kepler University(约翰·凯撒大学)
本文提出GenMimic方法,通过物理感知强化学习策略,从生成的视频中实现零样本的人形机器人动作模仿,并建立了评估零样本泛化能力的基准。
2025-12-11 cs.CV cs.RO
3D Human Pose Estimation in RGBD Images for Robotic Task Learning
University of Freiburg(弗莱堡大学)
我们提出了一种方法来估计3D人体姿态在现实世界中的单位从一个单一的RGBD图像,并表明它超过了性能的单目3D姿态估计方法从颜色以及姿态估计专门从深度。我们的方法建立在强大的人类关键点检测器的彩色图像,并结合了深度提升到3D。我们结合系统与我们的示教学习框架,指导服务机器人,而不需要标记。在现实世界中的实验表明,我们的方法使PR2机器人模仿从人类教师观察到的操作动作。
2018-03-13 cs.CV cs.RO
2D3D-MatchNet: Learning to Match Keypoints Across 2D Image and 3D Point Cloud
National University of Singapore(新加坡国立大学)
从3D传感器生成的大规模点云比基于图像的点云更准确。然而,它很少用于视觉姿态估计,由于难以获得2D-3D图像点云对应。在本文中,我们提出了2D 3D-MatchNet-一种端到端的深度网络架构,用于分别从图像和点云中联合学习2D和3D关键点的描述符。因此,我们能够直接从查询图像和3D点云参考图中匹配并建立2D-3D对应关系,以进行视觉姿态估计。我们从Oxford Robotcar数据集创建了我们的Oxford 2D-3D Patches数据集,其中包含地面实况相机姿势和2D-3D图像到点云对应关系,用于训练和测试深度网络。实验结果验证了该方法的可行性。
2019-04-22 cs.CV
Semi-distributed Cross-modal Air-Ground Relative Localization
Beijng National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Qiyuan Lab(启元实验室);JiangHuai Advanced Technology Center(江淮先进技术中心)
本文提出一种半分布式跨模态空地相对定位框架,使UGV与UAV独立执行SLAM并利用深度学习关键点与描述子解耦相对定位,通过两阶段局部BA和增量式回环检测实现高效准确的位姿估计,并将通信带宽限制在0.3 Mbps以下。
2025-11-10 cs.CV cs.RO
End-to-end learning of keypoint detection and matching for relative pose estimation
Blippar
我们提出了一种新的方法来估计两幅图像之间的相对姿态,其中我们联合学习关键点检测,描述提取,匹配和鲁棒的姿态估计。虽然我们的架构遵循传统的几何计算机视觉姿态估计管道,但所有步骤都是以端到端的方式学习的,包括特征匹配。我们展示了我们的方法的任务,在一个数据库中的图像与已知的姿势的查询图像的视觉定位。成对位姿估计在机器人测绘、导航和增强现实中有许多实际应用。例如,场景中的持久AR对象的显示依赖于精确的相机定位,以使数字模型看起来锚定到物理环境。我们专门针对视觉定位问题对管道进行端到端的训练。我们评估我们提出的方法定位精度,鲁棒性和运行速度。我们的方法在7场景数据集上实现了最先进的定位精度。
2021-04-02 cs.CV
Fast Real-Time Pipeline for Robust Arm Gesture Recognition
ELTE Eötvös Loránd University Faculty of Informatics(埃斯特赫·洛朗德大学信息学院);Institute for Clarity in Documentation(文档清晰研究所);Inria Paris-Rocquencourt(巴黎-罗克琴堡研究所);Rajiv Gandhi University(拉贾夫·甘地大学);Tsinghua University(清华大学);Palmer Research Laboratories(帕勒研究中心)
提出融合 OpenPose、关键点归一化与 RNN 的实时手臂手势识别流水线,并通过旋转增强提升视角鲁棒性,在交通指挥手势数据集上取得高精度。
2025-09-29 cs.AI cs.CV
LodoNet: A Deep Neural Network with 2D Keypoint Matchingfor 3D LiDAR Odometry Estimation
The University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Worcester Polytechnic Institute(伍斯特理工学院)
基于深度学习的LiDAR测距(LO)估计在自动驾驶和机器人领域引起了越来越多的研究兴趣。现有的作品连续LiDAR帧作为点云和匹配对在学习的特征空间中的神经网络。相比之下,基于图像的特征提取器的成功的动机,我们建议将LiDAR帧转移到图像空间,并将问题重新表述为图像特征提取。在尺度不变特征变换(SIFT)的帮助下进行特征提取,我们能够生成匹配的关键点对(MKP),可以精确地返回到3D空间。设计了一个卷积神经网络流水线,用于提取MKP估计LiDAR里程。所提出的方案,即LodoNet,然后在KITTI里程估计基准进行评估,达到与最先进的,甚至更好的结果。
2020-09-01 cs.CV
Scale-Free Image Keypoints Using Differentiable Persistent Homology
Politecnico di Torino(都灵理工大学);Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文提出基于 Morse 理论与持久同调的可微拓扑学习框架 MorseDet,通过新损失函数解决关键点检测的尺度依赖问题,实现具竞争力的重复性。
2024-06-03 cs.CV cs.LG math.AT
HOSt3R: Keypoint-free Hand-Object 3D Reconstruction from RGB images
NAVER LABS Europe(NAVER LABS欧洲实验室);Inria centre at the University Grenoble Alpes(法国格勒诺布尔阿尔卑斯大学Inria中心)
针对现有基于关键点的手部-物体3D重建方法在多样物体几何、弱纹理及相互遮挡下的局限性,提出无需关键点的HOSt3R方法,从单目RGB视频估计3D变换并集成多视图重建,在SHOWMe基准上达SOTA且泛化至未见过的物体类别。
2025-08-25 cs.AI cs.CV cs.HC
A Mobile Robot Hand-Arm Teleoperation System by Vision and IMU
Universität Hamburg(汉堡大学);RWTH Aachen University(亚琛工业大学);University of California, Los Angeles(加州大学洛杉矶分校);Tsinghua University(清华大学)
在本文中,我们提出了一个多模式的移动遥操作系统,包括一个新的基于视觉的手姿态回归网络(Transteleop)和基于IMU的手臂跟踪方法。Transteleop通过低成本的深度相机观察人手,不仅生成关节角度,还通过图像到图像转换过程生成配对机器人手姿势的深度图像。一个基于关键点的重建损失探索人类和机器人之间的外观和解剖结构的相似性,并丰富了重建图像的局部特征。可穿戴摄像头支架可实现同时的手臂控制,并促进整个遥操作系统的移动性。测试数据集和各种复杂的操作任务,超越简单的取放操作的网络评估结果表明,我们的多模式遥操作系统的效率和稳定性。
2020-03-11 cs.CV cs.HC cs.RO
Yolo-Key-6D: Single Stage Monocular 6D Pose Estimation with Keypoint Enhancements
ASELSAN, Aerospace Technologies, Türkiye(ASELSAN航空航天技术,土耳其);Istanbul Technical University, Department of Computer Engineering, Türkiye(伊斯坦布尔技术大学计算机工程系,土耳其);New York University Abu Dhabi, Division of Engineering, UAE(纽约大学阿布扎比分校工程学院,阿联酋)
YOLO-Key-6D通过关键点增强实现单阶段单目6D姿态估计,兼顾速度与精度,在实时应用中表现优异。
2026-03-04 cs.CV
SuperNCN: Neighbourhood consensus network for robust outdoor scenes matching
Warsaw University of Technology(华沙理工大学);Google(谷歌)
在本文中,我们提出了一个框架,用于计算密集的关键点之间的对应关系,在强烈的场景外观变化的图像。传统方法基于特征描述符空间中的最近邻搜索,当环境条件变化时,例如,当在一天或季节的不同时间拍摄图像时,其性能很差。我们的方法改进了在这种困难的条件下找到关键点对应。首先,我们使用邻域一致性网络在粗尺度上建立两幅图像之间的空间一致性匹配网格。然后,我们应用Superpoint-like角点检测器来实现像素级的精度。这两个部分都使用了通过领域自适应学习的特征,以增加对强场景外观变化的鲁棒性。该框架已经在RobotCar Seasons数据集上进行了测试,证明了在具有挑战性的环境条件下姿势估计任务的巨大改进。
2019-12-10 cs.CV
Non-verbal Real-time Human-AI Interaction in Constrained Robotic Environments
National University of Science;Princeton University, Princeton NJ 08544, USA, , WWW home page: http://users/ iekeland/web/welcome.html Universit\' e de Paris-Sud, Laboratoire d'Analyse Num\' e rique, B\ a timent 425, F-91405 Orsay Cedex, France
本文提出首个实时生成非语言人机交互的框架,通过对比合成与真实数据发现时间一致性对实际性能的影响,揭示了人类与AI运动间的统计差异。
2026-03-02 cs.AI cs.CV