EasyHeC++: Fully Automatic Hand-Eye Calibration with Pretrained Image Models
Zhejiang University(浙江大学);Tsinghua University(清华大学)
提出完全自动手眼标定框架EasyHeC++,借助预训练图像模型初始化相机位姿并结合可微渲染优化,无需标记和训练即可高精度标定任意机械臂。
2024-10-11 cs.RO
Automatic Robot Hand-Eye Calibration Enabled by Learning-Based 3D Vision
Aarhus University(奥胡斯大学);Wenzhou University of Technology(温州理工学院)
提出LRBO方法,利用基于学习的3D检测与配准识别机器人基座点云,实现无需外部标记或人工协助的自动手眼标定,精度高且可在约1秒内完成。
2024-09-05 cs.RO
In Situ Translational Hand-Eye Calibration of Laser Profile Sensors using Arbitrary Objects
Fondazione Istituto Italiano di Tecnologia(意大利理工学院基金会);DeepMind;BMW Group(宝马集团);Danieli Automation S.p.A.(达涅利自动化股份有限公司);CNR-STIIMA(意大利国家研究委员会-智能工业技术与先进制造研究所)
激光轮廓传感器的手眼标定是提取激光轮廓传感器坐标系与机器人末端执行器坐标系之间的齐次变换,以将传感器提取的数据表达在机器人全局坐标系中的过程。对于激光轮廓扫描仪,这是一个具有挑战性的过程,因为它们仅提供二维数据,并且最先进的校准程序需要使用专门的校准目标。本文提出了一种新的方法,在目标不可知的情况下,提取旋转部分先验已知的手眼标定矩阵的旋转部分。我们的方法适用于任何2D图像或3D对象作为校准目标,也可以在最终应用中原位执行。该方法的实验验证了一个真正的机器人传感器设置与2D和3D目标。
2021-03-22 cs.RO
Calib3R: Hand-Eye Calibration and 3D Metric-Scaled Scene Reconstruction with 3D Foundation Models
Department of Information Engineering (DEI) at the University of Padova(帕多瓦大学信息工程系)
Calib3R是一种基于3D基础模型的无标定板方法,通过统一优化联合完成手眼标定与度量尺度三维重建,仅用不到10张图像即可实现精确标定,性能优于同类方法。
2026-08-11 cs.RO
PlaneHEC: Efficient Hand-Eye Calibration for Multi-view Robotic Arm via Any Point Cloud Plane Detection
National Key Laboratory of Human-Machine Hybrid Augmented Intelligence, Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University(国家人类-机器混合增强智能重点实验室,人工智能与机器人研究院,西安交通大学)
本文提出 PlaneHEC,一种仅用深度相机和任意平面、结合平面约束方程、闭式解与迭代优化的多视角机械臂手眼标定方法,并在仿真与真实实验中验证其精度、速度和泛化优势。
2025-07-26 cs.RO
3D Hand-Eye Calibration for Collaborative Robot Arm: Look at Robot Base Once
Department of Mechanical and Production Engineering, Aarhus University(机械与生产工程系,奥胡斯大学);Department of Computer Science, Lund University(计算机科学系,卢德大学)
本文提出一种无需外部标定物的3D手眼标定方法,通过将机器人基座点云与扫描数据对齐,在14个品牌机器人臂上验证了其与商业方案相当的精度,并将标定时间缩短至数秒。
2025-05-09 cs.RO
A Spatiotemporal Hand-Eye Calibration for Trajectory Alignment in Visual(-Inertial) Odometry Evaluation
Advanced Display and Sensing Research Center, Yongjiang Laboratory(永江实验室先进显示与传感研究中心);Mixed Reality & AI Lab-Zürich, Microsoft(微软苏黎世混合现实与人工智能实验室)
针对视觉(-惯性)里程计评估中轨迹对齐易受噪声和漂移影响的问题,提出一种充分利用螺旋理论多重约束的时空手眼标定算法,提升了标定的准确性与鲁棒性。
2024-04-23 cs.RO
GazeGrasp: DNN-Driven Robotic Grasping with Wearable Eye-Gaze Interface
Skoltech(斯科尔科沃科技学院)
本研究提出GazeGrasp眼动操控机器人抓取系统,整合ESP32 CAM、MediaPipe、YOLOv8与UR10机械臂,支持磁吸对齐选物与手势控制,经13人实验验证可提升31%任务效率,为运动障碍人士提供免动手辅助机器人接口。
2025-01-14 cs.RO
MEMROC: Multi-Eye to Mobile RObot Calibration
University of Padova(帕多瓦大学)
本文提出MEMROC,一种基于运动的标定方法,利用标定板与鲁棒地面检测实现移动机器人多相机完整6自由度外参标定,对噪声里程计鲁棒且仅需少量图像,在精度与易用性上超越现有方法。
2024-10-11 cs.RO
Prioritized Kinematic Control of Joint-Constrained Head-Eye Robots using the Intermediate Value Approach
University of Texas at Austin(德克萨斯大学奥斯汀分校)
现有的头眼机器人凝视控制器只能处理单个注视点。在这里,提出了一种通用的头眼机器人控制器,能够执行笛卡尔空间中的同步和优先的固定轨迹。这使得能够指定具有优先级的多个操作空间行为,使得低优先级头部定向任务的执行不会干扰较高优先级的眼睛注视任务的满足。通过我们的方法,头眼机器人固有地获得仿生前庭眼反射(VOR),这是自我生成的运动下的凝视稳定的能力。所描述的控制器利用递归零空间投影来编码联合限制约束和任务优先级。为了处理关节限制任务作为约束插入或移除时出现的解不连续性,应用中间期望值(IDV)方法。实验验证的控制器的属性与梦想家人形机器人。我们的贡献是(1)制定一个理想的凝视任务作为一个操作空间定向任务,(2)IDV方法的应用细节,优先级的头眼机器人控制器,可以处理中间关节约束,和(3)最小加加速度规范的行为和轨迹生成笛卡尔空间。
2018-09-24 cs.RO
On Flange-based 3D Hand-Eye Calibration for Soft Robotic Tactile Welding
Southern University of Science and Technology(南方科技大学)
本文提出一种利用机器人法兰几何特征的3D手眼标定迭代方法,结合软触觉感知构建焊缝跟踪系统,实现高精度标定与实时运动调整,提升焊接质量。
2024-07-27 cs.RO
Design and Evaluation of a Bioinspired Tendon-Driven 3D-Printed Robotic Eye with Active Vision Capabilities
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Kashan(卡尚大学)
提出一种具备逼真外观与自然运动的仿生腱驱动3D打印机器人眼设计方案,通过最少舵机实现高效驱动,并利用基于视觉的控制器验证了其有效性。
2023-05-01 cs.RO
Pre-Surgical Planner for Robot-Assisted Vitreoretinal Surgery: Integrating Eye Posture, Robot Position and Insertion Point
NSK Ltd.(恩斯克有限公司);Technische Universität München(慕尼黑工业大学);Klinikum rechts der Isar der Technische Universität München(慕尼黑工业大学右岸医院);University of Alberta(阿尔伯塔大学)
本文提出一种术前规划优化框架,通过整合眼球姿态、机器人位置和插入点,使机器人辅助玻璃体视网膜手术器械能精准到达不同患者的目标区域,并在仿真眼球模型上验证了其精度。
2025-02-25 cs.RO
Optimal least-squares solution to the hand-eye calibration problem
Univrses(Univrses公司)
我们提出了一个最小二乘配方的嘈杂的手眼校准问题,使用双四元数,并引入有效的算法来找到精确的最优解,基于问题的分析性质,避免非线性优化。我们进一步提出了简单的解析近似解,提供了非常好的估计相比,精确的解决方案。此外,我们将展示如何推广我们的解决方案,以考虑到成本函数中给定的外在先验。据我们所知,我们的算法是最有效的方法来最佳地解决手眼校准问题。
2020-05-19 cs.CV cs.RO
On-the-fly hand-eye calibration for the da Vinci surgical robot
Department of Mechanical Engineering, Imperial College London(帝国理工学院机械工程系);Mechatronics in Medicine Laboratory(医学机电实验室);Hamlyn Centre for Robotics Surgery(机器人外科哈姆林中心)
针对达芬奇机器人因编码器误差导致工具定位不准的问题,提出一种在线计算手眼变换矩阵的标定框架,通过特征关联和手眼标定两个模块实现无预训练的关键点匹配,在多种手术场景下显著降低定位误差且时间效率高。
2026-08-05 cs.RO
Experimental Study on the Imitation of the Human Head-and-Eye Pose Using the 3-DOF Agile Eye Parallel Robot with ROS and Mediapipe Framework
University of Tehran(德黑兰大学)
本文提出了一种将计算机视觉技术和神经网络概念相结合的人脸和眼睛的模拟方法。从机械的角度来看,一个3-DOF球面并联机器人是用来模仿人的头部运动。在眼球运动方面,在三自由度球面并联机构的末端执行器上附加了一个二自由度机构。为了具有鲁棒和可靠的模仿结果,应该从面部网格中提取有意义的信息以获得面部的姿态,即,滚转角、偏航角和俯仰角。为此,提出了两种方法,其中每一种都有自己的优点和缺点。第一种方法包括诉诸所谓的Mediapipe库,这是一个机器学习解决方案,用于高保真身体姿势跟踪,由谷歌推出。作为第二种方法,通过线性回归模型针对不同姿态的人脸图片的收集数据集来训练模型。此外,一个3-DOF敏捷眼并联机器人被用来显示该机器人的能力被用作一个系统,这是类似于一个人的头部执行3-DOF旋转运动模式。此外,还制作了3D打印的人脸和2-DOF眼睛机构,以更时尚的方式显示整个系统。实验测试,这是基于ROS平台上完成的,证明了所提出的方法跟踪人的头部和眼睛运动的有效性。
2021-11-04 cs.RO
Evaluation of state representation methods in robot hand-eye coordination learning from demonstration
University of Alberta(阿尔伯塔大学)
从不同的角度对机器人手眼协调学习中的不同状态表示方法进行了评价。关于状态降维:我们评估这些状态表示方法如何捕获相关的任务信息,以及状态表示应该有多大的紧凑性。关于可控性:实验设计使用不同的状态表示方法在传统的视觉伺服控制器和REINFORCE控制器。我们分析的代表性本身而不是从控制算法所带来的挑战。关于LfD中的具体化问题:我们评估了不同方法将学习到的表示从人类转移到机器人的能力。结果可视化,以便更好地理解和比较。
2019-03-02 cs.RO
User Feedback and Sample Weighting for Ill-Conditioned Hand-Eye Calibration
Ulm University(乌尔姆大学)
本文针对手眼标定中旋转轴近似平行导致的病态优化问题,提出基于旋转轴局部密度的样本自动加权方法,并利用平移与旋转部分的敏感性估计为用户提供数据采集反馈,在KITTI里程计增强数据上验证了有效性。
2023-08-11 cs.RO
Sclera Force Control in Robot-assisted Eye Surgery: Adaptive Force Control vs. Auditory Feedback
Johns Hopkins University(约翰斯·霍普金斯大学);Beihang University(北京航空航天大学);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
外科医生的手震颤限制了人类在显微外科手术中的能力,例如那些治疗眼睛的手术。相比之下,通过引入显微外科机器人来消除手震颤会减少外科医生对有用和熟悉的工具到巩膜力的触觉感知。虽然眼科手术机器人的大质量和惯性防止了外科医生的微震颤,但对小巩膜力的感知的丧失可能使巩膜处于受伤的风险中。在本文中,我们应用并比较了两种不同的方法,以确保巩膜组织的安全性,在机器人辅助眼科手术。在主动控制方法中,一个自适应力控制策略的稳定手眼机器人上实现,以控制巩膜力的大小时,他们超过安全边界。然后将该自主力补偿与被动力控制方法进行比较,在被动力控制方法中,外科医生响应于所提供的与巩膜力的大小成比例的音频反馈来执行手动调节。三个用户的试点研究表明,主动控制方法可能是更有效的。
2019-01-10 cs.RO
Design and Implementation of a Human-Robot Joint Action Framework using Augmented Reality and Eye Gaze
Monash University(莫纳什大学);University of Victoria(维多利亚大学)
当人类共同完成一项联合任务时,每个人都会建立一个关于情况及其演变的内部模型。有效的协作取决于这些个体模型如何重叠以在团队成员之间形成共享的心理模型,这对于人机团队中的协作过程非常重要。准确的共享心智模型的开发和维护需要个人意图的双向沟通以及解释其他团队成员意图的能力。为了实现有效的人机协作,提出了一种新的人机协作联合行动框架的设计与实现,该框架利用增强现实(AR)技术和用户眼睛注视实现意图的双向交流。我们通过一项有37名参与者的用户研究测试了我们的新框架,发现我们的系统提高了任务效率、信任度和任务流畅性。因此,使用AR和眼睛凝视来实现双向通信是改善影响人类和机器人之间协作的核心组件的一种有前途的方法。
2022-08-25 cs.RO
Eye-Tracking-Driven Control in Daily Task Assistance for Assistive Robotic Arms
Offenburg University of Applied Sciences(奥芬堡应用科学大学);University of Siegen(锡根大学)
本文提出了一种基于眼动的控制框架,通过任务图标和特征匹配方法,帮助身体严重残疾者独立完成日常任务。
2026-01-24 cs.RO
ARDIE: AR, Dialogue, and Eye Gaze Policies for Human-Robot Collaboration
本文提出ARDIE智能体,融合增强现实、对话与眼动注视,基于决策理论制定联合策略,通过AR渲染可视化未来交互,提升人机协作效率。
2023-05-08 cs.RO
RegHEC: Hand-Eye Calibration via Simultaneous Multi-view Point Clouds Registration of Arbitrary Object
University of Chinese Academy of Sciences(中国科学院大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
本文提出RegHEC,利用任意物体的多视角点云同时配准,结合贝叶斯优化与Anderson加速ICP实现眼在手上/眼在手外标定,并开源C++实现。
2023-04-27 cs.CV cs.RO
GBEC: Geometry-Based Hand-Eye Calibration
Johns Hopkins University(约翰斯·霍普金斯大学);Applied Physics Laboratory, Johns Hopkins University(约翰斯·霍普金斯大学应用物理实验室)
本文提出基于几何的手眼标定方法 GBEC,仅利用法兰几何与刚体标记位姿求解末端执行器到传感器的变换,并在 TMS 和股骨成形术实验中验证其精度、可重复性与可推广性。
2024-04-08 cs.RO
Accurate calibration of multi-perspective cameras from a generalization of the hand-eye constraint
ShanghaiTech University(上海科技大学);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
多视角相机在许多应用中正迅速变得重要,例如智能车辆和虚拟或增强现实。然而,大的系统尺寸或相邻视场中没有重叠通常使其校准复杂化。我们提出了一种新的解决方案,它依赖于外部运动捕捉系统的可用性。我们的核心贡献包括一个扩展的手眼校准问题,共同解决多眼基地的问题,在封闭的形式。我们还证明了它的等价性多眼在手的问题。我们的方法的实际有效性得到了我们的实验的支持,表明该方法是高效和准确的,并优于现有的封闭形式的替代品。
2022-04-13 cs.CV cs.RO
A regularization-patching dual quaternion optimization method for solving the hand-eye calibration problem
Hangzhou Dianzi University(杭州电子科技大学);The Hong Kong Polytechnic University(香港理工大学);City University of Hong Kong(香港城市大学)
手眼标定问题是机器人研究中的一个重要应用问题。基于对偶四元数向量的2-范数,提出了一种新的对偶四元数优化手眼标定方法。将对偶四元数优化问题分解为两个四元数优化子问题。第一个四元数优化子问题控制机器人手的旋转。通过特征值分解或奇异值分解可以有效地求解。如果第一四元数优化子问题的最优值为零,则系统在旋转方向上是无噪声的,即,存在一个“完美”的机器人手运动,它能精确地满足所有测试姿态的旋转。在这种情况下,我们应用正则化技术来解决第二子问题,以最小化平移的距离。另外,我们应用修补技术来解决第二个四元数优化子问题。然后求解第二个四元数优化子问题就转化为求解一个二次约束二次规划问题。这样,我们就对手眼标定问题的解集给出了完整的描述。这在手眼校准文献中是新的。数值结果也显示了所提出的方法的有效性。
2022-09-16 cs.RO math.OC
Continuous hand-eye calibration using 3D points
Aalborg University(奥尔堡大学)
校准算法的最新发展已被驱动到两个主要方向:(1)数学方法的准确性增加和(2)通过减少对校准对象的依赖性增加使用的灵活性。然而,这两种趋势似乎是矛盾的,因为整体精度与校准对象的姿态估计的精度直接相关,因此需要大的对象,而增加的灵活性导致更小的对象或噪声更大的估计方法。本文提出的方法旨在解决这个问题,在两个步骤:首先,我们推导出一个简单的封闭形式的解决方案,转移焦点的平移方程,只解决了必要的手眼变换。我们表明,它是优越的准确性和鲁棒性相比,传统的方法。其次,我们减少了依赖于校准对象到一个单一的三维点,通过使用类似的公式的基础上的平移方程,这是受校准对象的方向的估计误差小得多。此外,它使得方向的估计过时,同时利用来自第一解决方案的更高的精度和鲁棒性,从而产生用于连续手眼校准的通用方法。
2020-04-27 cs.CV cs.RO
GAZELOAD A Multimodal Eye-Tracking Dataset for Mental Workload in Industrial Human-Robot Collaboration
Department of industrial Automation Technology TU Berlin(工业自动化技术系 柏林技术大学)
GAZELOAD数据集通过多模态眼动数据支持工业人机协作中心理负荷的估计与分析,包含眼动信号、环境数据及自我报告评分,用于算法开发与评估。
2026-01-29 cs.RO
A controller for reaching and unveiling a partially occluded object of interest with an eye-in-hand robot
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
本文提出了一种基于机器人末端执行器上的手持摄像机获取的分类点云的控制方案,用于接近和揭示部分遮挡的感兴趣对象。它示出,所提出的控制器达到在附近的对象逐步揭开的兴趣对象的每个可见点的邻域。因此,它可以潜在地实现对象的完全揭开。所提出的控制方案是通过模拟和实验与UR5e机器人与手实感摄像头上的模拟葡萄藤设置揭开葡萄的茎进行评估。
2021-12-17 cs.RO
Robot eye-hand coordination learning by watching human demonstrations: a task function approximation approach
University of Alberta(阿尔伯塔大学)
我们提出了一种机器人眼手协调学习方法,可以直接学习视觉任务规范通过观看人类演示。任务规范被表示为一个任务函数,这是学习使用逆强化学习(IRL)通过推断状态变化之间的差分奖励。学习的任务功能,然后作为连续的反馈,在未校准的视觉伺服(UVS)控制器设计的执行阶段。我们提出的方法可以直接从原始视频中学习,这消除了手工设计任务规范的需要。它还可以通过直接近似任务函数来提供任务可解释性。此外,受益于传统的UVS控制器的使用,我们的训练过程是有效的,学习的政策是独立于一个特定的机器人平台。各种实验的设计表明,对于一定的自由度任务,我们的方法可以适应任务/环境的目标位置,背景,照明和闭塞的变化,而无需事先重新训练。
2019-02-27 cs.RO
Globally Optimal Multi-Scale Monocular Hand-Eye Calibration Using Dual Quaternions
Ulm University(乌尔姆大学)
在这项工作中,我们提出了一种基于双四元数的单目手眼标定方法。由于单目测距的非度量缩放的平移,除了旋转和平移校准之外,还必须估计缩放因子。为此,我们推导出一个二次约束的二次规划,允许所有外部校准参数的联合估计。使用对偶四元数由于其紧凑的表示而导致低运行时间。我们的问题制定进一步允许估计多个缩放同时为不同的序列相同的传感器设置。基于我们的问题制定,我们得出,一个快速的本地和全局最优的解决方法。最后,我们的算法进行了评估,并与模拟和真实世界数据的最先进方法进行了比较,例如,EuRoC MAV数据集。
2022-01-12 cs.CV cs.RO
Towards Robotic Eye Surgery: Marker-free, Online Hand-eye Calibration using Optical Coherence Tomography Images
Technische Universität München(慕尼黑工业大学);Carl Zeiss Meditec(卡尔蔡司医疗技术公司);Sun Yat-Sen University(中山大学);Klinikum rechts der Isar der Technische Universität München(慕尼黑工业大学 Rechts der Isar 医院)
眼科显微手术是一项具有挑战性的手术,需要非常精确和灵巧的操作。图像引导机器人辅助手术(RAS)是一种很有前途的解决方案,可以显著改善手术结果,减少人类外科医生的身体限制。然而,这项技术必须进一步发展,才能在临床上常规使用。其中一个问题是机器人操纵器和适当的成像装置之间缺乏适当的校准。在这项工作中,我们开发了一个灵活的框架,手眼校准的眼科机器人与显微镜集成光学相干断层扫描(MIOCT)没有任何标记。该方法包括三个主要步骤:a)估计OCT标定参数; b)利用机器人控制的微尺度位移,检测并分割3D-OCT体积中的针尖; c)找到OCT摄像机坐标系与机器人坐标系之间的转换。我们在离体猪眼实验中验证了我们的框架的能力,并将结果与参考方法(基于标记)进行了比较。在所有实验中,我们的方法显示出与基于标记的方法的小差异,平均校准误差分别为9.2 $μ$ m和7.0 $μ$ m。此外,噪声测试表明所提出的方法的鲁棒性。
2018-08-17 cs.CV cs.RO
Spatiotemporal Calibration for Laser Vision Sensor in Hand-eye System Based on Straight-line Constraint
Hong Kong Polytechnic University(香港理工大学);Hezhou University(贺州学院);Shanghai University(上海大学);Central China Normal University(华中师范大学)
针对激光视觉传感器相机通信延迟导致的时间不同步及手眼外参数变化问题,提出一种基于直线约束的免示教时空标定方法,利用Levenberg-Marquardt算法优化时间偏移和外参数,并通过曲线焊缝扫描实验验证了其可行性与准确性。
2025-11-03 cs.RO
Multi-Camera Hand-Eye Calibration for Human-Robot Collaboration in Industrial Robotic Workcells
University of Padova(帕多瓦大学)
本文针对工业机器人工作单元中人机协作的多相机手眼标定问题,提出一种融合标定板到末端执行器变换和相机间相对变换约束的鲁棒标定方法,在 METRIC 数据集和真实工业数据上以少于 10 张图像即可超越现有最先进技术,并开源了算法实现。
2024-06-17 cs.CV cs.RO
Age-Related Differences in the Perception of Eye-Gaze from a Social Robot
Örebro University(奥雷布罗大学)
研究探讨社会机器人通过指示性眼动改善老年人社会感知能力,旨在设计适应年龄差异的非语言交流方案。
2026-03-09 cs.RO
Bimanual Manipulation of Steady Hand Eye Robots with Adaptive Sclera Force Control: Cooperative vs. Teleoperation Strategies
Johns Hopkins University(约翰斯·霍普金斯大学);Johns Hopkins Hospital(约翰斯·霍普金斯医院)
针对视网膜静脉插管中巩膜接触力安全问题,本文提出集成 AFC 与 FBG 力传感的 SHER 双手自适应遥操作框架,并实验证明其优于或等效于协作模式。
2024-08-05 cs.RO
A Robotic Framework for Making Eye Contact with Humans
Chittagong University of Engineering and Technology(吉大港工程技术大学)
目光接触是人类与他人进行任何对话的基本先决条件。然而,对于机器人来说,如果它们最初没有面对彼此,或者人类正在激烈地从事他或她的任务,那么与人类进行眼神接触并不是一件容易的事情。如果机器人想开始与某个特定的人交流,它应该首先将目光转向那个人。然而,仅仅这样一个转身动作并不总是足以建立眼神交流。为了吸引人类的注意力,机器人有时需要做出一些强有力的动作.本文提出了一种机器人的计算模型,该模型能够主动地吸引人类的注意力,并与人类进行目光接触.使用机器人头部进行的评估实验表明,该模型在不同的观看情况下都是有效的.
2020-07-13 cs.HC cs.RO
OHPL: One-shot Hand-eye Policy Learner
Queen Mary University of London(伦敦玛丽女王大学)
用于操纵任务的机器人的控制通常依赖于目标检测和姿态估计。一种有吸引力的替代方案是直接从原始输入数据学习控制策略。然而,这种方法既耗时又昂贵,因为学习策略需要在物理环境中对机器人动作进行多次试验。为了降低训练成本,可以在具有大量合成图像的模拟中学习策略。这种方法的限制是仿真和机器人工作空间之间的域间隙。在本文中,我们建议学习的机器人达到运动从一个单一的图像直接在机器人工作空间从放置在末端执行器(手眼相机)的相机。所提出的策略学习器背后的想法是,从手眼相机中看到的机器人工作空间中的动作产生的视图变化类似于通过执行顺序对象定位来定位单个图像中的感兴趣区域。这种类似的视图变化使得能够使用基于重复学习的顺序对象本地化来训练对象到达策略。为了便于适应的政策,以查看机器人工作空间中的变化,我们进一步提出了一个动态过滤器,学习偏见的输入状态,以消除不相关的信息的行动决定。所提出的策略学习器可以作为一个强大的机器人任务的代表,我们验证了它的静态和移动物体到达任务。
2021-08-06 cs.RO
Robot Hand-Eye Calibration using Structure-from-Motion
1 Institut Fran c ais de M\'ecanique Avanc\'ee, BP 265, 63175 Aubi\`ere Cedex, France. 2 INRIA Rh\ one-Alpes
本文提出一种结合 Structure-from-Motion 与已知机器人运动的灵活手眼标定线性方法,可同时求解手眼参数与未知尺度因子,适用于无人车辆等自标定场景,经大量实验验证有效。
2023-11-21 cs.CV cs.RO
Mirror Eyes: Explainable Human-Robot Interaction at a Glance
Honda Research Institute Europe GmbH(本田欧洲研究院)
本研究提出一种基于屏幕眼球模型的机器人系统,通过在眼睛上呈现注视区域的镜像反射,提升人机交互中的可解释性与用户体验。
2025-06-23 cs.HC cs.RO
Solving the Robot-World Hand-Eye(s) Calibration Problem with Iterative Methods
United States Department of Agriculture Agricultural Research Service(美国农业部农业研究局);The Hashemite University(哈希姆大学)
机器人世界手眼标定是确定机器人末端执行器和摄像机之间的变换以及机器人基座和世界坐标系之间的变换的问题。该关系已被建模为$\mathbf{AX}=\mathbf{ZB}$,其中$\mathbf{X}$和$\mathbf{Z}$是未知的齐次变换矩阵。许多机器人操作任务的成功执行取决于准确地确定这些矩阵,我们特别感兴趣的是在视觉任务中使用的校准。在这项工作中,我们描述了一个集合的方法组成的两个成本函数类,三个不同的参数化旋转组件,可分离与同时制定。我们探索了这些方法在真实数据集和模拟数据集上的行为,并与其他七种最先进的方法进行了比较。我们收集的方法返回更高的精度在许多指标相比,国家的最先进的。收集的方法扩展到机器人世界的手多眼校准的问题,结果显示与两个和三个摄像头安装在同一个机器人。
2019-07-29 cs.CV cs.RO
Online estimation of the hand-eye transformation from surgical scenes
Wellcome / EPSRC Centre for Interventional and Surgical Sciences (WEISS)(惠康/EPSRC介入与外科科学中心(WEISS));University College London(伦敦大学学院)
针对机器人辅助微创手术手眼标定依赖广泛数据且流程复杂的问题,提出结合LSTM与新型多约束目标函数的神经网络方法,从图像和运动学序列在线估计手眼变换,精度达10–20像素并优于既有方法。
2023-06-04 cs.LG cs.RO
EyeSight Hand: Design of a Fully-Actuated Dexterous Robot Hand with Integrated Vision-Based Tactile Sensors and Compliant Actuation
Massachusetts Institute of Technology(麻省理工学院)
本研究提出集成视觉式触觉传感器与准直驱驱动的7自由度仿人灵巧手EyeSight Hand,通过三项操作任务实验验证,结合视觉丢弃策略的模仿学习证明触觉感知可显著提升灵巧操作性能。
2024-08-12 cs.RO
Intent expression using eye robot for mascot robot system
Tokyo Institute of Technology(东京工业大学);AIST Japan(日本国立研究开发法人产业技术综合研究所)
从人机工程学的角度,提出了一种基于眼睛机器人的吉祥物机器人系统的意图表达系统。本发明的目的是为信息终端机器人系统提供一种基本的接口方法。为了更好地理解所显示的信息,信息的重要性和确定性程度应与主要内容一起传达。所提出的意图表达系统旨在使用眼睛机器人系统来传达该附加信息。眼睛运动被表示为愉悦唤醒空间模型中的状态。根据显示信息的重要性和确定性程度,通过模糊推理计算模型状态的变化。这些变化影响了空间中的觉醒-睡眠坐标,该坐标对应于交流期间的活跃程度。眼睛机器人为吉祥物机器人系统提供了一个基本的接口,它很容易被理解为一个用于人类社会中家庭环境的信息终端。
2009-04-10 cs.AI cs.HC cs.RO
EasyHeC: Accurate and Automatic Hand-eye Calibration via Differentiable Rendering and Space Exploration
Zhejiang University(浙江大学);University of California, San Diego(加利福尼亚大学圣迭戈分校)
针对传统手眼标定依赖标记物与人工设计位姿、现有学习方法误差诊断能力弱的问题,提出无需标记物的白盒方法EasyHeC,结合可微渲染位姿优化与关节空间探索,在合成与真实数据集上均取得更优性能,可提升下游机器人操作任务表现。
2023-11-07 cs.CV cs.RO
A Certifably Correct Algorithm for Generalized Robot-World and Hand-Eye Calibration
1 Space \& Terrestrial Autonomous Robotic Systems Laboratory, University of Toronto Institute for Aerospace Studies, Toronto, ON, Canada 2 Institute for Experiential Robotics, Northeastern University, Boston, MA, USA 3 Autonomous Robotics;Convex Optimization Laboratory, McMaster University, Hamilton, ON, Canada
本研究针对多传感器平台外参标定需求,提出一种快速可证明全局最优的广义机器人-世界与手眼标定算法,支持多传感器目标位姿同步估计与单目相机,推导了可辨识性准则与全局最优性先验保证,并开源了实现代码。
2025-07-30 cs.RO
EARL: Eye-on-Hand Reinforcement Learner for Dynamic Grasping with Active Pose Estimation
Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
提出EARL方法,利用主动位姿估计与强化学习,实现眼在手系统对移动物体的实时跟踪与动态抓取,无需运动预测,并在多机械臂仿真与真实实验中验证有效性。
2023-10-10 cs.RO
Cooperative vs. Teleoperation Control of the Steady Hand Eye Robot with Adaptive Sclera Force Control: A Comparative Study
Johns Hopkins University(约翰斯·霍普金斯大学)
本文首次在 SHER 2.1 上实现结合自适应巩膜力控制的遥操作模式,并通过眼模型血管跟随实验与协作控制模式进行性能对比,以同时实现震颤消除和巩膜接触力最小化。
2023-12-04 cs.RO
Eye-in-Finger: Smart Fingers for Delicate Assembly and Disassembly of LEGO
Carnegie Mellon University(卡内基梅隆大学);Robotics Institute(机器人研究所)
本文提出“指中眼”工具设计,在工具尖端嵌入低成本高分辨率感知,通过乐高装配拆卸任务验证其能以亚毫米精度实时校正对准误差,将校准误差容忍度从0.4mm提升至2.0mm。
2025-03-10 cs.RO
Investigating the Usability of Collaborative Robot control through Hands-Free Operation using Eye gaze and Augmented Reality
Hanyang University(汉阳大学);Hanyang University ERICA(汉阳大学ERICA校区)
本文提出一种基于增强现实和眼动追踪的免手持移动机器人控制方法,通过HoloLens 2实现,实验表明其可用性优于传统操纵杆,可提升人机协作效率。
2023-06-22 cs.RO
Brain-Swarm Interface (BSI): Controlling a Swarm of Robots with Brain and Eye Signals from an EEG Headset
Boston University(波士顿大学);Stanford University(斯坦福大学)
这项工作提出了一种新的婚姻群机器人和脑机接口技术,以产生一个接口,连接用户到一群机器人。建议的界面使用户能够控制群的大小和运动,采用只是思想和眼球运动。思想和眼球运动通过一个现成的脑电图(EEG)耳机从头皮上记录下来。信号处理技术用于滤除噪声并从原始信号中解码用户的眼球运动,而隐马尔可夫模型技术用于从滤波后的信号中破译用户的想法。机器人的动力学控制使用基于势场的群控制器。人类用户通过脑群接口来调节势场的形状和运动参数以移动机器人。该方法被证明是实验室环境中的一个人控制一群三个M3PI机器人,以及控制一群128个机器人在计算机模拟。
2016-12-24 cs.MA cs.RO
MoGaze: A Dataset of Full-Body Motions that Includes Workspace Geometry and Eye-Gaze
University of Stuttgart(斯图加特大学);TU Berlin(柏林工业大学)
随着机器人越来越多地出现在开放的人类环境中,机器人系统理解和预测人类运动将变得至关重要。这种能力在很大程度上取决于运动捕捉数据的质量和可用性。然而,现有的全身运动数据集很少包括1)长序列的操纵任务,2)工作空间几何形状的3D模型,以及3)眼睛注视,当机器人需要预测人类的运动时,这些都很重要。因此,在本文中,我们提出了一个新的全身运动数据集,用于日常操作任务,其中包括上述内容。运动数据的捕获使用传统的运动捕捉系统的基础上反射标记。此外,我们还使用可穿戴的瞳孔跟踪设备捕获了眼睛注视。正如我们在实验中所示,该数据集可用于全身运动预测算法的设计和评估。此外,我们的实验表明,眼睛凝视是人类意图的一个强有力的预测因素。该数据集包括180分钟的动作捕捉数据,其中执行了1627个拾取和放置动作。它可以在https://humans-to-robots-motion.github.io/mogaze上找到,并计划在不久的将来扩展到两个人的协作任务。
2020-11-23 cs.RO
Vitreoretinal Surgical Robotic System with Autonomous Orbital Manipulation using Vector-Field Inequalities
The University of Tokyo(东京大学)
本文提出一种基于向量场不等式的机器人辅助玻璃体视网膜手术自主眼眶操作方法,通过遥操作系统控制眼球旋转,仿真和物理实验均表明该方法能提升系统可操纵性并扩大眼底可视区域。
2023-02-11 cs.RO
Steady-Hand Eye Robot 3.0: Optimization and Benchtop Evaluation for Subretinal Injection
Johns Hopkins University(约翰斯·霍普金斯大学);Wilmer Eye Institute(威尔默眼科研究所)
本文提出协同控制的 SHER 3.0 视网膜手术机器人,通过 delta 平台偏转建模与参数优化提升靶向性能,台架测试验证其达到亚毫米级注射精度。
2023-09-06 cs.RO