Calibration of 3-d.o.f. Translational Parallel Manipulators Using Leg Observations
Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制研究所）；Belarusian State University of Informatics and Radioelectronics（白俄罗斯信息与无线电电子大学）
提出了一种新的准各向同性并联机构几何模型标定方法。它基于在特定测试姿势之间的运动期间对操纵器腿平行度的观察，并采用由连接到通用磁性支架的标准比较器指示器组成的低成本测量系统。当机械手沿笛卡尔轴移动TCP时，它们顺序地用于测量相关腿位置的偏差。使用测量的差异，开发的算法估计的关节偏移和腿的长度被视为最重要的参数。实验结果证实了所提出的校准技术的有效性。
2009-10-30 cs.RO
A Visual Kinematics Calibration Method for Manipulator Based on Nonlinear Optimization
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）；School of Automation, South East University（东南大学自动化学院）
传统的机械手运动学标定方法需要精确的三维测量仪器来测量末端位姿，不仅测量仪器价格昂贵，而且不适用于所有机械手。另一种标定方法是使用摄像机，但摄像机参数引起的系统误差影响了机械臂运动学模型的标定精度。为此，本文提出了一种基于单目视觉的机械臂运动学模型几何参数标定方法。首先，采用经典的Denavit-Hartenberg（D-H）建模方法建立机械手的运动学参数。其次，进行非线性优化和参数补偿。将实际运动学模型和经典D-H运动学模型对应的各机械手姿态下标定板特征点的三维位置映射到像素坐标系中，以两者像素坐标的欧氏距离误差之和作为待优化的目标函数。实验结果表明，本文提出的优化D-H运动学模型对应的末端位姿与实际运动学模型对应的末端位姿在像素坐标系中的像素偏差为0.99个像素。与经典D-H运动学模型计算的像素坐标与实际像素坐标之间的7.9个偏差像素相比，偏差减少了近7个像素，误差减少了87%。因此，该方法能有效避免视觉标定中摄像机参数引起的系统误差，提高机械臂末端的绝对定位精度，具有良好的经济性和通用性。
2020-05-18 cs.RO
Robust algorithm for calibration of robotic manipulator model
Ecole des Mines de Nantes（南特矿业学院）；IRCCyN（南特通信与控制研究所）；École Nationale d’Ingénieurs de Metz（梅斯国立工程师学院）；LCFC-ENSAM ParisTech Metz（ENSAM巴黎高科梅斯实验室）；University of Nantes（南特大学）
研究了机械臂几何参数和弹性静力参数的鲁棒辨识问题。重点研究了辨识算法效率的提高。为了提高辨识精度，提出了采用加权最小二乘法的方法，该方法采用了一种新的加权系数分配算法。后者允许考虑在不同方向和整个机器人工作空间中测量系统精度的变化。通过工业机器人弹性静力学标定的应用实例说明了该方法的优越性。
2013-11-26 cs.RO
Multi 3D Camera Mapping for Predictive and Reflexive Robot Manipulator Trajectory Estimation
University of Oslo（奥斯陆大学）；Oslo University Hospital（奥斯陆大学医院）
随着技术的进步，机器人操纵器和视觉环境传感器变得越来越便宜和广泛。然而，机器人控制仍然是更好地适应这些技术的一个限制因素。机器人操作器在结构化的机器人中表现得很好，但不能很好地适应意外的变化，比如人们进入工作空间。我们提出了一种方法，结合3D摄像机的工作空间映射，和一个预测和自反的机器人操作器的轨迹估计，以允许更有效和更安全的操作在动态仿真。在一个真正的UR5机器人的实验中，我们的方法已被证明可以提供更短，更平滑的轨迹相比，反应轨迹规划器在相同的条件下。此外，机器人通过初始化自反运动成功地避免了任何接触，即使当障碍物意外接近机器人时也是如此。我们工作的主要目标是使操作在非结构化动态调度中更加灵活，不仅要避开障碍物，还要在不久的将来与人类执行协作任务时进行适应。
2016-10-12 cs.RO
Kinematic calibration of Orthoglide-type mechanisms from observation of parallel leg motions
École des Mines de Nantes（南特矿业学院）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制研究所）
本文提出了一种新的并联机器人的标定方法，允许有效地识别关节偏移使用的机械手腿平行度相对于基础表面的意见。该方法采用了一个简单的和低成本的测量系统，该系统评估的腿的位置在运动过程中，假设保持腿的平行度的机械手参数的标称值的偏差。使用所测量的偏差，开发的算法估计被视为最重要的参数被识别的联合偏移。实验结果证实了所提出的校准方法的有效性和开发的数值算法的效率。对测量方法的灵敏度和标定精度进行了研究。
2009-09-21 cs.RO
Automatic self-contained calibration of an industrial dual-arm robot with cameras using self-contact, planar constraints, and self-observation
Department of Cybernetics, Faculty of Electrical Engineering, Czech Technical University in Prague（布拉格捷克理工大学电气工程学院控制论系）；Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague（布拉格捷克理工大学捷克信息学、机器人学与控制论研究所）
我们提出了一种机器人运动学校准方法，结合互补的校准方法：自接触，平面约束，和自我观察。我们分析了末端执行器参数的估计，机械手的关节偏移，和完整的运动链（DH参数）的校准。结果进行了比较与地面实况测量提供的激光跟踪仪。我们的主要发现是：（1）当单独应用互补校准方法时，自接触方法产生最好和最稳定的结果。(2)在校准误差和估计参数的可观测性方面，一种以上方法的所有组合总是优于使用任何单一方法。结合更多的方法提供了更好地推广到不用于校准的工作空间部分的机器人参数。(3)顺序校准，即首先校准摄像机，然后机器人运动学，比所有参数的同时校准更有效。在实际实验中，我们采用两个工业机械手安装在一个共同的基础。机械手在手腕处配备了力/扭矩传感器，两个摄像机连接到机器人底座，并配备了带基准标记的特殊末端执行器。我们收集了一个新的全面的数据集机器人运动学校准，并公开提供。数据集及其分析提供了定量和定性的见解，超出了这项工作中使用的特定机械手，并适用于一般的独立机器人运动学校准。
2021-09-24 cs.RO
Hybrid Visual SLAM for Underwater Vehicle Manipulator Systems
University of Michigan（密歇根大学）；Woods Hole Oceanographic Institution（伍兹霍尔海洋研究所）；Carnegie Mellon University（卡内基梅隆大学）
本文提出一种基于视觉特征的UVMS混合SLAM方法，通过融合车载立体相机和腕部鱼眼相机特征扩展地图，在自然海底环境中表现出高精度。
2023-04-03 cs.RO
Kinematic Calibration of the Orthoglide-Type Mechanisms
Belarusian State University of Informatics and Radioelectronics（白俄罗斯国立信息与无线电电子大学）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制研究所）
本文提出了一种新的校准方法的基础上观察的机械手腿平行度之间的预先指定的测试姿态的运动过程中的滑翔式机构。它采用了一个低成本的测量系统，由标准的比较器指示器连接到通用的磁性支架。当机械手沿笛卡尔轴移动TCP时，它们顺序地用于测量相关腿位置的偏差。使用测量的差异，开发的算法估计的联合偏移被视为最重要的参数进行调整。对测量方法的灵敏度和标定精度进行了研究。实验结果表明，所提出的校准技术的有效性。
2007-05-09 cs.RO
Increasing the Task Flexibility of Heavy-Duty Manipulators Using Visual 6D Pose Estimation of Objects
Tampere University（坦佩雷大学）；Sandvik Mining and Construction Oy（山特维克矿山与建筑建设公司）
本研究利用视觉6D姿态估计与运动标定，实现重型长臂机械臂的精确工具定位，实验误差小于2毫米，提升任务灵活性与自动化水平。
2025-02-26 cs.RO
Kinematic calibration of orthoglide-type mechanisms
Belarusian State University of Informatics and Radioelectronics（白俄罗斯信息与无线电电子大学）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制研究所）
本文提出了一种新的校准方法的基础上观察的机械手腿平行度之间的运动过程中的预定测试姿态的滑翔式机构。它采用了一个低成本的测量系统，由标准的比较器指示器连接到通用的磁性支架。当机械手沿笛卡尔轴移动TCP时，它们顺序地用于测量相关腿位置的偏差。使用测量的差异，开发的算法估计的联合偏移被视为最重要的参数进行调整。并对测量方法的灵敏度和标定精度进行了研究。实验结果表明，所提出的校准技术的有效性
2007-11-12 cs.RO
Industry-oriented Performance Measures for Design of Robot Calibration Experiment
Ecole des Mines de Nantes（南特矿业学院）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制论研究所）
本文主要研究提高工业机器人几何标定和弹性标定精度的问题。它提出了面向行业的性能指标的校准实验设计。它们基于机械手测试位姿的概念，并参考应用误差补偿算法后的末端执行器定位精度，该算法实现了所识别的参数。这种方法允许用户针对给定的工件位置和加工力/扭矩定义机器人校准的最佳测量配置。这些性能指标适用于比较要执行的简单和复杂轨迹的校准计划。所开发的技术的优点说明了一个例子，处理与加工使用机器人机械手。
2012-11-25 cs.RO
An Active Learning Based Robot Kinematic Calibration Framework Using Gaussian Processes
California Institute of Technology（加州理工学院）
未来NASA的冰卫星着陆器任务将需要完全自动化，准确和数据高效的校准方法，用于在着陆器附近采样结冰地形的机器人操纵臂。为了支持这一需要，本文提出了一种高斯过程（GP）的方法来经典的机械手运动学校准过程。而不是确定一组校正的Denavit-Hartenberg运动学参数，一组GPS模型的剩余运动误差的工作空间的手臂。更重要的是，这个建模框架允许高斯过程置信上限（GP-UCB）算法，以有效地和自适应地选择校准的测量点，以尽量减少实验的数量，从而最大限度地减少重新校准所需的时间。该方法在模拟中演示了一个简单的2自由度臂，6自由度臂的几何形状是未来NASA任务的候选人，和7自由度巴雷特WAM臂。
2023-03-07 cs.RO
Calibration of quasi-isotropic parallel kinematic Machines: Orthoglide
Belarusian State University of Informatics and Radioelectronics（白俄罗斯国立信息与无线电电子大学）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制研究所）
提出了一种新的准各向同性并联机构几何模型标定方法。它基于在特定测试姿势之间的运动期间对操纵器腿平行度的观察，并采用由连接到通用磁性支架的标准比较器指示器组成的低成本测量系统。当机械手沿笛卡尔轴移动TCP时，它们顺序地用于测量相关腿位置的偏差。使用测量的差异，开发的算法估计的关节偏移和腿的长度被视为最重要的参数。实验结果证实了所提出的校准技术的有效性。
2007-05-09 cs.RO
Virtual-force Based Visual Servo for Multiple Peg-in-Hole Assembly with Tightly Coupled Multi-Manipulator
Harbin Institute of Technology, China（哈尔滨工业大学）
本文提出基于虚拟力的多机械臂视觉伺服控制方法，通过整合多机械臂的视觉特征提升多插孔装配任务的精度与鲁棒性。
2026-01-14 cs.RO
Joint Camera Intrinsic and LiDAR-Camera Extrinsic Calibration
Shanghai AI Laboratory（上海人工智能实验室）
基于传感器的环境感知是自动驾驶系统的关键步骤，多个传感器之间的准确校准起着关键作用。对于LiDAR和摄像机的标定，现有的方法一般是先标定摄像机的内标，再标定LiDAR和摄像机的外标。如果相机的内标在第一阶段没有被正确标定，则不容易准确地标定LiDAR相机的外标。由于摄像机内部结构复杂，缺乏有效的内参数标定定量评价方法，在实际标定中，摄像机内参数的微小误差往往会降低外参数标定的精度。为此，我们提出了一种新的基于目标的相机内参数和激光雷达相机外参数的联合标定方法。首先，我们设计了一种新的校准板图案，在棋盘周围增加了四个圆孔，用于定位LiDAR位姿。随后，下定义的棋盘格和圆孔特征的重投影约束下的成本函数的设计，以解决相机的内参数，失真因子，和激光雷达相机的外参数。最后在实际环境和模拟环境下进行了定量和定性实验，实验结果表明该方法具有较好的准确性和鲁棒性。开放源代码可在https://github.com/OpenCalib/JointCalib上获得。
2023-02-24 cs.RO
Model-free Visual Control for Continuum Robot Manipulators via Orientation Adaptation
University of California, San Diego（加利福尼亚大学圣迭戈分校）
我们提出了一个方向自适应控制器，以补偿高度约束的环境连续机械手驱动的影响。使用来自由远端相机捕获的光流测量的最佳估计技术更新的变换矩阵与任何雅可比估计或运动学模型组成，以补偿这些影响。通过利用领域知识来定义该矩阵的结构，需要估计的参数较少，并且可以保证稳定的控制器。该算法在定制的机器人导管上进行了测试，并从经验和理论上证明了收敛性。
2019-09-01 cs.RO
General, Single-shot, Target-less, and Automatic LiDAR-Camera Extrinsic Calibration Toolbox
National Institute of Advanced Industrial Science and Technology（产业技术综合研究所）
本文介绍了一个开源的LiDAR相机校准工具箱，该工具箱适用于LiDAR和相机投影模型，只需要一对LiDAR和相机数据，无需校准目标，并且是全自动的。对于自动初始猜测估计，我们使用SuperGlue图像匹配管道来查找LiDAR和相机数据之间的2D-3D对应关系，并通过RANSAC估计LiDAR-相机变换。在给定初始猜测的情况下，我们基于归一化信息距离（一种基于互信息的跨模态距离度量）通过直接LiDAR相机配准来改进变换估计。对于方便的校准过程，我们还提供了几种辅助功能（例如，动态LiDAR数据集成和用于手动进行2D-3D对应的用户界面）。实验结果表明，该工具箱能够对旋转和非重复扫描激光雷达、针孔和全向相机的任意组合进行标定，比现有的基于边缘对齐的标定方法具有更好的标定精度和鲁棒性。
2023-02-10 cs.RO
Bi-Manual Joint Camera Calibration and Scene Representation
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）；College of Connected Computing, Vanderbilt University（范德比大学连接计算学院）
本研究提出Bi-JCR框架，通过3D基础模型实现双臂机器人无需标记的联合标定与共享空间的统一3D表示，提升双臂协调任务的鲁棒性和应用性。
2025-05-30 cs.CV cs.LG cs.RO
Unifying Scene Representation and Hand-Eye Calibration with 3D Foundation Models
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
本文提出JCR方法，利用3D基础模型，通过机械臂搭载的RGB相机同时构建环境表示并完成手眼标定，无需外部标记，实现与机器人坐标系对齐且尺度准确的3D场景表示。
2024-04-17 cs.CV cs.RO
Strain-Parameterized Coupled Dynamics and Dual-Camera Visual Servoing for Aerial Continuum Manipulators
Department of Mechanical, Industrial, and Mechatronics Engineering, Toronto Metropolitan University（机械、工业与机电工程系，多伦多 Metropolitan 大学）
本文提出了一种基于应变参数化的空中连续操纵器耦合动力学模型与双目视觉伺服控制方法，解决了计算成本高和未考虑空中平台欠驱动问题，通过统一的拉格朗日常微分方程框架实现动力学建模，并通过仿真和实验验证了方法的有效性和鲁棒性。
2026-03-24 cs.CV cs.RO
Targetless Extrinsic Calibration of Stereo Cameras, Thermal Cameras, and Laser Sensors in the Wild
Wuhan University（武汉大学）；The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
针对立体相机、热成像相机和激光传感器的跨模态外参标定难题，提出一种无需专用靶标、无需人工交互的一次性无靶标标定框架，并验证其准确性与场景适用性。
2022-06-08 cs.RO
Single-Shot is Enough: Panoramic Infrastructure Based Calibration of Multiple Cameras and 3D LiDARs
Alibaba Group（阿里巴巴集团）
多个相机和3D Li-DAR的集成已经成为增强现实设备、机器人和自动驾驶汽车的基本配置。多模态传感器的校准对于系统正常运行至关重要，但对于大规模生产来说仍然是繁琐和不切实际的。此外，大多数设备在使用一段时间后需要重新校准。在本文中，我们提出了一个单次拍摄的解决方案，用于校准多个相机和3D激光雷达之间的外部转换。我们建立了一个全景基础设施，其中相机或激光雷达可以使用来自单帧的数据进行鲁棒定位。在三个具有不同相机LiDAR配置的设备上进行了实验，表明我们的方法与最先进的方法实现了相当的校准精度，但效率更高。
2021-07-10 cs.RO
Fast calibration for ultrasound imaging guidance based on depth camera
Wuhan University（武汉大学）；Renmin Hospital of Wuhan University（武汉大学人民医院）；Wuhan Institute of Technology（武汉工程大学）
本文提出一种基于深度相机的超声图像快速标定方法，通过易部署装置采集针尖在超声图像与深度相机中的坐标并构建对应矩阵，实验验证了其有效性。
2023-08-10 cs.RO
Extrinsic Calibration of LiDAR, IMU and Camera
Texas A \& M Univeristy, College Station, USA
在这项工作中，我们提出了一种新的方法来联合校准的传感器套件组成的三维激光雷达，惯性测量单元（IMU）和相机下的扩展卡尔曼滤波器（EKF）的框架。我们利用3个传感器对之间的成对约束进行EKF更新，并通过实验证明了联合校准相对于单个传感器对校准所获得的优越性能。
2022-05-18 cs.RO
DXQ-Net: Differentiable LiDAR-Camera Extrinsic Calibration Using Quality-aware Flow
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）
激光雷达摄像机的精确外标定是移动机器人多传感器系统的前提。大多数校准方法依赖于费力的手动操作和校准目标。在线工作时，校准方法应该能够从环境中提取信息，以构建跨模态数据关联。卷积神经网络（CNN）具有强大的特征提取能力，已被用于标定。然而，大多数过去的方法解决外部作为一个回归任务，而不考虑所涉及的几何约束。在本文中，我们提出了一种新的端到端的外部校准方法命名为DXQ-Net，使用可微的姿态估计模块进行推广。我们制定了一个概率模型的激光雷达相机校准流程，产生的不确定性的预测来衡量激光雷达相机数据关联的质量。测试实验表明，我们的方法在平移分量上达到了与其他方法相竞争的水平，在旋转分量上达到了最先进的性能。泛化实验表明，该方法的泛化性能明显优于其他基于深度学习的方法。
2022-03-17 cs.RO
Camera-to-Robot Pose Estimation from a Single Image
NVIDIA（英伟达）；Carnegie Mellon University（卡内基梅隆大学）
我们提出了一种方法，用于估计相对于机器人使用单个RGB图像的机器人的外部相机的姿态。图像由深度神经网络处理，以检测与机器人相关联的关键点（如关节）的2D投影。该网络完全基于模拟数据进行训练，使用域随机化来弥合现实差距。视角n-点（PPENS），然后用于恢复相机extrinsics，假设相机的内在和关节配置的机器人操作器是已知的。与经典的手眼校准系统不同，我们的方法不需要离线校准步骤。相反，它是能够计算的相机extrinsics从一个单一的帧，从而打开在线校准的可能性。我们展示了三种不同的机器人和相机传感器的实验结果，证明我们的方法能够用单个帧实现精度，这与使用多个帧的经典离线手眼校准相当。使用来自静态姿势的附加帧，精度进一步提高。代码，数据集和预训练模型的三个广泛使用的机器人操纵器。
2020-04-23 cs.RO
Targetless Intrinsics and Extrinsic Calibration of Multiple LiDARs and Cameras with IMU using Continuous-Time Estimation
College of Information Science and Engineering, Northeastern University（东北大学信息科学与工程学院）；MEGVII Technology（旷视科技）
针对异步、非重叠视场的多相机与多激光雷达时空标定难题，提出基于连续时间与BA的无标定板流程，联合优化内参、6自由度外参和时间偏移。
2025-01-06 cs.RO
An optimization-based IMU/Lidar/Camera Co-calibration method
The University of Tokyo（东京大学）；Southeast University（东南大学）
近年来，多传感器融合技术在汽车导航定位领域取得了重大进展。作为融合算法的前提，多传感器的外定标需求日益增长。为了计算外参数，许多研究都致力于两步方法，该方法将各自的校准成对集成。由于忽略了所有传感器的约束条件，使得该方法效率低、结构不紧凑。针对这一问题，提出了一种基于优化的IMU/Lidar/Camera协同标定方法。首先，分别进行了IMU/相机和IMU/激光雷达的在线标定。然后，棋盘中的角点和表面特征点与粗结果相关联，并构造相机/激光雷达约束。最后，构造联合校准优化以细化所有外部参数。我们在仿真中评估了所提出的方案的性能，结果表明，我们提出的方法优于两步方法。
2022-09-26 cs.RO
Serpentine Synergy: Design and Fabrication of a Dual Soft Continuum Manipulator and Soft Snake Robot
Indian Institute of Technology - Kanpur（印度理工学院坎普尔分校）；National Institute of Technology - Tiruchirappalli（印度国家理工学院蒂鲁吉拉伯利分校）
本文提出一种基于发泡聚乙烯泡沫模块的双用软体连续体机器人，既可作为末端带摄像头的机械臂用于废墟搜救，也可加装主动轮变为蛇形移动机器人，并完成了设计、制造与实验验证。
2024-07-05 cs.RO
5G Virtual Reality Manipulator Teleoperation using a Mobile Phone
University of Waterloo（滑铁卢大学）
本研究提出以手机为主端的5G/无线网络机械臂遥操作方案，结合手机IMU与摄像头估计位姿控制机器人，搭配VR点云多视角视觉反馈与触觉力反馈，提升操作沉浸感，并分析了系统性能。
2024-05-12 cs.RO
An Aerial Manipulator for Robot-to-robot Torch Relay Task: System Design and Control Scheme
Shenyang Institute of Automation, Chinese Academy of Sciences（中国科学院沈阳自动化研究所）；Institute for Robotics and Intelligent Manufacturing, Chinese Academy of Sciences（中国科学院机器人与智能制造研究院）
本文针对北京2022年冬奥会机器人间火炬传递任务，设计了一种由四旋翼、三自由度机械臂和单目相机组成的空中机械臂系统，并提出相应控制方案，实验验证了其在冰雪场地视觉引导下完成火炬传递的能力。
2024-01-08 cs.RO
Experimental Evaluation of 3D-LIDAR Camera Extrinsic Calibration
Texas A&M University（德克萨斯A&M大学）；Ford Motor Company（福特汽车公司）
在本文中，我们进行了三个不同的目标为基础的三维激光雷达相机标定算法的实验比较。我们简要阐述了每种方法背后的数学背景，并提供了对所有这些方法的数据汇集的便利性等实际方面的见解。我们广泛评估这些算法的传感器套件，其中包括多个相机和激光雷达通过评估其鲁棒性随机初始化和使用指标，如平均线重投影误差（MLRE）和工厂立体校准误差。我们还展示了噪声传感器对所有算法的校准结果的影响，并总结了在什么情况下应该使用哪种校准算法。
2020-07-03 cs.RO
Targetless Extrinsic Calibration of Multiple Small FoV LiDARs and Cameras using Adaptive Voxelization
The University of Hong Kong（香港大学）
确定多个LiDAR和相机之间的外部参数对于自主机器人至关重要，特别是对于固态LiDAR，其中每个LiDAR单元具有非常小的视场（FoV），并且多个单元通常被集体使用。大多数外部校准方法是针对360 $^\circ$机械旋转LiDAR提出的，其中假设FoV与其他LiDAR或相机传感器重叠。很少有研究工作集中在小视场激光雷达和相机的校准，也没有提高校准速度。在这项工作中，我们考虑小视场LiDAR和相机之间的外部校准问题，目的是缩短总的校准时间，进一步提高校准精度。首先，我们实现了自适应体素化技术的激光雷达特征点的提取和匹配。这样的过程可以避免冗余创建$k$ -d树的LiDAR外部校准和提取LiDAR特征点，在一个更可靠和快速的方式比现有的方法。然后，我们将多个LiDAR外部校准公式化为LiDAR束调整（BA）问题。通过将代价函数推导到二阶，进一步提高了非线性最小二乘问题的求解时间和精度。我们所提出的方法已被验证的数据收集在四个无目标的场景下，两种类型的固态激光雷达具有完全不同的扫描模式，密度和FoV。我们的工作的鲁棒性也在八个初始设置下得到了验证，每个设置包含100个独立的试验。与最先进的方法相比，我们的工作提高了校准速度15倍的激光雷达激光雷达外部校准和1.5倍的激光雷达相机外部校准（平均结果从50个独立的试验），同时保持准确。
2022-09-24 cs.RO
LiDAR-Camera Calibration under Arbitrary Configurations: Observability and Methods
Zhejiang University（浙江大学）
激光雷达-相机标定是许多异构系统融合激光雷达和相机数据的前提条件。然而，来自公共视场的约束和严格的时间同步要求使得校准成为一个具有挑战性的问题。在本文中，我们提出了一种新的激光雷达相机校准方法，旨在消除这两个限制。具体来说，我们在环境和传感器都静止的情况下捕获3D LiDAR的扫描，然后移动相机，使用顺序获得的图像重建3D环境。最后，基于紧耦合图优化方法将三维视点与激光扫描点对齐，计算激光雷达与摄像机之间的外参数。在这种设计下，这两个传感器的配置是免费的，由于从移动相机的扩展视图的共同的视场约束。而且我们还消除了对严格时间同步的要求，因为我们只使用传感器静止时的激光数据的单次扫描。我们从理论上推导了该方法的最小可观测性条件，并证明了通过从多个分散的标定目标中收集更多的观测值可以提高标定的精度。我们在仿真平台和真实世界的数据集上验证了我们的方法。实验结果表明，该方法比其他同类方法具有更高的准确性，这与我们的理论分析是一致的。此外，该方法不仅适用于基于棋盘面测量误差的标定，也适用于基于点测量误差的标定，如长方体、多边形棋盘等。
2019-05-14 cs.RO
CalQNet -- Detection of Calibration Quality for Life-Long Stereo Camera Setups
Autonomous Systems Lab, ETH Zürich（苏黎世联邦理工学院自主系统实验室）
许多移动机器人平台依赖于外部校准参数的准确知识，特别是执行视觉立体匹配的系统。虽然已经开发了许多精确的立体相机校准方法，这些方法提供了良好的初始“工厂”校准，但是随着时间的推移，所确定的参数可能会随着传感器暴露于环境条件和外部影响而失去其有效性。因此，在自主平台上，用于早期检测重复校准过程的需要的机载诊断方法具有防止关键系统的严重故障的潜力，例如状态估计或障碍物检测。在这项工作中，我们提出了一种新颖的数据驱动方法来估计立体相机系统的校准质量并检测原始校准与当前系统状态之间的差异。该框架由一个新的数据集生成管道组成，用于训练CalQNet，一个深度卷积神经网络。CalQNet可以使用一种新的度量来估计校准质量，该度量近似于立体设置中的误校准程度。我们展示了框架的能力，预测从一个单一的立体帧，如果一个国家的最先进的立体视觉里程计系统将分歧，由于在两个现实世界的实验中的降级校准。
2021-04-10 cs.RO
Online Next-Best-View Planner for 3D-Exploration and Inspection With a Mobile Manipulator Robot
Fraunhofer FKIE（弗劳恩霍夫通信、信息处理与人机工程研究所）
执行面向终端用户的自主探索的机器人系统可以部署在不同的场景中，这些场景不仅需要映射，而且还需要终端用户对感兴趣区域的同时检查。在这项工作中，我们提出了一种新的下一个最佳视图（NBV）的规划，它可以执行充分的探索和面向用户的探索与检查的区域的兴趣使用移动机械手机器人。作为多目标优化（MOO）的一个实例，我们解决了探测-检查问题，并提出了一种基于加权和的信息增益函数，用于计算安装在手臂上的RGB-D相机的NBVs。对于这两种类型的探测任务，我们将我们的方法与现有的最先进的探测方法进行比较，并证明了我们在总体积映射和较低计算要求方面的改进。移动机械手机器人的实际实验证明了该方法的实用性和有效性。
2022-03-18 cs.RO
Automatic Eye-in-Hand Calibration using EKF
Carnegie Mellon University（卡内基梅隆大学）
本文提出了一种基于SLAM的手眼机器人自标定方法。我们的目标是校准机器人手臂的定位，使用基于SLAM的方法，如扩展卡尔曼滤波器（EKF）自动安装在末端执行器上的相机。给定摄像机内参数和工作空间中的一组特征标记，摄像机外参数被近似。一个基于EKF的测量模型被部署来有效地定位相机和计算相机到末端执行器的变换。所提出的方法进行了测试UR5机械手与深度相机安装在末端执行器，以验证我们的结果。
2022-11-13 cs.RO
Accuracy Improvement of Robot-Based Milling Using an Enhanced Manipulator Model
Ecole des Mines de Nantes（南特矿业学院）；Institut de Recherche en Communications et Cybernétique de Nantes（南特通信与控制论研究所）；French National Centre for Scientific Research（法国国家科学研究中心）；University of Nantes（南特大学）
本文致力于机器人为基础的铣削精度的提高，通过使用一个增强的机械手模型，考虑到几何和弹性静力因素。特别注意模型参数的识别精度。与其他方法相比，该方法考虑了重力补偿器和连杆重量对机械臂弹性静力特性的影响。为了提高辨识精度，采用面向工业的性能指标来确定最优的测量配置，并采用改进的局部位姿测量方法来辨识模型参数。所开发的方法的优点被证实的实验结果，处理用于铣削的重型工业机器人的弹性静力学校准。实现的精度改善因子约为2.4。
2014-09-22 cs.RO
CFNet: LiDAR-Camera Registration Using Calibration Flow Network
Harbin Institute of Technology（哈尔滨工业大学）
作为数据融合的一个重要环节，激光雷达相机标定对于自主车辆和机器人导航至关重要。大多数校准方法依赖于手工制作的特征，并且需要大量提取的特征或特定的校准目标。随着深度学习（DL）技术的发展，一些尝试利用卷积神经网络（CNN）来回归6个自由度（DOF）外部参数。然而，据报道，这些基于DL的方法的性能比非DL方法更差。提出了一种结合DL和几何方法的在线LiDAR相机外定标算法。我们定义了一个双通道的图像命名为校准流来说明从初始投影到地面实况的偏差。随机采样一致性（RANSAC）方案中的EPRECT算法被应用于估计外部参数与由校准流程构造的2D-3D对应。在KITTI数据集上的实验表明，该方法优于现有的方法。此外，我们提出了一个语义初始化算法与实例质心（IC）的引入。该代码将在https://github.com/LvXudong-HIT/CFNet上公开发布。
2021-04-24 cs.RO
Spatiotemporal Calibration of Camera and 3D Laser Scanner
Institute of Robotics and Machine Intelligence, Poznan University of Technology（波兹南理工大学机器人与机器智能研究所）
由激光扫描仪和摄像机组成的多传感器装置很受欢迎，因为测量相互补充，并为应用提供必要的鲁棒性。在动态条件下或运动时，需要传感器之间的直接变换（空间校准）和时间偏移（时间校准）来确定测量之间的对应关系。我们提出了一个开源的相机和三维激光扫描仪的时空校准框架。我们的解决方案基于常用的棋盘标记，需要在操作前进行一分钟校准，以提供准确和可重复的结果。该框架是基于批量优化的点到平面的约束与时间偏移校准可能通过一种新的连续表示的平面方程的基础上的最小表示在李代数和B-样条的使用。该框架的属性进行了评估，在模拟的正确性进行了验证与Velodyne VLP-16和SICK MRS 6124三维激光扫描仪两个不同的传感器设置。
2020-08-29 cs.RO
Robust Surgical Tool Tracking with Pixel-based Probabilities for Projected Geometric Primitives
College of Physicians and Surgeons, Columbia University（哥伦比亚大学内科医生与外科医生学院）；University of California San Diego（加利福尼亚大学圣迭戈分校）
针对机器人与相机坐标系变换误差导致的机械臂定位不准问题，提出结合图像插入轴检测与概率模型的手术器械参数估计方法，在两类环境中验证了有效性。
2024-03-08 cs.CV cs.RO
Autocamera Calibration for traffic surveillance cameras with wide angle lenses
Visvesvaraya National Institute of Technology（维什韦什瓦拉亚国家理工学院）；Polytechnique Montréal（蒙特利尔综合理工学院）
提出了一种基于广角镜头的交通监控摄像机自动标定方法。几分钟的视频片段足以让整个校准过程发生。该方法将相机距地平面的高度作为唯一的用户输入，以克服尺度模糊性。校准分两个阶段进行，1.内部校准2.外部校准。通过假设等距离鱼眼畸变和理想的相机模型，实现了内在校准。外部校准是通过估计两个消失点，在地平面上，从车辆在垂直交叉点的运动。第一阶段的内在校准也适用于热成像相机。已经进行了实验，以证明这种方法对可见光以及热成像相机的有效性。索引术语：鱼眼，校准，热成像仪，智能交通系统，消失点
2020-01-20 cs.CV cs.RO
Current-Based Impedance Control for Interacting with Mobile Manipulators
Delft University of Technology（代尔夫特理工大学）；ABB Corporate Research（ABB公司企业研究院）
本文提出一种无需力或力矩传感器的电流控制机器人阻抗控制改进方法，并设计了校准执行器参数的方案，实验验证了其在移动机械臂上的柔顺性与跟踪精度，同时提出了两种保持柔顺性的交互操作模式。
2024-03-19 cs.RO cs.SY eess.SY
Online Marker-free Extrinsic Camera Calibration using Person Keypoint Detections
University of Bonn（波恩大学）
多相机系统的校准，即确定相机之间的相对姿态，是计算机视觉和机器人技术中许多任务的先决条件。相机校准通常使用使用棋盘校准目标的离线方法来实现。然而，考虑到每次任何相机姿态改变时都需要新的校准，这些方法通常是繁琐和冗长的。在这项工作中，我们提出了一种新颖的，无标记的在线方法，用于多个智能边缘传感器的外部校准，仅依赖于从RGB相机图像在传感器板上本地计算的2D人体关键点检测。我们的方法假设的内在摄像机参数是已知的，并需要一个粗略的初始估计的摄像机姿势启动。来自多个视图的人关键点检测在中央后端处被接收，在中央后端处，这些人关键点检测被同步、过滤并被分配给人假设。我们使用这些人的假设，以因子图的形式反复解决优化问题。给定穿过场景的一个或多个人的适当观察，估计的相机姿态在几分钟内收敛到相干的外部校准。我们评估我们的方法在现实世界中的设置，并表明，与使用传统的校准目标的离线方法生成的参考校准相比，与我们的方法的校准实现了较低的重投影误差。
2022-09-15 cs.CV cs.RO
Dynamic Event Camera Calibration
ShanghaiTech University（上海科技大学）；Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉成像工程技术研究中心）
摄像机标定是解决三维计算机视觉问题的重要前提。传统方法依赖于校准图案的静态图像。这对事件摄像机的实际使用提出了有趣的挑战，特别是需要图像变化来产生足够的测量。因此，事件摄像机校准的当前标准包括使用闪烁模式。它们具有在所有重新投影的图案特征位置中同时触发事件的优点，但是难以在现场构造或使用这样的图案。提出了第一种动态事件摄像机标定算法。它直接从相机和校准图案之间的相对运动期间捕获的事件进行校准。该方法是由一种新的特征提取机制的校准模式，并利用现有的校准工具，通过多段连续时间配方优化所有参数。如通过我们对真实数据的结果所示，所获得的校准方法非常方便，并且可以从跨度小于10秒的数据序列中可靠地校准。
2021-07-28 cs.CV cs.RO
Laser-Tracker-Assisted Camera-to-Robot Calibration for Mobile Robots
Institute of Photogrammetry and Remote Sensing (IPF), Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院摄影测量与遥感研究所）
提出一种激光跟踪仪辅助的移动机器人相机标定方法，通过链接多个标定目标放宽配置假设，实现更通用的相机位姿标定。
2026-09-24 cs.CV cs.RO
L2E: Lasers to Events for 6-DoF Extrinsic Calibration of Lidars and Event Cameras
ETH Zurich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
随着神经形态技术的成熟，其在机器人和自动驾驶汽车系统中的应用已成为一个活跃的研究领域。特别是，事件摄像机已经成为低功耗和延迟要求高的应用中基于帧的摄像机的引人注目的替代品。为了使事件相机能够与激光雷达等主要传感器一起工作，我们提出了一种事件相机和激光雷达之间的直接，时间解耦的外部校准方法。利用事件相机的高动态范围、高时间分辨率和低延迟操作来直接记录激光雷达激光回波，从而允许基于信息的相关方法来优化两个传感器之间的6-DoF外部校准。本文提出了事件相机和激光雷达之间的第一种直接校准方法，消除了对基于帧的相机中介和/或高精度手部测量的依赖。
2023-02-21 cs.CV cs.RO
Online Camera-to-ground Calibration for Autonomous Driving
General Motors（通用汽车）
提出一种无需特定目标的在线单目相机到地面标定方法，通过车轮里程计进行由粗到精的地面特征提取，并基于滑动窗口因子图优化估计标定参数，实验证明其优于现有先进技术。
2023-03-31 cs.CV cs.RO
NOCaL: Calibration-Free Semi-Supervised Learning of Odometry and Camera Intrinsics
Australian Centre for Field Robotics（澳大利亚现场机器人中心）；The University of Sydney（悉尼大学）
有许多新兴的成像技术可以使机器人受益。然而，对定制模型、校准和低水平处理的需求是其采用的关键障碍。在这项工作中，我们提出了NOCaL，神经里程计和校准使用光场，一个半监督学习架构，能够解释以前看不见的相机没有校准。NOCaL学习估计相机参数，相对姿势和场景外观。它采用了一个场景渲染超网络，在大量现有的摄像机和场景上进行了预训练，并使用一个小的监督训练集来适应以前看不见的摄像机，以执行度量尺度。我们展示了NOCaL渲染和捕获的图像使用传统的相机，演示了校准的自由里程计和新颖的视图合成。这项工作代表了自动解释一般相机几何形状和新兴成像技术的关键一步。
2022-10-18 cs.CV cs.RO
Two-Stage Camera Calibration Method for Multi-Camera Systems Using Scene Geometry
Aleksandr Abramov
本文提出了一种基于场景几何的两阶段相机标定方法，通过操作员注释自然几何原始体和交互式操控投影多边形，实现多相机系统的高效标定，无需物理接触或同步视频。
2025-12-04 cs.RO eess.IV
RGB-Only Reconstruction of Tabletop Scenes for Collision-Free Manipulator Control
NVIDIA（英伟达）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们提出了一个系统的无碰撞控制的机器人操纵器，只使用RGB的世界观。桌面场景的感知输入由手持或安装在机器人末端执行器上的RGB相机（无深度）的多个图像提供。一个类似NeRF的过程被用来重建场景的3D几何形状，从中计算出欧几里德全符号距离函数（ESDF）。然后，使用模型预测控制算法来控制机械手以达到期望的姿态，同时避开ESDF中的障碍物。我们展示了在我们实验室收集和注释的真实数据集上的结果。
2023-03-10 cs.CV cs.RO
Modeling dynamic target deformation in camera calibration
Robert Bosch GmbH（罗伯特·博世公司）；Institute of Measurement & Control Systems（测量与控制工程研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
大多数相机校准方法依赖于已知几何形状的校准目标。在数据采集期间，校准目标和相机系统通常相对于摄像机移动。彼此，以允许图像覆盖和透视多功能性。我们表明，移动目标可能会导致小的临时变形的目标，这可能会引入显着的误差到校准结果。虽然静态不准确的校准目标已经解决了在以前的工作中，据我们所知，没有一个现有的方法可以捕捉时变的，动态变形。为了实现高精度的校准，尽管移动的目标，我们提出了一种方法来显式建模动态目标变形的摄像机校准。这是通过使用低维变形模型来实现的，每个图像只有很少的参数，可以与目标姿势和内在函数一起优化。我们证明了使用不同的校准目标的动态变形建模的有效性，并显示其意义的结构从运动的应用程序。
2021-10-14 cs.CV cs.RO
LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry
Institute of Industrial Science, The University of Tokyo（东京大学产业技术研究所）；Microsoft（微软）
本文提出了一种无目标自动相机激光雷达定标方法。我们的方法是手眼校准框架的扩展到2D-3D校准。通过使用传感器融合里程计的方法，缩放相机运动的计算具有高精度。除此之外，我们阐明了适合这种校准方法的运动。该方法只需要三维点云和摄像机图像，不需要其他信息，如激光雷达的反射率和初始外参数。在实验中，我们证明了我们的方法使用几个传感器配置在室内和室外场景，以验证其有效性。我们的方法的准确性达到比其他可比的国家的最先进的方法。
2018-04-14 cs.CV cs.RO
Self-Supervised Online Camera Calibration for Automated Driving and Parking Applications
Valeo Vision Systems（法雷奥视觉系统）；University of Limerick（利默里克大学）
针对自动驾驶与泊车中相机参数易变化、传统标定繁琐的问题，提出一种无需标注、物理靶标或特殊路面的自监督深度学习框架，可实时估计相机内外参。
2023-08-16 cs.CV cs.RO
