arXivDaily arXiv每日学术速递 周一至周五更新
arXiv 2310.19062cs.ROcs.AI
收藏

多模态乒乓球机器人系统

A multi-modal table tennis robot system

University of Tübingen(蒂宾根大学)

Andreas Ziegler, Thomas Gossard, Karl Vetter, Jonas Tebbe, Andreas Zell

AI总结:

本文提出一种改进的多模态乒乓球机器人系统,包含6自由度KUKA机械臂及多类相机,通过开发新颖的多模态标定与更准确的旋转估计方法,并结合事件相机与脉冲神经网络实现高精度球检测。

摘要:

近年来,机器人乒乓球已成为感知和机器人控制领域的热门研究挑战。在此,我们提出了一种具有高精度视觉检测和快速机器人反应的改进型乒乓球机器人系统。基于先前的工作,我们的系统包含一个6自由度的KUKA机械臂,配备四个基于帧的相机和两个额外的基于事件的相机。我们开发了一种新颖的标定方法来标定这个多模态感知系统。对于乒乓球来说,旋转估计至关重要。因此,我们引入了一种新颖且更准确的旋转估计方法。最后,我们展示了如何结合基于事件的相机输出和脉冲神经网络(SNN)来实现准确的球检测。

英文摘要:

In recent years, robotic table tennis has become a popular research challenge for perception and robot control. Here, we present an improved table tennis robot system with high accuracy vision detection and fast robot reaction. Based on previous work, our system contains a KUKA robot arm with 6 DOF, with four frame-based cameras and two additional event-based cameras. We developed a novel calibration approach to calibrate this multimodal perception system. For table tennis, spin estimation is crucial. Therefore, we introduced a novel, and more accurate spin estimation approach. Finally, we show how combining the output of an event-based camera and a Spiking Neural Network (SNN) can be used for accurate ball detection.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑