Tracing Energy Flow: Learning Tactile-based Grasping Force Control to Reduce Slippage in Dynamic Object Interaction
Graduated School of Science and Technology(科学技术研究生学校);Nara Institute of Science and Technology(奈良科学技术大学);Honda R&D, Ltd.(本田研发有限公司)
本文提出了一种基于触觉的抓取力控制方法,通过能量抽象和模型学习,在动态交互中有效防止滑动,无需外部传感或先验知识。
2026-09-10 cs.RO
Event-Driven Visual-Tactile Sensing and Learning for Robots
National University of Singapore(新加坡国立大学)
这项工作有助于事件驱动的视觉触觉感知系统,包括一个新的生物启发的触觉传感器和多模态尖峰为基础的学习。我们的神经形态指尖触觉传感器NeuTouch由于其基于事件的特性,能够很好地适应出租车的数量。同样,我们的视觉触觉脉冲神经网络(VT-SNN)在与事件传感器耦合时能够实现快速感知。我们评估我们的视觉触觉系统(使用NeuTouch和Prophesee事件相机)的两个机器人任务:容器分类和旋转滑动检测。在这两个任务中,我们观察到相对于标准深度学习方法的良好准确性。我们已经免费提供了我们的视觉触觉数据集,以鼓励对多模态事件驱动机器人感知的研究,我们认为这是一种有前途的智能节能机器人系统方法。
2020-09-15 cs.RO
Vision and Tactile Robotic System to Grasp Litter in Outdoor Environments
University of Alicante(阿利坎特大学);University Institute for Engineering Research, Miguel Hernandez University(米格尔·埃尔南德斯大学工程研究学院)
提出一种结合视觉与触觉的机械臂系统,用于户外垃圾检测、定位与抓取,实验平均收集成功率达94%。
2024-07-16 cs.RO
RoTip: A Finger-Shaped Tactile Sensor with Active Rotation Capability
本文提出了一种名为RoTip的新型视觉触觉传感器,其具备独立控制的关节和全表面接触感知能力,通过主动旋转实现了对刚性和柔性日常物体的更灵巧操作。
2025-02-01 cs.RO
NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors
Carnegie Mellon University(卡内基梅隆大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出NormalFlow实时触觉6DoF跟踪算法,通过最小化视觉触觉传感器所得表面法向差异估计物体运动,在低纹理物体、360度长时程跟踪和触觉三维重建中取得高精度。
2025-03-18 cs.RO
Stretchable and High-Precision Optical Tactile Sensor for Trajectory Tracking of Parallel Mechanisms
Southern University of Science and Technology(南方科技大学)
本文提出了一种可拉伸触觉传感器,用于实现高精度轨迹跟踪,具有高空间和力分辨率及良好的鲁棒性。
2025-12-24 cs.RO
Improved GelSight Tactile Sensor for Measuring Geometry and Slip
MIT(麻省理工学院);CSAIL(计算机科学与人工智能实验室)
GelSight传感器使用覆盖有反射膜的弹性板来测量触觉信号。它以高空间分辨率测量3D几何和接触力信息,并成功地帮助许多具有挑战性的机器人任务。以前的传感器,基于半镜面膜,产生高分辨率,但有限的几何精度。在本文中,我们描述了一种新的设计GelSight的机器人抓手,使用朗伯膜和新的照明系统,它提供了大大提高几何精度,同时保持紧凑的尺寸。我们演示了它在测量表面法线和重建高度图使用光度立体。我们还使用它的任务滑动检测,使用膜表面上的相对运动和剪切变形的信息相结合。使用机器人手臂和一组37个具有不同属性的日常物体,我们发现,传感器可以检测平移和旋转滑动在一般情况下,并可用于提高稳定性的把握。
2017-08-02 cs.RO
Measuring Object Rotation via Visuo-Tactile Segmentation
University of Alicante(阿利坎特大学);AUROVA Lab, Computer Science Research Institute(AUROVA实验室,计算机科学研究所)
本文提出结合神经网络接触区域分割与角度估计算法的视觉-触觉方法,利用 DIGIT 传感器和首个非合成触觉分割数据集检测滑动并估计物体旋转,分割 Dice/IoU 达 95%/90%,未见物体角度误差最大 3 度。
2024-01-18 cs.RO
On Flange-based 3D Hand-Eye Calibration for Soft Robotic Tactile Welding
Southern University of Science and Technology(南方科技大学)
本文提出一种利用机器人法兰几何特征的3D手眼标定迭代方法,结合软触觉感知构建焊缝跟踪系统,实现高精度标定与实时运动调整,提升焊接质量。
2024-07-27 cs.RO
Enhancing Generalizable 6D Pose Tracking of an In-Hand Object with Tactile Sensing
Institute for Interdisciplinary Information Sciences, Tsinghua University(清华大学交叉信息研究院);Shanghai Qizhi Institute(上海期智研究院);Department of Mechanical Engineering, Tsinghua University(清华大学机械工程系);Northwestern Polytechnical University(西北工业大学);Center on Frontiers of Computing Studies, Peking University(北京大学计算与前沿研究中心);Shanghai AI Laboratory(上海人工智能实验室)
提出TEG-Track,一种融合触觉感知的6D姿态跟踪系统,通过优化或回归物体速度增强视觉跟踪器,在合成和真实场景中提升泛化性能,并开源数据集与代码。
2023-12-23 cs.CV cs.RO
Stable Object Placing using Curl and Diff Features of Vision-based Tactile Sensors
Preferred Networks, Inc.(Preferred Networks公司);Ritsumeikan University(立命馆大学)
本文提出利用GelSight视觉触觉传感器替代F/T传感器,通过计算黑点图案位移的旋度与左右手指差分特征估计物体校正旋转方向,实现稳定放置,在18种物体上实现近100%的误差小于1度的精确放置。
2024-03-28 cs.RO
Leveraging distributed contact force measurements for slip detection: a physics-based approach enabled by a data-driven tactile sensor
ETH Zurich(苏黎世联邦理工学院)
抓取物理性质未知的物体仍然是机器人领域的一个巨大挑战。大多数解决方案完全依赖于视觉数据来规划最佳抓取策略。然而,为了与人类的能力相匹配,并能够可靠地拾取和保持未知物体,在机器人系统中集成人工触觉是关键。本文描述了一种新的基于模型的滑动检测流水线,可以实时预测可能失败的抓握,并发出必要的抓握力增加的信号。因此,滑动检测器不依赖于手动收集的数据,而是利用物理学来概括不同的任务。为了评估这种方法,一个最先进的基于视觉的触觉传感器,准确地估计分布的力量被集成到一个由六个自由度的协作机器人和两个手指夹持器组成的抓取设置。结果表明,该系统可以可靠地预测滑动,同时操纵不同形状,材料和重量的对象。该传感器可以在各种情况下检测平移和旋转滑动,使其适合于提高抓握的稳定性。
2021-09-23 cs.CV cs.RO
Enhanced 6D Pose Estimation for Robotic Fruit Picking
Università degli Studi della Campania Luigi Vanvitelli(坎帕尼亚路易吉·万维泰利大学)
本文提出利用RGB-D深度测量优化单目深度网络在合成数据上得到的6D位姿,并结合力/触觉传感器平行夹爪实现不同尺寸苹果的无损安全抓取。
2023-05-25 cs.RO
Soft Vision-Based Tactile-Enabled SixthFinger: Advancing Daily Objects Manipulation for Stroke Survivors
Center of Autonomous Robotics Systems, Khalifa University(哈利法大学自主机器人系统中心);Mechanical Engineering Department, Khalifa University(哈利法大学机械工程系)
针对脑卒中患者抓取缺陷问题,本文提出带视觉触觉感知的柔性额外机器人手指系统,基于Transformer框架实现滑动自适应调力,经真实场景验证可有效操作日常物品,有望提升患者生活质量。
2025-01-12 cs.RO
A model-free approach to fingertip slip and disturbance detection for grasp stability inference
Institute of Robotics and Intelligent Systems(机器人与智能系统研究所);Sorbonne University(索邦大学)
针对触觉时间序列复杂性导致触觉感知在机器人操作中利用不足的问题,提出一种基于触觉感知的抓取稳定性评估方法,通过提取任务相关特征并设计支持向量机和逻辑回归分类器检测指尖滑动,实验证明该方法能有效实现在线滑动检测。
2023-11-22 cs.RO eess.SP stat.ML
Maintaining Grasps within Slipping Bound by Monitoring Incipient Slip
Massachusetts Institute of Technology(麻省理工学院)
在本文中,我们提出了一种方法来检测早期的滑动,即预测滑动,通过使用高分辨率的基于视觉的触觉传感器,GelSlim。该传感器动态捕捉接触物体的触觉印记及其变化与软凝胶垫。该方法假定物体为刚性物体,将物体在传感器表面的印迹运动视为二维刚体运动。我们使用的偏离的真实运动场的二维平面刚性变换作为衡量的滑移。输出是一个密集的滑移场,我们使用它来检测接触面的小区域何时开始滑移(初期滑移)。该方法可以检测平移和旋转的初始滑移,而无需任何先验知识的对象在24 Hz。对10个目标进行了240次测试,检测准确率达到86.25%。我们进一步展示了如何滑动反馈可以用来监测抓地力,以避免滑动与闭环瓶盖旋拧和旋拧实验与初期滑动检测反馈。该方法被证明是有用的机器人施加适当的夹持力和停止拧在正确的点之前打破的对象。该方法可以应用于结构化和非结构化环境中的许多操作任务。
2018-10-31 cs.RO
Learned Slip-Detection-Severity Framework using Tactile Deformation Field Feedback for Robotic Manipulation
University of Washington(华盛顿大学)
本文提出一种基于GelSight Mini触觉形变向量场特征的框架,同时实现滑动检测与滑动严重程度估计,并在反馈控制中协同使用两个模型,以92%的检测准确率和0.6 cm/s的MAE实现不过度补偿的滑动处理。
2024-11-11 cs.RO cs.SY eess.SY
TacDexGrasp: Compliant and Robust Dexterous Grasping with Tactile Feedback
Peking University(北京大学);Galbot;Beijing Academy of Artificial Intelligence(北京人工智能研究院)
TacDexGrasp通过触觉反馈和SOCP控制器实现灵活且稳健的灵巧抓取,有效解决多指抓取中的力分配和滑动问题。
2026-03-07 cs.RO
Grasping in the Dark: Zero-Shot Object Grasping Using Tactile Feedback
Perception and Robotics Group, University of Maryland, College Park(马里兰大学帕克分校感知与机器人小组);University of Maryland, College Park(马里兰大学帕克分校);University of Maryland(马里兰大学)
抓取和操纵各种各样的物体是一项基本技能,它将决定机器人在家庭中的成功和广泛应用。已经提出了几种用于鲁棒操纵的末端执行器设计,但它们大多在提供关于对象的先验信息或配备用于估计对象形状或大小的外部传感器时工作。这种方法仅限于多镜头或未知对象,并且易于受到来自外部估计系统的估计误差的影响。我们提出了一种方法来把握和操纵以前看不见的或zero-shot对象:没有任何事先的形状,大小,材料和重量属性的对象,只使用触觉传感器的反馈,这是相反的最先进的。这样的方法提供了强大的操纵对象时,对象模型是未知的,或者当它是从外部系统估计不正确。我们的方法受到动物或人类如何操纵物体的意识形态的启发,即,通过皮肤的反馈。我们的抓握和操纵都围绕着一个简单的概念,即物体如果抓得不稳就会打滑。这种滑动可以被检测到并被抵消,以实现对物体的类型、形状、尺寸、材料和重量不可知的鲁棒抓握。在我们的方法的关键是一种新的触觉反馈控制器,检测和补偿抓滑。我们成功地评估和证明了我们提出的方法在许多现实世界的实验中使用的影子灵巧手配备BioTac SP触觉传感器不同的物体形状,大小,重量和材料。我们获得了73.5%的整体成功率
2021-09-16 cs.RO
Formulating Intuitive Stack-of-Tasks using Visuo-Tactile Perception for Collaborative Human-Robot Fine Manipulation
Istituto Italiano di Tecnologia(意大利理工学院);University of Naples Federico II(那不勒斯费德里科二世大学)
要使机器人能够在人类附近工作,需要一个控制框架,该框架不仅要包含用于自主和协调交互的多感官信息,而且还要具有感知任务规划,以确保适应性和灵活的协作行为。在这项研究中,提出了一个直观的堆栈的任务(iSoT)制定,定义机器人的行动,考虑到人类手臂的姿势和任务进展。该框架增强了视觉触觉信息,以有效地感知协作环境,并直观地在计划的子任务之间切换。来自深度相机的视觉反馈监测和估计对象的姿势和人的手臂姿势,而触觉数据提供了探测技能,以检测和保持所需的接触,以避免对象滑动。为了评估所提出的框架的性能,有效性和可用性,装配和拆卸任务,由人-人和人-机器人的合作伙伴,被认为是和分析使用不同的评价指标,即,方法适应,把握校正,任务协调延迟,累积姿态偏差,和任务的可重复性。
2022-01-04 cs.RO cs.SY eess.SY
GradTac: Spatio-Temporal Gradient Based Tactile Sensing
University of Maryland, College Park(马里兰大学帕克分校)
机器人的触觉感知是通过各种机制实现的,包括磁性、光学触觉和导电流体。目前,基于流体的传感器已经在拟人的尺寸和形状以及触觉响应测量的准确性之间取得了适当的平衡。然而,由于基于流体的感测机制“阻尼”难以建模的测量值,该设计受到低信噪比(SNR)的困扰。为此,我们提出了一个时空梯度表示从基于流体的触觉传感器,这是从基于事件的传感神经形态学原理的启发获得的数据。我们提出了一种新的算法(GradTac),将空间触觉传感器的离散数据点转换为时空表面,并跟踪这些表面上的触觉轮廓。与使用原始数据相比,使用所提出的时空域处理触觉数据是鲁棒的,使其不太容易受到来自基于流体的传感器的固有噪声的影响,并且允许对触摸区域的准确跟踪。我们成功地评估和证明了GradTac在许多使用配备BioTac SP传感器的Shadow Dexterous Hand进行的真实实验中的功效。具体来说,我们使用它来跟踪传感器表面的触觉输入,测量相对力,检测线性和旋转滑动,以及边缘跟踪。我们还为BioTac SP发布了一个附带的任务不可知数据集,我们希望它将提供一个资源来比较和量化各种新方法,并激励进一步的研究。
2022-03-14 cs.RO
Spatially anchored Tactile Awareness for Robust Dexterous Manipulation
Sharpa;Tsinghua University(清华大学);Wuhan University(武汉大学);Shanghai Qi Zhi Institute(上海启智研究所)
SaTA通过空间锚定触觉感知提升灵巧操作的精度和鲁棒性,有效解决亚毫米级任务中的触觉与运动学结合问题。
2026-02-26 cs.RO
GeoTLM: Geometry-aware Tactile-Language Models for Contact Motion Orientation Reasoning of Dynamic Objects
School of EEE, Nanyang Technological University (NTU)(南洋理工大学电气与电子工程学院)
提出GeoTLM,通过可微几何表示(DGR)提取触觉剪切场中的几何先验,提升动态物体旋转和滑动方向推理能力,在旋转和滑动任务上分别提升14.6%和16.2%的准确率。
2026-06-16 cs.RO
HaptiStylus: A Novel Stylus Capable of Displaying Movement and Rotational Torque Effects
Koc University(科奇大学)
随着支持笔的平板电脑和移动设备的出现,基于触控笔的交互越来越受到关注。不幸的是,当今市场上可用的触控笔都是主要用于书写和指向的无源仪器。在本文中,我们描述了一种新的手写笔能够显示一定的振动触觉和惯性触觉效果给用户。我们的手写笔在两端配备了两个振动致动器,用于产生沿着手写笔上下移动的触觉。手写笔还嵌入了一个直流电机,用于围绕笔的长轴产生双向旋转扭矩。通过两个心理物理实验,我们表明,当驱动精心选择的定时和致动模式,我们的触觉笔可以传达运动和旋转扭矩信息给用户。进一步的心理物理实验的结果提供了关于驱动模式的形状如何影响旋转扭矩效应的感知的见解。最后,从我们的互动笔为基础的游戏实验结果表明,我们的触觉笔是有效的,在实际设置
2021-04-02 cs.HC cs.RO
Rotating Objects via In-Hand Pivoting using Vision, Force and Touch
Monash University(莫纳什大学);Deakin University(迪肯大学)
本研究提出融合视觉、腕部力觉与触觉的机器人手部枢转操作系统,通过闭环双控制器实现物体绕夹持点旋转,实验验证其无抬升滑移且能效优于单模态与拾取-放置方案。
2023-10-06 cs.RO
The Role of Tactile Sensing in Learning and Deploying Grasp Refinement Algorithms
Technical University of Munich(慕尼黑工业大学);Harvard University(哈佛大学);RightHand Robotics, Inc.(RightHand机器人公司)
机器人手设计中的一个长期存在的问题是触觉感知必须有多精确。本文使用模拟触觉信号和强化学习(RL)框架来研究抓取系统中的感知需求。我们的第一个实验研究需要丰富的触觉感知的奖励RL为基础的把握细化算法多指机器人手。我们系统地整合不同层次的触觉数据到奖励使用分析把握稳定性指标。我们发现,在奖励中结合接触位置,法线和力的信息,长方体的平均成功率为95.4%,圆柱体为93.1%,球体为62.3%,手腕位置误差在0到7厘米之间,旋转误差在0到14度之间。这种基于接触的奖励比非触觉的二元奖励基线高出42.9%。我们的后续实验表明,当使用支持奖励的奖励进行训练时,控制策略的状态向量中触觉信息的使用大大减少,对于状态中没有触觉感知的情况,性能最多下降6.6%。由于策略不需要在测试时访问奖励信号,因此我们的工作意味着在支持抓取的手上训练的模型可以部署到具有较小传感器套件的机器人手上,从而可能大幅降低成本。
2022-03-27 cs.AI cs.LG cs.RO