Computational Tactile Flow for Anthropomorphic Grippers
University of Maryland(马里兰大学);Institute for Advanced Computer Studies(高级计算机研究所)
抓取物体需要视觉和触觉反馈之间的紧密结合。然而,这两种投入方式的运作规模存在固有的差异。因此,有必要能够孤立地分析触觉反馈,以便获得关于末端执行器正在其上操作的表面的信息,使得可以从周围环境提取更细粒度的特征。对于触觉感知的机器人,在人类的触觉流的概念的启发,我们提出了计算触觉流,以改善使用阴影灵巧手的机器人的触觉反馈的分析。在计算触觉流模型中,给定来自触觉传感器的压力值序列,我们为压力值定义虚拟表面,并将触觉流定义为该表面的光流。我们提供的案例研究,演示了如何计算触觉流图揭示的运动方向和表面的3D结构的信息,以及关于机器人正在执行的动作的反馈。
2019-03-19 cs.RO
Can Modular Finger Control for In-Hand Object Stabilization be accomplished by Independent Tactile Feedback Control Laws?
Technische Universität Darmstadt(达姆施塔特工业大学);Max-Planck-Institut für Intelligente Systeme(马克斯·普朗克智能系统研究所)
目前,在手操纵过程中的抓握控制通常被建模为单片任务的一部分,产生基于专门针对其情况的力控制的复杂控制器。这种非模块化的和专门的控制方法使得这些控制器难以推广到新的手持操纵任务。显然,一个抓握控制的方法,概括以及之间的几个任务将是可取的。我们提出了一个模块化的方法,每个手指由一个独立的触觉控制器控制。使用来自人类启发的biotac传感器的信号,我们可以预测未来的滑倒-并通过适当的运动动作防止它。这种防滑控制器是在单指稳定任务期间首次开发和训练的。随后,我们表明,几个独立的防滑抓地力控制器可以一起使用,没有任何形式的中央通信。所得到的方法适用于两个、三个、四个和五个手指抓握稳定控制。这种模块化的抓握控制方法具有推广到各种各样的手内操纵任务的潜力,包括抓握变化、手指步态、双手之间的对象转移以及多个对象。
2016-12-24 cs.RO
Learning Force-Regulated Robotic Manipulation with a Low-Cost Tactile-Force-Controlled Gripper
University of Virginia(弗吉尼亚大学);Columbia University(哥伦比亚大学)
本文提出TF-Gripper和RETAF框架,通过低成本触觉-力控夹具和高频率力调节方法,提升机器人在日常力敏感物体上的操控精度与稳定性。
2026-10-07 cs.RO
TacPalm: A Soft Gripper with a Biomimetic Optical Tactile Palm for Stable Precise Grasping
King’s College London(伦敦国王学院);University of Bristol(布里斯托尔大学);Imperial College London(伦敦帝国理工学院);Bristol Robotics Laboratory(布里斯托尔机器人实验室)
本文提出在软体夹爪掌部集成TacTip光学触觉传感器,并通过轻接触检测、抓取姿态调整和脱离接触检测三种策略,将抓取成功率从45%提升至97%,实现亚毫米级精确放置。
2024-09-23 cs.RO
Large-scale Deployment of Vision-based Tactile Sensors on Multi-fingered Grippers
Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院);Queen Mary University of London(伦敦玛丽女王大学)
针对多指抓取中的多接触点触觉感知需求,本文提出模块化 VBTS、低延迟同步采集与零样本校准,并在含 7 个传感器的三指夹爪上验证其性能与泛化集成能力。
2024-08-05 cs.RO
VTAP Gripper: Synergizing Fingertip Sensing and a Visuo-Tactile Active Palm for Dexterous In-Hand Manipulation
Edwardson School of Industrial Engineering, Purdue University(普渡大学爱德华森工业工程学院);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
研究提出集成 VTAP 和触觉阵列传感器手指的夹爪,利用指掌协同与多模态感知实现操作。通过双模态手掌扩展能力,提出重定向框架。经多任务实验验证,该夹爪及框架为灵巧夹爪设计等提供实用参考架构。
2026-07-20 cs.RO
DexiTac: Soft Dexterous Tactile Gripping
University of Bristol(布里斯托尔大学);Bristol Robotics Laboratory(布里斯托尔机器人实验室);Harbin Institute of Technology(哈尔滨工业大学)
本文提出软体灵巧触觉夹持器DexiTac,通过可重构气动手指、DigiTac-v1.5视觉触觉传感器和触觉核密度操作策略,结合双闭环控制实现稳定抓取与灵巧操作。
2024-05-05 cs.RO
Grasp EveryThing (GET): 1-DoF, 3-Fingered Gripper with Tactile Sensing for Robust Grasping
Massachusetts Institute of Technology(麻省理工学院)
本研究提出一种1自由度三指V形构型的GET夹爪,采用参数化设计可适配多类机器人,集成外置摄像头触觉感知与力估计神经网络,实验证实其抓取表现优于标准平指,设计已开源。
2025-07-30 cs.RO
AllTact Fin Ray: A Compliant Robot Gripper with Omni-Directional Tactile Sensing
Department of Mechanical Engineering, Tsinghua University(清华大学机械工程系);Tsinghua-Berkeley Shenzhen Institute(清华大学-伯克利深圳研究院);Institute of Data and Information, Shenzhen International Graduate School, Tsinghua University(清华大学数据与信息研究所、深圳国际研究生院)
本文提出 AllTact Fin Ray 柔顺机器人夹爪,通过相机捕捉指体形变,并提出基于边缘特征重建全局形变与动态参考图像亮度差异计算接触几何的新方法,实现了全向触觉感知,在接触检测、力估计和精确操作等任务中验证了有效性。
2025-04-25 cs.RO
VET: A Visual-Electronic Tactile System for Immersive Human-Machine Interaction
Tsinghua University, Shenzhen(深圳清华大学)
本研究提出VET系统,通过丝网印刷工艺将电刺激薄膜与视觉触觉传感器集成,实现双向触觉通信,并在交互游戏与机械臂遥操作中验证了其沉浸式人机交互的潜力。
2025-04-01 cs.RO
The "Pac-Man'' Gripper: Tactile Sensing and Grasping through Thin-Shell Buckling
University of Maryland(马里兰大学);Aarhus University(奥胡斯大学)
本文提出基于薄半球壳屈曲的“吃豆人”流体软体抓手,通过单一压力输入实现通用抓取与被动触觉感知,可灵巧操作易碎物体并检测接触、抓取和释放状态。
2023-12-21 cs.RO
In-Hand Singulation and Scooping Manipulation with a 5 DOF Tactile Gripper
School of Industrial Engineering, Purdue University(普渡大学工业工程学院);Computer Science and Artificial Intelligence Lab, MIT(麻省理工学院计算机科学与人工智能实验室)
本文提出一种集成 GelSight 触觉传感器的两指五自由度夹爪,用于解决多自由度机械手的冗余复杂性问题,并在颗粒介质中物体分离分类和受限空间信用卡舀取插入任务中分别取得最高 94.3% 和 100% 的成功率。
2024-08-01 cs.RO
GelSight Fin Ray: Incorporating Tactile Sensing into a Soft Compliant Robotic Gripper
Massachusetts Institute of Technology(麻省理工学院)
为了适应不断变化的环境,并安全地与人类互动,机器人应该具有柔顺和柔软的特性,以及感知周围世界的能力。即便如此,将触觉感知结合到软顺应机器人中,如鳍雷手指,由于其可变形结构而很困难。不仅需要修改框架,为视觉传感器留出空间,从而实现复杂的触觉感知,机器人还必须保持其原始的机械顺应性。然而,将高分辨率触觉传感器添加到柔软的手指是困难的,因为许多传感器化的手指(诸如基于GelSight的手指)是刚性的,并且在感测区域中的变化仅来自触觉接触而不是来自手指顺应性的假设下起作用。传感器化的柔软机器人手指需要能够将其整体本体感受变化与其触觉信息分开。为此,本文介绍了一种新的设计GelSight鳍射线,它既体现了被动适应它掌握的任何对象的能力,也体现了执行高分辨率触觉重建,对象方向估计和剪切力和扭转力的标记跟踪的能力。拥有这些功能,柔软且顺从的机器人可以执行更多需要传感的操作任务。手指能够成功执行的一个这样的任务是厨房任务:酒杯的重新定向和放置,这很难用外部视觉传感器来完成,但用触觉感知就很容易了。这种传感技术的发展也有可能应用于其他软柔性夹具,提高其在许多不同领域的可行性。
2022-04-14 cs.RO
A Tactile-enabled Grasping Method for Robotic Fruit Harvesting
Monash University(莫纳什大学)
在机器人农作物收割环境中,夹持器工作空间中的异物侵入频繁发生并且不可消除,然而很少解决。本文提出了一种新的智能机器人抓取方法,能够处理障碍物的干扰,这是第一次在文献中。该方法将深度学习算法与低成本触觉感知硬件结合在多自由度软机器人夹具上。通过实验验证,所提出的方法表现出良好的性能,在区分各种抓取场景。4指独立控制的抓爪具有出色的适应性,可处理各种拾取场景。这项工作的整体表现表明,解决机器人水果收获挑战的巨大潜力。
2021-10-18 cs.RO
Design of a Fully Actuated Robotic Hand With Multiple Gelsight Tactile Sensors
Massachusetts Institute of Technology(麻省理工学院)
这项工作详细介绍了一种新型的两个手指的机器人夹持器与多个Gelsight的光学触觉传感器覆盖的手的内表面的设计。多个Gelsight传感器可以同时从多个视图收集物体的表面拓扑结构,并可以跟踪剪切应力和拉伸应力。此外,其他感测模态使手能够从被抓握的物体收集热、声和振动信息。力控夹持器是完全致动的,因此它可以用于各种抓取配置,也可以用于手操作任务。在这里,我们提出了这样的夹具的设计。
2020-02-06 cs.RO
Tactile-Conditioned Diffusion Policy for Force-Aware Robotic Manipulation
Department of Computer Science, Technical University of Darmstadt(德累斯顿技术大学计算机科学系);German Research Center for AI (DFKI)(德国人工智能研究中心);Centre for Cognitive Science, Technical University of Darmstadt(德累斯顿技术大学认知科学中心);Hessian Center for Artificial Intelligence (Hessian.AI), Darmstadt(黑森人工智能中心(Hessian.AI));Robotics Institute Germany (RIG)(德国机器人研究所)
针对接触丰富操作中力控制缺失问题,提出FARM框架,利用高维触觉数据推断力信号并定义基于力的动作空间,通过扩散策略联合预测位姿、夹爪宽度和力,在三个力需求不同的任务中优于基线。
2025-10-15 cs.RO
Inter-finger Small Object Manipulation with DenseTact Optical Tactile Sensor
Stanford University(斯坦福大学)
本文提出利用配备DenseTact 2.0触觉传感器的八自由度夹爪,在杂乱环境中实现5-25mm小物体的精确抓取与定向,结合专用数据集和新控制算法,达到88%的抓取成功率。
2023-08-31 cs.RO
In-Hand Gravitational Pivoting Using Tactile Sensing
Monash University(莫纳什大学);Meta AI
我们研究重力枢转,约束版本的手操作,我们的目标是控制一个物体的旋转周围的夹点的平行抓手。为了实现这一点,我们不是控制夹持器以避免滑动,而是拥抱滑动以允许物体在手中旋转。我们收集了两个真实世界的数据集,一个静态跟踪数据集和一个循环中的数据集,都用对象角度和角速度标签进行了注释。这两个数据集都包含了10个不同家居物品的基于力的触觉信息。我们训练一个LSTM模型来从纯粹的触觉数据预测所持物体的角位置和速度。我们将此模型与控制器集成,该控制器打开和关闭夹持器,允许物体旋转到所需的相对角度。我们进行真实世界的实验,机器人的任务是实现相对目标角度。我们表明,我们的方法优于基于滑动窗口的MLP在zero-shot泛化设置与看不见的对象。此外,当LSTM模型在使用LSTM模型和控制器在回路中收集的一小部分数据上进行微调时,我们显示出性能提高了16.6%。代码和视频可在https://rhys-newbury.github.io/projects/pivoting/上获得
2022-10-11 cs.RO
Simultaneous Tactile Estimation and Control of Extrinsic Contact
MIT(麻省理工学院);Mitsubishi Electric Research Laboratories(三菱电机研究实验室);Magna International Inc.(麦格纳国际公司)
我们提出了一种方法,同时估计和控制外部接触与触觉反馈。该方法能够实现具有挑战性的操作任务,这些任务需要控制轻力和精确的接触运动,例如在直立的细杆上平衡未知物体。一个因素图为基础的框架融合了一系列的触觉和运动学测量,以估计和控制之间的相互作用的夹具对象的环境,包括位置和扳手之间的外部接触的被抓物体和环境和把握扳手从夹具转移到对象。相同的框架同时计划的夹具运动,使其能够估计的状态,同时满足正则化控制目标,以防止滑动,如最小化的把握扳手和最小化的摩擦力在外部接触。我们展示了亚毫米级接触定位误差和良好的防滑效果,即使在湿滑的环境中,对于多个接触形成(点,线,贴片接触)和它们之间的过渡。请参见https://sites.google.com/view/sim-tact上的补充视频和结果。
2023-03-06 cs.RO
Grasping, Part Identification, and Pose Refinement in One Shot with a Tactile Gripper
HP-NTU Digital Manufacturing Corporate Lab(惠普-南洋理工大学数字制造企业实验室);School of Mechanical and Aerospace Engineering, Nanyang Technological University(南洋理工大学机械与航空航天工程学院)
针对3D打印零件大规模定制中相似零件识别难的问题,提出在零件上增强图案,实现触觉抓取器一次完成抓取、识别与位姿精调,实验获95%插入成功率与亚毫米精度。
2023-12-29 cs.RO
GelSight FlexiRay: Breaking Planar Limits by Harnessing Large Deformations for Flexible,Full-Coverage Multimodal Sensing
Zhejiang University(浙江大学)
针对传统视觉触觉传感器依赖刚性结构、牺牲柔顺性和传感区域的问题,提出GelSight FlexiRay多模态视觉触觉传感器,通过多镜配置优化和类人多模态感知增强,实现软夹爪大幅变形下的稳健传感,性能优于现有技术。
2024-11-28 cs.RO
FruitTouch: A Perceptive Gripper for Gentle and Scalable Fruit Harvesting
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
FruitTouch通过集成高分辨率视觉触觉感知,实现紧凑、低成本的水果采摘,有效提升抓取稳定性和损伤预防能力。
2026-02-22 cs.RO
Seamless Integration of Tactile Sensors for Cobots
Ghent University(根特大学);imec(比利时微电子研究中心)
针对工业夹爪缺乏触觉反馈及现有传感器集成复杂的问题,提出一种基于微控制器且兼容Arduino的传感器读取方案,实现与Robotiq夹爪无缝集成,有效降低集成难度并加速相关研究。
2023-09-11 cs.RO
Touch in the Wild: Learning Fine-Grained Manipulation with a Portable Visuo-Tactile Gripper
Columbia University(哥伦比亚大学)
针对现有手持抓手缺乏触觉传感的问题,提出集成触觉传感器的便携式抓手以同步采集多模态数据,并设计跨模态表示学习框架,实现了细粒度操作任务中更高效的策略学习及干扰下性能提升。
2025-11-12 cs.AI cs.LG cs.RO
Cable Manipulation with a Tactile-Reactive Gripper
Massachusetts Institute of Technology(麻省理工学院)
电缆是复杂的、高维的、动态的对象。操纵它们的标准方法通常依赖于保守的策略,这些策略涉及一长串非常缓慢和增量的变形,或各种机械固定装置,如夹具,销或环。我们感兴趣的是操纵自由移动的电缆,在实时的,与一对机器人夹具,没有额外的机械约束。本文的主要贡献是一个感知和控制框架,在这个方向上移动,并使用实时触觉反馈来完成下面的悬垂电缆的任务。该方法依赖于基于视觉的触觉传感器GelSight,该传感器估计抓地力中电缆的姿势以及电缆滑动期间的摩擦力。我们通过结合两种基于触觉的控制器来实现该行为:1)电缆抓握控制器,其中PD控制器结合泄漏积分器来调节抓握力,以保持摩擦滑动力接近合适的值; 2)电缆位姿控制器,其中,基于线缆滑动动力学的学习线性模型的LQR控制器保持线缆在指尖上居中和对齐,以防止线缆从握把上掉下来这种行为是可能的反应夹具配备了基于GelSight的高分辨率触觉传感器。该机器人可以在2-3只手的重新抓握内以随机配置跟随一米的电缆,以适应不同材料和厚度的电缆。我们演示了一个机器人抓住耳机线,滑动手指到插孔连接器,并插入它。据我们所知,这是第一次实现实时电缆跟踪,而无需机械夹具的帮助。
2020-06-23 cs.RO cs.SY eess.IV
Scalable, Simulation-Guided Compliant Tactile Finger Design
Massachusetts Institute of Technology(麻省理工学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对柔性结构与高分辨率触觉感知协同设计的难题,提出融合有限元力学仿真与PBR光学仿真的GelSight Fin Ray传感器端到端设计框架,可优化多类设计参数,缩短原型周期,验证日常物品抓取效用。
2024-03-07 cs.RO
ViTaMIn: Learning Contact-Rich Tasks Through Robot-Free Visuo-Tactile Manipulation Interface
Tsinghua University(清华大学);University of California, Berkeley(加州大学伯克利分校)
针对富接触灵巧操作任务的演示数据收集成本高的问题,研究提出集成视觉触觉的手持无机器人界面ViTaMIn及多模态预训练策略,提升数据效率与任务表现。
2025-09-01 cs.RO
Rotating Objects via In-Hand Pivoting using Vision, Force and Touch
Monash University(莫纳什大学);Deakin University(迪肯大学)
本研究提出融合视觉、腕部力觉与触觉的机器人手部枢转操作系统,通过闭环双控制器实现物体绕夹持点旋转,实验验证其无抬升滑移且能效优于单模态与拾取-放置方案。
2023-10-06 cs.RO
Learning Bimanual Cloth Manipulation with Vision-based Tactile Sensing via Single Robotic Arm
本文提出Touch G.O.G.,通过单个机械臂实现基于视觉的触觉感知的双臂布料操作,结合新颖抓取器设计、视觉Transformer流程和合成数据生成器,实现高精度布料识别与操作。
2026-03-11 cs.RO
AetheRock: An Arm-Worn Robot Teaching System for Force-Guided Vision-Tactile Learning
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团);Shanghai Innovation Institute(上海创新研究院);Beijing Institute for General Artificial Intelligence (BIGAI)(北京通用人工智能研究院)
提出臂戴式设备AetheRock采集夹爪力、视觉和触觉数据,并设计ForceVT框架利用力和视觉引导触觉学习,解决力感知机器人学习中传感器装配不兼容问题。
2026-06-16 cs.RO
Design of an Optoelectronically Innervated Gripper for Rigid-Soft Interactive Grasping
Southern University of Science and Technology(南方科技大学);University of Hong Kong(香港大学)
在过去的几十年里,已经努力实现鲁棒的机器人抓取,因此灵巧的操作。柔性手爪由于其固有的低成本、控制复杂性和高适应性等特点,在鲁棒抓取方面显示出了巨大的潜力。然而,柔性手爪在与物体交互时的变形带来了抓取物体的不准确性,这导致了鲁棒抓取和进一步操作的不稳定性。在本文中,我们提出了一个全方位的自适应软手指,可以感知基于嵌入式光纤和应用机器学习方法来解释透射光强度的变形。此外,利用软手指提供的触觉信息,我们设计了一种低成本的多自由度夹持器,以主动顺应物体的形状,优化抓取策略,这就是所谓的刚性-柔性交互抓取。这种抓取策略的两个主要优点是:一是通过主动适应可以实现更鲁棒的抓取;二是所收集的触觉信息有助于进一步的操作。
2020-12-06 cs.RO
Visual Tactile Sensor Based Force Estimation for Position-Force Teleoperation
Nagoya University(名古屋大学);Technical University of Darmstadt(达姆施塔特工业大学)
基于视觉的触觉传感器在机器人领域得到了广泛的关注。高度期望传感器能够在在手操纵期间提取接触信息,即触觉信息。触觉传感器的这种特性使其成为触觉反馈应用的完美匹配。在本文中,我们提出了一种接触力估计方法,使用基于视觉的触觉传感器DIGIT,并将其应用到位置-力遥操作体系结构的力反馈。通过构建用于DIGIT凝胶表面变形测量的深度图并对估计的深度数据和地面真实力数据应用回归算法以获得深度-力关系来进行力估计。实验是通过构建一个抓取力反馈系统与触觉设备作为领导者的机器人和并联机器人夹持器作为从动器的机器人,其中的DIGIT传感器连接到机器人夹持器的尖端,以估计接触力。初步结果表明,使用低成本的基于视觉的传感器的力反馈应用的能力。
2022-12-26 cs.RO
In-Hand Following of Deformable Linear Objects Using Dexterous Fingers with Tactile Sensing
Tsinghua University(清华大学);UC Berkeley(加州大学伯克利分校)
针对可变形线性物体操作,本研究提出一种基于触觉感知的通用灵巧手框架,通过臂手控制、3-D位姿估计与运动设计实现鲁棒的手内跟随,显著优于平行夹爪。
2024-08-29 cs.RO
WaveTouch: Active Tactile Sensing Using Vibro-Feedback for Classification of Variable Stiffness and Infill Density Objects
Department of Physics, Nazarbayev University(物理系,纳扎尔拜大学)
本文提出WaveTouch主动振动反馈触觉传感器,在抓取过程中实时分类物体刚度,通过注入振动传播特性区分软硬物体,避免损伤并优化抓取力。
2025-05-21 cs.RO
Visual-tactile manipulation to collect household waste in outdoor
Instituto Universitario de Investigación Informática, Universidad de Alicante(阿利坎特大学大学信息学研究学院);Universidad de Alicante(阿利坎特大学);Universidad Miguel Hernández(米格尔·埃尔南德斯大学)
本研究提出一种集成光学触觉传感器、RGBD相机与LiDAR的户外机器人垃圾收集感知系统,通过视觉与触觉模块实现垃圾定位、识别及稳定抓取,性能优异且运行高效。
2024-07-15 cs.RO
Enhancing Adaptivity of Two-Fingered Object Reorientation Using Tactile-based Online Optimization of Deconstructed Actions
针对两指机器人在未知属性、非线性接触和受限环境下的物体重新定向难题,提出基于触觉将动作解构为任务、约束与协调三类并进行梯度在线优化的方法,提升了对未知接触和外部干扰的适应性与鲁棒性。
2025-03-14 cs.RO
Enabling Tactile Feedback for Robotic Strawberry Handling using AST Skin
Lincoln Institute of Agri-food Technology, University of Lincoln(林肯大学食品农业技术学院);School of Computer Science, University of Lincoln(林肯大学计算机科学学院);University of Surrey(萨里大学)
本文将 AST 皮肤集成到定制机器人手指中,通过数据驱动校准和实时力控抓取草莓果柄,验证其提供可靠触觉反馈的能力。
2024-07-01 cs.RO
Vision and Tactile Robotic System to Grasp Litter in Outdoor Environments
University of Alicante(阿利坎特大学);University Institute for Engineering Research, Miguel Hernandez University(米格尔·埃尔南德斯大学工程研究学院)
提出一种结合视觉与触觉的机械臂系统,用于户外垃圾检测、定位与抓取,实验平均收集成功率达94%。
2024-07-16 cs.RO
E-TRoll: Tactile Sensing and Classification via A Simple Robotic Gripper for Extended Rolling Manipulations
Imperial College London(伦敦帝国理工学院)
机器人触觉感知提供了一种在视觉失效的情况下识别物体及其属性的方法。以前的工作在机器人操作的触觉感知经常集中在探索性的程序(EP)。然而,同样受人类启发的手动操作技术可以在EP的一小部分时间内收集丰富的数据。我们提出了一个简单的3自由度机器人手的设计,优化对象滚动任务通过一个可变宽度的手掌和相关的控制系统。该系统响应于对象行为动态地调整手指基部之间的距离。与固定的手指基座相比,该技术显著增加了在单个滚动运动期间暴露于安装在手指上的触觉阵列的对象的面积(对于具有30毫米直径的圆柱体观察到超过60%的增加)。此外,本文提出了一种时空数据集的特征提取算法,重点是目标角点的识别、分析和紧凑表示。该技术将每个数据样本的维度从10 x 1500时间序列数据大幅降低到80个特征,并通过主成分分析(PCA)进一步降低到22个成分。一个集成子空间k-最近邻(KNN)分类模型进行了训练,90个观察滚动三个不同的几何对象,在三倍交叉验证准确率为95.6%的对象形状识别。
2022-12-08 cs.RO cs.SY eess.SY
Learning Generalizable Vision-Tactile Robotic Grasping Strategy for Deformable Objects via Transformer
Georgia Institute of Technology(佐治亚理工学院);Purdue University(普渡大学)
针对可变形物体抓取难题,提出融合视觉与触觉的 Transformer 框架,通过探索动作预测安全抓取力度,并在公开与自建水果数据集上验证其准确率、效率及泛化能力。
2023-07-23 cs.RO
Grasping Deformable Objects via Reinforcement Learning with Cross-Modal Attention to Visuo-Tactile Inputs
Dept. of Electronic Engineering at Sogang University(ソガン大学电子工程系);Dept. of Immersive Media and Engineering at Sungkyunkwan University(顺天大学沉浸媒体与工程系);College of Medicine, Yonsei University(延世大学医学院)
针对软壳可变形物体抓取易掉落或破裂的问题,提出基于深度强化学习与跨模态注意力的视触觉融合方法,生成机器人控制输入,其表现优于早期和晚期数据融合方法。
2025-10-12 cs.RO
Learning-based Optoelectronically Innervated Tactile Finger for Rigid-Soft Interactive Grasping
University of Hong Kong(香港大学);Southern University of Science and Technology(南方科技大学);SUSTech Institute of Intelligent Manufacturing(南方科技大学智能制造研究院)
提出了一种利用多通道光纤实现软硬交互抓取的全方位自适应柔性触觉手指的设计方案。机器学习方法用于训练用于使用所收集的触觉数据实时预测力、扭矩和接触的模型。我们进一步将这些手指集成到具有三个手指的可重构夹持器设计中,使得手指布置可以基于抓取过程中收集的触觉数据实时主动调整,实现刚性-柔性交互式抓取过程。详细的传感器校准和实验结果也包括进一步验证所提出的设计增强抓取鲁棒性。
2021-01-29 cs.RO
ShapeGrasp: Simultaneous Visuo-Haptic Shape Completion and Grasping for Improved Robot Manipulation
Czech Technical University in Prague(捷克布拉格技术大学)
提出ShapeGrasp迭代抓取与补全流程,结合隐式表面视觉-触觉形状补全与基于物理的抓取规划,从单RGB-D视图推断完整形状并生成候选抓取,利用抓取反馈更新形状,在真实机器人上实现高抓取成功率并改善3D形状重建质量。
2026-07-01 cs.RO
Tactile Sensing-based Secure and Gentle Grasping of Unknown Objects
New York Institute of Technology(纽约理工学院)
针对未知物体安全轻柔抓取的挑战,提出基于触觉传感模块的在线数据驱动预测控制框架,结合有限状态机抓取力探测与GP模型,实现100Hz实时动态操作,性能优于基线策略。
2026-10-12 cs.RO
GTac: A Biomimetic Tactile Sensor with Skin-like Heterogeneous Force Feedback for Robots
National University of Singapore(新加坡国立大学);Guilin University of Electronic Technology(桂林电子科技大学)
人手的触觉感知能力在执行日常活动中是必不可少的。通过整合到手中的机械感受器同时感知法向力和剪切力,使人类能够完成日常任务,如抓取微妙的物体。在本文中,我们设计并制作了一种新型的仿生触觉传感器与皮肤的异质性,同时感知正常和剪切接触力。它通过结合非本征层(压阻传感器)和本征层(霍尔传感器)来模拟多层机械感受器,从而可以估计接触力方向、位置和关节级扭矩。通过集成我们的传感器,机器人抓取器可以在指尖获得接触力反馈;因此,机器人可以执行具有挑战性的任务,例如镊子的使用和鸡蛋抓取。这种富有洞察力的传感器设计可以定制并应用于机器人的不同领域,并为它们提供异构力感测,可能支持机器人获取类似皮肤的触觉反馈。
2022-01-28 cs.RO
Investigating Social Haptic Illusions for Tactile Stroking (SHIFTS)
Stanford University(斯坦福大学);University of Southern California(南加州大学)
一种常见而有效的社交方式是抚摸前臂。我们试图用触觉错觉来复制这种抚摸的感觉。这项工作比较了两种方法,提供顺序离散的刺激:顺序正常压痕和顺序横向皮肤滑移离散致动器。我们的目标是了解哪种形式的刺激更有效地产生连续的抚摸感觉,以及需要多少个离散的接触点。我们对20名参与者进行了一项研究,他们对触觉设备的连续性和愉悦性进行了评价。我们发现,外侧皮肤滑动创造了一个更连续的感觉,减少接触点的数量减少了连续性。这些结果为未来可穿戴触觉设备的设计和触觉信号的创建提供了信息,以实现有效的社交沟通。
2020-03-02 cs.HC cs.RO
Two-Finger Soft Gripper Force Modulation via Kinesthetic Feedback
University of California Santa Cruz(加州大学圣克鲁兹分校)
本文提出在双指柔性夹爪检测到接触后,利用手指弯曲测量值与接触瞬间弯曲值的期望差值进行运动觉反馈控制,从而无需触觉传感器即可调节接触力,并在真实装置上验证了其与峰值拉脱力的关系。
2024-10-01 cs.RO
A Visuo-Tactile Data Collection System with Haptic Feedback for Coarse-to-Fine Imitation Learning
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出一种视觉-触觉数据采集系统,生成时间结构丰富的接触密集演示,用于模仿学习。通过直接驱动夹具和触觉阵列,保留自然触觉反馈,结合实时注释,生成多模态数据集以支持粗到细学习算法。
2026-07-28 cs.RO
Compliant finray-effect gripper for high-speed robotic assembly of electrical components
TU Berlin(柏林工业大学);Fraunhofer IPK(弗劳恩霍夫生产系统与设计技术研究所)
精密装配任务(如电连接器插入)具有严格的公差和敏感的部件,限制了机器人装配的速度和鲁棒性,即使在使用视觉、触觉或力传感器时也是如此。连接器插入是一项常见的工业任务,需要用最小的力来补偿水平对准误差,然后在插入方向上施加足够的力。还需要处理各种物体、实现高速以及处理物体位置变化的宽范围的能力。软夹持器可以允许夹持具有不同表面几何形状的零件,但通常只专注于夹持,可能无法提供所需的装配力。为了实现高速连接器插入,本文提出了单片手指与结构化的顺应性和形式封闭功能。鳍射线效应夹持器适于实现允许高速机械搜索、插入中的自对准和足够的组装力的结构化(即,方向性)刚度。对鳍肋和指尖的设计进行了研究,最终设计允许在高速下以高达7.5 mm的公差窗口插入插头。
2023-01-20 cs.RO
Bio-Inspired Grasping Controller for Sensorized 2-DoF Grippers
PAL Robotics;Bielefeld University(比勒费尔德大学)
本文提出一种结合位置与力控制的仿生抓取控制器,利用触觉传感暂停关节运动以建立力闭合,并补偿重力,在TIAGo机器人上验证了稳健抓取与减少物体位移的效果。
2023-11-13 cs.RO
TiltXter: CNN-based Electro-tactile Rendering of Tilt Angle for Telemanipulation of Pasteur Pipettes
Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology (Skoltech)(斯克罗夫科技研究所)
针对可变形物体抓取中倾斜感知模糊问题,提出基于CNN的电动触觉渲染系统TiltXter,显著提升用户倾斜识别率与遥操作成功率。
2024-09-24 cs.AI cs.RO
Encoding Tactile Stimuli for Braille Recognition with Organoids
School of Engineering Mathematics and Technology, University of Bristol(工程数学与技术学院,布里斯托尔大学)
该研究利用类器官编码触觉刺激,通过多类器官集合提升盲文识别准确率至83%,展示了生物混合计算的潜力。
2026-09-09 cs.ET cs.NE cs.RO
Leveraging distributed contact force measurements for slip detection: a physics-based approach enabled by a data-driven tactile sensor
ETH Zurich(苏黎世联邦理工学院)
抓取物理性质未知的物体仍然是机器人领域的一个巨大挑战。大多数解决方案完全依赖于视觉数据来规划最佳抓取策略。然而,为了与人类的能力相匹配,并能够可靠地拾取和保持未知物体,在机器人系统中集成人工触觉是关键。本文描述了一种新的基于模型的滑动检测流水线,可以实时预测可能失败的抓握,并发出必要的抓握力增加的信号。因此,滑动检测器不依赖于手动收集的数据,而是利用物理学来概括不同的任务。为了评估这种方法,一个最先进的基于视觉的触觉传感器,准确地估计分布的力量被集成到一个由六个自由度的协作机器人和两个手指夹持器组成的抓取设置。结果表明,该系统可以可靠地预测滑动,同时操纵不同形状,材料和重量的对象。该传感器可以在各种情况下检测平移和旋转滑动,使其适合于提高抓握的稳定性。
2021-09-23 cs.CV cs.RO
Towards Task-Specific Modular Gripper Fingers: Automatic Production of Fingertip Mechanics
Technical University Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence(慕尼黑机器人与机器智能研究所);Franka Emika GmbH(Franka Emika公司)
单个夹持器可以执行的顺序任务的数量受到其设计的显著限制。在许多情况下,需要更换夹持器手指以成功地执行多个连续任务。出于这个原因,已经引入了几种机器人工具更换系统,其允许自动更换整个末端执行器。然而,许多情况下只需要修改或改变指尖,使得整个夹持器的交换不经济。在本文中,我们介绍了一个范例,自动特定任务的指尖生产。在拟议的框架中使用的设置包括一个生产和任务执行单元,包含一个机器人机械手,和两个3D打印机-自动生产夹持器手指。它还包括第二个机械手,该机械手使用快速交换机制来拾取打印的指尖并评估夹持性能。通过进行三种不同指尖的自动生产和执行抓握稳定性测试以及多个拾取和插入任务,有和没有位置偏移-使用这些指尖,实验验证了该设置。事实上,所提出的范例超越了指尖生产,并作为全自动指尖设计,生产和应用管道的基础-可能提高制造灵活性并代表一种新的生产范例:触觉3D制造。
2022-10-18 cs.RO