VisuoTactile 6D Pose Estimation of an In-Hand Object using Vision and Tactile Sensor Data
Honda Research Institute USA, Inc.（本田美国研究院）；Honda R&D Co., Ltd.（本田研发公司）；Department of Mechanical Engineering, University of Washington（华盛顿大学机械工程系）
本文提出利用视觉和触觉数据融合方法，提高机器人在手物体的6D位姿估计精度。
2026-01-04 cs.RO
You Only Touch Once: 6-DoF Object Pose Estimation from Single Tactile Contact
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Harvard University（哈佛大学）；University of Cambridge（剑桥大学）
提出YOTO系统，利用单次双点触觉接触通过粗到细网络定位接触点并闭式SVD求解器恢复6自由度物体姿态，在视觉失效场景下优于基线方法。
2026-06-27 cs.RO
Simultaneous Contact Location and Object Pose Estimation Using Proprioception and Tactile Feedback
University of Michigan（密歇根大学）
抓取物体姿态和外部接触的联合估计是鲁棒和灵巧操作的核心。在本文中，我们提出了一种新的状态估计算法，联合估计接触位置和物体姿态在3D中使用专门的本体感觉和触觉反馈。我们的方法利用两个互补的粒子滤波器：一个估计接触位置（CPFGrasp），另一个估计对象姿态（SCOPE）。我们实现和评估我们的方法在现实世界中的单臂和双臂机器人系统。我们证明，通过使两个物体接触，机器人可以同时推断接触位置和物体姿态。我们提出的方法可以应用到一些下游的任务，需要准确的姿态估计，如工具使用和组装。代码和数据可以在https://github.com/MMintLab/scope上找到。
2022-08-09 cs.RO
InvariantCloud: A Globally Invariant, Uniquely Indexed Point Cloud Framework for Robust 6-DoF Tactile Pose Tracking
Department of Mechanical and Aerospace Engineering, The Hong Kong University of Science and Technology（香港科学与技术大学机械与航空航天工程系）；Department of Mechanical Engineering, Massachusetts Institute of Technology（麻省理工学院机械工程系）；Department of Mechanical and Automation Engineering, The Chinese University of Hong Kong（香港中文大学机械与自动化工程系）
提出InvariantCloud框架，利用视觉触觉传感器上表面标记星座的全局不变性，通过一次性全局不变点云配准实现6自由度物体姿态估计，抑制累积漂移并准确估计偏航旋转，在长序列操作任务中展现出高精度和鲁棒性。
2026-05-24 cs.RO
Simultaneous Extrinsic Contact and In-Hand Pose Estimation via Distributed Tactile Sensing
Robotics Department, University of Michigan（密歇根大学机器人系）；Mitsubishi Electric Research Laboratories（三菱电机研究实验室）
本文提出了一种基于分布式触觉感知的方法，通过结合局部观察与物理约束，实现外在接触和手持姿态的同步估计。
2025-12-29 cs.RO
Active Visuo-Tactile Interactive Robotic Perception for Accurate Object Pose Estimation in Dense Clutter
BMW Group（宝马集团）；University of Glasgow（格拉斯哥大学）；The Imperial College of Science, Technology and Medicine（帝国理工学院）；Donders Institute for Brain and Cognition, Radboud University（拉德堡德大学唐德斯脑认知研究所）
这项工作提出了一种新的主动视觉触觉为基础的框架，机器人系统，以准确地估计在密集的杂乱环境中的对象的姿态。场景表示是使用一种新的declutter图（DG），它描述了在场景中的对象之间的关系，通过利用语义分割和把握启示网络进行整理。图形制定允许机器人有效地整理工作空间，自主选择下一个最好的对象删除和执行的最佳行动（无菌或非无菌）。此外，我们提出了一种新型的平移不变四元数滤波器（TIQF），用于基于主动视觉和主动触觉的姿态估计。通过最大化期望信息增益来选择主动视觉和主动触觉点。我们评估我们提出的框架上的系统与两个机器人协调随机场景的密集杂乱的对象和进行消融研究与静态视觉和主动视觉为基础的估计之前和之后的整理作为基线。我们提出的主动视觉-触觉交互感知框架与主动视觉基线相比，姿态准确度提高了36%。
2022-02-04 cs.RO
In-Hand Object Pose Estimation via Visual-Tactile Fusion
Department of Computer Science, Goethe Universität Frankfurt, Germany（弗赖堡大学计算机科学系）；Intelligent Autonomous Systems Lab, Department of Computer Science, TU Darmstadt, Germany（图恩-达姆斯塔德大学计算机科学系智能自主系统实验室）；German Research Center for AI (DFKI)（德国人工智能研究中心）；Centre for Cognitive Science, TU Darmstadt（图恩-达姆斯塔德大学认知科学中心）；Hessian Center for Artificial Intelligence (Hessian.AI), Darmstadt（黑森人工智能中心（Hessian.AI），达姆斯塔特）
针对机器人手部内物体位姿估计中视觉遮挡的难题，提出融合腕部RGB-D视觉与指尖触觉信息的方法，通过加权融合模块和增强型ICP算法估计6D位姿，精度优于纯视觉基线最高20%，可用于真实精确操作任务。
2025-06-12 cs.RO
MultiSCOPE: Disambiguating In-Hand Object Poses with Proprioception and Tactile Feedback
University of Michigan（密歇根大学）
本文提出MultiSCOPE方法，利用双臂机器人的本体感知和触觉反馈，通过摩擦接触交互序列及三种损失函数，有效降低并显著提升了手内物体位姿估计的准确性。
2023-05-23 cs.RO
Active Visuo-Tactile Point Cloud Registration for Accurate Pose Estimation of Objects in an Unknown Workspace
BMW Group（宝马集团）；University of Glasgow（格拉斯哥大学）；Technische Universität München（慕尼黑工业大学）；Donders Institute for Brain and Cognition（唐德斯脑与认知研究所）；Radboud University（拉德堡德大学）
本文提出了一种新的主动视觉-触觉为基础的方法，其中考虑了精确估计的时不变SE（3）姿态的自主机器人操作器的对象。机器人在视觉估计的引导下，在未知的工作空间中主动探索和定位物体。机器人能够推理多个潜在的动作，并执行动作以最大化信息增益来更新对象的当前信念。我们制定的姿态估计过程作为一个线性平移不变四元数滤波器（TIQF）通过解耦的平移和旋转的估计，并制定的更新和测量模型的线性形式。由于使用触觉感知获取每个测量值是耗时的，因此我们使用非常稀疏的点云对所获取的测量值顺序地执行姿态估计。此外，我们所提出的方法是计算效率高，执行一个详尽的基于不确定性的主动触摸选择策略，实时不需要交易信息增益与执行时间。我们评估了我们的方法的性能广泛的模拟和机器人系统。
2021-08-09 cs.RO
Pose and shear-based tactile servoing
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
针对含剪切滑移的触觉数据估计误差大、3D交互运动不平滑的问题，提出融合位姿与剪切力的触觉伺服方案，通过高斯密度CNN、判别式贝叶斯滤波器及SE(3)速度伺服实现多种非抓取操控任务。
2023-12-13 cs.RO
Physics-Informed Sliding-Window Particle Filtering for Tactile-Only In-Hand 6-DoF Object Pose Refinement
State Key Laboratory of Intelligent Manufacturing Equipment and Technology, School of Mechanical Science and Engineering, Huazhong University of Science and Technology（华中科技大学机械科学与工程学院智能制造装备与技术国家重点实验室）；Electric Power Research Institute, Guangdong Power Grid Co Ltd.（广东电网有限责任公司电力科学研究院）
本文针对仅触觉操作的手中6自由度物体位姿精化难题，提出基于SE(3)的物理信息滑动窗口粒子滤波，结合多触觉帧融合等技术，在Allegro Hand V5实验中取得优于基线的位姿精化效果。
2026-08-19 cs.RO
TEXterity: Tactile Extrinsic deXterity
MIT（麻省理工学院）；Magna International Inc.（麦格纳国际公司）
本文提出 TEXterity 框架，融合机器人运动学与图像触觉传感，通过离散 Viterbi 位姿估计及连续估计-控制器实现手内物体精确操控，精度优于单次方法。
2024-01-22 cs.RO
NormalFlow: Fast, Robust, and Accurate Contact-based Object 6DoF Pose Tracking with Vision-based Tactile Sensors
Carnegie Mellon University（卡内基梅隆大学）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出NormalFlow实时触觉6DoF跟踪算法，通过最小化视觉触觉传感器所得表面法向差异估计物体运动，在低纹理物体、360度长时程跟踪和触觉三维重建中取得高精度。
2025-03-18 cs.RO
A pose and shear-based tactile robotic system for object tracking, surface following and object pushing
University of Bristol（布里斯托大学）；Bristol Robotics Laboratory（布里斯托机器人实验室）
本文提出一种能同时估计接触位姿与接触后剪切的触觉机器人系统，实现平滑连续交互，并在物体跟踪、表面跟随及单双臂推动任务中验证了其有效性。
2023-06-26 cs.RO
BayesContact: Uncertain Pose Estimation via Visuo-Tactile Proposals and Simulation-based Inference
School of Informatics, University of Edinburgh（爱丁堡大学信息学院）；Department of Mechanical and Mechatronics Engineering, University of Waterloo（滑铁卢大学机械与机电工程系）
针对富含接触操作中姿态估计难题，提出BayesContact框架，通过融合视觉与触觉信息及基于模拟的推理来维护物体姿态信念，经模拟预测与真实观测对比更新信念，提升了姿态可观测性与插入成功率。
2026-07-29 cs.RO
Visuo-Tactile Object Pose Estimation for a Multi-Finger Robot Hand with Low-Resolution In-Hand Tactile Sensing
University of Augsburg（奥格斯堡大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
针对机器人手遮挡导致抓取物体姿态估计困难的问题，提出融合视觉、本体感觉和低分辨率二值触觉的因子图概率方法，在仿真和真实实验中显著提升高遮挡和高噪声下的姿态估计精度。
2025-03-25 cs.CV cs.RO
PoseFusion: Robust Object-in-Hand Pose Estimation with SelectLSTM
Universiät Hamburg（汉堡大学）；Wuhan University（武汉大学）
本文针对灵巧手持物体姿态估计问题，提出PoseFusion混合多模态融合方法，结合视觉与触觉信息并通过SelectLSTM筛选最优姿态，同时构建了基于Shadow灵巧手遥操作的数据集。
2023-04-10 cs.RO
Active End-Effector Pose Selection for Tactile Object Recognition through Monte Carlo Tree Search
GRASP Laboratory, University of Pennsylvania（宾夕法尼亚大学GRASP实验室）
本文考虑的问题，仅使用触摸的主动物体识别。重点是自适应地选择一系列的手腕姿势，实现准确的识别外壳把握。它旨在最大限度地减少触摸次数并最大限度地提高识别置信度。这些动作被公式化为手腕相对于彼此的姿势，使得算法独立于绝对工作空间坐标。用蒙特卡罗树搜索逼近最优序列。我们演示结果在物理引擎和一个真正的机器人。在物理引擎中，大多数对象实例在最多16次抓握中被识别。在一个真正的机器人，我们的方法识别对象在2- 9把握和优于贪婪的基线。
2017-07-30 cs.RO
Tactile Neural De-rendering
University of Michigan（密歇根大学）
本文提出Tactile Neural De-rendering方法，利用生成模型基于触觉特征重建物体局部3D表征，以解决传统触觉位姿估计方法繁琐且确定性的问题，实现精确位姿估计与不确定性量化。
2024-09-20 cs.RO
TacLoc: Global Tactile Localization on Objects from a Registration Perspective
TacLoc通过单次点云配准方法实现物体的高效触觉定位，无需预训练模型或渲染数据，提升了姿态估计的准确性和效率。
2026-03-11 cs.RO
Bayesian Active Object Recognition and 6D Pose Estimation from Multimodal Contact Sensing
Eindhoven University of Technology（埃因霍温理工大学）；Italian Institute of Technology（意大利理工学院）；Humanoid Sensing and Perception Group（人形感知与感知小组）
本文提出一种结合触觉与自由空间约束的贝叶斯框架，用于联合物体识别和6D位姿估计，通过定制粒子滤波器提升推理效率，并利用推理结果指导主动探索，实验表明触觉信息显著提升了识别和位姿估计的准确性与稳定性。
2026-03-22 cs.RO
Deep Gated Multi-modal Learning: In-hand Object Pose Changes Estimation using Tactile and Image Data
The University of Tokyo（东京大学）；Preferred Networks, Inc.（Preferred Networks 公司）
对于手内操作来说，手内物体位姿的估计是将物体操作到目标位姿的重要功能之一。由于手内操作往往会导致手或物体本身的遮挡，因此仅图像信息不足以进行手内物体姿态估计。在这种情况下可以使用多种模态，优点是其他模态可以补偿阻塞、噪声和传感器故障。即使确定与情况相对应的模态的利用率（称为可靠性值）是重要的，但是这种模型的手动设计是困难的，特别是对于各种情况。在本文中，我们提出了深度门控多模态学习，它通过端到端的深度学习来自我确定每个模态的可靠性值。在实验中，RGB摄像机和GelSight触觉传感器连接到Sawyer机器人的平行夹持器，并在抓取过程中估计物体的姿态变化。在实验中总共使用了15个物体。在该模型中，模态的可靠性值被确定根据噪声水平和故障的每一个模态，它被证实，即使是未知对象的姿态变化估计。
2020-08-02 cs.RO
MidasTouch: Monte-Carlo inference over distributions across sliding touch
Carnegie Mellon University（卡内基梅隆大学）；Meta AI
我们提出了MidasTouch，触觉感知系统的基于视觉的触摸传感器在物体表面上滑动的在线全球定位。该框架随着时间的推移接收姿态触觉图像，并输出物体表面上传感器姿态的不断变化的分布，而不需要视觉先验。我们的关键见解是估计局部表面几何形状与触觉感知，学习它的紧凑表示，并消除这些信号在很长一段时间内。MidasTouch的主干是一个蒙特卡洛粒子滤波器，其测量模型基于从触觉模拟中学习的触觉代码网络。该网络受LIDAR位置识别的启发，对局部表面几何形状进行了综合总结。这些生成的代码与预先计算的每个对象的触觉码本进行有效地比较，以更新姿态分布。我们进一步发布了基于视觉的触觉传感器和标准YCB对象之间的真实世界和模拟有力滑动交互的YCB-Slide数据集。虽然单点触摸定位本身可能是模糊的，但我们可以通过遍历突出的表面几何形状来快速定位传感器。项目页面：https://suddhu.github.io/midastouch-tactile/
2022-10-25 cs.RO
Tac-VGNN: A Voronoi Graph Neural Network for Pose-Based Tactile Servoing
University of Bristol（布里斯托大学）
触觉位姿估计和触觉伺服是机器人触觉的基本功能。通过将深度学习模型应用于高分辨率光学触觉传感器，可以提供可靠且精确的姿态估计。鉴于最近的成功图神经网络（GNN）和Voronoi功能的有效性，我们开发了一个触觉Voronoi图神经网络（Tac-VGNN），以实现可靠的基于姿态的触觉伺服依赖于仿生光学触觉传感器（TacTip）。GNN非常适合于对触觉标记的剪切运动之间的分布关系进行建模，而沃罗诺伊图利用与接触深度相关的基于区域的触觉特征对此进行补充。实验结果表明，Tac-VGNN模型可以帮助提高数据的可解释性在图形生成和模型训练效率显着比基于CNN的方法。它还将垂直深度上的姿态估计精度提高了28.57%，超过了没有Voronoi特征的vanilla GNN，并在真实表面上实现了更好的性能，具有更平滑的机器人控制轨迹。更多项目详情，请浏览我们的网站：https://sites.google.com/view/tac-vgnn/home
2023-03-05 cs.RO cs.SY eess.SY
Using Collocated Vision and Tactile Sensors for Visual Servoing and Localization
Carnegie Mellon University（卡内基梅隆大学）
通过将相机与触觉传感器并置来协调接近和触觉成像可以1）在接触之前提供有用的信息，诸如对象姿态估计，并且与头戴式或外部深度相机相比，以减少的遮挡和更高的分辨率视觉地伺服机器人到目标，（二）简化了接触点和姿态估计问题，并帮助触觉感知避免在表面不具有显著纹理时的错误匹配或者具有重复的纹理和许多可能的匹配，以及3）使用触觉成像来进一步细化接触点和对象姿态估计。我们证明了我们的结果与对象有更多的表面纹理比大多数对象在标准的操作数据集。我们了解到，光流需要整合在大量的相机旅行是有用的预测运动方向。最重要的是，我们还了解到，最先进的视觉算法不能很好地将触觉图像定位在对象模型上，除非可以从并置的相机提供合理的先验。
2022-04-27 cs.RO
Touch if it's transparent! ACTOR: Active Tactile-based Category-Level Transparent Object Reconstruction
BMW Group（宝马集团）；University of Glasgow（格拉斯哥大学）；Donders Institute for Brain and Cognition, Radboud University（拉德堡德大学唐德斯脑与认知研究所）
针对透明物体视觉重建困难的问题，提出基于主动触觉的类别级透明物体重建框架ACTOR，利用合成数据与自监督学习实现高效形状重建与位姿估计，并在真实机器人实验中超越现有方法。
2023-07-30 cs.RO
ViTaSCOPE: Visuo-tactile Implicit Representation for In-hand Pose and Extrinsic Contact Estimation
Robotics Department University of Michigan（密歇根大学机器人系）
针对局部含噪观测下手部位姿与外部接触估计难的问题，提出融合视触觉的神经隐式表征ViTaSCOPE，以有符号距离场和神经剪切场实现精准定位与接触配准，经仿真训练可零样本迁移到现实，适用于灵巧操作场景。
2025-06-13 cs.CV cs.RO
UniT: Data Efficient Tactile Representation with Generalization to Unseen Objects
Purdue University（普渡大学）；University of Arkansas（阿肯色大学）
UniT是一种使用VQGAN学习紧凑潜在空间的触觉表示方法，仅用单一简单物体训练即可零样本迁移到多种感知和操作任务，并在多项基准和真实世界实验中优于现有方法。
2025-04-01 cs.RO
High-Bandwidth Tactile-Reactive Control for Grasp Adjustment
Department of Mechanical Engineering, Massachusetts Institute of Technology（机械工程系，麻省理工学院）
本文提出一种纯触觉反馈的抓取调整算法，无需物体几何先验或精确抓取姿态即可从粗糙初始构型优化抓取，并在15自由度臂手系统上验证了其提升抓取稳定性的有效性。
2025-09-19 cs.RO
Tactile Object Pose Estimation from the First Touch with Geometric Contact Rendering
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们提出了一种方法，触觉姿态估计从第一次触摸已知的对象。首先，我们从真实的触觉观察到接触形状创建一个对象不可知的地图。接下来，对于具有已知几何形状的新对象，我们完全在模拟中学习定制的感知模型。要做到这一点，我们模拟接触的形状，一组密集的物体姿势将产生的传感器。然后，给定从传感器输出获得的新接触形状，我们使用纯粹在模拟中使用对比学习学习的对象特定嵌入将其与预先计算的集合进行匹配。这导致感知模型可以从单个触觉观察定位对象。它还允许对姿势分布进行推理，并包括来自其他感知系统或多个接触的附加姿势约束。我们提供了四个对象的定量结果。我们的方法提供了高精度的姿态估计，从独特的触觉观察，同时回归姿态分布，以考虑这些接触形状，可能会导致不同的对象姿势。我们进一步扩展和测试我们的方法在多接触的情况下，几个触觉传感器同时与对象接触。网址：http://mcube.mit.edu/research/tactile_loc_first_touch.html
2020-12-09 cs.CV cs.LG cs.RO
Pose-Aware Modeling to Mitigate Pose-Related Artifacts in Tactile Gloves
Cornell Univeristy（康奈尔大学）；Meta Reality Labs（Meta 现实实验室）；University of Washington（华盛顿大学）
研究针对触觉手套因手部姿势变化产生伪像致最小可检测力提高的问题，引入无需修改手套的算法框架，利用姿势信息减轻伪像，经多手套设计和用户验证，有效降低了最小可检测力，提升了手套在相关应用中的可用性。
2026-07-28 cs.HC cs.RO
Improving Robotic Manipulation: Techniques for Object Pose Estimation, Accommodating Positional Uncertainty, and Disassembly Tasks from Examples
本论文利用触觉传感结合时间特征估计物体姿态，并通过带触觉碰撞的强化学习减少抓取尝试，同时借鉴人类示例加速拆卸任务训练。
2025-06-18 cs.RO
PoseIt: A Visual-Tactile Dataset of Holding Poses for Grasp Stability Analysis
Carnegie Mellon University（卡内基梅隆大学）
当人类在现实世界中抓取物体时，我们经常会移动手臂，以不同的姿势握住物体。相比之下，典型的实验室设置仅在举起物体后立即研究抓取的稳定性，而没有随后重新定位手臂。然而，抓取稳定性可能会根据物体的握持姿势而变化很大，因为重力扭矩和夹持器接触力可以完全改变。为了便于研究如何持有姿势影响把握稳定性，我们提出了PoseIt，一个新的多模态数据集，包含视觉和触觉数据收集从一个完整的周期抓住一个对象，重新定位的手臂采样的姿势之一，并动摇的对象。使用PoseIt的数据，我们可以制定并解决预测被抓取物体在特定握持姿势下是否稳定的任务。我们训练了一个LSTM分类器，在提出的任务上达到了85%的准确率。我们的实验结果表明，在PoseIt上训练的多模态模型比单独使用视觉或触觉数据实现了更高的准确性，并且我们的分类器还可以推广到看不见的对象和姿势。
2022-09-12 cs.AI cs.RO
Active Tactile Exploration for Rigid Body Pose and Shape Estimation
General Robotics, Automation, Sensing, and Perception (GRASP) Laboratory（通用机器人、自动化、感知与感知实验室）
本研究提出了一种基于触觉数据的主动探索框架，用于高效估计刚体的位姿与形状，通过优化损失函数实现快速学习。
2026-02-24 cs.RO
A Vision-Based Tactile Sensing System for Multimodal Contact Information Perception via Neural Network
South China Normal University（华南师范大学）
本文提出一种基于视觉式触觉传感器与深度神经网络的多模态接触感知系统，仅用单个传感器即可解耦并获取物体分类、位置、姿态和力等信息。
2024-03-06 cs.RO
Center-of-Mass-based Robust Grasp Planning for Unknown Objects Using Tactile-Visual Sensors
Agile Robots AG（敏捷机器人公司）；Technische Universität München（慕尼黑工业大学）；Universität Hamburg（汉堡大学）
不稳定的抓取姿态会导致滑动，因此可以通过滑动检测来预测不稳定的抓取姿态。之后需要重新抓握以纠正抓握姿势以完成任务。在这项工作中，我们提出了一种新的重握规划器与多传感器模块计划把握调整与反馈从滑检测器。然后训练一个重新抓取规划器来估计质心的位置，这有助于机器人找到一个最佳的抓取姿势。该数据集由一对触觉传感器、一台RGB-D相机和一台配备关节力/扭矩传感器的Franka Replika机器人手臂收集的1 025个滑动实验和1 347个重握实验组成。我们表明，我们的算法可以成功地检测和分类5未知的测试对象的滑动，准确率为76.88%和一个regrasp计划器增加了31.0%的把握成功率相比，国家的最先进的基于视觉的把握算法。
2020-06-01 cs.RO
Grasping, Part Identification, and Pose Refinement in One Shot with a Tactile Gripper
HP-NTU Digital Manufacturing Corporate Lab（惠普-南洋理工大学数字制造企业实验室）；School of Mechanical and Aerospace Engineering, Nanyang Technological University（南洋理工大学机械与航空航天工程学院）
针对3D打印零件大规模定制中相似零件识别难的问题，提出在零件上增强图案，实现触觉抓取器一次完成抓取、识别与位姿精调，实验获95%插入成功率与亚毫米精度。
2023-12-29 cs.RO
TacBPM: A Tactile-conditioned Behavior Prior Model for Dexterous Reorientation
Sharpa Robotics
本文提出TacBPM，一种触觉条件行为先验模型，通过蒸馏多尺度球体专家到潜在控制器，利用残差潜在动作加速灵巧重定向策略训练，并在掌上和手臂-手部任务中实现稳定的仿真到现实迁移。
2026-09-17 cs.RO
FingerSLAM: Closed-loop Unknown Object Localization and Reconstruction from Visuo-tactile Feedback
Massachusetts Institute of Technology（麻省理工学院）
在本文中，我们解决的问题，使用视觉触觉反馈的6自由度的定位和三维重建的未知在手的对象。我们提出了FingersLAM，一个闭环的因素图为基础的姿态估计，结合本地触觉感知在指尖和全球视觉传感从手腕安装摄像头。FingerSLAM由两个构成的姿态估计器构成：一个多通道的基于细化的纹理的姿态估计器，它从详细的局部纹理中捕获运动，以及一个单通道的基于视觉的姿态估计器，它从对象的全局视图中进行预测。我们还设计了一个循环闭合机制，主动匹配当前的视觉和触觉图像，以前存储的关键帧，以减少累积的错误。FingerSLAM结合了触觉和视觉两种传感方式，以及具有基于因子图的优化框架的闭环机制。这样的框架产生比独立估计器更准确的优化姿态估计解决方案。然后使用估计的姿势来重建未知物体的形状，通过拼接从触觉图像中恢复的局部点云。我们训练我们的系统上收集的真实世界的数据与20个对象。我们通过对训练过程中看不到的6个对象进行定量和定性的真实世界评估，展示了可靠的视觉-触觉姿态估计和形状重建。
2023-03-14 cs.AI cs.CV cs.RO
PatchGraph: In-hand tactile tracking with learned surface normals
Carnegie Mellon University（卡内基梅隆大学）；Meta AI Research（Meta人工智能研究院）
我们解决的问题，跟踪3D对象构成的触摸过程中的手操作。具体来说，我们着眼于使用基于视觉的触觉传感器，在接触点提供高维触觉图像测量跟踪小物体。虽然以前的工作依赖于先验信息的对象被本地化，我们删除这一要求。我们的关键见解是，一个对象是由几个局部表面补丁，每个信息足以实现可靠的对象跟踪。此外，我们可以通过提取嵌入在每个触觉图像中的局部表面法线信息来在线恢复该局部补丁的几何形状。我们提出了一个新的两阶段的方法。首先，我们使用图像平移网络学习从触觉图像到表面法线的映射。其次，我们使用这些表面法线的因素图重建一个局部补丁地图，并使用它来推断3D对象的姿态。我们证明了可靠的对象跟踪超过$100$接触序列在独特的形状与四个对象在模拟和两个对象在现实世界中。补充视频：https://youtu.be/FHks--haOGY
2022-04-11 cs.RO
Memory Unscented Particle Filter for 6-DOF Tactile Localization
University of Genova（热那亚大学）
针对六自由度触觉定位中的多模态和实时性挑战，本文提出记忆无迹粒子滤波器（MUPF），通过融合带历史记忆的改进粒子滤波与无迹卡尔曼滤波，在少量粒子下实现了实时、准确的位姿估计。
2016-11-10 cs.RO
Collision-aware In-hand 6D Object Pose Estimation using Multiple Vision-based Tactile Sensors
Istituto Italiano di Tecnologia（意大利技术研究院）；Università di Genova（热那亚大学）
在本文中，我们解决的问题，估计在手的6D姿态的对象与多个基于视觉的触觉传感器接触。我们的原因上可能的空间配置的传感器沿物体表面。具体来说，我们使用几何推理和卷积神经网络（CNN）过滤接触假设，在模拟的对象不可知图像上进行训练，以促进那些更好地符合传感器的实际触觉图像。我们使用所选择的传感器配置，使用基于梯度下降的方法在6D姿态的空间上进行优化。我们最终通过惩罚那些与传感器发生碰撞的姿势来对获得的姿势进行排名。我们进行了模拟实验，使用DIGIT基于视觉的传感器与几个对象，从标准的YCB模型集。结果表明，我们的方法估计的对象构成是兼容的实际对象传感器接触的情况下，在$87.5\%$，同时达到平均位置误差的顺序为$2$厘米。我们的分析还包括一个真正的DIGIT传感器实验的定性结果。
2023-01-31 cs.LG cs.RO
Enhancing Generalizable 6D Pose Tracking of an In-Hand Object with Tactile Sensing
Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）；Shanghai Qizhi Institute（上海期智研究院）；Department of Mechanical Engineering, Tsinghua University（清华大学机械工程系）；Northwestern Polytechnical University（西北工业大学）；Center on Frontiers of Computing Studies, Peking University（北京大学计算与前沿研究中心）；Shanghai AI Laboratory（上海人工智能实验室）
提出TEG-Track，一种融合触觉感知的6D姿态跟踪系统，通过优化或回归物体速度增强视觉跟踪器，在合成和真实场景中提升泛化性能，并开源数据集与代码。
2023-12-23 cs.CV cs.RO
TacRefineNet: Goal-Conditioned Tactile Grasp Refinement for Edge-Prominent Objects
Xiaomi Robotics（小米机器人）
研究针对边缘突出物体抓取对齐难的问题，提出TacRefineNet框架，利用连体策略网络预测手腕姿态增量，经交叉组合训练，在模拟样本上训练后部署到实际五指手，实验表明其在可见物体抓取上有一定成功率及误差控制，还有长期扰动校正等特点。
2026-07-22 cs.RO
Tac2Pose: Tactile Object Pose Estimation from the First Touch
Massachusetts Institute of Technology（麻省理工学院）
提出Tac2Pose，一种针对已知物体的首次接触触觉位姿估计方法，通过仿真学习定制感知模型并结合对比学习匹配接触形状，实现高精度位姿估计与分布生成。
2023-09-14 cs.CV cs.LG cs.RO
Safe Self-Supervised Learning in Real of Visuo-Tactile Feedback Policies for Industrial Insertion
UC Berkeley（加州大学伯克利分校）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Autodesk（欧特克）；Autodesk Research（欧特克研究院）
工业插入任务通常是重复执行的，零件受到严格的公差和容易破裂。在现实中学习工业插入策略是具有挑战性的，因为零件与环境之间的碰撞可能导致零件的滑动或断裂。在本文中，我们提出了一个安全的自我监督的方法来学习视觉触觉插入政策，是强大的把握姿势变化。该方法减少了人工输入和零件与容器之间的碰撞。该方法将插入任务分为两个阶段。在第一对准阶段中，学习基于抓取的抓取姿态估计模型以将插入部分与容器对准。在第二插入阶段，学习基于视觉的策略以将零件引导到插座中。该机器人使用力-扭矩传感来实现安全的自我监督数据汇集管道。来自NIST装配任务板的USB插入任务的物理实验表明，所得到的策略可以在45个不同的初始抓取姿势上实现45/45的插入成功，在两个基线上进行改进：（1）在50个人类插入演示上训练的行为克隆代理（1/45）和（2）在真实环境中训练的在线RL策略（TD 3）（0/45）。
2023-03-21 cs.RO
WT-UMI: Tactile-based Whole-Body Manipulation via Force-Supervised Contact-Aware Planning
The Institute for Robotics and Intelligent Machines, Georgia Institute of Technology（机器人与智能机械研究所，佐治亚理工学院）
提出WT-UMI系统，结合人体演示与遥操作数据，通过力监督规划器预测末端执行器位姿和接触力轨迹，并利用触觉导纳控制器提升全身操控性能。
2026-06-12 cs.RO
Tactile Dexterity: Manipulation Primitives with Tactile Feedback
Massachusetts Institute of Technology（麻省理工学院）
本文以双手掌机器人为研究对象，设计了灵巧机器人操作的闭环触觉控制器。触觉灵巧性是一种灵巧操作的方法，它计划机器人/物体的交互，从而提供可解释的触觉信息进行控制。我们将触觉控制的作用分为两个目标：1）通过调节计划接触配置的稳定性和监测不希望的滑动事件来控制末端执行器和物体之间的接触状态（接触/非接触，粘/滑）; 2）通过基于跟踪的跟踪和迭代重新规划物体和机器人轨迹来控制物体状态。这个公式的关键是分解的操作计划到序列的操作原语简单的力学和有效的规划。我们考虑的情况下，操纵一个对象从一个初始姿势到一个目标姿势在一个平面上，同时纠正外部扰动和不确定性的初始姿势的对象。我们用ABB YuMi双臂机器人实验验证了该方法，并证明了触觉控制器对外部扰动的反应能力。
2020-04-30 cs.RO cs.SY eess.SY
Geometric Reconstruction of Extrinsic Contact Trajectories using Tactile Sensing and Proprioception for Tool Manipulation
Korea Advanced Institute of Science and Technology（韩国科学技术院）；Korea Institute of Machinery and Materials（韩国机械与材料研究院）
提出一种基于触觉感知和机器人本体感觉重建工具尖端外在接触轨迹的方法，通过单点接触假设和校准段估计全局接触位置，结合连续接触下的相对运动估计，实现实时轨迹重建。
2026-08-18 cs.RO
Phy-Tac: Toward Human-Like Grasping via Physics-Conditioned Tactile Goals
Department of Mechanical Engineering, The Hong Kong Polytechnic University (PolyU)（香港理工大学机械工程系）；Research Institute for Smart Ageing (RISA), PolyU（PolyU智能老龄化研究所以）；Ningbo Institute of Digital Twin, Eastern Institute of Technology (EIT)（宁波数字孪生研究所，东部技术研究所）；Department of Mechanical and Energy Engineering, Southern University of Science and Technology（南方科技大学机械与能源工程系）
提出物理条件触觉方法Phy-Tac，通过位姿选择、隐扩散模型预测触觉目标与LQR控制实现力最优稳定抓取，在稳定性和力效率上优于基线，实现类人自适应操作。
2025-11-03 cs.RO
A Bayesian Framework for Active Tactile Object Recognition, Pose Estimation and Shape Transfer Learning
Eindhoven University of Technology（埃因霍温理工大学）
本文提出基于贝叶斯框架的主动触觉系统，结合定制粒子滤波器与高斯过程隐面，实现物体识别、姿态估计与形状迁移学习。
2026-03-04 cs.AI cs.RO
Shear-based Grasp Control for Multi-fingered Underactuated Tactile Robotic Hands
University of Bristol（布里斯托尔大学）；University of Pisa（比萨大学）；Istituto Italiano di Tecnologia (IIT)（意大利技术研究院）
该研究针对欠驱动触觉机械手的易碎物体抓取操控问题，提出基于microTac触觉传感器反馈的剪切力控制框架，结合深度学习与迁移学习构建接触模型，实现了抗干扰的类人灵巧操控。
2025-03-21 cs.RO
Precise Well-plate Placing Utilizing Contact During Sliding with Tactile-based Pose Estimation for Laboratory Automation
Preferred Networks, Inc.（Preferred Networks公司）；University of Tsukuba（筑波大学）；Massachusetts Institute of Technology（麻省理工学院）
本文针对实验室自动化中微孔板放置到支架的精确控制难题，提出利用触觉传感器进行位姿估计，并通过滑动接触与朝向估计实现毫米级至亚毫米级的高精度对准，在支架位姿观测存在噪声的情况下仍取得了高成功率。
2024-04-01 cs.RO
Soft-bubble: A highly compliant dense geometry tactile sensor for robot manipulation
Toyota Research Institute（丰田研究院）
实现有效的触觉感知和机械顺应性是使机器人在未知、不确定和混乱的环境中稳健和安全操作的关键。为了实现这一目标，我们提出了一个轻量级的，易于构建，高度兼容的密集几何传感器和末端执行器，包括一个充气乳胶膜与深度sensor. We提出的动机和硬件设计，这个软泡，并通过示例任务，包括战斗对象分类，姿态估计和跟踪，和non-objectile对象操作演示其功能。我们还提出了初步的实验，以显示高分辨率的几何感知触觉任务的重要性，并讨论了鲁棒操纵中的应用。
2019-04-03 cs.RO
