Sensing and Reconstruction of 3D Deformation on Pneumatic Soft Robots
Delft University of Technology(代尔夫特理工大学);The Chinese University of Hong Kong(香港中文大学);The University of Manchester(曼彻斯特大学)
软体机器人具有无限的变形自由度,其实时本体感觉是一个具有挑战性的问题。当使用多个致动器时,由于彼此之间的相互作用也会在致动器上发生变形,因此变得更加困难。为了解决这个问题,我们提出了一种方法,在本文中,通过第一次集成多个低成本的传感器内部的气动执行器的腔室,然后使用机器学习捕获的信号转换成软体机器人的形状参数的气动软体机器人的三维变形的传感器和重建。采用外部运动捕捉系统来生成用于训练和测试的数据集。通过良好的形状参数化,可以从多个传感器获得的信号中精确地重建出软体机器人的三维形状。我们证明了这种方法的有效性的两个设计的软体机器人-机器人关节和可变形膜。在将这些软体机器人的变形参数化为紧凑的形状参数之后,我们可以有效地训练神经网络,以从传感器信号重建3D变形。感测和形状预测流水线可以在消费级设备上以50 Hz实时运行。
2020-12-22 cs.RO
Organ Shape Sensing using Pneumatically Attachable Flexible Rails in Robotic-Assisted Laparoscopic Surgery
University College London(伦敦大学学院);Welcome/EPSRC Centre for Interventional and Surgical Sciences(惠康/工程与物理科学研究委员会介入与外科科学中心)
在机器人辅助肾部分切除术中,外科医生通常由于存在肿块而切除肾脏的一部分。与手术机器人配对的插入式超声探头被部署在肾脏表面上执行多次滑动,以定位肿块并确定切除边缘。这一子任务具有挑战性,必须由高度熟练的外科医生执行。自动化这个子任务可以减少外科医生的认知负荷并改善患者的预后。这项工作的总体目标是利用气动可附接柔性(PAF)导轨系统(一种用于器官扫描和重新定位的软机器人设备),在肾脏表面上自主移动超声探头。首先,我们将形状传感光纤集成到PAF轨道系统中,以评估机器人辅助腹腔镜手术中目标器官的曲率。然后,我们研究PAF导轨材料的刚度对曲率传感精度的影响,考虑到手术区域中存在软目标。最后,我们使用形状感测来规划达芬奇手术机器人与插入式超声探头配对的轨迹,并自主生成肾脏体模的超声扫描。
2022-11-21 cs.RO
EIT-Pneumatic Hybrid Robotic Skin for Practical and Accurate Force Map Reconstruction
Mechanical Engineering Department, KAIST(韩国科学技术院机械工程系);Department of Robotics and Mechatronics Engineering, DGIST(大邱科学技术院机器人与机电工程系);Mechanical Engineering Department, TU/e(埃因霍温理工大学机械工程系)
提出一种结合电阻抗断层成像(EIT)与气动触觉传感的混合机器人皮肤,通过Tikhonov正则化逆重建和逐垫气动校准,实现大面积精确触觉传感,并降低灵敏度不均匀性。
2026-05-27 cs.RO
Towards Terrain-Aware Safe Locomotion for Quadrupedal Robots Using Proprioceptive Sensing
本文提出了一种基于本体感觉感知的四足机器人地形感知安全运动方法,通过生成2.5维地形图和整合控制屏障函数,提高运动安全性和鲁棒性。
2026-03-10 cs.RO
Adaptive Locomotion on Mud through Proprioceptive Sensing of Substrate Properties
Department of Electrical and Computer Engineering University of Southern California(电气与计算机工程系美国南加州大学)
本文提出利用鳍状肢执行器电流与位置信号本体感知泥浆反力并估计其特性,结合机器人运动实现在线识别与步态自适应,从而避免打滑和被困。
2025-06-05 cs.RO
SoPrA: Fabrication & Dynamical Modeling of a Scalable Soft Continuum Robotic Arm with Integrated Proprioceptive Sensing
ETH Zurich(苏黎世联邦理工学院);The University of Tokyo(东京大学)
由于其固有的顺应性,软体机器人比刚性连接机器人更通用,当它们与它们的环境交互时,例如物体操纵或仿生运动,并且被认为是将机器人引入日常环境的关键要素。虽然存在各种软机器人致动器,但过去的研究主要集中在设计和分析单个组件上。已经进行了有限的努力来组合每个部件以创建整体能力的、集成的软体机器人。理想情况下,这种机器人的行为可以被精确地建模,并且它在环境中的运动使用其本体感受,而不需要外部传感器。这项工作提出了一个设计和建模过程中的软连续体本体感受臂(SoPrA)驱动的气动。集成设计适用于分析模型,因为其内部电容式柔性传感器用于本体感受测量,其纤维增强流体弹性体致动器。所提出的解析动力学模型考虑了致动器质量和材料特性的惯性效应,并实时预测软体机器人的行为。我们的估计方法集成了分析模型与本体感受传感器来计算外力,所有这些都不依赖于外部运动捕捉系统。SoPrA的一系列实验证明了模型和传感器的估计精度。SoPrA将实现软臂操作,包括在不允许外感受测量的障碍环境中操作时的力感测。
2021-08-06 cs.RO
Physics-Regularized Machine Learning for Proprioceptive Vehicle Localization Using Onboard Sensors
AImotion Bavaria, Technische Hochschule Ingolstadt(巴伐利亚AImotion公司,英戈尔施塔特技术应用大学);Technische Universität München(慕尼黑工业大学)
研究针对自主移动系统中车辆定位问题,提出物理正则化机器学习框架PRML2,结合卡尔曼滤波与数据驱动学习优势,通过可微卡尔曼滤波器实现物理正则化学习,提升定位精度与泛化能力,在公开数据集上验证其性能并引入新数据集。
2026-07-08 cs.AI cs.LG cs.RO
Inferring Soil Friction Angle from Robot Foot-Ground Force Histories: A Bayesian Inverse Approach to Proprioceptive Soil Sensing
Washington State University(华盛顿州立大学)
本研究通过贝叶斯反演从机器人足-地力历史推断无粘性土壤内摩擦角,利用物质点法模型和高斯过程代理,在匹配模型实验中实现高精度识别,支持本体感觉土壤传感发展。
2026-09-30 cs.RO
Learning Robust Dexterous In-Hand Manipulation from Joint Sensors with Proprioceptive Transformer
Soft Robotics Laboratory, ETH Zürich, Switzerland(苏黎世联邦理工学院软机器人实验室)
本文研究如何仅依靠关节传感进行手部操作,提出了一种无需外部感知的Proprioceptive Transformer方法,通过强化学习训练教师策略并将其转化为PT,实现了在腱驱动灵巧手上的连续立方体旋转,实验表明其在旋转速度和位置估计精度上优于基线方法。
2026-05-20 cs.RO
Sim-to-Real Transfer for Robotic Manipulation with Tactile Sensory
Tencent Robotics X(腾讯机器人X实验室);Imperial College London(帝国理工学院)
强化学习(RL)方法已经通过仿真到现实迁移被广泛应用于机器人操作,通常具有本体感受和视觉信息。然而,将触觉感知结合到RL中用于接触丰富的任务缺乏调查。在本文中,我们模拟的触觉传感器,并研究其反馈的影响,在基于RL的机器人控制通过zero-shot模拟到真实的方法与域随机化。我们证明,学习和控制与触觉传感器阵列的反馈在抓手,无论是在模拟和现实中,可以提高抓地力的稳定性,从而导致显着改善机器人的操作性能的开门任务。在现实世界的实验中,车门打开角度增加了45%,平均为转移政策与触觉感知比那些没有它。
2021-07-27 cs.RO
GelSight Svelte: A Human Finger-shaped Single-camera Tactile Robot Finger with Large Sensing Coverage and Proprioceptive Sensing
Massachusetts Institute of Technology(麻省理工学院)
本文提出GelSight Svelte人指形状单相机触觉传感器,利用曲面镜实现大范围触觉与本体感知,并通过卷积神经网络从骨架变形图像估计弯曲和扭转力矩,在多种抓取模式中验证了其能力。
2023-09-19 cs.CV cs.RO
A Wearable Pneumatic Device for Continuous, Closed-Loop, Bidirectional Tactile Interaction
Stanford University(斯坦福大学)
该研究提出一种可穿戴气动触觉装置系统,集成传感与反馈,可实现双向触觉交互,实验显示其能改善远程操作性能并降低心理负荷。
2026-09-02 cs.RO
Safe Active Navigation and Exploration for Planetary Environments Using Proprioceptive Measurements
针对足式机器人在未知变形颗粒地形探索的通行性评估难题,提出基于本体感受和高斯过程回归的SAEGT导航框架,搭配反应式控制器实现安全探索导航,仿真验证了仅靠本体感知的可行性。
2025-10-21 cs.RO
Gust Estimation and Rejection with a Disturbance Observer for Proprioceptive Underwater Soft Morphing Wings
Institute of Integrated Micro and Nano Systems, School of Engineering, The University of Edinburgh(集成微纳系统研究所,工程学院,爱丁堡大学);School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本研究提出了一种基于本体感觉观测器的柔性变形翼,通过本体感觉传感和扰动观测器实现水下环境扰动的估计与抑制,提高软水下车辆的稳定性和操控性。
2026-02-08 cs.RO
Whole-Body Proprioceptive Morphing: A Modular Soft Gripper for Robust Cross-Scale Grasping
Mechanical Engineering Department at the University of Michigan-Ann Arbor(密歇根大学安娜堡分校机械工程系);Robotics Department at the University of Michigan-Ann Arbor(密歇根大学安娜堡分校机器人学系)
受章鱼启发,提出一种基于模块化自感知气动执行器网络的全身本体感知形态变换软体夹爪,通过分布式驱动与集成传感实现拓扑重构,显著提升了跨尺度与复杂形状物体的鲁棒抓取能力。
2025-10-31 cs.RO
Revisiting Proprioceptive Sensing for Articulated Object Manipulation
Ghent University(根特大学);imec(比利时微电子研究中心)
本文重新审视铰接物体操作中的本体感觉感知,构建了一个利用位置控制机器人和平行夹爪打开橱柜的系统,发现本体感觉在接触期间具有价值,并引发对其与视觉方法权衡的讨论。
2023-05-16 cs.AI cs.RO
Pouring by Feel: An Analysis of Tactile and Proprioceptive Sensing for Accurate Pouring
Samsung AI Center NY(三星人工智能中心纽约分部)
本文研究服务机器人在无外部测量设备条件下仅凭自身关节力矩与指尖触觉传感器实现精确倒水,通过PID控制器和三个数据驱动估计器将平均误差控制在10毫升以内,并验证了对新位置和不同抓握方式的鲁棒性。
2023-10-27 cs.RO
From Impact to Insight: Dynamics-Aware Proprioceptive Terrain Sensing on Granular Media
University of Southern California(南加州大学)
本文研究高速跳跃中颗粒介质的动态交互,提出基于本体感知的动态地形表征框架,通过实验发现静力学假设在高速跳跃中存在较大误差,引入加速度感知的加权回归以提高颗粒刚度参数的恢复精度。
2026-10-12 cs.RO
Vision-Based Proprioceptive Sensing for Soft Inflatable Actuators
ETH Zürich(苏黎世联邦理工学院)
本文提出了一种基于视觉的传感方法的软直线驱动器,这是配备了一个集成的摄像头。所提出的基于视觉的感测管道预测致动器上的感兴趣点的三维位置。为了训练和评估算法,将预测与来自外部运动捕捉系统的地面实况数据进行比较。一个现成的距离传感器集成在一个类似的致动器,其性能被用作比较的基线。由此产生的传感管道在标准笔记本电脑上以40 Hz实时运行,并且还用于致动器的闭环伸长控制。结果表明,该方法可以实现相当的精度的距离传感器。
2019-09-19 cs.CV cs.RO
Proprioceptive and Exteroceptive Information Perception in a Fabric Soft Robotic Arm via Physical Reservoir Computing with minimal training data
Virginia Tech(弗吉尼亚理工大学);Arizona State University(亚利桑那州立大学)
本研究利用物理储备计算原理,仅通过气动软臂内部分布式压力数据同时预测弯曲角度与负载质量,发现线性加权求和即可实现高精度感知,且弯曲角度预测比负载预测所需训练数据更少。
2024-11-11 cs.RO
Online Estimation of Articulated Objects with Factor Graphs using Vision and Proprioceptive Sensing
University of Edinburgh(爱丁堡大学);University of Freiburg(弗莱堡大学)
本文提出融合神经网络视觉可供性预测与交互式运动学传感的因子图在线铰接估计方法,并通过真实机器人共享自主开门实验验证,未知铰接物体自主开启成功率达80%。
2023-09-28 cs.RO
Proprioceptive State Estimation for Amphibious Tactile Sensing
Southern University of Science and Technology(南方科技大学);Institute of Robotics(机器人研究所);School of Design(设计学院)
本文提出一种基于视觉的本体感觉方法,利用超材料软体手指和内置摄像头,实现地面及水下环境中高精度的触觉变形估计,为两栖机器人抓取提供新途径。
2024-07-21 cs.RO
Proprioceptive Robot Collision Detection through Gaussian Process Regression
University of Padova(帕多瓦大学)
提出了一种基于高斯回归的本体感觉碰撞检测算法。与基于传感器的碰撞检测和其他本体感受算法相比,所提出的方法具有最小的传感要求,因为只需要电流和关节配置。该算法扩展了学习机器人逆动力学所采用的标准高斯过程模型,使用更丰富的输入位置集和ad-hoc内核结构来模拟由于准静态配置中的摩擦引起的复杂和非线性行为。在通用机器人UR 10上进行的测试表明,所提出的算法可以有效地检测何时发生碰撞。
2019-05-21 cs.RO
Effective Locomotion at Multiple Stride Frequencies Using Proprioceptive Feedback on a Legged Microrobot
Wyss Institute for Biologically Inspired Engineering(怀斯生物启发工程研究所)
驱动、传感和计算的限制迫使小型足式机器人依赖于仔细调整的、机械介导的腿轨迹来进行有效的运动。然而,制造业的最新进展使得能够开发能够使用多自由度腿轨迹以多个步幅频率操作的小型足式机器人。本体感知和控制是将这些机器人的能力扩展到广泛的操作条件的关键。在这项工作中,我们使用伴随传感压电驱动与计算效率的框架,估计和控制腿轨迹的四足微型机器人。我们展示了在运动过程中在宽范围的步频(10-50 Hz)内的准确位置估计(< 16%的均方根误差)和控制(16%的均方根跟踪误差)。这种能力使得能够探索被设计为减少腿部滑动并增加运动性能的两个生物启发参数腿部轨迹(例如,速度、运输成本等)。使用这种方法,我们展示了高性能的运动在步幅频率(10-30赫兹)的机器人的自然动力学导致开环运动差。此外,我们验证了启发我们轨迹的生物学假设,并确定了高动态运动,低运输成本(3.33)和最小腿部滑动(< 10%)的区域。
2019-06-03 cs.RO
PTLD: Sim-to-real Privileged Tactile Latent Distillation for Dexterous Manipulation
Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);FAIR at Meta(Meta的FAIR团队);UC Berkeley(伯克利大学)
提出PTLD方法,通过真实世界触觉策略数据蒸馏鲁棒状态估计器,解决触觉仿真困难问题,在灵巧操作任务中相比纯本体感策略提升182%和57%。
2026-06-19 cs.RO
Tactile-Proprioceptive Sensor Fusion for Contact Wrench Estimation in Whole-Body Physical Human-Robot Interaction
Department of Robotics and Mechatronics Engineering, DGIST (Daegu Gyeongbuk Institute of Science and Technology)(机器人与机电工程系,DGIST(大邱庆尚科学技术研究所));Kinetic Intelligent Machine Lab (KIMLAB), University of Illinois Urbana-Champaign(动能智能机器实验室(KIMLAB),伊利诺伊大学厄巴纳-香槟分校)
提出触觉-本体感觉融合框架,利用气动皮肤垫的触觉线索作为接触指示器,结合基于电机电流的本体感觉,通过时间卷积网络消除摩擦滞后,实现多轴接触力重建,提高物理人机交互的灵敏度和响应性。
2026-05-27 cs.LG cs.RO
Towards Effective Physical Reservoir Computing with a Pneumatic Soft Robot
Arizona State University(亚利桑那州立大学);Virginia Tech(弗吉尼亚理工大学)
本研究以气动软机器人为对象,探究囊拓扑、刚度及传感数量对PRC弯曲角度估计性能的影响,得出三条设计准则,为软机器人PRC的协同设计提供依据。
2026-09-03 cs.RO
PneuGelSight: Soft Robotic Vision-Based Proprioception and Tactile Sensing
University of Illinois, Urbana-Champaign, USA(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University, USA(卡内基梅隆大学)
PneuGelSight通过内置相机实现高分辨率本体感觉与触觉感知,结合模拟到现实的管道,为柔软机器人提供新颖的传感方法。
2026-01-26 cs.RO
A Reconfigurable Fabric Based Pneumatic Actuator with Button Fastened Constraint Modules for Multi Mode Actuation
Osaka University(大阪大学)
该研究提出带纽扣固定约束模块的可重构织物气动执行器,可快速切换四种驱动模式,搭配可附着电容式触觉传感器,构建的软机械臂可原位重构运动以实现抓取,提升了软机器人功能适应性。
2026-10-09 cs.RO
Task-space model-based control of pneumatic soft actuators
Vanderbilt University(范德堡大学);The University of Tennessee(田纳西大学)
针对气动软执行器任务空间控制难题,本文提出基于非最小坐标离散弹性杆模型的实时动态控制框架,经实验验证可实现高精度中等带宽的平面软执行器任务空间控制。
2026-08-28 cs.RO
3D Printed Proprioceptive Soft Fluidic Actuators with Graded Porosity
University of Twente(特文特大学);Department of Biomechanical Engineering(生物医学工程系)
本研究提出一种3D打印梯度多孔软体流体驱动器的集成制造方法,实现驱动与压阻传感一体化,并利用Wiener-Hammerstein模型补偿迟滞,实现高精度应变估计。
2023-12-21 cs.RO
Terrain Classification for the Spot Quadrupedal Mobile Robot Using Only Proprioceptive Sensing
Ingenuity Labs Research Institute(创新实验室研究机构);Queen's University(皇后大学)
本文针对Spot四足机器人在复杂地形上的下沉与打滑问题,提出一种仅依赖本体感知信号的地形分类器,通过降维与分类技术实现约97%准确率的三类地形识别,为可通过性地图构建和安全路径规划提供支持。
2025-08-22 cs.RO eess.SP
Towards Proprioceptive Terrain Mapping with Quadruped Robots for Exploration in Planetary Permanently Shadowed Regions
Dynamic Legged Systems lab (DLS), Istituto Italiano di Tecnologia (IIT)(动态腿部系统实验室(DLS)、意大利技术研究所(IIT))
针对月球永久阴影区探测需求,提出一种基于四足机器人本体感受的地形映射框架,通过内部传感估计多项地形交互指标并构建多层2.5D网格地图,仿真验证了其在月球环境下的稳定建图性能。
2025-10-21 cs.RO
Learning Variable Impedance Control for Aerial Sliding on Uneven Heterogeneous Surfaces by Proprioceptive and Tactile Sensing
ETH Zürich(苏黎世联邦理工学院)
能够与环境进行物理交互的新型飞行器的最新发展导致了新的应用,例如基于接触的检测。这些任务要求机器人系统与部分已知的环境交换力,这可能包含不确定性,包括未知的空间变化的摩擦特性和表面几何形状的不连续变化。找到一种对这些环境不确定性具有鲁棒性的控制策略仍然是一个公开的挑战。提出了一种基于学习的自适应控制策略,用于空中滑行任务。特别地,通过基于当前控制信号、本体感受测量和触觉感知的策略来实时调整标准阻抗控制器的增益。该策略在学生-教师学习设置中使用简化的致动器动力学进行模拟训练。使用一个倾斜臂全向飞行器的实际世界中的性能所提出的方法进行了验证。所提出的控制器结构结合了数据驱动和基于模型的控制方法,使我们的方法能够成功地直接从仿真转移到真实平台,而无需自适应。与现有技术的相互作用控制方法相比,我们实现了减小的跟踪误差和改进的干扰抑制。
2022-07-05 cs.LG cs.RO cs.SY
KineSoft: Learning Proprioceptive Manipulation Policies with Soft Robot Hands
Carnegie Mellon University(卡内基梅隆大学);Bosch Center for AI(博世人工智能中心)
KineSoft 利用软体手内部应变传感和形状条件扩散策略,实现直接动觉示教与本体感知模仿学习,在形状估计、轨迹跟踪和任务成功率上优于基线方法。
2025-05-08 cs.RO
Bio-Inspired Pneumatic Modular Actuator for Peristaltic Transport
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
针对易碎和不规则物体运输难题,本文提出集成甜甜圈形模块与实时压力反馈的气动模块化软体执行器,实现无需复杂算法的稳健、柔性蠕动抓取与运输。
2024-12-06 cs.RO
Exoskeleton-covered soft finger with vision-based proprioception and tactile sensing
Massachusetts Institute of Technology(麻省理工学院);Tsinghua University(清华大学)
与传统的刚体机器人相比,软体机器人在适应性、安全性和灵活性方面具有显著的优势。然而,由于软体机器人具有高柔性和弹性,因此使其具有精确的本体感觉和触觉感知是具有挑战性的。在这项工作中,我们描述了一个基于视觉的本体感受和触觉传感器的软体机器人称为GelFlex,这是以前的GelSight传感技术的启发。更具体地说,我们开发了一种新型的外骨骼覆盖的软手指,带有嵌入式摄像头和深度学习方法,能够实现高分辨率的本体感知和丰富的触觉感知。为此,我们沿着手指的轴向方向设计了能够实现高分辨率本体感受感测的特征,并在手指表面上结合了反射油墨涂层,以实现丰富的触觉感知。我们设计了一个高度欠驱动的外骨骼与肌腱驱动机制,使手指。最后,我们组装2的手指在一起,形成一个机器人抓手,并成功地执行棒料分类任务,这需要形状和触觉信息。我们训练神经网络的本体感觉和形状(盒与圆柱体)分类使用的数据从嵌入式传感器。本体感觉CNN在我们的测试集上具有超过99\%的准确性(所有六个关节角度都在1度误差内),并且在现场测试期间具有0.77 mm的平均累积距离误差,这优于人类手指本体感觉。这些技术为软体机器人提供了同时感知其本体感受状态和周边环境的高级能力,为软体机器人解决日常操作任务提供了潜在的解决方案。我们相信在这项工作中开发的方法可以广泛应用于不同的设计和应用。
2020-06-23 cs.RO eess.IV
Development of the Bioinspired Tendon-Driven DexHand 021 with Proprioceptive Compliance Control
School of Mechanical Engineering, Shanghai Jiao Tong University(上海交通大学机械工程学院);DEXROBOT CO., LTD.(德克斯机器人有限公司)
本文开发了重1kg、具有19个自由度的腱驱五指灵巧手DexHand 021,提出基于本体感知力感知的导纳控制方法,实现高精度力估计与柔顺操作,成功完成33种GRASP抓取动作。
2025-11-09 cs.AI cs.RO
Digging for Data: Experiments in Rock Pile Characterization Using Only Proprioceptive Sensing in Excavation
Center for Applied Autonomous Sensor Systems, Örebro University(应用自主传感系统中心,奥雷布罗大学);Ingenuity Labs Research Institute, Smith Engineering, Queen’s University(创新实验室研究机构,史密斯工程,女王大学)
本研究提出了一种仅使用本体感觉传感数据来估计破碎岩石堆相对颗粒大小的方法,通过现场实验验证了该方法的有效性,并与视觉分析和筛分方法进行了对比。
2026-02-11 cs.RO eess.SP
Multi-Class Human/Object Detection on Robot Manipulators using Proprioceptive Sensing
MINDLab, Institute of Mechatronic Systems, ZHAW(苏黎世应用科技大学机电系统研究所MINDLab);Institute of Mechatronics system, ZHAW(苏黎世应用科技大学机电系统研究所)
本文提出多类人类/物体检测方法,通过Franka Emika Panda机械臂采集数据,采用LSTM、GRU和Transformer模型,实现实时91.11%的识别准确率,验证了多类检测模型的可行性。
2026-06-29 cs.AI cs.RO
PneuTac: Tactile Manipulation with Soft Pneumatic Robots via Unified MPM-Gaussian Splatting Simulation
University of Oxford(牛津大学)
PneuTac提出统一MPM-高斯泼溅仿真框架,用于软体气动机器人的触觉操作,通过仿真增强演示训练策略,在真实接触丰富任务中优于基线。
2026-10-01 cs.RO
Terrain parameter estimation from proprioceptive sensing of the suspension dynamics in offroad vehicles
Clemson University(克莱姆森大学)
越野车辆运动必须应对不平坦和不确定的地形,这对有人驾驶和无人驾驶地面车辆的路径规划和运动控制提出了挑战。地形特性的知识可以允许车辆调整其控制和运动规划算法。然而,地形属性可能会在几天甚至几小时的时间尺度上发生变化,因此需要对其进行在线估计。运动学,特别是越野车辆经历的振荡,带有地形特性的特征。因此,这些地形特性可以利用适当的模型和估计算法从车辆动力学的本体感受感测来估计。在本文中,我们表明,由于其悬挂的车辆的垂直动力学的知识,可以更快,更准确地估计地形参数。本文考虑了一个五自由度的模型,结合了众所周知的半车和自行车模型。我们通过仿真表明,下沉指数,一个参数,可以显着影响车轮的力量,从地形,从而极大地影响车辆的轨迹,可以估计从测量车辆的线加速度和旋转速度,这可以很容易地从车载IMU。我们表明,建模的垂直车辆动力学可以导致显着改善的地形参数的估计和车辆轨迹的预测。
2022-02-09 cs.RO cs.SY eess.SP
Navigating by Touch: Haptic Monte Carlo Localization via Geometric Sensing and Terrain Classification
Oxford Robotics Institute, University of Oxford(牛津大学牛津机器人研究所);Institute of Robotics and Machine Intelligence, Poznan University of Technology(波兹南理工大学机器人与机器智能研究所)
在极端环境中,足式机器人导航可能会因黑暗、空气模糊或传感器损坏而妨碍相机和激光扫描仪的使用。在这些条件下,本体感觉将继续可靠地工作。在本文中,我们提出了一个纯粹的本体感觉定位算法,融合了来自几何和地形类的信息,在先验地图中定位足式机器人。首先,地形分类器根据感测到的脚力计算脚已经踩在特定地形类上的概率。然后,基于蒙特卡洛的估计融合这种地形类概率与脚接触点的几何信息。结果表明,这种方法运行在线和板载ANYmal B300四足机器人穿越一系列地形课程与不同的几何形状和地形类型超过1.2公里。该方法仅利用来自四足动物的脚、IMU和关节的信息,使定位误差保持在20cm以下。
2021-08-18 cs.RO
Learning Vision-Based Bipedal Locomotion for Challenging Terrain
Collaborative Robotics and Intelligent Systems Institute, Oregon State University(俄勒冈州立大学协作机器人与智能系统研究所)
针对无视觉双足行走控制器无法预判适配复杂地形的问题,提出基于高度图预测的全学习视觉双足行走系统,通过仿真训练与域随机化实现无微调的sim-to-real迁移,为相关领域首个成功案例。
2024-07-08 cs.RO
Real-time Soft Body 3D Proprioception via Deep Vision-based Sensing
New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
由柔性和可变形材料制成的软体在许多机器人应用中很受欢迎,但它们的本体感受传感一直是一个长期存在的挑战。换句话说,几乎没有一种方法可以用内部传感器测量和建模软体的高维3D形状。我们提出了一个框架来测量高分辨率的三维形状的软体在实时的【形】与嵌入式摄像机。摄像机捕捉柔软身体内部的视觉图案,卷积神经网络(CNN)产生代表变形状态的潜在代码,然后可以使用另一个神经网络来重建身体的3D形状。我们在各种软体上测试该框架,如Baymax形玩具,乳胶气球和一些软体机器人手指,并实现实时的【形】计算($\leq$ 2.5ms/帧),以实现高精度($\leq$ 1%相对误差)和高分辨率的鲁棒形状估计。我们相信该方法可以应用于软机器人和人机交互的本体感觉形状传感。我们的代码可在https://ai4ce.github.io/Deep-Soft-Prorioception/上获得
2019-12-06 cs.RO
PROBE: Proprioceptive Obstacle Detection and Estimation while Navigating in Clutter
Dept. of Computer Science, Rutgers University, NJ, USA(计算机科学系,罗杰斯大学,新泽西州,美国);Amazon.com Inc.(亚马逊公司);Rutgers University(罗杰斯大学);Amazon Scholar(亚马逊学者)
针对视觉受阻场景,本文提出仅依赖本体感觉的 PROBE Transformer,利用扭矩与全身运动历史检测矩形障碍物并估计其 SE(2) 尺寸和位姿,且在仿真与真实四足机器人上验证。
2025-05-17 cs.RO
Collision Isolation and Identification Using Proprioceptive Sensing for Parallel Robots to Enable Human-Robot Collaboration
Leibniz University Hannover(汉诺威莱布尼茨大学)
本文提出基于本体感知的并联机器人碰撞隔离与识别方法,利用外力作用线特征和FNN分类碰撞本体,并结合显式解与粒子滤波估计接触位置和力。
2023-08-18 cs.RO cs.SY eess.SY
Highly Deformable Proprioceptive Membrane for Real-Time 3D Shape Reconstruction
提出一种基于光波导传感的柔性可拉伸本体感觉硅胶膜,通过数据驱动模型解码变形相关光强信号,实现实时三维形状重建,在140mm方形膜上达到90Hz更新率和1.307mm平均重建误差。
2026-09-04 cs.RO
Effect of Gait Design on Proprioceptive Sensing of Terrain Properties in a Quadrupedal Robot
Department of Mechanical Engineering, Massachusetts Institute of Technology(机械工程系,麻省理工学院);Ming Hsieh Department of Electrical and Computer Engineering, University of Southern California(Ming Hsieh 电子与计算机工程系,南加州大学);Department of Earth and Environmental Science, University of Pennsylvania(地球与环境科学系,宾夕法尼亚大学)
本文对比四足机器人的Crawl N' Sense与Trot-Walk步态,证明慢速爬行步态能更稳定、准确地感知可变形地形强度及表面结壳破裂。
2025-09-26 cs.RO cs.SY eess.SY
Visual-Tactile Sensing for Real-time Liquid Volume Estimation in Grasping
Xi’an-Jiaotong Liverpool University(西交利物浦大学);The University of Hong Kong(香港大学);City University of Hong Kong(香港城市大学);Southern University of Science and Technology(南方科技大学)
我们提出了一个深度视觉触觉模型,用于以本体感受的方式实时估计可变形容器内的液体。我们融合了两种感觉方式,即,RGB摄像头的原始视觉输入和我们特定触觉传感器的触觉提示,无需任何额外的传感器校准。机器人系统基于估计模型实时的进行良好的控制和调整。本文的主要贡献和创新点如下:1)探索了一种本体感觉液体体积估计的方法,利用多模态卷积网络建立了一种端到端的预测模型,在实验验证中,该预测模型具有很高的精度,误差在2 ml左右。2)提出了一种多任务学习架构,该架构综合考虑了分类和回归任务的损失,并在收集的数据和实际机器人平台上比较评估每个变体的性能。3)利用本体感受机器人系统精确地提供和控制所需体积的液体,所述液体实时的连续流入可变形容器。4)根据实时的液体体积预测,自适应调整抓取计划,实现更稳定的抓取和操作。
2022-08-16 cs.CV cs.RO
Self-Supervised Anchoring of Fingertip Sensing to Proprioception and Proactive Actions for Robot Imitation Learning
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));CNRS-AIST JRL (Joint Robotics Laboratory), IRL(法国国家科学研究中心-产业技术综合研究所联合机器人实验室(JRL),IRL)
针对模仿学习中指尖感知难以利用的问题,提出本体感觉与主动锚定(PROPRA)预训练方法,将指尖传感器历史与本体感觉和动作对齐,在真实操作任务上提升成功率。
2026-09-25 cs.RO
ViLoMan: Learning Visual-Proprioceptive Whole-Body Loco-Manipulation Skills for Humanoid Robots
State Key Laboratory of AI Safety, Institute of Computing Technology, CAS(中国科学院计算技术研究所人工智能安全国家重点实验室);University of Chinese Academy of Sciences (CAS)(中国科学院大学);Beijing Academy of Artificial Intelligence (BAAI)(北京智源人工智能研究院)
ViLoMan提出可扩展框架,通过将人-物交互演示转为机器人轨迹并利用师生蒸馏学习统一策略,使Unitree G1人形机器人仅凭机载感知完成关门任务,实现稳健泛化与仿真到现实迁移。
2026-09-18 cs.RO
A Model-Based Decoupling Strategy for Proprioception and Contact Sensing in an Architected Soft Manipulator
Embodied AI SA(具身人工智能公司);CREATE Lab, STI, EPFL(洛桑联邦理工学院智能系统学院创意实验室);Delft University of Technology(代尔夫特理工大学);German Aerospace Center(德国航空航天中心);MIT Computer Science & Artificial Intelligence Laboratory(麻省理工学院计算机科学与人工智能实验室)
研究软连续体机器人传感难题,提出基于模型策略从通用流体压力传感器解耦信号,用于ITH段,单段试验效果良好,集成到Air-Helix进行演示,证明该方法是实现软机器人并发传感的实用途径。
2026-07-20 cs.RO
Locomotion and Obstacle Avoidance of a Worm-like Soft Robot
University of Notre Dame(圣母大学)
本文提出一种仿蚯蚓软体机器人,通过多段气动驱动与本体感觉控制实现高效运动和实时避障,在杂乱环境中导航能力显著,适用于搜救、环境监测和医疗等领域。
2023-04-17 cs.RO