FORTE: Tactile Force and Slip Sensing on Compliant Fingers for Delicate Manipulation
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
FORTE通过柔性指尖触觉感知系统实现低延迟的力与滑动反馈,有效提升对易碎、滑腻物体的抓取精度与稳定性。
2026-01-05 cs.RO
Dexterous In-Hand Manipulation of Slender Cylindrical Objects through Deep Reinforcement Learning with Tactile Sensing
University of Edinburgh(爱丁堡大学);Tencent Robotics X(腾讯机器人X实验室);University College London(伦敦大学学院)
本文提出基于触觉反馈和深度强化学习的端到端策略框架,实现机器人三指灵巧手对细长圆柱物体的连续位姿控制,并通过模型校准与域随机化成功完成从仿真到现实的迁移验证。
2023-04-11 cs.RO
Fiber Optic Sensing Glove for High Performance Dexterous Manipulation Capture
Meta;Northwestern University(西北大学)
该研究针对现有手部姿势捕捉技术的缺陷,开发了光纤传感手套,通过多芯形状传感光纤与逆运动学求解器实现60Hz全手部姿势跟踪,在5名受试者的2小时数据集上指尖位置平均误差达7.2mm,经校准后降至4.9mm,可用于高保真数据捕捉与双手虚拟遥操作,助力机器人领域发展。
2026-08-26 cs.RO
Optical Proximity Sensing for Pose Estimation During In-Hand Manipulation
University of Washington(华盛顿大学)
本文首次评估指尖嵌入式光学飞行时间接近传感器在手内操作位姿估计中的效果,提出新型双指手测试平台,并通过粒子滤波和模型预测控制实验证明其位姿误差比触觉基线降低50%、定位误差降低30%。
2023-10-30 cs.RO
SAFE: Unified Slip and Fracture Detection with Low-Cost Acoustic Sensing in Robotic Grasping
Georgia Institute of Technology(佐治亚理工学院);Vanderbilt University(范德堡大学)
SAFE利用低成本声学传感和电机本体感觉,通过统一分类器实时检测抓取中的滑移与断裂,实现高成功率且无需视觉或材料先验知识的自适应抓取控制。
2026-10-08 cs.RO
A-SLIP: Acoustic Sensing for Continuous In-hand Slip Estimation
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
A-SLIP通过多通道声学传感系统实现手握滑动的实时连续估计,采用压电微声器捕捉接触振动,利用轻量卷积网络处理音频数据,有效提升滑动方向和幅度估计精度。
2026-04-09 cs.RO
GelTip: A Finger-shaped Optical Tactile Sensor for Robotic Manipulation
University of Liverpool(利物浦大学);Fuzhou University(福州大学)
感知整个手指的接触是机器人在杂乱环境中执行操作任务的基本能力。然而,现有的触觉传感器要么仅具有平坦的感测表面,要么具有有限感测区域的顺应性尖端。在本文中,我们提出了一种新的光学触觉传感器,GelTip,形状像一个手指,可以感测其表面上的任何位置的接触。该传感器捕获高分辨率和颜色不变的触觉图像,可用于提取有关末端执行器与被操纵物体相互作用的详细信息。我们的大量实验表明,GelTip传感器可以有效地定位其手指形主体的不同位置上的触点,平均定位误差约为5 mm,最佳情况下小于1 mm。所获得的结果表明,在促进动态操作任务与其全面的触觉感知能力的GelTip传感器的潜力。有关GelTip传感器的传感器型号和更多信息,请访问http://danfergo.github.io/geltip。
2020-08-12 cs.RO
FingerEye: Learning Dexterous Manipulation with Continuous Vision-Tactile Sensing
National University of Singapore(新加坡国立大学);RoboScience(机器人科学);Huazhong University of Science and Technology(华中科技大学);South China University of Technology(华南理工大学)
FingerEye通过连续视觉-触觉感知提升机器人灵巧操作,结合视觉和触觉反馈,在模拟和现实环境中使腕部策略的成功率提升超30个百分点。
2026-10-07 cs.RO
VTAP Gripper: Synergizing Fingertip Sensing and a Visuo-Tactile Active Palm for Dexterous In-Hand Manipulation
Edwardson School of Industrial Engineering, Purdue University(普渡大学爱德华森工业工程学院);Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
研究提出集成 VTAP 和触觉阵列传感器手指的夹爪,利用指掌协同与多模态感知实现操作。通过双模态手掌扩展能力,提出重定向框架。经多任务实验验证,该夹爪及框架为灵巧夹爪设计等提供实用参考架构。
2026-07-20 cs.RO
Improving grasp performance using in-hand proximity and contact sensing
University of Colorado Boulder(科罗拉多大学博尔德分校)
我们描述了我们在IROS 2016机器人抓取和操纵竞赛的自主轨道上采用的抓取和操纵策略。我们架构的一个显著特点是视觉(华硕Xtion)和触觉感知(机器人材料)之间的紧密耦合,以减少传感和驱动的不确定性。我们证明了触觉感知和反应控制的重要性,在最后阶段的把握使用Kinova机器人arm.The集的工具和算法的对象抓取这里提出的已被集成到开源机器人操作系统(ROS)。
2017-01-21 cs.RO
SpikeATac: A Multimodal Tactile Finger with Taxelized Dynamic Sensing for Dexterous Manipulation
SpikeATac通过结合动态和静态触觉传感技术,实现对易碎物体的灵活操控,利用强化学习优化力调节能力。
2026-07-13 cs.RO
The utility of tactile force to autonomous learning of in-hand manipulation is task-dependent
University of California San Diego(加利福尼亚大学圣迭戈分校);University of Southern California(南加利福尼亚大学)
触觉传感器提供可用于学习和执行操纵任务的信息。然而,不同的任务可能需要不同水平的感官信息,这反过来又可能影响学习率和表现。本文评估了触觉信息的作用,自主学习的操作与模拟3指肌腱驱动的手。我们比较了相同的学习算法(近端策略优化,PPO)学习两个操作任务(滚动一个球的水平轴与旋转刚度和没有)与三个级别的触觉感知:无感测,一维法向力,三维力矢量的能力。令人惊讶的是,与最近的操纵工作相反,与没有感知相比,添加1D力感知并不总是提高学习率-可能是由于正常力是否与任务相关。尽管如此,尽管3D力感测增加了感觉输入的维度--这通常会阻碍算法收敛--但它导致了更快的学习率和更好的性能。我们的结论是,在一般情况下,感官输入是有用的学习,只有当它是相关的任务-是3D力感测的情况下,手操纵重力。此外,3D力感测的效用甚至可以抵消使用更高维的感觉输入学习所增加的计算成本。
2020-02-05 cs.LG cs.RO
Hierarchical Audio-Visual-Proprioceptive Fusion for Precise Robotic Manipulation
Harbin Institute of Technology, China(哈尔滨工业大学);Nanyang Technological University, Singapore(南洋理工大学)
本文提出层次化多模态融合框架,通过整合音频、视觉和本体感知信息,提升机器人精确操作性能。
2026-02-14 cs.AI cs.RO
3D-ViTac: Learning Fine-Grained Manipulation with Visuo-Tactile Sensing
Columbia University(哥伦比亚大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学)
本文提出 3D-ViTac 多模态系统,将低成本柔性触觉传感器与视觉融合到统一三维表示中,并结合扩散策略进行模仿学习,使低成本双臂机器人在精细、易碎物及长时序手内操作任务上显著优于纯视觉策略。
2025-01-06 cs.AI cs.LG cs.RO
On the Feasibility of Learning Finger-gaiting In-hand Manipulation with Intrinsic Sensing
Columbia University(哥伦比亚大学)
指步操纵是实现物体大角度在手重定位的一项重要技术。然而,由于任务的不稳定性,实现这些步态与任意方向的手是具有挑战性的。在这项工作中,我们使用无模型强化学习(RL)来学习手指步态只通过精确的把握和演示手指步态旋转轴纯粹使用板上本体感受和触觉反馈。为了解决精确抓取固有的不稳定性,我们建议使用初始状态分布,使状态空间的有效探索。我们的方法可以学习手指步态与显着改善的样本复杂度比国家的最先进的。我们得到的政策是强大的,也转移到新的对象。视频可以在https://roamlab.github.io/learnfg/上找到
2022-03-15 cs.AI cs.RO
Symmetry-Aware Fusion of Vision and Tactile Sensing via Bilateral Force Priors for Robotic Manipulation
DexAI, Emergent Business Unit, Analog Devices Inc.(DexAI,新兴业务部,安森通公司)
本文提出了一种基于双侧力先验的跨模态Transformer,通过结构化注意力机制实现视觉与触觉融合,在机器人操作中实现了96.59%的插入成功率,展示了触觉感知的重要性及物理启发正则化的有效性。
2026-02-14 cs.CV cs.RO
The Role of Touch: Towards Optimal Tactile Sensing Distribution in Anthropomorphic Hands for Dexterous In-Hand Manipulation
VisLab, Institute for Systems;Soft Robotics Lab National University of Singapore, Singapore;BRAIR Lab, BioRobotics Institute Scuola Superiore Sant'Anna, Pisa, Italia
本文研究了在拟人手部中触觉传感分布对在手操作任务的影响,通过分析不同区域的触觉反馈对深度强化学习控制策略的影响,提出了优化触觉传感配置以提高操作效率和准确性的方法。
2025-09-18 cs.AI cs.LG cs.RO
MuseVLA: An Adaptive Multimodal Sensing Vision-Language-Action Model for Robotic Manipulation
School of Computer Science, Peking University(北京大学计算机科学学院);Microsoft Research Asia(微软亚洲研究院);Princeton University(普林斯顿大学);Tsinghua University(清华大学)
提出MuseVLA模型,通过将传感器作为按需工具集成,实现自适应多模态感知;设计传感器图像统一表示,并引入数据合成流水线,在灵巧手操作任务中平均成功率80.6%,显著优于RGB-only和多模态基线。
2026-08-13 cs.CV cs.RO
Embedded Soft Sensing in Soft Ring Actuator for Aiding with theSelf-Organisation of the In-Hand Rotational Manipulation
University of Cambridge(剑桥大学)
本文提出了一种软传感器嵌入在一个软环驱动器与五个手指作为一个软手,以识别在手操作过程中的操作对象的分叉。操纵是通过打破对称方法与欠驱动控制系统的分叉的对象顺时针或逆时针旋转。两个软传感器平行嵌入在一个单一的软手指,并在电阻测量的差异进行比较,当手指在一个特定的方向上位移或弯曲,这可以识别分叉方向,并在不需要外部跟踪设备的情况下,在对称性的方法援助。传感器的性能还通过在没有物体交互的情况下延伸和弯曲手指来表征。在执行对称性破坏的实验期间,被操纵的物体根据扰动和致动频率顺时针和逆时针转动,传感器可以跟踪旋转方向。嵌入式传感器提供了自感知能力,用于在未来的工作中实现闭环控制。软环致动器的性能呈现出自组织行为,其中软指旋转对象,而不需要用于旋转对象的控制。因此,软手指是一个欠驱动系统与复杂的行为时,与对象,服务在手操纵领域。
2022-02-25 cs.RO cs.SY eess.SY
E-TRoll: Tactile Sensing and Classification via A Simple Robotic Gripper for Extended Rolling Manipulations
Imperial College London(伦敦帝国理工学院)
机器人触觉感知提供了一种在视觉失效的情况下识别物体及其属性的方法。以前的工作在机器人操作的触觉感知经常集中在探索性的程序(EP)。然而,同样受人类启发的手动操作技术可以在EP的一小部分时间内收集丰富的数据。我们提出了一个简单的3自由度机器人手的设计,优化对象滚动任务通过一个可变宽度的手掌和相关的控制系统。该系统响应于对象行为动态地调整手指基部之间的距离。与固定的手指基座相比,该技术显著增加了在单个滚动运动期间暴露于安装在手指上的触觉阵列的对象的面积(对于具有30毫米直径的圆柱体观察到超过60%的增加)。此外,本文提出了一种时空数据集的特征提取算法,重点是目标角点的识别、分析和紧凑表示。该技术将每个数据样本的维度从10 x 1500时间序列数据大幅降低到80个特征,并通过主成分分析(PCA)进一步降低到22个成分。一个集成子空间k-最近邻(KNN)分类模型进行了训练,90个观察滚动三个不同的几何对象,在三倍交叉验证准确率为95.6%的对象形状识别。
2022-12-08 cs.RO cs.SY eess.SY
Robot Synesthesia: In-Hand Manipulation with Visuotactile Sensing
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California Berkeley(加州大学伯克利分校);Dongguk University(东国大学);Tsinghua University(清华大学);University of California San Diego(加州大学圣迭戈分校)
本文提出受人类联觉启发的基于点云的触觉表示方法Robot Synesthesia,融合视觉与触觉输入以提升手内操作的强化学习和Sim2Real性能。
2024-07-31 cs.CV cs.LG cs.RO
Manipulation by Feel: Touch-Based Control with Deep Predictive Models
University of California, Berkeley(加利福尼亚大学伯克利分校);Facebook AI Research(Facebook人工智能研究院)
触摸感测被广泛认为对于灵巧的机器人操纵是重要的,但是利用触觉感知进行连续的、非易失性的操纵是具有挑战性的。能够有效利用触觉感知以及接触和力的准确物理模型的通用控制技术在很大程度上仍然难以捉摸,甚至不清楚如何在触觉感知方面指定所需的行为。在本文中,我们通过将高分辨率触觉感知与使用深度神经网络动力学模型的数据驱动建模相结合,朝着解决这些问题迈出了一步。我们提出了深度触觉MPC,学习执行触觉伺服从原始触觉传感器输入的框架,没有人工监督。我们表明,这种方法使机器人配备了GelSight风格的触觉传感器来操纵球,模拟棒,和20面骰子,从无人监督的自主交互学习,然后使用学习的触觉预测模型,重新定位每个对象到用户指定的配置,由目标触觉读数指示。视频,可视化和代码可在这里:https://sites.google.com/view/deeptactilempc
2019-03-11 cs.AI cs.CV cs.LG
S2A2: Audio-Visual Imitation Learning for Manipulation Tasks Using Acoustic Spatial Information
Kyoto University(京都大学);RIKEN(理化学研究所);Institute of Science Tokyo(东京理科大学)
研究利用声学信息进行操作任务的模仿学习,提出多模态框架S2A2,集成视觉与声学信息,实现多种策略集成,模拟与真实机器人实验表明其对特定任务有效且适用于现实操作。
2026-09-30 cs.RO
Acoustic-driven millimetric helical robot: ultrasonic synergistic manipulation in confined fluidic environment
Zhejiang University(浙江大学);Huzhou Institute of Zhejiang University(浙江大学湖州研究院);Huzhou Normal University(湖州师范学院);Huzhou Vocational and Technical College(湖州职业技术学院)
该研究提出协调多声场方法,利用声辐射力与声流协同实现毫米级螺旋机器人在受限流体环境的可控运动,提升了操控性,为相关生物医学应用提供支撑。
2026-08-07 cs.RO
Compliant In-hand Rolling Manipulation Using Tactile Sensing
Center for Robotics and Biosystems and the Department of Mechanical Engineering, Northwestern University(机器人与生物系统中心和机械工程系,西北大学);Northwestern Institute on Complex Systems (NICO)(复杂系统研究所(NICO))
本文提出了一种基于触觉感知的多指机械手手握滚动操作方法,通过推导动力学方程和设计控制器实现对物体扭量的精确控制。
2026-03-04 cs.RO
Acoustic tactile sensing for mobile robot wheels
McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);TTI-Chicago(芝加哥丰田技术研究所)
本文提出一种基于轮载声波导和现成声学测距仪的移动机器人触觉感知架构,可实现全周地形识别、障碍物分类与碰撞接触定位,并支持多种建图任务。
2024-02-28 cs.RO
Decentralized LLM-Driven Coordination of Acoustic Robots for Contactless Object Manipulation
Department of Computer Science, University College London(计算机科学系,伦敦大学学院);Department of Artificial Intelligence, University of Malaya(人工智能系,马来大学)
提出一种去中心化框架,利用Whisper语音识别和LLM语义解析将自然语言指令转换为多机器人任务计划,实现声学机器人的非接触式物体操控,实验验证了顺序、并行和同步协作任务的有效性。
2026-05-28 cs.RO
VibeCheck: Using Active Acoustic Tactile Sensing for Contact-Rich Manipulation
Dept. of Mechanical Engineering(机械工程系);Dept. of Computer Science(计算机科学系);Dept. of Electrical Engineering(电气工程系);Columbia University(哥伦比亚大学)
本文构建了带有两个压电手指的主动声学传感夹爪,通过物体传递声学振动来感知其声学特性和接触状态,用于物体分类、抓取位置估计、内部结构姿态估计以及外部接触类型分类,并基于接触分类模型实现了鲁棒的插销任务。
2026-06-19 cs.RO
Punyo-1: Soft tactile-sensing upper-body robot for large object manipulation and physical human interaction
Toyota Research Institute (TRI)(丰田研究院(TRI))
大型物体的操纵和在人类附近的安全操作是通用家用机器人助手的关键能力。我们提出了一个软的,触觉感知人形上身机器人的设计,并展示了全身丰富的接触处理大型物体的操作策略。我们展示了我们的硬件设计理念,用于配备现成的硬机器人手臂和其他组件与软触觉感知模块,包括:(i)低成本,耐切割,接触压力定位覆盖的手臂,(ii)爪基于TRI的软泡传感器的末端执行器,和(iii)顺应力/几何传感器的粗糙几何形状感测胸部。我们利用这些模块的机械智能和触觉感知来开发和演示全身抓握的运动基元。我们评估硬件的有效性,在实现掌握各种大型国内对象的不同强度。我们的研究结果表明,利用柔软度和触觉感知在接触丰富的操作策略的重要性,以及与世界的全身力控制的互动前进的道路。(The补充视频可在https://youtu.be/G8ZYgPRV5LY公开获得)。
2022-03-30 cs.RO
Sound of Touch: Active Acoustic Tactile Sensing via String Vibrations
University of Michigan(密歇根大学);MIT(麻省理工学院)
通过振动弦实现主动声学触觉感知,提供轻量级硬件、物理模拟工具和实时推理管道,用于机器人表面的触觉感知与滑动检测。
2026-02-18 cs.RO
Realtime State Estimation with Tactile and Visual sensing. Application to Planar Manipulation
Massachusetts Institute of Technology(麻省理工学院)
准确且鲁棒的对象状态估计使得能够成功地进行对象操纵。视觉传感被广泛用于估计物体的姿态。然而,在一个混乱的场景或在一个紧张的工作空间,机器人的末端执行器往往从视觉传感器遮挡对象。然后机器人失去视觉反馈,必须回到开环执行。在本文中,我们集成了触觉和视觉输入使用的框架,解决SLAM问题,增量平滑和映射(iSAM),提供一个快速和灵活的解决方案。视觉感测提供全局姿态信息,但通常是有噪声的,而接触感测是局部的,但其测量相对于末端执行器更准确。通过将它们结合起来,我们的目标是利用它们的优势并克服它们的局限性。我们探讨的背景下,一个推杆滑块系统的技术。我们适应iSAM的测量成本和运动成本推的情况下,并使用仪器设置来评估不同的物体形状,不同的表面材料,并在不同的接触模式下的估计质量。
2018-05-15 cs.RO
Surface-based Manipulation Using Tunable Compliant Porous-Elastic Soft Sensing
Soft BioRobotics Perception Group at Istituto Italiano di Tecnologia(意大利技术研究院软生物机器人感知组);University of Genoa(热那亚大学);Biorobotics Institute, Scuola Superiore Sant’Anna(圣安娜高等学院生物机器人研究所);Soft Robotics Lab, National University of Singapore(新加坡国立大学软机器人实验室)
本文提出了一种可调合规 porous-弹性柔软感知系统,通过调整晶格密度实现对操作力和灵敏度的自适应调节,用于精细物体操作。
2026-02-24 cs.RO
Scalable Dynamic Tactile Sensing Enabled by Passive and Flexible Acoustic Waveguides
Department of Mechanical Engineering, City University of Hong Kong(香港城市大学机械工程系)
提出一种基于深亚波长声波导的被动分布式触觉传感范式,通过弹性膜帽亥姆霍兹谐振器和弹簧增强微管网络实现弯曲不变性,结合稀疏麦克风阵列与轻量神经网络,在4个麦克风64节点阵列中实现4mm空间分辨率和>99%定位精度,支持低频信号波形重建,并展示指尖阵列、触觉手套和大面积皮肤等原型。
2026-06-15 cs.RO
A versatile robotic hand with 3D perception, force sensing for autonomous manipulation
University of Colorado Boulder(科罗拉多大学博尔德分校)
本文提出一种集成触觉与3D感知的力控机器人夹持器,并构建完整自主操作流水线,通过力控精度(32N,0.08N步长)及装配和堆叠实验验证其多功能性与稳健性。
2024-02-08 cs.RO
Probe-to-Grasp Manipulation Using Self-Sensing Pneumatic Variable-Stiffness Joints
本文提出一种利用被动软刚两指混合夹具的探针到抓取框架,通过自感知气动可变刚度关节估计物体相对刚度,实现对变形物体的稳定抓取。
2026-03-29 cs.RO
OASIS: Real-Time Opti-Acoustic Sensing for Intervention Systems in Unstructured Environments
Applied Ocean Physics and Engineering, Woods Hole Oceanographic Institution, Deep Submergence Laboratory(应用海洋物理与工程,伍兹霍尔海洋研究所,深潜实验室);Massachusetts Institute of Technology(麻省理工学院)
本文提出OASIS光声融合方法,结合光学图像与体素雕刻实现非结构化水下环境的实时三维重建,并通过水箱实验验证其在水下操作中的有效性。
2025-08-16 cs.RO
Acoustic Communication and Sensing for Inflatable Modular Soft Robots
Stanford University(斯坦福大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
模块化软体机器人结合了两个传统上独立的机器人领域的优势。作为模块化机器人,它们可以表现出对个体故障的鲁棒性和可重构性;作为软体机器人,它们可以变形并经历大的形状变化以适应其环境,并具有固有的人类安全性。然而,对于感测和通信,这些机器人还结合了两者的挑战:它们需要可扩展(低成本和复杂性)和高效(低功率)的解决方案,以实现大量机器人的集体,并且这些解决方案还必须能够与软体机器人的高延伸率弹性体对接。在这项工作中,我们试图解决这些挑战,使用压电表面传感器产生的声学信号,是便宜,简单,低功耗,不仅集成,而且还利用弹性机器人皮肤的信号传输。重要的是,为了进一步提高可扩展性,换能器通过在可听和超声波范围内相对平坦的频率响应表现出多功能性。通过最少的硬件,它们实现了基于接触的定向通信、远距离可听范围通信和外感受传感。我们展示了这些功能使多机器人硬件实现成为可能的分散集体行为的一个子集。在这一领域中使用的声波示出提供明显的优势,现有的解决方案。
2021-01-28 cs.RO
A Virtual 2D Tactile Array for Soft Actuators Using Acoustic Sensing
Technische Universität Berlin(柏林工业大学);Science of Intelligence, Research Cluster of Excellence(卓越研究集群——智能科学)
我们使用嵌入式音频组件为软气动执行器创建了一个虚拟的2D触觉阵列。我们检测声音调制中的接触特定变化以推断触觉信息。我们评估不同的声音表示和学习方法,以检测即使是微小的接触变化。我们通过PneuFlex致动器的示例演示了声学触觉传感器阵列,并使用盲文显示器单独控制29x4针与致动器的90x10 mm手掌表面的接触。评估的空间分辨率,声学传感器定位边缘在x和y方向的均方根回归误差分别为1.67毫米和0.0毫米。即使是单个盲文针的轻微接触,也能以0.17 N的提升力进行高精度测量。最后,我们证明了传感器的敏感性,复杂的接触形状,成功地读取26个字母的盲文字母表从一个单一的显示单元的分类率为88%。
2022-08-22 cs.RO
Understanding Acoustic Patterns of Human Teachers Demonstrating Manipulation Tasks to Robots
Microsoft Research(微软研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类在向其他人教授新技能或任务时,有效地使用口头语言或口头反应形式的音频信号。虽然演示允许人类以自然的方式教授机器人,但仅从轨迹学习并不能利用其他可用的模式,包括来自人类教师的音频。为了有效地利用伴随人类演示的音频提示,首先重要的是要了解存在什么样的信息并通过这些提示传达。这项工作的特点音频从人类教师演示多步操作任务的Sawyer机器人使用三种特征类型:(1)持续时间的语音使用,(2)在语音或韵律的表现力,和(3)语音的语义内容。我们从四个维度对这些特征进行分析,发现教师在(1)演示类型、(2)音频使用说明、(3)子任务和(4)演示错误等不同情况下,通过口语传达相似的语义概念。然而,语音在持续时间和表现力方面的差异性沿着四个维度存在,突出了人类音频携带的丰富信息,潜在地有利于机器人学习从演示方法的技术进步。
2022-11-01 cs.RO
Passive and Active Acoustic Sensing for Soft Pneumatic Actuators
Biology Laboratory, Technische Universit \"a t Berlin, Germany 2 Science of Intelligence, Research Cluster of Excellence, Berlin, Germany
我们提出了一个传感器的方法,软气动执行器,使用嵌入式麦克风和扬声器来测量不同的致动器的属性。致动器的物理状态决定了声音在结构中传播时的特定调制。使用简单的机器学习,我们创建了一个计算传感器,可以从录音中推断出相应的状态。我们演示了软气动连续致动器上的声学传感器,并使用它来测量接触位置,接触力,物体材料,致动器充气,和致动器温度。我们表明,该传感器是可靠的(平均分类率为93%的6个接触位置),精确(平均空间精度为3.7毫米),并对常见的干扰,如背景噪声鲁棒。最后,我们比较了不同的声音和学习方法,并以20 ms的白噪声和支持向量分类器作为传感器模型,取得了最佳效果。
2022-08-22 cs.RO
Learning Bimanual Cloth Manipulation with Vision-based Tactile Sensing via Single Robotic Arm
本文提出Touch G.O.G.,通过单个机械臂实现基于视觉的触觉感知的双臂布料操作,结合新颖抓取器设计、视觉Transformer流程和合成数据生成器,实现高精度布料识别与操作。
2026-03-11 cs.RO
Acoustic Wave Manipulation Through Sparse Robotic Actuation
Whitacre CoE, Texas Tech University(德克萨斯理工大学惠特科工程学院);Davidson CoE, San Jose State University(圣何塞州立大学戴维森工程学院)
本研究探索声波操控问题,提出高效数据驱动机器人学习方法,可聚焦或抑制散射声能,在解决方案质量和计算复杂度上优于现有学习方法,且与经典半解析方法具竞争力,具多应用潜力并公开代码及演示网页。
2025-02-14 cs.AI cs.RO
On the Importance of Tactile Sensing for Imitation Learning: A Case Study on Robotic Match Lighting
Technical University of Darmstadt(德累斯顿技术大学);LASR Lab, TU Dresden(TU德累斯顿激光实验室)
本文提出融合视觉和触觉的模仿学习框架,通过模块化Transformer与流基生成模型提升动态任务中的操作性能,证明触觉信息对学习动态操作的重要性。
2026-04-19 cs.RO
AcousTac: Tactile sensing with acoustic resonance for electronics-free soft skin
University of California Berkeley(加州大学伯克利分校)
本研究提出AcousTac声学触觉传感器,利用柔性硅胶帽与塑料管构成的共振腔,通过外置麦克风检测气动声的频率变化实现力感知,无需接触端集成电子元件,可组成阵列并在机器人系统上验证了功能,适用于柔性机器人表面触觉感知。
2023-07-19 cs.RO
ARISTO Hand: Sensing-Driven Distal Hyperextension for Fine-Grained Manipulation
Human Centered Robotics Lab at The University of Texas at Austin(德克萨斯大学奥斯汀分校人本机器人实验室);Sony Group Corporation(索尼集团)
提出一种肌腱驱动机械手ARISTO Hand,通过主动远端过伸和混合指尖传感架构(刚性指甲安装力-扭矩传感器与软电容触觉阵列),增强对薄物体的操作能力,在1-20 mm厚度范围内将拔出力提升2.76倍,并实现SD卡插拔等精细任务。
2026-05-28 cs.RO
XRoboToolKit-T: Teleoperation with High Stability and Precision with Tactile Sensing for Contact-rich Manipulation
Rochester Institute of Technology(罗切斯特理工学院);TikTok Pico Lab(TikTok Pico 实验室);The Hong Kong University of Science and Technology, Guangzhou(香港科技大学(广州))
提出XRoboToolKit-T遥操作系统,利用触觉感知力控制架构和视觉-语言-动作模型,实现接触丰富操作中稳定精确的力控制,提升数据收集效率和操作稳定性。
2026-09-16 cs.HC cs.RO
Acoustic Sensing for Universal Jamming Grippers
Robotics and Biology Laboratory, Technische Universität Berlin(技术大学柏林机器人与生物学实验室);Science of Intelligence, Research Cluster of Excellence, Berlin(柏林智能科学卓越研究中心);Robotics Institute Germany(德国机器人研究所)
本文提出一种基于声学传感的通用阻塞夹持器,利用夹持器自身作为传感器,实现高精度物体识别与抓取性能。
2026-02-27 cs.AI cs.LG cs.RO
Embodied Passive Aeroacoustic Perception Enables Relative Sensing and Pursuit Between Aerial Robots
Duke University(杜克大学)
本文提出具身被动气动声学感知范式,开发SonicFly框架,利用无人机固有飞行声音实现无额外设备的相对感知与追踪,室外实验获1.34米平均距离保持误差,验证该感知方法的可行性。
2026-08-04 cs.RO eess.SP
SonicSense: Object Perception from In-Hand Acoustic Vibration
Duke University(杜克大学)
SonicSense通过手持声学振动感知软硬件设计,结合启发式探索策略与端到端学习算法,在83个真实物体上实现容器状态区分、材料预测、三维重建与重识别,推动机器人触觉感知发展。
2024-10-03 cs.MM cs.RO cs.SD
Signal-Centric Remote Sensing via Alternative Preprocessing and Acoustic Processing for ML-Driven Applications
Georgia Institute of Technology(佐治亚理工学院);Embry-Riddle Aeronautical University(安柏瑞德航空大学)
针对声纳数据处理的图像方法耗时问题,提出基于CSV格式的替代预处理与声学处理方法,实验显示处理时间减少91.18%,并提升目标检测精度及SNR、PSNR等指标。
2026-09-21 cs.LG cs.RO
Revisiting Proprioceptive Sensing for Articulated Object Manipulation
Ghent University(根特大学);imec(比利时微电子研究中心)
本文重新审视铰接物体操作中的本体感觉感知,构建了一个利用位置控制机器人和平行夹爪打开橱柜的系统,发现本体感觉在接触期间具有价值,并引发对其与视觉方法权衡的讨论。
2023-05-16 cs.AI cs.RO
Visuo-Acoustic Hand Pose and Contact Estimation
本文提出 VibeMesh 可穿戴系统,融合主动声学传感与视觉,通过图注意力网络实现高分辨率手部姿态与接触估计,在遮挡和静态接触场景下优于纯视觉方法。
2025-07-13 cs.CV cs.HC cs.LG
DexSkin: High-Coverage Conformable Robotic Skin for Learning Contact-Rich Manipulation
Stanford University(斯坦福大学);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出DexSkin,一种柔软可定制的电容式电子皮肤,通过为平行夹爪手指提供全覆盖触觉感知,结合从演示学习和在线强化学习,验证了其在接触丰富操作任务中的有效性及跨传感器模型迁移能力。
2025-09-23 cs.CV cs.LG cs.RO