Dynamics and Domain Randomized Gait Modulation with Bezier Curves for Sim-to-Real Legged Locomotion
Northwestern University(西北大学);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个模拟到真实的框架,使用动态和域随机离线强化学习,以提高开环步态的足式机器人,使他们能够穿越不平坦的地形,而不感脚的影响。我们的方法,D $^2$ -随机步态调制与贝塞尔曲线(D $^2$ -GMBC),使用增强随机搜索与随机动力学和地形训练,在仿真中,修改的参数和输出的开环贝塞尔曲线步态发生器的四足机器人的政策。该策略,仅使用惯性测量,使机器人穿越未知的粗糙地形,即使机器人的物理参数不匹配的开环模型。我们比较由此产生的政策,手动调整贝塞尔曲线步态和训练没有随机化的政策,无论是在模拟和一个真正的四足机器人。使用D $^2$ -GMBC,在未观察到的和未知的不平坦地形上进行的各种实验中,机器人比手动调整步态或在没有域随机化的情况下学习的步态走得更远。此外,使用D $^2$ -GMBC,机器人可以横向行走和旋转,而在崎岖的地形,即使它只被训练为向前行走。
2020-10-22 cs.RO
CLIPUNetr: Assisting Human-robot Interface for Uncalibrated Visual Servoing Control with CLIP-driven Referring Expression Segmentation
University of Alberta(阿尔伯塔大学)
本文提出CLIPUNetr,一种CLIP驱动的指代表达分割网络,并将其集成到无标定视觉伺服控制中,以自然语言提升人机接口的语义理解能力,实验表明边界与结构指标平均提升120%,可辅助真实环境机器人控制。
2023-09-17 cs.CV cs.RO
Scalable Networked Feature Selection with Randomized Algorithm for Robot Navigation
Lehigh University(理海大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);University of Central Florida(中佛罗里达大学);University of Pennsylvania(宾夕法尼亚大学)
本文提出一种可扩展的随机算法,通过图拉普拉斯与特征重要性的联系实现均匀随机采样,高效选择信息量最大的视觉特征,用于未知环境中机器人团队的定位,并显著改进性能界。
2024-03-18 cs.RO
ClipBot: an educational, physically impaired robot that learns to walk via genetic algorithm optimization
Faculty of Biomedical Sciences, USI(瑞士意大利语区大学生物医学学院);Faculty of Informatics, USI(瑞士意大利语区大学信息学院)
教育机器人允许从机械,电子和信息学的各种原则进行实验。在这里,我们提出了ClipBot,一个低成本的,自己动手的机器人,其骨架是由两个回形针。Arduino纳米微控制器驱动两个伺服电机来移动回形针。然而,这样的机械配置赋予运动物理损伤。这就产生了对人工智能方法的需求,并允许试验这些方法来克服硬件限制。我们报告我们的经验,在使用这个机器人在学习周'迷人的信息',由瑞士基金会Schweizer Jugend Forscht(www.sjf.ch)组织。高中阶段的学生被要求实施一种遗传算法来优化机器人的动作,直到它学会走路。这种方法允许机器人学习电机驱动方案,使用不到20次迭代产生向前方向的直线运动。
2022-10-26 cs.AI cs.RO
Open-Set Ego-Noise Separation for Legged-Robot Audition via Annotation-Free Adaptation and Pretrained-Model Transfer
The University of Tokyo(东京大学)
本文提出一种无标注适应的开集自身噪声分离框架,利用RecurGraph选择噪声片段、Transfer-DiT迁移预训练模型,在双足和四足机器人上验证了分离性能提升。
2026-10-14 cs.RO
On Randomized Searching for Multi-robot Coordination
Czech Institute of Informatics, Robotics, and Cybernetics, Czech Technical University in Prague(捷克布拉格捷克技术大学信息学、机器人学与控制论研究所);Czech Technical University in Prague(布拉格捷克技术大学)
在这一章中,我们提出了一种新的方法来解决协调的移动机器人,其中包括找到一组无碰撞的轨迹在车队中的单个机器人的舰队。这个问题已经被研究了几十年,并且已经引入了许多方法。然而,只有一小部分是适用于在实践中,因为他们的属性-小的计算需求,产生的解决方案接近最优,和完整性。我们提出的方法是基于多机器人的快速探索随机树算法(RRT)的离散环境的变种,并显着提高其性能。虽然该方法生成的解决方案比[23]中提出的最佳最新算法之一稍差,但它解决了ter Morses算法失败的问题。
2020-07-20 cs.RO
CLIP-Motion: Learning Reward Functions for Robotic Actions Using Consecutive Observations
Czech Technical University in Prague(布拉格捷克技术大学);Faculty of Electrical Engineering(电气工程学院)
本文提出CLIP-Motion方法,利用基于CLIP的模型处理连续观测对来识别机器人动作,从而学习奖励函数,避免了手动特征工程的泛化难题,实验证明其能精确推断动作并有望增强机器人强化学习训练。
2025-01-29 cs.AI cs.RO
Neural Randomized Planning for Whole Body Robot Motion
National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学)
本文提出神经随机规划器 NRP,将全局 SBMP 搜索结构与局部神经采样器结合,通过规划组合局部采样分布以应对高维复杂环境中的全身运动规划,并在仿真和真实机器人上验证了其优越性能与零样本迁移能力。
2024-08-12 cs.RO
Efficient Multi-Robot Motion Planning for Manifold-Constrained Manipulators by Randomized Scheduling and Informed Path Generation
Rice University(里士满大学)
本文提出StAC方法,通过随机调度和双向反馈实现高效多机器人运动规划,减少路径生成数量,提升在受限空间中的操作效率。
2026-02-12 cs.RO
Randomized Strategy for Walking in Streets for a Simple Robot
Sharif University of Technology(谢里夫理工大学);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所(IPM))
我们认为在一个未知的街道上行走的问题,机器人具有最小的传感能力。机器人配备了一个传感器,只检测深度信息(间隙)的不连续性,并可以定位目标点进入其可见区域。首先,我们提出了一种在线确定性搜索策略,该策略从s开始为简单机器人生成到达目标t的最佳搜索路径。与以前已知的研究相比,路径的设计不需要记住到目前为止所看到的场景的任何部分。在确定性搜索策略的基础上,提出了一种随机搜索策略。我们证明了机器人的预期行驶距离最多是到达目标的最短路径的5.33倍。
2015-12-08 cs.CG cs.RO
Point Cloud Segmentation for Autonomous Clip Positioning in Laparoscopic Cholecystectomy on a Phantom
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);HIDSS4Health - Helmholtz Information and Data Science School for Health(亥姆霍兹信息与数据科学健康学校);Friedrich-Alexander-University, Erlangen-Nuremberg(弗里德里希-亚历山大大学埃尔朗根-纽伦堡);University Hospital Carl Gustav Carus and Centre for Tactile Internet with Human-in-the-loop (CeTI), Dresden University of Technology(卡尔·古斯塔夫·卡鲁斯大学医院及德累斯顿工业大学触觉互联网人机共融卓越中心)
提出首个在腹腔镜手术体模上实现自主夹子定位的机器人系统,通过点云分割和样条插值提取目标位置,利用合成数据预训练和两种数据增强克服数据稀缺,达到0.75mm精度和100%成功率。
2026-06-11 cs.RO
Robot Learning from Randomized Simulations: A Review
Technical University of Darmstadt(达姆施塔特工业大学);Honda Research Institute Europe(本田欧洲研究所);University of Sydney(悉尼大学);NVIDIA(英伟达);Georgia Institute of Technology(佐治亚理工学院);Robotics at Google(谷歌机器人部门)
深度学习的兴起引起了机器人研究的范式转变,有利于需要大量数据的方法。不幸的是,在物理平台上生成这样的数据集是非常昂贵的。因此,最先进的方法在模拟中学习,其中数据生成快速且廉价,随后将知识转移到真实机器人(模拟到真实)。尽管变得越来越逼真,但所有的模拟器都是基于模型构建的,因此不可避免地不完美。这就提出了一个问题,即如何修改模拟器,以促进学习机器人控制策略,并克服模拟和现实之间的不匹配,通常称为“现实差距”。我们提供了一个全面的审查模拟到真实的研究机器人,专注于一种名为“域随机化”,这是一种方法,从随机模拟学习的技术。
2022-01-18 cs.LG cs.RO
RoboAct-CLIP: Video-Driven Pre-training of Atomic Action Understanding for Robotics
Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
本文提出RoboAct-CLIP,通过构建单一原子动作数据集重构框架和基于CLIP的时间解耦微调策略,解决现有VLMs在机器人操作中时间动作语义建模不足的问题,使成功率提升12%并增强泛化能力。
2025-04-02 cs.AI cs.LG cs.RO
Language-guided Robot Grasping: CLIP-based Referring Grasp Synthesis in Clutter
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
针对杂乱场景中指代抓取合成任务,提出基于CLIP的端到端模型CROG,直接学习图像-文本对到抓取姿态的映射,并在OCID基准及真实机器人实验中显著提升定位与抓取性能。
2023-11-09 cs.CV cs.RO
Randomized-to-Canonical Model Predictive Control for Real-world Visual Robotic Manipulation
Nara Institute of Science and Technology (NAIST)(奈良先端科学技术大学院大学);Advanced Telecommunications Research Institute International (ATR)(国际高级电信研究所);Kyoto University(京都大学)
近年来,许多研究工作都在探索虚拟可传递视觉模型预测控制(MPC)。然而,这样的工作仅限于一次性传输,其中必须一次性收集真实世界的数据以执行仿真到现实迁移,这仍然是将在仿真中学习的模型迁移到真实世界中的新领域的重要人工努力。为了缓解这个问题,我们首先提出了一个新的模型学习框架,称为卡尔曼随机化到规范模型(KRC模型)。该框架能够从随机图像中提取与任务相关的内在特征及其动态。然后,我们提出了卡尔曼随机到典型模型预测控制(KRC-MPC)作为一个zero-shot sim-to-real可转移的视觉MPC使用KRC模型。我们的方法的有效性进行评估,通过阀门旋转任务的机器人手在模拟和现实世界中,和块交配任务的模拟。实验结果表明,KRC-MPC可以以zero-shot方式应用于各种实际领域和任务。
2022-07-05 cs.LG cs.RO
Ask Before It Tells: Benchmark-to-Robot Body-Cue Transfer for a Question-First Bedside Robot
HDC LABS(HDC实验室)
本研究提出床边机器人Nuni,将检测到的痛苦线索作为询问理由,通过姿态混合流水线在机器人视角下提升线索识别,并验证先问式控制器能限制不确定感知的后果。
2026-09-22 cs.HC cs.RO
Immersive Robot Programming Interface for Human-Guided Automation and Randomized Path Planning
University of New Mexico(新墨西哥大学)
本研究提出一个将人类纳入随机路径规划的AR机器人编程接口,利用RRT*、SLERP和SQP算法生成无碰撞路径,通过用户基于直觉选择最优路径来减少随机性,并在七自由度机械臂上验证了其有效性与人在环价值。
2024-06-04 cs.HC cs.RO
Footstep and Motion Planning in Semi-unstructured Environments Using Randomized Possibility Graphs
Georgia Institute of Technology(佐治亚理工学院);California Institute of Technology(加州理工学院)
穿越任意障碍物的环境对双足机器人提出了重大挑战。在某些情况下,可能需要全身运动来绕过障碍物,但大多数现有的脚步规划者只能从一组离散的预定脚步动作中进行选择;他们无法利用机器人平台真正可用的全身运动的连续性。现有的运动规划,可以利用全身运动往往与大规模问题的复杂性斗争。我们介绍了一种规划方法,称为“随机可能性图”,它使用高层次的近似约束流形快速探索的“可能性”的行动,从而使较低层次的运动规划者更有效地利用。我们演示了模拟的方法工作在各种半非结构化的环境。在这种情况下,“半非结构化”意味着可行走的地形是平坦的,但在整个环境中存在任意的3D障碍物,这些障碍物可能需要使用全身运动来跨过或绕过。
2017-03-20 cs.RO
OLiVia-Nav: An Online Lifelong Vision Language Approach for Mobile Robot Social Navigation
University of Toronto(多伦多大学)
OLiVia-Nav通过融合视觉语言模型与在线终身学习框架,实现机器人社交导航中的社会规范适应与动态轨迹规划,优于现有方法。
2025-03-08 cs.RO
Probabilistic Completeness of Randomized Possibility Graphs Applied to Bipedal Walking in Semi-unstructured Environments
我们提出了一个理论分析最近的全身运动规划方法,随机可能性图,它使用了一个高层次的分解的可行性约束流形,以迅速找到路线,可能导致一个解决方案。这些路线然后由较低级别的规划者进行审查,以确定可行性。在本文中,我们表明,这种方法是概率完成双足机器人执行准静态行走在“半非结构化”的环境。此外,我们表明,分解成更高和更低的水平规划允许一个相当高的收敛速度的概率找到一个解决方案时,存在。我们用一系列模拟场景说明了这种改进的收敛性。
2017-02-01 cs.RO
Sim-to-Real via Sim-to-Sim: Data-efficient Robotic Grasping via Randomized-to-Canonical Adaptation Networks
Google(谷歌)
众所周知,收集真实世界的数据,尤其是在机器人领域,是非常昂贵的。规避这一点的一种方法是利用模拟的力量来产生大量的标记数据。然而,在模拟图像上训练模型并不容易转移到现实世界中。使用领域自适应方法来跨越这个“现实差距”需要大量未标记的真实世界数据,而单独的领域随机化可能会浪费建模能力。在本文中,我们提出了随机规范适应网络(RCAN),这是一种跨越视觉现实差距的新方法,不使用真实世界的数据。我们的方法学习将随机渲染的图像转换为等效的非随机,规范版本。这反过来又允许真实图像也被转换成规范的SIM图像。我们通过在模拟中训练基于视觉的闭环抓取强化学习代理来证明这种模拟到真实方法的有效性,然后将其转移到现实世界中,在看不见的物体上实现70%的zero-shot抓取成功率,这一结果几乎是仅在域随机化上直接学习相同任务的成功率的两倍。此外,通过在现实世界中进行联合微调,只有5,000次现实世界的抓取,我们的方法达到了91%,达到了与经过580,000次现实世界抓取训练的最先进系统相当的性能,从而将现实世界的数据减少了99%以上。
2019-07-21 cs.CV cs.LG cs.RO
A Brief Wellbeing Training Session Delivered by a Humanoid Social Robot: A Pilot Randomized Controlled Trial
Queensland University of Technology(昆士兰科技大学);Monash University(莫纳什大学)
本研究通过试点随机对照试验验证了自主人形社交机器人提供简短正念呼吸训练的可行性,并发现性别与心理困扰水平对参与者与机器人讨论话题的舒适度存在交互影响。
2023-08-12 cs.HC cs.RO
CLIPSwarm: Generating Drone Shows from Text Prompts with Vision-Language Models
Instituto de Investigación en Ingeniería de Aragón, Universidad de Zaragoza(萨拉戈萨大学阿拉贡工程研究所);Stanford University(斯坦福大学)
CLIPSwarm提出一种基于自然语言自动化建模无人机编队的算法,利用CLIP评估文本与图像相似度,通过探索与利用迭代优化编队,并在逼真模拟中验证了其准确建模与无碰撞控制的有效性。
2024-03-20 cs.CV cs.RO
Evaluation of Habitat Robotics using Large Language Models
Artificial Intelligence Group MIT Lincoln Lab(人工智能组 MIT 林肯实验室)
本文通过Meta PARTNER基准评估大语言模型在具身机器人任务中的表现,发现推理模型o3-mini在多种配置下优于非推理模型,为具身机器人开发提供了有前景的研究方向。
2025-07-08 cs.CL cs.RO
A Parameter-Efficient Tuning Framework for Language-guided Object Grounding and Robot Grasping
Univ. of Minnesota(明尼苏达大学)
本文提出一种基于CLIP的参数高效微调框架,通过双向视觉-语言适配器和深度融合分支,在语言引导的目标定位与机器人抓取三项任务上取得优于现有方法的性能,并具备复杂空间推理能力。
2025-02-07 cs.RO
Deep Learned Path Planning via Randomized Reward-Linked-Goals and Potential Space Applications
Tohoku University(东北大学)
太空探索任务已经看到使用越来越复杂的机器人系统,具有越来越多的自主权。深度学习有望将这一点更进一步,并应用于高级任务,如路径规划,以及低级任务,如运动控制,这是任务效率和成功的关键组成部分。在训练过程中使用具有随机奖励函数参数的深度强化端到端学习,我们教一个模拟的8自由度四足蚂蚁机器人在周界内的任何地方旅行,在单个神经网络上进行路径规划和运动控制,而无需任何系统模型或地形或环境的先验知识。我们的方法还允许用户指定的航路点,这可以很好地转换为全自主或半自主/遥控空间应用程序,遇到延迟时间。我们使用随机生成的与奖励函数相关联的路点来训练智能体,并将路点坐标作为输入传递给神经网络。这种应用在各种太空探索机器人上显示出了希望,包括用于快速运动的高速漫游车和用于崎岖地形的腿式洞穴机器人。
2019-09-13 cs.AI cs.LG cs.RO
CLAW: A Vision-Language-Action Framework for Weight-Aware Robotic Grasping
Department of Electrical and Computer Engineering, Drexel University(德雷塞尔大学电气与计算机工程系)
提出CLAW框架,通过解耦条件评估与动作生成,利用微调CLIP模型监控重量阈值并生成提示,结合流式VLA策略实现重量感知的机器人抓取,在单目标与双目标实验中优于基线模型。
2026-05-29 cs.RO
GR2PO: Group Relative Return Policy Optimization for Continuous Robot Control
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));The Hong Kong University of Science and Technology(香港科技大学)
GR2PO提出一种无评论家的强化学习框架,通过估计折扣回报和组归一化,在连续机器人控制中超越即时奖励基线,媲美演员-评论家方法,并可在边缘设备部署。
2026-09-18 cs.RO
Safe Motion Planning for a Mobile Robot Navigating in Environments Shared with Humans
Center of Ubiquitous Computing(普适计算中心);Faculty of Information Technology and Electrical Engineering(信息技术与电气工程学院);University of Oulu(奥卢大学);Politecnico di Milano(米兰理工大学)
在本文中,机器人导航与人类共享的环境被认为是,并提出了一个成本函数,可以利用$\text{RRT}^\text{X}$,随机采样为基础的重新规划算法,保证渐近最优,允许一个安全的运动。成本函数是由危险指数加权的路径长度,该危险指数基于使用线性随机模型(假设恒定的纵向速度和变化的横向速度)和基于GMM/GMR的模型(在人类轨迹的实验数据集上计算)执行的人类运动的预测。所提出的方法是使用在现实世界中收集的人类轨迹的数据集进行验证。
2022-06-15 cs.RO
Humanoid Robot With Vision Recognition Control System
本文提出了一种控制仿人机器人系统的解决方案。机器人可以被编程为基于基本运动基元执行某些复杂的动作。该人形机器人使用PC编程。在PC上运行的软件可以在任何给定的时刻获得关于机器人状态的信息,或者它可以对机器人进行编程以执行不同的动作,从而提供实现复杂行为的可能性。我们希望为机器人系统提供更多了解外部真实世界的能力。本文描述了一种使用随机霍夫变换和结果聚类检测真实世界图像中椭圆的方法。实际图像经过预处理、去噪、灰度变换、边缘检测和二值化处理后,才能被实际的椭圆检测器处理。在检测到所有椭圆之后,后处理阶段对结果进行聚类。
2014-01-17 cs.RO
Reflectance Estimation for Proximity Sensing by Vision-Language Models: Utilizing Distributional Semantics for Low-Level Cognition in Robotics
College of Information Science and Engineering, Ritsumeikan University(立命馆大学信息科学与工程学院);College of Science and Engineering, Kanazawa University(金泽大学理工学院)
本文研究利用LLMs和VLMs的分布式语义进行物体反射率估计,验证了GPT-3.5、GPT-4和CLIP在文本或图像输入下均能有效估计反射率,其中CLIP平均误差最低(11.8%),表明语言潜在结构可提升机器人低级认知的泛化能力。
2024-08-08 cs.RO
Augmenting differentiable physics with randomized smoothing
Inria(法国国家信息与自动化研究所);Département d’Informatique de l’École Normale Supérieure, PSL Research University(巴黎文理研究大学巴黎高等师范学院计算机系);Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University(捷克技术大学捷克信息学、机器人学与控制论研究所)
在过去几年中,遵循可微编程范例,对计算物理过程的梯度信息(例如,物理模拟、图像渲染)。然而,这样的过程可能是不可微的或产生无信息梯度(即,几乎处处为空)。当面对前一个陷阱时,通过解析表达式或数值技术(如自动微分和有限差分)估计的梯度会使经典优化方案收敛到质量较差的解。因此,仅仅依靠这些梯度提供的局部信息往往不足以解决涉及这些物理过程的高级优化问题,特别是当它们受到非光滑性和非凸性问题的影响时,在这项工作中,受到零阶优化领域的启发,我们利用随机平滑来通过估计邻域中的梯度来增强可微物理。我们的实验表明,将这种方法内的优化算法可能是富有成效的任务,从图像或最优控制的机器人系统的接触和摩擦问题的网格重建。
2022-06-23 cs.RO
Proto-CLIP: Vision-Language Prototypical Network for Few-Shot Learning
University of Texas at Dallas(德克萨斯大学达拉斯分校);NVIDIA(英伟达)
本研究提出基于CLIP的少样本学习框架Proto-CLIP,联合适配图像与文本编码器嵌入并对齐对应类别的双模态原型,兼具免训练和微调版本,在基准数据集及机器人感知场景中验证了有效性。
2024-07-14 cs.CV cs.RO
Learning Manipulation Skills through Robot Chain-of-Thought with Sparse Failure Guidance
Shanghai Qi Zhi Institute(上海期智研究院);UC Berkeley(加州大学伯克利分校);Tsinghua University(清华大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对机器人操作技能学习中奖励函数定义粗糙的问题,提出基于视觉语言模型(VLMs)的细粒度奖励引导方法,通过任务分解提供信息奖励并结合自模仿学习加速学习,在操作任务中平均成功率较最佳基线RoboCLIP高5.4倍。
2025-02-12 cs.RO
Volumetric Objectives for Multi-Robot Exploration of Three-Dimensional Environments
NASA Jet Propulsion Laboratory(美国国家航空航天局喷气推进实验室);California Institute of Technology(加州理工学院);Robotics Institute, Carnegie Mellon University (CMU)(卡内基梅隆大学机器人研究所)
用于探索和感知任务的体积目标寻求捕获在未知环境中操作的机器人的一个或多个相机视图处的假设观察的价值感(或奖励)。例如,体积目标可以与待观察的未知空间的预期体积成比例地奖励机器人。我们确定现有的信息理论和覆盖目标之间的连接,在预期的覆盖范围,特别是互信息没有噪声是一个特殊的情况下,预期的覆盖范围。同样,我们提供了第一个比较,我们知道,基于信息的近似和覆盖目标的探索,我们发现,也许令人惊讶的是,覆盖目标可以显着优于基于信息的目标在实践中。此外,信息和覆盖目标的分析表明,随机顺序分区-一种有效的分布式传感器规划的方法-适用于这两类目标,我们提供了仿真结果在各种环境中多达32个机器人。
2021-03-26 cs.RO
Randomized Physics-based Motion Planning for Grasping in Cluttered and Uncertain Environments
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Institute of Industrial and Control Engineering(工业与控制工程研究所);Rice University(莱斯大学)
在杂乱和不确定的环境中规划抓取物体的运动是一项具有挑战性的任务,特别是当不存在无碰撞轨迹并且需要小心地抓取和移出阻挡道路的物体时。本文采取了不同的方法,并提出了解决这个问题,通过使用一个随机的基于物理的运动规划,允许机器人对象和对象对象之间的相互作用。其主要思想是避免一个明确的高层次推理的任务,提供一个物理引擎的运动规划器,以评估可能的复杂的多体动力学相互作用。该方法能够解决复杂情况下的问题,也考虑了对象的姿态和接触动力学的不确定性。这项工作增强了状态有效性检查器,控制采样器和树的探索策略的Kinodynamic运动规划称为KPIECE。增强算法,称为p-KPIECE,已在仿真和实际实验中得到验证。的结果进行了比较与本体物理为基础的运动规划和任务和运动规划的方法,导致规划时间,成功率和质量的解决方案路径方面的显着改善。
2017-11-27 cs.RO
Empathetic Motion Generation for Humanoid Educational Robots via Reasoning-Guided Vision--Language--Motion Diffusion Architecture
Department of Computer Science and Engineering(计算机科学与工程系)
本文提出RG-VLMD框架,通过多模态情感估计、教学推理和教学-动作条件运动合成,生成适应性且语义一致的机器人行为。实验表明,推理引导的指令条件生成提升了教育人机交互中的动作可控性和教学表达性。
2026-03-19 cs.RO
Track4Action: Distilling World-Centric 3D Tracker into Vision-Language-Action Policies
Track4Action框架将以世界为中心的冻结3D跟踪器提炼为视觉-语言-动作策略,在多个机器人任务基准上显著提升性能,验证了动作对齐的3D跟踪器特征作为监督的有效性。
2026-08-05 cs.RO
Estimation with Fast Landmark Selection in Robot Visual Navigation
Lehigh University(利哈伊大学)
我们认为视觉特征选择,以提高准确的导航机器人所需的估计质量。我们建立在一个关键属性,断言:可跟踪功能(地标)的贡献线性出现在相应的估计问题的信息矩阵。我们利用标准模型的运动和视觉系统,使用相机制定的特征选择问题,在移动有限的时间范围。提出了一种可扩展的随机采样算法,以选择更多的信息特征(并忽略其余),以实现更高的位置估计质量。我们为我们的方法提供概率性能保证。我们的特征选择算法的时间复杂度在候选特征的数量上是线性的,这实际上是合理的,并且优于现有的贪婪方法,该贪婪方法与候选特征的数量成二次方。我们的数值模拟证实,我们提出的方法不仅是执行时间是小于贪婪的方法,但也产生的估计质量是非常接近的贪婪方法。
2019-02-04 cs.RO
Inclusive STEAM Education: A Framework for Teaching Cod-2 ing and Robotics to Students with Visually Impairment Using 3 Advanced Computer Vision
Dublin City University(都柏林城市大学);Trinity College Dublin(都柏林圣三一学院)
针对视障学生在编程与机器人学习中追踪运动、建立空间感知的难题,提出融合CLIP、SLAM与AVR的包容性STEAM教育框架,助力其掌握编程技能,也拓展了计算机视觉在特殊教育的应用潜力。
2025-03-06 cs.CV cs.HC cs.RO
Developing Neural Network-Based Gaze Control Systems for Social Robots
Sharif University of Technology(谢里夫理工大学)
本研究利用深度神经网络开发社交机器人眼动控制系统,通过分析不同社交场景下的目光行为,提升机器人在互动中的注意力引导能力。
2026-02-11 cs.RO
Online Embedding Multi-Scale CLIP Features into 3D Maps
Toyota Central R&D Labs., Inc.(丰田中央研发实验室)
本研究提出一种将多尺度CLIP特征在线嵌入3D地图的新方法,实现实时物体搜索与建图,并支持语言查询离线检索,在零样本物体目标导航任务中表现优于现有方法。
2024-03-27 cs.CV cs.RO
Scalable and General Whole-Body Control for Cross-Humanoid Locomotion
Tsinghua University(清华大学)
提出XHugWBC框架,通过形态随机化、语义对齐观测动作空间和有效策略架构,实现单次训练后跨多种人形机器人的零样本泛化控制。
2026-06-09 cs.RO
Robots Enact Malignant Stereotypes
Georgia Institute of Technology(佐治亚理工学院);University of Washington(华盛顿大学);Johns Hopkins University(约翰斯·霍普金斯大学);Technical University of Munich(慕尼黑工业大学)
刻板印象,偏见和歧视已经在机器学习(ML)方法中得到了广泛的记录,例如计算机视觉(CV)[18,80],自然语言处理(NLP)[6]或两者,在大型图像和标题模型的情况下,如OpenAI CLIP [14]。在本文中,我们评估了ML偏见如何体现在机器人中,这些机器人在世界范围内进行物理和自主行动。我们审计了最近发表的几个CLIP驱动的机器人操作方法之一,将其与表面上有人脸照片的物体一起呈现,这些照片在种族和性别上各不相同,同时还有包含与常见刻板印象相关的术语的任务描述。我们的实验明确地表明,机器人在性别、种族和科学上不可信的外貌方面表现出有毒的刻板印象。此外,审计方法不太可能识别女性和有色人种。我们的跨学科社会技术分析综合了各个领域和应用,如科学技术与社会(STS),批判性研究,历史,安全,机器人和人工智能。我们发现,由包含人类的大型数据集和溶解模型(有时称为“基础模型“,例如CLIP)驱动的机器人通常会在物理上放大恶性刻板印象;仅仅纠正差异不足以解决问题的复杂性和规模。相反,我们建议,那些在物理上表现出刻板印象或其他有害结果的机器人学习方法应该暂停、重新工作,甚至在适当的时候减少,直到结果被证明是安全、有效和公正的。最后,我们讨论了全面的政策变化和新的跨学科研究的潜力,如身份安全评估框架和设计正义,以更好地理解和解决这些危害。
2022-07-23 cs.AI cs.CV cs.CY
End-to-end QP-based policies: A unified perspective on robust control and robot learning
本文提出端到端QP策略框架,统一鲁棒控制与机器人学习,支持自动调优与黑盒构建,并在仿真和硬件上验证其广泛适用性。
2026-09-29 cs.RO
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models
Robotics at Google(谷歌机器人部门);University of Toronto(多伦多大学)
本文提出DIAL方法,利用预训练视觉语言模型CLIP的语义理解能力,为大规模未标注机器人演示数据自动生成语言标签,使模仿学习策略能以更低成本获取新能力并泛化至未见指令。
2023-07-01 cs.AI cs.LG cs.RO
CopyQuad: Quadrupedal Skill Transfer from a Single Side-View Video Without a Depth Model
McGill University(麦吉尔大学);Mila -- Quebec AI Institute(米拉-魁北克人工智能研究所)
CopyQuad无需深度模型,通过将缺失轴固定为机器人自身站立宽度,实现单视角视频的四足机器人技能迁移,可零样本部署多种步态,且省略该轴的代价低于流水线分辨率。
2026-10-14 cs.LG cs.RO
Deep-Reinforcement-Learning-Based Semantic Navigation of Mobile Robots in Dynamic Environments
Technical University of Berlin(柏林工业大学)
移动机器人在工业任务中变得越来越重要,例如在危险环境中的调试,交付或操作。安全自主导航的能力,特别是在动态环境中,在工业移动机器人中至关重要。当前的导航方法依赖于预先存在的静态地图,并且在动态环境中容易出错。此外,出于安全原因,它们通常依赖于手工制作的安全指南,这使得系统灵活性较低且速度较慢。基于视觉的导航和高层次的语义有可能通过创建链接来增强路径规划的安全性,从而使代理可以推理出更灵活的导航。在这个帐户上,我们提出了一个基于强化学习的本地导航系统,学习导航行为完全基于视觉观察,以应付高度动态的环境。因此,我们开发了一个简单而有效的模拟器-ARENA 2D-这是能够产生高度随机化的训练环境,并提供语义信息训练我们的代理。我们展示了增强的结果,在安全性和鲁棒性方面超过了传统的基线方法的基础上的动态窗口方法。
2020-08-02 cs.RO
Loco-Manipulation Planning for Legged Robots: Offline and Online Strategies
Istituto Italiano di Tecnologia (IIT)(意大利理工学院);Università di Genova(热那亚大学);Sapienza Università di Roma(罗马第一大学);PAL Robotics(PAL机器人公司)
在现实环境中部署机器人需要能够规划和优化飞行中的本地操作轨迹,以避免与动态环境的意外交互。这个扩展的抽象提供了一个流水线离线规划配置空间的全局轨迹的基础上的随机化策略,并在线本地细化它取决于动态环境和机器人状态的任何变化。离线规划器直接在接触空间中进行规划,并且另外寻求符合采样接触状态的全身可行配置。由一组离散的触点和配置构成的规划轨迹可以被视为一个图形,并且可以在执行全局轨迹期间在线细化。在线细化进行了利用视觉信息的图形优化规划。它在当地对全球初始计划采取行动,以考虑环境中可能发生的变化。虽然离线规划器是一项已完成的工作,并在人形COMAN+上进行了测试,但在线本地规划器仍是一项正在进行的工作,已在CENTAURO机器人的简化模型上进行了测试,以避免动态和静态障碍物干扰轮式运动任务。COMAN+和CENTAURO机器人均由意大利理工学院(IIT)设计。
2022-05-20 cs.RO
Robot Manipulation in Salient Vision through Referring Image Segmentation and Geometric Constraints
University of Alberta(阿尔伯塔大学)
本文提出CLIPU$^2$Net轻量级指代分割模型,结合眼在手视觉伺服系统,通过几何约束实现语言引导的机器人操作,在46项真实任务中优于传统方法。
2024-09-17 cs.CV cs.RO
RoboGaze: Evaluating Robot World Models via Structured Vision-Language Analysis
Ho Chi Minh City University of Science, Vietnam National University(越南国家科学大学胡志明市大学);VinRobotics;VinUniversity;German Research Center for AI (DFKI)(人工智能研究中心(DFKI));University of Stuttgart(斯图加特大学);Max Planck Research School for Intelligent Systems(智能系统马克斯·普朗克研究学校);Technische Universität Darmstadt(达姆施塔特技术大学)
提出RoboGaze,一种无需训练的多智能体VLM框架,通过任务-场景对齐、维度专家路由和批评验证三阶段流水线,对机器人操作视频进行结构化可解释评估,显著提升描述F1和时序对齐性能。
2026-10-14 cs.AI cs.RO
Vision-Language System using Open-Source LLMs for Gestures in Medical Interpreter Robots
Technological University Dublin(都柏林技术大学)
本文提出一种基于开源大语言模型的医疗机器人系统,通过检测言语行为并生成相应手势,提升跨语言沟通效率。
2026-03-05 cs.HC cs.RO
Real-World Robot Learning with Masked Visual Pre-training
University of California, Berkeley(加州大学伯克利分校)
在这项工作中,我们探索了对来自各种野外视频的图像进行自我监督的视觉预训练,以完成真实世界的机器人任务。与之前的工作一样,我们的视觉表示通过掩码自编码器(MAE)进行预训练,冻结,然后传递到可学习的控制模块中。与以前的工作不同,我们表明,预先训练的表示在一系列真实世界的机器人任务和实施例中是有效的。我们发现,我们的编码器始终优于CLIP(高达75%),监督ImageNet预训练(高达81%)和从头开始训练(高达81%)。最后,我们训练一个307米的参数视觉Transformer器上的大量收集的4.5米图像从互联网和自我中心的视频,并清楚地证明了缩放视觉预训练的好处机器人学习。
2022-10-06 cs.CV cs.LG cs.RO
Batteries, camera, action! Learning a semantic control space for expressive robot cinematography
Facebook AI Research(Facebook AI研究院);Carnegie Mellon University(卡内基梅隆大学);University of São Paulo(圣保罗大学)
飞行器正在彻底改变电影制片人通过组成新颖的空中和动态视点来捕捉演员镜头的方式。然而,尽管自主飞行技术取得了巨大进步,但生成富有表现力的相机行为仍然是一个挑战,需要非技术用户编辑大量不直观的控制参数。在这项工作中,我们开发了一个数据驱动的框架,使这些复杂的相机定位参数的语义空间(例如平静,愉快,建立)的编辑。首先,我们生成一个数据库的视频剪辑与不同范围的镜头在照片般逼真的模拟器,并使用数百名参与者在众包框架中获得分数的一组语义描述符为每个剪辑。接下来,我们分析描述符之间的相关性,并建立一个语义控制空间的基础上,电影摄影指导方针和人类感知研究。最后,我们学习了一个生成模型,可以将一组所需的语义视频描述符映射到低级别的摄像机轨迹参数。我们评估我们的系统,证明我们的模型成功地生成的镜头,由参与者评为具有预期程度的表达每个描述符。我们还表明,我们的模型推广到不同的场景在模拟和现实世界的实验。数据和视频可在https://sites.google.com/view/robotcam上找到。
2021-03-31 cs.AI cs.CV cs.GR