Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning
Shanghai Jiao Tong University(上海交通大学);CUHK(香港中文大学);Agibot(智源);Beihang University(北京航空航天大学)
本文提出人在回路的 ADC 框架,通过人机协作式实时扰动压缩高信息密度演示,仅用20%数据即使机器人模仿模型获得更强泛化、鲁棒性与错误恢复能力。
2025-03-14 cs.RO
Koala Gripper: Co-designing Robotic Grippers and Data-Capture Devices for Scaling Dexterous Manipulation Learning
本文提出协同设计框架,开发Koala Gripper系统,该系统兼具数据采集与机器人夹持器功能,可提升灵巧操作能力,经端到端管道验证能支持演示学习,助力扩展操作数据集规模。
2026-08-24 cs.RO
Information-Collection in Robotic Process Monitoring: An Active Perception Approach
Siemens(西门子);California Institute of Technology(加州理工学院)
主动感知系统最大限度地提高信息增益,以支持监测和决策已经看到了相当大的应用在最近的工作。在本文中,我们提出并证明了一种方法,通过使用贝叶斯滤波器在主动感觉系统中获取和外推信息。我们的方法是由制造过程,其中系统状态的自动视觉跟踪可以帮助故障诊断,零件和安全认证的动机;在极端情况下,我们的方法可以使新的制造过程依赖于监测解决方案超越被动感知。我们演示了如何使用贝叶斯过滤器在主动感知的情况下,允许推理的基础上测量以及未测量的,但传播的状态元素的未来行动,从而大大提高了信息的质量,可用于决策算法控制的总体过程。我们展示了我们的主动感知系统在物理实验中的使用,其中我们使用时变卡尔曼滤波器来解决增材制造中代表性系统捕获的不确定性。
2020-05-01 cs.RO
DeepScanner: a Robotic System for Automated 2D Object Dataset Collection with Annotations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
在这项研究中,我们描述了使用关节式机器人自动收集数据集的可能性。所提出的技术减少了多边形数据集上的像素错误数量,并减少了手动标记2D对象所花费的时间。本文描述了一种新的自动数据集收集和注释系统,并比较了自动和手动数据集标记的结果。我们的方法将数据标记的速度提高了240倍,并将准确性提高了13倍。我们还提出了一个人工注释和自动收集的数据集上训练神经网络的指标的比较。
2021-08-05 cs.LG cs.RO
R900: Understanding the Cost-Effectiveness of Random Exploration from 900 Hours of Robotic Data Collection
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(电气工程与计算机科学学院,皇家理工学院)
本文通过807小时随机动作、71小时随机探索视频及1260次策略评估的大规模实验,系统研究了随机探索数据在机器人操作模仿学习中的成本效益,并开发了全自动化数据采集流水线。
2025-09-17 cs.RO
BinWalker: Development and Field Evaluation of a Quadruped Manipulator Platform for Sustainable Litter Collection
Istituto Italiano di Tecnologia(意大利技术研究院)
BinWalker是一种四足机器人平台,用于自主收集户外垃圾,通过结合腿部运动和机械臂实现高效可持续的垃圾清理任务。
2026-09-02 cs.RO
1 Modular Parallel Manipulator for Long-Term Soft Robotic Data Collection
Carnegie Mellon University(卡内基梅隆大学);Meta AI Research(Meta人工智能研究院)
本文提出一种模块化并联软体机械手平台,利用现成电机驱动柔顺并联手指,支持大规模数据采集和直接在硬件上进行策略梯度强化学习,并验证了多手指兼容性。
2024-09-05 cs.LG cs.RO
MOVE: A Simple Motion-Based Data Collection Paradigm for Spatial Generalization in Robotic Manipulation
MOVE通过动态演示生成多样化空间配置,提升机器人操作中的空间泛化能力。
2025-12-04 cs.RO
Multi-agent robotic systems and exploration algorithms: Applications for data collection in construction sites
New York University Abu Dhabi(纽约大学阿布扎比分校);University of the Aegean(爱琴大学)
针对建筑行业自动化水平低的问题,本研究提出多机器人与人类智能体协同作业的方法,并通过双机器人加一人的三维数字化案例验证其能高效完成遮挡空间数据采集任务。
2023-11-02 cs.MA cs.RO
A Multimodal Data Collection Framework for Dialogue-Driven Assistive Robotics to Clarify Ambiguities: A Wizard-of-Oz Pilot Study
Aerospace and Mechanical Engineering Department(航空航天与机械工程系);Computer Science Department(计算机科学系);Saint Louis University(圣路易斯大学)
本文提出一种多模态数据收集框架,通过对话交互协议和双房间巫师-of-奥兹设置,模拟机器人自主性并捕捉自然用户行为,用于澄清对话驱动控制中的歧义问题。
2026-04-16 cs.RO
An Open Tele-Impedance Framework to Generate Data for Contact-Rich Tasks in Robotic Manipulation
Istituto Italiano di Tecnologia(意大利技术研究院)
在机器学习中使用大型数据集已经取得了出色的结果,在某些情况下,在被认为是机器不可能完成的任务中,它的表现超过了人类。然而,在处理物理交互任务时,例如,在接触丰富的机器人操作中,仍然是一个很大的挑战。众所周知,调节这种操作的笛卡尔阻抗对于它们的成功执行是至关重要的。像强化学习(RL)这样的方法可能是解决此类问题的一个很有前途的范例。更确切地说,在解决新任务时使用任务不可知的专家演示来引导学习的方法具有巨大的潜力,因为它们可以利用大型数据集。然而,现有的数据汇集系统昂贵、复杂,或者不允许阻抗调节。这项工作是迈向数据汇集框架的第一步,该框架适用于收集与RL问题制定兼容的基于阻抗的专家演示的大型数据集,其中使用了一种新的动作空间。该框架是根据广泛分析机器人操作的可用数据汇集框架后获得的要求设计的。其结果是一个低成本和开放访问的远程阻抗框架,使人类专家能够演示接触丰富的任务。
2023-02-06 cs.RO
Automating Internet of Things Network Traffic Collection with Robotic Arm Interactions
Colgate University(科尔盖特大学);University of Chicago(芝加哥大学)
消费者物联网研究通常涉及收集物联网设备发送或接收的网络流量。这些数据通常通过众包收集,或者研究人员在实验室环境中手动与物联网设备交互时收集。然而,手动交互和众包通常繁琐、昂贵、不准确,或者不能全面覆盖可能的物联网设备行为。我们提出了一种使用机器人手臂自动化用户与设备交互来生成物联网网络流量的新方法。这消除了手动按钮按下,并启用基于排列的交互序列,严格探索可能的设备行为的范围。我们使用Arduino控制的机器人手臂,智能扬声器和智能恒温器测试这种方法,使用机器学习来证明收集的网络流量包含有关设备交互的信息,这些信息可能对网络,安全或隐私分析有用。我们还提供源代码和文档,使研究人员能够在未来的研究中轻松自动化物联网设备交互和网络流量收集。
2022-10-12 cs.CR cs.NI cs.RO
Efficient Data Collection for Robotic Manipulation via Compositional Generalization
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
该研究针对机器人操作数据收集效率问题,探究视觉模仿学习策略的环境因素组合能力,提出利用组合泛化的域内数据收集策略,在相同投入下提升泛化效果,真实机器人迁移至新环境成功率达77.5%。
2024-05-21 cs.AI cs.LG cs.RO
SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics
Department of Robotics Engineering, Worcester Polytechnic Institute(机器人工程系,沃斯特理工学院);Laboratory for Computational Sensing and Robotics(计算感知与机器人实验室);Department of Computer Science, Johns Hopkins University(计算机科学系,约翰霍普金斯大学);Robotics and Control Laboratory, the University of British Columbia(机器人与控制实验室,不列颠哥伦比亚大学);Department of Electronics, Information and Bioengineering, Politecnico di Milano(电子、信息与生物工程系,米兰理工学院)
SurgSync提出了一种时间同步的多模态数据采集框架和数据集,用于手术机器人中的高阶控制与训练,通过多传感器和后处理工具提升数据质量与实用性。
2026-03-06 cs.RO
Vision-based Obstacle Removal System for Autonomous Ground Vehicles Using a Robotic Arm
North Carolina State University(北卡罗来纳州立大学);Indian Institute of Technology Patna(印度理工学院巴特那分校);Zhejiang University(浙江大学)
在过去的几年里,用于数据汇集和视觉监控应用的配备摄像头的机器人平台的使用呈指数级增长。有许多物体的杂乱建筑工地(例如,砖、管道等)地面上的环境对于移动无人驾驶地面车辆(UGV)导航是具有挑战性的环境。为了解决这个问题,本研究提出了一种移动UGV配备了一个立体摄像机和一个机械臂,可以清除沿UGV的路径障碍物。为了实现这一目标,周围的环境是由立体摄像机捕获和障碍物检测。通过机器人操作系统(ROS)将障碍物相对于UGV的位置发送到机械臂模块。然后,机械臂拾起并移除障碍物。该方法将大大提高施工监测的自动化程度和数据汇集频率。该系统通过两个案例进行了验证。结果成功地证明了障碍物的检测和清除,作为开发具有各种施工操作应用的自主UGV的有利因素之一。
2019-01-24 cs.RO
Multi-Risk-RRT: An Efficient Motion Planning Algorithm for Robotic Autonomous Luggage Trolley Collection at Airports
Southern University of Science and Technology(南方科技大学);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院);University of Pennsylvania(宾夕法尼亚大学);Shanghai Jiao Tong University(上海交通大学);Yanshan University(燕山大学)
本文提出Multi-Risk-RRT算法,通过多子树并行探索与主树启发式信息融合,提升机场行李推车收集机器人在动态环境中的运动规划效率与稳健性。
2023-09-20 cs.RO
UMIGen: A Unified Framework for Egocentric Point Cloud Generation and Cross-Embodiment Robotic Imitation Learning
Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学)
针对数据驱动机器人学习中演示数据收集难、UMI缺乏3D几何信息的问题,提出UMIGen统一框架,含Cloud-UMI设备和可见性感知优化机制,实现高效数据生成与跨具身迁移,提升跨具身泛化能力并加速数据收集。
2025-11-12 cs.RO
DexHub and DART: Towards Internet Scale Robot Data Collection
Improbable AI Lab(不可想象人工智能实验室)
本文提出基于云仿真和增强现实的众包遥操作平台 DART,以提升数据采集效率并降低疲劳,其采集数据存入 DexHub 数据库,训练策略可迁移至现实且鲁棒。
2024-11-04 cs.RO
RoboVQA: Multimodal Long-Horizon Reasoning for Robotics
Google DeepMind(谷歌DeepMind)
本文提出RoboVQA数据集与可扩展多具身数据收集方案,并训练RoboVQA-VideoCoCa,显著降低真实机器人长程任务的认知干预率。
2023-11-01 cs.RO
Robotic Autonomous Trolley Collection with Progressive Perception and Nonlinear Model Predictive Control
Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
可以收集手推车的自主移动操纵机器人被广泛用于解放人力资源和抗击疫情。大多数现有的机器人手推车收集解决方案仅检测具有2D姿态的手推车,或者仅基于特定标记,并且缺乏规划算法的正式设计。在本文中,我们提出了一种新的移动操作系统与行李手推车收集的应用。所提出的系统集成了紧凑的硬件设计和渐进的感知和规划框架,使系统能够在动态和复杂的环境中有效和鲁棒地收集手推车。对于感知,我们首先开发了一种结合目标检测和关键点估计的3D小车检测方法。采用精确的点云平面检测方法和新颖的机械手设计,实现了近距离对接过程。在规划方面,我们制定了机器人的运动规划下的非线性模型预测控制框架与控制障碍功能,以提高避障能力,同时保持在传感器的视野中的目标在近距离。我们展示了我们的设计和框架部署在实际的手推车收集任务的系统,其有效性和鲁棒性的实验验证。
2022-03-01 cs.RO cs.SY eess.SY
AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons
Shanghai Jiao Tong University(上海交通大学);Noematrix;Shanghai Innovation Institute(上海创新研究院)
针对现实机器人模仿学习中演示数据收集的效率与成本问题,提出低成本外骨骼系统AirExo-2用于大规模野外数据收集,并设计适配器转换数据,结合RISE-2策略提升域内及泛化性能,性能可媲美遥操作数据训练结果。
2025-08-25 cs.RO
Practice Makes Policies: Bootstrapping and Consolidating Robotic Capabilities from Zero Human Demonstrations
本研究提出HERO自改进层级具身智能体,通过整合启发式推理等技术,实现机器人从零人类演示自主演进操作能力,减少数据收集人工干预并提升多样化任务操作稳健性。
2026-07-30 cs.RO
RoboCOIN: An Open-Sourced Bimanual Robotic Data Collection for Integrated Manipulation
本文提出RoboCOIN数据集,包含18万多个演示,涵盖15种机器人平台,通过分层能力金字塔提供精细标注,提升双臂操作模型性能。
2026-04-13 cs.RO
DeepClaw: A Robotic Hardware Benchmarking Platform for Learning Object Manipulation
SUSTech Institute of Robotics(南方科技大学机器人研究院);Southern University of Science and Technology(南方科技大学)
我们提出DeepClaw作为机器人硬件和任务层次结构的可重构基准,用于机器人学习。DeepClaw基准测试旨在从机电一体化的角度研究机器人学习问题,其特点是机器人单元的最小设计,可以很容易地重新配置以托管来自不同供应商的机器人硬件,包括操纵器,夹具,相机,桌子和物体,旨在简化物理操作数据的收集和评估硬件基准测试的学习技能。我们提供了一个详细的设计,机器人细胞与现成的零件,以建立实验环境,可以托管广泛的机器人硬件通常采用机器人学习。我们还提出了一个分层的软件集成管道,包括定位,识别,抓取规划和运动规划,以简化基于学习的机器人控制,数据汇集和实验验证的可共享性和可重复性。我们提出了基准测试结果的DeepClaw系统的一个基线井字游戏任务,一个垃圾箱清除任务,和一个拼图游戏任务使用三套标准的机器人硬件。我们的研究结果表明,在DeepClaw中定义的任务可以很容易地在三个机器人单元上复制。在相同的任务设置下,所使用的机器人硬件的差异将对机器人学习的性能指标产生不可忽视的影响。所有设计布局和代码都托管在Github上,可开放获取。
2020-05-06 cs.RO
RoCap: A Robotic Data Collection Pipeline for the Pose Estimation of Appearance-Changing Objects
UCLA HCI Research(加州大学洛杉矶分校人机交互研究中心);TOEI Zukun Research(东映未来研究机构);University of Tokyo(东京大学);Future University Hakodate(函馆未来大学)
针对传统视觉姿态估计方法不适用于操作中外观变化物体的问题,提出机器人数据采集流水线Rocap,通过机械臂操作采集带真实6D位姿标注的图像训练模型,效果优于三维重建合成数据训练的模型。
2024-07-10 cs.HC cs.RO
TRIP-Bag: A Portable Teleoperation System for Plug-and-Play Robotic Arms and Leaders
KIMLAB (Kinetic Intelligent Machine LAB), University of Illinois Urbana-Champaign(KIM实验室(动能智能机器实验室),伊利诺伊大学厄巴纳-香槟分校)
TRIP-Bag是一种便携式遥控系统,能够快速收集高保真操纵数据,适用于各种环境和非专家用户。
2026-03-10 cs.RO
An ontology-based approach to data exchanges for robot navigation on construction sites
École de Technologie Supérieure (ÉTS)(高等技术学院)
随着无人地面车辆(UGV)在建筑工程中自动采集数据汇集的应用日益广泛,建筑领域和机器人领域之间的跨学科语义数据共享和交换问题引起了建筑利益相关者的关注。跨域数据翻译需要详细的规范,尤其是在语义数据翻译方面。建筑信息模型(BIM)和地理信息系统(GIS)分别是获取和存储室内结构和室外环境施工数据的两种技术。在建筑和机器人领域之间缺乏数据交换的标准格式的情况下,这两个行业的工具尚未集成到一个连贯的部署基础设施中。因此,语义的BIM-GIS不能自动集成的任何机器人平台。为了实现跨领域的语义数据传输,语义Web技术已被广泛用于多学科领域的互操作性。我们利用它为更智能,更快速,更精确的机器人导航铺平了道路。本文开发了一个集成机器人导航和数据汇集的语义Web本体,将BIM-GIS的含义传达给机器人。建议的建筑信息机器人系统(BIRS)提供的建筑数据,语义转移到机器人平台,并可以使用的机器人导航软件栈在建筑工地上。为了达到这个目标,我们首先需要在建筑和机器人领域之间架起知识表示的桥梁。然后,我们开发了一个语义数据库,与机器人操作系统(ROS),可以与机器人和导航系统进行通信,以提供机器人的语义建筑数据在每个步骤的数据汇集。最后,通过一个实例验证了该系统的有效性.
2021-04-20 cs.RO
From Score to Sound: An End-to-End MIDI-to-Motion Pipeline for Robotic Cello Performance
本文提出了一种端到端的MIDI到机器人动作管道,使机器人能够无需运动捕捉实现人类般的音乐表演,并通过音乐图灵测试验证其效果。
2026-01-07 cs.RO
Collection and Evaluation of a Long-Term 4D Agri-Robotic Dataset
Lincoln Centre for Autonomous Systems (LCAS)(林肯自主系统中心(LCAS));University of Lincoln(林肯大学)
长期自主是机器人最需要的能力之一。在很长的时间范围内反复执行相同任务的可能性,提供高标准的可重复性和鲁棒性,这是很有吸引力的。长期的自主性可以在采用机器人系统进行精准农业方面发挥关键作用,例如帮助人类在大型果园中监测和收获作物。考虑到这一范围,我们报告了一个持续的努力,在长期部署的自主移动机器人在葡萄园的数据汇集跨越多个月。主要目的是收集同一地区不同时间点的数据,以便能够分析环境变化对制图和定位任务的影响。在这项工作中,我们提出了一个基于地图的本地化研究采取4个数据会话。当预构建的地图在视觉上与环境的当前外观不同时,我们确定了预期的失败,并且我们预计LTS-Net是一种旨在提取稳定的时间特征以改善长期4D定位结果的解决方案。
2022-11-25 cs.CV cs.LG cs.RO
High Throughput Soybean Pod-Counting with In-Field Robotic Data Collection and Machine-Vision Based Data Analysis
EarthSense Inc.(EarthSense公司);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们报告了有希望的结果,高通量的田间大豆豆荚计数与小型移动机器人和机器视觉算法。我们的研究结果表明,基于机器视觉的大豆荚果数与大豆产量密切相关。虽然荚果计数与大豆产量有很强的相关性,但荚果计数是极其劳动密集型的,并且难以自动化。我们的研究结果表明,配备视觉传感器的自主机器人可以自主收集大豆成熟时的数据。机器视觉算法可用于以高通量、自动化的方式估计种植在实验单元(EU或地块)上的大型多样性面板上的豆荚计数。我们报告我们的自动豆荚计数和大豆产量之间的相关性为0.67。这些数据是在一项实验中收集的,该实验由伊利诺伊大学大豆育种计划在2020年生长季节维护的1463个单行地块组成。我们还报告了一个较小的数据集的16个地块的自动豆荚计数和手动豆荚计数之间的相关性为0.88。
2021-05-27 cs.CV cs.RO
Surgical task-space optimisation of the CYCLOPS robotic system
Imperial College London(帝国理工学院)
CYCLOPS是一种用于微创应用的线缆驱动平行机构,能够根据不同的手术需求进行定制;使其能够根据手术和患者的具体情况进行定制。然而,为了充分优化,需要关于临床约束和任务空间的适当数据。而前者可以通过术前规划和成像提供,后者仍然是一个问题,主要是高度灵巧的MIS系统。目前的工作重点是CYCLOPS系统的任务空间优化方法的开发和微创任务空间的模拟环境中的数据汇集方法的开发。相同的数据汇集方法可用于其他微创平台的开发。一个案例研究是用来说明内窥镜粘膜下剥离术(ESD)的开发方法。本文表明,使用这种方法,该系统可以成功地优化这种应用程序。
2017-12-11 cs.RO
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection
Google(谷歌)
我们描述了一种基于学习的方法,从单目图像的机器人抓取手眼协调。为了学习手眼协调抓取,我们训练了一个大型卷积神经网络来预测抓取器的任务空间运动将导致成功抓取的概率,仅使用单目相机图像,并且独立于相机校准或当前机器人姿势。这需要网络观察场景中抓手和物体之间的空间关系,从而学习手眼协调。然后,我们使用这个网络伺服夹持器在实时的,以实现成功的把握。为了训练我们的网络,我们在两个月的时间里收集了超过80万次抓取尝试,在任何给定的时间使用6到14个机器人操纵器,在摄像机位置和硬件上有所不同。我们的实验评估表明,我们的方法实现了有效的实时控制,可以成功地抓住新的对象,并通过连续伺服纠正错误。
2016-08-28 cs.AI cs.CV cs.LG
DEX-Mouse: A Low-cost Portable and Universal Interface with Force Feedback for Data Collection of Dexterous Robotic Hands
Dept. of Artificial Intelligence, Sogang University, Korea(人工智能系,ソガン大学,韩国);Dept. of Electronic Engineering, Sogang University, Korea(电子工程系,ソガン大学,韩国);Dept. of Mechanical Engineering, Sogang University, Korea(机械工程系,ソガン大学,韩国);Vertical Labs, Co., Ltd., Korea(垂直实验室,韩国)
DEX-Mouse 提供一种无需校准的便携式力反馈接口,用于采集 Dexterous 机器人手数据,支持多种任务,提高任务完成率和降低操作负荷。
2026-04-16 cs.RO
RwoR: Generating Robot Demonstrations from Human Hand Collection for Policy Learning without Robot
CFCS, School of Computer Science, Peking University(计算机学院,北京大学);PKU-Agibot Lab(北京大学Agibot实验室);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学);Tencent Robotics X Laboratory(腾讯机器人X实验室)
提出RwoR系统,利用手腕GoPro采集人手示教,通过生成模型转化为机器人夹爪示教,弥合视觉差距,无需机器人即可高效生成训练数据,提升策略学习性能。
2025-07-08 cs.RO
Strawberry Robotic Operation Interface: An Open-Source Device for Collecting Dexterous Manipulation Data in Robotic Strawberry Farming
Technological Innovation Center, Zhejiang University, Hangzhou, 311215, China(浙江大学杭州技术创新中心);College of Biosystems Engineering(生物系统工程学院);Food Science, Zhejiang University, Hangzhou, 310058, China(食品科学学院)
本文提出了一种开源设备SROI,用于收集机器人草莓种植中灵巧操作数据,通过模块化末端执行器和立体摄像头实现野外环境下的数据采集,并发布数据集促进相关研究。
2025-01-28 cs.RO
Bootstrapping Imitation Learning for Long-horizon Manipulation via Hierarchical Data Collection Space
CVTE(中国维克托技术有限公司);SYSU(深圳大学);SWJTU HKU(上海交通大学香港大学)
本文提出分层数据采集空间(HD-Space),通过将长时程操作任务分解为原子任务并设计相应状态/动作空间,以少量演示数据训练出更稳健的模仿学习策略,在模拟和真实任务中显著提升性能。
2025-05-23 cs.AI cs.RO
Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation
Northeastern University(东北大学);NVIDIA(英伟达)
研究机器人操作中组合泛化问题,通过引入诊断框架量化指令因素偏差,提出偏差感知数据收集策略,能定位预训练策略捷径问题,实现更高效可泛化的策略学习。
2026-07-24 cs.CV cs.RO
Data Games: A Game-Theoretic Approach to Swarm Robotic Data Collection
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联网自动驾驶汽车(AV)车队收集TB级的传感数据,这些数据通常被传输到中央服务器(“云”)以训练机器学习(ML)模型。理想情况下,这些车队应该上传所有数据,特别是来自罕见操作环境的数据,以便训练健壮的ML模型。然而,由于高昂的网络带宽和数据标签成本,这是不可行的。相反,我们提出了一种合作数据采样策略,在这种策略中,地理分布的AV合作在云中收集不同的ML训练数据集。由于AV具有共享的目标,但关于彼此的本地数据分布和感知模型的信息最少,因此我们可以自然地将合作数据汇集视为$N$ -玩家数学游戏。我们表明,我们的合作采样策略使用最少的信息收敛到一个集中的预言机的政策,所有AV的完整信息。此外,我们从理论上描述了我们的博弈论策略相比贪婪采样的性能优势。最后,我们通过实验证明,我们的方法在4个感知数据集上的性能优于标准基准,最高可达$21.9\%$,包括在恶劣天气条件下的自动驾驶。至关重要的是,我们在真实世界数据集上的实验结果与我们的理论保证密切一致。
2023-03-07 cs.AI cs.MA cs.RO
Unified Data Collection for Visual-Inertial Calibration via Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
视觉惯性传感器在机器人领域有着广泛的应用。然而,良好的性能往往需要不同的复杂的运动例程,以准确地校准相机的内在和传感器间的外在。这项工作提出了一种新的配方,学习的运动策略上执行的机器人手臂自动数据汇集校准内在和外在的联合。我们的方法使用无模型深度强化学习对校准过程进行了建模,以导出一种策略,该策略指导持有传感器的机器人手臂的运动,以有效地收集可用于相机内部校准和相机IMU外部校准的测量值。给定当前姿态和收集的测量值,学习策略生成优化传感器校准精度的后续变换。在模拟和一个真正的机器人系统的评估表明,我们学到的政策产生有利的运动轨迹,并有效地收集足够的测量,产生所需的内在和外在的短路径长度。在模拟中,我们能够以比手工制定的策略快10倍的速度执行校准,这比人类专家快3倍。
2021-09-30 cs.LG cs.RO
RoboClaw: An Agentic Framework for Scalable Long-Horizon Robotic Tasks
AgiBot;National University of Singapore(新加坡国立大学);Shanghai Jiao Tong University(上海交通大学);MoE Key Lab of Artificial Intelligence, AI Institute, SJTU(上海交通大学人工智能研究院教育部人工智能重点实验室)
RoboClaw通过统一数据收集、策略学习和任务执行,提高长周期机器人任务的稳定性和可扩展性,减少人工干预,提升多策略鲁棒性。
2026-04-01 cs.AI cs.RO
MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation
State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China(机械系统与振动国家重点实验室,上海交通大学机械工程学院,上海200240,中国);Shanghai Key Laboratory of Intelligent Robotics, Shanghai Jiao Tong University, Shanghai 200240, China(智能机器人上海重点实验室,上海交通大学,上海200240,中国);Shanghai Artificial Intelligence Laboratory, Shanghai, China(上海人工智能实验室,上海,中国);Humanoid Robot (Shanghai) Co., Ltd., Shanghai, China(上海人形机器人有限公司,上海,中国)
针对现有灵巧操作数据采集系统运动重定向不准确、效率低、缺乏高分辨率指尖触觉传感的问题,提出MILE系统,通过从人手到外骨骼再到机械手的机械同构设计,实现无重定向精确控制,并集成指尖视觉触觉模块,采集多模态数据集,显著提升遥操作成功率。
2026-09-29 cs.CV cs.HC cs.RO
ARMimic: Learning Robotic Manipulation from Passive Human Demonstrations in Augmented Reality
Technical University of Munich(技术大学慕尼黑);University of Tokyo(东京大学);Toyota Motor Corporation(丰田汽车公司)
本文提出 ARMimic 框架,仅用消费级 XR 头显和固定相机采集被动人类演示,并通过统一模仿学习流程训练可跨本体泛化的操作策略,显著降低演示时间并提升成功率。
2025-09-26 cs.RO
Are Foundation Models the Route to Full-Stack Transfer in Robotics?
Institute of Robotics and Mechatronics, German Aerospace Center (DLR)(机器人与机电研究所,德国航空航天中心(DLR));Stanford AI Lab, Stanford University(斯坦福大学人工智能实验室)
本文探讨基础模型在机器人全栈迁移中的作用,分析其对不同迁移层次的影响及面临的挑战。
2026-02-25 cs.RO
Robotic Scene Cloning:Advancing Zero-Shot Robotic Scene Adaptation in Manipulation via Visual Prompt Editing
Wuhan University(武汉大学);University of Science and Technology of China(中国科学技术大学);Dexmal;The Hong Kong Polytechnic University(香港理工大学)
机器人场景克隆通过视觉提示编辑提升零样本机器人场景适应能力,实现跨场景的高效操作性能
2026-03-10 cs.RO
Robot Skill Learning Via Classical Robotics-Based Generated Datasets: Advantages, Disadvantages, and Future Improvement
Technical University of Munich(慕尼黑工业大学)
为什么我们不从我们长期存在的经典机器人知识中获益,并寻找一些替代的数据汇集方法呢?忽视所有现有方法的情况可能是一种浪费。本文认为,使用经典机器人算法创建的数据集是未来发展的关键部分。该算法具有良好的领域自适应和泛化能力,且易于采集数据集。众所周知,当前的机器人技能学习方法在看不见的领域中表现非常糟糕,并且只要它们没有非常独特的大数据集,它们对对抗攻击的性能就非常有限。我们的实验是使用由经典机器人代码创建的数据集的初始步骤。我们的实验研究了基于经典机器人技术的可能的轨迹收集。指出了一些优点和缺点,并指出了其他未来的发展思路。
2023-01-20 cs.AI cs.CV cs.IR
UMI-Bench 1.0: An Open and Reproducible Real-World Benchmark for Tabletop Robotic Manipulation with UMI Data
University of Science and Technology of China(中国科学技术大学)
提出UMI-Bench 1.0,首个专为UMI风格操作策略设计的真实机器人基准,通过统一协议实现数据收集、场景重置、策略执行、结果记录和任务因素分析,提供可复现的评估平台。
2026-06-09 cs.RO
Automated Robotic Monitoring and Inspection of Steel Structures and Bridges
University of Nevada, Reno(内华达大学里诺分校);University of Technology Sydney(悉尼科技大学)
本文介绍了视觉和三维结构检测钢结构和桥梁使用开发的攀爬机器人。机器人可以在钢铁表面上自由移动,携带传感器,收集数据,然后实时的发送到地面站进行监控以及进一步处理。通过对钢结构表面图像的拼接和三维地图的建立,提供了结构的当前状态。此外,实现了基于计算机视觉的方法来检测拼接图像上的表面缺陷。在多种情况下测试攀爬机器人检测的有效性,以确保牢固的钢附着力和成功的数据汇集。检测方法也成功地评估了各种测试图像,其中钢裂纹可以自动识别,而不需要一些启发式推理。
2017-05-13 cs.RO
Prometheus: Universal, Open-Source Mocap-Based Teleoperation System with Force Feedback for Dataset Collection in Robot Learning
Intelligent Space Robotics Laboratory, CDE, Skolkovo Institute of Science and Technology(智能空间机器人实验室,Skolkovo科学技术研究所)
本研究提出名为Prometheus的带力反馈开源遥操作系统,采用消费级动作捕捉设备与定制力传感结构,可让操作者感知夹持力,在提升任务成功率的同时为机器人模仿学习提供低成本大规模数据采集方案。
2025-10-01 cs.RO
LeVR: A Modular VR Teleoperation Framework for Imitation Learning in Dexterous Manipulation
Center for Robotics and Biosystems, Northwestern University(机器人与生物系统中心,西北大学);MAGICS Lab, Northwestern University(MAGICS实验室,西北大学)
本文提出LeVR模块化VR遥操作框架,结合LeRobot简化数据收集,并开源LeFranX实现与数据集,成功微调视觉运动策略,加速机器人模仿学习研究。
2025-09-17 cs.RO
XRZero-G0: Pushing the Frontier of Dexterous Robotic Manipulation with Interfaces, Quality and Ratios
X SQUARE ROBOT(X SQUARE机器人)
本文提出XRZero-G0系统,通过 ergonomic 接口和数据混合策略提升数据收集效率,实现高质量数据集,使机器人操作在无真实机器人数据的情况下也能达到高性能。
2026-04-16 cs.RO
Robotics for poultry farming: challenges and opportunities
Ataturk University, Faculty of Veterinary Medicine(阿塔图尔克大学兽医学院);School of Engineering and Materials Science, Queen Mary University of London(伦敦大学玛丽皇后学院工程与材料科学学院)
本综述梳理家禽养殖机器人的现有进展、局限与未来方向,介绍其多领域应用,指出其可助力生产与福利提升并推动行为学研究。
2023-11-09 cs.RO
A Flexible Field-Based Policy Learning Framework for Diverse Robotic Systems and Sensors
National Institute of Advanced Industrial Science and Technology (AIST)(国家先进工业科学与技术研究院)
本文提出一种灵活的基于场的策略学习框架,通过整合扩散策略控制与3D语义场景表示,实现跨机器人系统的高效泛化与任务成功率提升。
2025-12-22 cs.RO
Bootstrapping Robotic Skill Learning With Intuitive Teleoperation: Initial Feasibility Study
The Chinese University of Hong Kong(香港中文大学);Multi-Scale Medical Robotics Center(多尺度医疗机器人中心);Technical University of Munich(慕尼黑工业大学);Cornerstone Robotics Limited(基石机器人有限公司)
本文提出利用直观遥操作设备高效生成高质量演示,构建dS4D系统,验证其在多种操作任务中优于其他接口,并初步证明用于策略学习的可行性。
2023-11-11 cs.RO
PATO: Policy Assisted TeleOperation for Scalable Robot Data Collection
USC(南加州大学);UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 PATO 策略辅助遥操作系统,通过学习的辅助策略自动执行重复行为并在不确定时请求人类输入,从而降低操作员负荷、提升效率并支持一人并行控制多台机器人。
2023-06-01 cs.AI cs.LG cs.RO