CataractSAM-2: A Domain-Adapted Model for Anterior Segment Surgery Segmentation and Scalable Ground-Truth Annotation
Thomas Jefferson High School for Science and Technology(托马斯·杰弗逊高中科学与技术学校);Mass Eye and Ear, Harvard Medical School(麻省眼耳研究所,哈佛医学院);Harvard Ophthalmology AI Lab, Schepens Eye Research Institute of Mass Eye and Ear, Harvard Medical School(哈佛眼科学人工智能实验室,麻省眼耳研究所的谢普恩斯眼研究学院,哈佛医学院)
本文提出CataractSAM-2,一种针对白内障眼科手术视频的实时语义分割模型,结合稀疏提示与视频掩码传播框架,提升标注效率并推动高质量地面真实标注的可扩展生成。
2026-03-23 cs.AI cs.CV cs.DB
SurgSync: Time-Synchronized Multi-Modal Data Collection Framework and Dataset for Surgical Robotics
Department of Robotics Engineering, Worcester Polytechnic Institute(机器人工程系,沃斯特理工学院);Laboratory for Computational Sensing and Robotics(计算感知与机器人实验室);Department of Computer Science, Johns Hopkins University(计算机科学系,约翰霍普金斯大学);Robotics and Control Laboratory, the University of British Columbia(机器人与控制实验室,不列颠哥伦比亚大学);Department of Electronics, Information and Bioengineering, Politecnico di Milano(电子、信息与生物工程系,米兰理工学院)
SurgSync提出了一种时间同步的多模态数据采集框架和数据集,用于手术机器人中的高阶控制与训练,通过多传感器和后处理工具提升数据质量与实用性。
2026-03-06 cs.RO
Robot Skill Learning Via Classical Robotics-Based Generated Datasets: Advantages, Disadvantages, and Future Improvement
Technical University of Munich(慕尼黑工业大学)
为什么我们不从我们长期存在的经典机器人知识中获益,并寻找一些替代的数据汇集方法呢?忽视所有现有方法的情况可能是一种浪费。本文认为,使用经典机器人算法创建的数据集是未来发展的关键部分。该算法具有良好的领域自适应和泛化能力,且易于采集数据集。众所周知,当前的机器人技能学习方法在看不见的领域中表现非常糟糕,并且只要它们没有非常独特的大数据集,它们对对抗攻击的性能就非常有限。我们的实验是使用由经典机器人代码创建的数据集的初始步骤。我们的实验研究了基于经典机器人技术的可能的轨迹收集。指出了一些优点和缺点,并指出了其他未来的发展思路。
2023-01-20 cs.AI cs.CV cs.IR
Semi-automatic 3D Object Keypoint Annotation and Detection for the Masses
Autonomous Systems Lab, ETH Zürich(苏黎世联邦理工学院自主系统实验室)
创建计算机视觉数据集需要仔细规划以及大量的时间和精力。在机器人研究中,我们经常需要使用标准化的对象,例如YCB对象集,用于对象跟踪、姿态估计、抓取和操纵等任务,因为这些对象有数据集和预先学习的方法。这限制了我们研究的影响,因为基于学习的计算机视觉方法只能用于现有数据集支持的场景。在这项工作中,我们提出了一个完整的对象关键点跟踪工具包,包括从数据汇集,标记,模型学习和评估的整个过程。我们提出了一种半自动的方式收集和标记数据集使用手腕安装在一个标准的机器人手臂上的相机使用我们的工具包和方法,我们能够获得一个工作的3D对象关键点检测器,并通过整个过程的数据汇集,注释和学习在短短几个小时的活动时间。
2022-01-19 cs.CV cs.RO
From Score to Sound: An End-to-End MIDI-to-Motion Pipeline for Robotic Cello Performance
本文提出了一种端到端的MIDI到机器人动作管道,使机器人能够无需运动捕捉实现人类般的音乐表演,并通过音乐图灵测试验证其效果。
2026-01-07 cs.RO
Scaling Robot Supervision to Hundreds of Hours with RoboTurk: Robotic Manipulation Dataset through Human Reasoning and Dexterity
Stanford University(斯坦福大学);Nvidia(英伟达);University of Toronto(多伦多大学)
大型、注释丰富的数据集加速了计算机视觉和自然语言处理等领域的进步,但在机器人领域复制这些成功一直是一个挑战。虽然诸如自我监督的现有数据汇集方法已经导致了大的数据集,但是数据可能具有差的信噪比。相比之下,以前收集人类任务演示的努力提供了更高质量的数据,但它们无法达到相同的数据量。此外,这两种方法都不能保证所收集的数据在解决方案战略方面的多样性。在这项工作中,我们利用和扩展的RoboTurk平台,以扩大数据汇集的机器人操作使用远程遥控。我们平台的主要动机有两个方面:(1)解决先前工作的缺点,并在不牺牲数据质量的情况下,将通过人工监督收集的操作数据总量增加一个数量级;(2)收集多个操作员之间具有挑战性的操作任务的数据,并观察各种紧急行为和解决方案。我们在1周内收集了54名用户超过111小时的机器人操作数据和3项具有挑战性的操作任务,从而形成了通过远程遥控操作收集的最大机器人数据集。我们通过定量和定性分析来评估平台的质量、数据集中演示的多样性以及数据集的实用性。有关其他结果、补充视频以及下载我们的数据集,请访问www.example.com。
2019-11-11 cs.HC cs.LG cs.RO
DEX-Mouse: A Low-cost Portable and Universal Interface with Force Feedback for Data Collection of Dexterous Robotic Hands
Dept. of Artificial Intelligence, Sogang University, Korea(人工智能系,ソガン大学,韩国);Dept. of Electronic Engineering, Sogang University, Korea(电子工程系,ソガン大学,韩国);Dept. of Mechanical Engineering, Sogang University, Korea(机械工程系,ソガン大学,韩国);Vertical Labs, Co., Ltd., Korea(垂直实验室,韩国)
DEX-Mouse 提供一种无需校准的便携式力反馈接口,用于采集 Dexterous 机器人手数据,支持多种任务,提高任务完成率和降低操作负荷。
2026-04-16 cs.RO
SimuShips -- A High Resolution Simulation Dataset for Ship Detection with Precise Annotations
Åbo Akademi University(奥博学术大学)
障碍物检测是自主水面舰艇的一项基本能力。最先进的障碍物检测算法基于卷积神经网络(CNN)。虽然CNN提供了更高的检测精度和更快的检测速度,但它们需要大量的数据进行训练。特别是,特定领域的数据集的可用性是障碍物检测的一个挑战。进行现场实验的困难限制了海洋数据集的收集。由于进行现场作业的后勤费用,模拟工具为数据汇集提供了一种安全和具有成本效益的替代办法。在这项工作中,我们介绍了SimuShips,一个公开的基于模拟的海洋环境数据集。我们的数据集由9471张高分辨率(1920 x1080)图像组成,其中包括各种障碍物类型,大气和照明条件以及遮挡,比例和可见比例变化。我们以边界框的形式提供注释。此外,我们使用YOLOv 5进行实验,以测试模拟数据的可行性。我们的实验表明,真实图像和模拟图像的组合提高了2.9%的所有类的召回。
2022-09-22 cs.AI cs.CV cs.LG
A Snoring Sound Dataset for Body Position Recognition: Collection, Annotation, and Analysis
Wuhan University(武汉大学);Zhongnan Hospital of Wuhan University(武汉大学中南医院)
本文构建含7570条鼾声的SSBPR数据集,标注六种睡眠体位,验证鼾声声学特征可有效识别真实场景中的睡眠体位。
2023-07-25 cs.MM cs.SD eess.AS
An Indoor Localization Dataset and Data Collection Framework with High Precision Position Annotation
Galatasaray University(加拉塔萨雷大学);Boğaziçi University(博阿齐奇大学)
我们介绍了一种新的技术和相关的高分辨率数据集,旨在精确评估基于无线信号的室内定位算法。该技术实现了基于增强现实(AR)的定位系统,该定位系统用于用高精度位置数据来注释无线信号参数数据样本。我们在装饰有AR标记的区域中跟踪相机和蓝牙低功耗(BLE)信标的实用且低成本的可导航设置的位置。我们最大限度地提高性能的AR为基础的本地化,通过使用冗余数量的标记。由摄像机捕获的视频流经过一系列标记识别、子集选择和过滤操作,以产生高度精确的姿态估计。我们的研究结果表明,我们可以减少AR定位系统的位置误差率低于0.05米。然后,位置数据用于注释由位于环境中的传感器同时捕获的BLE数据,因此,构建具有地面实况的无线信号数据集,这允许准确地评估基于无线信号的定位系统。
2022-09-06 cs.CV cs.LG cs.NI
Robust Surgical Robotic Instrument Tracking via Sequential Multi-Cue Fusion and Sim-to-Real Self-Training
University of California San Diego(加州大学圣迭戈分校)
针对手术机器人器械跟踪中真实标注昂贵的问题,提出一种跟踪器引导的自训练框架,利用机器人关节状态和不确定性感知EKF及RTS平滑器生成伪标签,微调基于合成图像预训练的特征检测器,在真实视频上提升了关键点指标并优于先前方法。
2026-10-06 cs.CV cs.RO
1 Modular Parallel Manipulator for Long-Term Soft Robotic Data Collection
Carnegie Mellon University(卡内基梅隆大学);Meta AI Research(Meta人工智能研究院)
本文提出一种模块化并联软体机械手平台,利用现成电机驱动柔顺并联手指,支持大规模数据采集和直接在硬件上进行策略梯度强化学习,并验证了多手指兼容性。
2024-09-05 cs.LG cs.RO
One-Click Annotation with Guided Hierarchical Object Detection
Intel(英特尔)
数据汇集的增加使得数据注释成为当代世界中一项有趣且有价值的任务。本文提出了一种新的方法,用于快速注释数据,使用点击监督和分层目标检测。所提出的工作是半自动的性质,其中的任务的注释是人类和神经网络之间的分裂。我们表明,我们的改进方法的注释减少了时间,成本和精神压力的人类注释。该研究还强调了我们的方法在不同情况下的表现如何优于当前方法,例如对象数量,对象大小和不同数据集的变化。我们的方法还提出了一种使用对象检测器的新方法,使其适合于数据注释任务。在PASCAL VOC数据集上进行的实验表明,从我们的方法创建的注释实现了0.995的mAP和0.903的召回率。在KITTI和CITYSCAPES数据集上,我们的方法在平均准确率和召回率上分别提高了8.5%和18.6%,分别提高了69.6%和36%。与标准注释方法相比,所提出的框架快3-4倍。
2018-10-01 cs.CV cs.HC cs.LG
A New Paradigm for Robotic Dust Collection: Theorems, User Studies, and a Field Study
Carnegie Mellon University(卡内基梅隆大学)
我们通过引入被动式吸尘机器人开创了机器人吸尘的新未来,与前辈不同,这种机器人不需要移动来收集灰尘。虽然以前的研究只集中在主动除尘机器人,我们表明,这些机器人失败的实践和理论方面,以及人为因素。相比之下,被动机器人通过其不受约束的多功能性,在所有三个指标上都大放异彩。我们提出了一个数学形式主义的两种范式,其次是用户研究和实地研究。
2017-03-25 cs.RO
PythonRobotics: a Python code collection of robotics algorithms
University of California, Berkeley(加州大学伯克利分校);Appalachian State University(阿巴拉契亚州立大学);inVia Robotics, Inc.(inVia机器人公司);Skyryse Inc.(Skyryse公司);ENSTA ParisTech(巴黎高等先进技术学院);Unmanned Life(无人生活公司)
本文介绍了一个开源软件项目:PythonRobotics。这是用Python程序设计语言实现的机器人算法的集合。该项目的重点是自主导航,目标是让机器人初学者了解每个算法背后的基本思想。本课题选择了在学术界和工业界都有广泛应用的实用算法。每个示例代码都是用Python3编写的,为了可读性和易用性,它只依赖于一些标准模块。它包括直观的动画,以了解模拟的行为。
2018-09-07 cs.RO
Visual Prompting for Robotic Manipulation with Annotation-Guided Pick-and-Place Using ACT
Embodied AI Research Team(具身人工智能研究团队);National Institute of AIST(国家信息与系统技术研究所)
针对便利店机器人拾取放置任务的挑战,提出带标注引导视觉提示的感知-行动流水线,采用ACT算法实现自适应操作,提升了零售环境下的抓取精度与适应性。
2026-08-19 cs.AI cs.RO
Efficient Data Collection for Robotic Manipulation via Compositional Generalization
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
该研究针对机器人操作数据收集效率问题,探究视觉模仿学习策略的环境因素组合能力,提出利用组合泛化的域内数据收集策略,在相同投入下提升泛化效果,真实机器人迁移至新环境成功率达77.5%。
2024-05-21 cs.AI cs.LG cs.RO
CloudGripper: An Open Source Cloud Robotics Testbed for Robotic Manipulation Research, Benchmarking and Data Collection at Scale
CloudGripper是一个由32个低成本机器人臂工作单元组成的开源云机器人测试平台,支持高吞吐量远程实验与数据收集,并发布了包含超百小时推绳交互和约400万张图像的CloudGripper-Rope-100数据集以验证其大规模数据收集能力。
2023-09-22 cs.RO
A Systematic Evaluation of Different Indoor Localization Methods in Robotic Autonomous Luggage Trolley Collection at Airports
Southern University of Science and Technology(南方科技大学);Guangdong University of Technology(广东工业大学);The Chinese University of Hong Kong(香港中文大学);University of Alberta(阿尔伯塔大学)
本文针对机场机器人自主行李手推车回收的定位问题,调研四种主流定位方法,构建定性评估框架并开展真实场景定量实验,最终得出Keypoints方法最适配该室内场景的结论。
2023-03-12 cs.RO
ConceptACT: Episode-Level Concepts for Sample-Efficient Robotic Imitation Learning
Institute of Artificial Intelligence, Ulm University(人工智能研究所,乌尔姆大学);Institute of Neuroinformatics, Ulm University(神经信息研究所,乌尔姆大学)
ConceptACT通过整合事件级语义概念提升机器人模仿学习的样本效率,采用改进的Transformer架构实现概念感知的交叉注意力,实验表明其在收敛速度和样本效率上优于标准ACT。
2026-01-23 cs.LG cs.RO
Elly: A Real-Time Failure Recovery and Data Collection System for Robotic Manipulation
Stanford Robotics Lab(斯坦福机器人实验室)
即使是最强大的自主行为也可能失败。本研究的目标是在自主任务执行期间从故障中恢复和收集数据,以便将来可以预防这些故障。我们提出了用于实时的【形】故障恢复和数据汇集的触觉干预。Elly是一个允许自动机器人行为和人类干预之间无缝转换的系统,同时从人类的恢复策略中收集感官信息。该系统和我们的设计选择进行了实验验证的单臂任务-安装灯泡在插座-和双手任务-拧瓶盖上的瓶子-使用两个7自由度的机械手配备4指夹具。在这些示例中,Elly在总共40次运行期间实现了超过80%的任务完成。
2022-08-25 cs.RO
Unified Data Collection for Visual-Inertial Calibration via Deep Reinforcement Learning
ETH Zurich(苏黎世联邦理工学院)
视觉惯性传感器在机器人领域有着广泛的应用。然而,良好的性能往往需要不同的复杂的运动例程,以准确地校准相机的内在和传感器间的外在。这项工作提出了一种新的配方,学习的运动策略上执行的机器人手臂自动数据汇集校准内在和外在的联合。我们的方法使用无模型深度强化学习对校准过程进行了建模,以导出一种策略,该策略指导持有传感器的机器人手臂的运动,以有效地收集可用于相机内部校准和相机IMU外部校准的测量值。给定当前姿态和收集的测量值,学习策略生成优化传感器校准精度的后续变换。在模拟和一个真正的机器人系统的评估表明,我们学到的政策产生有利的运动轨迹,并有效地收集足够的测量,产生所需的内在和外在的短路径长度。在模拟中,我们能够以比手工制定的策略快10倍的速度执行校准,这比人类专家快3倍。
2021-09-30 cs.LG cs.RO
Simultaneous Configuration Formation and Information Collection by Modular Robotic Systems
University of Nebraska at Omaha(内布拉斯加大学奥马哈分校)
我们考虑模块化机器人系统中的配置形成问题,其中一组在空间上分布在环境中的单体模块需要承担适当的位置,以便它们可以配置成一个新的,用户指定的目标配置,同时最大限度地提高收集的信息量,同时从初始位置导航到最终位置。每个模块在从其初始位置移动到目标位置时都有有限的能量预算。为了解决这个问题,我们提出了一个有限的,基于启发式搜索的算法,找到一条路径,最大化沿着路径的期望信息的熵。我们已经分析证明,我们提出的方法收敛在有限的时间内。实验结果表明,我们的规划方法具有较低的运行时间比基于拍卖的分配算法选择模块的位置。
2016-10-18 cs.RO
Multi-agent robotic systems and exploration algorithms: Applications for data collection in construction sites
New York University Abu Dhabi(纽约大学阿布扎比分校);University of the Aegean(爱琴大学)
针对建筑行业自动化水平低的问题,本研究提出多机器人与人类智能体协同作业的方法,并通过双机器人加一人的三维数字化案例验证其能高效完成遮挡空间数据采集任务。
2023-11-02 cs.MA cs.RO
RoboAug: One Annotation to Hundreds of Scenes via Region-Contrastive Data Augmentation for Robotic Manipulation
RoboAug通过区域对比数据增强技术,仅需单张图像的边界框标注,显著提升机器人在多样场景中的泛化能力和任务成功率。
2026-10-09 cs.RO
Automating Internet of Things Network Traffic Collection with Robotic Arm Interactions
Colgate University(科尔盖特大学);University of Chicago(芝加哥大学)
消费者物联网研究通常涉及收集物联网设备发送或接收的网络流量。这些数据通常通过众包收集,或者研究人员在实验室环境中手动与物联网设备交互时收集。然而,手动交互和众包通常繁琐、昂贵、不准确,或者不能全面覆盖可能的物联网设备行为。我们提出了一种使用机器人手臂自动化用户与设备交互来生成物联网网络流量的新方法。这消除了手动按钮按下,并启用基于排列的交互序列,严格探索可能的设备行为的范围。我们使用Arduino控制的机器人手臂,智能扬声器和智能恒温器测试这种方法,使用机器学习来证明收集的网络流量包含有关设备交互的信息,这些信息可能对网络,安全或隐私分析有用。我们还提供源代码和文档,使研究人员能够在未来的研究中轻松自动化物联网设备交互和网络流量收集。
2022-10-12 cs.CR cs.NI cs.RO
Learning Hand-Eye Coordination for Robotic Grasping with Deep Learning and Large-Scale Data Collection
Google(谷歌)
我们描述了一种基于学习的方法,从单目图像的机器人抓取手眼协调。为了学习手眼协调抓取,我们训练了一个大型卷积神经网络来预测抓取器的任务空间运动将导致成功抓取的概率,仅使用单目相机图像,并且独立于相机校准或当前机器人姿势。这需要网络观察场景中抓手和物体之间的空间关系,从而学习手眼协调。然后,我们使用这个网络伺服夹持器在实时的,以实现成功的把握。为了训练我们的网络,我们在两个月的时间里收集了超过80万次抓取尝试,在任何给定的时间使用6到14个机器人操纵器,在摄像机位置和硬件上有所不同。我们的实验评估表明,我们的方法实现了有效的实时控制,可以成功地抓住新的对象,并通过连续伺服纠正错误。
2016-08-28 cs.AI cs.CV cs.LG
Autonomous Soil Collection in Environments With Heterogeneous Terrain
Noblis(诺布利斯公司)
本研究开发了一种安装在移动机器人上的通用机械臂原型,用于在异构未开垦地形中自主区分并浸入正确的无定形材料,实现无需人工干预的土壤采集与分析,区别于传统土壤芯样采样器。
2024-07-15 cs.RO
Adversarial Data Collection: Human-Collaborative Perturbations for Efficient and Robust Robotic Imitation Learning
Shanghai Jiao Tong University(上海交通大学);CUHK(香港中文大学);Agibot(智源);Beihang University(北京航空航天大学)
本文提出人在回路的 ADC 框架,通过人机协作式实时扰动压缩高信息密度演示,仅用20%数据即使机器人模仿模型获得更强泛化、鲁棒性与错误恢复能力。
2025-03-14 cs.RO
Koala Gripper: Co-designing Robotic Grippers and Data-Capture Devices for Scaling Dexterous Manipulation Learning
本文提出协同设计框架,开发Koala Gripper系统,该系统兼具数据采集与机器人夹持器功能,可提升灵巧操作能力,经端到端管道验证能支持演示学习,助力扩展操作数据集规模。
2026-08-24 cs.RO
Information-Collection in Robotic Process Monitoring: An Active Perception Approach
Siemens(西门子);California Institute of Technology(加州理工学院)
主动感知系统最大限度地提高信息增益,以支持监测和决策已经看到了相当大的应用在最近的工作。在本文中,我们提出并证明了一种方法,通过使用贝叶斯滤波器在主动感觉系统中获取和外推信息。我们的方法是由制造过程,其中系统状态的自动视觉跟踪可以帮助故障诊断,零件和安全认证的动机;在极端情况下,我们的方法可以使新的制造过程依赖于监测解决方案超越被动感知。我们演示了如何使用贝叶斯过滤器在主动感知的情况下,允许推理的基础上测量以及未测量的,但传播的状态元素的未来行动,从而大大提高了信息的质量,可用于决策算法控制的总体过程。我们展示了我们的主动感知系统在物理实验中的使用,其中我们使用时变卡尔曼滤波器来解决增材制造中代表性系统捕获的不确定性。
2020-05-01 cs.RO
R900: Understanding the Cost-Effectiveness of Random Exploration from 900 Hours of Robotic Data Collection
School of Electrical Engineering and Computer Science, KTH Royal Institute of Technology(电气工程与计算机科学学院,皇家理工学院)
本文通过807小时随机动作、71小时随机探索视频及1260次策略评估的大规模实验,系统研究了随机探索数据在机器人操作模仿学习中的成本效益,并开发了全自动化数据采集流水线。
2025-09-17 cs.RO
BinWalker: Development and Field Evaluation of a Quadruped Manipulator Platform for Sustainable Litter Collection
Istituto Italiano di Tecnologia(意大利技术研究院)
BinWalker是一种四足机器人平台,用于自主收集户外垃圾,通过结合腿部运动和机械臂实现高效可持续的垃圾清理任务。
2026-09-02 cs.RO
Robotic Autonomous Trolley Collection with Progressive Perception and Nonlinear Model Predictive Control
Southern University of Science and Technology(南方科技大学);The Chinese University of Hong Kong(香港中文大学);Shenzhen Research Institute of the Chinese University of Hong Kong(香港中文大学深圳研究院)
可以收集手推车的自主移动操纵机器人被广泛用于解放人力资源和抗击疫情。大多数现有的机器人手推车收集解决方案仅检测具有2D姿态的手推车,或者仅基于特定标记,并且缺乏规划算法的正式设计。在本文中,我们提出了一种新的移动操作系统与行李手推车收集的应用。所提出的系统集成了紧凑的硬件设计和渐进的感知和规划框架,使系统能够在动态和复杂的环境中有效和鲁棒地收集手推车。对于感知,我们首先开发了一种结合目标检测和关键点估计的3D小车检测方法。采用精确的点云平面检测方法和新颖的机械手设计,实现了近距离对接过程。在规划方面,我们制定了机器人的运动规划下的非线性模型预测控制框架与控制障碍功能,以提高避障能力,同时保持在传感器的视野中的目标在近距离。我们展示了我们的设计和框架部署在实际的手推车收集任务的系统,其有效性和鲁棒性的实验验证。
2022-03-01 cs.RO cs.SY eess.SY
MOVE: A Simple Motion-Based Data Collection Paradigm for Spatial Generalization in Robotic Manipulation
MOVE通过动态演示生成多样化空间配置,提升机器人操作中的空间泛化能力。
2025-12-04 cs.RO
Self-Refining Vision Language Model for Robotic Failure Detection and Reasoning
UT Austin(德克萨斯大学);Amazon Robotics(亚马逊机器人技术);Carnegie Mellon University(卡内基梅隆大学)
ARMOR是一种自适应多任务视觉语言模型,通过多任务自 refinement 过程提升机器人故障检测与推理性能,实现故障检测率提升30%和推理表现提升100%。
2026-10-16 cs.LG cs.RO
A Multimodal Data Collection Framework for Dialogue-Driven Assistive Robotics to Clarify Ambiguities: A Wizard-of-Oz Pilot Study
Aerospace and Mechanical Engineering Department(航空航天与机械工程系);Computer Science Department(计算机科学系);Saint Louis University(圣路易斯大学)
本文提出一种多模态数据收集框架,通过对话交互协议和双房间巫师-of-奥兹设置,模拟机器人自主性并捕捉自然用户行为,用于澄清对话驱动控制中的歧义问题。
2026-04-16 cs.RO
RoCap: A Robotic Data Collection Pipeline for the Pose Estimation of Appearance-Changing Objects
UCLA HCI Research(加州大学洛杉矶分校人机交互研究中心);TOEI Zukun Research(东映未来研究机构);University of Tokyo(东京大学);Future University Hakodate(函馆未来大学)
针对传统视觉姿态估计方法不适用于操作中外观变化物体的问题,提出机器人数据采集流水线Rocap,通过机械臂操作采集带真实6D位姿标注的图像训练模型,效果优于三维重建合成数据训练的模型。
2024-07-10 cs.HC cs.RO
An Open Tele-Impedance Framework to Generate Data for Contact-Rich Tasks in Robotic Manipulation
Istituto Italiano di Tecnologia(意大利技术研究院)
在机器学习中使用大型数据集已经取得了出色的结果,在某些情况下,在被认为是机器不可能完成的任务中,它的表现超过了人类。然而,在处理物理交互任务时,例如,在接触丰富的机器人操作中,仍然是一个很大的挑战。众所周知,调节这种操作的笛卡尔阻抗对于它们的成功执行是至关重要的。像强化学习(RL)这样的方法可能是解决此类问题的一个很有前途的范例。更确切地说,在解决新任务时使用任务不可知的专家演示来引导学习的方法具有巨大的潜力,因为它们可以利用大型数据集。然而,现有的数据汇集系统昂贵、复杂,或者不允许阻抗调节。这项工作是迈向数据汇集框架的第一步,该框架适用于收集与RL问题制定兼容的基于阻抗的专家演示的大型数据集,其中使用了一种新的动作空间。该框架是根据广泛分析机器人操作的可用数据汇集框架后获得的要求设计的。其结果是一个低成本和开放访问的远程阻抗框架,使人类专家能够演示接触丰富的任务。
2023-02-06 cs.RO
High Throughput Soybean Pod-Counting with In-Field Robotic Data Collection and Machine-Vision Based Data Analysis
EarthSense Inc.(EarthSense公司);University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们报告了有希望的结果,高通量的田间大豆豆荚计数与小型移动机器人和机器视觉算法。我们的研究结果表明,基于机器视觉的大豆荚果数与大豆产量密切相关。虽然荚果计数与大豆产量有很强的相关性,但荚果计数是极其劳动密集型的,并且难以自动化。我们的研究结果表明,配备视觉传感器的自主机器人可以自主收集大豆成熟时的数据。机器视觉算法可用于以高通量、自动化的方式估计种植在实验单元(EU或地块)上的大型多样性面板上的豆荚计数。我们报告我们的自动豆荚计数和大豆产量之间的相关性为0.67。这些数据是在一项实验中收集的,该实验由伊利诺伊大学大豆育种计划在2020年生长季节维护的1463个单行地块组成。我们还报告了一个较小的数据集的16个地块的自动豆荚计数和手动豆荚计数之间的相关性为0.88。
2021-05-27 cs.CV cs.RO
PATO: Policy Assisted TeleOperation for Scalable Robot Data Collection
USC(南加州大学);UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院)
本文提出 PATO 策略辅助遥操作系统,通过学习的辅助策略自动执行重复行为并在不确定时请求人类输入,从而降低操作员负荷、提升效率并支持一人并行控制多台机器人。
2023-06-01 cs.AI cs.LG cs.RO
RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark
The Hong Kong University of Science and Technology(香港科学与技术大学);Zhejiang University(浙江大学);Westlake University(西湖大学);Tsinghua University(清华大学);Zhejiang University of Technology(浙江工业大学);Shanghai Jiao Tong University(上海交通大学)
本文提出RoboMemArena,一个包含26个任务的大型基准,通过多模态注释和真实世界评估,改进了现有机器人记忆基准的不足。PrediMem在基准测试中表现优异,为复杂记忆系统提供了新的见解。
2026-05-11 cs.RO
LLM Trainer: Automated Robotic Data Generation via Demonstration Augmentation using LLMs
Carnegie Mellon University(卡内基梅隆大学)
提出LLM Trainer,一种利用大语言模型的世界知识将少量人类演示自动扩展为大规模机器人数据集的管道,通过离线标注和在线关键姿势重定向生成新轨迹,并采用汤普森采样优化标注。
2026-05-31 cs.RO
Data Games: A Game-Theoretic Approach to Swarm Robotic Data Collection
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
联网自动驾驶汽车(AV)车队收集TB级的传感数据,这些数据通常被传输到中央服务器(“云”)以训练机器学习(ML)模型。理想情况下,这些车队应该上传所有数据,特别是来自罕见操作环境的数据,以便训练健壮的ML模型。然而,由于高昂的网络带宽和数据标签成本,这是不可行的。相反,我们提出了一种合作数据采样策略,在这种策略中,地理分布的AV合作在云中收集不同的ML训练数据集。由于AV具有共享的目标,但关于彼此的本地数据分布和感知模型的信息最少,因此我们可以自然地将合作数据汇集视为$N$ -玩家数学游戏。我们表明,我们的合作采样策略使用最少的信息收敛到一个集中的预言机的政策,所有AV的完整信息。此外,我们从理论上描述了我们的博弈论策略相比贪婪采样的性能优势。最后,我们通过实验证明,我们的方法在4个感知数据集上的性能优于标准基准,最高可达$21.9\%$,包括在恶劣天气条件下的自动驾驶。至关重要的是,我们在真实世界数据集上的实验结果与我们的理论保证密切一致。
2023-03-07 cs.AI cs.MA cs.RO
Bootstrapping Imitation Learning for Long-horizon Manipulation via Hierarchical Data Collection Space
CVTE(中国维克托技术有限公司);SYSU(深圳大学);SWJTU HKU(上海交通大学香港大学)
本文提出分层数据采集空间(HD-Space),通过将长时程操作任务分解为原子任务并设计相应状态/动作空间,以少量演示数据训练出更稳健的模仿学习策略,在模拟和真实任务中显著提升性能。
2025-05-23 cs.AI cs.RO
Vision-based Obstacle Removal System for Autonomous Ground Vehicles Using a Robotic Arm
North Carolina State University(北卡罗来纳州立大学);Indian Institute of Technology Patna(印度理工学院巴特那分校);Zhejiang University(浙江大学)
在过去的几年里,用于数据汇集和视觉监控应用的配备摄像头的机器人平台的使用呈指数级增长。有许多物体的杂乱建筑工地(例如,砖、管道等)地面上的环境对于移动无人驾驶地面车辆(UGV)导航是具有挑战性的环境。为了解决这个问题,本研究提出了一种移动UGV配备了一个立体摄像机和一个机械臂,可以清除沿UGV的路径障碍物。为了实现这一目标,周围的环境是由立体摄像机捕获和障碍物检测。通过机器人操作系统(ROS)将障碍物相对于UGV的位置发送到机械臂模块。然后,机械臂拾起并移除障碍物。该方法将大大提高施工监测的自动化程度和数据汇集频率。该系统通过两个案例进行了验证。结果成功地证明了障碍物的检测和清除,作为开发具有各种施工操作应用的自主UGV的有利因素之一。
2019-01-24 cs.RO
Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation
Northeastern University(东北大学);NVIDIA(英伟达)
研究机器人操作中组合泛化问题,通过引入诊断框架量化指令因素偏差,提出偏差感知数据收集策略,能定位预训练策略捷径问题,实现更高效可泛化的策略学习。
2026-07-24 cs.CV cs.RO
Do You Know the Way? Human-in-the-Loop Understanding for Fast Traversability Estimation in Mobile Robotics
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对非结构化环境中机器人通行性估计面临的数据标注成本高及领域偏移问题,提出一种按需请求人类标注的人在环方法,利用基础模型在少量标注下实现快速学习与准确预测,并在仿真和真实数据中达到最先进性能。
2025-04-28 cs.RO
Multi-Risk-RRT: An Efficient Motion Planning Algorithm for Robotic Autonomous Luggage Trolley Collection at Airports
Southern University of Science and Technology(南方科技大学);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院);University of Pennsylvania(宾夕法尼亚大学);Shanghai Jiao Tong University(上海交通大学);Yanshan University(燕山大学)
本文提出Multi-Risk-RRT算法,通过多子树并行探索与主树启发式信息融合,提升机场行李推车收集机器人在动态环境中的运动规划效率与稳健性。
2023-09-20 cs.RO
UMIGen: A Unified Framework for Egocentric Point Cloud Generation and Cross-Embodiment Robotic Imitation Learning
Shenzhen International Graduate School, Tsinghua University(深圳国际研究生院,清华大学)
针对数据驱动机器人学习中演示数据收集难、UMI缺乏3D几何信息的问题,提出UMIGen统一框架,含Cloud-UMI设备和可见性感知优化机制,实现高效数据生成与跨具身迁移,提升跨具身泛化能力并加速数据收集。
2025-11-12 cs.RO
MILE: A Mechanically Isomorphic Hand Exoskeleton and Visuotactile Robotic Hand for Data Collection in Dexterous Manipulation
State Key Laboratory of Mechanical System and Vibration, School of Mechanical Engineering, Shanghai Jiao Tong University, Shanghai 200240, China(机械系统与振动国家重点实验室,上海交通大学机械工程学院,上海200240,中国);Shanghai Key Laboratory of Intelligent Robotics, Shanghai Jiao Tong University, Shanghai 200240, China(智能机器人上海重点实验室,上海交通大学,上海200240,中国);Shanghai Artificial Intelligence Laboratory, Shanghai, China(上海人工智能实验室,上海,中国);Humanoid Robot (Shanghai) Co., Ltd., Shanghai, China(上海人形机器人有限公司,上海,中国)
针对现有灵巧操作数据采集系统运动重定向不准确、效率低、缺乏高分辨率指尖触觉传感的问题,提出MILE系统,通过从人手到外骨骼再到机械手的机械同构设计,实现无重定向精确控制,并集成指尖视觉触觉模块,采集多模态数据集,显著提升遥操作成功率。
2026-09-29 cs.CV cs.HC cs.RO
Robotic Skill Acquisition via Instruction Augmentation with Vision-Language Models
Robotics at Google(谷歌机器人部门);University of Toronto(多伦多大学)
本文提出DIAL方法,利用预训练视觉语言模型CLIP的语义理解能力,为大规模未标注机器人演示数据自动生成语言标签,使模仿学习策略能以更低成本获取新能力并泛化至未见指令。
2023-07-01 cs.AI cs.LG cs.RO
DexHub and DART: Towards Internet Scale Robot Data Collection
Improbable AI Lab(不可想象人工智能实验室)
本文提出基于云仿真和增强现实的众包遥操作平台 DART,以提升数据采集效率并降低疲劳,其采集数据存入 DexHub 数据库,训练策略可迁移至现实且鲁棒。
2024-11-04 cs.RO
RoboVQA: Multimodal Long-Horizon Reasoning for Robotics
Google DeepMind(谷歌DeepMind)
本文提出RoboVQA数据集与可扩展多具身数据收集方案,并训练RoboVQA-VideoCoCa,显著降低真实机器人长程任务的认知干预率。
2023-11-01 cs.RO