Wild Visual Navigation: Fast Traversability Learning via Pre-Trained Models and Online Self-Supervision
University of Oxford(牛津大学);ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对自然环境中机器人导航易出现障碍物感知误差的问题,提出WVN在线自监督视觉可通行性学习系统,利用预训练模型高维特征与在线监督生成方案,仅需短时间野外训练即可实现复杂陌生户外地形导航。
2024-04-10 cs.CV cs.LG cs.RO
Fast Traversability Estimation for Wild Visual Navigation
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Oxford(牛津大学)
提出仅依赖视觉的在线自监督系统WVN,通过实时监督生成和视觉Transformer特征,在5分钟内实现地形分割,解决野外复杂环境机器人导航问题。
2023-05-16 cs.CV cs.LG cs.RO
EgoWild2Dex: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience
The University of Hong Kong(香港大学);Kinetix AI
EgoWild2Dex利用真实世界以自我为中心的人类数据,通过GeoFormer对齐视点和动作,实现双臂灵巧操作,在真实机器人上达到96.7%成功率,并发布538.9小时数据集。
2026-09-22 cs.RO
Cross-Modal Benchmarking for Robotic Perception in Natural Environments
CSIRO Robotics, CSIRO, Australia(CSIRO机器人研究所,CSIRO,澳大利亚);University of Sydney (USyd), Australia(悉尼大学(USyd),澳大利亚);Queensland University of Technology (QUT), Australia(昆士兰理工大学(QUT),澳大利亚)
针对自然环境中机器人感知的挑战,提出WildCross跨模态基准,用于大规模自然场景下的地点识别和度量深度估计,并扩展了度量深度估计实验。
2026-06-11 cs.CV cs.RO
GrandTour: A Legged Robotics Dataset in the Wild for Multi-Modal Perception and State Estimation
ETH Zurich(苏黎世联邦理工学院);Stanford University(斯坦福大学);UC Berkeley(伯克利大学);Oxford University(牛津大学)
GrandTour数据集为多模态感知与状态估计提供了大规模野外腿式机器人数据,支持SLAM和高精度状态估计的研究与开发。
2026-07-09 cs.RO
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation
Technical University of Munich(慕尼黑工业大学);ETH Zürich(苏黎世联邦理工学院);Microsoft(微软公司)
VidBot利用野外人类视频学习3D可供性,通过从粗到细的模型生成交互轨迹,实现零样本机器人操作,在13个任务中显著优于现有方法。
2025-03-27 cs.CV cs.RO
Robot Operating System 2: Design, Architecture, and Uses In The Wild
Samsung Research America(三星美国研究院);Open Robotics(开放机器人组织)
机器人革命的下一章正在顺利进行,机器人将被部署到广泛的商业用例中。即使在无数的应用和环境中,机器人也有一个共同的组件词汇表-需要模块化,可扩展和可靠的架构;传感;规划;移动性;和自主性。机器人操作系统(ROS)是最后一章的一个组成部分,它使用免费提供的组件和模块化框架,大大加快了机器人研究的速度。然而,ROS 1并没有设计许多必要的生产级功能和算法。ROS 2及其相关项目已经重新设计,以满足现代机器人系统在各种规模的新领域和探索领域提出的挑战。在这篇评论中,我们强调了ROS 2的哲学和架构变化,为机器人革命的新篇章提供动力。我们还通过案例研究的影响ROS 2和它的采用加速真正的机器人系统可靠的部署在各种各样的挑战性的环境。
2022-11-14 cs.RO
Developing Flying Explorer for Autonomous Digital Modelling in Wild Unknowns
College of Civil Aviation, Nanjing University of Aeronautics and Astronautics(南京航空航天大学民航学院);College of Engineering, South China Agriculture University(华南农业大学工程学院)
本文提出面向野外未知环境的自主数字建模方法,通过最小代价多路径规划与AREX系统实现高效探索和鲁棒定位建图。
2023-12-29 cs.RO
Recognizing Objects In-the-wild: Where Do We Stand?
TU Wien(维也纳技术大学);Italian Institute of Technology(意大利理工学院)
识别物体的能力是机器人系统在人类居住环境中工作的基本技能。尽管机器人和视觉研究界几十年来一直在努力,但机器人仍然缺乏良好的视觉感知系统,这阻碍了自主智能体在现实世界中的应用。由于缺乏能够准确代表机器人在野外感知的世界的测试平台,进展缓慢。为了填补这一空白,我们引入了一个大规模的,多视图对象数据集收集与安装在移动机器人上的RGB-D相机。该数据集嵌入了机器人在现实应用中面临的挑战,并为验证对象识别算法提供了有用的工具。除了描述数据集的特征外,本文还评估了一系列成熟的深度卷积网络在新数据集上的性能,并分析了深度表示从Web图像到机器人数据的可移植性。尽管使用这种表示方法获得了有希望的结果,但实验表明,使用现实生活中的机器人数据进行对象分类远未解决。最后,我们提供了一个比较研究,分析和突出机器人视觉的开放性挑战,解释性能的差异。
2018-05-22 cs.CV cs.RO
AirExo-2: Scaling up Generalizable Robotic Imitation Learning with Low-Cost Exoskeletons
Shanghai Jiao Tong University(上海交通大学);Noematrix;Shanghai Innovation Institute(上海创新研究院)
针对现实机器人模仿学习中演示数据收集的效率与成本问题,提出低成本外骨骼系统AirExo-2用于大规模野外数据收集,并设计适配器转换数据,结合RISE-2策略提升域内及泛化性能,性能可媲美遥操作数据训练结果。
2025-08-25 cs.RO
Learning Generalizable Robotic Reward Functions from "In-The-Wild" Human Videos
Stanford University(斯坦福大学)
我们的目标是实现能够在许多环境中完成各种任务的多面手机器人。关键是机器人获得任务成功或奖励的能力,这对于强化学习、规划或知道何时寻求帮助是必要的。对于在现实世界中运行的通用机器人,该奖励函数还必须能够广泛地推广到环境、任务和对象,同时仅依赖于机载传感器的观察结果(例如RGB图像)。虽然在大型和多样化的数据集上进行深度学习已经显示出了在计算机视觉和自然语言中实现这种泛化的前景,但大规模收集高质量的机器人交互数据集仍然是一个开放的挑战。相比之下,人类的“野外”视频(例如YouTube)包含了大量在各种环境中做有趣任务的人。在这项工作中,我们提出了一种简单的方法,域不可知的视频判别器(DVD),通过训练一个判别器来分类两个视频是否正在执行相同的任务,从而学习多任务奖励函数,并且可以通过从少量的机器人数据中学习广泛的人类视频数据集来进行推广。我们发现,通过利用不同的人类数据集,该奖励函数(a)可以将zero shot推广到看不见的环境,(b)将zero shot推广到看不见的任务,(c)可以与视觉模型预测控制相结合,从单个人类演示中解决真实WidowX200机器人在看不见的环境中的机器人操作任务。
2021-03-31 cs.AI cs.CV cs.LG
An Open-Source Soft Robotic Platform for Autonomous Aerial Manipulation in the Wild
Soft Robotics Laboratory(软机器人实验室);Department of Mechanical and Process Engineering(机械与过程工程系)
本研究提出了一种开源软机器人平台,利用机载感知系统实现自主空中操控,提高了应用的可扩展性和实用性。
2025-12-08 cs.RO cs.SY eess.SY
PointWorld: Scaling 3D World Models for In-The-Wild Robotic Manipulation
Stanford University(斯坦福大学);NVIDIA(英伟达)
PointWorld通过统一状态和动作的3D点流模型,实现了在真实世界中机器人操作的高效预测与控制,无需额外演示或训练。
2026-01-07 cs.AI cs.CV cs.RO
D3ARC: Time-Critical Distributed Disaster Detection for Asynchronous Cooperative Multi-Robot Systems
National and Kapodistrian University of Athens(雅典国立及卡波迪斯特里亚大学);Huawei Heisenberg Research Center(华为海森堡研究中心)
D3ARC提出异步分布式分层框架,通过多机器人协作感知与前瞻策略评估,在时限内高效可靠地检测野火,模拟中任务成功率达94%。
2026-09-09 cs.AI cs.CV cs.MA
Exposing the Long-tail in Embodied Urban Navigation via Scalable Learning from In-the-Wild Videos
该研究提出可扩展框架,从网络规模野外 egocentric 视频学习点目标城市导航策略,自动注释视频并训练视觉-语言-动作策略,表征并诊断导航长尾分布与失败模式,验证了知识迁移效果并揭示长尾结构。
2026-08-18 cs.RO
Category-Level 6D Object Pose Estimation in the Wild: A Semi-Supervised Learning Approach and A New Dataset
UC San Diego(加州大学圣地亚哥分校)
目标的6维位姿估计是计算机视觉和机器人研究中的基本问题之一。虽然最近已经在将姿态估计推广到同一类别内的新对象实例(即类别级6D姿态估计)方面做出了很多努力,但是在给定有限数量的注释数据的约束环境中,它仍然受到限制。在本文中,我们收集了Wild6D,一个新的未标记的RGBD对象视频数据集,具有不同的实例和背景。我们利用这些数据来推广类别级的6D对象姿态估计在野外与半监督学习。我们提出了一个名为Rendering for Pose estimation网络RePoNet的新模型,该模型使用自由地面实况与合成数据以及真实世界数据上的轮廓匹配目标函数进行联合训练。在不对真实数据使用任何3D注释的情况下,我们的方法在以前的数据集和我们的Wild6D测试集(带有手动注释进行评估)上的性能大大优于最先进的方法。Wild6D数据的项目页面:https://oasisyang.github.io/semi-pose。
2022-06-30 cs.CV cs.RO
Don't Fool Me Twice: Adapting to Adversity in the Wild with Experience-Driven Reasoning
Department of Engineering Design, Indian Institute of Technology, Madras(印度理工学院工程设计系,马德拉斯);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
提出一种持续学习框架,使移动机器人能够在线从干扰中学习,通过语义将异常行为归因于原因,从而更好地预测和规划未来。
2026-07-23 cs.LG cs.RO
WildLMa: Long Horizon Loco-Manipulation in the Wild
UC San Diego(加州大学圣地亚哥分校);MIT(麻省理工学院)
WildLMa 面向四足机器人在真实环境中的长时程移动操作,结合 VR 遥操作底层控制、可泛化视觉运动技能库和 LLM 技能规划接口,以少量演示实现跨物体泛化并验证了清理、关节操作等实际任务。
2025-03-08 cs.CV cs.LG cs.RO
Excavating in the Wild: The GOOSE-Ex Dataset for Semantic Segmentation
Fraunhofer Institute of Optronics, System Technologies and Image Exploitation(弗劳恩霍夫光学与系统技术研究所);Institute for Autonomous Systems Technology, University of the Bundeswehr Munich(联邦国防军慕尼黑大学自主系统技术研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本文开源GOOSE-Ex数据集,含5000个多模态标记帧,用于提升非结构化环境中语义分割的泛化性,并验证跨平台性能。
2025-09-26 cs.CV cs.RO
Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets
University of California, Berkeley(加州大学伯克利分校)
提出Robo2VLM框架,利用大规模野外机器人轨迹数据生成VQA数据集Robo2VLM-1,以增强和评估VLM的空间与交互推理能力。
2025-06-18 cs.AI cs.CL cs.LG
Robotic Sim-to-Real Transfer for Long-Horizon Pick-and-Place Tasks in the Robotic Sim2Real Competition
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Tianjin University(天津大学)
本文提出全自主机器人系统,通过轻量级抗噪视觉感知与非线性鲁棒伺服控制,在不修改算法的情况下实现长时程抓放任务的高一致性仿真到真实迁移,并赢得ICRA 2024相关竞赛第一名。
2025-03-14 cs.RO
Action Planning for Packing Long Linear Elastic Objects into Compact Boxes with Bimanual Robotic Manipulation
The Hong Kong Polytechnic University(香港理工大学)
在本文中,我们提出了一个新的行动规划方法,自动包装长线性弹性物体到共同大小的箱子与双手机器人系统。为此,我们开发了一种混合几何模型来处理大规模的遮挡,结合在线基于视觉的方法和离线参考模板。然后,一个参考点生成器被引入到自动规划的参考位姿为预先设计的动作基元。最后,一个行动计划集成这些组件,使执行高层次的行为和包装操作任务的完成。为了验证所提出的方法,我们进行了详细的实验研究与多种类型和长度的对象和包装盒。
2022-07-19 cs.RO
DexSkills: Skill Segmentation Using Haptic Data for Learning Autonomous Long-Horizon Robotic Manipulation Tasks
University of Edinburgh(爱丁堡大学);Queen Mary University of London(伦敦玛丽女王大学);Amazon Transportation Services(亚马逊运输服务公司);University College London(伦敦大学学院)
DexSkills提出一种基于触觉数据的监督学习框架,将长时程灵巧操作任务分解为可复用原始技能并实现机器人一次性自主执行。
2024-05-06 cs.RO
LongBench: Evaluating Robotic Manipulation Policies on Real-World Long-Horizon Tasks
Fudan University(复旦大学)
LongBench通过1000多个真实任务评估长时域机械臂策略,区分全观测和依赖上下文的两种模式,揭示执行鲁棒性和上下文推理的重要性。
2026-04-18 cs.RO
Caltech Aerial RGB-Thermal Dataset in the Wild
California Institute of Technology(加州理工学院)
本文提出首个面向自然环境的航空RGB-热成像数据集,覆盖多种地形并含10类语义标注,同时构建了语义分割、图像转换和运动跟踪基准,揭示了时空域偏移挑战。
2024-07-31 cs.CV cs.RO
A 3D Face Modelling Approach for Pose-Invariant Face Recognition in a Human-Robot Environment
Technische Universität München(慕尼黑工业大学);Reutlingen University(罗伊特林根大学);University of Surrey(萨里大学)
人脸分析技术已经成为辅助机器人和仿人机器人领域人机交互的重要组成部分。然而,在这些环境中自然出现的头部姿势的变化仍然是一个巨大的挑战。在本文中,我们提出了一个实时的三维人脸建模框架,适用于机器人的2D在野外图像。3D可变形模型的拟合完全基于自动检测的地标。在拟合之后,面部可以在姿态上被校正并且被变换回更适合于面部识别的正面2D表示。我们进行人脸识别实验与非正面图像从MUCT数据库和不受控制的,在野生图像从PaSC数据库,最具挑战性的人脸识别数据库,迄今为止,表现出更好的性能。最后,我们提出了我们的SCITOS G5机器人系统,其中包括我们的框架作为人脸分析的图像预处理的手段。
2016-06-01 cs.CV cs.HC cs.RO
The Free-play Sandbox: a Methodology for the Evaluation of Social Robotics and a Dataset of Social Interactions
Plymouth University(普利茅斯大学)
以严格的方式评估人类与机器人的社会互动是非常困难的:研究要么在实验室中进行,使用受约束的协议,以允许强大的测量和一定程度的可复制性,但以生态有效性为代价;或者在野外进行,这导致了卓越的实验现实主义,但通常具有有限的可复制性,并以严格的互动指标为代价。我们介绍了一种新的互动模式,旨在引起丰富多样的社会互动,同时具有理想的科学属性(可复制性,明确的指标,自主或绿野仙踪机器人行为的可能性)。这种模式侧重于儿童与机器人的互动,并建立在沙箱自由游戏环境的基础上。我们提出了互动范式的原理和设计,其方法和技术方面(包括软件平台的开源实现),以及两个大型开放数据集与此范式获得,并意味着作为未来研究的实验基线。
2017-12-06 cs.HC cs.RO
Kitting in the Wild through Online Domain Adaptation
技术的发展要求提高机器人的感知和行动能力。除其他技能外,还需要能够适应工作条件任何可能变化的视觉系统。由于这些条件是不可预测的,我们需要的基准,允许评估我们的视觉识别算法的泛化和鲁棒性的能力。在这项工作中,我们专注于在不受约束的情况下,机器人配套。作为第一个贡献,我们提出了一个新的视觉数据集的配套任务。从标准的对象识别数据集,我们提供了在各种条件下,其中相机,照明和背景发生变化的相同对象的图像。这个新的数据集允许测试机器人视觉识别算法的鲁棒性,以一系列不同的域转移都在隔离和统一。我们的第二个贡献是一种新的深度模型在线自适应算法,该算法基于批量归一化层,允许不断地使模型适应当前的工作条件。与标准的领域自适应算法不同,它在训练时不需要来自目标域的任何图像。我们基准的算法的性能建议的数据集,显示其能力,以填补一个标准的架构和其对应的离线适应给定的目标域的性能之间的差距。
2018-07-03 cs.CV cs.RO
Spatially Grounded Long-Horizon Task Planning in the Wild
Korea University(韩国大学);Microsoft Research(微软研究院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出了一种基于空间的规划任务,引入了GroundedPlanBench基准,评估机器人在真实环境中的长时域动作规划能力,并通过V2GP框架提升空间接地规划性能。
2026-03-13 cs.AI cs.RO
Optimal decision making in robotic assembly and other trial-and-error tasks
University of Colorado Boulder(科罗拉多大学博尔德分校)
感知、驱动和环境的不确定性通常需要多次尝试才能使机器人任务成功。我们研究了一类问题,提供(1)终端成功/失败的低熵指标,以及(2)不可靠的(高熵)数据来预测正在进行的任务的最终结果。例如,机器人试图连接充电站、平行停车或组装紧密配合的零件。与简单地运行到故障相比,在早期预测故障后重新启动的能力可以显著减少完工时间,即完成的总时间,缺点是可能缩短否则成功的操作。假设任务的运行时间是泊松分布,并使用马尔可夫跳过程来捕捉底层马尔可夫决策过程的动态,我们推导出一个封闭的形式的解决方案,预测基于混淆矩阵的故障预测的完工时间。这允许机器人在生产环境中学习故障预测,并且只有在实际节省时间时才采取先发制人的策略。我们证明了这种方法使用一个真正的机器人系统的机器人钉孔装配问题。通过基于力-扭矩数据的扩张卷积网络预测故障,显示平均完工时间从101秒减少到81秒(N=120,p<0.05)。我们认为,所提出的算法推广到任何机器人的行为与一个明确的终端奖励,广泛的应用,机器人如何学习和改善他们的行为在野外。
2023-01-25 cs.AI cs.RO
Robotic Ironing with 3D Perception and Force/Torque Feedback in Household Environments
Universidad Carlos III de Madrid(卡洛斯三世大学)
随着机器人系统在家庭环境中变得越来越流行,所需任务的复杂性也增加了。在这部作品中,我们关注的是大多数人认为枯燥乏味的家务劳动,熨衣服的任务。所提出的算法通过将3D感知与力/扭矩感测相结合来改进以前的有限数量的作品,重点是在国内环境中找到一个可行的实施方案。我们的算法获得了工作环境的点云表示。从该点云,服装被分割,并且计算定制的褶皱局部描述符(WiLD)以确定当前褶皱的位置。使用该描述符,计算最合适的熨烫路径,并且基于该熨烫路径,操纵算法执行力控制熨烫操作。实验已经进行了人形机器人平台,证明我们的算法是能够成功地检测存在于服装中的皱纹,并使用未修改的铁迭代减少褶皱。
2017-06-16 cs.CV cs.RO
Robots in the Wild: Contextually-Adaptive Human-Robot Interactions in Urban Public Environments
Design Lab, The University of Sydney(悉尼大学设计实验室);The Australian Centre for Robotics, The University of Sydney(悉尼大学澳大利亚机器人中心);Faculty of Arts and Social Sciences, The University of Sydney(悉尼大学文学与社会科学学院)
本文提出一个为期半天的 OzCHI 研讨会,探讨城市公共环境中情境自适应 HRI 的设计挑战与协作网络。
2024-12-10 cs.HC cs.RO
Long-Term, in-the-Wild Study of Feedback about Speech Intelligibility for K-12 Students Attending Class via a Telepresence Robot
New Mexico State University(新墨西哥州立大学);San Jose State University(圣何塞州立大学);University of Southern California(南加州大学)
远程呈现机器人为远程用户提供了存在,体现和移动性,使其成为在家K-12学生的有前途的选择。然而,机器人操作员很难知道他们在遥远和嘈杂的教室环境中被听到的程度。一种解决方案是估计操作者对他们的听众的语音可懂度,以便向操作者提供关于它的反馈。这项工作有助于第一次评估的语音清晰度反馈系统在家K-12学生远程上课。在我们的四次长期野外部署中,我们发现学生以不同的音量说话,而不是调整机器人的音量,并且需要详细的音频校准和网络延迟反馈。我们还贡献了第一个发现的类型和频率的多模态理解线索给在家的学生在课堂上的听众。通过对700多条线索的注释和分类,我们发现最常见的线索形式是会话的话轮时间和言语内容。会话轮时间线索发生更频繁的整体,而口头内容线索包含更多的信息,可能是最常见的形式为负面线索。我们的工作为远程呈现系统提供了建议,这些系统可以进行干预,以确保远程用户被听到。
2021-08-24 cs.HC cs.RO
Classification of User Satisfaction in HRI with Social Signals in the Wild
TH Köln - University of Applied Sciences, Cologne Cobots Lab, Betzdorfer Str. 2, 50679, Germany(TH Köln应用科学大学,科隆Cobots实验室);KI Park e.V. & FAU - Friedrich-Alexander University of Erlangen-Nuremberg(KI Park协会与弗赖堡-埃尔兰根-纽伦堡大学)
本研究通过分析真实环境中的社交信号,自动分类用户满意度,以提升SIAs的交互性能和用户体验。
2025-12-03 cs.HC cs.RO
WildScenes: A Benchmark for 2D and 3D Semantic Segmentation in Large-scale Natural Environments
CSIRO(联邦科学与工业研究组织)
本文提出WildScenes,一个大规模自然环境双模态语义分割基准,包含2D图像和3D LiDAR点云标注,支持标准与领域适应任务,并通过自动化流程生成3D标签与数据划分。
2024-11-12 cs.CV cs.RO
WIT-UAS: A Wildland-fire Infrared Thermal Dataset to Detect Crew Assets From Aerial Views
Carnegie Mellon University(卡内基梅隆大学)
该研究提出首个聚焦野外火灾环境的红外热成像装备检测数据集WIT-UAS,验证其可显著降低检测假阳性率,公开数据以推动相关模型研究。
2023-12-14 cs.CV cs.RO
When to Say "Hi" -- Learn to Open a Conversation with an in-the-wild Dataset
Cologne Cobots Lab, TH Köln - University of Applied Sciences(科隆机器人实验室,TH Köln应用科学大学);KI Park e.V. & FAU - Friedrich-Alexander University of Erlangen-Nuremberg(KI Park协会与弗赖堡-艾尔朗根-纽伦堡大学)
本文提出IIS系统,通过真实场景数据集训练,实现基于用户身体语言的对话开启识别与判断。
2025-12-03 cs.HC cs.RO
Doduo: Learning Dense Visual Correspondence from Unsupervised Semantic-Aware Flow
the University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出 Doduo,利用语义先验和自监督光流变形,从无标注野外视频中学习鲁棒的密集视觉对应,并在点级对应及机器人任务上验证优势。
2023-09-26 cs.AI cs.CV cs.RO
CMRNext: Camera to LiDAR Matching in the Wild for Localization and Extrinsic Calibration
Department of Computer Science, University of Freiburg(弗莱堡大学计算机科学系)
提出 CMRNext,通过光流估计建立相机像素与 LiDAR 点的对应并求解 PnP,实现可零样本泛化的单目定位和相机-LiDAR 外参标定。
2025-02-14 cs.CV cs.RO
Toward Accurate Long-Horizon Robotic Manipulation: Language-to-Action with Foundation Models via Scene Graphs
Department of Electrical and Computer Engineering, King Abdullah University of Science and Technology (KAUST)(电气与计算机工程系,国王 Abdullah 科学与技术大学)
本文提出一种基于预训练基础模型且无需领域特定训练的机器人操作框架,通过动态维护场景图提供空间感知,结合多模态感知与通用推理模型实现稳健任务排序,在桌面实验中验证了其构建操作系统的潜力。
2025-10-31 cs.AI cs.LG cs.RO
Long-Term, Store-Front Robotics: Interactive Music for Robotic Arm, Caxixi and Frame Drums
University of Technology Sydney(悉尼科技大学);Macquarie University(麦考瑞大学);Australian Cobotics Centre(澳大利亚协作机器人中心)
本文提出将UR3机械臂、定制框鼓与自适应音乐生成系统结合,在零售环境中进行为期三周的交互式机器人音乐演奏装置展示,验证了工业机器人在艺术表达与提升购物体验方面的技术可行性与艺术潜力。
2024-07-24 cs.RO cs.SD eess.AS
Affordances from Human Videos as a Versatile Representation for Robotics
CMU(卡内基梅隆大学);Meta AI
本文提出VRB方法,通过从互联网人类视频中学习视觉可供性模型,估计场景中人类可能的交互位置和方式,并将其无缝集成到离线模仿学习、探索、目标条件学习和强化学习动作参数化四种范式中,在多个真实环境和任务上验证了机器人执行复杂任务的有效性。
2023-04-17 cs.AI cs.CV cs.LG