Controlling Robots using Artificial Intelligence and a Consortium Blockchain
Departamento de Informática, Universidade of Beira Interior(比拉内格罗大学计算机系);Instituto de Telecomunicações(电信研究所)
区块链是一种通常用于金融应用的颠覆性技术,但在某些机器人环境中也非常有益,例如需要不可变的事件寄存器时。在机器人环境中有用的区块链的几个属性中,我们发现不仅不变性,而且数据的分散性,不可逆性,可访问性和不可否认性。在本文中,我们提出了一种架构,该架构使用区块链作为分类帐和智能合约技术,通过使用外部方Oracle来处理数据来进行机器人控制。我们展示了如何以安全的方式注册事件,如何使用智能合约来控制机器人,以及如何与外部人工智能算法进行图像分析。所提出的架构是模块化的,可以用于多种情况下,如在制造,网络控制,机器人控制,和其他,因为它很容易集成,适应,维护和扩展到新的领域。
2019-03-02 cs.RO
Event-driven Fabric Blockchain -- ROS 2 Interface: Towards Secure and Auditable Teleoperation of Mobile Robots
University of Turku(图尔库大学)
针对移动机器人远程操作的安全与可审计需求,本文设计实现事件驱动的 Hyperledger Fabric-ROS 2 桥接器,并通过小型空中机器人实验验证其在高负载下的低延迟及单/多机器人控制能力。
2023-04-03 cs.RO
Towards blockchain-based robonomics: autonomous agents behavior validation
Robotics Institute, Innopolis University(Innopolis大学机器人研究所)
去中心化的交易市场方法,即自主智能体和人们都可以消费和生产服务,扩大自己实现目标的机会,作为第四次工业革命的一部分,看起来非常有希望。该方法的关键组成部分是一个区块链平台,允许代理之间通过责任智能合约进行交互。服务提供商的可靠性通常由信誉模型确定。然而,该解决方案仅在服务提供商不能正确执行任何先前的责任的情况下警告未来客户对服务提供商的信任程度。另一方面,区块链共识协议还可以包括一个验证程序,该程序可以检测不正确的责任执行,以便暂停对可疑服务提供商的支付交易。基于有限状态自动机的数学模型和时态逻辑特性,采用模型检验方法,提出了一种分散交易市场中基于代理的服务提供商的债务执行的验证方法.为了证明这一概念,我们在Duckietown应用程序中实现了该方法,移动自主移动机器人以实现任务目标,并在完成场景结束时进行以下行为验证。
2018-05-08 cs.DC cs.MA cs.RO
Partition-Tolerant and Byzantine-Tolerant Decision-Making for Distributed Robotic Systems with IOTA and ROS 2
University of Turku(图尔库大学)
随着自主机器人解决方案的日益普及,对它们的连接性和多机器人系统内的协作的兴趣正在上升。目前研究的两个方面是机器人安全和安全的多机器人协作强大的拜占庭代理。区块链和其他分布式账本技术(DLT)已经被提出来解决这两个领域的挑战。尽管如此,一些关键挑战包括可扩展性和在现实世界网络中的部署。本文提出了一种集成IOTA和ROS 2的方法,用于更可扩展的基于DLT的机器人系统,同时允许部署后的网络分区容差。据我们所知,这是IOTA智能合约在机器人系统中的首次实现,也是第一个与ROS 2集成的设计。这与依赖以太坊的绝大多数文献相比。我们提出了一个通用的IOTA+ROS 2架构,导致分区容忍的决策过程,也继承了嵌入式区块链结构的拜占庭容忍属性。我们证明了所提出的框架的有效性与间歇性网络连接的系统中的合作映射应用程序。我们在存在网络分区的情况下表现出了相对于以太坊的卓越性能,并且在计算资源利用率方面的影响较低。这些结果为区块链解决方案在分布式机器人系统中的更广泛集成开辟了道路,其连接和计算要求不那么严格。
2022-08-29 cs.RO
Securing Federated Learning in Robot Swarms using Blockchain Technology
CASCB, University of Konstanz(康斯坦茨大学CASCB);Department of Collective Behaviour, Max Planck Institute of Animal Behavior(马克斯·普朗克动物行为研究所群体行为系)
本文提出利用区块链智能合约在机器人集群中实现去中心化联邦学习,并设计防篡改保护机制以抵御故障机器人对训练过程的干扰。
2024-09-03 cs.RO
Multi-agent robotic systems and exploration algorithms: Applications for data collection in construction sites
New York University Abu Dhabi(纽约大学阿布扎比分校);University of the Aegean(爱琴大学)
针对建筑行业自动化水平低的问题,本研究提出多机器人与人类智能体协同作业的方法,并通过双机器人加一人的三维数字化案例验证其能高效完成遮挡空间数据采集任务。
2023-11-02 cs.MA cs.RO
Design specifications of the Human Robotic interface for the biomimetic underwater robot "yellow submarine project"
介绍了一种基于Web的水下水电避碰自主航行仿生潜艇的多智能体设计。本文描述了河流水体的地图拓扑接口的性质和机器人潜艇控制的交互式代理的设计。该代理是迁移在Web上,并在XML/HTML界面设计,具有交互能力和在地图上的可见性。本文从数学上描述了用户界面和用于多Agent描述的地图定义语言
2010-06-28 cs.MA cs.RO
Implementing BDI Continual Temporal Planning for Robotic Agents
University of Trento(特伦托大学);Eurecat - Technology Centre of Catalonia(加泰罗尼亚Eurecat技术中心)
本文提出一种BDI连续时间规划框架,通过交错规划与执行循环集成在线规划与BDI控制,基于ROS2和JavaFF实现,提升代理运行时决策与适应性。
2023-09-01 cs.MA cs.RO
Enhancing Trust in Autonomous Agents: An Architecture for Accountability and Explainability through Blockchain and Large Language Models
Robotics Group, University of León(莱昂大学机器人组)
本研究提出一种面向ROS移动机器人的问责与可解释性架构,结合区块链防篡改黑匣子记录行为,并利用LLMs生成自然语言解释,有效提升了人机交互中的可信度与安全性。
2025-07-15 cs.AI cs.RO
When Prompts Control Robots: Prompt Injection Attacks in Multi-Agent Robotic Systems
School of Informatics, Computing, and Cyber Systems, Northern Arizona University(北亚利桑那大学信息学、计算与网络安全学院);Department of Software Science, Tallinn University of Technology(塔林理工大学软件科学系)
本文针对基于LLM的多智能体机器人系统,系统研究了直接和间接提示注入攻击的风险、传播特性及架构对攻击成功率的影响,是该领域的首项系统性研究。
2026-08-05 cs.AI cs.CR cs.MA
Malleable Agents for Re-Configurable Robotic Manipulators
Princeton University(普林斯顿大学);Nokia Bell Labs(诺基亚贝尔实验室)
可重新配置的机器人对于许多现实世界的任务具有更大的实用性和灵活性。设计一个学习代理来操作这样的机器人需要适应不同的配置。在这里,我们专注于机器人手臂与多个刚性连杆连接关节。我们提出了一种深度强化学习代理,其中嵌入了序列神经网络,以适应具有不同数量链接的机器人手臂。此外,通过域随机化的附加工具,该代理可以适应不同的配置。我们在一个2D N-连杆臂上进行模拟,以显示我们的网络有效传输和推广的能力。
2022-07-26 cs.AI cs.RO
KG-MAS: Knowledge Graph-Enhanced Multi-Agent Infrastructure for coupling physical and digital robotic environments
Walid Abdela(独立研究者)
针对信息物理系统中物理与数字环境集成的异构复杂性,提出知识图谱增强型多智能体基础设施KG-MAS,利用集中式知识图谱作为共享世界模型,通过模型驱动架构自动生成智能体,实现稳健灵活的异构机器人环境耦合。
2025-10-11 cs.AI cs.MA cs.RO
From Scratch to Sketch: Deep Decoupled Hierarchical Reinforcement Learning for Robotic Sketching Agent
Seoul National University(首尔国立大学)
我们提出了一个自动学习框架的机器人素描代理,能够学习基于笔划的渲染和电机控制同时进行。我们制定的机器人素描问题作为一个深度解耦的分层强化学习;两个政策,基于笔划的渲染和电机控制独立学习,以实现子任务的绘图,并形成一个层次结构时,合作的现实世界的绘图。没有手工制作的功能,绘图序列或轨迹,和逆运动学,所提出的方法训练的机器人草图代理从头开始。我们进行了实验,6自由度的机器人手臂与2F夹具素描涂鸦。我们的实验结果表明,这两种策略成功地学习了子任务,并合作绘制目标图像。此外,通过不同的绘图工具和表面检查的鲁棒性和灵活性。
2022-08-09 cs.CV cs.RO
Autonomous robotic bridging using distributed swarm control without inter-agent communication
The University of Texas at Arlington Research Institute(德克萨斯大学阿灵顿分校研究院);Hydronalix, Inc.(Hydronalix公司)
该研究提出无需智能体间通信的分布式群体控制技术,开发SCARAB水上架桥系统,通过无人水面艇仿真验证其可实现分散渡河,提升生存性并减少后勤需求。
2026-11-11 cs.RO
BioMARS: A Multi-Agent Robotic System for Autonomous Biological Experiments
BioMARS平台通过整合LLMs、VLMs与模块化机器人,采用分层多智能体架构自主完成生物实验设计、规划与执行,在细胞培养和分化任务中达到或超越人工水平,展示了AI驱动实验室自动化的可行性。
2025-07-02 cs.AI cs.MA cs.RO
HEART: Coordination of Heterogeneous Expert Agents for Physically Grounded Robotic Task Planning
Sogang University(西江大学)
提出异构多LLM框架HEART,将指令分解为原子推理任务分配给角色专家,通过约束驱动规划合成,提升机器人任务规划的物理可行性和效率。
2026-06-25 cs.RO
Titan: A Parallel Asynchronous Library for Multi-Agent and Soft-Body Robotics using NVIDIA CUDA
Columbia University(哥伦比亚大学);Imperial College London(帝国理工学院)
虽然大多数机器人仿真库都是为低维和本质上串行的任务而构建的,但软体和多智能体机器人技术已经创造了对可以并行建模许多交互体的仿真环境的需求。尽管在这些领域的兴趣越来越大,没有现有的仿真库解决的挑战,提供一个统一的,高度并行化的,GPU加速的接口,模拟大型机器人系统。Titan是一个多功能的基于CUDA的C++机器人仿真库,它采用了一种新颖的异步计算模型,用于机器人原语的GPU加速仿真。创新的GPU架构设计允许在GPU异步运行的同时对CPU进行同步优化和控制,从而实现快速拓扑优化和强化学习迭代。Kinetics解决了一个大规模的并行集成方案,结合约束和环境的力量。我们报告了基于CPU的基线的显着改进的性能,每秒模拟多达3亿次原始更新,同时允许广泛的研究应用程序的灵活性。我们提出了几个应用程序的泰坦高性能模拟软体和多智能体机器人。
2019-11-22 cs.GR cs.RO
EmbodiedSWE: Coding Agents for Long Horizon Dexterous Robotics
ByteDance Seed(字节跳动);Yale University(耶鲁大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Stanford University(斯坦福大学);University of California, Los Angeles(加州大学洛杉矶分校);University of Washington(华盛顿大学)
本研究提出EmbodiedSWE框架,利用编码智能体解决长时程灵巧机器人任务,并通过生成多样化仿真轨迹训练VLA,实现从仿真到真实机器人的策略泛化。
2026-09-28 cs.RO
RLE-Bench: A Qualifying Exam for Coding Agents as Robot Learning Engineers
Harvard University(哈佛大学);Georgia Institute of Technology(佐治亚理工学院)
RLE-Bench提出一个覆盖四种机器人开发工作流的基准,通过多指标评估编码智能体的工程能力,并引入RLE指数以系统比较其多维性能。
2026-09-30 cs.RO
Robotic Behavior Prediction Using Hidden Markov Models
University of Florida(佛罗里达大学)
在许多情况下,机器人拥有类似于理性人类的预测能力是有益的。其中一些情况包括协作机器人,对抗情况下的机器人,以及动态避障。本文提出了一种方法来建模的动态代理的行为,以赋予机器人的能力,以预测代理的行动和识别代理正在执行的行为在实时的。实现的行为建模的方法使用隐马尔可夫模型(HALGOT)的动态代理的不可观察的状态进行建模。介绍了行为建模的背景和理论。真实的机器人模拟预测的行为和动作的动态代理在静态环境中的实验结果。
2014-12-01 cs.RO
Assistax: A Multi-Agent Hardware-Accelerated Reinforcement Learning Benchmark for Assistive Robotics
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出Assistax基准,利用JAX硬件加速和基于多智能体强化学习的辅助机器人任务,实现高达370倍加速,并测试机器人的零样本协调能力。
2026-07-22 cs.AI cs.LG cs.MA
Multi-Agent Systems for Robotic Autonomy with LLMs
Imperial College London(伦敦帝国学院)
本文提出一个基于LLMs的多智能体框架,集成任务分析、机械设计与路径生成,实验表明其能设计可行机器人并提升开发效率。
2025-05-09 cs.AI cs.RO
Cooperative Assistance in Robotic Surgery through Multi-Agent Reinforcement Learning
Heidelberg University Hospital(海德堡大学医院);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
机器人辅助手术中的认知协作协助具有提高微创干预护理质量的潜力。手术任务的自动化有望减少外科医生的精神消耗和疲劳。在这项工作中,多智能体强化学习被证明是强大的分布偏移引入配对学习政策与人类团队成员。多智能体策略直接从模拟中的图像进行训练,以在胆囊微创切除的子任务中控制多个器械。这些智能体将被单独评估,并与人类合作,以证明它们作为自主助手的适用性。与人类团队相比,具有人工代理的混合团队在完成时间(缩短44.4%至71.2%)和碰撞次数(减少44.7%至98.0%)方面表现更好。然而,路径长度增加控制下的人工代理(11.4%至33.5%以上)。一个多代理制定的学习问题,有利于在这个手术子任务的单代理制定,由于顺序学习的两个工具。这种方法可以扩展到在标准强化学习框架内难以制定的其他任务。多智能体强化学习可能会将认知机器人手术的范式转变为外科医生和辅助技术之间的无缝合作。
2021-10-10 cs.RO
Target assignment for robotic networks: asymptotic performance under limited communication
我们有相同数量的移动机器人代理和不同的目标位置。每个智能体都有简单的积分动力学,有限的通信范围,以及每个目标位置的知识。我们解决的问题,设计一个分布式算法,允许一组代理之间划分的目标,同时,导致每个代理达到其独特的目标。我们在任何时候都不需要通信图的连通性。我们介绍了一种新的基于分配的算法,具有以下特点:初始分配和机器人运动遵循贪婪的规则,和分布式的分配细化利用一个隐含的循环排序的目标。我们证明了算法的正确性,并给出了最坏情况下的渐近界的时间完成分配的环境增长的代理人的数量。我们证明了在一类分布式算法中,我们的算法是渐近最优的。分析利用欧几里德旅行推销员问题的结果。
2007-03-20 cs.RO
Modeling Social Interaction for Baby in Simulated Environment for Developmental Robotics
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
特定于任务的人工智能智能体在不同领域都表现出了卓越的性能。但是,像人类智能这样的广义人工智能智能体建模将需要比当前数据集更多的东西,或者只需要基于奖励的环境,而不包括婴儿在其初始阶段收集的经验。在本文中,我们提出了模拟环境的发展机器人(SEDRo)。它模拟了人类婴儿从出生前胎儿阶段到出生后12个月所经历的婴儿代理环境。SEDRO还包括一个母亲角色,以提供与代理的社交互动。为了评估代理的不同发展里程碑,SEDRo结合了发展心理学的一些实验。
2020-12-29 cs.AI cs.RO
MALMM: Multi-Agent Large Language Models for Zero-Shot Robotics Manipulation
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
针对现有基于大语言模型的机器人操作方法存在长时任务幻觉、适应性有限等问题,提出多智能体LLM框架MALMM,通过专业智能体分工规划与代码生成并结合环境反馈,在9个RLBench任务上实现零样本操作,克服现有方法局限。
2025-08-25 cs.AI cs.RO
Learning to Communicate: A Machine Learning Framework for Heterogeneous Multi-Agent Robotic Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们提出了一个机器学习框架,多智能体系统学习的最佳策略,最大化的奖励和编码的高维视觉观察。该编码对于在通信资源约束下与其他代理共享本地视觉观察是有用的。Actor编码器对原始图像进行编码,并根据本地观察和其他代理发送的消息选择动作。机器学习代理不仅向物理设备生成致动器命令,还向其他代理生成通信消息。我们制定了一个强化学习问题,它扩展了行动空间,考虑通信行动。强化学习框架的可行性证明了使用三维仿真环境与两个合作代理。该环境提供了两个代理之间使用和共享的逼真的视觉观察。
2018-12-13 cs.AI cs.RO
AdaDemo: Data-Efficient Demonstration Expansion for Generalist Robotic Agent
UC San Diego(加州大学圣迭戈分校);NVIDIA(英伟达公司);University of Washington(华盛顿大学);Georgia Tech(佐治亚理工学院)
为解决模仿学习中示教数据数量与质量限制通用机器人智能体学习的问题,提出AdaDemo自适应在线示教扩展框架,通过主动收集针对性示教数据提升多任务策略,在22项机器人操作任务上验证了其数据高效的性能提升效果。
2024-04-11 cs.LG cs.RO
Simultaneous Control and Human Feedback in the Training of a Robotic Agent with Actor-Critic Reinforcement Learning
University of Alberta(阿尔伯塔大学)
本文提供了一个初步的报告,同时将人类控制和反馈信号的训练强化学习机器人代理的优点和缺点。虽然机器人人机界面在形式和功能上都变得越来越复杂,但控制对用户来说仍然是一个挑战。这导致用户控制方法与可控制的机器人电机数量之间的差距越来越大。解决这一差距的一种方法是将一些自主权转移给机器人。然后,机器人代理的半自主动作可以通过人类反馈来塑造,从而简化用户控制。大多数关于人类智能体塑造的先前工作都将训练与反馈结合起来,或者包括间接控制信号。相比之下,在本文中,我们将探讨如何一个人可以提供并发的反馈信号和实时肌电控制信号训练机器人的演员评论强化学习控制系统。使用物理和模拟的机器人系统,我们比较一个简单的运动任务的训练性能时,奖励是来自环境,奖励是由人类提供的,以及这两种方法的组合。我们的研究结果表明,一些好处,可以获得与包括人类产生的反馈。
2016-06-22 cs.AI cs.HC cs.RO
Intelligent Agent-Based Stimulation for Testing Robotic Software in Human-Robot Interactions
University of Bristol(布里斯托大学);University of the West of England(西英格兰大学)
机器人软件测试的挑战超出了传统的软件测试。需要为并发运行的多个程序和硬件生成有效、真实和有趣的测试,并将其部署到有人员的动态环境中。我们调查使用的信念-欲望-意图(BDI)代理作为测试生成模型,在域中的人-机器人交互(HRI)的模拟。这些模型提供了合理的代理,因果关系和推理机制,用于规划,模拟智能和自适应机器人,以及由人类指导的智能测试环境。我们引入了强化学习(RL),使用基于覆盖反馈的奖励函数来自动探索BDI模型。我们的方法进行评估,使用协同制造的例子,在测试中的机器人软件是间接刺激通过一个模拟的人类同事。我们得出结论,BDI代理提供了直观的模型,在HRI域的测试生成。我们的研究结果表明,RL可以完全自动化BDI模型探索,导致非常有效的覆盖导向测试生成。
2016-07-13 cs.RO cs.SE
AgentChemist: A Multi-Agent Experimental Robotic Platform Integrating Chemical Perception and Precise Control
本文提出AgentChemist平台,通过协作任务分解、动态调度和自适应控制,解决实验室中多样、罕见和演变的操作问题,提升自动化系统的泛化能力。
2026-03-25 cs.AI cs.RO
ECoDe: A Sample-Efficient Method for Co-Design of Robotic Agents
Deakin University(迪肯大学);Applied Artificial Intelligence Institute(应用人工智能学院)
针对自主机器人智能体协同设计优化面临的样本效率低的问题,提出基于多保真度探索策略的ECoDe方法,通过通用策略学习器热启动控制器学习,在多种设计问题上表现优于基线并产生有趣的设计更改。
2024-10-16 cs.LG cs.RO
Utility Theory based Cognitive Modeling in the Application of Robotics: A Survey
College of Engineering and Computer Science, The University of Tulsa(工程与计算机科学学院,塔尔萨大学)
本文综述了基于效用理论的认知建模在机器人应用中的发展与现状,探讨了其在多代理系统中的作用及未来研究方向。
2026-03-09 cs.AI cs.MA cs.NE
MARS: Multi-Agent Robotic System with Multimodal Large Language Models for Assistive Intelligence
School of Computer Science and Engineering, Faculty of Innovation Engineering, Macau University of Science and Technology(澳门科技大学创新工程学院计算机科学与工程学院)
MARS系统利用多模态大语言模型实现风险感知和个性化辅助,通过多智能体决策框架提升智能家庭机器人在动态环境中的表现。
2026-04-07 cs.CV cs.RO
Resource Allocation and Service Provisioning in Multi-Agent Cloud Robotics: A Comprehensive Survey
Swinburne University of Technology(斯威本科技大学);CSIRO(澳大利亚联邦科学与工业研究组织);Engineering Institute of Technology (EIT)(工程技术学院);South China University of Technology(华南理工大学);University of Manitoba(曼尼托巴大学)
如今,机器人应用被广泛采用,以增强现实世界网络物理系统(CPS)的操作自动化和性能,包括工业4.0,农业,医疗保健和灾难管理。这些应用程序由延迟敏感、数据量大和计算密集型任务组成。然而,机器人在计算能力和存储容量方面受到限制。多智能体云机器人的概念使机器人之间能够进行协作,并为机器人执行大规模应用程序创造了一个互补的环境,能够利用边缘和云资源。然而,在这样的协作环境中,机器人任务的最优资源分配是具有挑战性的实现。与机器人和计算实例相关的异构能耗率和执行成本的应用使其变得更加复杂。此外,本地机器人、边缘节点和云数据中心之间的数据传输延迟会对实时交互产生不利影响,并阻碍服务性能保证。考虑到所有这些问题,本文全面调查的最先进的资源分配和服务提供的多智能体云机器人。本文通过与当代计算范式的明确比较,提出了多智能体云机器人的应用领域,并确定了具体的研究挑战。第一次提出了一个完整的分类资源分配,连同讨论的资源池,计算卸载,和任务调度的有效服务提供。此外,我们强调了从经验教训中得出的研究差距,并提出了有利于进一步推进这一新兴领域的未来方向。
2021-04-29 cs.DC cs.RO
ALAN: Autonomously Exploring Robotic Agents in the Real World
Carnegie Mellon University(卡内基梅隆大学)
在现实世界中自主运行的机器人代理需要不断探索其环境并从收集的数据中学习,而人类的监督最少。虽然可以构建可以在没有监督的情况下以这种方式学习的代理,但目前的方法很难扩展到现实世界。因此,我们提出了ALAN,自主探索机器人代理,可以在现实世界中执行任务,很少的训练和互动时间。这是通过测量环境变化来实现的,环境变化反映了物体的移动,而忽略了机器人位置的变化。我们直接使用该度量作为以环境为中心的信号,并最大化预测环境变化的不确定性,从而提供以代理为中心的探索信号。我们评估我们的方法在两个不同的现实世界中发挥厨房设置,使机器人能够有效地探索和发现操作技能,并通过目标图像执行指定的任务。网址:https://robo-explorer.github.io/
2023-02-13 cs.AI cs.CV cs.LG
Autonomous Embodied Agents: When Robotics Meets Deep Learning Reasoning
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学)
本论文探讨了Embodied AI领域自主具身智能体的完整创建过程,涵盖从概念、模拟训练到真实部署,并详细分析了相关技术的实现方法与实验研究,以促进该领域的未来发展。
2025-05-02 cs.AI cs.CV cs.RO
Active Inference for Robotic Manipulation
Intelligent Autonomous Systems(智能自主系统实验室);Technical University of Darmstadt(达姆施塔特工业大学)
尽管在过去的几十年中机器人技术和机器学习取得了重大进展,但机器人操作仍然是一个很大程度上未解决的问题。操纵的核心挑战之一是部分可观察性,因为智能体通常不知道环境的所有物理属性和它预先操纵的对象。最近出现的一种以显式方式处理部分可观测性的理论是主动推理。它通过驱动智能体以一种不仅是目标导向的而且是关于环境的信息的方式行动来做到这一点。在这项工作中,我们将主动推理应用于一个难以探索的模拟机器人操作任务,其中代理必须将球平衡到目标区域。由于这项任务的回报是稀疏的,为了探索这个环境,智能体必须学习在没有任何外部反馈的情况下平衡球,纯粹是出于自己的好奇心。我们表明,主动推理引起的信息寻求行为允许代理系统地探索这些具有挑战性的,稀疏的环境。最后,我们得出结论,使用信息寻求目标是有益的,在稀疏的环境中,并允许代理解决任务的方法,不表现出定向探索失败。
2022-06-01 cs.LG cs.RO
RH20T-P: A Primitive-Level Robotic Dataset Towards Composable Generalization Agents
Shanghai AI Laboratory(上海人工智能实验室);School of Software, Beihang University(北京航空航天大学软件学院);Shanghai Jiao Tong University(上海交通大学);University of Sydney(悉尼大学)
本文提出RH20T-P原语级机器人操作数据集,包含约38k视频片段覆盖67个任务,并标准化规划-执行CGA范式,通过RA-P基线验证其能赋予智能体可组合泛化能力。
2025-02-01 cs.CV cs.RO
KitRobot: A multi-platform graphical programming IDE to program mini-robotic agents
IRISA(法国国家信息与自动化研究所雷恩布列塔尼大西洋研究中心);University of South Brittany(南布列塔尼大学);The Islamia University of Bahawalpur(巴哈瓦尔布尔伊斯兰大学);Koc University(科奇大学)
微型机器人代理的图形编程IDE的分析、设计和开发允许新手用户通过图形拖放界面对机器人代理进行编程,而不知道中间程序设计语言的语法和语义。我们的工作从定义中间程序设计语言的语法和语义开始。主要的工作是定义这种语言的语法。使用图形化的拖放界面对微型机器人进行编程,为新手用户提供了一个用户友好的界面。用户可以通过拖放程序部分来图形化地编程,而不需要中间程序设计语言的专业知识。IDE非常灵活,因为它使用XML技术来存储程序对象(即循环,条件)和机器人对象(即传感器,执行器)。xml技术的使用允许在不修改底层设计和编程的情况下进行重大更改和更新接口。
2015-01-07 cs.HC cs.PL cs.RO
Multi-Modal Multi-Agent Robotic Cognitive Alignment enabled by Non-Invasive Consumer Brain Computer Interfaces: A Proof of Concept Exploration
GOOGLE(谷歌);Paradigms of Intelligence(智能范式);Cambridge, MA, United States(马萨诸塞州剑桥市,美国);Mountain View, CA, United States(加利福尼亚州山景城,美国)
提出一种框架,利用消费级脑机接口监测脑电信号,在高认知负荷时延迟智能体通信,实现认知对齐的多智能体交互,初步验证了实时信号处理、大语言模型与机器人结合的可行性。
2026-06-12 cs.HC cs.RO
A Compositional Paradigm for Foundation Models: Towards Smarter Robotic Agents
University of Pisa, Italy(意大利比萨大学);LUISS University, Rome, Italy(罗马大学(LUISS))
针对基础模型难以在不从头重训的情况下适配动态真实场景的问题,本研究提出应用持续学习与组合性原则,以开发更灵活高效的智能机器人智能体方案。
2025-10-21 cs.LG cs.RO
GameVLM: A Decision-making Framework for Robotic Task Planning Based on Visual Language Models and Zero-sum Games
Academy for Engineering and Technology, Fudan University(复旦大学工程与技术学院)
GameVLM提出一种基于视觉语言模型与零和博弈的多智能体框架,通过决策与专家智能体协作及博弈求解,提升机器人任务规划决策能力,实验平均成功率达83.3%。
2024-05-22 cs.AI cs.RO
MALLVI: A Multi-Agent Framework for Integrated Generalized Robotics Manipulation
Department of Electrical Engineering, Sharif University of Technology(电气工程系,谢里夫大学)
MALLVI通过多智能体协作实现闭环反馈驱动的机器人操作,提升泛化能力和零样本任务成功率。
2026-06-09 cs.AI cs.CV cs.LG
Scalable Task-Driven Robotic Swarm Control via Collision Avoidance and Learning Mean-Field Control
Technische Universität Darmstadt(达姆施塔特工业大学)
近年来,强化学习及其多智能体模拟在解决各种复杂控制问题方面取得了巨大的成功。然而,多智能体强化学习在其理论分析和算法的经验设计方面仍然具有挑战性,特别是对于大量的具体机器人代理,其中确定的工具链仍然是积极研究的一部分。我们使用新兴的国家的最先进的平均场控制技术,以转换成更经典的单代理控制的分布多代理群体控制。这允许从单智能体强化学习的进步中获利,代价是假设智能体之间的弱交互。然而,平均场模型是违反了真实系统的本质体现,物理碰撞代理。因此,我们结合避免碰撞和学习的平均场控制到一个统一的框架,可追溯地设计智能机器人群体行为。在理论方面,我们提供了新的近似保证一般的平均场控制在连续空间和避免碰撞。在实践方面,我们表明,我们的方法优于多智能体强化学习,并允许分散的开环应用,同时避免碰撞,无论是在模拟和真实的无人机群。总的来说,我们提出了一个框架,设计的群体行为,这是数学上有充分的依据和实际有用的,否则难以解决的群体问题的解决方案。
2023-02-09 cs.AI cs.LG cs.RO
Contrastive Imitation Learning for Language-guided Multi-Task Robotic Manipulation
AI Thrust, The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州)AI Thrust);The Hong Kong University of Science and Technology(香港科技大学)
本文提出Sigma-Agent,通过对比模仿学习和多视图查询Transformer增强视觉-语言与当前-未来表示,在RLBench和真实操作任务中显著提升多任务机器人操作性能。
2024-06-14 cs.CV cs.RO
RoboBRIDGE: A Modular Framework for Bridging Policies to Robust Real-World Robotic Agents
Sungkyunkwan University(成均馆大学)
该研究针对视觉-语言-动作模型部署为机器人智能体的缺陷,提出 RoboBRIDGE 模块化框架,通过五大协同模块结合预训练 VLAs 构建鲁棒智能体,在多基准和现实场景中性能优于现有方案。
2026-07-31 cs.AI cs.RO
ProAgent: From Robotic Process Automation to Agentic Process Automation
Tsinghua University(清华大学);Massachusetts Institute of Technology(麻省理工学院);Carnegie Mellon University(卡内基梅隆大学);ModelBest Inc.(ModelBest公司);Renmin University of China(中国人民大学)
本文提出智能体流程自动化(APA)范式,利用基于LLM的智能体ProAgent根据人类指令构建工作流并协调专门智能体进行动态决策,克服了传统RPA在复杂任务中的局限,展示了智能体驱动的新一代自动化可行性。
2023-11-23 cs.AI cs.CL cs.RO
Dynamic collision avoidance for multiple robotic manipulators based on a non-cooperative multi-agent game
Technische Universität Kaiserslautern(凯泽斯劳滕工业大学);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
提出基于非线性MPC的非合作博弈算法,解决多机械臂在共享工作空间的动静态避碰与死锁问题,实现实时控制并支持任意规模扩展。
2022-02-13 cs.RO cs.SY eess.SY
Employing Socially Interactive Agents for Robotic Neurorehabilitation Training
German Research Center for Artificial Intelligence(德国人工智能研究中心);National Research Council of Italy(意大利国家研究委员会);Augsburg University(奥格斯堡大学);Scientific Institute IRCCS E. Medea(E.梅迪亚IRCCS科学研究所)
在当今世界,许多患有认知障碍和运动功能障碍的患者寻求专家的关注,以进行特定的常规治疗来改善他们的情况。然而,由于缺乏神经康复专业人员,患者遭受严重影响,使病情恶化。在本文中,我们提出了一种新的机器人神经康复训练系统的技术方法。它依赖于康复设备、信号分类方法、用于训练适应的监督机器学习模型、训练练习和作为用户界面的社交交互代理的组合。与专业人员一起,该系统可以针对患者的特定需求进行培训。此外,在训练阶段之后,患者能够在家中独立地进行训练,而无需物理治疗师的帮助,其中社交互动代理人扮演教练助理的角色。
2022-06-03 cs.AI cs.HC cs.RO
LLM-Empowered Embodied Agent for Memory-Augmented Task Planning in Household Robotics
Automation and Control Institute, Faculty of Electrical Engineering, TU Wien(自动化与控制研究所,电气工程学院,维也纳技术大学);AIT Austrian Institute of Technology GmbH, Center for Vision, Automation and Control(奥地利技术研究所(AIT)有限公司,视觉、自动化与控制中心)
提出一种基于LLM驱动多智能体编排与记忆增强的具身机器人系统,结合RAG与视觉模型实现自主家庭物品管理,在多场景下展现出高任务规划准确率与提升的记忆召回率。
2025-04-30 cs.AI cs.CL cs.RO
Active Inference in Robotics and Artificial Agents: Survey and Challenges
Robotics Institute, Delft University of Technology(代尔夫特理工大学机器人研究所);MRC Brain Networks Dynamics Unit, Oxford University(牛津大学MRC脑网络动力学研究中心);Oxford Robotics Institute, Oxford University(牛津大学牛津机器人研究所);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
主动推理是一个数学框架,起源于计算神经科学,作为大脑如何实现动作,感知和学习的理论。最近,它已被证明是一个很有前途的方法,状态估计和不确定性下的控制问题,以及在机器人和人工智能体的目标驱动行为的建设一般的基础。在这里,我们回顾了状态估计,控制,规划和学习的主动推理的最新理论和实现;描述了当前的成就,特别关注机器人技术。我们展示了相关实验,说明了它在适应性、泛化和鲁棒性方面的潜力。此外,我们将这种方法与其他框架,并讨论其预期的好处和挑战:一个统一的框架与功能的生物相容性,使用变分贝叶斯推理。
2021-12-03 cs.AI cs.LG cs.RO
Demonstration-Free Robotic Control via LLM Agents
independent researchers(独立研究人员)
本文提出FAEA框架,利用通用大语言模型实现无需演示的机器人操控,通过迭代推理生成操控策略,在多个基准测试中取得高成功率,展示了通用代理在任务规划中的有效性。
2026-06-28 cs.AI cs.LG cs.RO
Decision Making for Human-in-the-loop Robotic Agents via Uncertainty-Aware Reinforcement Learning
Columbia University(哥伦比亚大学);Amazon Alexa AI(亚马逊Alexa人工智能)
在人在回路范例中,机器人代理能够在解决任务时大部分自主行动,但可以在需要时向外部专家请求帮助。然而,知道何时请求这种帮助是至关重要的:太少的请求可能导致机器人犯错,但太多的请求可能会使专家过载。在本文中,我们提出了一个基于强化学习的方法来解决这个问题,当一个半自主智能体对任务的最终成功信心不足时,它会请求外部帮助。置信水平通过估计当前状态的回报方差来计算。我们表明,这种估计可以在训练过程中使用Bellman递归迭代改进。在离散导航问题的完全和部分可观察的状态信息,我们表明,我们的方法有效地利用了有限的预算的专家调用在运行时,尽管没有访问的专家在训练时。
2023-03-14 cs.AI cs.LG cs.RO