An Educational Fuzzy-based Control platform using LEGO Robots
模糊控制器在过去的几十年里已经得到了普及,在许多领域的成功实施,使设计人员能够控制复杂的系统,通过基于语言的规则,与传统的方法相比。本文介绍了一种基于LEGO \c{opyright} NXT的教学平台,通过提供一个简单易行的教学设置,辅助本科生学习模糊逻辑控制原理。建议的模糊控制研究的目的是陪同学生学习模糊控制的基本原理,通过建立动手机器人实验。建议的教育平台已成功地应用到几个本科课程在瓜达拉哈拉大学电子系。机器人实验的描述和他们在学生表现的影响的评估都提供了文件。
2014-06-13 cs.RO
Fuzzy inference based mentality estimation for eye robot agent
Tokyo Institute of Technology(东京工业大学)
家用机器人需要以友好的方式与人类交流。为了更好地理解所显示的信息,信息的重要性和确定性应该与主要信息一起传达。所提出的意图表达系统旨在使用眼睛机器人来传达此附加信息。眼睛运动被表示为愉悦唤醒空间模型中的状态。根据显示信息的重要性和确定性,通过模糊推理计算模型状态的变化。这种变化影响了空间中的觉醒-睡眠坐标,该坐标对应于交流的活跃性。眼睛机器人为吉祥物机器人系统提供了一个基本的接口,吉祥物机器人系统是一个易于理解的信息终端,用于人性化社会中的家庭环境。
2009-04-10 cs.AI cs.HC cs.RO
Implementation of a Hierarchical fuzzy controller for a biped robot
National Engineering School of Sfax, University of Sfax(斯法克斯大学斯法克斯国家工程学院);Institute of Applied Sciences and technology of Sousse, University of Sousse(苏塞大学苏塞应用科学与技术研究所)
本文介绍了一种仿人机器人控制系统的设计。为机器人的行走周期指定控制。控制系统的实现是在Matlab Simulink上完成的。本文提出了一种递阶模糊逻辑控制器(HFLC)来控制平面行走。HFLC的设计灵感来自于人体运动系统。将该方法应用于五杆平面机器人进入自由区的无障碍控制。
2014-12-29 cs.RO
Position Prediction of Ball and Fuzzy Controller for Shooting Action in A Soccer Robot System
基于机器人足球比赛的复杂运动控制,以运动目标的捕捉和射门为主要研究内容。为了提高视觉系统跟踪运动目标的精度和鲁棒性,提出了一种基于全局视觉的位置预测算法,包括卡尔曼滤波、动态窗口和避障策略。本文讨论了在动态环境中,利用卡尔曼滤波器预测移动球的位置,并对投篮动作进行模糊控制。
2016-04-20 cs.RO
Fuzzy Knowledge-Based Architecture for Learning and Interaction in Social Robots
University of San Diego(圣地亚哥大学);University of California San Diego(加州大学圣迭戈分校)
在本文中,我们介绍了我们提出的基于认知的情感模型的扩展[27][28]和[30],我们通过嵌入一个模糊规则来增强我们的基于知识的情感单元-该模型利用认知参数依赖性及其相应的权值来调节机器人的行为,并融合它们的行为数据,以实现它们在交互中的最终决策。环境保护使用这个模糊系统,我们以前的模型可以模拟语言参数,以更好地控制和生成机器人可理解和灵活的行为。我们实现了我们的模型上的辅助医疗机器人,命名为机器人护士助理(RNA),并测试它与人类受试者。我们的模型记录所有的情绪状态和基本信息的基础上预定义的规则和学习系统。我们的研究结果表明,我们的机器人与病人在一个合理的,忠实的方式在特定的条件下,这是由规则定义。这项工作有可能为临床专家提供更好的按需服务,以监测患者的情绪状态,并帮助他们做出更好的决策。
2019-09-14 cs.AI cs.CV cs.HC
An optimal fuzzy-PI force/motion controller to increase industrial robot autonomy
University of Coimbra(科英布拉大学)
通过对机器人末端执行器与周围环境接触的分析,提出了一种机器人自识别和自适应的方法。通常,在离线机器人编程中,理想化的机器人环境(虚拟环境)不能准确地反映真实环境。在这种情况下,我们处于部分未知环境(PUE)中。因此,机器人系统必须具有一定程度的自主性来克服这种情况,特别是当接触存在时。所提出的力/运动控制系统具有基于施加在机器人末端执行器上的力和扭矩的外部控制回路和基于机器人运动的内部控制回路。外部控制回路进行了测试与最佳比例积分(PI)和模糊PI控制器。该系统的性能进行了验证与现实世界的实验,涉及接触PUE。
2013-09-09 cs.RO
Mobile Robot Localization Using Fuzzy Neural Network Based Extended Kalman Filter
University of Engineering and Technology, Vietnam National University, Hanoi(越南河内国家大学工程技术大学)
针对移动机器人定位问题,提出了一种改进扩展卡尔曼滤波器(EKF)性能的新方法。采用模糊逻辑系统连续调整滤波器的噪声协方差矩阵。实现了一个神经网络来调节模糊规则的前件和后件部分的隶属函数。其目的是在噪声协方差矩阵固定或错误确定的情况下,提高EKF的精度,避免EKF发散。进行了仿真和实验。结果表明,该滤波器在定位移动机器人方面优于EKF。
2021-05-06 cs.RO cs.SY eess.SY
Fuzzy Gesture Expression Model for an Interactive and Safe Robot Partner
Polytech Paris-UPMC(巴黎理工学院(巴黎UPMC));Pierre et Marie Curie University(皮埃尔和玛丽·居里大学)
与机器人伙伴的互动需要许多元素,不仅包括语音,还包括具体化。因此,手势和面部表情对交流很重要。此外,了解人的移动对于安全和自然的交换至关重要。本文提出了一种交互式模糊情感模型的机器人伙伴的手势表达,其面部情感模型。首先,我们描述了用户和机器人伙伴之间的物理交互。接下来,我们提出了一个运动学模型的机器人合作伙伴的基础上Denavit-Hartenberg公约和解决逆运动学转换通过细菌模因算法。然后,情感模型沿其与用户的交互性进行了讨论。最后,我们展示了所提出的模型的实验结果。
2019-09-26 cs.RO
Design of Fuzzy Logic Parameter Tuners for Upper-Limb Assistive Robots
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对上肢辅助外骨骼机器人超参数需频繁手动调节的问题,本文提出基于专家规则的模糊逻辑控制器,根据肌肉激活动态调节增益参数,并在三项任务中验证其能有效减少人机对抗。
2024-05-03 cs.RO
A framework for Culture-aware Robots based on Fuzzy Logic
文化适应,即机器人的行为与使用者的文化规范和喜好相配合,是任何辅助应用成功的关键。然而,依赖于文化的机器人行为通常是由设计师隐含地设置的,因此不允许容易和自动地适应不同的文化。本文提出了一种方法,文化意识的机器人的设计,可以自动适应自己的行为,以符合给定的文化。我们提出了一个映射从文化因素到相关参数的机器人行为依赖于语言变量编码异质文化因素在一个统一的形式主义,和模糊规则编码多个变量之间的定性关系。我们说明了两个实际案例研究的方法。
2018-03-22 cs.AI cs.RO
Humanoid Robot Pitch Axis Stabilization using Linear Quadratic Regulator with Fuzzy Logic and Capture Point
Universitas Gadjah Mada(加查马达大学)
本文的目的是一个控制器,可以稳定的位置控制的人形机器人站着不动或走在人造草坪上,即使受到外部干扰。设计并实现了两种控制器:踝关节策略和步进策略。机器人的关节由位置控制伺服系统组成,由于非线性和不可测参数,其解析模型可能很复杂,因此使用非递归最小二乘系统辨识获得人形机器人的动力学模型。利用该模型设计了一个卡尔曼滤波器,用于从有噪声的惯性测量单元(IMU)传感器中估计系统状态,并设计了线性二次型调节器(LQR)控制器。为了处理非线性,LQR控制器扩展了模糊逻辑算法,根据角度和角速度隶属函数改变LQR增益值。该控制系统能够在受到摆锤干扰甚至弹簧平衡的约束力时保持人形机器人绕俯仰轴的稳定性。
2021-01-22 cs.RO
Performance Analysis of PID, PD and Fuzzy Controllers for Position Control of 3-Dof Robot Manipulator
Hussaini Adamu Polytechnic(侯赛因·阿达姆理工学院);Bayero University, Kano(卡诺贝罗大学);Ahmadu Bello University(阿赫马杜·贝洛大学)
机器人操作器由于其巨大的重要性而广泛用于工业应用中,例如在建筑自动化中。因此,设计控制器以适应应用的密集目的是控制研究人员的主要挑战之一。本文对三自由度机器人操作臂的三种控制器进行了比较分析。设计了比例积分微分(PID)、比例微分(PD)和模糊逻辑(FL)控制器,并对机器人的各个环节进行了仿真。使用瞬态和稳态响应特性评估每种控制方法的性能。结果表明,PID和PD在上升时间和建立时间方面表现更好,而FLC表现出更小的超调量
2019-10-26 cs.RO cs.SY eess.SY
Comparative Analysis of NMPC and Fuzzy PID Controllers for Trajectory Tracking in Omni-Drive Robots: Design, Simulation, and Performance Evaluation
Pulchowk Campus(普尔乔克校区)
本文针对全向驱动机器人轨迹跟踪,设计并比较了模糊PID与NMPC控制器,通过仿真验证NMPC精度更高但计算更复杂。
2024-08-21 cs.RO cs.SY eess.SY
CAD-based robot programming: The role of Fuzzy-PI force control in unstructured environments
University of Coimbra(科英布拉大学);University of Porto(波尔图大学)
越来越多的人和机器人之间需要新的交互方式,这使得我们能够以直观的方式快速地对机器人进行编程,并且从机器人语言中进行高度抽象。在本文中,提出了一种基于CAD的系统,允许用户在CAD的基本技能和没有技能的机器人编程生成机器人程序从一个CAD模型的机器人单元。当CAD模型精确地再现真实场景时,系统表现出令人满意的性能。相反,当CAD模型不能准确再现真实场景或校准过程做得不好时,我们正在处理不确定(非结构化环境)。为了最小化或消除前面提到的问题,在机器人框架中引入了感觉反馈(力和扭矩感测)。通过控制末端执行器姿态并指定其与相互作用/接触力的关系,机器人程序员可以确保机器人在非结构化环境中进行机动,从而抑制可能的冲击,并增加对校准过程中定位误差的容忍度。模糊PI推理被用作力控制技术。在一系列的实验中,所提出的方法的有效性进行了评估。
2013-09-09 cs.RO
A fuzzy logic-based stabilization system for a flying robot, with an embedded energy harvester and a visual decision-making system
Kuwait College of Science and Technology(科威特科技大学);University of Turkish Aeronautical Association(土耳其航空协会大学)
“智慧城市”是现代城市项目的时尚标题,需要新的创新理念来实现许多领域的理想完美,以改善我们的生活。在这种情况下,这里将介绍一种新的创新应用,通过创建一个飞行机器人来研究并不断进行所需的公共道路维护,该机器人用于喷涂人行道边缘的部分擦除部分,这些部分通常镀有两种不同的颜色;主要是我们假设的黑色和白色。本文的第一个贡献是开发一个基于模糊逻辑的稳定系统的直升机作为液体运输机,可以配备一个机器人手臂。第二个贡献包括设计一个嵌入式能量采集器的飞行机器人,以促进可用电源的管理。最后,在这个项目中,我们提出了一个补充启发式研究澄清一些主要的概念,依赖于一个计算机视觉为基础的决策系统。
2023-01-26 cs.RO
Adaptive Neuro-Fuzzy Control of a Spherical Rolling Robot Using Sliding-Mode-Control-Theory-Based Online Learning Algorithm
KU Leuven(鲁汶大学)
由于模型只是真实系统的抽象,未建模动态、参数变化和干扰会导致基于此模型的常规控制器性能不佳。在这种情况下,传统的控制器不能保持良好的调谐。本文提出了一种自适应神经模糊控制器结合滑模控制(SMC)理论为基础的学习算法的球形滚动机器人的控制。所提出的控制结构由一个神经模糊网络和一个传统的控制器,用于保证系统在一个紧凑的空间渐近稳定。利用滑模控制理论推导了神经模糊系统的参数更新规则,并利用李雅普诺夫函数证明了学习的稳定性。仿真结果表明,基于滑模控制理论的学习算法控制方案在不知道球形滚动机器人动力学方程的情况下,不仅能够消除稳态误差,而且能够改善球形滚动机器人的瞬态响应性能。
2021-04-14 cs.RO cs.SY eess.SY
Fuzzy Logic Controller Design for Mobile Robot Outdoor Navigation
Addis Ababa Institute of Technology(亚的斯亚贝巴理工学院)
本文提出一种基于模糊逻辑算法的差速驱动轮式移动机器人控制系统,通过接近和GPS传感器实现自主导航、路径规划与避障,仿真证明其能无碰撞到达目的地。
2024-01-10 cs.RO cs.SY eess.SY
Development of a Fuzzy-based Patrol Robot Using in Building Automation System
楼宇自动化系统(BAS)具有监视和控制所有楼宇子系统的操作的功能,诸如HVAC(加热通风、空调控制)、电力消耗管理、火灾报警控制、安全和访问控制以及器具切换控制。在楼宇自动化系统中,几乎所有的操作都是在控制中心自动完成的,因此必须严格保护楼宇的安全。在传统的系统中,通常通过安装在固定位置的多个摄像机来确保安全性,这可能导致视野受限。为了克服这个缺点,我们提出了一种新的安全系统,其中移动机器人被用作巡逻。该机器人配备了基于模糊的算法,使其能够在未知环境中避开障碍物,以及执行巡逻任务所需的其他必要机制。实验结果表明,该系统能够满足对建筑物进行安全监控的要求。
2020-05-13 cs.AI cs.RO
Genetic Fuzzy System-Based Multi-Robot Coordination for Planetary Missions
University of Cincinnati(辛辛那提大学)
该研究提出基于遗传模糊系统的分布式多机器人协作方法,经遗传算法优化模糊推理系统,在非结构化环境中完成协作物体运输任务并通过多场景验证。
2026-08-14 cs.RO cs.SY eess.SY
Enabling Robots to Understand Incomplete Natural Language Instructions Using Commonsense Reasoning
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Utah(犹他大学)
使机器人能够理解通过口头自然语言提供的指令,将促进机器人和人在家庭和工作场所的各种环境中的互动。然而,自然语言指令通常缺少基于环境上下文和常识对人类显而易见的信息,因此不需要明确地陈述。在本文中,我们介绍了基于存储模型的常识推理(LMCR),一种新的方法,使机器人听一个自然语言指令从人类,观察它周围的环境,并自动填补信息丢失的指令使用环境上下文和一个新的常识推理方法。我们的方法首先将作为无约束自然语言提供的指令转换为机器人可以通过将其解析为动词框架来理解的形式。然后,我们的方法通过观察附近的物体并利用常识推理来填补指令中缺失的信息。为了自动学习常识推理,我们的方法通过训练语言模型从大型非结构化文本语料库中提取知识。我们的研究结果表明,机器人学习常识知识自动从基于Web的文本语料库的可行性,和权力的学习常识推理模型,使机器人自主执行任务的基础上不完整的自然语言指令。
2020-07-21 cs.AI cs.CL cs.RO
Approximate Robotic Mapping from sonar data by modeling Perceptions with Antonyms
European Centre for Soft Computing(欧洲软计算中心);Universidad Politécnica de Madrid(马德里理工大学)
本文受Zadeh在2001年提出的“用词和感知计算”思想的启发,研究了如何将测量转化为感知,以解决自主移动机器人地图构建问题。我们建议将从声纳传感器获得的感知建模为两个网格地图:一个用于障碍物,另一个用于空白空间。用于建立和整合这些地图的规则表示的语言描述和模糊规则建模。这种方法与文献中报道的其他研究的主要区别在于,这里提出的方法是基于这样的假设,即概念“占用”和“空”是反义词,而不是互补的(因为它发生在概率方法中),或独立的(因为它发生在以前的模糊模型中)。在三个有代表性的室内环境中与一个真正的机器人进行了控制实验,结果。我们提供了一个定性和定量比较的概率方法,以前的模糊方法和新的基于反义词的模糊方法获得的估计地图。结果表明,与基于反义词的方法得到的地图更好地定义,捕捉更好的墙壁和空的空间的形状,并包含较少的错误,由于反弹和短回波。此外,尽管使用的声纳传感器固有噪音和低分辨率,但获得的地图是准确的,并且可以容忍不精确。
2010-06-30 cs.CL cs.RO
Comparison Between Genetic Fuzzy Methodology and Q-learning for Collaborative Control Design
University of Cincinnati(辛辛那提大学)
两种机器学习方法之间的比较,本文提出了一种基于遗传模糊方法和Q学习的模糊控制算法。该方法被用来建模控制器的一组协作机器人,需要一起工作,使一个对象的目标位置。机器人是固定的,并通过弹性电缆连接到对象。在这个问题中考虑的一个主要约束是,机器人不能相互通信。这意味着在任何时刻,每个机器人都没有其他机器人的运动或控制信息,并且它只能基于对象的运动状态来拉动或释放其线缆。这个分散控制问题提供了一个很好的例子来测试这两种机器学习方法的能力和限制。该系统首先使用一组训练场景进行训练,然后应用于广泛的测试集,以检查每种方法实现的泛化。
2020-08-28 cs.RO cs.SY eess.SY
Translating Natural Language Instructions to Computer Programs for Robot Manipulation
Indian Institute of Science(印度科学学院);Robert Bosch Center for Cyber Physical Systems(罗伯特·博世网络物理系统中心)
非常希望与人类一起工作的机器人能够理解自然语言的指令。现有的语言条件模仿学习模型直接从图像观察和指令文本中预测执行器命令。而不是直接预测执行器命令,我们建议将自然语言指令翻译为Python函数,该函数通过访问对象检测器的输出来查询场景并控制机器人执行指定的任务。这使得在计算对机器人的命令时能够使用诸如约束求解器之类的不可微模块。此外,在这种设置中的标签是信息量更大的计算机程序,它捕捉了专家的意图,而不是遥控演示。我们表明,所提出的方法比训练一个神经网络直接预测机器人的行动。
2021-03-20 cs.CL cs.LG cs.RO
Behavior-based Navigation of Mobile Robot in Unknown Environments Using Fuzzy Logic and Multi-Objective Optimization
University of Engineering and Technology - Vietnam National University, Hanoi(河内越南国家大学工程技术大学)
本文提出BBFM架构,通过模糊控制器和多目标优化协调机器人在未知环境中避障和避开局部极小值的问题,提升了导航精度和效率。
2017-03-09 cs.AI cs.RO cs.SY
ImageInThat: Manipulating Images to Convey User Instructions to Robots
University of Toronto(多伦多大学);Singapore Management University(新加坡管理大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
针对现有机器人指令方式存在的模糊性或意图捕捉难的问题,研究提出ImageInThat图像直接操控指令范式,支持用户在时间线界面操控图像生成指令,用户研究显示其在厨房任务中比文本指令更高效且更受用户偏好。
2025-01-21 cs.HC cs.RO
Design and Implementation of a Fuzzy Adaptive Controller for Time-Varying Formation Leader-Follower Configuration of Nonholonomic Mobile Robots
University of Tehran(德黑兰大学)
研究了基于轨迹跟踪控制策略的非完整移动机器人时变主从编队控制问题。在时变编队中,每个跟随器的相对方位和距离是可变参数,因此,即使不改变领导机器人的线速度和角速度,跟随器也可以执行各种复杂的行为。在建立时变主从编队运动学模型的基础上,采用反推控制方法保持编队结构不变。利用李雅普诺夫定理研究了编队的全局稳定性。此外,所设计的非线性控制器的缺点是在初始阶段输入指令过大。针对此问题,提出了一种模糊自适应算法来改进反演控制器,并保证了所得到的模糊自适应反演控制器的全局稳定性。在主从编队的运动学模型和控制器设计过程中考虑相对距离和方位的变化率,使得编队在动态和杂波环境中更实用,并且能够定义跟随者的复杂行为,并且提供碰撞和障碍物避免而无需在不同的控制策略之间切换。最后,所提出的运动学模型和设计的控制器的性能进行了研究,通过仿真和实验研究。
2022-05-23 cs.RO cs.SY eess.SY
Deep Fuzzy Optimization for Batch-Size and Nearest Neighbors in Optimal Robot Motion Planning
School of Computation, Information and Technology (CIT), Technical University of Munich(计算信息与技术学院(CIT),慕尼黑技术大学);State Key Laboratory for Novel Software Technology and the School of Science and Technology, Nanjing University (Suzhou Campus)(新型软件技术国家重点实验室和南京大学科学技术学院(苏州校区))
提出基于深度模糊学习的采样规划器 LIT*,依据配置空间障碍分布动态优化批量大小与最近邻参数,在 R^8–R^14 及双臂任务中提升收敛速度与路径质量。
2025-08-28 cs.RO
Affordance-Based Disambiguation of Surgical Instructions for Collaborative Robot-Assisted Surgery
Nagoya University, Japan(名古屋大学)
本文提出一种基于可供性推理的机器人手术助手框架,结合多模态视觉-语言模型与工具能力知识库消解外科医生口头指令歧义,并利用双重集合共形预测保障安全,在胆囊切除术数据集上实现60%消歧率。
2025-09-19 cs.HC cs.RO
LLM-based ambiguity detection in natural language instructions for collaborative surgical robots
Institutes of Innovation for Future Society, Nagoya University(未来社会创新研究所,名古屋大学);Department of Micro-Nano Mechanical Science and Engineering, Nagoya University(微纳米机械科学与工程系,名古屋大学)
提出基于LLM评估器集成与保形预测的框架,用于检测协作手术机器人自然语言指令中的歧义,分类准确率超60%,提升了人机协作安全性。
2025-07-15 cs.HC cs.RO
A Dynamic-Growing Fuzzy-Neuro Controller, Application to a 3PSP Parallel Robot
Center of Excellence on Soft Computing and Intelligent Information processing(软计算与智能信息处理中心)
本文提出动态增长模糊神经控制器,结合自适应策略用于3PSP并联机器人位置控制,通过保守的规则增长机制和滑模非线性控制器实现快速响应与稳定性。
2026-04-15 cs.AI cs.LG cs.NE
CARTIER: Cartographic lAnguage Reasoning Targeted at Instruction Execution for Robots
针对机器人导航中自然对话式隐式指令解析难题,提出CARTIER方法,借助LLM结合场景物体上下文解读交互,在AI2Thor家居场景中查询解析可靠性较现有方法最高提升42%。
2024-02-01 cs.CL cs.RO
When Semantics Connect the Swarm: LLM-Driven Fuzzy Control for Cooperative Multi-Robot Underwater Coverage
本文提出一种由LLM驱动的模糊控制框架,用于实现多机器人水下协作覆盖,通过语义引导实现高效导航和探索。
2026-03-12 cs.RO cs.SY eess.SY
Verifiably Following Complex Robot Instructions with Foundation Models
Brown University(布朗大学)
提出LIMP方法,通过符号指令表示使机器人无需预建语义地图即可可验证地遵循复杂开放式指令,在150条指令上验证,复杂时空指令成功率79%,远超基线38%。
2025-03-30 cs.AI cs.RO
A Research Platform for Multi-Robot Dialogue with Humans
U.S. Army Research Laboratory(美国陆军研究实验室)
本文提出了一个研究平台,支持口语对话互动与多个机器人。演示展示了我们精心制作的MultiBot测试场景,其中用户可以向两个机器人队友口头发出搜索,导航和遵循指令:一个模拟地面机器人和一个空中机器人。这种灵活的语言和机器人平台利用现有的语音识别和对话管理工具,与新的领域兼容,并实现了一个智能体通信协议(战术行为规范),其中口头指令被编码为任务分配给适当的机器人。
2019-10-12 cs.CL cs.HC cs.RO
Using Both Demonstrations and Language Instructions to Efficiently Learn Robotic Tasks
UT Austin(德克萨斯大学奥斯汀分校)
针对单模态任务指定存在歧义的问题,提出DeL-TaCo方法,结合视觉演示与语言嵌入对多任务机器人策略做条件化,既降低施教成本,又提升新场景下的样本效率与泛化性能。
2023-04-28 cs.CL cs.LG cs.RO
Incremental Bootstrapping and Classification of Structured Scenes in a Fuzzy Ontology
University of Örebro(厄勒布鲁大学)
本文提出模糊SIT算法,在模糊DL本体中增量自举结构化场景表示,以提升对感知噪声的鲁棒性,同时保留清晰实现的分类性能。
2024-04-17 cs.AI cs.HC cs.LO
Navigational Instruction Generation as Inverse Reinforcement Learning with Neural Machine Translation
TTI-Chicago(芝加哥丰田技术研究所);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
涉及人机交互的现代机器人应用要求机器人能够无缝有效地与人类进行通信。自然语言提供了一种灵活而有效的媒介,机器人可以通过它与人类伙伴交换信息。在开发能够解释自由形式指令的机器人方面已经取得了重大进展,但较少关注赋予机器人生成自然语言的能力。我们提出了一个导航指南模型,使机器人生成自然语言指令,让人类导航先验未知的环境。我们首先根据用户的偏好决定与用户共享哪些信息,使用通过反向强化学习从人类演示中训练的策略。然后,我们使用神经序列到序列模型将这些信息“翻译”成自然语言指令,该模型学习从自然语言语料库生成自由形式的指令。我们在基准路线指令数据集上评估了我们的方法,与人类生成的参考指令相比,BLEU得分为72.18%。我们还与人类参与者进行了导航实验,证明我们的方法生成的指令与人类生成的指令一样准确和容易。
2016-10-11 cs.AI cs.CL cs.LG
Model Predictive Fuzzy Control: A Hierarchical Multi-Agent Control Architecture for Outdoor Search-and-Rescue Robots
Department of Control and Operations, Delft University of Technology(控制与运营系,代尔夫特理工大学)
本文提出模型预测模糊控制(MPFC)架构,将集中式MPC与局部FLC相结合,用于多机器人搜救任务规划,在保持与集中式MPC相当性能的同时显著降低计算资源需求。
2025-05-06 cs.RO cs.SY eess.SY
Enhancing Speech Instruction Understanding and Disambiguation in Robotics via Speech Prosody
IT University of Copenhagen(丹麦技术大学);University of Florida(佛罗里达大学);Brown University(布朗大学);Intelligent Agents Research Group(智能代理研究组);Intelligent Robot Lab(智能机器人实验室)
本文提出利用语音韵律直接推断指令意图,并通过上下文学习整合到大语言模型中进行任务计划消歧,同时发布首个机器人歧义语音数据集,实验显示指称意图检测准确率达95.79%,任务计划确定准确率为71.96%。
2025-06-01 cs.AI cs.CL cs.LG
Understanding User Instructions by Utilizing Open Knowledge for Service Robots
理解自然语言中的用户指令是人工智能和机器人领域的一个活跃的研究课题。通常,自然用户指令是高级的,并且可以被简化为以常见动词(例如,“take”、“get”、“put”)。对于机器人理解这些指令,一个关键的挑战是处理高层用户指令,并实现指定的任务与机器人的原始行动。为了解决这个问题,我们提出了新的算法,利用语义词典中定义的常见动词的语义角色,并集成多个开放的知识来生成任务计划。具体来说,我们提出了一种新的方法,用于匹配和恢复语义的用户指令和一个新的任务规划器,利用机器人的动作模型的功能知识。为了验证和评估我们的方法,我们实现了一个原型系统使用的知识,从几个开放的资源。在我们的系统上的实验证实了我们的算法的正确性和效率。值得注意的是,我们的系统已经部署在科佳机器人,参加了年度RoboCup@Home比赛在过去三年中,并取得了令人瞩目的高分数的基准测试。
2016-06-09 cs.AI cs.RO
Decentralized Task Allocation in Multi-Robot Systems via Bipartite Graph Matching Augmented with Fuzzy Clustering
University at Buffalo(布法罗大学)
机器人系统作为一个团队一起工作,正在成为从灾难响应到仓库履行服务等不同现实世界应用中的重要参与者。用于协调多机器人团队的集中式解决方案通常存在可扩展性差和通信中断的脆弱性。本文提出了一种分散式多智能体任务分配(Dec-MATA)算法的多机器人应用。任务规划问题是作为一个最大加权匹配的二分图,使用开花算法的解决方案,使每个机器人自主识别的最佳序列的任务,它应该承担。基于软聚类过程确定图的权重,软聚类过程也起到了问题分解的作用,以降低个体Agent任务分配问题的复杂性。为了评估新的Dec-MATA算法,进行了一系列的案例研究(不同的复杂性),任务随机分布在一个可观察的2D环境。一个集中的方法,一个国家的最先进的MILP制定的多旅行商问题的基础上进行比较分析。在集中式算法获得的最优成本的7-28%范围内,Dec-MATA算法被发现比集中式算法快1-3个数量级,并且对任务与机器人比率的敏感性最低。
2018-07-20 cs.AI cs.MA cs.RO
Translating Natural Language Instructions for Behavioral Robot Navigation with a Multi-Head Attention Mechanism
Pontificia Universidad Catolica de Chile(智利天主教大学);Millennium Institute for Foundational Research on Data(千年基础数据研究所)
我们提出了一个多头注意力机制作为一个混合层的神经网络模型,将自然语言转换为一个高层次的行为语言的室内机器人导航。我们遵循由(Zang et al.,2018a),提出使用导航图作为任务的知识库。我们的研究结果显示,在以前看不见的环境中翻译指令时,性能有了显着的提高,因此,提高了模型的泛化能力。
2020-06-07 cs.CL cs.LG cs.RO
Learning from Implicit Information in Natural Language Instructions for Robotic Manipulations
Koç University(科奇大学);KU Leuven(鲁汶大学);Örebro University(厄勒布鲁大学);Osnabrück University(奥斯纳布吕克大学)
人机交互通常以人类向机器人发出指令的形式发生。为了让机器人成功地遵循指令,人类和机器人之间应该共享世界和物体的共同表示,以便指令可以接地。实现这种表征可以通过学习来完成,其中世界表征和语言基础都是同时学习的。然而,在机器人技术中,由于数据的成本和稀缺性,这可能是一项艰巨的任务。在本文中,我们通过分别学习机器人的世界表示和语言基础来解决这个问题。虽然这种方法可以解决获取足够数据的挑战,但它可能会导致两个学习组件之间的不一致。因此,我们进一步提出贝叶斯学习,以解决这种不一致的自然语言接地和机器人的世界表示,利用空间关系的信息,这是隐含在人类给出的指令。此外,我们证明了我们的方法的可行性,涉及在物理世界中的机器人手臂的情况下。
2019-04-30 cs.AI cs.RO
Pragmatic Embodied Spoken Instruction Following in Human-Robot Collaboration with Theory of Mind
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学);Johns Hopkins University(约翰霍普金斯大学);Brown University(布朗大学)
针对嘈杂语音下的人机协作指令跟随难题,提出基于心智理论的神经符号模型SIFToM,利用视觉语言模型进行务实推断,在模拟和真实环境中显著提升性能并接近人类水平。
2025-10-06 cs.AI cs.HC cs.MA
Inferring Compact Representations for Efficient Natural Language Understanding of Robot Instructions
University of Rochester(罗切斯特大学);Toyota Technological Institute at Chicago(芝加哥丰田技术学院)
机器人能够解释自然语言的速度和准确性是实现有效人机交互的基础。大量的注意力已经放在开发提高语言理解效率的模型和近似推理算法上。然而,现有的方法仍然试图推理的环境是平坦的,不必要的详细,这限制了可伸缩性的表示。一个开放的问题,然后开发的方法,能够产生最紧凑的环境模型,足以准确和有效的自然语言理解。我们提出了一个模型,利用环境相关的信息编码内的指令,以确定必要的观察和感知分类器的子集,感知一个简洁的,特定的环境表示。该框架使用三个概率图形模型从语料库的注释指令来推断突出的场景语义,感知分类器和接地符号。两个机器人在不同环境中运行的实验结果表明,通过利用内容和结构的指令,我们的方法学习紧凑的环境表示,显着提高自然语言符号接地的效率。
2019-03-21 cs.AI cs.CL cs.LG
Learning Instruction-Guided Manipulation Affordance via Large Models for Embodied Robotic Tasks
Shandong University(山东大学);Meituan(美团)
针对语言指令无法动态改变操作区域的问题,提出IGANet利用预训练视觉语言编码器预测指令引导的可供性图,结合VLMs数据增强与LLMs执行动作,在真实实验中表现更优且泛化能力更强。
2024-08-20 cs.RO
Mobile Robots through Task-Based Human Instructions using Incremental Curriculum Learning
University of Tsukuba(筑波大学)
本文提出将增量课程学习与深度强化学习结合,用于基于任务型人类指令的移动机器人导航,实验证明该方法能提升训练效率与泛化能力,优于无课程学习的方法。
2024-12-26 cs.AI cs.RO
Instruction-driven history-aware policies for robotic manipulations
Inria(法国国家信息与自动化研究所);École normale supérieure(巴黎高等师范学院);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);IIIT Hyderabad(海得拉巴国际信息技术学院)
在人类环境中,机器人被期望完成各种简单的自然语言指令的操作任务。然而,机器人操作极具挑战性,因为它需要细粒度的运动控制、长期记忆以及对以前看不见的任务和环境的概括。为了应对这些挑战,我们提出了一个统一的变压器为基础的方法,考虑到多个输入。特别是,我们的Transformer架构集成了(i)自然语言指令和(ii)多视图场景观察,同时(iii)跟踪观察和动作的完整历史。这样的方法使得能够学习历史和指令之间的依赖性,并且使用多个视图来提高操纵精度。我们评估我们的方法具有挑战性的RLBench基准和现实世界的机器人。值得注意的是,我们的方法可扩展到74个不同的RLBench任务,并优于最先进的。我们还解决了预防条件的任务,并表现出出色的泛化到以前看不见的变化。
2022-12-17 cs.AI cs.CL cs.CV
Spatial Reasoning from Natural Language Instructions for Robot Manipulation
Robert Bosch Center for Cyber Physical Systems(罗伯特·博世网络物理系统中心);Indian Institute of Science(印度科学学院);Department of Electrical and Communication Engineering(电气与通信工程系);Department of Computational and Data Sciences(计算与数据科学系)
能够在非结构化环境中操纵物体并与人类合作的机器人可以通过理解自然语言而受益匪浅。我们提出了一个流水线架构的两个阶段进行空间推理的文本输入。首先定位场景中的所有对象,然后将自然语言中的机器人指令和定位的坐标映射到与机器人必须分别拾取和放置对象的位置相对应的开始和结束坐标。我们表明,表示本地化的对象,量化他们的位置到一个二进制网格是最好的表示它们作为一个列表的二维坐标。我们还表明,注意力可以提高泛化能力,并可以克服数据集中的偏见。所提出的方法是用来挑选和放置扑克牌使用机器人手臂。
2021-03-26 cs.CL cs.LG cs.RO
Natural Language Instructions for Intuitive Human Interaction with Robotic Assistants in Field Construction Work
University of Michigan(密歇根大学);Texas A&M University(德克萨斯农工大学)
针对建筑现场人机沟通难题,本文提出由NLU、IM和RC组成的自然语言指令框架,并通过石膏墙板安装案例验证其支持直观人机协作的潜力。
2023-07-11 cs.AI cs.HC cs.RO
A Multimodal Classifier Generative Adversarial Network for Carry and Place Tasks from Ambiguous Language Instructions
National Institute of Information and Communication Technology(信息通信技术研究所)
本文研究了一种多模态语言理解方法,用于家用服务机器人的搬运和放置任务。我们解决的情况下,模棱两可的指令,也就是说,当目标区域没有指定。例如,“把牛奶和谷物放在一边”是一个自然的指令,其中考虑到日常生活中的环境,目标区域存在模糊性。传统上,该指令可以从对话系统中消除歧义,但是以时间和繁琐的交互为代价。相反,我们提出了一个多模态的方法,其中的指令是使用机器人的状态和环境上下文消歧。我们开发了多模态分类器生成对抗网络(MMC-GAN)来预测不同目标区域的可能性,考虑到机器人的物理限制和目标杂波。与仅使用指令或简单的深度神经网络的基线方法相比,我们的方法MMC-GAN显著提高了准确性。
2018-06-11 cs.CL cs.RO
REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?
MARS Lab, School of Mechanical and Aerospace Engineering(MARS实验室,机械与航空航天工程学院)
本文研究模糊参照表达对LLM任务规划的影响,提出REI-Bench基准,发现模糊性会显著降低机器人规划性能,提出任务导向上下文认知方法提升表现。
2026-05-09 cs.AI cs.CL cs.RO
Programming Manipulators by Instructions
Intel Labs(英特尔实验室);Intel Corporation(英特尔公司)
提出基于指令的机器人编程方法,通过脚本语言发指令,利用行为树控制器协调技能,并用知识图谱跟踪状态,支持远程操作与技能复用,并在拾取放置场景仿真验证。
2024-07-28 cs.RO
From Vocal Instructions to Household Tasks: The Inria TIAGo++ in the euROBIN Service Robots Coopetition
Inria/LORIA
本文介绍了Inria团队在euROBIN竞赛中使用的集成机器人系统,通过改进TIAGo++平台实现自主和远程操作模式,并结合LLM进行指令理解和任务规划,解决了服务机器人部署中的实际问题。
2026-03-20 cs.RO