Grasp What You Want: Embodied Dexterous Grasping System Driven by Your Voice
Shenzhen Institute of Artificial Intelligence and Robotics for Society(深圳市人工智能与机器人研究院);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));South China University of Technology(华南理工大学)
提出具身灵巧抓取系统EDGS,融合语音与视觉信息,实现杂乱环境下的精准物体抓取,实验验证高成功率。
2024-12-14 cs.RO
Compositional Zero-Shot Learning for Attribute-Based Object Reference in Human-Robot Interaction
DEVCOM Army Research Laboratory(美国陆军作战能力发展司令部陆军研究实验室);University of Denver(丹佛大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
针对开放世界中对象视觉信息缺失及属性数量无界的挑战,本文提出基于属性的组成式零样本学习方法,在MIT-States和Clothing 16K数据集上验证了机器人能正确识别人类指令所指对象。
2023-12-21 cs.AI cs.CL cs.CV
Learning to Generate Unambiguous Spatial Referring Expressions for Real-World Environments
KTH Royal Institute of Technology(瑞典皇家理工学院);Middle East Technical University(中东技术大学)
以自然和明确的方式引用对象对于有效的人机交互至关重要。以往的研究主要集中在基于学习的指称表达的理解任务,而生成指称表达仍然主要限于基于规则的方法。在这项工作中,我们提出了一个两阶段的方法,依赖于深度学习来估计空间关系,以自然和明确地描述一个对象与引用表达式。我们将我们的方法与模糊环境中的最新算法(例如,包括具有相似关系的非常相似的对象的环境)。我们表明,我们的方法生成的引用表达式人们认为更准确($\sim$好30%)并且更愿意使用($\sim$使用频率高32%)。
2019-08-05 cs.CV cs.RO
Audio-Visual Grounding Referring Expression for Robotic Manipulation
Tsinghua University(清华大学)
在人们的日常对话中,指称语通常用于指称特定的对象。在本文中,我们开发了一个新的任务,视听接地指表示机器人操作。机器人利用音频和视觉信息来理解给定操作指令中的指称表达式,并执行相应的操作。为了解决这个问题,提出了一个视听框架,用于视觉定位和声音识别。我们还建立了一个数据集,其中包含视觉数据,听觉数据和操作指令进行评估。最后,大量的实验进行了离线和在线,以验证所提出的视听框架的有效性。实验结果表明,机器人在有视听数据的情况下比只有视觉数据的情况下表现得更好。
2021-09-22 cs.RO
Attribute-based Object Grounding and Robot Grasp Detection with Spatial Reasoning
Department of Electrical and Computer Engineering, Univ. of Minnesota(电气与计算机工程系);Amazon Lab126(亚马逊实验室126);National Tsing Hua University(国立清华大学)
提出OGRG框架,通过双向视觉-语言融合和深度信息实现基于属性的对象定位与抓取检测,在重复对象和开放语言下优于基线,支持弱监督学习。
2025-09-09 cs.RO
Generating Explanations for Autonomous Robots: a Systematic Review
University of León(莱昂大学)
本文系统性综述了为自主机器人生成解释的策略与XAR趋势,指出可解释性系统虽取得进展但仍无法完全覆盖复杂行为,且在理论概念和评估方法上存在不足。
2025-01-30 cs.RO
Learning,Generating and Adapting Wave Gestures for Expressive Human-Robot Interaction
MINES ParisTech(巴黎高等矿业学院);Honda Research Institute Europe(本田欧洲研究所);Idiap Research Institute(Idiap研究所)
本研究提出了一种新的模仿学习的方法,随机产生的人类一样的节奏波手势和他们的调制有效的非语言交流,通过概率公式,使用联合角度数据从人类示威。这是通过学习和调节手势的整体表情特征(例如,手臂姿势、挥动频率和幅度)。该方法进行了评估,涉及一个机器人与6自由度的机械手模拟机器人实验。结果表明,该方法提供了有效的编码和调制的节奏动作,并确保其执行的变化。
2020-03-04 cs.RO
A Quality Diversity Approach to Automatically Generating Human-Robot Interaction Scenarios in Shared Autonomy
University of Southern California(南加州大学)
人类和机器人之间交互的规模和复杂性的增长突出了对新的计算方法的需求,以自动评估新的算法和应用。探索人类和机器人在模拟中交互的各种场景可以提高对机器人系统的理解,并避免在现实世界中出现潜在的代价高昂的故障。我们将这个问题描述为质量多样性(QD)问题,其目标是通过同时探索环境和人类行为来发现不同的故障场景。我们专注于共享自治域,其中机器人试图推断人类操作员的目标,并采用QD算法MAP-Elites生成两个已发布的算法在这一领域的场景:通过事后优化和线性策略混合共享自治。一些生成的场景证实了以前的理论发现,而另一些则令人惊讶,并带来了对最先进实现的新理解。我们的实验表明,MAP-Elites优于蒙特卡洛模拟和优化的方法,有效地搜索场景空间,突出了它的承诺,自动评估的算法在人机交互。
2021-06-21 cs.RO
Employing Laban Shape for Generating Emotionally and Functionally Expressive Trajectories in Robotic Manipulators
Department of Computer Science, University of Colorado Boulder(计算机科学系,科罗拉多大学博尔德分校)
本研究采用拉班记谱法为机械臂生成具有功能与情感表达性的轨迹,通过引入犹豫运动变体并结合拉班形状增强情感轨迹,经人类受试者研究验证了其在改善人机沟通透明度与效率方面的有效性。
2025-06-23 cs.RO
Toward an Interaction-Centered Approach to Robot Trustworthiness
CONTACT, Italian Institute of Technology, Genoa, Italy and Digital Health Department, Nvision Systems & Technologies, S.L., Barcelona, Spain(意大利理工学院(CONTACT)、西班牙巴塞罗那Nvision系统与技术公司数字健康部);Department of Informatics, University of Hamburg, Germany(德国汉堡大学信息学院);Department of Applied Informatics, Comenius University Bratislava, Slovakia(斯洛伐克布拉迪斯拉发Comenius大学应用信息学院)
本文提出以交互为中心的机器人可信度框架,通过人类感知能力与透明度两大支柱促进人机相互理解,并引入四个组件弥合人类信任感与机器人真实能力之间的差距。
2025-09-20 cs.RO
Uncertainty Estimation for Safe Human-Robot Collaboration using Conservation Measures
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
我们提出了一种在线和数据驱动的不确定性量化方法,以实现安全的人机协作应用程序的开发。系统的安全性和风险评估与测量的准确性密切相关:独特的参数通常无法通过已知模型直接访问,因此必须进行测量。然而,由于传感器的有限性能,甚至未知的环境干扰或人类,测量通常会受到不确定性的影响。在这项工作中,我们量化这些测量的不确定性,利用守恒措施,这是定量的,系统特定的属性是恒定的,随着时间的推移,空间,或其他状态空间维度。我们的方法的关键思想在于在运行时参考守恒方程的传入数据的即时数据评估。特别是,我们估计违反先验已知的,特定领域的守恒性质,并考虑它们作为测量不确定性的后果。我们在人机协作的背景下验证了我们的方法,从而突出了我们对在真实世界条件下成功开发安全机器人系统的贡献的重要性,例如,在工业环境中。此外,我们展示了如何获得的不确定性值可以直接映射到任意的安全限制(例如,ISO 13849),允许在运行时监控安全标准的遵守情况。
2022-09-01 cs.RO
Robot Manipulation in Salient Vision through Referring Image Segmentation and Geometric Constraints
University of Alberta(阿尔伯塔大学)
本文提出CLIPU$^2$Net轻量级指代分割模型,结合眼在手视觉伺服系统,通过几何约束实现语言引导的机器人操作,在46项真实任务中优于传统方法。
2024-09-17 cs.CV cs.RO
LMPVC and Policy Bank: Adaptive voice control for industrial robots with code generating LLMs and reusable Pythonic policies
Cognitive Robotics group, Unit of Automation Technology and Mechanical Engineering, Tampere University(认知机器人组、自动化技术与机械工程单位、塔尔皮奥大学)
本文提出LMPVC,一种基于LLM的ROS2工业机器人语音控制架构,通过集成Policy Bank系统实现策略编程与示教,无需昂贵训练即可适应下游任务。
2025-06-27 cs.RO
CLIPUNetr: Assisting Human-robot Interface for Uncalibrated Visual Servoing Control with CLIP-driven Referring Expression Segmentation
University of Alberta(阿尔伯塔大学)
本文提出CLIPUNetr,一种CLIP驱动的指代表达分割网络,并将其集成到无标定视觉伺服控制中,以自然语言提升人机接口的语义理解能力,实验表明边界与结构指标平均提升120%,可辅助真实环境机器人控制。
2023-09-17 cs.CV cs.RO
Multi-Agent Strategy Explanations for Human-Robot Collaboration
Robotics Institute at Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本文研究人机协作中的多智能体策略解释方法,利用通用多智能体规划器生成策略条件化关键状态的可视化与文本解释,并通过用户研究验证其能帮助用户更高效地与机器人协作。
2024-07-01 cs.RO
'What did the Robot do in my Absence?' Video Foundation Models to Enhance Intermittent Supervision
CSIRO(联邦科学与工业研究组织);Monash University(莫纳什大学)
本文提出利用视频基础模型生成多模态机器人数据摘要的框架,通过用户研究验证查询驱动摘要和故事板能显著提升间歇式监督下的信息检索准确性,首次实现ViFMs在该场景的零样本应用。
2024-11-15 cs.RO
Toward Forgetting-Sensitive Referring Expression Generationfor Integrated Robot Architectures
Colorado School of Mines(科罗拉多矿业学院)
为了进行类似人类的对话,机器人需要能够描述其环境中的物体,位置和人,这种能力被称为“引用表达式生成”。“当说话者反复提到类似的物体时,他们倾向于重复使用先前描述的属性,部分原因是为了帮助听者,部分原因是工作记忆(WM)中这些属性的认知可用性。由于不同的工作记忆"遗忘"理论必然导致认知可用性的差异,我们假设,它们将同样导致不同的指称表达的产生。为了设计有效的智能代理,因此有必要确定不同的遗忘模型如何在产生自然的类人指称表达时产生差异。在这项工作中,我们计算两个候选模型的机器人认知架构内的工作记忆遗忘,并演示它们如何导致认知可用性为基础的差异生成的参考表达式。
2020-07-16 cs.AI cs.CL cs.RO
A Comparison of Visualisation Methods for Disambiguating Verbal Requests in Human-Robot Interaction
KTH Royal Institute of Technology(瑞典皇家理工学院)
拾取人类用户请求的对象是人机交互中的常见任务。当多个对象匹配用户的口头描述时,机器人需要在执行动作之前澄清用户指的是哪个对象。先前的研究集中在感知用户的多模态行为,以补充口头命令或尽量减少后续问题的数量,以减少任务时间。在本文中,我们提出了一个系统的参考消歧的基础上可视化和比较三种方法来消除歧义的自然语言指令。在YuMi机器人的受控实验中,我们研究了三种条件下的工作空间的实时增强-混合现实,增强现实和监视器作为基线-使用时间和准确性等客观指标,以及参与度,沉浸感和显示干扰等主观指标。在准确性和参与的条件之间的显着差异,但没有发现在任务时间的差异。尽管混合现实条件下的出错率更高,但参与者发现该模式比其他两种更吸引人,但总体上显示出对增强现实条件的偏好,而不是监视器和混合现实条件。
2018-01-26 cs.HC cs.RO
Using Depth for Improving Referring Expression Comprehension in Real-World Environments
KTH Royal Institute of Technology(KTH皇家理工学院)
在人机协作任务中,机器人通过寻找所描述的对象来帮助其伙伴,深度维度在成功完成任务中起着关键作用。现有的研究大多集中在理解使用RGB图像的对象描述。然而,包括深度信息的三维空间感知在现实世界环境中是基本的。在这项工作中,我们提出了一种方法来识别所描述的对象,考虑深度维度数据。在深度数据对消除对象歧义至关重要的场景中,以及在我们的整个评估数据集中,使用深度特征可以显着提高性能,其中包含可以指定和不指定深度维度的对象。
2021-07-09 cs.RO
A Dynamic Neural Network Approach to Generating Robot's Novel Actions: A Simulation Experiment
Korea Advanced Institute of Science and Technology(韩国高等科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
在这项研究中,我们研究了机器人如何从自己学习基本动作的经验中产生新颖和创造性的动作。受机器学习方法的启发,我们提出了一个动态的神经网络模型,可以学习和生成机器人的动作。我们用一个人形机器人进行了一组仿真实验。实验结果表明,该模型能够学习基本动作,并通过调整和组合这些学习到的动作来生成新的动作。对神经活动的分析表明,创造性行为的产生是由模型在训练过程中自组织的非线性记忆结构引起的。研究结果还表明,基本动作的不同学习方式诱发了具有不同特征的记忆结构的自组织,从而产生不同水平的创造性动作。我们的方法可以用于人机交互,其中用户可以交互式地探索机器人的记忆来控制其行为,并发现其他新的动作。
2018-05-15 cs.AI cs.RO
Generating Shared Latent Variables for Robots to Imitate Human Movements and Understand their Physical Limitations
IMT Atlantique(大西洋高等电信学院)
辅助机器人技术,特别是机器人教练可能对康复医疗非常有帮助。在这种情况下,我们提出了一种基于高斯过程潜变量模型(GP-LVM)的方法来转移物理治疗师,机器人教练和病人之间的知识。我们的模型能够将视觉人体特征映射到机器人数据,以便于机器人学习和模仿。此外,我们建议扩展该模型,以适应机器人的理解,病人的身体限制在评估康复锻炼。实验结果表明,机器人模仿和模型适应根据病人的局限性有希望的结果。
2021-11-03 cs.AI cs.CV cs.HC
Generating Natural and Expressive Robot Gestures through Iterative Reinforcement Learning with Human Feedback using LLMs
University of New South Wales(新南威尔士大学);Universidad Central de Chile(智利中央大学)
针对社交机器人手势生成僵硬问题,提出将ChatGPT集成到Pepper机器人中生成共语手势,并引入基于人类反馈的迭代强化学习(RLHF)优化手势,实验表明RLHF提升了手势的表现力、相关性和流畅性。
2026-06-18 cs.AI cs.RO
EMOTION: Expressive Motion Sequence Generation for Humanoid Robots with In-Context Learning
Apple(苹果公司)
针对现有机器人非语言交流方法表现力不足的问题,提出基于大语言模型上下文学习的EMOTION框架,可生成符合社交场景的手势动作,实验显示其效果在特定场景下媲美甚至超越人类操作,并给出相关设计启示。
2024-10-30 cs.AI cs.RO
Language-guided Robot Grasping: CLIP-based Referring Grasp Synthesis in Clutter
University of Groningen(格罗宁根大学);University of Edinburgh(爱丁堡大学);University College London(伦敦大学学院)
针对杂乱场景中指代抓取合成任务,提出基于CLIP的端到端模型CROG,直接学习图像-文本对到抓取姿态的映射,并在OCID基准及真实机器人实验中显著提升定位与抓取性能。
2023-11-09 cs.CV cs.RO
Imitating by generating: deep generative models for imitation of interactive tasks
KTH Royal Institute of Technology(瑞典皇家理工学院);Aalto University(阿尔托大学);Alanya Alaaddin Keykubat University(阿拉尼亚·阿拉丁·库库巴特大学)
为了与互动伙伴协调行动,需要不断交换感觉运动信号。人类在婴儿期和幼儿期获得这些技能主要是通过模仿学习和与熟练伙伴的积极参与。他们需要在互动过程中预测和适应伴侣的能力。在这项工作中,我们要探索这些想法在人与机器人的互动设置中,机器人需要学习互动任务的观察和动觉学习的组合。为此,我们提出了一个深度学习框架,该框架由多个组件组成,用于(1)人类和机器人运动嵌入,(2)人类伙伴的运动预测和(3)生成与人类运动匹配的机器人关节轨迹。为了验证这些想法,我们收集了四个交互任务“握手”,“挥手”,“降落伞拳头碰撞”和“火箭拳头碰撞”的人机交互数据和人机交互数据。我们通过实验证明了预测和自适应组件以及低级别抽象的重要性,以成功地学习模仿人类行为的互动社会任务。
2019-10-14 cs.LG cs.RO stat.ML
A Parameter-Efficient Tuning Framework for Language-guided Object Grounding and Robot Grasping
Univ. of Minnesota(明尼苏达大学)
本文提出一种基于CLIP的参数高效微调框架,通过双向视觉-语言适配器和深度融合分支,在语言引导的目标定位与机器人抓取三项任务上取得优于现有方法的性能,并具备复杂空间推理能力。
2025-02-07 cs.RO
Xpress: A System For Dynamic, Context-Aware Robot Facial Expressions using Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
Xpress系统利用语言模型通过编码时间流、上下文调节和代码生成三阶段动态生成机器人面部表情,解决了现有方法劳动密集且适应性差的问题,在HRI中展现出良好的表达性和上下文感知能力。
2025-03-01 cs.HC cs.RO
RREx-BoT: Remote Referring Expressions with a Bag of Tricks
Amazon Alexa AI(亚马逊Alexa人工智能部门)
家用机器人可以在同一个空间工作多年。这样的机器人逐步建立动态地图,可用于需要远程对象定位的任务。然而,机器人学习中的基准通常通过对未观察环境中的任务进行推理来测试泛化。在观察到的环境中,定位对象被简化为从环境中的所有对象建议中进行选择,这些建议可能有100,000个。有了这种直觉,只使用一个通用的视觉语言评分模型,对3D编码进行了微小的修改,并在具体的环境中运行,我们证明了远程对象接地的绝对性能增益为9.84%,高于REVERIE的最先进模型和FAO的5.04%。当允许预探索环境时,我们也超过了REVERIE上以前最先进的预探索方法。此外,我们在真实世界的TurtleBot平台上展示了我们的模型,突出了该方法的简单性和实用性。我们的分析概述了完成这项任务所必需的“技巧袋”,从利用三维坐标和上下文,到将视觉语言模型推广到大型三维搜索空间。
2023-01-30 cs.AI cs.CV cs.RO
Spatial-LLaVA: Enhancing Large Language Models with Spatial Referring Expressions for Visual Understanding
Autonomous Robotics and Perception Group in the Computer Science Department at the University of Colorado Boulder(科罗拉多大学波德分校计算机科学系自主机器人与感知小组)
针对多模态大语言模型在空间关系判断、相似物体定位等专业任务表现不佳的问题,研究者推出含9万组标注的SUN-Spot v2.0数据集并训练Spatial-LLaVA模型,在零样本视觉空间推理基准上较现有方法提升3.15%,可应用于自主导航等场景。
2025-05-18 cs.RO
Legibot: Generating Legible Motions for Service Robots Using Cost-Based Local Planners
Sorbonne University(索邦大学);CNRS(法国国家科学研究中心);Institut des Systemes Intelligents et de Robotique(智能与机器人系统研究所)
针对社交机器人需清晰传达意图的问题,提出将易读性融入基于代价的局部运动规划,并给出集成感知与定位的部署技术栈。
2024-04-07 cs.RO
LINGO-Space: Language-Conditioned Incremental Grounding for Space
Korea Advanced Institute of Science and Technology(韩国科学技术院)
针对复合空间指称表达式的定位与歧义问题,本文提出 LINGO-Space,利用可配置极坐标概率分布进行增量空间 grounding,并在桌面操作、模拟操作及真实四足导航任务中验证其有效性。
2024-02-02 cs.AI cs.CL cs.CV
Generating Task-specific Robotic Grasps
University of Birmingham(伯明翰大学)
本文介绍了一种方法,用于产生机器人把握共同考虑稳定性和其他任务和对象的具体限制。我们引入了一个三级表示,是从一个小的对象,任务和相关的把握样本数量为每个对象类收购。该表示将每个对象类的特定于任务的知识编码为关键点骨架和合适的抓握点之间的关系,尽管在尺度和方向上存在类内变化,但该关系仍被保留。学习模型在运行时间查询一个简单的基于采样的方法,以指导平衡任务和稳定性约束的把握的生成。我们地面和评估我们的方法的背景下,一个弗兰卡Panda机器人协助人类挑选桌面对象的机器人没有事先的CAD模型。实验结果表明,与只关注稳定性的基线方法相比,我们的方法能够为不同的任务提供合适的抓握。
2022-03-20 cs.RO
GRACE: Generating Socially Appropriate Robot Actions Leveraging LLMs and Human Explanations
University of Cambridge(剑桥大学);Middle East Technical University(中东技术大学);Bilkent University(毕尔肯大学)
本文提出GRACE方法,通过生成网络将LLM的常识知识与人类解释相结合,双向优化机器人动作预测并生成解释,显著提升了社会规范动作生成的性能。
2025-04-03 cs.RO
LLCoach: Generating Robot Soccer Plans using Multi-Role Large Language Models
Sapienza University of Rome(罗马大学);University of Basilicata(巴西利卡塔大学);International University of Rome(罗马国际大学)
本文提出一种多角色大型语言模型方法,用于在RoboCup标准平台联赛中生成和优化机器人足球计划,并通过模拟比赛验证其有效性。
2024-06-26 cs.RO
Generating Robot Hands from Human Demonstrations
University of California San Diego(加州大学圣迭戈分校);Amazon Frontier AI & Robotics(亚马逊前沿人工智能与机器人)
提出数据驱动框架,利用人类日常操作中超过400万帧指尖运动数据,通过逆运动学匹配指尖位置,优化树状结构机器人手的设计,生成通用6自由度手和低自由度任务专用手,并训练强化学习智能体加速设计搜索。
2026-06-19 cs.RO
Generating Actionable Robot Knowledge Bases by Combining 3D Scene Graphs with Robot Ontologies
Institute for Artificial Intelligence, University of Bremen, Germany(人工智能研究所,不莱梅大学);Appliable Linguistics, University of Bremen, Germany(应用语言学,不莱梅大学);Automation & Control Institute, TU Wien, Austria(自动化与控制研究所,维也纳技术大学)
本文提出一种统一场景图模型,将MJCF、URDF和SDF等多种场景描述格式标准化为USD格式,并结合机器人本体论将环境数据转化为知识图谱,以支持实时机器人决策,同时开发了Web可视化工具辅助语义映射。
2025-07-15 cs.RO
A New Software Tool for Generating and Visualizing Robot Self-Collision Matrices
Roshan Klein-Seetharaman and Daniel Rakita(独立研究者)
本文提出了一种交互式工具,用于生成和可视化自碰撞矩阵,支持多种形状表示,提升机器人自碰撞检测的效率与准确性。
2025-12-30 cs.RO
Proprioception Enhances Vision Language Model in Generating Captions and Subtask Segmentations for Robot Task
Faculty of Science and Engineering, Waseda University(工学部,早稻田大学);Artificial Intelligence Laboratory, Fujitsu Limited(Fujitsu 人工智能实验室);National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院)
本研究通过引入本体感知数据,提升视觉语言模型在机器人任务描述和子任务分割中的性能,以增强机器人模仿学习效率。
2026-01-12 cs.RO
Generating Quality Grasp Rectangle using Pix2Pix GAN for Intelligent Robot Grasping
Indian Institute of Information Technology Allahabad(阿拉哈巴德印度信息技术学院)
智能机器人抓取是一个非常具有挑战性的任务,由于其固有的复杂性和不提供足够的标记数据。由于为任何基于深度学习的模型(包括深度强化学习)提供合适的标记数据对于成功的抓取学习至关重要,因此在本文中,我们提出使用Pix 2 Pix生成对抗网络(Pix 2 Pix GAN)来解决生成抓取姿势/矩形的问题,该网络将对象的图像作为输入,并生成标记有对象的抓取矩形作为输出。在这里,我们提出了一个端到端的抓取矩形生成方法,并将其嵌入到一个适当的位置的对象被抓住。我们已经开发了两个模块,以获得最佳的抓取矩形。在第一个模块的帮助下,从Pix 2 Pix GAN的输出中提取所生成的抓取矩形的姿势(位置和方向),然后将提取的抓取姿势转换为对象的质心,因为在这里我们假设像人类抓取规则形状对象的方式一样,质心/质心是稳定抓取的最佳位置。对于其他不规则形状的物体,我们允许生成的抓取矩形,因为它是要喂给机器人的把握执行。利用有限数量的Cornell抓取数据集生成抓取矩形的准确率显著提高,达到87.79%。实验表明,我们提出的基于生成模型的方法给出了有希望的结果,在执行成功的把握,以及看不见的对象。
2022-02-20 cs.RO
An Experimental Validation and Comparison of Reaching Motion Models for Unconstrained Handovers: Towards Generating Humanlike Motions for Human-Robot Handovers
Monash University(莫纳什大学);University of British Columbia(不列颠哥伦比亚大学)
最小Jerk运动模型在文献中长期被引用用于单人任务中的人类点对点到达运动。虽然已经证明,在人类-机器人递送者的联合动作任务中将最小加加速度样轨迹应用于机器人到达运动允许机器人递送者被感知为更仔细、安全和熟练,但尚未验证人类在递送者中的到达运动是否遵循最小加加速度模型。为了在实验上测试和验证人体在无约束的机器人中的运动模型,我们检查了人体在无约束的机器人中的运动(允许人移动整个身体),并与1)最小Jerk模型,2)其变体,解耦最小Jerk模型和3)最近提出的椭圆(圆锥)模型进行了拟合。结果表明,圆锥模型最适合无约束的人类切换到达运动。此外,我们还发现,与被发现是椭圆形的受约束的单人到达运动不同,椭圆和双曲圆锥类型之间存在分裂。我们希望我们的研究结果将有助于指导人类机器人交接任务中更人性化的运动的产生。
2021-08-29 cs.RO
Robot Adaptation for Generating Consistent Navigational Behaviors over Unstructured Off-Road Terrain
Colorado School of Mines(科罗拉多矿业学院);US Army Research Laboratory(美国陆军研究实验室)
地形适应是地面机器人在森林等野外环境中有效穿越非结构化越野地形的一项重要能力。然而,由于车轮打滑和轮胎压力降低等因素的影响,地形适应方法产生的预期机器人行为并不能总是准确地执行。为了解决这个问题,我们提出了一种新的方法,一致的行为生成,使地面机器人的实际行为,以更准确地匹配预期的行为,同时适应各种非结构化的越野地形。我们的方法学习抵消行为,用于补偿实际和预期行为之间的不一致,而不需要明确的建模的各种挫折。我们的方法也能够估计多模态特征的重要性,以提高地形表示更好的适应。此外,我们开发了一个算法求解器,我们制定的正则化优化问题,这是保证收敛到全局最优解。为了评估该方法,我们进行了广泛的实验,使用各种非结构化越野地形在现实世界的现场环境。实验结果表明,该方法能够使机器人在复杂的非结构化越野地形中具有更好的导航行为一致性,并且在复杂地形中的导航性能优于以往的方法。
2021-01-01 cs.RO
Generating Whole-Body Avoidance Motion through Localized Proximity Sensing
Università di Genova(热那亚大学)
本文提出融合部分分布ToF传感器点云与机器人几何模型的全身避障控制算法,通过最近点对和分层任务架构驱动非传感器化连杆安全避障,距离裕度最高提升100 mm。
2024-12-05 cs.RO
Gaussian path model library for intuitive robot motion programming by demonstration
VTT Technical Research Centre of Finland Ltd(芬兰技术研究有限公司)
本文提出一种从教学数据生成高斯路径模型的系统,构建多形状模型库用于人类示教分类,实现直观的机器人运动编程,并提出基于几何分析修改现有模型的方法。
2025-09-15 cs.RO
RwoR: Generating Robot Demonstrations from Human Hand Collection for Policy Learning without Robot
CFCS, School of Computer Science, Peking University(计算机学院,北京大学);PKU-Agibot Lab(北京大学Agibot实验室);State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University(多媒体信息处理国家重点实验室,计算机学院,北京大学);Tencent Robotics X Laboratory(腾讯机器人X实验室)
提出RwoR系统,利用手腕GoPro采集人手示教,通过生成模型转化为机器人夹爪示教,弥合视觉差距,无需机器人即可高效生成训练数据,提升策略学习性能。
2025-07-08 cs.RO
Augmenting Knowledge through Statistical, Goal-oriented Human-Robot Dialog
SUNY Binghamton(纽约州立大学宾汉姆顿分校);Cleveland State University(克利夫兰州立大学);University of Washington(华盛顿大学)
一些机器人可以使用自然语言与人类交互,并通过人机对话识别服务请求。然而,很少有机器人能够从这种经验中提高他们的语言能力。在本文中,我们开发了一个对话代理的机器人,能够解释用户的命令使用语义解析器,同时要求澄清问题,使用概率对话管理器。该对话代理能够通过从对话经验中学习来增强其知识库并提高其语言能力,例如,添加新实体并学习引用现有实体的新方法。我们已经在模拟中广泛评估了我们的对话系统,并通过MTurk和真实机器人平台与人类参与者进行了评估。我们证明,我们的对话代理执行更好的效率和准确性相比,基线学习代理。演示视频可以在https://youtu.be/DFB3jbHBqYE上找到
2019-11-12 cs.HC cs.RO
Generating Freeform Endoskeletal Robots
Northwestern University(西北大学)
针对机器人自动设计长期局限于纯刚性或纯软体结构的问题,本文提出联合生成软体组织与关节内骨骼,并结合潜空间编码、强化学习和进化策略,实现开放式陆地内骨骼机器人设计。
2024-12-02 cs.RO
Talk2Radar: Bridging Natural Language with 4D mmWave Radar for 3D Referring Expression Comprehension
Institute of Deep Perception Technology, JITRI(JITRI深度感知技术研究所);University of Liverpool(利物浦大学);University of Southampton(南安普顿大学);Momoni AI(Momoni人工智能公司);Xi’an Jiaotong-Liverpool University(西交利物浦大学);Thrust of Artificial Intelligence, HKUST (GZ)(香港科技大学(广州)人工智能学域);Thrust of Intelligent Transportation, HKUST (GZ)(香港科技大学(广州)智能交通学域)
本文构建了首个面向4D毫米波雷达3D指代表达理解的数据集Talk2Radar,并提出T-RadarNet模型,通过Deformable-FPN和Gated Graph Fusion实现高效点云建模与跨模态融合,取得SOTA性能。
2025-02-09 cs.CV cs.RO
CollisionIK: A Per-Instant Pose Optimization Method for Generating Robot Motions with Environment Collision Avoidance
University of Wisconsin–Madison(威斯康星大学麦迪逊分校)
在这项工作中,我们提出了一个即时的姿势优化方法,可以生成配置,实现指定的姿势或运动目标,尽可能最好的解决方案的序列,同时也避免与静态或动态的障碍物在环境中的碰撞。我们投我们的方法作为一个多目标,非线性约束优化为基础的IK问题,在目标函数中的每一项编码一个特定的姿势目标。我们演示了如何有效地将环境碰撞避免作为一个单一的长期在这个多目标,基于优化的IK结构,并提供解决方案,如何在空间上表示和组织外部环境,使数据可以有效地传递到一个实时的,性能关键的优化循环。我们证明了我们的方法的有效性,通过比较它的各种国家的最先进的方法在模拟实验的测试平台,并讨论我们的工作的基础上,我们的结果的影响。
2021-02-25 cs.RO
Generating robotic elliptical excisions with human-like tool-tissue interactions
University of Edinburgh(爱丁堡大学);Monash University(莫纳什大学)
本文提出一种参数化椭圆形切除技能模型,结合贝叶斯优化从少量示教中学习并优化机器人手术行为,使其切除力表现与不同熟练水平的专家保持一致。
2023-09-21 cs.RO
NavIsaacLab: Generating Realistic Crowd via Parallel Robot Learning for Benchmarking Human-aware Navigation
Southern University of Science and Technology(南方科技大学);National University of Singapore(新加坡国立大学);Peng Cheng Laboratory(鹏城实验室);Jiaxing Research Institute, Southern University of Science and Technology(南方科技大学嘉兴研究院)
提出NavIsaacLab框架,利用基于物理和照片级真实感的仿真,结合轨迹扩散模型和对抗运动学习控制器生成逼真人群,用于训练和评估人感知导航策略。
2026-06-26 cs.RO
An Ergodic Measure for Active Learning From Equilibrium
Northwestern University(西北大学)
本文开发了KL-遍历探索从平衡($\text{KL-E}^3$),机器人系统的方法,以整合稳定性,积极产生信息的测量,通过遍历探索。遍历探索使机器人系统能够从全局信息空间分布中间接采样,避免局部最优,并且不需要针对机器人动力学评估分布的导数。使用混合系统理论,我们推导出一个控制器,允许机器人利用平衡策略(即,解决任务的策略),同时允许机器人使用可以扩展到高维状态的遍历度量来探索和生成信息数据。我们表明,我们的方法是能够保持李雅普诺夫吸引力相对于平衡任务,同时积极生成数据的学习任务,如贝叶斯优化,模型学习,政策外强化学习。在每个例子中,我们表明,我们提出的方法是能够生成一个信息丰富的数据分布,同时合成平滑的控制信号。我们说明这些例子,使用模拟系统,并提供简化我们的方法在机器人系统中的实时在线学习。
2020-12-07 cs.RO
Near-Optimal Path Planning for Complex Robotic Inspection Tasks
University of Antwerp(安特卫普大学)
在本文中,我们考虑的问题产生的机器人检查路径。这些路径应允许连接的测量设备执行高质量的测量。我们正式表明,生成机器人路径,同时最大限度地提高检查质量,自然对应于子模块定向越野问题。能够生成具有数学保证的解决方案的传统方法无法扩展到现实世界的问题。在这项工作中,我们提出了一种方法,能够为现实世界中的复杂问题产生接近最优的解决方案。我们实验测试这种方法在各种各样的检查问题,并表明它几乎总是优于传统的方法。我们还表明,我们的方法的近最优性,使其更强大的改变检查问题,因此更普遍。
2019-05-14 cs.RO
Trajectory Optimization for Thermally-Actuated Soft Planar Robot Limbs
Carnegie Mellon University(卡内基梅隆大学);Boston University(波士顿大学)
由软材料制成的机器人操纵器的实际使用需要产生和执行复杂的运动。我们提出了第一种方法产生的热驱动软机器人机械手的轨迹。基于简化近似的软臂和它的拮抗形状记忆合金致动器线圈,我们证明了一个离散化的刚性机械手的动力学模型,关节力矩与导线温度成正比。然后,我们提出了一种方法来校准这个模型的实验数据,并证明模拟与硬件测试。最后,我们使用一个直接配置优化与机器人的非线性动力学产生可行的状态输入轨迹从所需的参考。三个实验验证了我们的方法为单段机器人的硬件:首先使用手派生的参考轨迹,然后与两个示教和重复测试。结果表明,开环运动生成以及未来的应用反馈的承诺。
2022-04-21 cs.RO
Generating Diverse Challenging Terrains for Legged Robots Using Quality-Diversity Algorithm
Seoul National University(首尔大学);AIIS, Seoul National University(首尔大学人工智能研究所);Advanced Institute of Convergence Technology(融合技术高等研究院)
本文提出一种质量-多样性框架,为腿式机器人生成多样且具有挑战性的地形,以揭示控制器弱点,并可用于改进强化学习控制器。
2025-06-02 cs.NE cs.RO