QueryCAD: Grounded Question Answering for CAD Models
ArtiMinds Robotics;IAS Lab, Computer Science Department, TU Darmstadt(IAS实验室,计算机科学系,图腾斯泰特大学);AICOR Institute for Artificial Intelligence, University of Bremen(AICOR人工智能研究所,不莱梅大学);Stuttgart University of Applied Sciences(斯图加特应用科学大学)
本文提出首个CAD问答系统QueryCAD,结合开放词汇分割模型SegCAD和专用基准,使机器人自动程序合成能够通过自然语言从CAD模型中提取信息。
2025-06-05 cs.RO
A Hybrid SLAM and Object Recognition System for Pepper Robot
Edinburgh Robotics Center(爱丁堡机器人中心);VICOROB, UdG(赫罗纳大学计算机视觉与机器人研究所);I2R, A*STAR(新加坡科技研究局资讯通信研究院);Heriot-Watt University(赫瑞瓦特大学)
人形机器人在现实生活中扮演着越来越重要的角色,特别是在室内应用方面。为室内环境测绘、自定位和物体识别等任务提供强大的解决方案,对于使机器人更加自主,从而更加人性化至关重要。著名的毕宿五服务机器人Pepper是实现这些目标的合适人选。在本文中,同时定位和映射(SLAM)算法与对象识别相结合的混合系统的开发和测试与胡椒机器人在现实世界的条件下第一次。ORB SLAM 2算法是本课题的一项重要研究工作.然后,基于尺度不变特征变换(SIFT)和随机采样一致性(RANSAC)的对象识别技术与SLAM相结合,识别和定位映射的室内环境中的对象。我们的实验结果表明,该系统的适用性,在现实世界的场景中的胡椒机器人。此外,我们在https://github.com/PaolaArdon/Salt-Pepper上向社区提供了我们的源代码。
2019-03-08 cs.RO
Towards Better Human Robot Collaboration with Robust Plan Recognition and Trajectory Prediction
University of California, Berkeley(加州大学伯克利分校);Carnegie Mellon University(卡内基梅隆大学)
随着制造业从大规模生产向大规模定制的转变,人机协作变得越来越重要。HRC的引入可以显著提高自动化的灵活性和智能性。然而,由于人类合作者的随机性和时变性,这是具有挑战性的机器人,以有效和准确地识别人类的计划,并以安全的方式作出反应。为了解决这一挑战,我们提出了一个集成的人类机器人协作框架,在本文中,它包括计划识别和轨迹预测。这样的框架使机器人能够感知、预测并根据人类的计划调整其行动,并根据预测的人类轨迹智能地避免与人类发生碰撞。此外,通过明确地利用计划和轨迹之间的分层关系,可以实现更鲁棒的计划识别性能。在工业机器人上进行了实验验证,实验结果表明,该框架不仅能保证安全的HRC,还能提高HRC团队的时间效率,且计划识别模块对噪声不敏感。
2020-02-17 cs.RO
Image-based scene recognition for robot navigation considering traversable plants and its manual annotation-free training
Toyohashi University of Technology(丰桥技术科学大学)
本文描述了一种方法,估计植物部分覆盖路径和导航通过它们的移动机器人在植物丰富的环境中操作的可通行性。传统的移动机器人依赖于场景识别方法,只考虑环境的几何信息。因此,当路径被柔性植物覆盖时,这些方法不能将路径识别为可穿越的。在本文中,我们提出了一种新的框架,基于图像的场景识别,以实现在这样的植物丰富的环境中的导航。我们的识别模型利用一般对象分类的语义分割分支和遍历性估计分支估计像素遍历性。使用无监督领域自适应方法训练语义分割分支,并且使用在数据采集阶段期间从机器人的遍历经验生成的标签图像训练遍历性估计分支,创造遍历性掩码。因此,整个模型的训练过程无需人工注释。在我们的实验中,我们表明,所提出的识别框架是能够区分可穿越的植物更准确地比传统的语义分割与可穿越的植物和非可穿越的植物类,和现有的基于图像的可穿越性估计方法。我们还进行了一个真实世界的实验,并证实了所提出的识别方法的机器人成功地在植物丰富的环境中导航。
2022-01-13 cs.RO
Social Gesture Recognition in spHRI: Leveraging Fabric-Based Tactile Sensing on Humanoid Robots
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
针对人机社交触觉交互需求,研究提出搭载于人形机器人手臂的织物基触觉社交手势识别系统,构建多参与者数据集并提取时序特征分类,为spHRI系统发展提供新思路。
2025-03-21 cs.RO
A Fog Robotics Approach to Deep Robot Learning: Application to Object Recognition and Grasp Planning in Surface Decluttering
University of California, Berkeley(加利福尼亚大学伯克利分校);AUTOLAB at UC Berkeley(加州大学伯克利分校自动实验室)
工业、汽车和服务机器人的需求不断增长,在隐私、安全、延迟、带宽和可靠性方面对集中式云机器人模型提出了挑战。在本文中,我们提出了一种用于深度机器人学习的“雾机器人”方法,该方法以联合方式在云和边缘之间分配计算,存储和网络资源。深度模型在云中的非私有(公共)合成图像上进行训练;模型适应可信网络中边缘环境的私有真实图像,随后部署为网络中其他机器人的低延迟和安全推理/预测服务。我们将这种方法应用于表面整理,其中移动机器人通过学习深度对象识别和抓取规划模型来从杂乱的地板中拾取和分类对象。实验表明,与只使用云或边缘资源相比,Fog Robotics可以通过模拟到真实的领域自适应来提高性能,同时将推理周期时间减少4个\times,以便在213次尝试中成功地清理86%的对象。
2019-03-22 cs.RO
Hand Gesture Recognition for Collaborative Robots Using Lightweight Deep Learning in Real-Time Robotic Systems
Institut Teknologi Sepuluh Nopember(泗水理工学院)
本文提出一种仅22 KB、1,103参数的轻量级深度学习手势识别系统,可识别八种手势,经TensorFlow Lite量化剪枝后压缩至7 KB,并在ROS2框架下的UR5协作机器人上验证了实时手势控制的有效性。
2025-07-24 cs.RO
Design of a Human-Assistance Robot System with Contextual Action Recognition
Warsaw University of Technology(华沙理工大学);SANO Centre for Computational Personalized Medicine(SANO计算个性化医学中心)
本文设计了一款结合上下文动作识别、行为树与ROS的主动式人机协作机器人系统,以Spot机器人为平台,通过上下文动作识别解决现有局限,提升复杂场景下的主动协助决策能力。
2026-08-25 cs.RO
Zenbo Patrol: A Social Assistive Robot Based on Multimodal Deep Learning for Real-time Illegal Parking Recognition and Notification
National Chengchi University(国立政治大学)
本研究开发社交辅助机器人Zenbo Patrol,采用GPT-4o多模态模型实现无预处理的高准确率车牌识别与违停判定,检测到违停时即时通过Line通知管理员,可应用于室内停车场场景。
2025-10-05 cs.RO
Robot Tactile Gesture Recognition Based on Full-body Modular E-skin
Northeastern University(东北大学)
本文提出一种基于模块化电子皮肤和等变图神经网络的机器人触觉手势识别方法,将戳、抓、抚摸、双拍等手势映射为机器人动作,实现直观人机交互。
2025-06-23 cs.RO
ZoomTouch: Multi-User Remote Robot Control in Zoom by DNN-based Gesture Recognition
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(斯科尔特克))
我们提出了ZoomTouch -一种突破性的技术,用于通过基于DNN的手势识别实时缩放机器人的多用户控制。来自数字世界的用户可以进行视频会议并操纵机器人对有形物体进行灵巧的操作。作为场景,我们提出了远程COVID-19测试实验室,以大大减少接收数据的时间,并替代医疗助理在受感染细胞附近的防护装备中工作。所提出的技术提出了一种新型的现实,其中多个用户可以与远程对象联合交互,例如进行新的建筑设计,在机器人厨房中联合烹饪等,并同时讨论/修改结果。
2020-11-07 cs.RO
HyperSurf: Quadruped Robot Leg Capable of Surface Recognition with GRU and Real-to-Sim Transferring
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术学院)
本研究针对四足机器人表面识别需求,提出带机械单腿的数据采集与实到虚迁移系统,改进基于GRU的识别算法以整合多源数据,实现难接触表面数据采集与仿真步态训练,且公开数据集与代码。
2024-08-19 cs.RO
MQA: Answering the Question via Robotic Manipulation
Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Tsinghua University(清华大学)
在本文中,我们提出了一种新的任务,操纵问答(MQA),其中机器人执行操作动作,以改变环境,以回答给定的问题。为了解决这个问题,提出了一个框架,包括一个QA模块和操纵模块。对于问答模块,我们采用了可视化问答任务的方法。对于操作模块,设计了一个深度Q网络(DQN)模型来生成机器人与环境交互的操作动作。我们考虑机器人在一个箱子中连续操作物体直到找到问题的答案的情况,并在仿真环境中建立了一个包含各种物体模型、场景和相应问答对的新数据集。已经进行了大量的实验,以验证所提出的框架的有效性。
2023-02-21 cs.AI cs.CV cs.RO
VQA-based Robotic State Recognition Optimized with Genetic Algorithm
The University of Tokyo(东京大学)
针对机器人状态识别问题,本文提出在预训练视觉-语言模型中使用VQA,并通过遗传算法优化问题组合,实现对冰箱门、显示器、透明门及水状态的有效识别。
2023-03-09 cs.RO
SA-Net: Deep Neural Network for Robot Trajectory Recognition from RGB-D Streams
University of Georgia(佐治亚大学)
示教学习(LfD)和模仿学习为将任务行为转移给机器人提供了新的范例。实现这种在线学习的一类方法需要机器人观察正在执行的任务,并将感测到的流数据分解成状态-动作对的序列,然后将其输入到方法。因此,正确和快速地识别感知数据中的状态-动作对是这些方法的关键先决条件。我们提出了SA-Net,一种从RGB-D数据流中识别状态-动作对的深度神经网络架构。SA-Net在LfD的两个不同的机器人应用中表现良好-一个涉及移动地面机器人,另一个涉及机器人操纵器-这表明该架构可以很好地推广到不同的环境。包括部署在物理机器人上的综合评估表明,\sanet{}显着提高了以前的方法,利用传统的图像处理和分割的准确性。
2020-08-28 cs.RO
Recognition of Pyralidae Insects Using Intelligent Monitoring Autonomous Robot Vehicle in Natural Farm Scene
Hainan University(海南大学);University of Chinese Academy of Science(中国科学院大学)
螟蛾科害虫如玉米螟、稻纵卷叶螟等是经济作物的主要害虫。螟蛾科害虫的及时发现和鉴定是农业工作者和农民的一项重要任务。然而,传统的由人类识别害虫是劳动密集型和效率低下的。针对这一挑战,本文提出了一种害虫监测机器人自主车和一种螟蛾科害虫识别方法。首先,自主车上的机器人在自然农场场景中通过执行摄像机传感来采集图像。其次,利用直方图逆映射得到总概率图像,再利用约束Otsu法快速准确地提取螟蛾科害虫的目标轮廓。最后,利用Hu矩和周长、面积特征,绘制出目标的正确轮廓,并与螟蛾科害虫的参考模板进行比对,得到识别结果。此外,车辆上的机械臂的移动速度可以通过与识别算法交互来自适应地调整。实验结果表明,机器人小车能够自动采集害虫图像,在自然农田种植场景下,$\%$识别准确率达到94.3。
2019-03-26 cs.RO
Humanoid Robot With Vision Recognition Control System
本文提出了一种控制仿人机器人系统的解决方案。机器人可以被编程为基于基本运动基元执行某些复杂的动作。该人形机器人使用PC编程。在PC上运行的软件可以在任何给定的时刻获得关于机器人状态的信息,或者它可以对机器人进行编程以执行不同的动作,从而提供实现复杂行为的可能性。我们希望为机器人系统提供更多了解外部真实世界的能力。本文描述了一种使用随机霍夫变换和结果聚类检测真实世界图像中椭圆的方法。实际图像经过预处理、去噪、灰度变换、边缘检测和二值化处理后,才能被实际的椭圆检测器处理。在检测到所有椭圆之后,后处理阶段对结果进行聚类。
2014-01-17 cs.RO
Can a Robot Read Braille? - Learning to Adapt Contact via Imitation Learning for Tactile Braille Recognition
Shenzhen University(深圳大学);Great Bay University(大湾区大学);China Pharmaceutical University(中国药科大学);The University of Hong Kong(香港大学);Tsinghua University(清华大学);École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);University of Belgrade(贝尔格莱德大学)
针对机器人盲文阅读中接触建立不足的问题,提出自适应接触框架,通过多头策略学习模仿专家调整接触,在20块盲文板上实现94.0%触觉质量和88.6%重建,验证主动接触对可靠识别的重要性。
2026-09-28 cs.RO
Audio-Based Tactile Human-Robot Interaction Recognition
University of Calgary(卡尔加里大学);Universidad de Antioquia(安蒂奥基亚大学)
本研究提出通过麦克风采集声音信号来识别机器人触觉交互,利用卷积神经网络实现高准确率的触碰分类。
2025-12-06 cs.RO
DogTouch: CNN-based Recognition of Surface Textures by Quadruped Robot with High Density Tactile Sensors
Skoltech(斯科尔科沃科学技术研究院)
对于足式机器人来说,在各种地形中进行运动的能力是至关重要的。然而,机器人必须更好地了解它正在行走的表面,以便在不同的地形上进行稳健的运动。动物和人类能够在脚的触觉的帮助下识别表面。然而,对于足式机器人的足部触觉还没有进行过多的研究。研究了一种新型的具有触觉感知足的四足机器人DogTouch。TSF允许利用触觉传感器和卷积神经网络(CNN)来识别不同的表面纹理。实验结果表明,我们训练的基于CNN的模型具有足够的验证准确率为74.37%,最高识别率为90%的线模式。未来,我们计划通过呈现具有不同深度图案的表面样本并应用先进的深度学习和浅层学习模型进行表面识别来改进预测模型。此外,我们提出了一种新的方法来导航的四足和足式机器人。我们可以安排触觉铺路纹理表面(类似于用于盲人或视障人士)。因此,DogTouch将能够在未知的环境中运动,只需识别特定的触觉模式,这些模式将指示直线路径,左转或右转,人行横道,道路等,这将允许鲁棒的导航,无论照明条件如何。未来配备视觉和触觉感知系统的四足机器人将能够在非结构化的室内和室外环境中安全、智能地导航和交互。
2022-06-09 cs.RO
Human Posture Recognition and Gesture Imitation with a Humanoid Robot
ENSTA Paris-Tech(巴黎高等先进技术研究院(ENSTA ParisTech))
这项研究提出了不同的方法,静态和动态手势分析和模仿与社会机器人Nao
2020-03-21 cs.CV cs.RO
Multichannel Robot Speech Recognition Database: MChRSR
Universidad de Chile(智利大学)
在真实的人机交互(HRI)场景中,由于机器人噪声、背景噪声和时变声道的影响,语音识别是一个主要的挑战。本文档描述了用于获取多通道机器人语音识别数据库(MChRSR)的程序。它是由12个小时的多通道评估数据记录在一个真正的移动HRI方案。该数据库记录与PR2机器人执行不同的平移和方位角运动。因此,获得了16个评估集,重新记录了Aurora 4数据库在不同运动条件下的干净集。
2017-12-30 cs.HC cs.RO
Material Recognition via Heat Transfer Given Ambiguous Initial Conditions
Georgia Institute of Technology(佐治亚理工学院)
人类和机器人可以通过物理接触和观察传热过程中的温度来识别具有不同热扩散率的材料。这适用于室温材料以及人体温度下的人类和机器人。过去的研究表明,冷却或加热一种材料可能会导致与另一种材料接触时的温度相似。为了彻底调查这种感知的模糊性,我们设计了一个心理物理实验,在这个实验中,一个参与者在两种材料之间进行区分,给出了模糊的初始条件。我们进行了一项研究,有32名人类参与者和一个机器人。人类和机器人混淆了材料。我们还发现,机器人可以通过使用两个温度传感器来克服这种模糊性,这两个传感器在接触之前具有不同的温度。我们支持这一结论的基础上的数学证明,使用热传递模型和经验的结果,其中机器人实现了100%的准确度相比,5%的人类准确度。我们的研究结果还表明,机器人可以使用微妙的线索来区分热模糊的材料与一个单一的温度传感器。总的来说,我们的工作为通过热传递进行材料识别的挑战性条件提供了见解,并提出了机器人克服这些挑战以超越人类的方法。
2020-12-03 cs.RO
Motion Primitive Discovery in a Humanoid Robot via Self-Organising Maps for Phase Recognition
Department of Applied Informatics Comenius University Bratislava(布拉迪斯拉发夸美纽斯大学应用信息学系)
受镜像神经元系统启发,提出两级架构用于人形机器人运动原语发现和在线相位识别。第一级用自组织映射学习运动学表示,第二级用回声状态网络评估激活轨迹。集成SOM和ESN方法,实现运动原语表示及相位识别,验证相关计算假设。
2026-07-22 cs.RO
CERNet: Class-Embedding Predictive-Coding RNN for Unified Robot Motion, Recognition, and Confidence Estimation
Equipe Traitement de l’Information et Systèmes Laboratory (ETIS Laboratory), CNRS UMR8051, CY Cergy-Paris Université, ENSEA, Cergy, France(信息与系统实验室(ETIS实验室),CNRS UMR8051,CY塞克-巴黎大学,ENSEA,塞克,法国)
CERNet通过类嵌入预测编码RNN实现机器人运动生成、识别和置信度估计的统一模型,显著降低轨迹误差并提升实时识别准确率。
2026-03-04 cs.RO
Glance-Say: Multimodal Human-Robot Collaboration and Intent Recognition via Sticky Glance
University of Tuebingen(图宾根大学);Nanyang Technological University(南洋理工大学);Mercedes-Benz(梅赛德斯-奔驰)
针对运动障碍者,本文提出多模态交互框架,用粘性注视算法稳定基于注视的意图,引入注视-语音交互范式及共享控制方案,实验表明其在目标跟踪、选择精度及任务时长上效果更佳。
2026-07-07 cs.RO
A Pairwise Human-Human Interaction Detection and Recognition Framework for Mobile Service Robots
Wallenberg AI, Autonomous Systems and Software Program – Humanity and Society(瓦伦贝格人工智能、自主系统和软件计划—人类与社会)
提出两阶段框架,先利用轻量几何和运动线索识别交互对,再通过关系网络分类交互类型,在JRDB数据集上以较低计算成本取得竞争性能,并在CAD和零样本数据集上验证泛化性。
2026-06-24 cs.RO
RoboVista: Evaluating Vision Language Models for Diverse Robot Applications
University of California, Berkeley(加州大学伯克利分校);Princeton University(普林斯顿大学);Google DeepMind(谷歌DeepMind)
研究针对机器人多样应用,提出模块化评估框架Robot Question Answering及基准RoboVista,其源于真实机器人系统等,含多任务类型VQA实例,实验表明现有视觉语言模型有差距,且与现实任务执行相关。
2026-07-07 cs.RO
High-level programming and control for industrial robotics: using a hand-held accelerometer-based input device for gesture and posture recognition
University of Coimbra(科英布拉大学);University of Porto(波尔图大学)
目的-大多数工业机器人仍然使用典型的示教过程进行编程,通过使用机器人示教器。这是一项繁琐且耗时的任务,需要一些技术专长,因此需要新的机器人编程方法。本文的目的是提出一个机器人系统,允许用户指示和编程的机器人与高层次的抽象从机器人语言。设计/方法/方法-该论文详细介绍了一种机器人系统,该系统允许用户,特别是非专家程序员,以直观的方式指导和编程机器人,只是向它展示它应该做什么。这是使用两个最自然的人机界面(手势和语音),力控制系统和几个代码生成技术。将特别注意手势的识别,其中从Wii遥控器中嵌入的运动传感器(三轴加速度计)提取的数据用于捕获人手的行为。使用统计方法和人工神经网络识别手势(动态手位置)以及手动姿势(静态手位置)。实用意义-本文的主要贡献是,它提供了一个实用的方法来编程机器人通过手势和语音,提高工作效率,节省时间。独创性/价值-本文提出了一种替代典型的机器人教学过程中,扩展的概念,人机交互和同事的情况。由于大多数公司没有工程资源对其机器人制造系统进行更改或添加新功能,因此该系统对中小型企业来说是一个主要优势。
2013-09-09 cs.RO
Vision- and tactile-based continuous multimodal intention and attention recognition for safer physical human-robot interaction
本文提出结合简单触觉传感器与机器人摄像头进行姿态和注视分析,实现连续多模态意图与注意力识别,在Baxter上以86%的F1分数区分有意接触与意外碰撞,并通过特征降维提升泛化能力与安全性。
2023-04-19 cs.RO
ditlab system for Dialogue Robot Competition 2022
Denso IT Laboratory(电装IT实验室)
我们为2022年对话机器人大赛开发了一个对话系统。我们的系统由三部分组成。第一部分采用基于规则的访谈法调查研究对象的人口统计学信息。第二部分基于收集的人口统计信息推荐兴趣点(POI)。第三部分是基于规则问答和深度学习问答与附近兴趣点搜索相结合的方法来回答参与者的问题。
2022-10-13 cs.HC cs.RO
HMM-based phoneme speech recognition system for control and command of industrial robots
语音识别是一项重要的技术,它可以帮助我们开发一个通过语音的自然语言接口,用于人机交互。它允许计算机采取的口头指令,解释它,并产生文本it. In本文中,我们提出了一个基于音素的语音识别系统来控制工业机器人。在减少机器人操作员控制和命令机器人的努力方面,语音识别已成为流行的接口之一。本文旨在探讨线性预测编码技术的潜力,以开发一个稳定和鲁棒的音素语音识别系统的机器人应用。我们的系统分为三个部分:麦克风阵列,语音模块和3-DOF机器人手臂。为了验证我们的方法,我们已经进行了测试,简单和复杂的句子,各种机器人活动,如操纵立方体和拾取和放置任务。此外,我们还分析了测试结果,以纠正我们的方法中的问题和局限性。本文介绍了所有的测试结果,我们已经取得了通过对我们的项目进行实验。
2020-06-03 cs.HC cs.RO
DroneTrap: Drone Catching in Midair by Soft Robotic Hand with Color-Based Force Detection and Hand Gesture Recognition
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech))
本文提出了一种对接无人机的新概念,以使这一过程尽可能安全和快速。该项目背后的想法是,一个带有软抓手的机器人在半空中抓住无人机。人类操作员使用基于ML的手势识别界面导航机器人手臂。具有柔软手指的3指机器人手配备了触摸传感器,可以实现安全的无人机捕捉,并避免无意中损坏无人机的螺旋桨和电机。此外,软手还采用了基于计算机视觉(CV)系统的独特的基于颜色的力估计技术。此外,视觉颜色变化系统使操作人员更容易解释所施加的力。无需任何额外的编程,操作员可以通过佩戴带有手势识别功能的mocap手套对机器人的运动和任务执行进行完全实时的控制,该手套是为DroneTrap的高级控制而开发和应用的。实验结果表明,所提出的基于颜色的力估计方法能够以较高的精度(95.3%)应用于刚性物体的捕获。所提出的技术可能会彻底改变无人机的着陆和部署,用于在不平坦的地面上运送包裹,结构维护和检查,风险操作等。
2021-08-04 cs.RO
CobotAR: Interaction with Robots using Omnidirectionally Projected Image and DNN-based Gesture Recognition
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech))
针对现有AR人机交互需佩戴可穿戴设备的问题,提出CobotAR系统,依托6自由度机器人搭载的移动投影构建AR空间显示,结合DNN手势识别实现无穿戴的直观人机交互,实验验证其脑力需求显著低于传统控制设备。
2021-10-20 cs.RO
Appearance Based Robot and Human Activity Recognition System
在这项工作中,我们提出了一个基于外观的人类活动识别系统。它使用背景建模来分割前景对象,并提取有用的判别特征来表示人类和机器人执行的活动。基于子空间的方法,如主成分分析是用来提取低维特征,从大容量的活动图像。然后,这些低维特征用于对活动进行分类。设计了一种使用网络摄像头的装置,该装置在室内环境下观察机器人模仿人类跌倒。在这个装置中,机器人模仿人类进行各种活动(如行走,弯曲,移动手臂),其中还包括突然摔倒。机器人执行各种活动和标准的人类活动识别数据库的实验结果表明,我们所提出的方法的有效性。
2016-02-10 cs.CV cs.RO
SLAMER: Simultaneous Localization and Map-Assisted Environment Recognition
Nagoya University(名古屋大学)
本文提出了一种同时定位和地图辅助环境识别(SLAMER)方法。移动机器人通常有一个环境地图和环境信息可以分配到地图。如果定位成功,则可以预测移动机器人的重要信息,例如禁止进入区域,因为可以知道它们的相对位姿。然而,当定位不起作用时,这种预测失败。为了鲁棒地利用地图信息,必须考虑姿态估计的不确定性。此外,机器人具有外部传感器,并且可以使用传感器来识别环境信息。这种在线识别当然包含不确定性;然而,它必须与地图信息融合以进行鲁棒的环境识别,因为地图也包含由于时间而导致的不确定性。SLAMER可以同时应对这些不确定性,并实现精确的定位和环境识别。在本文中,我们将在两种情况下演示基于LiDAR的SLAMER实现。在第一种情况下,我们使用SemanticKITTI数据集,并表明SLAMER实现了比传统方法更准确的估计。在第二种情况下,我们使用一个室内移动机器人,并表明,不可测量的环境对象,如打开的门,没有入口线可以识别。
2022-07-20 cs.RO
DIJE: Dense Image Jacobian Estimation for Robust Robotic Self-Recognition and Visual Servoing
Department of Mechano-Informatics, Graduate School of Information Science and Technology, The University of Tokyo(机械信息学系,信息科学与技术研究生院,东京大学)
本文提出DIJE算法,通过光流与简化卡尔曼滤波实时估计逐像素图像雅可比,实现无标记的机器人自识别与视觉伺服控制,并在肌肉骨骼机器人上验证了伸手和双手工具控制能力。
2025-07-01 cs.RO
Recognition of Heat-Induced Food State Changes by Time-Series Use of Vision-Language Model for Cooking Robot
The University of Tokyo(东京大学)
本研究提出一种基于视觉-语言模型时间序列使用的统一方法,用于识别烹饪机器人在加热过程中的食物状态变化,并通过真实机器人数据验证了其有效性及最佳提示与图像区域条件。
2023-09-06 cs.RO
Benchmarking ML Approaches to UWB-Based Range-Only Posture Recognition for Human Robot-Interaction
Faculty of Technology, University of Turku(图尔库大学技术学院);Swiss Federal School of Technology, ETH Zürich(苏黎世联邦理工学院)
本文提出一种基于五个UWB传感器和机器学习算法(KNN、SVM、MLP)的人体姿态估计与机器人实时控制方法,实验证明其能高准确率预测姿态并控制机器人运动。
2024-08-28 cs.RO
One-Shot Gesture Recognition for Underwater Diver-To-Robot Communication
Department of Computer Science and Engineering, Minnesota Robotics Institute, University of Minnesota – Twin Cities(计算机科学与工程系,明尼苏达机器人研究所,明尼苏达大学-双城分校)
本文提出单次手势识别方法,通过基于形状的分类技术实现水下环境中的实时手势识别,无需大量数据集或模型训练,适用于潜水员与机器人通信。
2025-03-02 cs.RO
Real-Time Human-Robot Interaction for a Service Robot Based on 3D Human Activity Recognition and Human-mimicking Decision Mechanism
The State Key Laboratory of Management and Control for Complex Systems, Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所复杂系统管理与控制国家重点实验室);University of Chinese Academy of Sciences(中国科学院大学)
本文描述了一个实时的【形】人-机器人交互系统的服务机器人的基础上三维人体活动识别和仿人决策机制的发展。人机交互(HRI)系统允许一个人使用自然肢体语言与服务机器人进行交互,通过Microsoft Kinect收集包含有关用户的丰富人体运动信息的3D骨骼关节序列。这些信息用于训练三层长短期记忆(LSTM)网络,用于人类动作识别。机器人基于在线LSTM网络测试理解用户意图,并通过机器人手臂或底盘的运动响应用户。此外,在此过程中还融合了类似人类的决策机制,使机器人能够根据任务优先级本能地决定是否中断当前任务。整个系统的框架建立在机器人操作系统(ROS)平台上。我们的服务机器人和用户之间的现实生活中的活动进行互动,以证明开发的HRI系统的有效性。
2019-01-11 cs.HC cs.RO
A Bayesian-Based Approach to Human Operator Intent Recognition in Remote Mobile Robot Navigation
University of Birmingham(伯明翰大学);University of West Attica(西阿提卡大学)
研究了遥操作机器人导航过程中操作者意图识别问题。在这种情况下,识别操作员的预期导航目标,可以使人工智能(AI)代理,以协助操作员在先进的人机交互框架。我们提出了一种贝叶斯算子意图识别(BOIR)概率方法,该方法利用:(i)将信息融合为提供几何信息的多个观测源的加权组合的观测模型;(ii)指示状态演变的过渡模型;以及(iii)动作模型,主动意图识别模型(AIRM),其使得操作者能够异步地传达他们的明确意图。所提出的方法进行了评估,在实验中,操作员控制远程移动机器人的任务与不同的地图和障碍物布局的各种情况下的导航和探索。结果表明,BOIR优于两个相关的方法从文献中的意图识别的准确性和不确定性。
2021-09-24 cs.RO math.PR
Robo2VLM: Visual Question Answering from Large-Scale In-the-Wild Robot Manipulation Datasets
University of California, Berkeley(加州大学伯克利分校)
提出Robo2VLM框架,利用大规模野外机器人轨迹数据生成VQA数据集Robo2VLM-1,以增强和评估VLM的空间与交互推理能力。
2025-06-18 cs.AI cs.CL cs.LG
Human Activity Recognition for Mobile Robot
The Chinese University of Hong Kong(香港中文大学)
随着包括家用清洁机器人在内的移动机器人在发达国家数量的不断增加,人类活动识别对于协调的人机交互是不可避免的。毋庸置疑,这对机器人来说确实是一项具有挑战性的任务,学习人类活动对于自主移动机器人(AMR)在没有任何指导的情况下在不受控制的环境中导航是有利的。为复杂的人类行为构建正确的分类器是不平凡的,因为简单的行为可以组合起来识别复杂的人类活动。本文利用卷积神经网络训练了一个人体活动识别模型。我们使用Vicon物理动作数据集训练和验证了模型,并在我们生成的数据集(VMCUHK)上测试了模型。我们的实验表明,我们的方法执行高精度,人类活动识别任务的Vicon物理动作数据集和VMCUHK数据集。
2018-01-23 cs.CV cs.HC cs.RO
Expanding a robot's life: Low power object recognition via FPGA-based DCNN deployment
Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
FPGA通常用于加速特定领域的算法实现,因为它们可以实现令人印象深刻的性能提升,可重新编程并且功耗最小。在这项工作中,使用SoC FPGA加速SqueezeNet DCNN,以便在机器人应用中使用所提供的对象识别资源。实验进行调查的性能和功耗的实现相比,部署在其他广泛使用的计算系统。
2018-03-23 cs.CV cs.RO
Tactile Gesture Recognition with Built-in Joint Sensors for Industrial Robots
Dep. of Informatics, University of Zurich(苏黎世大学信息学系);Institute of Mechatronics systems, Zurich University of Applied Science(苏黎世应用科技大学机电系统研究所)
本文研究了仅依赖机器人内置关节传感器的深度学习方法,通过实验发现基于频谱图的表示方法显著提升识别准确率,展示了无外部传感器触觉识别的可行性。
2026-06-29 cs.AI cs.RO
Open-Ended Multi-Modal Relational Reasoning for Video Question Answering
Northwestern University(西北大学);University of Notre Dame(圣母大学)
本文提出一种集成视频识别与自然语言处理的机器人智能体,用于视频场景中的语言问答,实验表明信任与交互效率正相关,且模型性能较基准方法提升2%至3%。
2024-06-11 cs.AI cs.HC cs.RO
Casting Everything to Online API Services? A Survey of Integrating Localized Speech Recognition Models in Robotic Systems
Institute of Science Tokyo(东京科学研究所);Eindhoven University of Technology(埃因霍温理工大学)
综述自动语音识别技术在机器人系统中的集成,涵盖其从传统到深度学习模型的演变、相关数据集与工具包,介绍基于 ASR 模型家族等的部署策略及实际平台,指出挑战与未来方向,助力社交机器人研究人员探索人机交互领域。
2026-07-14 cs.RO eess.AS
SeekNet: Improved Human Instance Segmentation and Tracking via Reinforcement Learning Based Optimized Robot Relocation
Purdue University(普渡大学)
非模态识别是系统检测被遮挡物体的能力。大多数SOTA视觉识别系统缺乏执行非模态识别的能力。很少有研究通过被动预测或具体识别方法实现非模态识别。然而,这些方法在现实世界的应用中受到挑战,例如动态障碍。我们提出了SeekNet,一种改进的优化方法,通过具体的视觉识别进行非模态识别。此外,我们为社交机器人实施SeekNet,在社交机器人中,与拥挤的行人进行多种交互。我们还证明了我们的算法在其他基线上对遮挡人体检测和跟踪的好处。此外,我们还使用SeekNet建立了一个多机器人环境,以识别和跟踪拥挤地区空气传播疾病的视觉疾病标记。我们在模拟的室内环境中进行实验,结果表明,我们的方法提高了非模态识别任务的整体准确性,并且与基线方法相比,随着时间的推移,检测准确性得到了最大的提高。
2023-03-08 cs.CV cs.RO
Dynamic Hand Gesture Recognition for Robot Manipulator Tasks
Indian Institute of Technology Mandi(印度理工学院曼迪分校)
本文提出基于高斯混合模型的无监督方法,用于实时识别动态手部姿态以提升人机交互的无缝性。
2026-01-19 cs.LG cs.RO
Gesture Recognition for Initiating Human-to-Robot Handovers
Monash University(莫纳什大学)
人机交互对于许多人机交互场景都很有用。重要的是要认识到人类何时打算发起交接,以便机器人在不打算交接时不会试图从人类那里拿走物体。我们提出了一个单一的RGB图像中的二进制分类问题的切换手势识别。三个独立的神经网络模块,用于检测对象,人体关键点和头部方向,实现从RGB图像中提取相关特征,然后将特征向量传递到深度神经网络中以执行二进制分类。我们的研究结果表明,切换手势被正确识别的准确率超过90%。特征的抽象使我们的方法模块化,并可推广到不同的对象和人体类型。
2020-12-30 cs.CV cs.RO
HAIR: Head-mounted AR Intention Recognition
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
人类团队表现出隐式和显式的意图共享。为了进一步发展人机协作,意图识别是至关重要的。目前的方法依赖于一个巨大的传感器套件和周围的机器人来实现意图识别。这使得直观的人机协作纯粹依赖于这种庞大的系统,由于其复杂性和成本,这些系统不适合大规模的真实世界场景。在本文中,我们提出了一个意图识别系统,这是纯粹基于一个便携式盔装显示器。此外,还支持机器人意图可视化。我们提出的实验,以显示我们的人类目标估计组件的质量和一些基本的互动与工业机器人。HAIR应该提高机器人和人类之间的互动质量,而不是让人类同事脖子上的头发竖起。
2021-02-22 cs.HC cs.RO
Real-World Cooking Robot System from Recipes Based on Food State Recognition Using Foundation Models and PDDL
The University of Tokyo(东京大学)
针对机器人无法基于新食谱在真实世界完成烹饪的问题,提出融合LLM与PDDL规划、VLM少样本食材状态识别的烹饪机器人系统,经PR2机器人真实环境实验验证有效。
2024-10-07 cs.AI cs.RO
A Distributed Multi-Modal Sensing Approach for Human Activity Recognition in Real-Time Human-Robot Collaboration
University of Genoa(热那亚大学);The University of Danang–University of Science and Technology(丹江-科学技术大学);Japan Advanced Institute of Science and Technology(日本先进科学研究院)
本文提出一种结合数据手套和视觉触觉传感器的多模态方法,用于实时人机协作中的人类活动识别,实验显示该方法在不同场景下均表现出高精度。
2026-02-02 cs.CV cs.RO