3D Vision Guided Robotic Charging Station for Electric and Plug-in Hybrid Vehicles
University of Oslo(奥斯陆大学);Graz University of Technology(格拉茨技术大学)
电动汽车(EV)和插件混合动力汽车(PHEV)在我们的道路上迅速普及。除了相对较高的购买价格外,限制其使用的主要两个问题是行驶里程短和充电过程不方便。在本文中,我们解决了以下问题,提出了一个自动机器人为基础的充电站与3D视觉指导插入和拔出充电器。首先,提出了由3D视觉系统、UR 10机器人和充电站组成的整个系统概念。然后,我们展示了基于形状的匹配方法,用于成功地识别和获得充电端口的准确姿态。相同的方法用于通过仅使用连接器插头的已知结构而不使用附加标记来校准相机-机器人系统。最后,一个三步机器人运动规划程序的插件和功能证明了一系列成功的实验。
2017-03-15 cs.CV cs.RO
Enhancing Robotic Arm Activity Recognition with Vision Transformers and Wavelet-Transformed Channel State Information
Northeastern University(东北大学);Mayo Clinic(梅奥诊所)
针对传统视觉式机械臂活动识别依赖视距、存在隐私隐患的问题,提出结合离散小波变换与视觉Transformer的CSI感知识别方法,在多场景多活动实验中准确率优于CNN和LSTM,且视距遮挡下仍有效。
2024-07-08 cs.RO
Robotics Vision-based Heuristic Reasoning for Underwater Target Tracking and Navigation
提出了一种基于机器人视觉的水下目标跟踪与导航启发式推理系统。引入该系统是为了提高水下遥控潜水器(ROV)操作的自动化水平。设计并研制了一台将计算机视觉与水下机器人系统相结合的水下机器人系统样机,实现了水下机器人的目标跟踪和智能导航。...
2006-01-14 cs.RO
A New Classification Approach for Robotic Surgical Tasks Recognition
Shahid Beheshti University(沙希德·贝赫什提大学)
机器人手术任务的自动识别和分类是实现手术自动化和手术训练的重要基础。最近,收集数据方面的技术突破使数据驱动的模型开发成为可能。在本文中,我们提出了一个框架,高层次的机器人手术任务识别使用运动数据。我们提出了一种新的分类技术,用于分类三个重要的手术任务,通过定量分析的议案:打结,穿针和缝合。所提出的技术集成了最先进的数据采掘和时间序列分析方法。该框架的第一步包括开发一个时间序列的距离为基础的相似性度量使用导数动态时间规整(DDTW)。然后采用距离加权k-近邻算法对任务实例进行分类。该框架使用广泛的数据集进行了验证。我们的研究结果表明,所提出的框架在认识基本的机器人手术任务的强度。
2017-07-12 cs.RO
Proceedings of the 1st Workshop on Robotics Challenges and Vision (RCV2013)
Texas A & M University(德州农工大学);Wayne State University(韦恩州立大学);Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙弗雷泽大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Rice University(莱斯大学);University of North Carolina-Chapel Hill(北卡罗来纳大学教堂山分校)
第一届机器人挑战与愿景研讨会(RCV2013)
2014-02-13 cs.RO
Intelligent Robotic Control System Based on Computer Vision Technology
The George Washington University(乔治华盛顿大学);New York University(纽约大学);Xidian University(西安电子科技大学);Zhejiang University(浙江大学)
本文研究计算机视觉与机器人控制的融合,阐述其在工业、医疗和环保领域的应用价值,指出该技术可提升机器人的环境感知与智能交互效率。
2024-04-01 cs.RO
BRAVE-6D: Benchmark for Robotic Active Vision in 6DOF Pose Estimation
TU Wien(维也纳工业大学)
针对机器人抓取小物体中主动视觉方法难以公平比较的问题,提出基于3DGS视图合成的BRAVE-6D基准,用于评估6自由度姿态估计的主动视觉系统,并验证了基线方案的有效性。
2026-09-16 cs.RO
VQA-based Robotic State Recognition Optimized with Genetic Algorithm
The University of Tokyo(东京大学)
针对机器人状态识别问题,本文提出在预训练视觉-语言模型中使用VQA,并通过遗传算法优化问题组合,实现对冰箱门、显示器、透明门及水状态的有效识别。
2023-03-09 cs.RO
Active fall prevention: robotic vision in AAL
Warsaw University of Technology(华沙理工大学)
有效预防跌倒的方法能显著提高老年人的生活质量。如今,人们主要关注的是公寓的扶手和跌倒检测系统,一旦发生。本文介绍了一种使用配有视觉传感器的服务机器人对家庭空间中的跌倒风险进行主动检测和分类的系统。危险分类允许有效执行分配给机器人的任务,同时保持较高的用户安全水平。
2021-04-01 cs.RO
Bio-inspired reconfigurable stereo vision for robotics using omnidirectional cameras
Shenzhen Key Laboratory of Intelligent Robotics and Flexible Manufacturing Systems, Southern University of Science and Technology(深圳智能机器人与柔性制造系统重点实验室,南方科技大学)
本文提出了一种生物启发的可重构立体视觉系统,利用 omnidirectional 相机和深度学习方法,实现机器人灵活的视觉能力,适用于不同场景下的目标寻找和详细检查。
2025-12-12 cs.RO
Robotic Optimization of Powdered Beverages Leveraging Computer Vision and Bayesian Optimization
ETH Zürich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院);Nestle Research(雀巢研究中心)
针对食品行业对创新研究的需求,本研究引入结合优化算法与计算机视觉的机器人系统,以粉末卡布奇诺制备为案例优化食品质量,通过闭环控制提升饮料品质,证明机器人自动化在食品开发中的有效性。
2025-04-17 cs.RO
The Robotic Vision Scene Understanding Challenge
Australian Research Council Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心);QUT Centre for Robotics(昆士兰科技大学机器人中心)
能够探索环境并了解其中所有物体的位置和类型对于必须与人类密切互动的室内机器人平台非常重要。然而,由于缺乏标准化测试,很难评估这一领域的进展,而由于需要主动机器人机构和完美的物体地面实况,标准化测试是有限的。为了帮助提供一个标准的测试场景理解系统,我们提出了一个新的机器人视觉场景理解的挑战,使用模拟,使可重复的实验与主动机器人机构。我们提供了两个具有挑战性的任务类型,三个难度级别,五个模拟环境和一个新的评估措施,评估三维立方体对象地图。我们的目标是通过评估和比较主动机器人视觉系统来推动场景理解的最新研究。
2020-09-11 cs.RO
A Fog Robotics Approach to Deep Robot Learning: Application to Object Recognition and Grasp Planning in Surface Decluttering
University of California, Berkeley(加利福尼亚大学伯克利分校);AUTOLAB at UC Berkeley(加州大学伯克利分校自动实验室)
工业、汽车和服务机器人的需求不断增长,在隐私、安全、延迟、带宽和可靠性方面对集中式云机器人模型提出了挑战。在本文中,我们提出了一种用于深度机器人学习的“雾机器人”方法,该方法以联合方式在云和边缘之间分配计算,存储和网络资源。深度模型在云中的非私有(公共)合成图像上进行训练;模型适应可信网络中边缘环境的私有真实图像,随后部署为网络中其他机器人的低延迟和安全推理/预测服务。我们将这种方法应用于表面整理,其中移动机器人通过学习深度对象识别和抓取规划模型来从杂乱的地板中拾取和分类对象。实验表明,与只使用云或边缘资源相比,Fog Robotics可以通过模拟到真实的领域自适应来提高性能,同时将推理周期时间减少4个\times,以便在213次尝试中成功地清理86%的对象。
2019-03-22 cs.RO
Addressing Failures in Robotics using Vision-Based Language Models (VLMs) and Behavior Trees (BT)
Lund University(隆德大学);KTH Royal Institute of Technology(KTH皇家理工学院)
针对现有机器人系统难处理未知故障的问题,提出结合视觉语言模型(VLMs)与行为树(BTs)的方法,用VLMs检测识别故障并生成补充内容整合进BT,经多场景仿真验证可让系统自主应对同类故障。
2024-11-03 cs.RO
SuctionPrompt: Visual-assisted Robotic Picking with a Suction Cup Using Vision-Language Models and Facile Hardware Design
National Institute of Advanced Industrial Science and Technology (AIST)(日本国立先进工业科学技术研究院(AIST))
针对视觉-语言模型与现实机器人任务有效整合的难题,研究提出SuctionPrompt系统,结合VLM提示技术与3D检测实现动态环境抓取,验证了简单3D处理下VLM的操作有效性。
2024-10-31 cs.RO
Improving Robotic Arms through Natural Language Processing, Computer Vision, and Edge Computing
Saint Louis University(圣路易斯大学)
本文提出一种结合边缘计算、自然语言处理和计算机视觉的辅助机器人原型,利用LLM和视觉系统协同解释并执行自然语言复杂指令,实验表明该系统在意图识别与物体操作上表现优异,显著提升了残疾用户的交互体验。
2024-10-10 cs.RO
Federated Learning for Vision-based Obstacle Avoidance in the Internet of Robotic Things
University of Turku(图尔库大学)
深度学习方法已经彻底改变了移动机器人技术,从用于增强态势感知的高级感知模型到通过强化学习的新颖控制方法。本文探讨了联邦学习的移动机器人的分布式系统,使机器人物联网上的协作的潜力。为了证明这种方法的有效性,我们部署轮式机器人在不同的室内环境。我们分析了联邦学习方法的性能,并将其与传统的集中式训练过程进行了比较。我们展示了在异构环境中协作学习的好处,以及从模拟到真实的知识转移的潜力。我们的研究结果表明显着的性能优势FL和仿真到现实迁移的视觉导航,除了固有的隐私保护性质的FL保持计算的边缘。据我们所知,这是第一个利用FL进行基于视觉的导航的工作,也是在现实世界中测试结果的工作。
2022-04-14 cs.RO
Model-Based Compensation of Moving Tissue for State Recognition in Robotic-Assisted Pedicle Drilling
Technische Universität München(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Hamburg(汉堡大学)
钻孔是椎弓根螺钉固定最困难的部分之一,也是最危险的手术之一,因为不准确的螺钉放置会损伤重要组织,特别是当椎骨不固定时。在这里,我们展示了钻孔状态识别方法的运动组织通过补偿位移的基础上,一个简化的运动预测模型的椎骨相对于潮气量。为了适应不同的患者,预测模型是建立在从受试者自己记录的生理数据的基础上。此外,钻削工具的主轴转速进行了研究,以找到一个合适的速度为机器人辅助系统。为了保证患者的安全,建立了基于推力和跟踪位置信息的监测系统。最后,将新鲜猪板层骨固定在3-PRS并联机器人上进行实验,以模拟椎体位移。当移动骨得到补偿时,机器人辅助钻孔手术的成功率达到95%。
2020-06-02 cs.RO
Robotic Vision for Human-Robot Interaction and Collaboration: A Survey and Systematic Review
Australian Research Council Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心);Queensland University of Technology(昆士兰科技大学);Monash University(莫纳什大学);University of Oxford(牛津大学)
本综述系统性回顾了过去10年310篇文献,全面分析了机器人视觉在人机交互与协作中的应用趋势、方法、数据集及未来挑战,指出该领域在动作识别和物体交接等方面取得进展,但计算机视觉新技术转化不足。
2023-07-28 cs.RO
ViTacGen: Robotic Pushing with Vision-to-Touch Generation
Department of Engineering, King’s College London(工程系,伦敦国王学院);Department of Engineering Mathematics and Bristol, Robotics Laboratory, University of Bristol(工程数学系及布里斯托尔机器人实验室,布里斯托尔大学)
ViTacGen提出一种视觉到触觉生成框架,通过生成接触深度图像并融合视觉-触觉数据,在强化学习中消除对真实触觉传感器的依赖,实现纯视觉机器人推操作,成功率高达86%。
2025-10-23 cs.RO
Kinesthetic-based In-Hand Object Recognition with an Underactuated Robotic Hand
Carnegie Mellon University(卡内基梅隆大学);Tel-Aviv University(特拉维夫大学)
针对欠驱动机械手无触觉传感器、视觉易遮挡导致在握物体识别难的问题,提出仅利用执行器位置和扭矩的动觉识别方法,结合实时多数投票实现近95%识别率,还可区分形状类别。
2024-01-30 cs.RO
A robotic vision system to measure tree traits
USDA-ARS-AFRS(美国农业部农业研究局阿巴拉契亚水果研究站);Marquette University(马凯特大学)
树木性状的自主测量,如分支结构,分支直径,分支长度和分支角度,是需要的任务,如机器人修剪树木以及结构表型。我们提出了一个机器人视觉系统称为机器人系统的树形状估计(RoTSE),以确定在现场设置的树性状。该过程由以下几个阶段组成:图像采集与移动机器人单元,分割,重建,曲线去卷积,转换为图形表示,然后计算的特点。苹果树的定量和定性结果显示在精度,计算时间和鲁棒性。与地面实况测量相比,RoTSE产生了以下估计值:分支直径(均方根误差$2.97$ mm)、分支长度(均方根误差$136.92$ mm)和分支角度(均方根误差$31.07$度)。当体素分辨率为$3$ mm $^3$时,平均运行时间为$8.47$分钟。
2021-11-01 cs.RO
Design and Evaluation of a Bioinspired Tendon-Driven 3D-Printed Robotic Eye with Active Vision Capabilities
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校);University of Kashan(卡尚大学)
提出一种具备逼真外观与自然运动的仿生腱驱动3D打印机器人眼设计方案,通过最少舵机实现高效驱动,并利用基于视觉的控制器验证了其有效性。
2023-05-01 cs.RO
Towards a Thermodynamical Deep-Learning-Vision-Based Flexible Robotic Cell for Circular Healthcare
Loughborough University(拉夫堡大学)
针对医疗领域线性经济问题,提出结合热力学与机器人学的理论框架,并设计基于深度学习视觉的柔性机器人单元,用于小型医疗设备再处理。
2024-02-08 cs.RO
When would Vision-Proprioception Policies Fail in Robotic Manipulation?
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学光明学院人工智能学院);Beijing Key Laboratory of Research on Large Models(北京大模型与智能治理研究重点实验室);School of Artificial Intelligence, Beihang University(北航人工智能学院)
研究提出GAP算法,通过动态调节本体感觉优化,解决视觉-本体感觉策略在运动转换阶段的泛化问题。
2026-02-12 cs.RO
Vision-based Robotic Arm Imitation by Human Gesture
Tsinghua University(清华大学);University of Alberta(阿尔伯塔大学)
对于基于学习的机器人手臂来说,学习人类处理复杂任务的最有效方法之一是直接从观察人类如何完成这些任务中学习,然后模仿。我们的思想是基于深度Q学习(DQN)算法的成功,根据强化学习,然后扩展到深度确定性策略梯度(DDPG)算法。我们开发了一种基于学习的方法,结合改进的DDPG和视觉模仿网络。我们的方法仅从单目相机获取帧,并且不需要构建3D环境或生成实际点。我们在训练中预期的结果是,机器人将能够像人手一样移动。
2018-10-04 cs.RO
VIP: Vision Instructed Pre-training for Robotic Manipulation
CVTE(视源股份)
针对机器人操作中训练数据扩展效果有限、文本指令理解困难的问题,提出视觉指令预训练(VIP)方法,利用稀疏点流细化目标描述,显著提升多样任务性能,可完成复杂操作任务。
2025-02-11 cs.RO
Shake-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Manipulations and Liquid Mixing
Skoltech(斯科尔科沃科技学院)
本研究提出基于VLA模型的Shake-VLA双臂鸡尾酒调制系统,集成多模块实现配料检测、指令解析与精准操作,实验验证各组件及整体调制均具高成功率。
2025-01-12 cs.RO
Automated Weld Seam Recognition and 3D Mapping for Robotic Post Processing Using Photogrammetry and Semantic Segmentation
TH Köln - University of Applied Sciences(科隆应用技术大学)
该研究提出一种结合摄影测量与语义分割的视觉管道,用于机器人后处理中焊缝的近似定位,以减少大型工件扫描工作量与无关数据,为后续高精度测量做准备。
2026-09-04 cs.RO
Towards Active Robotic Vision in Agriculture: A Deep Learning Approach to Visual Servoing in Occluded and Unstructured Protected Cropping Environments
Queensland University of Technology(昆士兰科技大学)
3D Move To See(3DMTS)是一种多视角视觉伺服方法,适用于非结构化和遮挡环境,例如机器人作物收割中遇到的环境。本文提出了一种深度学习方法Deep-3DMTS,用于通过使用卷积神经网络(CNN)为3DMTS创建单视角方法。新方法的开发和验证,通过模拟对标准的3DMTS方法。深度3DMTS方法被示出具有在引导机器人臂的末端执行器以改善被遮挡的水果(甜椒)的视图方面与标准3DMTS基线相当的性能:末端执行器最终位置在基线的11.4 mm内;并且与基线16.8(平均值)相比,图像中的水果尺寸增加了17.8倍。
2019-08-05 cs.RO
Agricultural Robotic System: The Automation of Detection and Speech Control
National University of Singapore(新加坡国立大学)
针对农业人工任务耗时易错的问题,研发了整合视觉检测、语音识别与机械臂的模块化农业机器人系统,基于YOLOv5训练并部署在Jetson Nano,提升了农业任务效率与准确性。
2023-07-19 cs.RO
Development of a Stereo-Vision Based High-Throughput Robotic System for Mouse Tail Vein Injection
Preferred Networks Inc.(Preferred Networks公司);Chugai Pharmaceutical Co., Ltd.(中外制药株式会社)
在本文中,我们提出了一个机器人装置,小鼠尾静脉注射。提出了一种无需麻醉即可实现静脉注射的小鼠夹持机构,该机构由止血带、真空端口和自适应末端固定装置组成。目标静脉在3D空间中的位置从高分辨率立体视觉重建。静脉是由一个简单但强大的静脉线检测器检测。由于所提出的两阶段校准过程,注射过程的总时间被限制为1.5分钟,尽管针和尾静脉的位置对于每次试验是不同的。我们对40只小鼠进行了注射实验,其中37只成功注射生理盐水,成功率为92.5%。
2022-05-25 cs.RO
V2F: Vision-Informed Grasp Force Prediction for Damage-Aware Robotic Handling of Date Fruits
King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学)
研究针对枣果处理难题,开发V2F框架,结合计算机视觉与物理信息残差神经网络,将视觉描述符和品种元数据映射来预测抓握力,平均验证性能\(R^2 \approx 0.7\),实验表明可稳定操作枣果,实现更安全的机器人处理。
2026-07-23 cs.RO
Beyond Amplitude: Channel State Information Phase-Aware Deep Fusion for Robotic Activity Recognition
本文提出GF-BiLSTM网络,通过融合CSI的幅度和相位信息,提升机器人活动识别的准确性和鲁棒性。
2026-03-10 cs.RO eess.SP
Hand Gesture Recognition for Collaborative Robots Using Lightweight Deep Learning in Real-Time Robotic Systems
Institut Teknologi Sepuluh Nopember(泗水理工学院)
本文提出一种仅22 KB、1,103参数的轻量级深度学习手势识别系统,可识别八种手势,经TensorFlow Lite量化剪枝后压缩至7 KB,并在ROS2框架下的UR5协作机器人上验证了实时手势控制的有效性。
2025-07-24 cs.RO
Learning Bimanual Cloth Manipulation with Vision-based Tactile Sensing via Single Robotic Arm
本文提出Touch G.O.G.,通过单个机械臂实现基于视觉的触觉感知的双臂布料操作,结合新颖抓取器设计、视觉Transformer流程和合成数据生成器,实现高精度布料识别与操作。
2026-03-11 cs.RO
What can robotics research learn from computer vision research?
Australian Centre for Robotic Vision(澳大利亚机器人视觉中心);Queensland University of Technology(昆士兰科技大学)
计算机视觉和机器人研究社区都很强大。然而,近年来,由于大数据、GPU计算、新颖的学习算法和非常有效的研究方法论,计算机视觉的进展变得越来越快。相比之下,机器人技术的进展似乎较慢。的确,机器人技术后来才开始探索学习的潜力--尽管强化学习似乎提供了真正的潜力,但它相对于动力学、运动学、规划和控制等成熟知识体系的优势仍在争论之中。然而,相比机器人技术,计算机视觉的快速发展不能仅仅归功于前者采用了深度学习。在本文中,我们认为,计算机视觉的收益是由于研究方法论-严格限制下的评估与实验;大胆的数字与视频。
2020-06-12 cs.CV cs.RO
Coral Grow-out Robotic Assessment System (CGRAS): Scaling Coral Recruit Monitoring Through Robotics and Computer Vision
Queensland University of Technology (QUT)(昆士兰科技大学);Australian Institute of Marine Science (AIMS)(澳大利亚海洋科学研究所)
针对珊瑚幼体监测瓶颈,提出结合机器人成像与计算机视觉的CGRAS系统,实现自动化多物种检测计数与健康评估,在大型养殖设施中降低9.6倍成本,计数一致性达96.4%。
2026-10-01 cs.RO
Continuous and Simultaneous Gesture and Posture Recognition for Commanding a Robotic Wheelchair; Towards Spotting the Signal Patterns
National Institute of Advanced Industrial Science and Technology (AIST)(产业技术综合研究所(AIST));Macquarie University(麦考瑞大学)
发现具有不同长度的信号模式在文献中仍然是一个开放的问题。在这项研究中,我们描述了一种信号模式识别方法,用于连续和同时分类的跟踪手的姿势和手势,并将它们映射到控制机器人轮椅的转向命令。所开发的方法不仅为连续识别提供了100%的识别准确率,而且为构建训练字典带来了新的视角,该训练字典消除了人为干预以在训练信号上发现手势或姿势。在训练阶段,我们采用了最先进的子空间聚类方法,以找到最具代表性的状态样本。识别和训练框架本质上用连续的决策树结构揭示流式信号上的模式的边界。我们利用协作和块稀疏表示为基础的分类方法,连续的手势和姿态识别。
2015-12-02 cs.CV cs.RO
MARS: Multi-Scale Adaptive Robotics Vision for Underwater Object Detection and Domain Generalization
Khalifa University(哈利法大学)
MARS通过集成残差注意力YOLOv3与域自适应多尺度注意力,提升水下目标检测精度和域泛化能力,在原始和增强数据集上分别达到58.57%和36.16%的mAP。
2023-12-23 cs.RO
Vision-based Obstacle Removal System for Autonomous Ground Vehicles Using a Robotic Arm
North Carolina State University(北卡罗来纳州立大学);Indian Institute of Technology Patna(印度理工学院巴特那分校);Zhejiang University(浙江大学)
在过去的几年里,用于数据汇集和视觉监控应用的配备摄像头的机器人平台的使用呈指数级增长。有许多物体的杂乱建筑工地(例如,砖、管道等)地面上的环境对于移动无人驾驶地面车辆(UGV)导航是具有挑战性的环境。为了解决这个问题,本研究提出了一种移动UGV配备了一个立体摄像机和一个机械臂,可以清除沿UGV的路径障碍物。为了实现这一目标,周围的环境是由立体摄像机捕获和障碍物检测。通过机器人操作系统(ROS)将障碍物相对于UGV的位置发送到机械臂模块。然后,机械臂拾起并移除障碍物。该方法将大大提高施工监测的自动化程度和数据汇集频率。该系统通过两个案例进行了验证。结果成功地证明了障碍物的检测和清除,作为开发具有各种施工操作应用的自主UGV的有利因素之一。
2019-01-24 cs.RO
A Food Package Recognition and Sorting System Based on Structured Light and Deep Learning
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Guangdong University of Finance & Economics(广东财经大学)
针对透明或反光食品包装识别困难及z轴定位需手动设置参数的问题,提出结合深度学习与结构光3D重建的自动化分拣系统,实现高精度识别与抓取,助力降本增效。
2023-09-07 cs.RO
Robotic Manipulation is Vision-to-Geometry Mapping: Vision-Geometry Backbones over Language and Video Models
Sun Yat-sen University(中山大学);Guangdong Key Laboratory of Big Data Analysis(大数据分析与处理广东省重点实验室);X-Era AI Lab(X-Era人工智能实验室);AMAP, Alibaba(阿里妈妈实验室);Guangdong University of Technology(广东工业大学)
本文提出基于视觉-几何骨干的机器人操作方法,通过直接利用预训练的3D表示生成动作,优于传统语言或视频模型,在精确操作和零样本泛化中表现更优。
2026-08-13 cs.RO
Bi-VLA: Vision-Language-Action Model-Based System for Bimanual Robotic Dexterous Manipulations
Skolkovo Institute of Science and Technology(斯科尔科沃科学技术研究院)
本研究提出面向双臂机器人灵巧操作的Bi-VLA系统,整合视觉、语言与动作能力,经家庭沙拉制作任务实验验证,语言模块代码生成准确率100%,视觉模块食材检测准确率96.06%,整体任务成功率83.4%。
2024-08-19 cs.RO
A Vision-based Sensing Approach for a Spherical Soft Robotic Arm
ETH Zurich(苏黎世联邦理工学院)
针对软体机械臂外部感知受限场景下的本体感受需求,提出一种集成相机的织物波纹管致动器视觉感知方案,通过卷积神经网络从图像预测姿态角,实现约1度精度的实时姿态估计,并经闭环控制验证了可靠性。
2020-12-11 cs.RO
DroneTrap: Drone Catching in Midair by Soft Robotic Hand with Color-Based Force Detection and Hand Gesture Recognition
Skolkovo Institute of Science and Technology (Skoltech)(斯科尔科沃科学技术研究院(Skoltech))
本文提出了一种对接无人机的新概念,以使这一过程尽可能安全和快速。该项目背后的想法是,一个带有软抓手的机器人在半空中抓住无人机。人类操作员使用基于ML的手势识别界面导航机器人手臂。具有柔软手指的3指机器人手配备了触摸传感器,可以实现安全的无人机捕捉,并避免无意中损坏无人机的螺旋桨和电机。此外,软手还采用了基于计算机视觉(CV)系统的独特的基于颜色的力估计技术。此外,视觉颜色变化系统使操作人员更容易解释所施加的力。无需任何额外的编程,操作员可以通过佩戴带有手势识别功能的mocap手套对机器人的运动和任务执行进行完全实时的控制,该手套是为DroneTrap的高级控制而开发和应用的。实验结果表明,所提出的基于颜色的力估计方法能够以较高的精度(95.3%)应用于刚性物体的捕获。所提出的技术可能会彻底改变无人机的着陆和部署,用于在不平坦的地面上运送包裹,结构维护和检查,风险操作等。
2021-08-04 cs.RO
Integration of 3D Object Recognition and Planning for Robotic Manipulation: A Preliminary Report
Sabancı University(萨班哲大学)
我们研究不同的方法来整合对象识别和规划在桌面操作域与2012年RoboCup@Work比赛中使用的一组对象。我们的初步实验结果表明,与一些方法,感知和规划的紧密结合提高了计划的质量,以及可行的计划的计算时间。
2013-07-29 cs.AI cs.CV cs.RO
VADF: Vision-Adaptive Diffusion Policy Framework for Efficient Robotic Manipulation
Fudan University(复旦大学);Shanghai Innovation Institute(上海创新研究院)
本文提出VADF框架,通过视觉驱动的双适应方法减少训练收敛步骤并提升推理早期成功率,采用通用设计可无缝集成至任何扩散策略架构。
2026-04-17 cs.RO
NanoVLA: Routing Decoupled Vision-Language Understanding for Nano-sized Generalist Robotic Policies
University of British Columbia(不列颠哥伦比亚大学);University of Alberta(阿尔伯塔大学);Xiaomi EV(小米电动车);Northeastern University(东北大学)
针对VLA模型难以在资源受限边缘设备部署的问题,提出轻量级架构NanoVLA,通过视觉语言解耦、长短动作分块和动态路由实现推理加速与参数缩减,同时保持任务准确率与泛化能力。
2025-10-29 cs.RO
V-CAGE: Vision-Closed-Loop Agentic Generation Engine for Robotic Manipulation
University of Cambridge(剑桥大学);Wuhan University(武汉大学);Shanghai Jiao Tong University(上海交通大学)
V-CAGE通过闭环代理生成框架实现机器人数据合成,结合语义布局规划和视觉自验证,提升环境生成的语义结构和可达性,解决传统方法在场景生成中的不足。
2026-04-10 cs.RO
Confusion-Aware In-Context-Learning for Vision-Language Models in Robotic Manipulation
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司);Shenzhen Bao'an Middle School(深圳宝安中学)
本文提出CAICL方法,通过混淆定位与分析提升视觉语言模型在机器人操作中处理混淆场景的能力,实验显示其在VIMA-Bench上成功率达85.5%。
2026-03-16 cs.RO
Utilizing Inpainting for Keypoint Detection for Vision-Based Control of Robotic Manipulators
Worcester Polytechnic Institute(沃斯彻斯特理工学院)
本文提出一种新的视觉伺服框架,通过纯自然视觉特征控制机械臂的配置空间。通过图像修复生成无标记的机械臂图像,训练关键点检测算法以实现基于自然特征的控制,无需依赖相机校准或机器人模型。
2026-08-13 cs.RO
Casting Everything to Online API Services? A Survey of Integrating Localized Speech Recognition Models in Robotic Systems
Institute of Science Tokyo(东京科学研究所);Eindhoven University of Technology(埃因霍温理工大学)
综述自动语音识别技术在机器人系统中的集成,涵盖其从传统到深度学习模型的演变、相关数据集与工具包,介绍基于 ASR 模型家族等的部署策略及实际平台,指出挑战与未来方向,助力社交机器人研究人员探索人机交互领域。
2026-07-14 cs.RO eess.AS
High-level programming and control for industrial robotics: using a hand-held accelerometer-based input device for gesture and posture recognition
University of Coimbra(科英布拉大学);University of Porto(波尔图大学)
目的-大多数工业机器人仍然使用典型的示教过程进行编程,通过使用机器人示教器。这是一项繁琐且耗时的任务,需要一些技术专长,因此需要新的机器人编程方法。本文的目的是提出一个机器人系统,允许用户指示和编程的机器人与高层次的抽象从机器人语言。设计/方法/方法-该论文详细介绍了一种机器人系统,该系统允许用户,特别是非专家程序员,以直观的方式指导和编程机器人,只是向它展示它应该做什么。这是使用两个最自然的人机界面(手势和语音),力控制系统和几个代码生成技术。将特别注意手势的识别,其中从Wii遥控器中嵌入的运动传感器(三轴加速度计)提取的数据用于捕获人手的行为。使用统计方法和人工神经网络识别手势(动态手位置)以及手动姿势(静态手位置)。实用意义-本文的主要贡献是,它提供了一个实用的方法来编程机器人通过手势和语音,提高工作效率,节省时间。独创性/价值-本文提出了一种替代典型的机器人教学过程中,扩展的概念,人机交互和同事的情况。由于大多数公司没有工程资源对其机器人制造系统进行更改或添加新功能,因此该系统对中小型企业来说是一个主要优势。
2013-09-09 cs.RO