Accurate and Real-time 3D Pedestrian Detection Using an Efficient Attentive Pillar Network
Monash University(莫纳什大学)
从3D点云数据中有效准确地检测人在许多机器人和自动驾驶应用中非常重要。这个基本的感知任务仍然是非常具有挑战性的,这是由于(i)人体姿势和手势随时间的显著变形以及(ii)行人类对象的点云稀疏性和稀缺性。最近的高效3D目标检测方法依赖于柱特征来从点云数据中检测目标。然而,这些支柱特征不携带足够的表达表示来处理检测人中的所有上述挑战。为了解决这个缺点,我们首先引入了一个可堆叠的支柱感知注意力(PAA)模块,用于增强支柱特征提取,同时抑制点云中的噪声。通过将多点通道池化、逐点、逐通道和任务感知注意力集成到一个简单的模块中,表示能力得到提升,同时需要很少的额外计算资源。我们还提出了Mini-BiFPN,这是一个小而有效的特征网络,可以创建双向信息流和多级跨尺度特征融合,以更好地集成多分辨率特征。我们提出的框架,即PiFeNet,已经在三个流行的3D行人检测大规模数据集上进行了评估,即KITTI,JRDB和nuScenes,在KITTI Bird-eye-view(BEV)和JRDB上实现了最先进的(SOTA)性能,在nuScenes上具有非常有竞争力的性能。我们的方法具有每秒26帧(FPS)的推理速度,使其成为实时的【形】检测器。PiFeNet的代码可在https://github.com/ldtho/PiFeNet上找到。
2022-11-17 cs.CV
PC-DAN: Point Cloud based Deep Affinity Network for 3D Multi-Object Tracking (Accepted as an extended abstract in JRDB-ACT Workshop at CVPR21)
University of Western Australia(西澳大学)
近年来,基于LIDAR(光检测和测距)传感器的技术范围已扩展到众多领域。它被广泛用于将地形和导航信息映射到可靠的3D点云数据中,可能会彻底改变自动驾驶汽车和辅助机器人行业。点云是三维坐标中空间数据的密集编译。它在建模复杂的真实世界场景中起着至关重要的作用,因为它保留了结构信息并避免了透视失真,而不像图像数据那样是3D结构在2D平面上的投影。为了利用激光雷达数据的内在功能,我们提出了一种基于PointNet的三维多目标跟踪(MOT)方法。
2021-06-03 cs.CV
Swiss DINO: Efficient and Versatile Vision Framework for On-device Personal Object Search
Samsung R&D Institute UK (SRUK)(三星英国研发研究所);University of Oxford(牛津大学);Samsung Research Korea(韩国三星研究院)
针对端侧个人物品搜索的细粒度区分难、资源受限两大挑战,提出基于DINOv2的Swiss DINO框架,无需适配训练,在精度与资源效率上均显著优于现有方案。
2024-07-10 cs.AI cs.CV cs.RO
Diffusing in Someone Else's Shoes: Robotic Perspective Taking with Diffusion
University of Hamburg(汉堡大学)
针对机器人从第三人称演示学习动作需制作第一人称演示成本高的问题,提出一种新型扩散模型,可实现第三人称到第一人称视角的物体与环境尺寸、旋转转换,让机器人直接从第三人称演示学习,兼顾两种视角的优势。
2024-10-04 cs.AI cs.RO
Personalizing Federated Instrument Segmentation with Visual Trait Priors in Robotic Surgery
Wellcome/EPSRC Centre for Interventional and Surgical Sciences(Wellcome/EPSRC介入与外科科学中心);University College London(伦敦大学学院);Xiamen University(厦门大学);The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学)
针对现有手术器械分割个性化联邦学习方法未兼顾多头自注意力个性化、手术场景外观多样性与器械形状相似性的问题,提出含三个模块的PFedSIS方法,在多项指标上优于现有最优方法。
2024-08-15 cs.AI cs.CV cs.RO
WIP: Development of a Student-Centered Personalized Learning Framework to Advance Undergraduate Robotics Education
University of Nevada, Reno(内华达大学里诺分校);East Carolina University(东卡罗来纳大学);University of North Carolina Greensboro(北卡罗来纳大学格林斯伯勒分校)
本文介绍了一个以学生为中心的个性化机器人学习系统,通过兼容低成本硬件的Web界面和层次化课程设计,解决师资和设备短缺问题,初步评估显示学生体验积极且学习动机强。
2023-09-10 cs.AI cs.HC cs.RO
Promptable Behaviors: Personalizing Multi-Objective Rewards from Human Preferences
Allen Institute for AI(艾伦人工智能研究所);Massachusetts Institute of Technology(麻省理工学院);Korea Advanced Institute of Science and Technology(韩国高等科学技术院)
针对具身AI中机器人行为适配多样人类偏好的难题,提出Promptable Behaviors框架,用多目标强化学习训练通用策略,通过三类交互推断偏好,在导航任务中验证了个性化效果。
2023-12-14 cs.AI cs.CV cs.RO
Look Closer: Bridging Egocentric and Third-Person Views with Transformers for Robotic Manipulation
使用强化学习(RL)从视觉反馈学习解决基于精度的操作任务可以大大减少传统机器人系统所需的工程工作。然而,仅从视觉输入执行细粒度的运动控制是具有挑战性的,特别是在以前的工作中经常使用的静态第三人称相机。我们提出了一个机器人操作的设置,其中代理接收视觉反馈,从第三人称相机和自我中心的相机安装在机器人的手腕上。虽然第三人称相机是静态的,但以自我为中心的相机使机器人能够主动控制其视觉,以帮助精确操作。为了有效地融合来自两个摄像头的视觉信息,我们还建议使用具有交叉视图注意力机制的Transformers,该机制将空间注意力从一个视图建模到另一个视图(反之亦然),并使用学习到的特征作为RL策略的输入。我们的方法提高了在强大的单视图和多视图基线上的学习,并成功地转移到一组具有挑战性的操作任务,在一个真实的机器人上,未校准的相机,无法访问状态信息,以及高度的任务可变性。在锤子操作任务中,我们的方法在75%的试验中成功,而对于多视图和单视图基线,分别为38%和13%。
2022-01-20 cs.CV cs.LG cs.RO
Demographic User Modeling for Social Robotics with Multimodal Pre-trained Models
Sorbonne University(索邦大学);Institut des Systèmes Intelligents et de Robotique(智能与机器人系统研究所)
本文面向社交机器人个性化交互,构建两个人口统计学图像数据集并评估 CLIP,发现微调可提升预测但细微属性泛化仍有限,进而提出掩码图像建模策略。
2025-02-15 cs.AI cs.CV
Thinker: A vision-language foundation model for embodied intelligence
Thinker通过构建大规模数据集和改进输入方式,在机器人感知与推理任务中实现了最先进的性能。
2026-01-29 cs.AI cs.CV
LIBERO-PeRM: Benchmarking Personalized Robotic Manipulation
University of California, Riverside(加州大学河滨分校);Yale University(耶鲁大学);Georgia Institute of Technology(佐治亚理工学院);University of Michigan, Ann Arbor(密歇根大学安娜堡分校);University of Toronto(多伦多大学)
本研究推出LIBERO-PeRM基准测试,针对具身智能体偏好学习展开研究,实验发现当前VLA策略零样本个性化表现差,SFT可使偏好可学习,混合训练有优势但偏好泛化等仍具挑战。
2026-10-16 cs.AI cs.LG cs.RO
JRDB-Traj: A Dataset and Benchmark for Trajectory Forecasting in Crowds
EPFL(洛桑联邦理工学院);Monash University(莫纳什大学)
本研究提出基于JRDB扩展的端到端轨迹预测数据集JRDB-Traj及新型评估指标,解决现实场景中轨迹预测模型因组件孤立导致的适配问题,推动导航动力学研究与模型基准测试。
2023-11-05 cs.CV cs.RO
Proceeding of the 1st Workshop on Social Robots Personalisation At the crossroads between engineering and humanities (CONCATENATE)
本研讨会旨在探讨社交机器人个性化的跨学科挑战,汇聚不同领域研究者提出指导原则,解决个性化HRI在定义、实现及法律伦理合规方面的关键问题。
2023-11-23 cs.AI cs.HC cs.RO
JRDB: A Dataset and Benchmark of Egocentric Robot Visual Perception of Humans in Built Environments
Stanford University(斯坦福大学);Monash University(莫纳什大学)
我们提出了JRDB,一个新的自我中心的数据集收集从我们的社会移动操纵器JackRabbot。该数据集包括64分钟的带注释的多模态传感器数据,包括15 fps的立体圆柱形360 $^\circ$ RGB视频、来自两个Velodyne 16激光雷达的3D点云、来自两个Sick激光雷达的线3D点云、音频信号、30 fps的RGB-D视频、来自鱼眼相机的360 $^\circ$球形图像和来自机器人车轮的编码器值。我们的数据集融合了来自传统上代表性不足的场景的数据,如室内环境和行人区域,所有这些都是从机器人的自我角度来看的,包括静止和导航。该数据集已被注释为超过230万个边界框,分布在5个单独的相机上,以及场景中所有人周围的180万个相关3D长方体,总计超过3500个时间一致的轨迹。结合我们的数据集和注释,我们推出了2D和3D人物检测和跟踪的基准和指标。有了这个数据集,我们计划在未来扩展更多类型的注释,我们希望为以自我为中心的机器人视觉,自主导航以及人类环境中社交机器人的所有感知任务领域的研究提供新的数据源和测试平台。
2021-04-24 cs.CV cs.RO
A Reference Software Architecture for Social Robots
University of Bologna(博洛尼亚大学);ISTC-CNR(意大利国家研究委员会认知科学与技术研究所);Innopolis University(因诺波利斯大学)
社会机器人技术对软件设计师提出了严峻的挑战,他们需要照顾到困难的架构驱动因素,如机器人的可接受性,信任,以及保证机器人与用户建立个性化的交互。此外,在这种情况下,经常出现的软件设计问题,如确保互操作性,提高软件组件的可重用性和可定制性也会出现。设计和实施社交机器人软件架构是一项时间密集型活动,需要多学科专业知识:这使得快速开发,定制和个性化机器人解决方案变得困难。这些挑战可以在设计时通过选择特定的架构风格、实现特定的架构模式和使用特定的技术来缓解。利用我们在MARIO项目中的经验,在本文中,我们提出了一系列社交机器人可能受益的原则。这些原则也为社交机器人的参考软件架构的设计奠定了基础。这项工作的最终目标是建立一个基于参考软件架构的共同点,以便轻松地重用机器人软件组件,从而快速开发,实施和个性化社交机器人。
2020-07-09 cs.AI cs.RO
Selective Social-Interaction via Individual Importance for Fast Human Trajectory Prediction
本文提出基于重要性估计器选择关键邻居行人,结合Gumbel Softmax训练,在JRDB数据集上实现快速且精度有竞争力的轨迹预测。
2025-06-23 cs.AI cs.CV
Towards Embedding Dynamic Personas in Interactive Robots: Masquerading Animated Social Kinematics (MASK)
Korea University(高丽大学)
本研究开发了名为MASK的交互式机器人系统,将人设驱动对话智能体拓展至物理场景,通过有限状态机行为生成系统和集成引擎,让拟人机器人以非语言互动传递人设,实验验证了用户对不同人设的识别能力,为人设机器人设计提供参考。
2024-10-07 cs.AI cs.RO
Cross-Modal Analysis of Human Detection for Robotics: An Industrial Case Study
Robert Bosch GmbH(罗伯特·博世有限公司)
传感和学习算法的进步已经为机器人的人体检测带来了越来越成熟的解决方案,特别是在特定的用例中,例如自动驾驶汽车的行人检测或消费者环境中的近距离人员检测。尽管取得了这一进展,但简单的问题“哪种传感器算法组合最适合手头的人员检测任务?“仍然很难回答在本文中,我们通过对机器人中通常使用的传感器-算法组合进行系统的跨模态分析来解决这个问题。我们比较了2D范围数据、3D激光雷达和RGB-D数据以及在具有挑战性的工业用例中选定的组合的最先进的人员检测器的性能。我们进一步解决了工业目标领域数据稀缺的相关问题,并且最近对3D点云中人体检测的研究主要集中在自动驾驶场景上。为了利用这些方法的进步,机器人应用,我们利用一个简单的,但有效的多传感器迁移学习策略,通过扩展一个强大的基于图像的RGB-D检测器,以提供弱的三维限界框标签形式的激光雷达检测器的跨模态监督。我们的研究结果表明,在检测性能,泛化,帧速率和计算要求的不同方法之间的差异很大。由于我们的用例包含代表广泛的服务机器人应用的困难,我们相信这些结果指出了进一步研究的相关开放挑战,并为从业者设计他们的机器人系统提供了宝贵的支持。
2021-08-03 cs.CV cs.RO
Socially Interactive Agents for Robotic Neurorehabilitation Training: Conceptualization and Proof-of-concept Study
German Research Center for Artificial Intelligence(德国人工智能研究中心);Human-Centered Artificial Intelligence, Augsburg University(奥格斯堡大学以人为中心的人工智能研究所);National Research Council of Italy(意大利国家研究委员会);University of Bologna(博洛尼亚大学);Scientific Institute IRCCS E. Medea(IRCCS E. Medea科学研究所)
针对神经康复专业人员不足、现有康复机器人缺乏人际互动激励的问题,研究提出整合社交交互虚拟智能体的院外个性化AI康复系统,可行性研究显示该系统易被用户适应且能提升参与度。
2024-06-17 cs.AI cs.HC
ManipDreamer3D : Synthesizing Plausible Robotic Manipulation Video with Occupancy-aware 3D Trajectory
针对机器人操作领域数据稀缺、现有视频生成方法依赖2D轨迹存在3D空间歧义的问题,提出ManipDreamer3D框架,结合3D占据感知轨迹规划与轨迹到视频扩散模型,生成高质量可信机器人操作视频,减少人工干预。
2025-11-13 cs.AI cs.CV cs.RO
A ROS Architecture for Personalised HRI with a Bartender Social Robot
University of Naples Federico II(那不勒斯费德里科二世大学);Totaro Automazioni s.r.l.(托塔罗自动化有限责任公司)
BRILLO(交互式长期操作的调酒机器人)项目的总体目标是创建一个自主的机器人调酒师,可以在完成调酒任务的同时与客户互动。在这种情况下,人们对使用有吸引力的技术的新奇效应注定会消失,因此,它会对服务机器人应用的成功产生负面影响。因此,在访问其服务时提供个性化的自然交互对于提高用户的参与度以及他们的忠诚度至关重要。在本文中,我们提出了开发的三层ROS架构集成的感知层管理不同的社会信号的处理,决策层处理多方互动,和执行层控制的行为组成的复杂的机器人的手臂和脸。最后,通过信念层的用户建模允许个性化交互。
2022-03-15 cs.AI cs.MA cs.RO
Eye Gaze Controlled Robotic Arm for Persons with SSMI
Indian Institute of Science(印度科学学院);Indian Institute of Technology, Madras(马德拉斯印度理工学院);Indian Institute of Information Technology, Kalyani(卡利亚尼印度信息技术学院)
背景:严重言语和运动障碍(SSMI)的人经常使用一种称为眼睛指向的技术与外界交流。他们的父母,看护人或老师在他们面前拿着一块印刷板,通过手动分析他们的眼睛注视,他们的意图被解释。这种技术往往容易出错,耗时,并依赖于一个单一的照顾者。目的:我们的目标是通过使用市售平板电脑、计算机或笔记本电脑,以电子方式自动化眼动追踪过程,而不需要任何专用硬件进行眼动追踪。眼睛注视跟踪器用于开发基于视频透视的AR(增强现实)显示器,该显示器控制具有眼睛注视的机器人设备并且被部署用于织物打印任务。方法学:我们进行了一个以用户为中心的设计过程,并分别评估了基于网络摄像头的凝视跟踪器和基于视频透视的人机交互,涉及用户与SSMI。我们还报告了一个用户研究操纵机器人手臂与基于网络摄像头的眼睛注视跟踪器。结果如下:使用我们定制的眼睛注视控制界面,身体健全的用户可以在不到2秒的中位数内选择屏幕的九个区域之一,而SSMI用户可以在4秒的中位数内完成。使用眼睛注视控制的人机AR显示器,具有SSMI的用户可以在小于15秒的平均持续时间内进行代表性的拾取和放下任务,并且使用COTS眼睛跟踪器在60秒内到达随机指定的目标,并且使用基于网络摄像头的眼睛注视跟踪器在平均2分钟内到达随机指定的目标。
2020-05-25 cs.CV cs.HC eess.IV
MARS: Multi-Agent Robotic System with Multimodal Large Language Models for Assistive Intelligence
School of Computer Science and Engineering, Faculty of Innovation Engineering, Macau University of Science and Technology(澳门科技大学创新工程学院计算机科学与工程学院)
MARS系统利用多模态大语言模型实现风险感知和个性化辅助,通过多智能体决策框架提升智能家庭机器人在动态环境中的表现。
2026-04-07 cs.CV cs.RO
A Fog Robotic System for Dynamic Visual Servoing
University of California, Berkeley(加州大学伯克利分校);Cloudminds Technology Inc.(达闼科技有限公司);Tsinghua-Berkeley Shenzhen Institute(清华-伯克利深圳学院)
云机器人是一种范例,分布式机器人通过网络连接到云服务,以网络通信为代价获得无限的计算能力。然而,由于网络延迟和可变性等限制,很难直接从云端控制动态的、符合人类需求的服务机器人。在这项工作中,通过利用带有心跳信号的异步协议,我们将云机器人与智能边缘设备相结合,构建了一个雾机器人系统。我们使用该系统,使强大的远程操作的动态自平衡机器人从云。我们首先使用该系统从静态位置拾取箱子,这是仓库物流中通常执行的任务。为了使云遥操作更有效,我们部署了基于图像的视觉伺服(IBVS)来自动执行盒子拾取。包括apriltag识别和跟踪在内的视觉反馈在云中执行,以模拟IBVS的Fog Robotic对象识别系统。我们证明了使用这种云边缘混合的实时动态自动化系统的可行性,这为在Fog Robotics中部署具有深度学习识别系统的动态机器人控制开辟了可能性。最后,我们表明,雾机器人使自平衡服务机器人拿起一个盒子自动从一个人在非结构化环境下。
2018-09-16 cs.AI cs.RO
Joint Multi-Person Body Detection and Orientation Estimation via One Unified Embedding
Shanghai Jiao Tong University(上海交通大学);East China Normal University(华东师范大学)
人体方向估计(HBOE)被广泛应用于各种应用,包括机器人,监控,行人分析和自动驾驶。尽管许多方法已经解决了从特定的受控场景到具有挑战性的野外环境的HBOE问题,但它们假设已经检测到人类实例,并将裁剪良好的子图像作为输入。这种设置效率较低,在实际应用中容易出错,例如人群拥挤。在本文中,我们提出了一个单阶段的端到端的可训练框架,用于解决多人的HBOE问题。通过在一次嵌入中集成边界框和方向角的预测,我们的方法可以直接联合估计一幅图像中所有物体的位置和方向。我们的主要思想是将HBOE任务整合到多尺度锚通道预测的人,同时受益于从事中间功能。因此,我们的方法可以自然地适应困难的情况下,涉及低分辨率和遮挡的目标检测。我们验证了我们的方法的效率和有效性在最近提出的基准MEBOW与广泛的实验。此外,我们完成了MEBOW数据集忽略的歧义实例,并提供了相应的弱身体方向标签,以保持其完整性和一致性,以支持多人研究。我们的工作可以在https://github.com/hnuzhy/JointBDOE上找到。
2023-03-16 cs.CV
Observe Then Act: Asynchronous Active Vision-Action Model for Robotic Manipulation
针对现实中机器人操作受遮挡和有限视野阻碍的问题,提出任务驱动的异步主动视觉-动作模型,串行连接相机NBV策略与 gripper NBP策略并以少样本强化学习训练,在RLBench的8个任务上持续优于基线,有效处理视觉约束。
2025-02-12 cs.CV cs.RO
Zero-BEV: Zero-shot Projection of Any First-Person Modality to BEV Maps
NAVER LABS Europe(NAVER欧洲实验室)
提出Zero-BEV模型,通过解耦几何逆透视投影与模态转换,实现任意第一人称模态到BEV地图的零样本投影,并在多种模态上优于依赖单目深度估计的基线方法。
2024-03-25 cs.CV cs.RO
The ORCA Hub: Explainable Offshore Robotics through Intelligent Interfaces
Heriot-Watt University(赫瑞-瓦特大学);University of Edinburgh(爱丁堡大学)
我们介绍了英国机器人和人工智能中心的海上机器人资产认证(ORCA中心),一个3.5年的EPSRC资助,多站点项目。ORCA Hub的愿景是使用机器人和自主智能系统(AIS)团队在海上能源平台上工作,以实现更便宜,更安全,更高效的工作实践。ORCA中心将研究、集成、验证和部署远程AIS解决方案,这些解决方案可以与现有和未来的海上能源资产和传感器一起运行,在复杂和混乱的环境中以自主或半自主模式安全地进行交互,并与远程操作员合作。目标是通过使用这种离岸机器人系统,减少对人员的需求。为了实现这一点,远程操作员需要高度的态势感知能力,关键是自主系统正在做什么以及为什么要做。这种增加的透明度将促进信任关系,这在高风险、危险的情况下尤其关键。
2018-03-06 cs.AI cs.HC cs.RO
Enabling AI and Robotic Coaches for Physical Rehabilitation Therapy: Iterative Design and Evaluation with Therapists and Post-Stroke Survivors
Singapore Management University(新加坡管理大学);Instituto Superior Técnico(高等技术学院);University of Madeira(马德拉大学);Carnegie Mellon University(卡内基梅隆大学)
人工智能(AI)和机器人教练有望通过社交互动改善患者对康复锻炼的参与。虽然以前的工作探索了自动监控人工智能和机器人教练练习的潜力,但这些系统的部署仍然是一个挑战。以前的工作指出,缺乏利益攸关方参与设计这些功能是主要原因之一。在本文中,我们提出了我们的努力,引出详细的设计规范,人工智能和机器人教练如何互动,并指导患者的练习,以有效和可接受的方式与四名治疗师和五名中风后幸存者。通过反复的问卷调查和访谈,我们发现中风后幸存者和治疗师都很欣赏人工智能和机器人教练的潜在好处,可以实现更系统的管理,提高他们对康复治疗的自我效能和动力。此外,我们的评估揭示了几个实际问题(例如,与认知障碍,系统故障等人的互动可能存在困难)。我们讨论了利益相关者早期参与的价值和互动技术,这些技术可以补充系统故障,但也支持个性化治疗课程,以更好地部署人工智能和机器人运动教练。
2023-01-01 cs.AI cs.HC cs.RO
Enabling Basic Normative HRI in a Cognitive Robotic Architecture
Tufts University(塔夫茨大学)
人类协作活动以社会和道德规范为基础,人类有意识和无意识地使用这些规范来指导和约束他们的决策和行为,从而加强他们的互动,防止情感和身体伤害。这种类型的基于范数的处理对于许多人机交互场景中的机器人也是至关重要的(例如,在辅助生活设施中帮助老年人和残疾人,或在工厂甚至空间站中帮助人类完成装配任务时)。在本立场文件中,我们将简要描述如何使用集成认知架构中的几个组件来实现规范的人机交互所需的过程,特别是在协作任务中,行动和情况可能被视为威胁,因此需要改变行动过程以减轻感知到的威胁。
2016-02-11 cs.AI cs.HC cs.RO
Towards technological adaptation of advanced farming through AI, IoT, and Robotics: A Comprehensive overview
Asian University of Bangladesh(孟加拉国亚洲大学)
21世纪的人口爆炸对自然资源产生了不利影响,可耕地有限,全球变暖导致平均气温上升,碳足迹导致洪水和干旱急剧增加,从而使大多数国家的粮食安全成为重大问题。传统的方法不再足够,这为技术的进步铺平了道路,例如人工智能(AI),物联网(IoT)以及机器人技术的大幅增长,这些技术在农业领域提供了高生产力,功能效率,灵活性和成本效益。基于人工智能、物联网和机器人的设备和方法为农业带来了新的范例和机遇。人工智能现有的方法是土壤管理、作物病害识别、杂草识别以及与物联网设备合作的管理。物联网利用自动农业操作和实时监控,实时雇用的人员很少。农业机器人的主要现有应用是用于土壤准备,种植,监测,收获和存储功能。在本文中,研究人员对农业领域基于人工智能、物联网和机器人技术的方法的近期实施、范围、机遇、挑战、限制和未来研究指示进行了全面概述。
2022-02-21 cs.AI cs.LG cs.MA
A Multi-Modal Neuro-Symbolic Approach for Spatial Reasoning-Based Visual Grounding in Robotics
Faculty of Information Technology, Monash University(信息技术学院,墨尔本大学);Department of Electrical Engineering, Sharif University of Technology(电气工程系,谢赫大学)
针对VLMs在细粒度空间推理上的不足,提出整合全景图像与3D点云的神经符号框架,结合神经感知与符号推理显式建模空间逻辑关系,在JRDB-Reasoning数据集上展现卓越性能且保持轻量化设计。
2025-10-30 cs.AI cs.CV cs.RO
Intelligent Motion Planning for a Cost-effective Object Follower Mobile Robotic System with Obstacle Avoidance
Chaitanya Bharathi Institute of Technology(查塔尼亚·巴拉蒂理工学院)
很少有行业使用手动控制的机器人来搬运材料,而且这并不能在所有地方一直使用。因此,拥有机器人是非常安静的,它可以通过跟随特定的人所持有的独特颜色的物体来跟随该人。因此,我们提出了一种机器人系统,该系统使用机器人视觉和深度学习来获得所需的线速度和角速度,分别为ν和ω。这反过来又使机器人在跟随人类持有的独特颜色的物体时避开障碍物。我们提出的新方法可以准确地检测任何类型照明中独特颜色物体的位置,并告诉我们机器人所在的水平像素值,还可以告诉物体是否靠近或远离机器人。此外,我们在这个问题中使用的人工神经网络在线性和角速度预测中给了我们微小的误差,并且用于控制线性和角速度的PI控制器,其进而控制机器人的位置给了我们令人印象深刻的结果,并且这种方法优于所有其他方法。
2021-09-06 cs.CV cs.RO
Cost-Effective Robotic Handwriting System with AI Integration
App-In Club(App-In俱乐部)
本研究提出一套集成AI的高性价比机器人手写系统,结合3D打印结构与TensorFlow手写生成模型,以约56美元的硬件成本实现了±0.3毫米精度的类人手写,降低了个性化手写技术的普及门槛。
2025-01-14 cs.AI cs.RO cs.SY
Exploring AI-enhanced Shared Control for an Assistive Robotic Arm
TU Dortmund University(多特蒙德工业大学);University of Duisburg-Essen(杜伊斯堡-埃森大学);Westphalian University of Applied Sciences(威斯特法伦应用科学大学)
本研究探索将AI集成到辅助机械臂的共享控制中,旨在降低用户认知负担和运动技能需求,同时保持人类控制权,以实现个人自主性。
2024-07-18 cs.AI cs.HC cs.RO
Personalized Dynamics Models for Adaptive Assistive Navigation Systems
Carnegie Mellon University(卡内基梅隆大学)
考虑一个辅助系统,它通过语音和触觉反馈引导视障用户到达目的地。现有的机器人和无处不在的导航技术(例如,便携式、地面或可穿戴系统)通常以通用的、用户不可知的方式操作。然而,为了最大限度地减少混乱和导航错误,我们的现实分析揭示了一个关键的需要,以适应不同的最终用户与不同的移动技能的指导。为了解决可扩展系统设计中的这一实际问题,我们提出了一种新的基于基于模型的强化学习框架,用于个性化系统-用户交互体验。当系统逐渐适应新用户时,我们建议使用加权专家模型来解决深度模型迁移学习中的数据效率限制。盲人用户导航的真实数据集被用来表明,所提出的方法允许(1)更准确的长期人类行为预测(最多20秒到未来),通过改进对个人移动特性的推理,与周围障碍物的交互,以及当前的导航目标,以及(2)在学习开始时,当数据有限时,快速适应。
2018-10-08 cs.CV cs.HC cs.LG
Embodied Neuromorphic Artificial Intelligence for Robotics: Perspectives, Challenges, and Research Development Stack
New York University (NYU) Abu Dhabi(纽约大学阿布扎比分校);Khalifa University(哈利法大学)
本文针对机器人技术缺乏具身智能的问题,提出通过神经形态AI(SNN)实现具身智能的六个视角,涵盖学习规则、跨层优化、基准、可靠性、安全隐私及协同发展,并指出挑战与未来方向。
2024-09-12 cs.AI cs.LG cs.NE
Real-time Trajectory-based Social Group Detection
Monash University(莫纳什大学)
本文提出一种基于运动轨迹的实时社交群体检测框架,将个体轨迹经LSTM编码后构建图,利用改进的图Transformer和图聚类损失进行群体检测,在JRDBAct数据集上性能提升2%-11%,推理速度最高快12倍。
2023-04-12 cs.CV
Sequence-Based Identification of First-Person Camera Wearers in Third-Person Views
Indiana University Bloomington(印第安纳大学布卢明顿分校);ByteDance(字节跳动)
针对多相机佩戴者交互研究不足的问题,提出同步视角数据集TF2025,并引入结合运动线索与行人重识别的序列方法,实现第三人称视频中第一人称佩戴者识别。
2025-05-31 cs.CV
You2Me: Inferring Body Pose in Egocentric Video via First and Second Person Interactions
UC Berkeley(加州大学伯克利分校);UT Austin(德克萨斯大学奥斯汀分校);Carnegie Mellon University(卡内基梅隆大学);Facebook AI Research(Facebook人工智能研究院)
佩戴相机的人的身体姿势对于增强现实、医疗保健和机器人技术中的应用是非常感兴趣的,然而对于典型的可佩戴相机,人的身体的大部分在视野之外。我们提出了一种基于学习的方法来估计相机佩戴者的3D身体姿势从自我中心的视频序列。我们的关键见解是利用与另一个人的互动--我们可以直接观察到他的身体姿势--作为与第一人称主体的身体姿势内在联系的信号。我们表明,由于个人之间的相互作用往往会引起一系列有序的来回响应,它是可以学习的时间模型的相互关联的构成,即使一方在很大程度上是看不见的。我们展示了我们的想法在各种领域与二元互动,并显示了自我中心的身体姿态估计,这提高了最先进的实质性影响。视频结果可在www.example.com
2020-03-28 cs.CV
Leveraging YOLO-World and GPT-4V LMMs for Zero-Shot Person Detection and Action Recognition in Drone Imagery
National Institute of Informatics (NII)(信息学研究所(NII))
本文研究零样本大型多模态模型在无人机感知中的应用,评估YOLO-World和GPT-4V在航拍影像中的行人检测与动作识别表现,发现YOLO-World检测性能良好,而GPT-4V在动作分类上较弱但擅长过滤区域提议和场景描述,为后续研究奠定基础。
2024-04-02 cs.CV cs.RO
Visual Person Understanding through Multi-Task and Multi-Dataset Learning
RWTH Aachen University(亚琛工业大学);Visual Computing Institute, RWTH Aachen University(亚琛工业大学视觉计算研究所)
我们解决的问题,学习一个单一的模型的人重新识别,属性分类,身体部位分割,姿势估计。通过对这些任务的预测,我们可以更全面地了解人,这对许多应用程序都很有价值。这是一个典型的多任务学习问题。然而,不存在可以从这些任务中联合学习的数据集。因此,在训练过程中需要组合多个数据集,这在其他情况下通常会导致过去的性能下降。我们广泛地评估了不同的任务和数据集如何相互影响,以及任务之间不同程度的参数共享如何影响性能。我们的最终模型匹配或优于其单任务同行,而不会产生显着的计算开销,使其非常有趣的资源受限的情况下,如移动机器人。
2019-06-07 cs.CV cs.LG
Self-Supervised Person Detection in 2D Range Data using a Calibrated Camera
RWTH Aachen University(亚琛工业大学);Visual Computing Institute(视觉计算研究所)
深度学习是2D范围数据中最先进的人物检测器的基本构建块。然而,只有少数带注释的数据集可用于训练和测试这些深度网络,这可能会限制它们在新环境或不同LiDAR模型中部署时的性能。我们提出了一种方法,该方法使用校准相机上基于图像的检测器(例如Faster R-CNN)的边界框来自动生成基于2D LiDAR的人员检测器的训练标签(称为伪标签)。通过在JackRabbot数据集上使用两种检测器模型DROW 3和DR-SPAAM进行实验,我们证明了使用伪标签进行训练或微调的自监督检测器优于仅在不同数据集上训练的检测器。结合强大的训练技术,自监督检测器的性能接近于使用目标数据集的手动注释训练的检测器。我们的方法是在部署过程中改进人员检测器的有效方法,无需任何额外的标记工作,我们发布了源代码以支持相关的机器人应用程序。
2021-06-03 cs.CV cs.RO
Social-Transmotion: Promptable Human Trajectory Prediction
EPFL(洛桑联邦理工学院)
提出 Social-Transmotion,将 NLP 提示概念引入人体轨迹预测,利用坐标、边界框及 2D/3D 姿态等视觉线索和 Transformer 掩码机制建模时空交互,并在多个数据集上验证有效性。
2024-12-04 cs.CV cs.RO
Multi-Person Interaction Generation from Two-Person Motion Priors
University of Glasgow(格拉斯哥大学)
本文提出 Graph-driven Interaction Sampling,利用双人运动扩散先验和 Pairwise Interaction Graph 将多人交互分解为条件化单人运动生成,并通过图相关引导减少穿透等伪影。
2025-07-26 cs.CV cs.GR cs.LG
Online Marker-free Extrinsic Camera Calibration using Person Keypoint Detections
University of Bonn(波恩大学)
多相机系统的校准,即确定相机之间的相对姿态,是计算机视觉和机器人技术中许多任务的先决条件。相机校准通常使用使用棋盘校准目标的离线方法来实现。然而,考虑到每次任何相机姿态改变时都需要新的校准,这些方法通常是繁琐和冗长的。在这项工作中,我们提出了一种新颖的,无标记的在线方法,用于多个智能边缘传感器的外部校准,仅依赖于从RGB相机图像在传感器板上本地计算的2D人体关键点检测。我们的方法假设的内在摄像机参数是已知的,并需要一个粗略的初始估计的摄像机姿势启动。来自多个视图的人关键点检测在中央后端处被接收,在中央后端处,这些人关键点检测被同步、过滤并被分配给人假设。我们使用这些人的假设,以因子图的形式反复解决优化问题。给定穿过场景的一个或多个人的适当观察,估计的相机姿态在几分钟内收敛到相干的外部校准。我们评估我们的方法在现实世界中的设置,并表明,与使用传统的校准目标的离线方法生成的参考校准相比,与我们的方法的校准实现了较低的重投影误差。
2022-09-15 cs.CV cs.RO