Autonomous Grounding of Visual Field Experience through Sensorimotor Prediction
AI Lab, Aldebaran（Aldebaran AI实验室）
在一个发展的框架中，自主机器人需要探索世界并学习如何与世界互动。如果没有系统的先验模型，这就带来了让机器人掌握与世界互动的挑战性问题：如何使用传感器感知环境，以及如何使用电机在其中采取行动。感知的感觉运动方法声称，一个天真的代理可以通过捕捉其动作转换其感觉输入的方式来学习掌握这个接口。在本文中，我们应用这样的方法来发现和掌握与视觉传感器相关的视野。一个计算模型形式化，并应用到一个模拟系统来说明的方法。
2016-08-03 cs.AI cs.CV cs.LG
Cross-Stage Sensorimotor Perception Scheduling and Sparse Map Encoding for Efficient Edge Embodied Navigation
Arizona State University（亚利桑那州立大学）；University of Minnesota（明尼苏达大学）
针对边缘设备上具身导航的延迟和内存瓶颈，提出SKIP调度器（基于安全跳过准则）和SCOUT稀疏编码器，实现1.7倍加速、50.5%内存降低和7.1% SPL提升。
2026-06-15 cs.RO
A Non-linear Approach to Space Dimension Perception by a Naive Agent
UPMC Univ Paris 06（巴黎第六大学）；ISIR（智能与机器人系统研究所）
开发机器人为许多通常被认为是理所当然的AI功能提供了一种新方法。传统上，感知被认为是代理人的固有能力。此外，它在很大程度上依赖于系统设计者构建的模型。一种新的方法是将感知视为一种实验获得的能力，这种能力完全是通过分析主体的感觉运动流来学习的。以前的工作基于H.Poincaré的直觉和感觉运动偶然性理论，允许模拟代理在没有任何先验知识的情况下提取它所沉浸的几何空间的维度。这些结果仅限于系统的微小运动的振幅。本文提出了一种非线性维数估计方法来克服这一局限性。
2018-10-03 cs.LG cs.RO stat.ML
On Model Adaptation for Sensorimotor Control of Robots
The Hong Kong Polytechnic University, Hung Hom, Kowloon, Hong Kong（香港理工大学）；University of Montpellier / LIRMM, Montpellier, France（蒙彼利埃大学 / LIRMM）；The Chinese University of Hong Kong, Shatin, New Territories, Hong Kong（香港中文大学）
本文研究了如何计算用于引导具有不确定动作-感知关系的机器人系统运动的自适应传感器运动模型，通过两个案例研究展示了所提出的方法：变形物体的形状控制和未校准传感器下的超声探头软操控。
2019-04-13 cs.RO cs.SY eess.SY
SenseNet: 3D Objects Database and Tactile Simulator
大多数人工智能研究，因为它涉及到生物感官，一直专注于视觉。最近机器学习，特别是深度学习的爆炸式发展，部分原因是为算法发布了高质量的数据集，这些数据集可以用来对世界进行建模。因此，这些数据集中的大多数都是由图像组成的。我们相信，专注于感觉运动系统和触觉反馈将创造出更好地模仿人类智能的算法。在这里，我们介绍了SenseNet：触觉模拟器的集合和用于操作的3D对象的大规模数据集。SenseNet是为了研究和训练人工智能（AI）通过感觉运动神经系统和触觉反馈与环境交互而创建的。我们的目标是加速图像处理领域的同样爆炸式发展，但针对触觉反馈和感觉运动研究领域。我们希望SenseNet能够为机器学习和计算神经科学社区的研究人员提供全新的探索机会和途径。
2017-12-31 cs.AI cs.RO
Sensorimotor Self-Recognition in Multimodal Large Language Model-Driven Robots
Center for Automation and Robotics（自动化与机器人中心）；University of Azuay（阿祖亚大学）
本文研究多模态大语言模型通过躯体运动经验发展自我识别能力，展示机器人在环境感知、自我识别和预测意识方面的表现，揭示感觉整合对最小自我的影响及记忆协调机制。
2026-04-19 cs.AI cs.RO
Sensorimotor representation learning for an "active self" in robots: A model survey
University of Hamburg（汉堡大学）；Humboldt-Universität zu Berlin（柏林洪堡大学）；University of Potsdam（波茨坦大学）；Max Planck Institute for Human Cognitive and Brain Sciences（马克斯·普朗克人类认知与脑科学研究所）
安全的人机交互要求机器人能够学习如何在\sout{humans' world} \rev{spaces populated by people}中适当地表现，从而应对动态和非结构化环境带来的挑战，而不是提供一套严格的操作规则。在人类中，这些能力被认为与我们在空间中感知我们身体的能力有关，在运动过程中感知我们四肢的位置，意识到其他物体和代理，并控制我们的身体部位与它们进行有意的互动。对于下一代具有生物启发能力的机器人，在本文中，我们首先回顾了这些能力的基本机制的发展过程：身体图式的感觉表征，近个人空间和人类的主动自我。其次，我们提供了一个调查这些感官表征和机器人模型的自我机器人模型，我们比较这些模型与人类的同行。最后，我们分析了这些机器人模型中缺少的东西，并提出了一个理论计算框架，其目的是通过自我探索开发感官表征，使人工代理中自我意识的出现。
2021-01-12 cs.AI cs.RO
AFA-PredNet: The action modulation within predictive coding
Plymouth University（普利茅斯大学）；Jinan University（暨南大学）；Waseda University（早稻田大学）
预测加工（PP）假设我们的感觉运动系统的预测推理隐含在感知和动作之间的编码中。我们提出了一种神经结构，在这种结构中，主动推理是分层编码的。我们进一步认为，这种编码出现在具体的学习过程中，当选择适当的行动，以尽量减少预测误差的看法。因此，感觉运动回路中的预测流以自上而下的方式生成。具体而言，它不断地由电机动作调制，并由自下而上的预测误差信号更新。这样，自上而下的预测最初来自代表这种层次认知的更高水平的感知和行动的先前经验。在我们提出的体现模型中，我们扩展了PredNet网络，一个分层预测编码网络，由多层感知器网络（MLP）实现的运动动作单元来调制网络自上而下的预测。两个实验，一个最小的世界实验，和移动机器人实验进行了定性的方式来评估所提出的模型。在神经表征中，可以观察到，当智能体与环境交互时，也可以观察到来自运动动作的预测感知的因果推理。
2018-04-11 cs.NE cs.RO
Active inference body perception and action for humanoid robots
Technical University of Munich（慕尼黑工业大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）
为人工代理提供与生物系统相同的计算模型是理解智能行为如何出现的一种方法。我们提出了一个主动推理的身体感知和动作模型工作的第一次在人形机器人。该模型依赖于为大脑提出的自由能原理，其中感知和动作目标都是通过对变分自由能边界的梯度下降来最小化预测误差。身体状态（潜在变量）通过最小化观察到的（视觉和本体感受）传感器值与预测值之间的差异来推断。同时，该动作使传感数据采样更好地对应于内部模型做出的预测。我们在iCub机器人上正式实现了该算法，并在2D和3D视觉空间中进行了测试，以在线适应视觉变化，感官噪声以及模型与真实机器人之间的差异。我们还比较了我们的方法与经典的逆运动学在达到的任务，分析这种神经科学启发的方法在现实世界中的相互作用的适用性。该算法为机器人提供了自适应的身体感知和上身到达与头部对象跟踪（幼儿般），并能够在线（以闭环方式）结合视觉特征，而不会增加计算复杂性。此外，我们的模型预测了在存在感觉运动冲突的情况下的非自愿行为，显示了人类主动推理的潜在证据。
2020-01-29 cs.AI cs.RO
How to select and use tools? : Active Perception of Target Objects Using Multimodal Deep Learning
Waseda University（早稻田大学）；National Institute of Advanced Science and Technology（国立先进科学技术研究所）
选择适当的工具并在执行日常任务时使用它们是将机器人引入家庭应用的关键功能。然而，在以前的研究中，对目标对象的适应性是有限的，因此很难相应地改变工具和调整动作。为了用工具操纵各种物体，机器人必须理解工具的功能，并识别物体的特征，以识别工具-物体-动作的关系。我们专注于使用多模态感觉运动数据的主动感知，而机器人与物体进行交互，并允许机器人识别它们的外在和内在特征。我们构建了一个深度神经网络（DNN）模型，该模型学习识别对象特征，获取工具-对象-动作关系，并生成用于工具选择和处理的运动。作为工具使用情况的示例，机器人执行配料转移任务，使用翻勺或勺子将配料从锅转移到碗。结果证实，即使目标成分是未知的，机器人识别对象的特性和服务。我们还研究了图像，力和触觉数据的贡献，并表明学习各种多模态信息的结果丰富的感知工具使用。
2021-06-04 cs.LG cs.RO
Does the D.C. Response of Memristors Allow Robotic Short-Term Memory and a Possible Route to Artificial Time Perception?
University of the West of England（西英格兰大学）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）
时间知觉对于任务转换是必不可少的，在哺乳动物的大脑中，时间知觉与其他过程一起出现。忆阻器是用作突触和神经元模型的电子元件。忆阻器的直流响应可以被认为是一种短期记忆。忆阻器直流响应在忆阻器网络内的相互作用导致振荡动力学和间歇性尖峰序列的出现，其类似于神经动力学。基于这些数据，一个忆阻器网络控制的机器人，因为它经历了任务切换的结构进行了讨论，并建议这些新兴的网络动态可以提高性能的角色切换和学习的人工智能，也许创造人工时间感知。
2014-02-17 cs.ET cs.NE cs.RO
Experimental Analysis of Trajectory Control Using Computer Vision and Artificial Intelligence for Autonomous Vehicles
Nile University（尼罗大学）
车道边界的感知对于与自主轨迹控制相关的任务至关重要。在本文中，车道线检测的几种方法进行了讨论与实验说明：霍夫变换，斑点分析，鸟瞰图。在从边界提取车道标记之后，下一种方法是应用基于感知的控制律来控制转向和速度控制。在下文中，通过图形统计在开环响应、PID控制和神经网络控制律之间进行比较分析。为了获得周围环境的感知，使用了连接到Raspberry Pi的无线流媒体摄像头。在对摄像头接收到的信号进行预处理后，输出被发送回Raspberry Pi，Raspberry Pi处理输入并通过Arduino通过串行通信将控制传达给电机。
2021-06-13 cs.AI cs.CV cs.RO
Revisiting Active Perception
University of Maryland（马里兰大学）；University of California, Berkeley（加州大学伯克利分校）；York University（约克大学）
尽管最近在机器人、人工智能和计算机视觉方面取得了成功，但一个完整的人工智能体必须包括主动感知。过去已经出现了许多关于如何实现这一点的想法和方法，它们更广泛的实用性可能受到计算能力不足或昂贵硬件的阻碍。这些思想的历史，也许是有选择性的，由于我们的观点，提出了组织过去的文学和突出的开创性贡献的目标。我们认为，这些贡献在今天和几十年前一样重要，随着现代计算工具的发展，它们有望在未来十年的机器人感知系统中找到新的生命。
2016-03-13 cs.CV cs.RO
Embodiment Shapes Rolling Behavior in a Multimodal Infant Model
Frankfurt Institute for Advanced Studies（法兰克福高等研究院）；Goethe University Frankfurt（法兰克福大学）；University of New South Wales（新南威尔士大学）
通过虚拟婴儿MIMo学习仰卧到俯卧翻滚，研究婴儿运动发展中的具身形态变化如何影响行为，发现与真实婴儿一致的发育趋势和协调模式。
2026-06-17 cs.RO q-bio.NC
Artificial Foveated Perception for Mitigating Shortcut Learning in Robotic Foundation Models
Yale University（耶鲁大学）；University of Connecticut（康涅狄格大学）；Peking University（北京大学）；Imperial College London（帝国理工学院）；Digients
研究机器人基础模型因捷径学习难以稳健部署的问题，提出人工中央凹感知模块AFP，通过预测任务条件掩码辅助微调，使策略关注任务相关区域，实验证明其能减少微调时间、抑制过拟合并提升泛化能力。
2026-10-14 cs.RO
Neuroscience-inspired perception-action in robotics: applying active inference for state estimation, control and self-perception
Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
与机器人不同，人类通过与世界互动来学习、适应和感知自己的身体。发现大脑如何代表身体并产生动作对机器人技术和人工智能至关重要。在这里，我们将讨论神经科学的发现如何为改进机器人技术中的当前估计和控制算法提供机会。特别是，主动推理，一种大脑如何抵抗自然紊乱倾向的数学公式，提供了一个统一的配方，可能解决机器人技术中的一些主要挑战，如适应性，鲁棒性，灵活性，泛化和安全交互。本文总结了在真实体现平台上开发这种计算模型的一些实验和经验教训，即，人形机器人和工业机器人。最后，我们展示了我们仍然面临的限制和挑战，以赋予机器人类似人类的感知
2021-05-10 cs.AI cs.RO q-bio.NC
Self-Adaptive Swarm System (SASS)
University of Georgia（佐治亚大学）
分布式人工智能（DAI）研究协同工作的人工智能实体进行推理、计划、解决问题、组织行为和策略、做出集体决策和学习。这个博士研究提出了一个原则性的多智能体系统（MAS）合作框架-自适应群系统（SASS）-弥合感知，通信，规划，执行，决策和学习之间的第四级自动化差距。
2021-08-20 cs.AI cs.GT cs.LG
Fish lateral line inspired perception and flow-aided control: A review
Peng Cheng Laboratory（鹏城实验室）
自然界中的任何现象都有可能成为我们提出新想法的灵感。侧线是一个典型的例子，近年来吸引了更多的兴趣。鱼类借助侧线能够获取周围的流体信息，这对它们在水下的生存、交流和捕食具有重要意义。本文首先简要介绍了侧线的形态和机理。然后，我们专注于人工侧线的发展，通常由一个阵列的传感器，可以安装在水下机器人。总结了一系列受侧线启发的具有不同传感原理的传感器。然后综述了人工侧线系统在水动力环境传感与涡流检测、偶极子振荡源检测、水下机器人自主控制等方面的应用。此外，还对该领域存在的问题和今后的研究重点进行了详细的讨论。目前的工作和未来的研究热点表明，人工侧线具有很大的研究潜力，有助于水下机器人的应用。
2021-05-22 cs.RO physics.flu-dyn
AI or Human? Understanding Perceptions of Embodied Robots with LLMs
Institut de Robòtica i Informàtica Industrial (CSIC-UPC)（机器人与信息技术研究所（CSIC-UPC））；Universitat Politècnica de Catalunya (UPC)（巴塞罗那理工大学）
本研究在机器人平台上开展图灵测试，让34名参与者通过信息检索和包裹交接任务区分AI与人类操控，发现其判断无法超过随机水平，并识别影响智能感知的关键因素。
2025-07-22 cs.HC cs.RO
Human Following Based on Visual Perception in the Context of Warehouse Logistics
University of Michigan（密歇根大学）；Xi'an Jiao Tong University（西安交通大学）；Ji Lin University（吉林大学）
在5G、互联网、人工智能技术、ogy和机器人技术的背景下，仓储、物流机器人技术发展迅速，产品得到广泛应用。一个实际应用是帮助仓库人员根据动态路线在分散的位置拾取或交付重型货物。然而，只能接受指令或由系统预先设定的程序并不具有更多的灵活性，但现有的人类自动跟随技术要么无法准确识别特定目标，要么需要激光和摄像头的组合，这些组合很笨重，不能很好地完成避障。提出了一种结合深度排序和基于宽度的跟踪模块的目标跟踪算法，并利用人工势场进行局部路径规划以避开障碍物。在自行设计的平面有界测试场中进行了评估，并在ROS中进行了仿真。我们的方法实现了SOTA的结果，以下，并成功地达到终点，而不会碰到障碍物。
2023-01-08 cs.RO
