Conformal Safety Shielding for Imperfect-Perception Agents
Colorado State University, USA（科罗拉多州立大学）；University of York, UK（约克大学）；Carnegie Mellon University, USA（卡内基梅隆大学）
针对高维观测下状态估计不完美的自主智能体，论文提出基于保形预测的运行时安全屏蔽，并证明其局部与全局安全保证，且以飞机滑行引导系统验证。
2025-07-26 cs.AI cs.LG cs.SY
STAMP: Scalable Task And Model-agnostic Collaborative Perception
Texas A&M University（德克萨斯农工大学）；UCLA（加利福尼亚大学洛杉矶分校）；UC Riverside（加利福尼亚大学河滨分校）；Purdue University（普渡大学）；UT Austin（德克萨斯大学奥斯汀分校）
提出STAMP，一种面向异构智能体的可扩展任务与模型无关协作感知流水线，通过轻量级适配器-还原器对转换BEV特征，实现高效特征共享与融合，在降低计算开销的同时保持高准确率。
2025-01-24 cs.AI cs.CV cs.RO
Boosting Embodied AI Agents through Perception-Generation Disaggregation and Asynchronous Pipeline Execution
Shanghai Jiao Tong University（上海交通大学）
针对具身AI智能体推理频率受限的问题，提出算法-系统协同设计的Auras框架，通过感知-生成分离与异步流水线并行，实现2.54倍吞吐量提升并保持准确率。
2025-09-11 cs.AI cs.LG
Residual Vector Quantization For Communication-Efficient Multi-Agent Perception
Carnegie Mellon University（卡内基梅隆大学）
ReVQom通过残差向量量化实现高效多智能体感知，显著降低通信带宽需求，提升实际应用可行性。
2026-02-08 cs.CV cs.RO
Latency-Aware Collaborative Perception
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）
协作感知最近表现出巨大的潜力，以提高感知能力，单代理感知。现有的协作感知方法通常考虑理想的通信环境。然而，在实践中，通信系统不可避免地遭受延迟问题，导致潜在的性能下降和安全关键应用（如自动驾驶）中的高风险。为了减轻不可避免的延迟所造成的影响，从机器学习的角度来看，我们提出了第一个延迟感知协同感知系统，它主动适应异步感知功能从多个代理到相同的时间戳，提高了协作的鲁棒性和有效性。为了实现这样的功能级同步，我们提出了一种新的延迟补偿模块，称为SyncNet，它利用功能注意共生估计和时间调制技术。实验结果表明，基于SyncNet的延迟感知协同感知系统在通信延迟场景下的感知性能比现有的协同感知方法提高了15.6%，并且在严重延迟的情况下，协同感知仍优于单Agent感知.
2022-07-25 cs.CV cs.RO
Multi-agent Collaborative Perception for Robotic Fleet: A Systematic Review
Carnegie Mellon University（卡内基梅隆大学）；University of Maryland（马里兰大学）；Worcester Polytechnic Institute（伍斯特理工学院）
本综述总结20余篇协同感知研究，探讨测试评估框架，实验证明协同感知较单机器人感知性能提升超200%，并附开源仓库。
2024-03-22 cs.RO
Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception
Indian Institute of Technology Delhi（印度理工学院德里）；Indian Institute of Technology Abu Dhabi（印度理工学院阿布扎比）；Microsoft Research（微软研究院）
本文提出SPECTRA框架，通过冷启动强化学习提升小视觉语言模型的视觉鲁棒性和工具协调能力，无需监督即可提高任务准确性和工具效率。
2026-04-19 cs.AI cs.CL cs.LG
Operationalizing Perceptions of Agent Gender: Foundations and Guidelines
Institute of Science Tokyo（东京科学大学）；University of Cambridge（剑桥大学）；University College Dublin（都柏林大学学院）；Chalmers University of Technology and University of Gothenburg（查尔姆斯理工大学与哥德堡大学）；Uppsala University（乌普萨拉大学）
本文探讨智能代理性别感知的操作化方法，提出理论驱动的框架以提高研究严谨性和包容性，解决现有标准缺失的问题。
2026-03-10 cs.AI cs.CY cs.HC
Human-Centric Foundation Models: Perception, Generation and Agentic Modeling
The Chinese University of Hong Kong（香港中文大学）；Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Hong Kong University of Science and Technology（香港科技大学）
本综述提出分类法，将以人为中心的基础模型（HcFMs）分为感知、AIGC、统一感知生成、智能体建模四类，回顾技术、讨论挑战与方向，为数字人类建模提供路线图。
2025-02-12 cs.AI cs.CV cs.LG
Active Perception in Adversarial Scenarios using Maximum Entropy Deep Reinforcement Learning
Massachusetts Institute of Technology (MIT)（麻省理工学院）
我们提出了一个积极的感知问题，其中一个自主智能体积极与第二个代理与潜在的敌对行为。鉴于对方的意图不确定，目的是收集进一步的证据，以帮助辨别潜在的威胁。主要的技术挑战是代理意图的部分可观察性，对手建模，以及相应的不确定性建模。请注意，对手代理可能会通过使用从过去的经验中学习到的欺骗性策略来误导自主智能体。我们提出了一种方法，结合信念空间规划，生成对手建模，最大熵强化学习，以获得一个随机的信念空间政策。通过在仿真框架中考虑各种对抗行为并最小化自主智能体行为的可预测性，所得到的策略对未建模的对抗策略更具鲁棒性。这种改进的鲁棒性经验表明，对对手，适应和利用自主智能体的政策相比，一个标准的机会约束部分可观测马尔可夫决策过程的强大的方法。
2019-09-18 cs.AI
Scalable Perception-Action-Communication Loops with Convolutional and Graph Neural Networks
Texas A&M University（德克萨斯农工大学）；Rice University（莱斯大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Pennsylvania（宾夕法尼亚大学）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们提出了一个使用基于视觉的图聚合和推理（VGAI）的感知-动作-通信环路设计。这种多智能体分散式学习控制框架将原始视觉观察映射到智能体动作，并辅之以相邻智能体之间的本地通信。我们的框架是由卷积和图神经网络（CNN / GNN）的级联实现的，分别解决了代理级视觉感知和特征学习，以及群级通信，局部信息聚合和代理动作推理。通过联合训练CNN和GNN，图像特征和通信消息被联合学习，以更好地解决特定任务。我们使用模仿学习训练的VGAI控制器在离线阶段，依赖于一个集中的专家控制器。这导致学习的VGAI控制器可以以分布式方式部署用于在线执行。此外，该控制器具有良好的缩放特性，在较小的团队中进行训练，并在较大的团队中应用。通过一个多智能体群集应用程序，我们证明了VGAI产生的性能与其他分散控制器相当或更好，只使用视觉输入方式，而不访问精确的位置或运动状态信息。
2021-11-05 cs.LG cs.MA cs.RO
Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning
Shanghai Jiao Tong University（上海交通大学）
针对多跳音视频推理中证据稀疏且跨模态分布的问题，提出MOV-Bench基准和AOP-Agent代理框架，通过分层全模态记忆与观察-反思-重规划循环实现主动感知，显著提升开源全模态大模型在长视频和推理密集型问题上的性能。
2026-05-27 cs.AI
M$^3$-ACE: Rectifying Visual Perception in Multimodal Math Reasoning via Multi-Agentic Context Engineering
M3-ACE 通过多智能体上下文工程校正多模态数学推理中的视觉感知问题，提升推理性能。
2026-03-09 cs.AI
How to Sense the World: Leveraging Hierarchy in Multimodal Perception for Robust Reinforcement Learning Agents
INESC-ID（里斯本高等理工学院信息技术与系统研究所）；Instituto Superior Técnico, Universidade de Lisboa（里斯本大学高等理工学院）；KTH Royal Institute of Technology（瑞典皇家理工学院）
这项工作解决了感知世界的问题：如何学习强化学习代理环境的多模态表示，允许在不完整的感知条件下执行任务。为了解决这个问题，我们主张在设计的表示模型的层次结构，并与一个新的多模态表示模型，MUSE。所提出的模型学习分层表示：低层次的模态特定的表示，从原始观测数据编码，和一个高层次的多模态表示，编码联合模态信息，以允许强大的状态估计。我们采用MUSE作为深度强化学习代理的感官表征模型，在Atari游戏中提供多模态观察。我们对不同设计的强化学习代理进行了比较研究，表明MUSE允许代理在不完整的感知经验下以最小的性能损失执行任务。最后，我们评估了MUSE在文献标准的多模态场景中的性能，这些场景具有更高的数量和更复杂的模态，表明它在单模态和跨模态生成中优于最先进的多模态变分自编码器。
2022-01-31 cs.AI cs.LG
Faster-HEAL: An Efficient and Privacy-Preserving Collaborative Perception Framework for Heterogeneous Autonomous Vehicles
Electrical and Computer Engineering（电气与计算机工程）；Michigan State University（密歇根州立大学）
Faster-HEAL通过低秩视觉提示和金字塔融合，实现高效且隐私保护的异构自动驾驶车辆协作感知
2026-03-07 cs.CV cs.RO
UniDriveVLA: Unifying Understanding, Perception, and Action Planning for Autonomous Driving
Huazhong University of Science and Technology（华中科技大学）；SKL-IOTSC, University of Macau（澳门大学智慧城市物联网国家重点实验室）
UniDriveVLA通过专家解耦和三阶段训练策略，解决自动驾驶中感知与推理的冲突，实现空间感知与语义推理的统一，取得nuScenes和Bench2Drive的优异性能。
2026-04-02 cs.CV cs.RO
Does Knowledge About Perceptual Uncertainty Help an Agent in Automated Driving?
Institute of Mathematics Technical University of Berlin Berlin, Germany；Department of Mathematics University of Wuppertal Wuppertal, Germany；Faculty of Computer Science Ruhr University Bochum Bochum, Germany
本文研究感知不确定性对自动驾驶智能体行为的影响及不确定性信息的作用，通过代理任务和受控实验发现，感知扰动会使智能体防御驾驶，而提供不确定性信息可让其更快完成任务并兼顾风险。
2026-10-12 cs.CV cs.RO
Active Video Perception: Iterative Evidence Seeking for Agentic Long Video Understanding
Salesforce AI Research（Salesforce AI研究院）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出了一种主动视频感知框架AVP，通过迭代计划-观察-反思过程，主动决定视频内容的观察目标和时间，以提高长视频理解的准确性和效率。
2026-06-04 cs.AI cs.CL cs.CV
Perception as prediction using general value functions in autonomous driving applications
Huawei Technologies Canada, Ltd.（加拿大华为技术有限公司）；University of Alberta（阿尔伯塔大学）
我们提出并展示了一个框架，称为感知预测自动驾驶，使用一般价值函数（GVF）学习预测。感知作为预测学习数据驱动的预测，这些预测与行动对智能体感知世界的影响有关。它还提供了一种数据驱动的方法来预测其他代理的预期行为对世界的影响，而无需明确了解他们的政策或意图。我们通过学习预测代理的前方安全和后方安全与GVF，封装在前面和后面的车辆的行为的预期，分别展示了感知预测。通过在包含其他代理的模拟环境中的随机交互来学习安全预测。我们表明，这些预测可以用来产生类似的控制行为，基于LQR的控制器在自适应巡航控制问题，以及提供先进的警告时，后面的车辆正在接近危险。这些预测是紧凑的基于策略的预测，支持在遵循给定策略时对安全的长期影响的预测。我们分析了两个控制器，使用所学的预测在赛车模拟器中，以了解预测的价值，并证明其在现实世界中的使用Clearpath豺狼机器人和自动驾驶汽车平台。
2020-01-24 cs.AI cs.RO cs.SY
Simultaneous Perception-Action Design via Invariant Finite Belief Sets
University of Texas at Austin（德克萨斯大学奥斯汀分校）
虽然感知在自主系统的整体计算成本中占越来越大的比例，但感知到的信息中只有一小部分可能与当前任务相关。为了减轻这些感知成本，我们开发了一种新的同步感知动作设计框架，其中代理只感知任务相关的信息。该公式与部分可观察的马尔可夫决策过程的公式不同，因为智能体不仅可以自由合成其动作选择策略，还可以自由合成其依赖于信念的观察函数。该方法使代理人能够平衡其感知成本与在其环境中操作所产生的成本。为了获得一个计算上易于处理的解决方案，我们近似的价值函数使用一种新的方法不变的有限信念集，其中代理的行为完全在一个有限子集的连续信念空间。我们通过值迭代来解决近似问题，其中线性规划在每次迭代中针对集合中的每个置信状态单独求解。最后，我们证明了价值函数，在其结构的假设下，收敛到其连续的状态空间值的样本密度的增加。
2021-09-10 cs.AI cs.SY eess.SY
Online Active Perception for Partially Observable Markov Decision Processes with Limited Budget
University of Texas at Austin（德克萨斯大学奥斯汀分校）
主动感知策略使智能体能够有选择地收集信息，以提高其性能。在应用程序中，代理不具有现有的信息源的先验知识，它是至关重要的综合主动感知策略在运行时。我们认为，在运行时的代理是能够收集信息的有限的预算下的设置。我们提出的问题的背景下，部分可观察的马尔可夫决策过程。我们提出了一个广义的贪婪策略，选择一个子集的信息源的不确定性减少的近最优保证。我们的理论分析表明，所提出的主动感知策略在预期的累积奖励方面达到了接近最优的性能。我们展示了机器人导航问题的模拟产生的战略。
2019-10-04 cs.AI cs.SY eess.SY
AgenticSwarm: Semantic Perception and Adaptive Task Allocation for Heterogeneous Multi-UAV Missions
AgenticSwarm提出智能体框架，融合语义感知与约束分配，实现异构多无人机自适应任务执行，显著提升感知精度并降低重复工作。
2026-09-21 cs.RO
Human Perceptions on Moral Responsibility of AI: A Case Study in AI-Assisted Bail Decision-Making
KAIST（韩国科学技术院）；IBS（韩国基础科学研究院）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）；Max Planck Institute for Research on Collective Goods（马克斯·普朗克集体利益研究所）
如何为自主人工智能（AI）系统的行为归属责任一直是人文和社会科学学科的广泛争论。这项工作提出了两个实验（$N$ =200每个），衡量人们的看法，八种不同的概念的道德责任有关的AI和人类代理人的保释决策的背景下。使用现实生活中改编的小插曲，我们的实验表明，人工智能智能体被认为负有因果责任，并指责类似于人类代理人的相同任务。然而，人们如何看待这些代理人的道德责任存在有意义的差异;人类代理人比人工智能智能体具有更高程度的当前和前瞻性责任概念。我们还发现，人们希望人工智能和人类决策者和顾问能够证明他们的决定是正确的，而不管它们的性质如何。我们讨论了这些发现的政策和HCI影响，例如在高风险场景中需要可解释的AI。
2021-02-01 cs.AI cs.CY cs.HC
Interval POMDP Shielding for Imperfect-Perception Agents
Department of Computer Science（计算机科学系）；Colorado State University（科罗拉多州立大学）
本文研究了在感知不确定性估计有限标注数据情况下，如何通过区间部分可观测马尔可夫决策过程构建防护机制，以提高自主系统决策的安全性。
2026-08-20 cs.AI cs.SY eess.SY
Pragmatic Heterogeneous Collaborative Perception via Generative Communication Mechanism
Southwest Jiaotong University（西南交通大学）；Engineering Research Center of Sustainable Urban Intelligent Transportation, Ministry of Education, China（可持续城市智能交通工程研究中心，教育部，中国）；Wuhan University of Technology（武汉理工大学）；City University of Hong Kong（香港城市大学）
提出生成式通信机制GenComm，通过可变形消息提取器与条件扩散模型生成对齐特征，在不改动原网络且极低计算代价下解决异构多智能体协同感知的领域鸿沟问题，性能优于SOTA。
2025-11-03 cs.CV
Learning Perception to Action Rules through Reinforcement Learning for Theory-of-Mind Reasoning
Saarland University（萨尔兰大学）；Deutsches Forschungszentrum für Künstliche Intelligenz（德国人工智能研究中心）；Télécom Paris（巴黎电信学院）；Max Planck Institute for Informatics（马克斯·普朗克 informatics 研究所）
本研究提出通过强化学习生成感知-行动规则，结合GRPO训练大语言模型，可提升心理理论推理能力，且规则具备跨模型知识迁移价值。
2026-10-15 cs.AI cs.CL
Conceptual Metaphors Impact Perceptions of Human-AI Collaboration
Stanford University（斯坦福大学）
随着对话式人工智能（AI）代理的出现，了解影响用户对这些代理的体验的机制非常重要。我们研究了设计师工具箱中的一个常用工具：概念隐喻。隐喻可以把一个代理人描述成一个扭曲的青少年，一个蹒跚学步的孩子，或者一个有经验的管家。隐喻的选择如何影响我们对人工智能智能体的体验？沿着温暖和能力的维度采样隐喻-由心理学理论定义为人类社会感知的变化的主轴-我们进行了一项研究（N=260），我们操纵的隐喻，但不是行为，一个向导的奥兹会话代理。以下的经验，参与者进行调查，他们的意图使用代理，他们的愿望与代理合作，代理的可用性。与目前设计师使用高能力隐喻来描述人工智能产品的趋势相反，我们发现，与高能力的隐喻相比，低能力的隐喻会导致对智能体的更好评价。尽管高能力和低能力的代理人都具有人类水平的表现，而且巫师对条件视而不见，这种效果仍然存在。第二项研究证实，采用的意图迅速减少能力预测的隐喻增加。在第三项研究中，我们评估了隐喻选择对潜在用户尝试系统的愿望的影响，发现用户被吸引到投射更高的能力和温暖的系统。这些结果表明，投射能力可能有助于吸引新的用户，但这些用户可能会放弃代理，除非它可以迅速纠正与较低的能力隐喻。我们结束了一个回顾性的分析，发现类似的模式之间的隐喻和用户对过去的会话代理人，如小冰，达卡，Woebot，Mitsuku和泰的态度。
2020-08-05 cs.AI cs.HC
Multi-agent active perception with prediction rewards
Universität Hamburg（汉堡大学）；TU Delft（代尔夫特理工大学）
多智能体主动感知是一个任务，其中一个团队的代理合作收集的意见，以计算一个隐藏的变量的联合估计。该任务是分散的，联合估计只能在任务结束后通过融合所有智能体的观察来计算。目标是最大限度地提高估计的准确性。准确性由集中式预测奖励量化，该奖励由集中式决策者确定，该决策者在任务结束后感知所有代理收集的观察结果。在本文中，我们模型的多智能体主动感知作为一个分散的部分可观察马尔可夫决策过程（Dec-POMDP）与凸集中预测奖励。我们证明，通过为每个代理引入单独的预测动作，该问题被转换为具有分散预测奖励的标准Dec-POMDP。由于分散化的损失是有界的，我们给出了一个充分条件时，它是零。我们的研究结果允许应用任何Dec-POMDP解决方案算法的多智能体主动感知问题，并使规划，以减少不确定性，而无需显式计算的联合估计。我们证明了我们的研究结果的经验有用性，通过应用一个标准的Dec-POMDP算法的多智能体主动感知问题，在规划视野中显示出更大的可扩展性。
2020-10-22 cs.AI cs.LG cs.MA
Breaking Data Silos: Cross-Domain Learning for Multi-Agent Perception from Independent Private Sources
Cleveland State University（克利夫兰州立大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文针对多智能体感知中因各公司私有训练数据分布差异导致的数据孤岛和性能下降问题，提出特征分布感知聚合（FDA）跨域学习框架，通过特征补偿与分布一致性模块缩小智能体间特征分布差距，并在OPV2V和V2XSet上验证了其在三维目标检测中的有效性。
2024-02-20 cs.CV cs.LG
Gibson Env: Real-World Perception for Embodied Agents
Stanford University（斯坦福大学）；University of California, Berkeley（加州大学伯克利分校）
针对主动智能体真实世界感知开发难题，提出基于真实空间虚拟化的Gibson虚拟环境，其含1400余楼层空间，带Goggles机制，可直接部署模型，还具备具身化特性。
2026-10-21 cs.AI cs.CV cs.GR
Grounding object perception in a naive agent's sensorimotor experience
AI Lab, Aldebaran（Aldebaran AI实验室）
人工目标感知通常依赖于先验定义的模型和特征提取算法。我们研究如何对象的概念可以接地在一个天真的代理的感觉运动的经验。在没有任何关于自身或所处世界的知识的情况下，智能体探索其感觉运动空间，并将物体识别为独立于其上下文的一致的感觉运动转换网络。预测的基本驱动力是假设从发展的角度来解释这种网络的出现。提出了一种算法，并进行了测试，以说明该方法。
2016-09-26 cs.LG cs.RO
End-to-End Pixel-Based Deep Active Inference for Body Perception and Action
Technical University of Munich（慕尼黑工业大学）；Donders Institute for Brain, Cognition and Behaviour（唐德斯脑、认知与行为研究所）；Radboud University（拉德堡德大学）
我们提出了一种基于像素的深度主动推理算法（PixelAI），其灵感来自人体感知和动作。我们的算法将神经科学中的自由能原理（植根于变分推理）与深度卷积解码器相结合，以扩展算法，直接处理原始视觉输入，并提供在线自适应推理。我们的方法是通过研究身体感知和行动在一个模拟和一个真正的Nao机器人进行验证。结果表明，我们的方法允许机器人执行1）动态身体估计其手臂只使用单目摄像机图像和2）自主达到“想象”的手臂姿势在视觉空间。这表明，机器人和人体的感知和行动可以有效地解决看作是一个积极的推理问题的指导下进行感官输入。
2020-05-29 cs.AI cs.CV cs.LG
Watch-And-Help: A Challenge for Social Perception and Human-AI Collaboration
Massachusetts Institute of Technology（麻省理工学院）；ETH Zurich（苏黎世联邦理工学院）；University of Toronto（多伦多大学）；NVIDIA（英伟达）；Vector Institute（向量研究所）
在本文中，我们介绍了观察和帮助（WAH），在代理测试社会智能的挑战。在WAH中，人工智能智能体需要帮助类人智能体有效地执行复杂的家庭任务。为了取得成功，人工智能智能体需要i）通过观看类人智能体执行相同任务的单个演示来理解任务的潜在目标（社会感知），以及ii）与类人智能体协调，以尽可能快地在看不见的环境中解决任务（人类-人工智能协作）。为了应对这一挑战，我们构建了VirtualHome-Social，一个多代理家庭环境，并提供了一个基准，包括基于规划和学习的基线。我们使用客观指标和主观用户评级评估人工智能智能体与类人智能体以及真实人类的性能。实验结果表明，所提出的挑战和虚拟环境，使大规模的机器社会智能的重要方面进行系统的评估。
2021-05-03 cs.AI cs.LG cs.MA
CP-Guard+: A New Paradigm for Malicious Agent Detection and Defense in Collaborative Perception
City University of Hong Kong（香港城市大学）；University of Electronic Science and Technology of China（电子科技大学）；Lingnan University（岭南大学）
针对协作感知（CP）系统易受恶意攻击的问题，提出特征层面恶意智能体检测新范式，构建首个综合数据集CP-GuardBench，并开发基于双中心对比损失（DCCLoss）的CP-Guard+防御方法，实验证明其优越性。
2025-02-07 cs.AI cs.CR cs.CV
Distributed NeRF Learning for Collaborative Multi-Robot Perception
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；NVIDIA（英伟达）；University of California, Berkeley（加州大学伯克利分校）
本文提出一种分布式NeRF学习框架，使多机器人仅共享各自学习到的NeRF模型即可实现协作式场景建图，在降低通信开销的同时达到甚至超越集中式建图性能，并在稀疏视图场景中改善几何一致性。
2024-09-30 cs.CV cs.LG cs.RO
A Non-linear Approach to Space Dimension Perception by a Naive Agent
UPMC Univ Paris 06（巴黎第六大学）；ISIR（智能与机器人系统研究所）
开发机器人为许多通常被认为是理所当然的AI功能提供了一种新方法。传统上，感知被认为是代理人的固有能力。此外，它在很大程度上依赖于系统设计者构建的模型。一种新的方法是将感知视为一种实验获得的能力，这种能力完全是通过分析主体的感觉运动流来学习的。以前的工作基于H.Poincaré的直觉和感觉运动偶然性理论，允许模拟代理在没有任何先验知识的情况下提取它所沉浸的几何空间的维度。这些结果仅限于系统的微小运动的振幅。本文提出了一种非线性维数估计方法来克服这一局限性。
2018-10-03 cs.LG cs.RO stat.ML
Risk-Aware Decision Policies for Agents Under Noisy Perception
University of Waterloo（滑铁卢大学）
针对感知噪声下智能体决策问题，该研究构建人工生命捕食者-猎物觅食模型，发现不确定性感知策略可提升智能体存活率，揭示了行为随不确定性的状态转变，为含噪声标签的鲁棒学习提供类比。
2026-08-10 cs.AI cs.LG
Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution
VLM Run Research（VLM Run研究）
Orion通过整合视觉推理与工具增强执行，实现了多模态感知、高级视觉推理与执行的统一，提升多步骤视觉智能性能。
2025-11-19 cs.AI cs.CV cs.LG
Depth Matters: Multimodal RGB-D Perception for Robust Autonomous Agents
CPS, Technische Universität Wien (TU Wien)（CPS，维也纳技术大学）
针对纯感知自主智能体的鲁棒实时控制需求，本研究验证RGB-D早期融合方案可提升转向预测性能，经实车数据训练的轻量循环控制器在分布外场景下具备强抗干扰与避障能力。
2025-11-13 cs.CV cs.LG cs.RO
Predicting the intended action using internal simulation of perception
University of Linköping（林雪平大学）
本文提出了一种架构，它允许通过内部模拟感知状态表示的动作模式向量的意图预测。为此，联想自组织神经网络（A-SOM）被用来建立一个层次的认知架构的识别和模拟的骨架为基础的人类行动。在实验中使用三个不同的数据集的3D动作的能力，所提出的架构在识别和预测的行动进行评估。基于本文的实验，在所有实验中，应用由动作模式向量表示的内部模拟感知状态提高了识别任务的性能。此外，感知的内部模拟解决了对感官输入的有限访问的问题，以及对连续感知序列的未来预测。将该系统的性能与使用自组织神经网络（SOM）的类似体系结构进行了比较和讨论。
2022-02-09 cs.AI cs.CV cs.HC
GT-Space: Enhancing Heterogeneous Collaborative Perception with Ground Truth Feature Space
Sun Yat-sen University, Shenzhen Campus（中山大学深圳校区）；Peng Cheng Laboratory (PCL)（鹏城实验室）
本文提出GT-Space框架，通过构建地面真实标签的共同特征空间，实现异构agent的统一特征对齐，避免了传统方法中需要重新训练编码器或设计解释器模块的局限，提升了多agent协作感知的准确性和鲁棒性。
2026-09-15 cs.AI cs.LG cs.MA
Learning An Active Inference Model of Driver Perception and Control: Application to Vehicle Car-Following
Army Research Office（陆军研究办公室）
本文提出一种基于主动推理理论的双层优化方法，从有限演示中学习人类感知与控制模型，并在自然车辆跟驰数据集上验证了其作为黑箱驾驶模型替代方案的有效性。
2025-05-01 cs.AI cs.LG cs.RO
PolicyEvol-Agent: Evolving Policy via Environment Perception and Self-Awareness with Theory of Mind
School of Computer Science University of Birmingham（计算机科学学院 英国伯明翰大学）
提出PolicyEvol-Agent框架，利用心智理论整合环境感知与自省，动态优化策略，在博弈模拟中超越强化学习与智能体方法，提升最终胜率。
2025-04-20 cs.AI cs.LG
On the Sensory Commutativity of Action Sequences for Embodied Agents
ENSTA Paris（巴黎高等先进技术学院）；INRIA（法国国家信息与自动化研究所）；Softbank Robotics Europe（软银机器人欧洲公司）；City University of London（伦敦城市大学）
人工智能体的感知是人工智能研究的重大挑战之一。深度学习和数据驱动的方法在约束问题上是成功的，在这些问题上，感知可以通过监督来学习，但不能扩展到开放世界。在这种情况下，对于具有第一人称传感器的自主具身智能体，可以端到端地学习感知以解决特定任务。然而，文献表明，感知不是一个纯粹的被动压缩机制，行动在抽象表征的形成中发挥着重要作用。我们建议研究这些具身智能体的感知，在数学形式主义的群论，以使感知和行动之间的联系。特别是，我们认为连续的动作序列的交换属性，这样一个具体的代理感知到的感官信息。我们介绍了感官交换概率（SCP）标准，衡量有多少代理的自由度影响环境中体现的情况。我们将展示如何在不同的环境中计算这个标准，包括现实的机器人设置。我们经验性地说明了SCP和动作序列的交换属性如何用于学习环境中的对象并提高强化学习中的样本效率。
2021-01-29 cs.AI cs.LG stat.ML
InSight-doc: Agentic Visual Perception for Long-Document Understanding
The Hong Kong University of Science and Technology（香港科技大学）；Huawei（华为）
本研究提出智能体视觉感知框架InSight-doc，通过自适应选择放大高分辨率区域处理长文档，经SFT+RL训练后在文档VQA任务中显著提升准确率、降低幻觉与推理延迟，相关资源已公开。
2026-08-12 cs.CL cs.CV cs.LG
Developing Decentralised Resilience to Malicious Influence in Collective Perception Problem
University of New South Wales（新南威尔士大学）
在集体决策中，设计只使用局部信息来影响群体行为的算法是一个重要的问题。我们使用了机器学习技术来教会群体成员将他们对环境的局部感知映射到最佳行动。受机器教育方法启发的课程旨在促进这一学习过程，并教授成员在集体感知问题中获得最佳表现所需的技能。我们通过创建一个课程来扩展以前的方法，该课程教授代理对恶意影响的弹性。实验结果表明，设计良好的基于规则的算法可以产生有效的代理。在进行意见融合时，我们通过让代理动态加权收到的意见来实现分散的弹性。我们发现恒定权重和动态权重之间没有显著差异，这表明基于动量的意见融合可能已经是一种弹性机制。
2022-11-06 cs.LG cs.MA
Bridging the Perception Gap: A Lightweight Coarse-to-Fine Architecture for Edge Audio Systems
Duke University（杜克大学）
CoFi-Agent通过工具增强的条件边缘-云协作，在边缘音频系统中实现了更高效的感知与准确性提升。
2026-01-22 cs.LG cs.SD eess.AS
LaMPP: Language Models as Probabilistic Priors for Perception and Action
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
在大型文本语料库上训练的语言模型编码了关于真实世界环境和动作序列的丰富分布信息。这些信息在当前的语言处理任务（如问答和指令生成）中起着至关重要的作用。我们描述了如何利用语言模型的 * 非语言 * 感知和控制任务。我们的方法将标签和决策作为概率图模型中的推理，其中语言模型参数化标签，决策和参数的先验分布，使得有可能以原则性的方式整合不确定的观察和不完整的背景知识。应用于语义分割、家庭导航和活动识别任务，该方法改进了对罕见、分布外和结构新颖的输入的预测。
2023-02-03 cs.CL cs.LG
