CoDA: Agentic Systems for Collaborative Data Visualization
Google Cloud AI Research(谷歌云人工智能研究);University of California, Santa Barbara(加州大学圣巴bara分校)
本文提出多智能体系统 CoDA,通过元数据分析、规划、代码生成与自我反思的协作流程,解决复杂多文件数据可视化中的错误与质量问题,总分最高超过基线 41.5%。
2025-10-03 cs.AI
Agentic Active Omni-Modal Perception for Multi-Hop Audio-Visual Reasoning
Shanghai Jiao Tong University(上海交通大学)
针对多跳音视频推理中证据稀疏且跨模态分布的问题,提出MOV-Bench基准和AOP-Agent代理框架,通过分层全模态记忆与观察-反思-重规划循环实现主动感知,显著提升开源全模态大模型在长视频和推理密集型问题上的性能。
2026-05-27 cs.AI
MMSkills: Towards Multimodal Skills for General Visual Agents
Shanghai Jiao Tong University(上海交通大学);Xiaohongshu Inc.(小红书公司);Southeast University(东南大学)
提出MMSkills框架,通过将多模态程序知识编码为紧凑的状态条件包(包含文本程序、运行时状态卡和多视角关键帧),并利用轨迹到技能生成器和分支加载多模态技能智能体,显著提升GUI和游戏场景下视觉智能体的决策能力。
2026-06-01 cs.AI
GANterfactual-RL: Understanding Reinforcement Learning Agents' Strategies through Visual Counterfactual Explanations
University of Augsburg(奥格斯堡大学);Oregon State University(俄勒冈州立大学)
反事实解释是解释人工智能模型的常用工具。对于强化学习(RL)代理,他们回答“为什么不呢?或者“如果?“的问题,通过说明需要对状态进行什么样的最小改变来使代理选择不同的动作。为具有视觉输入的RL代理生成反事实解释特别具有挑战性,因为它们的状态空间很大,而且它们的决策是总体政策的一部分,其中包括长期决策。然而,专注于反事实解释的研究,特别是对于具有视觉输入的RL代理,是稀缺的,并且没有超越识别有缺陷的代理。目前还不清楚反事实解释是否仍然有助于更复杂的任务,如分析不同代理人的学习策略或为特定任务选择合适的代理人。我们提出了一种新颖但简单的方法,通过将问题描述为域转移问题来生成RL代理的反事实解释,该问题允许使用StarGAN等对抗性学习技术。我们的方法是完全模型不可知的,我们证明,它优于只有以前的方法在几个计算指标。此外,我们在用户研究中表明,我们的方法在分析不同代理追求的策略时表现最好。
2023-02-24 cs.AI cs.LG
PPTBench: Can Coding Agents Reconstruct the Visual World through Structured, Editable Slides
Navers Lab, Einsia.AI(Navers实验室,Einsia.AI);Tsinghua University(清华大学)
PPTBench通过500个基于arXiv论文流程图的可编辑幻灯片重建任务,评估编码智能体的视觉编码能力,发现当前最佳配置Kimi K3得分仅67.80,智能体在语义和视觉细节上仍有不足。
2026-10-01 cs.AI cs.CL
SciVisAgentSkills: Design and Evaluation of Agent Skills for Scientific Data Analysis and Visualization
Univ. Notre Dame(诺丁汉大学);LLNL(劳伦斯利弗莫尔国家实验室)
提出SciVisAgentSkills技能库,通过编码环境假设、工具使用模式和领域启发式知识增强编码智能体,在ParaView等科学工具上实现自然语言驱动的科学可视化工作流,实验表明技能可提升任务得分并影响token效率。
2026-06-04 cs.AI cs.HC
Visual Agentic Memory: Enabling Online Long Video Understanding via Online Indexing, Hierarchical Memory, and Agentic Retrieval
University College London(伦敦大学学院)
本文提出视觉代理记忆框架,通过在线索引、分层记忆和代理检索实现长视频理解,实验显示其在OVO-Bench和MM-Lifelong数据集上均取得优异成绩。
2026-05-15 cs.AI cs.CV
Cognitive Inception: Agentic Reasoning against Visual Deceptions by Injecting Skepticism
CFAR, Agency for Science, Technology and Research (A*STAR), Singapore(科技研究局(A*STAR)认知智能研究所,新加坡);IHPC, Agency for Science, Technology and Research (A*STAR), Singapore(科技研究局(A*STAR)信息处理中心,新加坡);ROSE Lab, School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院ROSE实验室)
本文提出Inception框架,通过注入怀疑提升LLM对视觉欺骗的抵御能力,实现可推广的真伪验证。
2025-11-21 cs.AI
A Visual Communication Map for Multi-Agent Deep Reinforcement Learning
Institute for Intelligent Systems Research and Innovation, Deakin University(迪肯大学智能系统研究与创新研究所);School of Information Technology, Deakin University(迪肯大学信息技术学院)
深度强化学习已成功应用于解决各种现实问题,其在多智能体环境中的应用数量也在不断增加。多智能体学习在分配隐藏的通信介质方面显然提出了重大挑战。代理从介质中接收全面的知识,以确定分布式性质的后续动作。显然,目标是利用多个代理的合作来有效地实现指定的目标。最近的研究通常将专门的神经网络与强化学习结合起来,以实现代理之间的通信。然而,这种方法限制了代理的数量或需要系统的均匀性。在本文中,我们提出了一种更具可扩展性的方法,不仅可以处理大量的代理,还可以实现不同功能代理之间的协作,并与任何深度强化学习方法相结合。具体来说,我们创建了一个全球通信地图来表示系统中的每个代理的状态可视化。视觉地图和环境状态被馈送到共享参数网络以同时训练多个代理。最后,我们选择异步优势演员-评论家(A3 C)算法来证明我们提出的方案,即多智能体的视觉通信映射A3 C(VMA 3C)。仿真结果表明,视觉通信地图的使用提高了A3 C的学习速度,奖励的成就,和多智能体问题的鲁棒性的性能。
2021-02-23 cs.AI cs.GT cs.LG
M$^3$-ACE: Rectifying Visual Perception in Multimodal Math Reasoning via Multi-Agentic Context Engineering
M3-ACE 通过多智能体上下文工程校正多模态数学推理中的视觉感知问题,提升推理性能。
2026-03-09 cs.AI
VISOR: Agentic Visual Retrieval-Augmented Generation via Iterative Search and Over-horizon Reasoning
Soochow University(苏州大学);Baidu Inc.(百度公司)
VISOR通过结构化证据空间和动态轨迹机制解决多步推理中的视觉证据稀疏和搜索漂移问题,实现高效长视距视觉推理。
2026-08-19 cs.AI cs.CV
Autonomous Agent for Beyond Visual Range Air Combat: A Deep Reinforcement Learning Approach
Institute for Advanced Studies(高等研究院);Aeronautics Institute of Technology(航空技术学院)
本文提出一种基于深度强化学习的超视距空战自主智能体,通过作战指标奖励和自博弈生成新战术,并计划与真实飞行员在虚拟仿真中对比表现,以提升防空任务训练效果。
2023-04-19 cs.AI cs.RO
Can Coding Agents Solve Repository-Level Issues with Rendered Code? An Exploratory Study of Visual Representations
The Hong Kong University of Science and Technology(香港科技大学);ByteDance(字节跳动)
本研究探索将渲染代码作为编码智能体的操作上下文,基于 SWE-bench Verified 实验发现其可降低提示 token 成本但受模型架构限制,仅在原始代码读取为瓶颈时有用,是可行但有条件的压缩机制。
2026-08-11 cs.AI cs.HC
Do Autonomous Agents Benefit from Hearing?
University of Eastern Finland(东芬兰大学)
深度强化学习中的状态到动作的映射主要基于视觉信息。处理视觉信息的常用方法是从图像中提取像素并将其用作强化学习代理的状态表示。但是,任何仅视觉的代理都由于不能感知听觉线索而受到阻碍。通过听觉,动物能够感知到它们视觉范围之外的目标。在这项工作中,我们提出了使用音频作为补充信息,视觉只在状态表示。我们评估了这种多模态设置在ViZDoom环境中实现目标任务的影响。结果表明,当视觉信息伴随音频特征时,智能体的行为得到改善。
2019-05-10 cs.AI cs.LG cs.SD
VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents
Mazelone(马泽隆)
研究针对视觉丰富的长文档问答的多模态检索增强生成,提出VLD-RAG框架,构建多模态索引并采用混合检索策略,经智能体工作流程协调,在相关基准上提升了证据页面检索及问答表现,凸显协调验证与混合检索的重要性。
2026-07-29 cs.AI cs.CL cs.IR
Learning Cooperative Visual Dialog Agents with Deep Reinforcement Learning
Georgia Institute of Technology(佐治亚理工学院);Carnegie Mellon University(卡内基梅隆大学);Virginia Tech(弗吉尼亚理工大学)
我们介绍了第一个目标驱动的培训视觉问答和对话代理。具体来说,我们提出了一个合作的“图像猜测”游戏之间的两个代理- Qbot和Qubot-谁沟通的自然语言对话,使Qbot可以选择一个看不见的图像从一系列的图像。我们使用深度强化学习(RL)来学习这些代理端到端的策略-从像素到多代理多轮对话再到游戏奖励。我们展示了两个实验结果。首先,作为纯RL(从头开始)的“健全性检查”演示,我们展示了合成世界的结果,其中代理在未接地词汇中进行通信,即,没有预先指定含义的符号(X,Y,Z)。我们发现两个机器人发明了自己的通信协议,并开始使用某些符号来询问/回答某些视觉属性(形状/颜色/样式)。因此,我们证明了接地的语言和沟通之间的“视觉”对话代理没有人的监督。其次,我们在VisDial数据集上进行了大规模的真实图像实验,在那里我们用监督对话数据进行了预训练,并表明RL“微调”代理的性能显着优于SL代理。有趣的是,RL Qbot学会了问一些RBT擅长的问题,最终产生了更多信息的对话和更好的团队。
2017-03-21 cs.AI cs.CL cs.CV
Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning
University of Chinese Academy of Sciences(中国科学院大学);Tencent Hunyuan(腾讯文脉);University of Konstanz(康斯坦茨大学);National Cheng-Kung University(国立成功大学)
本文提出基于模式的代理推理框架,实现视觉隐喻转移,通过多代理协作提升隐喻生成的抽象逻辑与视觉创造力。
2026-08-31 cs.AI cs.CV
If you're waiting for a sign... that might not be it! Mitigating Trust Boundary Confusion from Visual Injections on Vision-Language Agentic Systems
University of New South Wales(新南威尔士大学);CSIRO’s Data61(澳大利亚联邦科学与工业研究组织数据61部门);Macquarie University(麦考瑞大学)
研究探讨了视觉注入对视觉语言代理系统信任边界的影响,通过双意图数据集和评估框架发现现有模型在平衡合法信号与误导信号方面存在不足,提出多代理防御框架以提升系统鲁棒性。
2026-04-21 cs.AI cs.CV
ViMax: Agentic Video Generation
The University of Hong Kong(香港大学);South China University of Technology(华南理工大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
提出ViMax框架,通过多智能体协作实现长视频生成,利用分层叙事引擎和视觉一致性机制,保证叙事连贯性和视觉一致性。
2026-07-22 cs.AI cs.CV
Visual Agentic Reinforcement Fine-Tuning
Shanghai Jiaotong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Wuhan University(武汉大学)
本研究提出视觉智能体强化微调方法Visual-ARFT,赋予开源大型视觉语言模型网页搜索、图像操作编码等多模态智能体能力,同时推出对应基准MAT,实验显示其性能超越基线与GPT-4o,且泛化性优异。
2025-05-20 cs.AI cs.CV
Visualizing the World Model in an Agent's Value Function
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究通过反事实干预探究Proximal Policy Optimization智能体的价值函数是否形成Crafter环境的世界模型,发现其价值函数学习到环境相关概念,并探讨了安全意义与当前强化学习智能体的缺陷。
2026-10-14 cs.AI cs.LG
Waking Up Blind: Cold-Start Optimization of Supervision-Free Agentic Trajectories for Grounded Visual Perception
Indian Institute of Technology Delhi(印度理工学院德里);Indian Institute of Technology Abu Dhabi(印度理工学院阿布扎比);Microsoft Research(微软研究院)
本文提出SPECTRA框架,通过冷启动强化学习提升小视觉语言模型的视觉鲁棒性和工具协调能力,无需监督即可提高任务准确性和工具效率。
2026-04-19 cs.AI cs.CL cs.LG
VPI-Bench: Visual Prompt Injection Attacks for Computer-Use Agents
National University of Singapore(国立新加坡大学);Cyber Emerging Tech and R&D Co(网络安全与研发公司)
本文提出VPI-Bench基准,用于评估计算机使用代理和浏览器使用代理在视觉提示注入攻击下的鲁棒性,发现当前代理在某些平台上被欺骗率达51%和100%。
2026-03-01 cs.AI cs.CR
Learning how to learn: an adaptive dialogue agent for incrementally learning visually grounded word meanings
Interaction Lab(交互实验室);Heriot-Watt University(赫瑞瓦特大学)
我们提出了一种优化的多模态对话代理,用于从人类导师交互式学习视觉接地词义,在真实的人-人辅导数据上进行训练。在终身交互学习期间,使用强化学习(RL)训练的智能体必须能够处理与人类用户的自然对话,并实现良好的学习性能(准确性),同时最大限度地减少学习过程中的人工努力。我们训练和评估这个系统的互动与模拟人类导师,这是建立在BURCHAK语料库-一个人与人的对话数据集的视觉学习任务。结果表明:1)学习的策略可以与模拟用户进行一致的交互,以实现任务的目标(即学习对象的视觉属性,例如颜色和形状); 2)它在分类器准确性和辅导成本之间找到了比手工制作的基于规则的策略(包括具有动态策略的策略)更好的权衡。
2017-09-29 cs.AI cs.CL cs.LG
HiLSVA: Design and Evaluation of a Human-in-the-Loop Agentic System for Scientific Visualization
Department of Computer Science and Engineering, University of Notre Dame(Notre Dame 大学计算机科学与工程系)
提出HiLSVA,一种人机协同智能系统,通过计划优先的多智能体架构、显式人类监督和逐步溯源,支持混合主动的科学可视化工作流,增强而非替代人类分析推理。
2026-07-20 cs.AI cs.GR cs.HC
Commonsense Spatial Reasoning for Visually Intelligent Agents
Knowledge Media Institute, The Open University(开放大学知识媒体研究所)
服务机器人有望可靠地理解复杂、快速变化的环境。从认知的角度来看,他们需要适当的推理能力和背景知识,以表现出类似人类的视觉智能。特别是,我们以前的工作已经表明,在世界上的对象之间的空间关系的原因的能力是视觉智能代理的发展的一个关键要求。在本文中,我们提出了一个常识空间推理的框架,这是针对现实世界的机器人应用。从以前的定性空间推理方法,所提出的框架是强大的机器人的观点和对象方向的变化。该框架中的空间关系也映射到用于描述英语中典型对象配置的常识谓词类型。此外,我们还展示了如何在具体的空间数据库中实现这个正式定义的框架。
2021-04-01 cs.AI cs.CV cs.RO
OpenWebRL: Demystifying Online Multi-turn Reinforcement Learning for Visual Web Agents
UIUC(伊利诺伊大学香槟分校);Microsoft(微软)
提出OpenWebRL框架,通过在线多轮强化学习在真实网站上训练视觉网络代理,以4B参数模型在基准测试中达到开源最优,并与闭源系统竞争。
2026-06-04 cs.AI cs.CL cs.CV
ATLAS: Agentic or Latent Visual Reasoning? One Word is Enough for Both
Meta AI;The Chinese University of Hong Kong(香港中文大学)
ATLAS结合代理推理与潜在推理,通过单一功能词实现两者结合,避免冗长中间视觉生成,保持与传统训练方法兼容。
2026-05-14 cs.AI cs.CL cs.CV
Visual Curiosity: Learning to Ask Questions to Learn Visual Recognition
Georgia Institute of Technology(佐治亚理工学院);Facebook AI Research(Facebook人工智能研究院)
在开放世界的环境中,智能代理(例如,机器人)将遇到它不能识别的视觉对象、属性或关系。在这项工作中,我们开发了一个具有视觉好奇心的代理,即向Oracle提问的能力(例如,人类)关于图像中的内容(例如,红色立方体左边的物体是什么?)并基于接收到的答案建立视觉识别模型(例如,Cylinder)。为了做到这一点,代理必须(1)理解它识别什么和它不识别什么,(2)制定一个有效的,明确的和信息丰富的语言查询(一个问题)来询问Oracle,(3)从Oracle响应中导出视觉分类器的参数,以及(4)利用更新的视觉分类器来提出更明确的问题。具体来说,我们提出了一个新的框架,并制定了学习的视觉好奇心作为一个强化学习问题。在这个框架中,我们的代理的所有组件,视觉识别模块(看),问题生成策略(问),答案消化模块(理解)和图形记忆模块(记忆),都是完全端到端学习的,以最大限度地提高代理与Oracle对话后从场景图中获得的奖励。重要的是,问题生成策略从视觉识别系统和环境的细节中解脱出来。因此,我们证明了一种双重概括。我们的问题生成策略推广到新的环境和一双新的眼睛,即,新的视觉系统在合成数据集上进行训练,我们的结果表明,我们的智能体学习新的视觉概念的速度明显快于几个启发式基线,即使在具有新对象的合成环境以及现实环境中进行测试。
2018-10-01 cs.AI cs.CV cs.LG
A Framework for Understanding and Visualizing Strategies of RL Agents
SRI International(SRI国际研究所)
近年来,随着对人工智能中信任和道德的日益重视,理解深度学习模型的需求变得越来越重要,因此可解释人工智能取得了重大进展。顺序决策任务的可理解模型是一个特殊的挑战,因为它们不仅需要理解单个预测,还需要理解与环境动态相互作用的一系列预测。我们提出了一个框架,学习可理解的模型,顺序决策任务,代理策略的特点是使用时序逻辑公式。给定一组代理轨迹,我们首先使用一种新颖的嵌入方法对轨迹进行聚类,该方法可以捕获频繁的动作模式。然后,我们寻找逻辑公式,解释代理策略在不同的集群。我们评估我们的框架在星际争霸2(SC2)的战斗场景,使用手工制作的专家政策和训练有素的强化学习代理的痕迹。我们实现了一个功能提取器SC2环境中提取的痕迹作为一系列的高层次的功能,描述了环境的状态和代理的本地行为从代理重放。我们进一步设计了一个可视化工具,描述了环境中单元的运动,有助于理解不同的任务条件如何导致每个跟踪集群中不同的代理行为模式。实验结果表明,我们的框架是能够分离代理痕迹到不同的行为组,我们的策略推理方法产生一致的,有意义的,易于理解的策略描述。
2022-08-17 cs.AI cs.HC cs.LG
AVLEN: Audio-Visual-Language Embodied Navigation in 3D Environments
University of California, Riverside(加州大学河滨分校);Mitsubishi Electric Research Labs(三菱电机研究实验室)
近年来,嵌入式视觉导航在两个不同的方向上取得了进展:(i)装备人工智能智能体以遵循自然语言指令,以及(ii)使可导航的世界多模态,例如,视听导航然而,现实世界不仅是多模态的,而且往往是复杂的,因此,尽管有这些进步,代理人仍然需要了解他们的行动中的不确定性,并寻求指导导航。为此,我们提出了AVLEN~ --一个交互式的视听语言具身导航代理。与视听导航任务类似,我们的具体代理的目标是通过导航3D视觉世界来本地化音频事件;然而,代理也可以寻求人类(Oracle)的帮助,其中以自由形式的自然语言提供帮助。为了实现这些能力,AVLEN使用多模态分层强化学习主干,该主干学习:(a)选择用于导航的音频线索或查询oracle的高级策略,以及(b)基于其视听和语言输入选择导航动作的低级策略。通过对导航任务的成功进行奖励来训练策略,同时最大限度地减少对oracle的查询次数。为了实证评估AVLEN,我们提出了语义视听导航任务的SoundSpaces框架上的实验。我们的研究结果表明,装备代理请求帮助导致性能的明显改善,特别是在具有挑战性的情况下,例如,当在训练期间或在干扰物声音存在的情况下听不到声音时。
2022-10-14 cs.AI cs.CL cs.CV
A Pattern Language for Resilient Visual Agents
本文提出一种模式语言,用于在企业生态系统中整合多模态基础模型,平衡视觉语言动作模型的延迟与非确定性与企业控制循环的严格确定性和实时性要求。
2026-04-30 cs.AI cs.SE
CUA-SWE: When Computer-Use Agents Meet Visual Software Engineering
CUA-SWE提出一个基准、环境和评估流程,研究计算机使用智能体在仅通过运行软件视觉界面获取信息时,如何结合源码执行与GUI交互完成软件工程任务,并通过确定性测试验证修复。
2026-09-29 cs.AI cs.SE
Vision2Web: A Hierarchical Benchmark for Visual Website Development with Agent Verification
Tsinghua University(清华大学)
本文提出Vision2Web基准,用于评估视觉网站开发能力,包含193个任务和16类,通过GUI代理验证器和基于VLM的裁判器评估多个视觉语言模型,揭示了在全栈开发中现有模型的性能差距。
2026-07-21 cs.AI cs.SE
Semantic Tracklets: An Object-Centric Representation for Visual Multi-Agent Reinforcement Learning
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
解决复杂的现实任务,例如,自主舰队控制通常涉及多个代理的协调团队,其通过强化学习从视觉输入学习策略。然而,许多现有的多智能体强化学习(MARL)算法不能扩展到智能体对视觉输入进行操作的环境。为了解决这个问题,在算法上,最近的工作集中在非平稳性和探索。相比之下,我们研究是否也可以通过解开表示实现可扩展性。为此,我们显式地构建了一个以对象为中心的中间表示来表征环境的状态,我们称之为“语义tracklet”。我们评估的视觉多智能体粒子环境(VMPE)和具有挑战性的视觉多智能体GFootball环境的“语义tracklets”。“语义tracklets”在VMPE上的表现一直优于基线,并在GFootball上比基线高出+2.4分。值得注意的是,该方法是第一个仅使用视觉数据在GFootball环境中成功学习五名球员的策略的方法。
2021-08-06 cs.AI
Visual-Seeker: Towards Visual-Native Multimodal Agentic Search via Active Visual Reasoning
School of Artificial Intelligence UCAS(中国科学院大学人工智能学院);Institute of Automation CAS(中国科学院自动化研究所);Ant Digital Technologies Ant Group(蚂蚁数字科技蚂蚁集团);RUC(中国人民大学);BIT(北京理工大学)
提出Visual-Seeker,一种通过主动视觉推理进行视觉原生多模态深度搜索的智能体,在五个基准上达到最先进性能,甚至超越专有模型。
2026-06-16 cs.AI
Multi-Agent Embodied Visual Semantic Navigation with Scene Prior Knowledge
Tsinghua University(清华大学)
在视觉语义导航中,机器人以自我为中心的视觉观察导航到目标对象,并给出目标的类别标签。这是一项有意义的任务,激发了相关研究的热潮。然而,现有的模型大多只对单个智能体导航有效,单个智能体在完成较复杂任务时效率低、容错能力差。多智能体协作可以提高系统的效率,具有很强的应用潜力。在本文中,我们提出了多智能体视觉语义导航,其中多个智能体与其他合作,以找到多个目标对象。这是一个具有挑战性的任务,需要智能体学习合理的合作策略,在通信带宽的限制下进行有效的探索。我们开发了一个层次化的决策框架,基于语义映射,场景先验知识,和通信机制来解决这个任务。在未知场景和已知场景下的实验结果表明,该模型比单智能体模型具有更高的准确性和效率。
2021-09-20 cs.AI
AgentLens: Adaptive Visual Modalities for Human-Agent Interaction in Mobile GUI Agents
Sungkyunkwan University (SKKU)(成均馆大学)
本文提出AgentLens,一种自适应使用三种视觉模态的移动GUI代理,通过混合实时视觉交互提升人机交互的透明度与多任务处理能力,实验显示其在可用性和用户接受度上表现优异。
2026-09-09 cs.AI cs.HC cs.MA
Med-VRAgent: A Framework for Medical Visual Reasoning-Enhanced Agents
针对医疗视觉推理中VLM存在的幻觉、定位差等问题,提出基于视觉引导、自奖励和MCTS的Med-VRAgent框架,结合轨迹反馈与PPO微调提升性能,在多个医疗VQA基准上超越现有方法。
2025-10-21 cs.AI
InsightSee: Advancing Multi-agent Vision-Language Models for Enhanced Visual Understanding
Academy for Engineering and Technology, Fudan University(复旦大学工程技术学院)
本文提出多智能体框架InsightSee,通过描述、推理和决策智能体协同优化视觉信息解释,有效提升了视觉语言模型在复杂场景下的视觉理解能力,并在9项基准测试的6项中超越现有算法。
2024-05-31 cs.AI cs.CV
PlotGen: Multi-Agent LLM-based Scientific Data Visualization via Multimodal Feedback
Adobe Research(奥多比研究院)
本文提出多智能体框架PlotGen,通过查询规划、代码生成及多模态检索反馈智能体,自动迭代优化科学数据可视化的准确性、标签和视觉效果,在MatPlotBench上提升4-6%,减少调试时间并增强用户信任。
2025-02-03 cs.AI cs.CL
AgentLens: Visual Analysis for Agent Behaviors in LLM-based Autonomous Systems
本文提出可视化分析系统AgentLens,通过构建行为结构、行为摘要算法和原因追踪方法,帮助用户交互式探索基于LLM的自主系统中智能体行为的演化、细节与因果关系。
2024-02-14 cs.AI cs.HC
Collaborative Memory for Multi-Agent VLM Systems
Texas A&M University(德克萨斯A&M大学);Duke University(杜克大学);Foxconn(富士康);Northeastern University(东北大学);Harvard University(哈佛大学);Meta
本文提出协作记忆框架,通过记忆层次、跨智能体共享和一致性机制,解决多智能体VLM系统中共享视觉上下文与协调解释的问题,为构建可靠高效的智能体团队奠定基础。
2026-09-21 cs.AI
Emergent Communication between Heterogeneous Visual Agents through Decentralized Learning
Graduate School of Informatics, Kyoto University(京都大学信息科学研究生院)
本文研究异质视觉智能体通过去中心化学习实现的涌现通信,探讨不同视觉表示下可共享的视觉信息,通过Metropolis-Hastings Captioning Game验证共享符号的生成机制,发现编码器异质性影响共享序列的质量与对称性。
2026-05-12 cs.AI cs.CV
Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution
VLM Run Research(VLM Run研究)
Orion通过整合视觉推理与工具增强执行,实现了多模态感知、高级视觉推理与执行的统一,提升多步骤视觉智能性能。
2025-11-19 cs.AI cs.CV cs.LG
How do Visual Attributes Influence Web Agents? A Comprehensive Evaluation of User Interface Design Factors
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Columbia University(哥伦比亚大学);University of California San Diego(加州大学圣地亚哥分校)
本文提出VAF框架,通过系统评估视觉属性对网络代理决策的影响,发现背景颜色对比、项目大小等属性对代理行为有显著影响。
2026-02-27 cs.AI cs.HC
Active collaboration in relative observation for Multi-agent visual SLAM based on Deep Q Network
Harbin Institute of Technology(哈尔滨工业大学)
提出了一种独特的多智能体同时定位与地图构建(SLAM)主动相对定位机制,该机制将被观测智能体视为一个任务,由其他智能体通过相对观测辅助该智能体完成任务。针对该机制提出了一种基于深度强化学习的任务分配算法。每个代理可以选择是否本地化其他代理或继续独立的SLAM自己的主动权。通过这种方式,每个代理SLAM的过程将通过协作进行交互。首先,根据ORBSLAM的特点,得到了一个唯一的观测函数来描述整个MAS。其次,提出了一种新型的深度Q网络MAS-DQN,用于学习Q值与状态-动作对之间的对应关系,在Agent之间的协作过程中学习MAS中Agent的抽象表示。最后,每个代理必须根据MAS-DQN以一定的自由度行动。仿真对比实验结果表明,该机制提高了多智能体SLAM过程中的协作效率。
2019-09-23 cs.AI
Scaling GUI Agents with Visual State Transitions
NUS(新加坡国立大学);Sea AI Lab(Sea人工智能实验室);UTS(悉尼科技大学);University of Liverpool(利物浦大学)
研究通过状态转换预训练扩展 GUI 智能体,联合优化逆动力学和正向动力学预训练统一多模态模型,在桌面和移动 GUI 场景基准测试中优于基线,联合动力学优化有稳定改进,下游性能随转换数据量提升。
2026-07-28 cs.AI
VisualTrap: A Stealthy Backdoor Attack on GUI Agents via Visual Grounding Manipulation
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);East China University of Science and Technology(东华大学)
针对GUI智能体的视觉定位漏洞,提出VisualTrap后门攻击方法,通过少量中毒数据隐蔽劫持定位,且攻击可泛化至下游任务和不同环境。
2025-09-24 cs.AI cs.CL
VIA: Visual Interface Agent for Robot Control
Stanford University(斯坦福大学)
研究探索能否用基础模型通过视觉接口控制机器人,提出 VIA 框架,将机器人控制转为代理任务,该框架无需特定微调及特权信息,能零样本解决多种桌面操作任务,凭借基础模型能力提升取得高成功率,证明前沿代理技能可借合适接口用于机器人控制。
2026-10-08 cs.AI cs.RO
GAM-Agent: Game-Theoretic and Uncertainty-Aware Collaboration for Complex Visual Reasoning
Sun Yat-sen University(中山大学);Princeton University(普林斯顿大学);Snap Inc.(Snap公司)
该研究提出GAM-Agent博弈论多智能体框架,通过基础感知智能体与关键验证智能体的非零和博弈及不确定性感知协作,在四个视觉推理基准上显著提升了中小及强规模VLM的性能,为可靠可解释多模态推理提供了新路径。
2026-08-12 cs.AI
Navigating the Digital World as Humans Do: Universal Visual Grounding for GUI Agents
The Ohio State University(俄亥俄州立大学);Orby AI(Orby人工智能)
针对现有GUI智能体依赖文本表示存在噪声、开销高的问题,研究提出类人视觉感知方案,构建大规模数据集训练UGround通用视觉定位模型,实验证明其性能显著优于现有模型及最优智能体,验证了纯视觉GUI智能体的可行性。
2025-06-17 cs.AI cs.CL cs.CV
Goal-Directed Design Agents: Integrating Visual Imitation with One-Step Lookahead Optimization for Generative Design
Carnegie Mellon University(卡内基梅隆大学);The Pennsylvania State University(宾夕法尼亚州立大学)
工程设计问题通常涉及大的状态和动作空间以及高度稀疏的奖励。由于对这些空间的穷举搜索是不可行的,因此人类利用相关领域知识来压缩搜索空间。之前,引入了深度学习代理(DLASTIC),以使用视觉模仿学习来对设计领域知识进行建模。本说明建立在DLASTRUCTURE,并将其与一步前瞻搜索相结合,以开发能够增强顺序生成设计的学习策略的目标导向代理。目标导向的DLABLOG可以采用从数据中学习的人类策略以及优化目标函数。来自DLAtron的视觉模仿网络由卷积编码器-解码器网络组成,充当对反馈不可知的粗略规划步骤。同时,前瞻搜索确定微调的设计行动的指导下的目标。这些设计代理接受无约束桁架设计问题的训练,该问题被建模为顺序的、基于动作的配置设计问题。然后,对两个版本的问题的代理进行评估:用于训练的原始版本和一个看不见的约束版本与一个受阻的建设空间。目标导向的代理优于人类设计师用于训练网络以及以前的目标不可知版本的代理在这两种情况下。这说明了一个设计代理框架,可以有效地使用反馈,不仅提高了学习的设计策略,但也适应看不见的设计问题。
2021-10-07 cs.AI
Maria: A Visual Experience Powered Conversational Agent
Sun Yat-sen University(中山大学);Microsoft(微软)
可以说,会话智能体对物理世界的视觉感知是它们展现类人智能的关键途径。基于图像的对话因此被提出来应对这一挑战。现有的作品集中在探索多模态对话模型,地面上的对话一个给定的图像。在本文中,我们进一步研究图像为基础的对话在一个完全开放的设置下,没有配对的对话和图像是假设可用的。具体来说,我们提出了玛丽亚,神经会话代理的视觉世界的经验,从大规模的图像索引检索。玛丽亚由三个灵活的组成部分,即,文本到图像检索器、视觉概念检测器和基于视觉知识的响应生成器。检索器的目标是从图像索引中检索与对话相关的图像,而视觉概念检测器从图像中提取丰富的视觉知识。然后,响应生成器基于所提取的视觉知识和对话上下文来生成目标响应。大量的实验表明,Maria在自动度量和人工评估方面优于以前的最先进方法,并且可以生成具有物理世界视觉常识的信息响应。
2021-06-23 cs.AI cs.CL