多模态大模型

UI-Voyager: A Self-Evolving GUI Agent Learning via Failed Experience

UI-Voyager：一种通过失败经验自我进化的GUI代理学习

Zichuan Lin, Feiyu Liu, Yijun Yang, Jiafei Lyu, Yiming Gao, Yicheng Liu, Zhicong Lu, Yangbin Yu, Mingyu Yang, Junyou Li, Deheng Ye, Jie Jiang

机构 * Tencent（腾讯） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UI-Voyager，一种两阶段自我进化的移动GUI代理，通过拒绝微调和组相对自蒸馏提升GUI任务的效率和性能，实验显示其在AndroidWorld上达到81.0%的Pass@1成功率。

Comments Code and models are available at https://github.com/ui-voyager/UI-Voyager

PhotoAgent: A Robotic Photographer with Spatial and Aesthetic Understanding

PhotoAgent：一种具有空间与审美理解的机器人摄影师

Lirong Che, Zhenfeng Gan, Yanbo Chen, Junbo Tan, Xueqian Wang

机构 * Center for Artificial Intelligence and Robotics, Shenzhen International Graduate School, Tsinghua University（人工智能与机器人中心，深圳国际研究生院，清华大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 PhotoAgent通过整合大多模态模型与新型控制范式，将主观审美目标转化为几何约束，利用内部视觉模拟实现快速收敛于高质量图像结果。

Comments Accepted to the IEEE International Conference on Robotics and Automation (ICRA) 2026

Your Robot Will Feel You Now: Empathy in Robots and Embodied Agents

你的机器人将能感知你：机器人与具身代理中的共情

Angelica Lim, Ö. Nilay Yalçin

机构 * School of Computing Science, Simon Fraser University（计算科学学院，西蒙弗雷泽大学） ； School of Interactive Arts and Technology, Simon Fraser University（交互艺术与技术学院，西蒙弗雷泽大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了人类机器人交互和具身对话代理领域中共情行为和模型的研究，探讨如何将这些经验应用于当今基于语言的代理系统。

Comments Accepted manuscript. Chapter in "Empathy and Artificial Intelligence: Challenges, Advances and Ethical Considerations" edited by Anat Perry; C. Daryl Cameron

Kestrel: Grounding Self-Refinement for LVLM Hallucination Mitigation

Kestrel: 为降低LVLM幻觉而引入自反思

Jiawei Mao, Hardy Chen, Haoqin Tu, Yuhan Wang, Letian Zhang, Zeyu Zheng, Huaxiu Yao, Zirui Wang, Cihang Xie, Yuyin Zhou

机构 * UC Santa Cruz（加州大学圣克ruz分校） ； UC Berkeley（加州大学伯克利分校） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校） ； Apple（苹果公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Kestrel提出一种无需训练的框架，通过显式视觉 grounding 与证据验证自反思机制减少LVLM幻觉，实验显示在POPE和MME-Hallucination基准上性能提升，同时提供透明的验证轨迹。

Comments 16 pages, 11 figures, 5 tables

HomeSafe-Bench: Evaluating Vision-Language Models on Unsafe Action Detection for Embodied Agents in Household Scenarios

HomeSafe-Bench：评估视觉-语言模型在家庭场景中对不安全行为检测的性能

Jiayue Pu, Zhongxiang Sun, Zilu Zhang, Xiao Zhang, Jun Xu

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HomeSafe-Bench，用于评估视觉-语言模型在家庭场景中检测不安全行为的能力，同时引入HD-Guard架构提升实时安全监控效率与准确性。

Adaptive Vision-Language Model Routing for Computer Use Agents

自适应视觉-语言模型路由用于计算机使用代理

Xunzhuo Liu, Bowei He, Xue Liu, Andy Luo, Haichen Zhang, Huamin Chen

机构 * vLLM Semantic Router Project（vLLM语义路由项目） ； MBZUAI ； McGill University（麦吉尔大学） ； AMD ； Red Hat（红帽公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文提出自适应VLM路由框架，通过动态选择模型降低推理成本，同时保持可靠性。在ScreenSpot-Pro数据集和OpenClaw基准测试中，AVR实现了高达78%的推理成本降低，并结合视觉困惑代理机制提升安全性。

One Supervisor, Many Modalities: Adaptive Tool Orchestration for Autonomous Queries

一个监督者，多种模态：面向自主查询的自适应工具协调

Mayank Saini, Arit Kumar Bishwas

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出一个代理AI框架，通过动态分解用户查询并分配任务给不同模态的工具，提升多模态查询处理效率，实验显示在15类任务中准确回答时间减少72%，对话重做减少85%，成本降低67%。

Comments 19 pages, 3 figures; v2: corrected author metadata

Robotic Ultrasound Makes CBCT Alive

机器人超声使CBCT活起来

Feng Li, Ziyuan Li, Zhongliang Jiang, Nassir Navab, Yuan Bi

机构 * Chair for Computer-Aided Medical Procedures and Augmented Reality, Technical University of Munich（计算机辅助医学程序与增强现实 chair，慕尼黑技术大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； The University of Hong Kong（香港大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 利用机器人超声实现动态CBCT更新，通过实时估计组织变形提升手术导航精度

Comments 10 pages, 4 figures

TikArt: Stabilizing Aperture-Guided Fine-Grained Visual Reasoning with Reinforcement Learning

TikArt: 通过强化学习稳定引导孔细粒度视觉推理

Hao Ding, Zhichuan Yang, Weijie Ge, Ziqin Gao, Chaoyi Lu, Lei Zhao

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 TikArt通过强化学习引导孔机制提升细粒度视觉推理，结合语言推理与Zoom、Segment操作，实现多模态证据获取与持久记忆。

InsightX Agent: An LMM-based Agentic Framework with Integrated Tools for Reliable X-ray NDT Analysis

InsightX Agent: 一种基于LMM的智能框架，集成工具用于可靠X射线无损检测分析

Jiale Liu, Huan Wang, Yue Zhang, Xiaoyu Luo, Jiaxiang Hu, Zhiliang Liu, Min Xie

机构 * School of Physics and Astronomy, The University of Edinburgh（物理学与天文学学院，爱丁堡大学） ； Glasgow College, University of Electronic Science and Technology of China（电子科技大学成都学院） ； School of Mechanical and Electrical Engineering, University of Electronic Science and Technology of China（机械与电子工程学院，电子科技大学） ； Department of Systems Engineering, City University of Hong Kong（系统工程系，香港城市大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 InsightX Agent基于LMM构建智能框架，集成工具提升X射线检测的可靠性与可解释性，实现主动推理与高质量分析。

CT-Flow: Orchestrating CT Interpretation Workflow with Model Context Protocol Servers

CT-Flow: 通过模型上下文协议服务器协调CT解释工作流

Yannian Gu, Xizhuo Zhang, Linjie Mu, Yongrui Yu, Zhongzhen Huang, Shaoting Zhang, Xiaofan Zhang

机构 * Qing Yuan Research Institute, Shanghai Jiao Tong University, Shanghai, China（清元研究院，上海交通大学，上海，中国） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院，上海，中国） ； Sensetime Research, Shanghai, China（senseTime研究院，上海，中国） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 CT-Flow通过模型上下文协议实现3D CT解释工作流的动态协调，提升诊断准确性和工具调用效率。

Comments submitting to ACL 2026

REDSearcher: A Scalable and Cost-Efficient Framework for Long-Horizon Search Agents

REDSearcher: 一种可扩展且成本效益高的长周期搜索智能体框架

Zheng Chu, Xiao Wang, Jack Hong, Huiming Fan, Yuqi Huang, Yue Yang, Guohai Xu, Chenxiao Zhao, Cheng Xiang, Shengchao Hu, Dongdong Kuang, Ming Liu, Bing Qin, Xing Yu

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 REDSearcher提出一种统一框架，通过任务合成、中期训练和后期训练优化长周期搜索智能体，实现高效且低成本的搜索任务解决。

Comments https://redsearchagent.github.io/index/

MedSAM-Agent: Empowering Interactive Medical Image Segmentation with Multi-turn Agentic Reinforcement Learning

MedSAM-Agent: 通过多轮代理强化学习赋能交互式医学图像分割

Shengyuan Liu, Liuxin Bao, Qi Yang, Wanting Geng, Boyun Zheng, Chenxin Li, Wenting Chen, Houwen Peng, Yixuan Yuan

机构 * Chinese University of Hong Kong, Hong Kong SAR, China（香港中文大学） ； Hunyuan Group, Tencent（腾讯洪音集团） ； Institute of Automation, the Chinese Academy of Sciences, Beijing, China（中国科学院自动化研究所） ； Dalian University of Technology, Dalian, China（大连理工大学） ； Stanford University, Stanford, USA（斯坦福大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 MedSAM-Agent通过多轮代理强化学习提升医学图像分割的交互效率与准确性

Comments 23 Pages, 4 Figures

Experience-Driven Multi-Agent Systems Are Training-free Context-aware Earth Observers

基于经验的多智能体系统是无需训练的上下文感知地球观测者

Pengyu Dai, Weihao Xuan, Junjue Wang, Hongruixuan Chen, Jian Song, Yafei Ou, Naoto Yokoya

机构 * The University of Tokyo（东京大学） ； RIKEN AIP（日本理化学研究所AIP） ； Hokkaido University（北海道大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 GeoEvolver通过结构化交互使LLM代理无需训练即可获得地球观测专业知识，提升复杂任务的成功率。

Comments 21 pages, 6 figures

Rank-and-Reason: Multi-Agent Collaboration Accelerates Zero-Shot Protein Mutation Prediction

Rank-and-Reason: 多智能体协作加速零样本蛋白质突变预测

Yang Tan, Yuanxi Yu, Can Wu, Bozitao Zhong, Mingchen Li, Guisheng Fan, Jiankang Zhu, Yafeng Liang, Nanqing Dong, Liang Hong

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institute（上海创新研究院） ； Southern University of Science（南方大学（科学）） ； East China University of Science and Technology（东中国科学与技术大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CL、cs.AI

AI总结 Rank-and-Reason通过多智能体协作提升零样本蛋白质突变预测的准确性与效率，显著提高湿实验验证的成功率。

Comments 22 pages, 5 figures, 15 tables

Learning to Communicate Across Modalities: Perceptual Heterogeneity in Multi-Agent Systems

在多智能体系统中学习跨模态交流：感知异质性

Naomi Pitzer, Daniela Mihai

机构 * University of Southampton（索姆塞特大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 研究通过异质多模态交流游戏探讨智能体在感知异质性下的交流机制，发现单模态系统更高效，多模态系统需更多信息交换，位扰动实验揭示了意义的分布编码特性。

Comments To be published in EvoLang XVI proceedings. 15 pages, 17 figures

Evaluating Novelty in AI-Generated Research Plans Using Multi-Workflow LLM Pipelines

利用多工作流LLM管道评估AI生成的研究计划新颖性

Devesh Saraogi, Rohit Singhee, Dhruv Kumar

机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学学院，皮兰迪） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 本文通过多工作流LLM管道评估AI生成研究计划的新颖性，发现递归分解和长上下文工作流在新颖性和可行性方面表现更优。

Comments Under Review

BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents

BackdoorAgent: 一个统一框架用于针对基于LLM的代理的后门攻击

Yunhao Feng, Yige Li, Yutao Wu, Yingshui Tan, Yanming Guo, Yifan Ding, Kun Zhai, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Singapore Management University（新加坡管理大学） ； Alibaba Group（阿里巴巴集团） ； Deakin University（德肯大学） ； Hunan Institute of Advanced Technology（湖南高级技术研究所） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 BackdoorAgent提出一个统一框架，分析LLM代理中后门攻击的跨阶段传播和触发器持续性，揭示代理工作流的脆弱性。

Conformity and Social Impact on AI Agents

一致性与社会影响在人工智能代理中的作用

Alessandro Bellina, Giordano De Marzo, David Garcia

机构 * Centro Ricerche Enrico Fermi（恩里科·费米研究中心） ； Sony Computer Science Laboratories - Rome, Joint Initiative CREF-SONY（索尼计算机科学实验室-罗马，联合倡议CREF-SONY） ； University of Konstanz（康斯坦茨大学） ； Complexity Science Hub（复杂科学中心） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 研究揭示人工智能代理在社会压力下易受操控，存在安全漏洞，需加强集体AI部署的安全保障。

RefAV: Towards Planning-Centric Scenario Mining

RefAV：面向规划导向的场景挖掘

Cainan Davidson, Deva Ramanan, Neehar Peri

机构 * Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.CL

AI总结 RefAV通过视觉-语言模型改进场景挖掘，解决自动驾驶中复杂多智能体交互的定位问题。

Comments Project Page: https://cainand.github.io/RefAV/

RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic

RoboSafe: 通过可执行的安全逻辑保障具身智能体

Le Wang, Zonghao Ying, Xiao Yang, Quanchen Zou, Zhenfei Yin, Tianlin Li, Jian Yang, Yaodong Yang, Aishan Liu, Xianglong Liu

机构 * Beihang University（北航大学） ； AI Security Lab（360AI安全实验室） ； The University of Sydney（悉尼大学） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 RoboSafe通过可执行的安全逻辑保障具身智能体，减少危险行为并保持任务性能。

Comments 11 pages, 6 figures

Fine-Grained Instruction-Guided Graph Reasoning for Vision-and-Language Navigation

细粒度指令引导的图推理用于视觉-语言导航

Yaohua Liu, Xinyuan Song, Yunfu Deng, Yifan Xie, Binkai Ou, Yan Zhong

机构 * Guangdong Institute of Intelligence Science and Technology（广东智能科学与技术研究院） ； Department of Computer Science, Emory University（埃默里大学计算机科学系） ； Department of Computer Science, University of Wisconsin-Madison（威斯康星大学麦迪逊分校计算机科学系） ； Tsinghua University（清华大学） ； Innovation and Research and Development Department, BoardWare Information System Company（BoardWare信息系统公司创新与研发部） ； School of Mathematics, Peking University（北京大学数学学院） 纠错

专题命中 多模态Agent ：cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出细粒度指令引导的图推理框架OIKG，通过解耦角度与视觉提示并增强空间表示，提升视觉-语言导航中指令理解和跨模态对齐能力。

Comments 10 pages, 4 figures

WAM-Flow: Parallel Coarse-to-Fine Motion Planning via Discrete Flow Matching for Autonomous Driving

WAM-Flow：通过离散流匹配实现自动驾驶的并行粗到细路径规划

Yifang Xu, Jiahao Cui, Feipeng Cai, Zhihao Zhu, Hanlin Shang, Shan Luan, Mingwang Xu, Neng Zhang, Yaoyi Li, Jia Cai, Siyu Zhu

机构 * Fudan University（复旦大学） ； Yinwang Intelligent Technology Co., Ltd（英伟达智能科技有限公司） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 WAM-Flow通过离散流匹配实现自动驾驶的并行粗到细路径规划，结合几何感知目标和并行生成，提升闭环性能。

Comments 18 pages, 11 figures. Code & Model: https://github.com/fudan-generative-vision/WAM-Flow

Hierarchical Multi-agent Large Language Model Reasoning for Autonomous Functional Materials Discovery

分层多智能体大语言模型推理用于自主功能材料发现

Samuel Rothfarb, Megan C. Davis, Ivana Matanovic, Baikun Li, Edward F. Holby, Wilton J. M. Kort-Kamp

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 MASTER通过多代理协作提升材料发现的自主性，利用大语言模型进行推理驱动的原子模拟优化，减少90%的计算需求。

Comments Keywords: Multi-agent reasoning; Large language models; Active learning; AI-driven simulation; Materials discovery; Density functional theory; Surface chemistry

InfiGUI-G1: Advancing GUI Grounding with Adaptive Exploration Policy Optimization

InfiGUI-G1: 通过自适应探索策略优化推进GUI接地

Yuhang Liu, Zeyu Liu, Shuanghe Zhu, Pengxiang Li, Congkai Xie, Jiasheng Wang, Xavier Hu, Xiaotian Han, Jianbo Yuan, Xinyao Wang, Shengyu Zhang, Hongxia Yang, Fei Wu

机构 * Amazon（亚马逊） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 InfiGUI-G1通过自适应探索策略优化改进GUI接地，实现显著的语义对齐和性能提升。

Comments Accepted to AAAI 2026 (Oral Presentation)

Bridging the Gap: Toward Cognitive Autonomy in Artificial Intelligence

弥合差距：迈向人工智能的认知自主性

Noorbakhsh Amiri Golilarz, Sindhuja Penchala, Shahram Rahimi

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文探讨了人工智能在自我监控、自我纠正和自主调节方面的能力不足，并提出基于神经认知原理的架构以实现认知自主性。

REM: Evaluating LLM Embodied Spatial Reasoning through Multi-Frame Trajectories

REM：通过多帧轨迹评估大语言模型的具身空间推理

Jacob Thompson, Emiliano Garcia-Lopez, Yonatan Bisk

机构 * Department of Computer Science（计算机科学系） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 REM通过多帧轨迹评估大语言模型的空间推理能力，揭示其在复杂空间任务中的不足，推动更 robust 的空间表示研究。

Journal ref Proceedings of the Conference on Language Modeling (COLM 2025)

A Survey on Improving Human Robot Collaboration through Vision-and-Language Navigation

通过视觉-语言导航提升人机协作的综述

Nivedan Yakolli, Avinash Gautam, Abhijit Das, Yuankai Qi, Virendra Singh Shekhawat

机构 * Birla Institute of Technology and Science (BITS)（比拉理工学院和科学学院） ； Macquarie University（麦考瑞大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV、cs.AI

AI总结 本文综述了视觉-语言导航在提升人机协作中的最新进展，探讨了多机器人协作中的关键挑战，并提出通过先进NLU技术实现主动澄清和动态角色分配的未来方向。

MTR-VP: Towards End-to-End Trajectory Planning through Context-Driven Image Encoding and Multiple Trajectory Prediction

MTR-VP: 通过基于上下文的图像编码和多轨迹预测实现端到端轨迹规划

Maitrayee Keskar, Mohan Trivedi, Ross Greer

机构 * Machine Intelligence, Interaction, and Imagination (Mi 3 ) Laboratory（机器智能、交互与想象实验室） ； University of California, Merced（加州大学默塞德分校） ； Laboratory for Intelligent & Safe Automobiles (LISA)（智能与安全汽车实验室） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 MTR-VP通过基于上下文的图像编码和多轨迹预测实现端到端轨迹规划，利用交叉注意力提升规划性能。

Comments 8 pages, 3 figures, 4 tables

Agent0-VL: Exploring Self-Evolving Agent for Tool-Integrated Vision-Language Reasoning

Agent0-VL: 探索自我进化代理用于工具集成的视觉-语言推理

Jiaqi Liu, Kaiwen Xiong, Peng Xia, Yiyang Zhou, Haonian Ji, Lu Feng, Siwei Han, Mingyu Ding, Huaxiu Yao

机构 * UNC-Chapel Hill（北卡罗来纳大学教堂山分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 Agent0-VL通过工具集成推理实现自我进化，无需人类标注或外部奖励，提升视觉-语言推理能力。