多模态大模型

PathoSage: Towards Multi-Source Evidence Adjudication in Pathology via Experience-Aware Agentic Workflow

PathoSage：通过经验感知的代理工作流实现病理学多源证据裁决

Chengyang Zhang, Wenchuan Zhang, Bo Li, Mengran Li, Bob Zhang, Yuhao Yi, Hong Bu, Jiancheng Lv

机构 * College of Computer Science, Sichuan University（四川大学计算机科学学院） ； Department of Pathology and Institute of Clinical Pathology, West China Hospital, Sichuan University（四川大学华西医院病理科/临床病理研究所） ； Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系） ； School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能工程学院） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出PathoSage框架，通过结构化证据审议和Beta-Bernoulli经验系统，独立评估工具证据并解决冲突，减少幻觉和分类器分歧，提升病理学推理鲁棒性。

EvoIR-Agent: Self-Evolving Image Restoration Agentic System via Experience-Driven Learning

EvoIR-Agent: 通过经验驱动学习实现自进化图像修复智能体

Kailin Zhuang, Jiawei Wu, Zhi Jin

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 本文提出EvoIR-Agent，通过经验驱动学习解决图像修复中经验不足导致的规划失败问题，通过构建分层经验池和自进化机制提升修复性能和效率，实验表明其在全参考指标上表现优异，且在性能与效率之间取得显著平衡。

Comments Temporarily withdrawn for institutional clearance and compliance review. A revised version will be uploaded once the process is finalized

Detect in Any Scene: An Agentic Framework for Object Detection with Experience-Aware Reasoning

任意场景检测：一种具有经验感知推理的目标检测智能体框架

Wenlun Zhang, Jun Yin, Kentaro Yoshioka

机构 * Keio University（Keio大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV

AI总结 提出DetAS/DetAS-X智能体框架，利用多模态大语言模型自适应组合恢复模块和专用检测器，通过自进化经验积累实现经验感知推理，在六个基准上平均F1提升28.36%。

AgentHijack: Benchmarking Computer Use Agent Robustness to Common Environment Corruptions

AgentHijack：基准测试计算机使用智能体对常见环境干扰的鲁棒性

Jingwei Sun, Jianing Zhu, Yuanyi Li, Tongliang Liu, Xia HU, Bo Han

机构 * TMLR Group, Hong Kong Baptist University（香港 Baptist 大学 TMLR 团体） ； The University of Texas at Austin（德克萨斯大学奥斯汀分校） ； Sydney AI Centre, The University of Sydney（悉尼大学 AI 中心） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 提出AgentHijack基准，通过9种可配置的常见环境干扰评估多模态大语言模型驱动的计算机使用智能体的鲁棒性，并设计AgentHijack-Agent框架提升其抗干扰能力。

Comments accepted by ICML 2026

Towards Scalable Lightweight GUI Agents via Multi-role Orchestration

通过多角色编排实现可扩展的轻量级GUI代理

Ziwei Wang, Junjie Zheng, Leyang Yang, Sheng Zhou, Xiaoxuan Tang, Zhouhua Fang, Zhiwei Liu, Dajun Chen, Yong Li, Jiajun Bu

机构 * Zhejiang Key Laboratory of Accessible Perception and Intelligent Systems, Zhejiang University（浙江可及感知与智能系统重点实验室，浙江大学） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； AntGroup（蚂蚁集团） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.AI

AI总结 本文提出LAMO框架，通过多角色编排提升轻量级GUI代理的任务扩展性，开发出支持单体执行和多代理系统编排的LAMO-3B代理，结合先进规划器实现持续性能提升。

Comments Findings of ACL 2026

OpenQlaw: An Agentic AI Assistant for Analysis of 2D Quantum Materials

OpenQlaw: 一种用于二维量子材料分析的代理AI助手

Sankalp Pandey, Xuan-Bac Nguyen, Hoang-Quan Nguyen, Tim Faltermeier, Nicholas Borys, Hugh Churchill, Khoa Luu

机构 * Quantum AI Lab, University of Arkansas, USA（量子人工智能实验室，美国亚拉巴马大学） ； University of Utah, USA（美国犹他大学） ； Department of Physics, University of Arkansas, USA（美国亚拉巴马大学物理系） ； MonARK NSF Quantum Foundry（MonARK NSF 量子熔炉） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 OpenQlaw通过整合NanoBot和QuPAINT，实现二维材料分析中的动态推理与可视化，提升科研人员在高通量器件制造中的效率。

MUSE: A Multi-agent Framework for Unconstrained Story Envisioning via Closed-Loop Cognitive Orchestration

MUSE：一种通过闭环认知协调的多智能体框架用于无约束故事构思

Wenzhang Sun, Zhenyu Wang, Zhangchi Hu, Chunfeng Wang, Hao Li, Wei Chen

机构 * Li Auto（利奥自动化） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；audio-visual(abstract)；分类 cs.CV

AI总结 MUSE通过闭环认知协调的多智能体框架，提升长篇叙事的连贯性与多模态一致性。

MineAnyBuild: Benchmarking Spatial Planning for Open-world AI Agents

Ziming Wei, Bingqian Lin, Zijian Jiao, Yunshuang Nie, Liang Ma, Yuecheng Liu, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University（中山大学深圳校区） ； Shanghai Jiao Tong University（上海交通大学） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)；MLLM(abstract)；分类 cs.AI

Comments Accepted by NeurIPS 2025 Datasets and Benchmarks Track

LCMF: Lightweight Cross-Modality Mambaformer for Embodied Robotics VQA

Zeyi Kang, Liang He, Yanxin Zhang, Zuheng Ming, Kaixing Zhao

机构 * School of Software Northwestern Polytechnical University Xi'an, China（软件学院 西安理工大学中国） ； Laboratoire L2Tl University Sorbonne Paris Nord Paris, France（L2Tl实验室 索邦巴黎北大学巴黎法国） 纠错

专题命中 多模态Agent ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.AI

A Multi-Agent System for Complex Reasoning in Radiology Visual Question Answering

Ziruo Yi, Jinyu Liu, Ting Xiao, Mark V. Albert

机构 * University of North Texas（北卡罗来纳州立大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；cross-modal(abstract)；分类 cs.AI

Tool-MCoT: Tool Augmented Multimodal Chain-of-Thought for Content Safety Moderation

Tool-MCoT：用于内容安全审核的工具增强多模态链式思维

Shutong Zhang, Dylan Zhou, Yinxiao Liu, Yang Yang, Huiwen Luo, Wenfei Zou

机构 * Stanford University（斯坦福大学） ； Google（谷歌） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CL、cs.AI

AI总结 本文提出Tool-MCoT，一种基于工具增强的多模态链式思维模型，用于提升内容安全审核的效率与准确性，通过训练小语言模型以有效利用外部工具进行推理和决策。

Out-of-Sight Embodied Agents: Multimodal Tracking, Sensor Fusion, and Trajectory Forecasting

视线外的具身智能体：多模态跟踪、传感器融合与轨迹预测

Haichao Zhang, Yi Xu, Yun Fu

机构 * Department of Electrical and Computer Engineering, Northeastern University（东北大学电气与计算机工程系） ； Khoury College of Computer Sciences, Northeastern University（东北大学库里计算机科学学院） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.MM

AI总结 本文提出改进的视线外轨迹预测方法，通过视觉定位去噪模块提升轨迹预测性能，实验表明在Vi-Fi和JRDB数据集上达到最优效果，为自动驾驶、机器人和监控提供新方向。

Comments Published in IEEE Transactions on Pattern Analysis and Machine Intelligence (Early Access), pp. 1-14, March 23, 2026

Journal ref IEEE Transactions on Pattern Analysis and Machine Intelligence, 2026

VisTIRA: Closing the Image-Text Modality Gap in Visual Math Reasoning via Structured Tool Integration

VisTIRA: 通过结构化工具集成缩小图像-文本模态差距以提升视觉数学推理

Saeed Khaki, Ashudeep Singh, Nima Safaei, Kamal Ginotra

机构 * Microsoft AI（微软人工智能） 纠错

专题命中 多模态Agent ：image-text(title)；分类 cs.CL、cs.AI

AI总结 VisTIRA通过结构化工具集成框架，解决图像形式数学问题的推理难题，改进视觉数学推理能力，实验表明工具监督和OCR定位能有效缩小模态差距。

MedChat: A Multi-Agent Framework for Multimodal Diagnosis with Large Language Models

MedChat: 一种基于大语言模型的多智能体多模态诊断框架

Philip R. Liu, Sparsh Bansal, Jimmy Dinh, Aditya Pawar, Ramani Satishkumar, Shail Desai, Neeraj Gupta, Xin Wang, Shu Hu

机构 * University at Albany, State University of New York（纽约州立大学阿布扎克分校） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 MedChat通过多智能体框架结合专用视觉模型和角色特定LLM代理，提升多模态诊断的可靠性与交互性。

Journal ref Proc. 2025 IEEE 8th International Conference on Multimedia Information Processing and Retrieval (MIPR), pp. 456-462, 2025

Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution

Orion：一个多模态感知、高级视觉推理与执行的统一视觉代理

N Dinesh Reddy, Dylan Snyder, Lona Kiragu, Mirajul Mohin, Shahrear Bin Amin, Sudeep Pillai

机构 * VLM Run Research（VLM Run研究） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.AI

AI总结 Orion通过整合视觉推理与工具增强执行，实现了多模态感知、高级视觉推理与执行的统一，提升多步骤视觉智能性能。

Evaluating point-light biological motion in multimodal large language models

Akila Kadambi, Marco Iacoboni, Lisa Aziz-Zadeh, Srini Narayanan

机构 * Psychiatry and Biobehavioral Sciences, UCLA（乌尔拉克大学精神病学与生物行为科学系） ； Brain and Creativity Institute, USC（美国大学脑与创造力研究所） ； Google DeepMind, Zurich（谷歌深度Mind瑞士分公司） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.AI

CoCMT: Communication-Efficient Cross-Modal Transformer for Collaborative Perception

Rujia Wang, Xiangbo Gao, Hao Xiang, Runsheng Xu, Zhengzhong Tu

机构 * Computer Science and Engineering, Texas A&M University（计算机科学与工程，德克萨斯A&M大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 多模态Agent ：cross-modal(title)；分类 cs.CV、cs.AI

LLM-Guided Indoor Navigation with Multimodal Map Understanding

Alberto Coffrini, Paolo Barsocchi, Francesco Furfari, Antonino Crivello, Alessio Ferrari

机构 * Institute of Information Science and Technologies (ISTI)（信息科学与技术研究所） ； National Research Council of Italy (CNR)（意大利国家研究理事会） ； Department of Computer Science（计算机科学系） ； University of Pisa（比萨大学） ； University College Dublin (UCD)（都柏林大学学院） ； School of Computer Science（计算机科学学院） 纠错

专题命中 多模态Agent ：multimodal(title)；分类 cs.CL、cs.AI

Comments 7 pages, 3 figures, 5 tables

PAM: A Propagation-Based Model for Segmenting Any 3D Objects across Multi-Modal Medical Images

Zifan Chen, Xinyu Nan, Jiazheng Li, Jie Zhao, Haifeng Li, Ziling Lin, Haoshen Li, Heyun Chen, Yiting Liu, Lei Tang, Li Zhang, Bin Dong

专题命中 多模态Agent ：multi-modal(title)；分类 cs.CV、cs.AI

Comments 28 pages, 6 figures

GPT-4V(ision) for Robotics: Multimodal Task Planning from Human Demonstration

Naoki Wake, Atsushi Kanehira, Kazuhiro Sasabuchi, Jun Takamatsu, Katsushi Ikeuchi

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.CL

Comments 8 pages, 10 figures, 3 tables. Published in IEEE Robotics and Automation Letters (RA-L) (in press). Last updated on September 26th, 2024

From Words to Worlds: Transforming One-line Prompt into Immersive Multi-modal Digital Stories with Communicative LLM Agent

Samuel S. Sohn, Danrui Li, Sen Zhang, Che-Jui Chang, Mubbasir Kapadia

专题命中 多模态Agent ：multi-modal(title)；分类 cs.CL、cs.AI

Comments 16 pages, 13 figures

Collecting Interactive Multi-modal Datasets for Grounded Language Understanding

Shrestha Mohanty, Negar Arabzadeh, Milagro Teruel, Yuxuan Sun, Artem Zholus, Alexey Skrynnik, Mikhail Burtsev, Kavya Srinet, Aleksandr Panov, Arthur Szlam, Marc-Alexandre Côté, Julia Kiseleva

专题命中 多模态Agent ：multi-modal(title)；分类 cs.CL、cs.AI

Journal ref Interactive Learning for Natural Language Processing NeurIPS 2022 Workshop

Capturing Logical Structure of Visually Structured Documents with Multimodal Transition Parser

Yuta Koreeda, Christopher D. Manning

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.CL

Comments 11 pages, 5 figure

The Importance of Prior Knowledge in Precise Multimodal Prediction

Sergio Casas, Cole Gulino, Simon Suo, Raquel Urtasun

专题命中 多模态Agent ：multimodal(title)；分类 cs.CV、cs.AI

EchoVLA: Robotic Vision-Language-Action Model with Synergistic Declarative Memory for Mobile Manipulation

EchoVLA：用于VLA驱动移动操作的协同声明记忆

Min Lin, Xiwen Liang, Bingqian Lin, Jingzhi Liu, Zijian Jiao, Kehan Li, Ziang Yan, Yu Sun, Weijia Liufu, Yuhan Ma, Jiarui Hu, Yuecheng Liu, Shen Zhao, Yuzheng Zhuang, Xiaodan Liang

机构 * Shenzhen Campus of Sun Yat-sen University, Shenzhen, China（中山大学深圳校区） ； Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Huawei Noah's Ark Lab, China（华为诺亚方舟实验室） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；multimodal(abstract)

AI总结 EchoVLA通过协同声明记忆提升移动操作性能，结合场景与事件记忆，利用注意力融合指导基臂策略，实现高效导航与操作。

Empowering GUI Agents via Autonomous Experience Exploration and Hindsight Experience Utilization for Task Planning

通过自主经验探索与事后经验利用赋能GUI智能体任务规划

Tianyi Men, Zhuoran Jin, Pengfei Cao, Yubo Chen, Kang Liu, Jun Zhao

机构 * The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所复杂系统认知与决策智能重点实验室） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出PEEU方法，通过自主探索环境发现经验并利用事后经验合成严格对齐的高层训练数据，提升小型多模态大语言模型在GUI任务中的规划与跨网站泛化能力。

Comments Accepted to ACL 2026 Main

DIRECT: Video Mashup Creation via Hierarchical Multi-Agent Planning and Intent-Guided Editing

DIRECT：通过分层多智能体规划和意图引导编辑实现视频混剪创作

Ke Li, Maoliang Li, Jialiang Chen, Jiayu Chen, Zihao Zheng, Shaoqi Wang, Xiang Chen

机构 * School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院） ； School of Computer Science, Peking University（北京大学计算机科学学院） ； Huazhong University of Science and Technology（华中科技大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 本文提出DIRECT框架，通过分层多智能体规划和意图引导编辑解决视频混剪中多模态协调问题，提出Mashup-Bench基准并验证了方法在客观和主观评估上的优越性。

Building Autonomous GUI Navigation via Agentic-Q Estimation and Step-Wise Policy Optimization

通过代理-Q估计和分步策略优化构建自主GUI导航

Yibo Wang, Guangda Huzhang, Yuwei Hu, Yu Xia, Shiyin Lu, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang, Lijun Zhang

机构 * National Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） ； Ovis Team, Alibaba Group（阿里团队，阿里巴巴集团） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 本文提出基于代理-Q估计和分步策略优化的GUI自主导航框架，通过强化学习提升GUI交互能力，实验证明其在导航和基准测试中表现优异。

OmniEVA: Embodied Versatile Planner via Task-Adaptive 3D-Grounded and Embodiment-aware Reasoning

OmniEVA：通过任务自适应3D grounded和 embodiment-aware推理实现具身 versatile规划

Yuecheng Liu, Dafeng Chi, Shiguang Wu, Zhanguang Zhang, Yuzheng Zhuang, Bowen Yang, He Zhu, Lingfeng Zhang, Pengwei Xie, David Gamaliel Arcos Bravo, Yingxue Zhang, Jianye Hao, Xingyue Quan

机构 * Huawei Noah’s Ark Lab（华为诺亚实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 OmniEVA通过任务自适应3D grounding和具身aware推理，解决具身系统中几何适应性和具身约束的限制，实现先进的具身推理和任务规划。

Comments Published as a conference paper at ICLR 2026

OceanGym: A Benchmark Environment for Underwater Embodied Agents

OceanGym: 一个用于水下具身智能体的基准环境

Yida Xue, Mingjun Mao, Xiangyuan Ru, Yuqi Zhu, Baochang Ren, Shuofei Qiao, Mengru Wang, Shumin Deng, Xinyu An, Ningyu Zhang, Ying Chen, Huajun Chen

专题命中 多模态Agent ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 OceanGym通过多模态大语言模型构建首个水下具身智能体基准，揭示水下环境感知与规划的挑战，推动水下自主系统发展。

Comments Work in progress