多模态大模型

SPyCE: Skill-Policy Co-evolution for Multimodal Agents

SPyCE：多模态智能体的技能-策略协同进化

Ru Zhang, Weijie Qiu

机构 * Zhejiang University（浙江大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态智能体，提出SPyCE框架，将推理轨迹提炼为分层技能库与策略协同进化，执行技能捕获局部操作，工作流技能编码高级先验，实验证明该框架优于基线，为构建多模态智能体提供新范式。

Comments Accepted by ACM MM 2026

DentAgent: Evidence-Centric Multi-Agent Coordination for Multimodal Dental Reasoning

DentAgent：以证据为中心的多智能体协调的多模态牙科推理框架

Zijie Meng, Xiwei Dai, Yixuan Tang, Jin Hao, Yang Feng, Fudong Zhu, Xiaoqiang Liu, Shaosheng Cao, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； Shanghai Jiao Tong University（上海交通大学） ； Angelalign Technology Inc.（时代天使科技有限公司） ； Peking University（北京大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对现有牙科AI系统模态或任务局限及证据不可追溯问题，提出以证据为中心的多智能体框架DentAgent，经四个基准测试，其多标签诊断性能超越资深专家17.3个百分点，可用于多模态牙科推理及人群口腔健康评估。

DynCur-Geo: Dynamic Curiosity Reward Shaping for Multimodal Active Geo-Localization

DynCur-Geo：面向多模态主动地理定位的动态好奇心奖励塑造

Yiming Sun, Yang Zhang, Pengfei Zhu

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出DynCur-Geo动态好奇心框架，通过距离感知门与势能奖励塑造优化多模态主动地理定位，在多场景实验中较基线方法取得一致性能提升。

Comments 24 pages, 18 figures, 15 tables. The main paper is 7 pages, with supplementary material included

Dissecting Embodied Abilities in Multimodal Language Models through Skill-level Evaluation and Diagnosis

通过技能级评估与诊断解构多模态语言模型的具身能力

Yu Qi, Haibo Zhao, Ziyu Guo, Siyuan Ma, Ziyan Chen, Yaokun Han, Renrui Zhang, Zitiantao Lin, Yizhe Zhu, Shiji Xin, Yijian Huang, Boce Hu, Kai Cheng, Peiheng Wang, Jiazheng Liu, Jiayi Zhang, Yizhe Zhu, Wenqing Wang, Yiran Qin, Haojie Huang, Lawson L. S. Wong

机构 * Northeastern University, Boston, MA, USA ； The Chinese University of Hong Kong, Hong Kong, China ； Peking University, Beijing, China ； Westlake University, Hangzhou, China ； Harvard University, Cambridge, MA, USA ； Purdue University, West Lafayette, IN, USA ； University of Oxford, Oxford, United Kingdom 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出BEAR基准，通过分解具身任务为14个原子技能进行细粒度评估，发现感知能力是推理失败的主要瓶颈，并提出BEAR-Agent多模态对话代理，显著提升具身技能性能。

Comments Accepted to ICML 2026

Label-Free Deep-Tissue Peripheral Nerve Detection with a Handheld Multimodal OCT Probe and NerveDetNet

使用手持式多模态OCT探头和NerveDetNet进行无标记深层组织周围神经检测

Yihan Wang, Ruilin You, Shaobai Li, Jiabin Chen, Bofan Song, Anh D. Le, Rongguang Liang

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究开发了结合手持式多模态OCT探头与NerveDetNet的无标记框架，可在不切开组织的情况下检测皮下周围神经并解析深度，其性能优于多种基线方法，具备术中应用潜力。

Embodied Multimodal Grounding for Open-Vocabulary Mobile Manipulation via Semantic 3D Gaussian Splatting

基于语义三维高斯溅射的开放词汇移动操作具身多模态定位

Huosen Ou, Dongni Song, Yuncong Wang, Tao Zhou, Yiding Ji

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Midea Group（美的集团） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文针对家庭场景开放词汇移动操作的目标定位问题，提出整合Semantic-3DGS的具身多模态框架，经50次真实机器人试验，在长 horizon、杂乱场景等任务中优于PointVLA等基线方法，提升了操作鲁棒性。

Comments 9 pages, 11 figures. Accepted to ACM Multimedia 2026 (MM '26)

RankFormer: A Propose-then-Select Transformer for Multi-Agent Multimodal Trajectory Prediction

自发现意图感知变换器用于多模态车辆轨迹预测

Diyi Liu, Zihan Niu, Tu Xu, Xingchen Zhang, Lishan Sun

专题命中 多模态Agent ：multimodal(title)；multi-modal(abstract)；分类 cs.AI

AI总结 本文提出一种基于Transformer的多模态车辆轨迹预测模型，通过分离空间模块和轨迹生成模块提升预测性能，并通过预测残差偏移学习有序轨迹。

Comments 11 pages, 5 figures

Discovering Diverse Planning Policies for Multimodal Embodied Agents with Quality-Diversity Optimization

用质量多样性优化发现多模态具身智能体的多样化规划策略

Pengfei Xu, Yong Liu, Xiaoya Nan, Qiang Yang, Peilan Xu

机构 * School of Artificial Intelligence, Nanjing University of Information Science and Technology（南京信息工程大学人工智能学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对多模态具身智能体现有规划器易因单一规划风格失效导致停滞的问题，提出质量多样性框架，通过进化策略模板构建多样化策略库，实现自适应规划与故障恢复，在ThreeDWorld基准上提升了任务成功率与交互效率。

Comments To appear in ACM MM (MM '26)

Large Multimodal Agents for Intelligent Transportation Systems: Architectures, Evidence, and Deployment Challenges

面向智能交通系统的大型多模态智能体：架构、证据与部署挑战

Muhammad Ayub Sabir, Shaohong Zheng, Zhiyu Qu, Fatima Ashraf, Junbiao Pang

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本综述梳理2023-2026年42个LMAs研究家族，评估其在ITS中的多模态性、性能与部署情况，支持有限编排而非替代，提供评估协议与部署路线图。

Beyond Simply Environment Scaling: Designing Effective Environment Distributions for Multimodal Agent Learning

超越单纯的环境规模扩展：为多模态智能体学习设计有效的环境分布

Kejian Zhu, Zhuoran Jin, Dongqi Huang, Hongbang Yuan, Yupu Hao, Kang Liu, Jun Zhao

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 该研究针对多模态智能体学习中单纯扩展环境数量无效的问题，提出AES与HDC两种方法优化环境分布，提升了智能体训练效果。

Comments Code: https://github.com/GaryStack/Beyond-MMEnv-Scaling

AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering

AutoProteinEngine：一种用于蛋白质工程多模态自动机器学习的大语言模型驱动智能体框架

Yungeng Liu, Zan Chen, Yu Guang Wang, Yiqing Shen

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对生物学家缺乏计算知识难以应用深度学习开展蛋白质工程的问题，提出AutoProteinEngine框架，集成LLMs与AutoML，经两项任务验证其性能优于传统方法，降低了深度学习应用门槛。

Embodied Empathy: A Multimodal AR and LLM-Powered System for Self-Attachment Psychotherapy with Self-Initiated Humour

具身共情：一种用于自我依恋心理治疗的多模态AR与大语言模型驱动系统，结合自发起幽默协议

Xinyan Ye, Gwyneth Phang, Anandha Gopalan, Abbas Edalat

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.MM

AI总结 该研究针对心理健康从业者供给不足的问题，开发结合SIHP与SAT的多模态AR及LLM系统，经8天16人研究验证其可行性，可改善情绪并转变用户对AI对话工具的期望。

VFEAgent: A Multimodal Agent Framework for End-to-End Automated Finite Element Analysis

VFEAgent: 面向端到端自动化有限元分析的多模态智能体框架

Jiachen Zhang, Junyi Lao, Chenghao Liu, Siyuan Liu, Shixin Wu, Linsen Zhang, Boyu Wang, Songfang Huang

机构 * Peking University（北京大学） ； China Agricultural University（中国农业大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出VFEAgent多智能体系统，通过多模态视觉-语言流水线和验证优先的代码合成框架，实现从输入图像和问题描述到有限元建模与仿真的端到端自动化。

Comments 9 pages, 3 figures, 2 tables. Equal contribution: Jiachen Zhang and Junyi Lao. Corresponding author: Songfang Huang. Preprint

CodeShrink: Adaptive Visual Compression for Efficient Multimodal Code Understanding

CodeShrink：面向高效多模态代码理解的自适应视觉压缩

Wenxin Tang, Jingyu Xiao, Zhenyu Liu, Zipeng Xie, Junliang Liu, Wang Luo, Yuan Jiang, Yintong Huo, Michael Lyu

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 CodeShrink是含无空白渲染、自适应压缩配置、主导令牌选择的自适应视觉压缩框架，可减少代码理解的视觉令牌用量，在三类代码任务上优于基线。

Multimodal Reinforcement Learning with Adaptive Verifier for AI Agents

具有自适应验证器的多模态强化学习

Reuben Tan, Baolin Peng, Zhengyuan Yang, Hao Cheng, Oier Mees, Theodore Zhao, Andrea Tupini, Isar Meijer, Qianhui Wu, Yuncong Yang, Lars Liden, Yu Gu, Sheng Zhang, Xiaodong Liu, Lijuan Wang, Marc Pollefeys, Yong Jae Lee, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； UMass Amherst（马萨诸塞大学阿默斯特分校） ； ETH Zurich（苏黎世联邦理工学院） ； UW–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出Argos验证器，通过结合SFT数据筛选与RL训练，提升多模态推理模型在空间推理、视觉幻觉及机器人任务中的性能，同时减少奖励黑客问题。

MARS-RA: Rank Aggregation for Credit Assignment via Multimodal Comparisons in Embodied Multi-Agent Cooperation

MARS-RA：基于具身多智能体协作中多模态比较的信用分配排序聚合

Dawei Wang, Di Zhao, Xinyuan Liu, Marci Chi Ma, Xiaoyang Liu, Chengming Zhou, Gary Ushaw, Richard Davison

机构 * Newcastle University（纽卡斯尔大学） ； University of Auckland（奥克兰大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究针对具身多智能体协作的信用分配难题，提出MARS-RA框架，将其转化为多模态模型生成的成对比较排序聚合问题，经理论与实验验证可引导智能体有效协作。

Comments ACL 2026 Main

VetClaw: An Edge-Cloud Multimodal Agentic System for Veterinary Disease Screening

VetClaw：一种用于兽医疾病筛查的边缘云多模态智能系统

Syed Mhamudul Hasan, Anas AlSobeh, Hussein Zangoti, Abdur R. Shahid

机构 * Southern Illinois University（南伊利诺伊大学） ； Utah Valley University（犹他谷大学） ； Jazan University（吉赞大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 VetClaw是用于兽医疾病筛查的边缘云多模态智能系统，用相机模块采集图像等并发送至视觉语言模型分类。它分离智能体交互与工作流编排，超越静态图像分类，症状引导和多模态输入提升性能，将静态模型转变为多功能安全感知系统。

JarvisHub: An Open Harness for Canvas-Native Multimodal Creative Agents

JarvisHub：用于原生画布多模态创意智能体的开放框架

Yunlong Lin, Zixu Lin, Zhaohu Xing, Biqiang Li, Chenxin Li, Haonan Wang, Haitao Wu, Hengyu Liu, Jianghai Chen, Kaituo Feng, Kaixin Li, Shawn Chen, Shijue Huang, Sixiang Chen, Tsung-Yi Ho, Wenxuan Huang, Xiangyan Liu, Xiaomeng Hu, Xuanhua He, Yan Sun, Yunqing Zhao, Zhiqin Yang, Zehan Wang, Zhengyang Tang, Tianyu Pang, Xiangyu Yue

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 研究针对创意人工智能从单步到多模态创作转变中现有系统不足的问题，引入JarvisHub框架，以可编辑画布为核心，通过三层架构让智能体实现持续、人工可控的创意自动化创作。

Comments 15 pages, 9 figures. Project page: https://www.jarvishub.site/ Code github: https://github.com/LYL1015/JarvisHub

Trustworthy Privacy-Preserving Multimodal Federated Learning for Personalised Breast Cancer Prediction

用于个性化乳腺癌预测的可信隐私保护多模态联邦学习

Ruth Amey, Muhammad Arifur Rahman, Taha Osman, Nicholas Shopland, Andy Burton, Mufti Mahmud, David J. Brown

机构 * NTU（南洋理工大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究探讨联邦学习能否兼顾四个关键支柱，支持乳腺癌患者肿瘤进展预测模型开发。通过多模态数据评估联邦学习框架，与集中式模型比较性能，并研究相关策略，结果助于理解隐私保护多模态预测建模可行性及支持未来应用。

Comments 26 pages, 12 figures

MAGE: Human-Like Macro Placement via Agentic Multimodal Reasoning

MAGE：通过智能多模态推理实现类人宏布局

Andrew B. Kahng, Sayak Kundu, Bodhisatta Pramanik

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对工业物理设计流程中宏布局需大量人工优化的问题，提出MAGE框架。该框架通过多模态多智能体实现宏布局优化，结合多种规则与检查，引入量化类人性指标。实验表明其相比商业工具及基线有显著提升，且能转移到新布局设置。

Comments 16 pages

Benchmarking Agentic Newswriting via Journalistic Workflows

通过新闻工作流程对智能新闻写作进行基准测试

Yen-Che Chien, Kuang-Da Wang, Wei-Yao Wang, Wen-Chih Peng

机构 * National Yang Ming Chiao Tung University（国立阳明交通大学） ； Sony Group Corporation（索尼集团） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究智能体在新闻写作工作流程中的表现，引入NEWSAGENT基准，给定写作指令和部分材料，评估智能体搜索、选信息及改草稿能力，发现其检索事实尚可，但规划和叙事整合有困难，为评估智能体能力提供现实测试平台。

Comments Accepted to Findings of ACL 2026

SciForge: An AI-Native, Multimodal Workbench for Scientific Discovery

SciForge：用于科学发现的人工智能原生多模态工作台

SciForge Team, Zhangyang Gao, Minghao Fang, Yifei Liu, Hanhui Yang, Xinyu Gu, Shixiang Tang, Siqi Sun, Lei Bai, Cheng Tan, Mengdi Liu, Hao Wu, Shuizhou Chen

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 SciForge针对科学工作中异构工件难保存为连贯可审计状态的问题，构建多模态工作台，围绕五个支柱运行，结合多种组件，通过多种应用场景展示实际影响，当前为桌面应用，未来深化团队协作且开源。

ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

ABot-AgentOS：一个具有终身多模态记忆的通用机器人智能体操作系统

Jiayi Tian, Shiao Liu, Yuting Xu, Jia Lu, Zihao Guan, Honglin Han, Di Yang, Minqi Gu, Yifei Qian, Tianlin Zhang, Yanqing Zhu, Zeqian Ye, Menglin Yang, Fei Wang, Xu Hu, Xiuxian Li, Wei Zhang, Shihui Su, Yiyan Ji, Jingbo Wang, Ziteng Feng, Jiaheng Liu, Zhaoxiang Zhang, Xiaolong Wu, Zixiao Tang, Zhining Gu, Yang Cai, Linbo Zheng, Jingjing Ma, Mingyang Yin, Zedong Chu, Wenbin Tang, Mu Xu

机构 * AMAP CV Lab（AMAP计算机视觉实验室） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究针对长期具身智能体运行需求，提出ABot-AgentOS通用机器人智能体操作系统，引入EmbodiedWorldBench基准，采用通用多模态图记忆及失败驱动自我进化循环，在相关测试中表现良好，证明该系统层可提升具身执行并提供持久记忆。

Comments Code: https://github.com/amap-cvlab/ABot-AgentOS Project page: https://amap-cvlab.github.io/ABot-AgentOS

RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

RESOURCE2SKILL: 从人类创建的多模态资源中提取可执行智能体技能

Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； Shanghai Jiao Tong University（上海交通大学） ； Microsoft（微软） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出RESOURCE2SKILL框架，从教程视频、代码库、文章等人类多模态资源中提取可执行技能，构建分层多模态技能维基，提升智能体在七个领域的任务表现。

TopoAgent: A Self-Evolving Topological Agent for Multimodal Scientific Reasoning

TopoAgent：用于多模态科学推理的自进化拓扑智能体

Mingze Xu, Yinghui Li, Jiayi Kuang, Zhanhui Kang, Di Yin, Ying Shen, Xing Sun, Yuxing Han

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型科学推理难题，提出TopoAgent自进化拓扑框架，用图进化取代线性轨迹，通过前端分解器、DAG组织原子及自适应原子裂变实现，实验证明其显著优于线性智能体框架，为科学推理提供新范式。

UNIBROWSE: A Data-to-Agent Framework for Multimodal BrowseComp

UNIBROWSE：用于多模态浏览比较的数据到智能体框架

Xiyu Wei, Qingwei Zong, Zhuocheng Yu, Sujian Li

机构 * Key Laboratory of Computational Linguistics, MOE, Peking University（教育部计算语言学重点实验室，北京大学） ； School of Software and Microelectronics, Peking University（北京大学软件与微电子学院） ； School of Computer Science, Peking University（北京大学计算机科学学院） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

AI总结 研究多模态浏览比较任务，提出UNIBROWSE统一数据管道，同时生成三种模式训练数据，增强知识图谱，引入探索度度量。经此训练的35B规模智能体在多模态浏览比较基准测试中性能领先，超多个闭源智能体工作流程。

Comments 17 pages, 5 figures

SAGEAgent: A Self-Evolving Agent for Cost-Aware Modality Acquisition in Multimodal Survival Prediction

SAGEAgent：用于多模态生存预测中成本感知模态获取的自进化智能体

Chongyu Qu, Can Cui, Zhengyi Lu, Junchao Zhu, Tianyuan Yao, Junlin Guo, Juming Xiong, Yanfan Zhu, Yuechen Yang, Bennett A. Landman, Yuankai Huo

机构 * Vanderbilt University（范德堡大学） ； Vanderbilt University Medical Center（范德堡大学医学中心） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 研究多模态生存预测中如何平衡预测准确性与临床侵入性，提出基于自进化大语言模型的SAGEAgent，通过多种记忆和工具为患者决定诊断方式，实验证明其能在胶质瘤队列中降低获取负担并保持竞争力。

Multi-Modal, Multi-Environment Machine Teaching for Robust Reward Learning

用于稳健奖励学习的多模态、多环境机器教学

Ali Larian, Qian Lin, Chang Zong Wu, Daniel S. Brown

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 研究自主智能体在多环境下奖励学习问题，提出分层机器教学算法，先选信息丰富环境，再查询低成本反馈，实验表明该方法比统一教学基线有更低遗憾值和更强泛化能力，凸显多环境多模态教学对稳健奖励学习的重要性。

Comments Accepted to RLC 2026. Conference paper

End-to-End LLM Flight Planning with RAG-based Memory and Multi-modal Coach Agent

基于基于检索增强生成的记忆和多模态教练代理的端到端大语言模型飞行规划

Amin Tabrizian, Arsyi Aziz, Aarifah Ullah, Mahyar Ghazanfari, Pouria Razzaghi, Peng Wei

机构 * George Washington University（乔治华盛顿大学） ； Metis Solutions Technology Inc 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

AI总结 针对电动垂直起降飞机部署中传统飞行规划算法难以融入人类偏好的问题，提出FRAMe工具，集成规划器LLM、多模态教练代理和基于RAG的记忆，在多场景演示中效果最佳，能将自然语言指令转化为优质飞行路线。

Comments Accepted at the ICML 2026 LM4Plan Workshop

AppAgent: Multimodal Agents as Smartphone Users

AppAgent：作为智能手机用户的多模态智能体

Chi Zhang, Zhao Yang, Jiaxuan Liu, Yanda Li, Yucheng Han, Xin Chen, Zebiao Huang, Bin Fu, Gang Yu

机构 * Tencent（腾讯） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

AI总结 介绍基于大语言模型的多模态智能体框架，通过简化动作空间操作智能手机应用，无需系统后端访问，经自主探索或观察人类示范学习，能执行复杂任务，测试验证其处理多种高级任务的能力。

Comments Accepted to CHI 2025, project page is https://appagent-official.github.io/