多模态大模型

Real-Time Out-of-Distribution Failure Prevention via Multi-Modal Reasoning

Milan Ganai, Rohan Sinha, Christopher Agia, Daniel Morton, Luigi Di Lillo, Marco Pavone

机构 * Stanford University（斯坦福大学） ； Swiss Re（瑞士再保险集团） ； NVIDIA Research（NVIDIA研究） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

Comments Conference on Robot Learning (CoRL) 2025 (Oral)

Zero-Shot Multi-Spectral Learning: Reimagining a Generalist Multimodal Gemini 2.5 Model for Remote Sensing Applications

Ganesh Mallya, Yotam Gigi, Dahun Kim, Maxim Neumann, Genady Beryozkin, Tomer Shekel, Anelia Angelova

机构 * Google DeepMind（谷歌DeepMind） ； Google Research（谷歌研究） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

MMAPG: A Training-Free Framework for Multimodal Multi-hop Question Answering via Adaptive Planning Graphs

Yiheng Hu, Xiaoyang Wang, Qing Liu, Xiwei Xu, Qian Fu, Wenjie Zhang, Liming Zhu

机构 * University of New South Wales（新南威尔士大学） ； CSIRO Data61（CSIRO数据61） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

MountainLion: A Multi-Modal LLM-Based Agent System for Interpretable and Adaptive Financial Trading

Siyi Wu, Junqiao Wang, Zhaoyang Guan, Leyi Zhao, Xinyuan Song, Xinyu Ying, Dexu Yu, Jinhao Wang, Hanlin Zhang, Michele Pak, Yangfan He, Yi Xin, Jianhui Wang, Tianyu Shi

机构 * The University of Texas at Arlington（德克萨斯大学阿灵顿分校） ； Sichuan University（四川大学） ； Northwestern University（西北大学） ； Indiana University（印第安纳大学） ； Emory University（埃默里大学） ； Nankai University（南开大学） ； MountainLion Research（MountainLion研究机构） ； Xi’an University of Electronic Science and Technology（西安电子科技大学） ； Kyoto University（京都大学） ； University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Nanjing university（南京大学） ； Tsinghua University（清华大学） ； University of Toronto（多伦多大学） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.CL

Towards deployment-centric multimodal AI beyond vision and language

Xianyuan Liu, Jiayang Zhang, Shuo Zhou, Thijs L. van der Plas, Avish Vijayaraghavan, Anastasiia Grishina, Mengdie Zhuang, Daniel Schofield, Christopher Tomlinson, Yuhan Wang, Ruizhe Li, Louisa van Zeeland, Sina Tabakhi, Cyndie Demeocq, Xiang Li, Arunav Das, Orlando Timmerman, Thomas Baldwin-McDonald, Jinge Wu, Peizhen Bai, Zahraa Al Sahili, Omnia Alwazzan, Thao N. Do, Mohammod N. I. Suvon, Angeline Wang, Lucia Cipolina-Kun, Luigi A. Moretti, Lucas Farndale, Nitisha Jain, Natalia Efremova, Yan Ge, Marta Varela, Hak-Keung Lam, Oya Celiktutan, Ben R. Evans, Alejandro Coca-Castro, Honghan Wu, Zahraa S. Abdallah, Chen Chen, Valentin Danchev, Nataliya Tkachenko, Lei Lu, Tingting Zhu, Gregory G. Slabaugh, Roger K. Moore, William K. Cheung, Peter H. Charlton, Haiping Lu

机构 * Centre for Machine Intelligence, University of Sheffield, Sheffield, UK（机器智能中心，谢菲尔德大学） ； School of Computer Science, University of Sheffield, Sheffield, UK（计算机科学学院，谢菲尔德大学） ； The Alan Turing Institute, London, UK（艾伦·图灵研究所，伦敦） ； Department of Metabolism, Digestion and Reproduction, Imperial College London, London, UK（代谢、消化与生殖部门，伦敦帝国学院） ； Department of Applied AI, Simula Research Laboratory, Oslo, Norway（应用人工智能部门，Simula研究实验室，奥斯陆） ； Information School, University of Sheffield, Sheffield, UK（信息学院，谢菲尔德大学） ； NHS England, Leeds, UK（英国英格兰国家医疗服务体系，利兹） ； Institute of Health Informatics, University College London, London, UK（健康信息研究所，伦敦大学学院） ； Department of Engineering, King’s College London, London, UK（工程部门，伦敦国王学院） ； Department of Computing Science, University of Aberdeen, Aberdeen, UK（计算科学部门，阿伯丁大学） ； School of Informatics, University of Edinburgh, Edinburgh, UK（信息学院，爱丁堡大学） ； School of Engineering Mathematics and Technology, University of Bristol, Bristol, UK（工程数学与技术学院，布里斯托尔大学） ； Department of Informatics, King’s College London, London, UK（信息部门，伦敦国王学院） ； Department of Earth Sciences, University of Cambridge, Cambridge, UK（地球科学部门，剑桥大学） ； Department of Computer Science, University of Manchester, Manchester, UK（计算机科学部门，曼彻斯特大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

Embodied Intelligence in Disassembly: Multimodal Perception Cross-validation and Continual Learning in Neuro-Symbolic TAMP

Ziwen He, Zhigang Wang, Yanlong Peng, Pengxu Chang, Hong Yang, Ming Chen

机构 * School of Mechanical Engineering, Shanghai Jiao Tong University（上海交通大学机械工程学院） ； Intel Labs China（英特尔中国实验室） ； Intel Asia Pacific R&D Ltd（英特尔亚太研发有限公司） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

Comments 8 pages, 3 figures. Accepted at CASE2025. This arXiv version contains minor corrections

Multimodal LLM Guided Exploration and Active Mapping using Fisher Information

Wen Jiang, Boshu Lei, Katrina Ashton, Kostas Daniilidis

机构 * University of Pennsylvania（宾夕法尼亚大学） ； Archimedes, Athena RC（阿基米德、阿提卡RC） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

Comments ICCV 2025

Learning What is Worth Learning: Active and Sequential Domain Adaptation for Multi-modal Gross Tumor Volume Segmentation

Jingyun Yang, Guoqing Zhang, Jingge Wang, Yang Li

机构 * Shenzhen Key Laboratory of Ubiquitous Data Enabling, Tsinghua Shenzhen International Graduate School, Tsinghua University（深圳 ubiquitous 数据赋能重点实验室、清华大学深圳国际研究生院、清华大学） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.CV

InternVL3.5: Advancing Open-Source Multimodal Models in Versatility, Reasoning, and Efficiency

Weiyun Wang, Zhangwei Gao, Lixin Gu, Hengjun Pu, Long Cui, Xingguang Wei, Zhaoyang Liu, Linglin Jing, Shenglong Ye, Jie Shao, Zhaokai Wang, Zhe Chen, Hongjie Zhang, Ganlin Yang, Haomin Wang, Qi Wei, Jinhui Yin, Wenhao Li, Erfei Cui, Guanzhou Chen, Zichen Ding, Changyao Tian, Zhenyu Wu, Jingjing Xie, Zehao Li, Bowen Yang, Yuchen Duan, Xuehui Wang, Zhi Hou, Haoran Hao, Tianyi Zhang, Songze Li, Xiangyu Zhao, Haodong Duan, Nianchen Deng, Bin Fu, Yinan He, Yi Wang, Conghui He, Botian Shi, Junjun He, Yingtong Xiong, Han Lv, Lijun Wu, Wenqi Shao, Kaipeng Zhang, Huipeng Deng, Biqing Qi, Jiaye Ge, Qipeng Guo, Wenwei Zhang, Songyang Zhang, Maosong Cao, Junyao Lin, Kexian Tang, Jianfei Gao, Haian Huang, Yuzhe Gu, Chengqi Lyu, Huanze Tang, Rui Wang, Haijun Lv, Wanli Ouyang, Limin Wang, Min Dou, Xizhou Zhu, Tong Lu, Dahua Lin, Jifeng Dai, Weijie Su, Bowen Zhou, Kai Chen, Yu Qiao, Wenhai Wang, Gen Luo

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

DashboardQA: Benchmarking Multimodal Agents for Question Answering on Interactive Dashboards

Aaryaman Kartha, Ahmed Masry, Mohammed Saidul Islam, Thinh Lang, Shadikur Rahman, Ridwan Mahbub, Mizanur Rahman, Mahir Ahmed, Md Rizwan Parvez, Enamul Hoque, Shafiq Joty

机构 * York University（约克大学） ； RBC ； Qatar Computing Research Institute (QCRI)（卡塔尔计算研究所） ； Nanyang Technological University（南洋理工大学） ； Salesforce Research（Salesforce研究） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

Categorical Policies: Multimodal Policy Learning and Exploration in Continuous Control

SM Mazharul Islam, Manfred Huber

机构 * Department of Computer Science and Engineering, University of Texas at Arlington（计算机科学与工程系，德克萨斯大学阿灵顿分校） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

Comments 6 pages, 4 figures; Has been submitted and accepted at IEEE SMC, 2025

Efficient Agent: Optimizing Planning Capability for Multimodal Retrieval Augmented Generation

Yuechen Wang, Yuming Qiao, Dan Meng, Jun Yang, Haonan Lu, Zhenyu Yang, Xudong Zhang

机构 * OPPO Research Institute（OPPO研究院） ； OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

MuaLLM: A Multimodal Large Language Model Agent for Circuit Design Assistance with Hybrid Contextual Retrieval-Augmented Generation

Pravallika Abbineni, Saoud Aldowaish, Colin Liechty, Soroosh Noorzad, Ali Ghazizadeh, Morteza Fayazi

机构 * University of Utah（犹他大学） ； University of Michigan（密歇根大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

DAM: A Universal Dual Attention Mechanism for Multimodal Timeseries Cryptocurrency Trend Forecasting

Yihang Fu, Mingyu Zhou, Luyao Zhang

机构 * Duke Kunshan University（杜克昆山大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

Journal ref Proc. IEEE Int. Conf. Metaverse Computing Networking and Applications (MetaCom), pp. 73-80, 2024

MoMA: A Mixture-of-Multimodal-Agents Architecture for Enhancing Clinical Prediction Modelling

Jifan Gao, Mahmudur Rahman, John Caskey, Madeline Oguss, Ann O'Rourke, Randy Brown, Anne Stey, Anoop Mayampurath, Matthew M. Churpek, Guanhua Chen, Majid Afshar

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Northwestern University（西北大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

Planning for Cooler Cities: A Multimodal AI Framework for Predicting and Mitigating Urban Heat Stress through Urban Landscape Transformation

Shengao Yi, Xiaojiang Li, Wei Tu, Tianhong Zhao

机构 * Department of City and Regional Planning, University of Pennsylvania（城市与区域规划系，宾夕法尼亚大学） ； Guangdong Key Laboratory for Urban Informatics, Guangdong-Hong Kong-Macao Joint Laboratory for Smart Cities（广东城市信息关键实验室、粤港澳大湾区智慧城市联合实验室） ； Shenzhen Key Laboratory of Spatial Information Smart Sensing（深圳空间信息智能感知关键实验室） ； Department of Urban Informatics, School of Architecture and Urban Planning, Shenzhen University（城市信息系，深圳大学） ； College of Big Data and Internet, Shenzhen Technology University（大数据与互联网学院，深圳科技大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

Advancing Compositional LLM Reasoning with Structured Task Relations in Interactive Multimodal Communications

Xinye Cao, Hongcan Guo, Guoshun Nan, Jiaoyang Cui, Haoting Qian, Yihan Lin, Yilin Peng, Diyang Zhang, Yanzhao Hou, Huici Wu, Xiaofeng Tao, Tony Q. S. Quek

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted by IEEE JSAC. This work has been submitted to the IEEE for possible publication

GSON: A Group-based Social Navigation Framework with Large Multimodal Model

Shangyi Luo, Peng Sun, Ji Zhu, Yuhong Deng, Cunjun Yu, Anxing Xiao, Xueqian Wang

机构 * Center for Artificial Intelligence and Robotics, Tsinghua Shenzhen International Graduate School（人工智能与机器人中心，清华大学深圳国际研究生院） ； School of Computing, National University of Singapore（computing 学院，新加坡国立大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

Comments Accepted by IEEE Robotics and Automation Letters (RA-L)

Dark Side of Modalities: Reinforced Multimodal Distillation for Multimodal Knowledge Graph Reasoning

Yu Zhao, Ying Zhang, Xuhui Sui, Baohang Zhou, Haoze Zhu, Jeff Z. Pan, Xiaojie Yuan

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.MM

Comments Accepted by ACM MM 2025

HIS-GPT: Towards 3D Human-In-Scene Multimodal Understanding

Jiahe Zhao, Ruibing Hou, Zejie Tian, Hong Chang, Shiguang Shan

机构 * Key Laboratory of AI Safety of Chinese Academy of Sciences (CAS)（中国科学院人工智能安全重点实验室） ； Institute of Computing Technology, CAS（中国科学院计算技术研究所） ； University of CAS（中国科学院大学） ； Communication University of China（通信大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

Comments ICCV 2025

OS-Kairos: Adaptive Interaction for MLLM-Powered GUI Agents

Pengzhou Cheng, Zheng Wu, Zongru Wu, Aston Zhang, Zhuosheng Zhang, Gongshen Liu

机构 * School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院） 纠错

专题命中 多模态Agent ：MLLM(title)；multimodal(abstract)；分类 cs.AI

Comments 25 pages, 24 figures, 11 tables (ACL 2025, Findings)

InfoTech Assistant: A Multimodal Conversational Agent for InfoTechnology Web Portal Queries

Sai Surya Gadiraju, Duoduo Liao, Akhila Kudupudi, Santosh Kasula, Charitha Chalasani

机构 * School of Computing（计算学院） ； George Mason University（乔治·马歇尔大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

Comments Accepted by IEEE Big Data 2024

Journal ref IEEE BigData, Year: 2024, Pages: 3264-3272

MedAgent-Pro: Towards Evidence-based Multi-modal Medical Diagnosis via Reasoning Agentic Workflow

Ziyue Wang, Junde Wu, Linghan Cai, Chang Han Low, Xihong Yang, Qiaxuan Li, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； University of Oxford（牛津大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） ； National University of Defense Technology（国防科技大学） ； The Second Affiliated Hospital Zhejiang University School of Medicine（浙江大学医学院附属第二医院） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

VoyagerVision: Investigating the Role of Multi-modal Information for Open-ended Learning Systems

Ethan Smyth, Alessandro Suglia

机构 * School of Mathematical and Computer Sciences（数学与计算机科学学院） ； Heriot-Watt University（赫瑞斯韦大学） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

Comments website: https://esmyth-dev.github.io/VoyagerVision.github.io/

AViLA: Asynchronous Vision-Language Agent for Streaming Multimodal Data Interaction

Gengyuan Zhang, Tanveer Hannan, Hermine Kleiner, Beste Aydemir, Xinyu Xie, Jian Lan, Thomas Seidl, Volker Tresp, Jindong Gu

机构 * LMU Munich（慕尼黑大学） ； Munich Center for Machine Learning（慕尼黑机器学习中心） ； University of Oxford（牛津大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV

Comments preprint version; 23 pages (including references and appendix)

OWMM-Agent: Open World Mobile Manipulation With Multi-modal Agentic Data Synthesis

Junting Chen, Haotian Liang, Lingxiao Du, Weiyun Wang, Mengkang Hu, Yao Mu, Wenhai Wang, Jifeng Dai, Ping Luo, Wenqi Shao, Lin Shao

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； School of Computing, National University of Singapore（新加坡国立大学计算机学院） ； Shanghai Jiaotong University（上海交通大学） ； Tsinghua University（清华大学） 纠错

专题命中 多模态Agent ：multi-modal(title,abstract)；分类 cs.AI

Comments 9 pages of main content, 19 pages in total

Generalized Trajectory Scoring for End-to-end Multimodal Planning

Zhenxin Li, Wenhao Yao, Zi Wang, Xinglong Sun, Joshua Chen, Nadine Chang, Maying Shen, Zuxuan Wu, Shiyi Lan, Jose M. Alvarez

机构 * NVIDIA ； Fudan University（复旦大学） 纠错

专题命中 多模态Agent ：multimodal(title)；multi-modal(abstract)；分类 cs.CV

Comments The 1st place solution of the End-to-end Driving Track at the CVPR 2025 Autonomous Grand Challenge

Coding Agents with Multimodal Browsing are Generalist Problem Solvers

Aditya Bharat Soni, Boxuan Li, Xingyao Wang, Valerie Chen, Graham Neubig

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CL

MLA-Trust: Benchmarking Trustworthiness of Multimodal LLM Agents in GUI Environments

Xiao Yang, Jiawei Chen, Jun Luo, Zhengwei Fang, Yinpeng Dong, Hang Su, Jun Zhu

机构 * Department of Computer Science & Technology, Institute for AI, BNRist Center, THBI Lab, Tsinghua-Bosch Joint Center for ML（计算机科学与技术系、人工智能研究院、BNRist中心、THBI实验室、清华-博世联合机器学习中心） ； Shanghai Key Lab. of Multidimensional Info. Processing（上海多维信息处理重点实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

NavBench: Probing Multimodal Large Language Models for Embodied Navigation

Yanyuan Qiao, Haodong Hong, Wenqi Lyu, Dong An, Siqi Zhang, Yutong Xie, Xinyu Wang, Qi Wu

机构 * The University of Adelaide（阿德莱德大学） ； The University of Queensland（昆士兰大学） ； CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究中心） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Tongji University（同济大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.CV