多模态大模型

Volumetric Radiology AI in the Era of Multimodal Large Language Models

多模态大语言模型时代的容积放射学人工智能

Zanting Ye, Shengyuan Liu, Xin Liu, Chenhui Wang, Zhisong Wang, Jiashuai Liu, Zipei Wang, Cheng Wang, Wentao Pan, Mengjie Fang, Di Dong, Mohammad Salmanpour, Arman Rahmim, Yu Gu, Yong Xia, Hongming Shan, Yixuan Yuan, Yefeng Zheng, Lijun Lu

机构 * Fudan University（复旦大学） ； Northwestern Polytechnical University（西北工业大学） ； Xi’an Jiaotong University（西安交通大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Southern Medical University（南方医科大学） ； The Chinese University of Hong Kong（香港中文大学） ； University of British Columbia（不列颠哥伦比亚大学） ； Microsoft Research（微软研究院） ； Westlake University（西湖大学） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 该综述梳理截至2026年7月的200余篇文献，探讨多模态大语言模型时代容积放射学AI的表征、智能体系统及临床评估，提出相关框架以明确原生容积建模的适用场景。

Comments 9 Figures, 6 tables

Representation Affects Retrieval: A Case Study of Skill Discovery and Routing in a Multimodal Agent Harness

表征影响检索：多模态智能体框架中技能发现与路由的案例研究

Kevin Dela Rosa

机构 * Cloudglue USA（美国Cloudglue公司） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究以多模态智能体框架Tinycloud为案例，发现提示内技能的部分暴露会产生词汇竞争，抑制正确技能选择，其为大规模技能路由提供了小规模视角。

Comments 5 pages, 1 figure, 3 tables. Accepted at AgentSearch '26 workshop at SIGIR 2026 (Melbourne, Australia, July 24, 2026)

A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications

多模态智能体框架的基础与前沿：技术及应用综述

Neel Mokaria, Rishie Raj, Dheeraj Baiju, Xiaoqian Shen, Shraman Pramanick, Kevin Qinghong Lin, Arda Senocak, Mike Zheng Shou, Philip Torr, Mohamed Elhoseiny, Yapeng Tian, Ruohan Gao, Salman Khan, Sayan Nag, Sanjoy Chowdhury, Dinesh Manocha

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 本综述针对多模态在智能体框架核心模块的作用展开系统分析，梳理了其架构整合方式、应用领域及效率权衡，为通用智能系统研究指明方向。

Comments Accepted at TMLR

A Collaborative Multi-Modality Interaction for VLA-based End-to-End Autonomous Driving

面向基于视觉-语言-动作（VLA）的端到端自动驾驶的协同多模态交互

Jingtao Sun, Xiaohai He, Yike Zhang, Dong Huang, Yaonan Wang, Ajmal Mian, Mike Zheng Shou

机构 * National University of Singapore (NUS)（新加坡国立大学） ； Hunan University（湖南大学） ； The University of Western Australia (UWA)（西澳大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 本文针对现有VLA自动驾驶模型决策不可靠、多模态交互不足的问题，提出含三类核心组件的多模态交互与多轨迹规划系统，实验显示其在安全推理与场景感知上优于现有系统。

Belief Without Behavior: Measuring the Translation of Theory of Mind into Coordinated Social Action in Vision-Language Models

无行为的信念：测量视觉-语言模型中心智理论到协同社会行动的转化

Tonglin Yan, Gregoire Sergeant-Perthuis, David Rudrauf

机构 * CIAMS, Université Paris-Saclay（巴黎萨克雷大学 CIAMS） ； CQSB, Sorbonne Université（索邦大学 CQSB） 纠错

专题命中 多模态Agent ：multimodal(abstract,abstract_cn)；分类 cs.AI

AI总结 该研究提出基准MOSAIC评估视觉-语言模型的心智理论到协同社会行动的转化，发现多数模型存在瓶颈，而带显式ToM模块的PCM-LLM表现优异，证实显式信念-行动耦合的作用。

AEGIS: Preventing Cross-Domain Resource Abuse in MCP

AEGIS：防止MCP中的跨域资源滥用

Shriti Priya, Teryl Taylor, Frederico Araujo

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出AEGIS，该组件借助LLM将MCP工具调用归一化为统一表示，结合Open Policy Agent与ContextForge AI Gateway，可防止跨异构MCP工具和模态的资源滥用。

Large Scale AI Grading of Handwritten Physics Assessments: Score Agreement and Olympiad Team Selection Outcomes

大规模AI手写物理评估评分：评分一致性与奥林匹克团队选拔结果

Praveen Pathak, Siddharth Tiwary, Charudatt Kadolkar, Vijay Singh, David Rakestraw, Shirish Pathare, Anwesh Mazumdar

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本研究评估基于GPT-5.5的AI对三类物理手写评估的评分表现，其与官方评分相关性高且能准确选拔奥林匹克团队，第二轮评分优化了一致性，AI评分可作为考官控制下的辅助评分工具。

Your Harness is Not Secure: Benchmarking Real-world Threat of Command Line Interface Agent

你的工具不安全：评测命令行界面智能体的现实威胁

Weidi Luo, Qiming Zhang, Tianyu Lu, Xiaogeng Liu, Bin Hu, Hung-Chun Chiu, Siyuan Ma, Yizhe Zhang, Xusheng Xiao, Yinzhi Cao, Zhen Xiang, Chaowei Xiao

专题命中 多模态Agent ：multimodal(abstract)

AI总结 该研究针对CLI智能体滥用风险，推出与MITRE ATT&CK对齐的AdvCLI基准测试，评估7款CLI智能体后发现其常越过拒绝边界，可完成部分恶意OS级任务，为开发安全机制提供测试平台。

Comments Accepted by EMNLP 2026 (Findings)