多模态大模型

What's Missing in Screen-to-Action? Towards a UI-in-the-Loop Paradigm for Multimodal GUI Reasoning

屏幕到动作中缺失了什么？面向多模态GUI推理的UI-in-the-Loop范式

Songze Li, Xiaoke Guo, Tianqi Liu, Biao Yi, Zhaoyan Gong, Zhiqiang Liu, Huajun Chen, Wen Zhang

机构 * Zhejiang University（浙江大学） ； ZJU-Ant Group Joint Lab of Knowledge Graph（浙大蚂蚁集团知识图谱联合实验室） 纠错

专题命中 多模态Agent ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出UI-in-the-Loop (UILoop) 范式，通过循环的屏幕-UI元素-动作过程，让多模态大模型显式学习UI元素的定位、语义和用法，实现可解释推理，并在UI理解任务上达到最优。

Comments Accepted by ACL 2026 Findings

Attention Dynamics and Adaptive Decision Support in C5ISR: A Recurrence Quantification Analysis of Visual and Multimodal Attention Guidance Effects on Mission Performance

C5ISR中的注意力动态与自适应决策支持：视觉与多模态注意力引导对任务绩效影响的递归量化分析

Hyun-Gee Jei, Caleb J. Armstrong, Farzan Sasangohar

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 本研究通过递归量化分析眼动数据，探讨了视觉与多模态自适应决策支持工具在C5ISR环境中的效果，发现多模态工具显著提升绩效，且递归度量与绩效存在线性和非线性关系。

Comments 11 Figures, 3 Tables

Context-Aware Workflow Decomposition for Automated Mobile UI Annotation Using Multimodal Large Language Models

基于多模态大语言模型的上下文感知工作流分解用于自动移动界面标注

Athar Parvez, Muhammad Jawad Mufti, Muqaddas Gull, Omar Hammad

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 提出一种将标注任务分解为多个上下文感知阶段的工作流方法，通过结构化提示、模式约束JSON输出和元素特定指令，在MUIAnno数据集上评估不同分解策略，发现两步工作流在精度上最优。

MetaForge: A Self-Evolving Multimodal Agent that Retrieves, Adapts, and Forges Tools On Demand

MetaForge：一种自我进化的多模态智能体，可按需检索、适应和锻造工具

Shouang Wei, Houcheng Min, Xinpeng Dong, Xin Lin, Sen Cui, Bo Jiang, Zhongxiang Dai, Kun Kuang, Guandong Xu, Fei Wu, Min Zhang

专题命中 多模态Agent ：multimodal(title,abstract)

AI总结 提出MetaForge框架，通过决策-检索-适应-锻造-回收的闭环机制，使多模态智能体能够按需自我进化工具集，在12个基准测试中超越16个基线方法，提升了准确性、效率和泛化能力。

Limits of Spatial Imagery Reasoning in Frontier LLM Models

前沿大语言模型在空间意象推理中的局限性

Sergio Y. Hayashi, Nina S. T. Hirata

机构 * Institute of Mathematics and Statistics – University of São Paulo（数学统计研究所 – 圣保罗大学） 纠错

专题命中 多模态Agent ：MLLM(abstract,abstract_cn)；分类 cs.CV、cs.AI

AI总结 本研究通过引入外部“意象模块”辅助3D模型旋转任务，发现即使外包整体3D状态维护，前沿模型仍缺乏基础视觉空间原语，导致准确率最高仅62.5%。

Comments 25 pages. v2: Title updated; added a section on object/spatial imagery and propositional reasoning; added new experimental results for the single-object rotation probe

HLL: Can Agents Cross Humanity's Last Line of Verification?

HLL：智能体能否跨越人类最后一道验证防线？

Xinhao Song, Su Su, Sirui Song, Hongliang Wu, Wen Shen, Zhihua Wei, Gongshen Liu, Linfeng Zhang, Dongrui Liu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shandong University（山东大学） ； Tongji University（同济大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 提出HLL基准，通过交互式CAPTCHA验证评估多模态智能体在受保护工作流中替代人类的能力，发现当前智能体在定位、动作校准、状态跟踪和过程一致性方面存在脆弱性。

Comments 27 pages, 14 figures

MMG2Skill: Can Agents Distill In-the-Wild Guides into Self-Evolving Skills?

MMG2Skill: 智能体能否从野外指南中提炼出自我进化的技能？

Xinyu Che, Junqi Xiong, Yunfei Ge, Xinping Lei, Shihao Li, Hang Yan, Han Li, Yuanxing Zhang, Zhiqi Bai, Jinhua Hao, Ming Sun, Han Li, Jiaheng Liu

机构 * Nanjing University（南京大学） ； Kuaishou Technology（快手科技） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 提出MMG2Skill框架，将多模态异构的野外指南编译为可编辑技能，通过轨迹级根因反馈持续改进，在GUI控制、开放游戏和策略卡牌任务中显著提升VLM智能体性能。

Comments 35 pages, 12 figures, 13 tables. Code: https://github.com/NJU-LINK/MMG2Skill

An Open-Source Benchmark and Baseline for Multi-temporal Referring Segmentation

多时相指代分割的开源基准与基线

Bingyu Li, Da Zhang, Tao Huo, Zhiyuan Zhao, Junyu Gao, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究所） ； China Telecom（中国电信） ； School of Artificial Intelligence, Optics and Electronics (iOPEN)（人工智能、光学与电子学院） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 多模态Agent ：image-text(abstract)；分类 cs.CV、cs.AI

AI总结 提出多时相指代分割任务，通过自动化数据构建管道CRAFT-Agent生成首个基准MTRefSeg-21K，并设计两阶段训练的变化感知LVLM框架MTRefSeg-R1，实现优于现有基线的性能。

RescueBench: Can Embodied Agents Save Lives in the Wild ?

RescueBench: 具身智能体能否在野外拯救生命？

Kui Wu, Beiyu Guo, Hao Chen, ShuHang Xu, Yuling Li, Yongdan Zeng, Zhoujun Li, Yizhou Wang, Fangwei Zhong

机构 * Beihang University（北京航空航天大学） ； Beijing Normal University（北京师范大学） ； Peking University（北京大学） ； City University of Macau（澳门城市大学） ； ATEC2025 Challenge Committee（ATEC2025挑战委员会） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出 RescueBench，一个四阶段流水线的逼真诊断基准，用于评估具身智能体在搜索与救援任务中的探索、记忆和交互能力，并揭示探索和记忆失败如何传播。

Agent Skills Should Go Beyond Text: The Case for Visual Skills

Agent技能应超越文本：视觉技能的必要性

Binxiao Xu, Ruichuan An, Bocheng Zou, Hang Hua

机构 * Peking University（北京大学） ； University of Wisconsin（威斯康星大学） ； MIT-IBM Watson AI Lab（麻省理工-IBM沃森人工智能实验室） 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 针对现有技能学习方法仅存储文本经验导致视觉任务瓶颈的问题，提出多模态技能范式，结合文本逻辑与视觉支持，通过自动系统将经验转化为可复用的视觉技能，在GUI等视觉任务中显著优于纯文本技能。

SKIP: Sparse Keyframe Interpolation Paradigm for Efficient Embodied World Models

SKIP: 用于高效具身世界模型的稀疏关键帧插值范式

Ziheng He, Yixiang Chen, Ning Yang, Zhanqian Wu, Qisen Ma, Yuan Xu, Jiabing Yang, Peiyan Li, Xiangnan Wu, Xiaofeng Wang, Zheng Zhu, Jing Liu, Nianfeng Liu, Yan Huang

机构 * UCAS（中国科学院自动化研究所） ； CASIA（中国科学院自动化研究所） ； NJU（南京大学） ； GigaAI ； THU（清华大学） ； FiveAges 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.CV

AI总结 提出稀疏关键帧插值范式(SKIP)，通过识别任务相关关键帧并仅生成这些帧，再基于机器人动作插值缺失帧，实现高效视频生成，在LIBERO上速度提升4.16倍，FVD降低89%，且生成视频作为训练数据时策略性能下降极小。

Comments 25 pages, 10 figures

Silent Failures in Physical AI: A Literature Review of Runtime Action Authorization for Autonomous Systems

物理AI中的静默故障：自主系统运行时动作授权的文献综述

Barak Or

机构 * STATE16 纠错

专题命中 多模态Agent ：multimodal(abstract)；分类 cs.AI

AI总结 本文综述了物理AI系统中黑箱模型发出看似合理但实际错误的物理动作导致的静默故障问题，提出了运行时防护栏的分类和评估要求。

Comments 23 pages

Agentic AI for Remote Sensing: Technical Challenges and Research Directions

Agentic AI 在遥感中的应用：技术挑战与研究方向

Muhammad Akhtar Munir, Muhammad Umer Sheikh, Akashah Shabbir, Muhammad Haris Khan, Fahad Khan, Xiao Xiang Zhu, Begüm Demir, Salman Khan

机构 * Mohamed bin Zayed University of Artificial Intelligence（莫扎德·本·扎耶德人工智能大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 本文指出遥感中的多步分析工作流存在结构性的地理空间约束，提出面向地球观测的原生智能体设计原则，包括结构化地理空间状态、工具感知推理、验证器引导执行和有效性感知学习评估。

Comments 31 pages. Position Paper

CountGD++: Generalized Prompting for Open-World Counting

CountGD++: 面向开放世界计数的通用提示

Niki Amini-Naieni, Andrew Zisserman

机构 * Visual Geometry Group (VGG)（视觉几何组（VGG）） ； University of Oxford, UK（牛津大学，英国） 纠错

专题命中 多模态Agent ：multi-modal(abstract)；分类 cs.CV

AI总结 提出CountGD++模型，通过扩展提示方式（包括负样本描述、伪示例自动标注和外部图像示例）提升开放世界计数的灵活性、准确性和泛化能力。

Comments CVPR 2026

ATLAS: Agentic Test-time Learning-to-Allocate Scaling

ATLAS: 智能体测试时学习分配缩放

Peijia Qin, Qi Cao, Pengtao Xie

机构 * University of California, San Diego（加州大学圣迭戈分校） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出ATLAS框架，让LLM编排器通过单一

Wall-OSS-0.5 Technical Report

Wall-OSS-0.5 技术报告

Ryan Yu, Pushi Zhang, Starrick Liu, Brae Liu, Miracle Kang, Shalfun Li, Lights Shi, Ellie Ma, Ping Yang, Chris Pan, Jerry Chen, Dongxiu Liu, Rain Sun, Miles Guo, Byron Zhang, Hugo Zhou, Zach Xu, Vincent Chen, Harrison Huang, James Wang, Dance Kuzi, Andy Zhai, Hang Su, Roy Gan, Lucy Liang, Hao Wang, Qian Wang

专题命中 多模态Agent ：multimodal(abstract)

AI总结 本文提出Wall-OSS-0.5，一个基于3B VLM骨干网络并增强动作生成组件的4B开源VLA模型，通过梯度桥接联合训练策略，在超过20个实体上预训练，实现零样本真实机器人行为，并在微调后超越π_0.5，证明VLA预训练本身即可产生可执行的机器人能力。

Adversarial Dual On-Policy Distillation from Expressive Teacher

来自表达性教师的对抗性双在线策略蒸馏

Zhenglin Wan, Jingxuan Wu, Xingrui Yu, Chubin Zhang, Mingcong Lei, Bo An, Ivor W. Tsang, Yang You

机构 * National University of Singapore（新加坡国立大学） ； University of Technology Sydney（悉尼大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 多模态Agent ：multi-modal(abstract)

AI总结 提出FA-OPD方法，通过对抗性双在线策略蒸馏，结合流匹配教师和轻量MLP学生，利用奖励和动作双通道信号，在机器人导航、操作和运动任务中优于强基线，且对噪声和有限演示鲁棒。

Comments arXiv admin note: substantial text overlap with arXiv:2510.09222

Learning Transferable Motor Skills for Geometry-Aware Robotic Surface Tasks

面向几何感知的机器人表面任务的可迁移运动技能学习

Miroslav David, Karla Stepanova, Robert Babuska

机构 * Czech Institute of Informatics, Robotics, and Cybernetics（捷克信息学、机器人学与自动化研究所） ； Czech Technical University in Prague（布拉格捷克技术大学） ； Delft University of Technology（代尔夫特理工大学） 纠错

专题命中 多模态Agent ：multimodal(abstract)

AI总结 提出一种模块化框架，将几何运动规划与执行级专家行为解耦，通过可解释的原子运动规则和神经网络推断，实现跨几何形状的迁移学习。

Comments In: Workshop on Geometry in the Age of Data-Driven Robotics, ICRA 2026, Vienna, 2026

MLLM-Microscope: Unlocking Hidden Structure Within Multimodal Large Language Models

MLLM-Microscope：解锁多模态大语言模型中的隐藏结构

Ravil Mussabayev, Rustam Mussabayev

机构 * Satbayev University（萨特拜耶夫大学） 纠错

专题命中 多模态训练与对齐 ：MLLM(title,title_cn)；multimodal(title,abstract)；分类 cs.CL、cs.AI

AI总结 提出MLLM-Microscope系统，通过分析线性度、内在维度和各向异性，揭示多模态大语言模型中隐藏的表示结构，并基于ScienceQA数据集评估LLaVA-NeXT和OmniFusion，发现模态融合方式显著影响模型内部工作机理。

MMTalker: Multiresolution 3D Talking Head Synthesis with Multimodal Feature Fusion

MMTalker: 多分辨率3D说话头合成与多模态特征融合

Bin Liu, Zhixiang Xiong, Zhifen He, Bo Li

机构 * IEEE Publication Technology Group（IEEE出版技术组） ； Piscataway, NJ（新泽西州皮萨卡威） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 提出一种基于多分辨率表示和多模态特征融合的3D语音驱动面部动画合成方法MMTalker，通过网格参数化、非均匀可微采样、残差图卷积网络和双交叉注意力机制，实现高唇同步精度和逼真面部表情。

Comments This article presents only the preliminary research results, which are not yet complete and lack necessary supplementary experiments. The author has decided to withdraw it to improve the research work, and will submit a more complete version in the future

UF-AMA: A unified framework for cross-domain emotion recognition via adaptive multimodal alignment

UF-AMA: 通过自适应多模态对齐的跨域情感识别统一框架

Zheng Wang, Shuo Wang, Junhong Wang

机构 * Institute of Advanced Technology, University of Science and Technology of China（中国科学技术大学先进技术研究院） ； Department of Electronic Engineering and Information Science, University of Science and Technology of China（中国科学技术大学电子工程与信息科学系） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合国家科学中心人工智能研究院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；cross-modal(abstract)；分类 cs.CV、cs.AI

AI总结 提出一种统一框架UF-AMA，利用自适应多模态对齐和置信度感知筛选机制，解决跨主体和跨会话的生理信号情感识别中的分布偏移问题，在SEED和SEED-IV数据集上达到最优性能。

Attention-guided Fine-tuning of Multimodal Large Language Models Improves Chain-of-Thought Reasoning

注意力引导的多模态大语言模型微调提升思维链推理能力

Sanchit Sinha, Guangzhi Xiong, Bohan Liu, Zhenghao He, Aidong Zhang

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 针对多模态大语言模型中思维链推理效果不佳的问题，提出注意力引导的微调目标Attentive-CoT，通过延迟答案承诺和维持视觉令牌访问来提升推理性能。

Benign Inputs, Harmful Outputs: Cross-Modal Jailbreaking via Distributed Semantic Recomposition

良性输入，有害输出：通过分布式语义重组的跨模态越狱

Yani Wang, Yilong Yang, Yang Liu, Zhuzhu Wang, Zuobin Ying, Zhuo Ma

专题命中 多模态训练与对齐 ：cross-modal(title,abstract)；multimodal(abstract)

AI总结 提出分布式语义重组（DSR）框架，将有害意图分解为良性文本和视觉基元，利用多模态大模型的推理能力在跨模态推理阶段融合为有害输出，实现高攻击成功率且输入毒性极低。

Comments 11 pages, 5 figures

Learning Multi-Modal Trajectory Policies for Data-Efficient Robotic Manipulation

学习多模态轨迹策略以实现数据高效的机器人操作

Zijia Chen, Yuenan Hou, Xinhua Jiang, Yu Li, Weijie Li, Li Liu

机构 * College of Electronic Science and Technology, National University of Defense Technology（电子科学学院，国防科技大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；cross-modal(abstract)

AI总结 针对机器人操作中数据稀缺导致的多模态干扰问题，提出基于混合专家模型的多模态轨迹预测框架MATE，通过细粒度子令牌特征解耦和跨模态余弦路由器实现稳定专家分配，在LIBERO基准和真实乒乓球实验中取得显著性能提升。

DarkVesselNet: Multi-Modal Remote Sensing and Trajectory Reasoning for Dark Vessel Detection

DarkVesselNet: 用于暗船检测的多模态遥感和轨迹推理

Arun Sharma

机构 * University of Minnesota, Twin Cities（明尼苏达大学，双城分校） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

AI总结 提出DarkVesselNet，融合Sentinel-1 SAR、Sentinel-2光学影像、地理空间基础模型、AIS轨迹推理、TGARD间隙检测和Pi-DPM异常头，实现多模态遥感暗船检测。

CRAM: Centroid-Routing and Adaptive MoE for Multimodal Continual Instruction Tuning

CRAM：面向多模态持续指令调优的质心路由与自适应MoE

Jun-Tao Tang, Zhen-Hao Xie, Yu-Cheng Shi, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University, China（南京大学人工智能学院） ； State Key Laboratory of Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出CRAM方法，通过将任务特定模式隔离到独立模块、自适应秩实例化动态分配参数、质心路由激活现有专家以及正交惩罚约束更新方向，解决了多模态持续指令调优中任务竞争导致遗忘和参数效率低下的问题。

Multi-modal Video Representation Alignment for Robust Self-supervised Driver Distraction Detection

多模态视频表示对齐用于鲁棒的自监督驾驶员分心检测

David J. Lerch, Livien Majer, Zeyun Zhong, Manuel Martin, Frederik Diederichs, Rainer Stiefelhagen

机构 * Fraunhofer IOSB（弗劳恩霍夫智能系统研究所） ； Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一种多模态全局对齐框架，通过软目标和加权机制处理错误负样本和不可靠正样本，在Drive&Act数据集上优于现有方法，实现鲁棒的驾驶员分心检测。

Comments Accepted at the IEEE ITSC 2026

PathAR: Structure-First Autoregressive Synthesis of Multimodal Pathology Images

PathAR: 结构优先的多模态病理图像自回归合成

Yuan Zhang, Jiahao Xia, Junzhang Huang, Meng Wang, Feng Chen, Guanyu Yang, Huazhu Fu

机构 * Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education（新一代人工智能技术及其交叉应用重点实验室（东南大学），教育部） ； Centre for Innovation and Precision Eye Health, Yong Loo Lin School of Medicine, National University of Singapore（创新与精准眼健康中心，新加坡国立大学 Yong Loo Lin 医学院） ； Department of Ophthalmology, Yong Loo Lin School of Medicine, National University of Singapore（眼科学系，新加坡国立大学 Yong Loo Lin 医学院） ； Department of Biostatistics, Center for Global Health, School of Public Health, Nanjing Medical University（生物统计学系，全球健康中心，南京医科大学） ； Institute of High-Performance Computing, Agency for Science, Technology and Research（高性能计算研究所，科技研究局） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出PathAR，一种结构优先的自回归合成框架，通过显式分解结构与外观并使用交错自回归Transformer，实现模态标签条件下的病理图像生成，改善结构一致性和模态保真度。

Comments 12 pages, 7 figures

Feature Alignment Determines Fusion Strategy: A Comparative Study of Cross-Attention and Concatenation in Multimodal Learning

特征对齐决定融合策略：多模态学习中交叉注意力与拼接的比较研究

Zhiqiang Zhou, Xuezhen Xie

机构 * Hunan Chemical Industry Vocational and Technical College（湖南化学工业职业技术学院） 纠错

专题命中 多模态训练与对齐 ：multimodal(title,abstract)；分类 cs.CV

AI总结 通过实验和理论分析，证明特征对齐质量而非数据规模是决定多模态融合策略优劣的关键因素，当特征预对齐时拼接优于交叉注意力。

Comments 8 pages,6 figures,4 tables

Large Language Models in Transportation Systems Management and Operations: From Text Reasoning to Multi-modal Decision Support

交通系统管理与运营中的大语言模型：从文本推理到多模态决策支持

Siyan Li, Zehao Wang, Jiachen Li, Kanok Boriboonsomsin, Matthew J. Barth, Guoyuan Wu

机构 * Bourns College of Engineering, Center for Environmental Research and Technology, University of California at Riverside, CA, USA（伯恩斯工程学院，环境研究与技术中心，加州大学河滨分校，美国，加利福尼亚州河滨） 纠错

专题命中 多模态训练与对齐 ：multi-modal(title,abstract)；分类 cs.AI

AI总结 本文综述了大语言模型（LLM）和多模态大语言模型（MM-LLM）在交通系统管理与运营（TSMO）中的应用，涵盖运营与服务、移动性与车队服务、数据建模与决策支持三大领域，并指出了数据异构性、实时推理、可解释性等挑战及未来方向。

Comments Preprint version