视觉大模型 / VLM

Interaction2Code: Benchmarking MLLM-based Interactive Webpage Code Generation from Interactive Prototyping

Interaction2Code: 基于MLLM的交互式网页代码生成基准测试

Jingyu Xiao, Yuxuan Wan, Yintong Huo, Zixin Wang, Xinyi Xu, Wenxuan Wang, Zhiyao Xu, Yuhang Wang, Michael R. Lyu

机构 * The Chinese University of Hong Kong, China（香港中文大学） ； Singapore Management University, Singapore（新加坡管理学院） ； Renmin University of China, China（中国人民大学） ； Tsinghua University, China（清华大学） ； Southwest University, China（西南大学） 纠错

专题命中 GUI与屏幕智能体 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 Interaction2Code提出首个基于MLLM的交互式网页代码生成基准测试，识别MLLM在交互生成中的四个限制并提出四种增强策略。

Comments Published in the Proceedings of the 40th IEEE/ACM International Conference on Automated Software Engineering (ASE 2025)

SSMG-Nav: Enhancing Lifelong Object Navigation with Semantic Skeleton Memory Graph

SSMG-Nav: 通过语义骨架记忆图增强终身物体导航

Haochen Niu, Lantao Zhang, Xingwu Ji, Rendong Ying, Peilin Liu, Fei Wen

机构 * Brain-Inspired Application Technology Center (BATC), Shanghai Jiao Tong University（脑启发应用技术中心（BATC），上海交通大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)

AI总结 SSMG-Nav通过语义骨架记忆图提升终身物体导航，整合多模态信息与持久记忆，优化路径效率与任务成功率。

Comments Accepted by 2026 ICRA

DAM-VLA: A Dynamic Action Model-Based Vision-Language-Action Framework for Robot Manipulation

DAM-VLA：一种基于动态动作模型的视觉-语言-动作框架，用于机器人操作

Xiongfeng Peng, Jiaqian Yu, Dingzhe Li, Yixiang Jin, Lu Xu, Yamin Mao, Chao Zhang, Weiming Li, Sujin Jang, Dongwook Lee, Daehyun Ji

机构 * Advanced Research Lab, Samsung R&D Institute China-Beijing (SRCB)（三星研发中心中国北京先进研究实验室） ； Samsung AI Center, DS Division（三星人工智能中心，DS部门） ； Hanyang University ERICA（翰洋大学ERICA） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)

AI总结 DAM-VLA提出了一种基于动态动作模型的视觉-语言-动作框架，通过整合视觉语言模型与扩散动作模型，提升机器人在复杂任务中的操作精度和适应性。

Comments Accepted to ICRA2026

Efficient Long-Horizon GUI Agents via Training-Free KV Cache Compression

通过无训练KV缓存压缩实现高效的长周期GUI代理

Bowen Zhou, Zhou Xu, Wanli Li, Jingyu Xiao, Haoqian Wang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ST-Lite通过无训练的KV缓存压缩方法，提升GUI代理的解码效率，实现2.45倍加速并保持性能优势。

Neuro-Symbolic Skill Discovery for Conditional Multi-Level Planning

神经符号技能发现用于条件多级规划

Hakan Aktas, Yigit Yildirim, Ahmet Firat Gamsiz, Deniz Bilge Akkoc, Erhan Oztop, Emre Ugur

机构 * Department of Computer Science and Technology The University of Cambridge（计算机科学与技术系 剑桥大学） ； Department of Computer Engineering Bogazici University（计算机工程系 boazici大学） ； SISREC Osaka University（Osaka大学SISREC） 纠错

专题命中 GUI与屏幕智能体 ：visual language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种神经符号学习架构，通过少量演示获取可推广的高级符号技能，并在多级规划中实现复杂任务的执行。

Comments 18 pages, 4 figures

LAD-Drive: Bridging Language and Trajectory with Action-Aware Diffusion Transformers

LAD-Drive: 通过动作感知扩散变换器弥合语言与轨迹

Fabian Schmidt, Karol Fedurko, Markus Enzweiler, Abhinav Valada

机构 * Institute for Intelligent Systems, Esslingen University of Applied Sciences（智能系统研究所，埃斯林根应用科学大学） ； Department of Computer Science, University of Freiburg（计算机科学系，弗赖堡大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 LAD-Drive通过动作感知扩散变换器，将语言模型的意图与连续轨迹生成结合，提升自动驾驶中的多模态规划能力。

Fair in Mind, Fair in Action? A Synchronous Benchmark for Understanding and Generation in UMLLMs

公平在心，公平在行？一个用于理解与生成的同步基准：UMLLMs的公平性评估

Yiran Zhao, Lu Zhou, Xiaogang Xu, Zhe Liu, Jiafei Wu, Liming Fang

机构 * Nanjing University of Aeronautics and Astronautics（南京航空航天大学） ； The Chinese University of Hong Kong（香港中文大学） ； School of Software Technology, Zhejiang University（浙江大学软件学院） ； Ningbo Global Innovation Center, Zhejiang University（浙江大学宁波全球创新中心） ； Collaborative Innovation Center of Novel Software Technology and Industrialization（新型软件技术与产业化协同创新中心） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 IRIS基准通过同步评估UMLLMs的理解与生成任务公平性，揭示系统性偏见现象并提供公平性优化指导。

Comments Accepted to ICLR 2026

M$^2$: Dual-Memory Augmentation for Long-Horizon Web Agents via Trajectory Summarization and Insight Retrieval

M$^2$: 通过轨迹摘要和洞察检索实现长 horizon 网络代理的双记忆增强

Dawei Yan, Haokui Zhang, Guangda Huzhang, Yang Li, Yibo Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Ying Li, Wei Dong, Chunhua Shen

机构 * Northwestern Polytechnical University, Xi'an, China（西北工业大学） ； AI Business, Alibaba Group, Hangzhou, China（阿里云人工智能业务） ； Xi'an University of Architecture（西安建筑科技大学） ； Zhejiang University, Hangzhou, China（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 M$^2$通过双记忆机制提升长 horizon 网络代理的上下文效率和决策鲁棒性，实现更高成功率和更低计算成本。