视觉大模型 / VLM

SCoPE VLM: Selective Context Processing for Efficient Document Navigation in Vision-Language Models

SCoPE VLM：面向视觉语言模型高效文档导航的 selective context processing

Gyubeum Lim, Yemo Koo, Vijay Krishna Madisetti

机构 * Georgia Institute of Technology（佐治亚理工学院） ； Konkuk University（韩国康克伦大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(title,abstract)；VLM(title,abstract)；分类 cs.CV

AI总结 SCoPE VLM通过引入滚动链机制和定制强化学习方法，实现高效文档导航，提升视觉语言模型在多页文档问答中的代理阅读能力。

GhostUI: Unveiling Hidden Interactions in Mobile UI

GhostUI: 解蔽移动UI中的隐藏交互

Minkyu Kweon, Seokhyeon Park, Soohyun Lee, You Been Lee, Jeongmin Rhee, Jinwook Seo

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI

AI总结 GhostUI通过提供隐藏交互数据集，提升移动应用中VLMs对隐含手势的识别和任务自动化能力。

Comments Accepted at ACM CHI Conference on Human Factors in Computing Systems (CHI '26)

MIP against Agent: Malicious Image Patches Hijacking Multimodal OS Agents

针对代理的恶意图像补丁：多模态操作系统代理劫持

Lukas Aichberger, Alasdair Paren, Guohao Li, Philip Torr, Yarin Gal, Adel Bibi

机构 * Johannes Kepler University Linz（约翰内斯·开普勒大学林茨） ； University of Oxford（牛津大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.LG

AI总结 本文提出恶意图像补丁（MIPs）攻击，通过篡改屏幕区域使多模态OS代理执行有害操作，揭示了OS代理的安全漏洞。

Comments NeurIPS 2025