AI 大模型
视觉语言模型、视觉推理、视觉问答、图文理解和视觉 grounding。
SWITCH：在长时程具身场景中评估和处理具象接口的基准测试
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 SWITCH基准测试通过1170个时间交互视频，评估具象接口在真实第一人称环境中的闭环交互推理，揭示多模态模型在细粒度视觉-时间感知、结果验证和错误恢复方面的不足。
Comments The dataset is available at https://huggingface.co/datasets/BAAI-Agents/SWITCH
WorldBagel：揭示统一多模态模型在视觉-语言-动作-世界建模中的力量
机构 * Georgia Institute of Technology（佐治亚理工学院）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 研究统一多模态模型在视觉-语言-动作-世界建模中的作用，基于BAGEL构建WorldBagel框架，通过多任务机器人操作等实验，发现统一不仅便利，更是学习有效模型的关键因素。
Comments Rejected by ECCV 2026, Arxiv Paper
Kairos: 面向物理AI的原生世界模型栈
机构 * Kairos Team（Kairos团队）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出Kairos原生世界模型栈，通过跨具身数据课程、混合线性时间注意力架构和部署感知系统协同设计，实现世界知识获取、长时程状态保持与高效执行，在具身世界模型等基准上达到顶级性能。
Comments Kairos Technical Report
EgoGapBench：多智能体场景中自我中心动作选择的基准测试
机构 * KAIST AI（韩国科学技术院人工智能研究所） ； Sogang University（成均馆大学） ； Ministry of Science and ICT（科学技术信息通信部）
专题命中 GUI与屏幕智能体 ：MLLM(abstract_cn)；分类 cs.CV、cs.AI
AI总结 提出EgoGapBench基准，用于评估多智能体场景中的自我中心动作选择能力，发现多模态大语言模型表现远逊于人类，且现有自我中心数据微调无法弥合差距。
Comments 15 pages, 2 figures, 8 tables. Code and benchmark are available at https://github.com/jhCOR/EgoGapBench
MindAU: 基于双流流形对齐的脑电条件面部动作单元编辑
机构 * Binghamton University（宾汉姆顿大学） ； Massachusetts General Hospital（马萨诸塞综合医院） ； Harvard Medical School（哈佛医学院）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 提出MindAU框架，通过双流流形对齐将EEG特征与AU文本语义和视觉位移对齐，实现高保真身份保持的面部动作单元编辑。
LUMOS：面向无障碍AI代理的语义操作系统层
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出LUMOS语义层，将操作系统无障碍元数据转化为机器可读蓝图，使AI代理通过结构化UI原语而非截图进行观察-行动循环，降低视觉依赖和成本。
Comments The LUMOS repository is available at https://github.com/thotayogeswarreddy/Lumos.git
ComAct: 通过COM即行动范式重构专业软件操作
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出COM即行动范式，将专业软件交互转化为确定性程序合成，解决GUI代理的脆弱性和API代理的异构性问题；构建ComCADBench基准和ComActor自校正代理，在工业CAD软件上实现SOTA性能。
GUICrafter: 利用海量无标注截图的弱监督GUI智能体
机构 * Tsinghua University（清华大学） ； Tencent Hunyuan（腾讯文脉）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出GUICrafter，一种利用海量无标注截图通过课程学习框架训练GUI智能体的弱监督方法，显著降低对人工标注的依赖，在极少量标注数据下性能超越UI-TARS等先进系统。
RadarTwin：面向移动室内感知的场景特定毫米波雷达仿真与学习
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.LG
AI总结 提出RadarTwin框架，利用3D重建和视觉语言模型推断材料属性，通过物理射线追踪合成FMCW雷达数据，解决雷达数据稀缺问题，仿真训练模型在真实场景中识别物体准确率达95.3%。
针对原生GUI代理的CAPTCHA解决：自动化推理-行动数据生成与自我纠正训练
机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出ReCAP，一种能解决现代交互式CAPTCHA挑战的原生GUI代理，通过自动化数据生成和自我纠正训练提升CAPTCHA解决能力，同时保持通用GUI任务性能。
Comments Accepted to ICML 2026
CustomX: 视频世界模型中的统一角色、动作与场景定制
机构 * Fudan University（复旦大学） ； Microsoft Research（微软研究院） ； University of Waterloo（滑铁卢大学） ； The University of Hong Kong（香港大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出CustomX，结合静态世界生成与可控实体模型，支持用户指定角色在3D场景中执行开放动作，通过条件自回归视频生成保持视觉保真度。
Comments Accepted to ECCV 2026. Project page: https://snowflakewang.github.io/CustomX_Page/
ASCII艺术将LLMs转化为VLA控制器
机构 * Dept. of Computer Science, Dartmouth College（达特茅斯学院计算机科学系） ； Dept. of Electrical and Computer Engineering, Clemson University（克莱姆森大学电气与计算机工程系） ； Dept. of Mechanical and Aerospace Engineering, University of Houston（休斯顿大学机械与航空航天工程系）
专题命中 GUI与屏幕智能体 ：VLM(abstract_cn)；分类 cs.CV、cs.LG
AI总结 通过ASCII表示将视觉观察渲染为文本输入，仅使用文本LLM即可实现VLA式控制，在2D操作任务中表现良好，提供轻量级可解释的模态桥接。
Video2Code: 通过动作感知重访从UI视频生成交互式网页
机构 * University of Waterloo（滑铁卢大学） ； Tsinghua University（清华大学） ； Zhipu AI（智谱AI） ； Beihang University（北京航空航天大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 提出Video2Code方法，通过动作感知重访UI视频中的关键区域，恢复可执行的状态转换，生成HTML/CSS/JavaScript代码，提升多步交互的代码功能正确性。
Comments 31 pages, 21 figures
SCoTT：面向数字孪生的无线感知机器人导航战略链式思维任务规划
机构 * Technical University of Munich（慕尼黑技术大学） ； Virginia Tech（弗吉尼亚理工大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI、cs.LG
AI总结 本文提出SCoTT框架，利用视觉语言模型优化路径收益与轨迹长度，通过分解搜索问题提升无线约束下的路径规划效率，实验显示其性能接近最优动态规划算法且生成更短轨迹。
Journal ref Asilomar Conference on Signals, Systems, and Computers, 2025
See-and-Reach: 视场内的精确视觉语言导航用于无人机
机构 * School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院） ； Faculty of Engineering and Information Technology, University of Technology Sydney（悉尼科技大学工程与信息技术学院） ； School of Computer Science and Technology, Shandong University（山东大学计算机科学与技术学院） ； School of Artificial Intelligence, Shandong University（山东大学人工智能学院） ； School of Computer Science and Artificial Intelligence, Shandong Normal University（山东师范大学计算机科学与人工智能学院） ； Interdisciplinary Research Center of General Artificial Intelligence, Shandong Normal University（山东师范大学通用人工智能跨学科研究中心）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 针对无人机视觉语言导航中目标可见后精确到达能力评估不足的问题，提出UAV-VLN-FOV任务和3DG-VLN框架，通过动态3D方向线索增强细粒度视觉定位与空间对齐，在基准和真实实验中显著提升成功率。
Comments 12 pages, 7 figures
WebSP-Eval：在网站安全与隐私任务上评估网络代理
机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG
AI总结 提出WebSP-Eval框架，通过200个任务实例和自动化评估器，测试多模态大模型在网站安全与隐私任务上的表现，发现状态UI元素（如开关）导致超过45%的任务失败。
Comments Accepted at PETS 2026. Project Page: https://wiscprivacy.com/webspeval/
MaskWAM：统一掩码提示与预测的世界-动作模型
机构 * The Hong Kong University of Science and Technology（香港科技大学） ； Tencent Robotics X（腾讯机器人X实验室） ； Tsinghua University（清华大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 提出MaskWAM，通过统一掩码输入与预测的混合Transformer架构，解决世界-动作模型的空间瓶颈，提升策略泛化能力，在LIBERO等任务上显著优于基线。
面向计算机使用代理的历史感知视觉基础批评家
机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； Capital One ； University of Texas at Austin（德克萨斯大学奥斯汀分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出HiViG框架，通过历史感知的视觉基础多模态批评家，在测试时评估动作并拦截错误，在多个GUI基准上提升成功率。
Comments Code: https://github.com/G-JWLee/HiViG
PointAction: 3D点作为机器人控制的通用动作表示
机构 * University of Pennsylvania（宾夕法尼亚大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.LG
AI总结 提出PointAction框架，通过微调视频生成模型联合预测未来RGB帧和动态3D点图，将点动力学作为与具体本体无关的动作接口，再由扩散动作解码器映射为可执行动作，以减少RGB动作歧义并跨任务/本体迁移。
Comments Project page: https://oriontmt.github.io/pointaction/
从人类视频到机器人操作：基于人类中心数据的可扩展视觉-语言-动作学习综述
机构 * Tsinghua University（清华大学） ； HKUST（香港科技大学） ； Xi’an Jiaotong University（西安交通大学） ； Fudan University（复旦大学） ； Microsoft Research Asia（微软亚洲研究院） ； Peking University（北京大学） ； Microsoft Zurich Project（微软苏黎世实验室）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文综述了如何将丰富的人类视频转化为视觉-语言-动作（VLA）模型的有效知识，分类了四种方法（潜在动作表示、预测世界模型、显式2D监督、显式3D重建），并指出了结构化非结构化视频、跨具身和视角的动作映射、以及评估协议设计三大挑战。
Comments Accepted to IJCAI 2026 Survey Track. Project page: https://aaronfengzy.github.io/HumanCentricToVLA-Survey/
视觉信息在视觉-语言-动作模型驾驶行为中是否起决定性作用？
机构 * Intelligent Transportation Thrust, The Hong Kong University of Science and Technology (Guangzhou)（科技与交通智能 thrust，香港科学与技术大学（广州））
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出结构化多级视觉扰动框架，系统分析VLA驾驶模型对视觉信息的依赖程度，揭示依赖模式随评估方式变化且在不同抽象层次上不均匀。
E3AD：面向以人为中心的端到端自动驾驶的情感感知视觉-语言-动作模型
机构 * McGill University（麦吉尔大学） ； University of Macau（澳门大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Massachusetts Institute of Technology（麻省理工学院） ； University of Washington（华盛顿大学）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 提出E3AD框架，通过连续VAD情感模型和双路径空间推理模块，将情感理解融入视觉-语言-动作模型，实现开放域端到端自动驾驶中的情感感知轨迹规划，在真实数据集上达到SOTA性能。
从归因到行动：激活导向的人本应用
机构 * Fraunhofer Heinrich-Hertz-Institut（弗劳恩霍夫 Heinrich-Hertz 研究所） ； Technische Universität Berlin（柏林技术大学） ； BIFOLD – Berlin Institute for the Foundations of Learning and Data（柏林学习与数据基础研究所）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出结合SAE归因与激活导向的交互式工作流，通过专家访谈验证其能促进从检查到干预的转变，并揭示组件抑制等调试策略及潜在风险。
GUI-Libra：训练原生GUI代理进行推理与行动——基于动作感知监督和部分可验证强化学习
机构 * UIUC（伊利诺伊大学香槟分校） ； Microsoft（微软） ； UNC-Chapel Hill（北卡罗来纳大学教堂山分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.AI、cs.LG
AI总结 提出GUI-Libra训练方案，通过动作感知SFT和部分可验证RL中的KL正则化，解决GUI代理在长程导航任务中推理与定位冲突及部分可验证性问题，显著提升步骤准确率和任务完成率。
Comments 57 pages, 17 figures
VLANeXt: 构建强大VLA模型的配方
机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； SenseTime Research（商汤科技研究院） ； Sun Yat-sen University（中山大学） ； Shanghai Jiao Tong University（上海交通大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文通过统一框架和评估设置重新审视VLA设计空间，系统分析了基础组件、感知要素和动作建模视角，总结出12项关键发现，提出了一种简单有效的VLA模型VLANeXt，并在LIBERO和LIBERO-plus基准测试中超越了现有方法，同时提供了易于使用的代码库。
Comments Accepted in ICML 2026, Project Page: https://dravenalg.github.io/VLANeXt/
基于仿真护理教育的自主学习能力评估：通过第一人称视频进行AI辅助评估
机构 * Vanderbilt University（范德比大学）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出了一种基于第一人称视频的AI辅助评估框架，通过提取动作时间线、序列特征和识别指标，发现识别准确率与能力之间存在负相关关系，表明识别准确率可以作为自动化评估中的教学信息信号。
Comments Accepted at CVPR Workshop
CutVerse: 一个用于媒体后期制作编辑的组合式GUI代理基准测试
机构 * MIPG, Communication University of China（MIPG，中国传媒大学） ； National University of Singapore（新加坡国立大学） ； USEIT AI（USEIT人工智能）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本研究提出CutVerse，一个用于评估自主GUI代理在真实媒体后期制作环境中的能力的基准测试，揭示现有代理在复杂、长周期媒体后期制作工作流中的局限性。
AQuaUI: 用于GUI代理的视觉令牌减少方法基于自适应四叉树
机构 * UC Davis（加州大学戴维斯分校）
专题命中 GUI与屏幕智能体 ：grounding(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出AQuaUI，一种无需训练的推理时GUI代理模型的视觉令牌减少方法，利用屏幕截图中的非均匀信息密度，通过自适应四叉树结构保持令牌位置以确保一致性，并通过条件四叉树算法提升多步骤GUI交互的时序一致性，实验表明其在准确性和效率之间取得了改进。
FUNCanon: 通过功能对象规范化学习姿态感知的动作原语以实现通用的机器人操作
机构 * TAMS (Technical Aspects of Multimodal Systems), Department of Informatics, University of Hamburg（汉堡大学信息学院TAMS（多模态系统技术）） ； Technical University of Munich（慕尼黑技术大学） ； Agile Robots SE（敏捷机器人有限公司）
专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出FUNCanon框架，通过功能对象规范化学习姿态感知的动作原语，以实现通用的机器人操作，该方法将长周期操作任务分解为由主体、动词和对象定义的动作片段，从而提升策略的可组合性和可重用性。
Comments project website: https://sites.google.com/view/funcanon, 11 pages
LightZeroNav: 基于轻量级VLMs的连续环境中零样本视觉语言导航
机构 * Foshan Graduate School of Innovation, Northeastern University（创新研究生院，东北大学） ； Faculty of Robot Science and Engineering, Northeastern University（机器人科学与工程学院，东北大学） ； School of Aeronautic Science and Engineering, Beihang University（航空科学与工程学院，北航） ； QingniaoAI, China（清北AI，中国）
专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV、cs.AI
AI总结 本文提出LightZeroNav，通过轻量级VLMs解决连续环境中零样本视觉语言导航的三大瓶颈，无需特定训练或图搜索，在RGB观测和轻量级Qwen3-VL-8B模型下实现与GPT-4o相当的性能。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈