视觉大模型 / VLM

ActiveVLA: Injecting Active Perception into Vision-Language-Action Models for Precise 3D Robotic Manipulation

ActiveVLA: 向视觉-语言-动作模型注入主动感知以实现精确的3D机器人操控

Zhenyang Liu, Yongchong Gu, Yikai Wang, Xiangyang Xue, Yanwei Fu

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 ActiveVLA通过引入主动感知能力，提升机器人在复杂环境中的高精度3D操控性能。

Does GenAI Make Usability Testing Obsolete?

生成式AI会使可用性测试过时吗？

Ali Ebrahimi Pourasad, Walid Maalej

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出UX-LLM，一种基于大视觉语言模型的可用性问题预测工具，虽无法完全替代传统测试，但可作为补充，尤其适用于资源有限的小型团队。

Comments Accepted for publication at The 47th IEEE/ACM International Conference on Software Engineering ICSE 2025

Learning Diffusion Policy from Primitive Skills for Robot Manipulation

从基本技能学习扩散策略用于机器人操作

Zhihao Gu, Ming Yang, Difan Zou, Dong Xu

机构 * Dong Xu（东旭教授） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出SDP，一种基于技能的扩散策略，通过整合可解释的技能学习与条件动作规划，提升机器人操作中技能一致性与性能。

Comments Accepted to AAAI2026

MAction-SocialNav: Multi-Action Socially Compliant Navigation via Reasoning-enhanced Prompt Tuning

MAction-SocialNav: 通过推理增强的提示调优实现多动作社交合规导航

Zishuo Wang, Xinyu Zhang, Zhuonan Liu, Tomohito Kawabata, Daeun Song, Xuesu Xiao, Ling Xiao

机构 * Graduate School of Information Science and Technology, Hokkaido University（信息科学与技术研究生院，北海道大学） ； Graduate School of Computer Science, George Mason University（计算机科学研究生院，乔治·梅森大学） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

AI总结 MAction-SocialNav通过推理增强的提示调优实现多动作社交合规导航，提升决策质量与安全性，效率高于现有模型。

ETP-R1: Evolving Topological Planning with Reinforcement Fine-tuning for Vision-Language Navigation in Continuous Environments

连续环境中的视觉-语言导航（VLN-CE）需要一个具身体验的智能体在连续环境中导航至目标，遵循自然语言指令。虽然当前基于图的方法通过将环境抽象为拓扑地图并简化动作空间到路径选择，提供了一种高效、结构化的方法，但它们在利用大规模数据和先进训练范式方面落后于基于大视觉-语言模型（LVLMs）的方法。在本文中，我们通过引入ETP-R1框架，将数据扩展和强化微调（RFT）范式应用于基于图的VLN-CE模型，以弥合这一差距。

Shuhao Ye, Sitong Mao, Yuxiang Cui, Xuan Yu, Shichao Zhai, Wen Chen, Shunbo Zhou, Rong Xiong, Yue Wang

机构 * Zhejiang University（浙江大学） ； Huawei Technologies Co., Ltd（华为技术有限公司） ； Zhejiang Humanoid Robot Innovation Center（浙江人形机器人创新中心） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 ETP-R1通过数据扩展和强化微调范式，提升基于图的连续环境视觉-语言导航性能，实现新状态最先进的表现。

Comments 8 pages, 6 figures

CoDrone: Autonomous Drone Navigation Assisted by Edge and Cloud Foundation Models

CoDrone：由边缘和云基础模型辅助的自主无人机导航

Pengyu Chen, Tao Ouyang, Ke Luo, Weijie Hong, Xu Chen

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 CoDrone通过整合云-边-端协作计算框架和基础模型，提升无人机自主导航性能，实现更高效和精确的环境感知与动态适应。

Comments This paper is accepted by the IEEE Internet of Things Journal (IoT-J) for publication in the Special Issue on "Augmented Edge Sensing Intelligence for Low-Altitude IoT Systems"

LoLA: Long Horizon Latent Action Learning for General Robot Manipulation

LoLA：面向通用机器人操作的长周期隐式动作学习

Xiaofan Wang, Xingyu Gao, Jianlong Fu, Zuolei Li, Dean Fortier, Galen Mullins, Andrey Kolobov, Baining Guo

机构 * Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Microsoft Research（微软研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 LoLA通过整合长期多视角观察和机器人本体感觉，实现长周期、语言引导的机器人操作任务，显著优于现有方法。

H-GAR: A Hierarchical Interaction Framework via Goal-Driven Observation-Action Refinement for Robotic Manipulation

H-GAR: 一种通过目标驱动的观察-动作细化的分层交互框架用于机器人操控

Yijie Zhu, Rui Shao, Ziyang Liu, Jie He, Jizhihui Liu, Jiuru Wang, Zitong Yu

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 H-GAR通过目标驱动的观察-动作细化分层框架提升机器人操控的准确性和一致性。

Comments Accepted to AAAI 2026 (Oral), Project Page: https://github.com/JiuTian-VL/H-GAR

Feasibility of Embodied Dynamics Based Bayesian Learning for Continuous Pursuit Motion Control of Assistive Mobile Robots in the Built Environment

基于具身动力学的贝叶斯学习在辅助移动机器人连续追击运动控制中的可行性

Xiaoshan Zhou, Carol C. Menassa, Vineet R. Kamat

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出基于具身动力学的贝叶斯学习方法，有效提升辅助移动机器人在复杂环境中的连续追击运动控制性能。

Comments 37 pages, 9 figures, and 7 tables

RoboAfford++: A Generative AI-Enhanced Dataset for Multimodal Affordance Learning in Robotic Manipulation and Navigation

Xiaoshuai Hao, Yingbo Tang, Lingfeng Zhang, Yanbiao Ma, Yunfeng Diao, Ziyu Jia, Wenbo Ding, Hangjun Ye, Long Chen

机构 * Xiaomi EV（小米电动车） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学 Gallagher人工智能学院） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

JPRO: Automated Multimodal Jailbreaking via Multi-Agent Collaboration Framework

Yuxuan Zhou, Yang Bai, Kuofeng Gao, Tao Dai, Shu-Tao Xia

专题命中 GUI与屏幕智能体 ：VLM(abstract)

Team Xiaomi EV-AD VLA: Caption-Guided Retrieval System for Cross-Modal Drone Navigation -- Technical Report for IROS 2025 RoboSense Challenge Track 4

Lingfeng Zhang, Erjia Xiao, Yuchen Zhang, Haoxiang Fu, Ruibin Hu, Yanbiao Ma, Wenbo Ding, Long Chen, Hangjun Ye, Xiaoshuai Hao

机构 * Tsinghua University（清华大学） ； Xiaomi EV（小米电动车） ； Georgia Institute of Technology（佐治亚理工学院） ； National University of Singapore（新加坡国立大学） ； The Chinese University of Hong Kong（香港中文大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

PFEA: An LLM-based High-Level Natural Language Planning and Feedback Embodied Agent for Human-Centered AI

Wenbin Ding, Jun Chen, Mingjia Chen, Fei Xie, Qi Mao, Philip Dames

机构 * School of Electrical and Automation Engineering, Nanjing Normal University（南京师范大学电气与自动化工程学院） ； Department of Mechanical Engineering, Temple University（Temple大学机械工程系） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

EmbodiedCoder: Parameterized Embodied Mobile Manipulation via Modern Coding Model

Zefu Lin, Rongxu Cui, Chen Hanning, Xiangyu Wang, Junjia Xu, Xiaojuan Jin, Chen Wenbo, Hui Zhou, Lue Fan, Wenling Li, Zhaoxiang Zhang

机构 * University of Chinese Academy of Sciences (UCAS)（中国科学院大学） ； Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所） ； New Laboratory of Pattern Recognition (NLPR)（模式识别新实验室） ； State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS)（多模态人工智能系统国家重点实验室） ； Beihang University（北航） ； Chinese University of Hong Kong（香港大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

Comments Demo Page: https://embodiedcoder.github.io/EmbodiedCoder/

HoMeR: Learning In-the-Wild Mobile Manipulation via Hybrid Imitation and Whole-Body Control

Priya Sundaresan, Rhea Malhotra, Phillip Miao, Jingyun Yang, Jimmy Wu, Hengyuan Hu, Rika Antonova, Francis Engelmann, Dorsa Sadigh, Jeannette Bohg

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Uncertainty-Informed Active Perception for Open Vocabulary Object Goal Navigation

Utkarsh Bajpai, Julius Rückin, Cyrill Stachniss, Marija Popović

机构 * Center for Robotics, University of Bonn（波恩大学机器人中心） ； MAVLab, TU Delft（代尔夫特理工大学MAVLab） ； Lamarr Institute for Machine Learning and Artificial Intelligence（机器学习与人工智能拉马尔研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Comments 7 pages, 3 figures

Journal ref Proceedings of the 2025 European Conference on Mobile Robots (ECMR)

GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness

Kung-Hsiang Huang, Haoyi Qiu, Yutong Dai, Caiming Xiong, Chien-Sheng Wu

机构 * Salesforce AI Research（Salesforce AI研究） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

IA-VLA: Input Augmentation for Vision-Language-Action models in settings with semantically complex tasks

Eric Hannus, Miika Malin, Tran Nguyen Le, Ville Kyrki

机构 * Intelligent Robotics Group at the Department of Electrical Engineering and Automation, School of Electrical Engineering, Aalto University（Aalto大学电气工程学院电气工程与自动化系智能机器人组） ； Biomimetics and Intelligent Systems Group at the Faculty of Information Technology and Electrical Engineering, University of Oulu（奥卢大学信息科技与电气工程学院仿生学与智能系统组） ； Section of Mechanical Technology at the Department of Engineering Technology and Didactics, Technical University of Denmark（丹麦技术大学工程技术与教学系机械技术部门） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

Comments Under review for ICRA 2026

AdaNav: Adaptive Reasoning with Uncertainty for Vision-Language Navigation

Xin Ding, Jianyu Wei, Yifan Yang, Shiqi Jiang, Qianxi Zhang, Hao Wu, Fucheng Jia, Liang Mi, Yuxuan Yan, Weijun Wang, Yunxin Liu, Zhibo Chen, Ting Cao

机构 * University of Science and Technology of China（中国科学技术大学） ； Microsoft Research（微软研究院） ； Nanjing University（南京大学） ； Central South University（中南大学） ； Zhejiang University（浙江大学） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

LaVA-Man: Learning Visual Action Representations for Robot Manipulation

Chaoran Zhu, Hengyi Wang, Yik Lung Pang, Changjae Oh

机构 * Queen Mary University of London（伦敦女王学院） ； University College London（伦敦大学学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

GamerAstra: Supporting 2D Non-Twitch Video Games for Blind and Low-Vision Players through a Multi-Agent Framework

Tianrun Qiu, Changxin Chen, Sizhe Cheng, Xuyang Liu, Xumeng Wang, Zhicong Lu, Yuxin Ma

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Comments 17 pages, 11 figures, 2 tables

Generalist Robot Manipulation beyond Action Labeled Data

Alexander Spiridonov, Jan-Nico Zaech, Nikolay Nikolov, Luc Van Gool, Danda Pani Paudel

机构 * ETH Zurich, Switzerland（苏黎世联邦理工学院，瑞士） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Comments Accepted at Conference on Robot Learning 2025

SINGER: An Onboard Generalist Vision-Language Navigation Policy for Drones

Maximilian Adang, JunEn Low, Ola Shorinwa, Mac Schwager

机构 * Department of Aeronautics and Astronautics, Stanford University（航空与航天系，斯坦福大学） ； Department of Mechanical Engineering, Stanford University（机械工程系，斯坦福大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Embodied Navigation Foundation Model

Jiazhao Zhang, Anqi Li, Yunpeng Qi, Minghan Li, Jiahang Liu, Shaoan Wang, Haoran Liu, Gengze Zhou, Yuze Wu, Xingxing Li, Yuxin Fan, Wenjun Li, Zhibo Chen, Fei Gao, Qi Wu, Zhizheng Zhang, He Wang

机构 * Peking University（北京大学） ； Galbot ； USTC（中国科学技术大学） ； BAAI（百度人工智能研究院） ； University of Adelaide（阿德莱德大学） ； Zhejiang University（浙江大学） ； Differential Robotics Project（差分机器人项目） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Comments Project Page: https://pku-epic.github.io/NavFoM-Web/

Sign Language: Towards Sign Understanding for Robot Autonomy

Ayush Agrawal, Joel Loo, Nicky Zimmerman, David Hsu

机构 * Smart Systems Institute, National University of Singapore（新加坡国立大学智能系统研究所） ； Northeastern University（东北大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Comments This work has been submitted to the IEEE for possible publication

SpecifyUI: Supporting Iterative UI Design Intent Expression through Structured Specifications and Generative AI

Yunnong Chen, Chengwei Shi, Liuqing Chen

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

Comments 27 pages, 12 figures

Enhancing Multi-Robot Semantic Navigation Through Multimodal Chain-of-Thought Score Collaboration

Zhixuan Shen, Haonan Luo, Kexun Chen, Fengmao Lv, Tianrui Li

机构 * Zhixuan Shen, Haonan Luo, Kexun Chen, Fengmao Lv, Tianrui Li（作者） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

Comments 16 pages, 10 figures, Extended Version of accepted AAAI 2025 Paper

AI-Supported Mini-Labs: Combining Smartphone-Based Experiments and Multimodal AI

Jochen Kuhn, David J. Rakestraw, Stefan Küchemann, Patrik Vogt

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

MVISU-Bench: Benchmarking Mobile Agents for Real-World Tasks by Multi-App, Vague, Interactive, Single-App and Unethical Instructions

Zeyu Huang, Juyuan Wang, Longfeng Chen, Boyi Xiao, Leng Cai, Yawen Zeng, Jin Xu

机构 * South China University of Technology（华南理工大学） ； Pazhou Lab（Pazhou 实验室） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

Comments ACM MM 2025

Real-Time 3D Vision-Language Embedding Mapping

Christian Rauch, Björn Ellensohn, Linus Nwankwo, Vedant Dave, Elmar Rueckert

机构 * Technical University of Leoben（莱博恩技术大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)