视觉大模型 / VLM

MolmoB0T: Large-Scale Simulation Enables Zero-Shot Manipulation

MolmoB0T：大规模模拟实现零样本操控

Abhay Deshpande, Maya Guru, Rose Hendrix, Snehal Jauhri, Ainaz Eftekhar, Rohun Tripathi, Max Argus, Jordi Salvador, Haoquan Fang, Matthew Wallingford, Wilbert Pumacay, Yejin Kim, Quinn Pfeifer, Ying-Chun Lee, Piper Wolters, Omar Rayyan, Mingtong Zhang, Jiafei Duan, Karen Farley, Winson Han, Eli Vanderbilt, Dieter Fox, Ali Farhadi, Georgia Chalvatzaki, Dhruv Shah, Ranjay Krishna

机构 * Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Princeton University（普林斯顿大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出MolmoB0T，通过大规模模拟数据实现零样本操控，展示了在静态和移动操控任务中，无需真实世界微调即可有效迁移的成果。

TacVLA: Contact-Aware Tactile Fusion for Robust Vision-Language-Action Manipulation

TacVLA: 基于接触感知的触觉融合用于鲁棒的视觉-语言-动作操控

Kaidi Zhang, Heng Zhang, Zhengtong Xu, Zhiyuan Zhang, Md Rakibul Islam Prince, Xiang Li, Xiaojing Han, Yuhao Zhou, Arash Ajoudani, Yu She

机构 * Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia（人机交互实验室，意大利理工学院） ； Ph.D. program of national interest in Robotics and Intelligent Machines (DRIM) and Università di Genova（机器人与智能机器国家级博士项目（DRIM）和热那亚大学） ； Edwardson School of Industrial Engineering, Purdue University（工业工程学院，普渡大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 TacVLA通过引入触觉模态提升视觉-语言-动作操控的鲁棒性，采用接触感知门控机制实现多模态融合，实验显示在拆解、箱内拾取和视觉遮挡场景中性能提升显著。

Comments 9 pages, 7 figures

Task-Aware Positioning for Improvisational Tasks in Mobile Construction Robots via an AI Agent with Multi-LMM Modules

面向即兴任务的移动建筑机器人AI代理的定位任务感知

Seongju Jang, Francis Baek, SangHyun Lee

机构 * University of Michigan（密歇根大学） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 GUI与屏幕智能体 ：visual reasoning(abstract)

AI总结 本文提出一种AI代理，通过多LMM模块实现对自然语言描述的即兴任务的理解与定位，使移动建筑机器人能自主完成非预定义任务。

SG-VLA: Learning Spatially-Grounded Vision-Language-Action Models for Mobile Manipulation

SG-VLA：学习空间接地的视觉-语言-动作模型用于移动操作

Ruisen Tu, Arth Shukla, Sohyun Yoo, Xuanlin Li, Junxi Li, Jianwen Xie, Hao Su, Zhuowen Tu

机构 * UC San Diego（南加洲大学） ； Lambda, Inc（Lambda公司） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出SG-VLA模型，通过辅助任务协同训练和多模态输入增强，提升移动操作中视觉-语言-动作模型的空间感知与表征能力，实现在家庭环境中更高效的物体抓取与操作。

CompassNav: Steering From Path Imitation To Decision Understanding In Navigation

CompassNav: 从路径模仿到决策理解的导航导航

LinFeng Li, Jian Zhao, Yuan Xie, Xin Tan, Xuelong Li

机构 * East China Normal University（东华师范大学） ； The Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究所（TeleAI），中国电信） ； Northwestern Polytechnical University（西北工业大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出CompassNav方法，通过引入Compass-Data-22k数据集和gap-aware奖励函数，使导航代理能理解而非单纯模仿路径，实现更高效的导航性能。

Journal ref Proceedings of the 14th International Conference on Learning Representations (ICLR), 2026

From Natural Language to Executable Properties for Property-based Testing of Mobile Apps

从自然语言到可执行属性：用于移动应用基于属性测试的可执行属性

Yiheng Xiong, Ting Su, Jingling Sun, Jue Wang, Qin Li, Geguang Pu, Zhendong Su

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种新的结构化属性合成方法，将自然语言属性描述自动转换为可执行属性，并通过iPBT工具验证，展示了其在提升测试效率和鲁棒性方面的贡献。

Not All Features Are Created Equal: A Mechanistic Study of Vision-Language-Action Models

并非所有特征都具有同等价值：一种视觉-语言-动作模型的机制研究

Bryce Grant, Xijia Zhao, Peng Wang

机构 * Case Western Reserve University（凯斯西储大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 研究通过激活注入、稀疏自编码器和线性探针分析视觉-语言-动作模型，发现视觉路径主导动作生成，语言敏感性取决于任务结构而非模型设计，且专家路径编码运动程序，VLM路径编码目标语义，释放Action Atlas供探索。

Comments Accepted to Multimodal Intelligence Workshop @ ICLR

ImagiNav: Scalable Embodied Navigation via Generative Visual Prediction and Inverse Dynamics

ImagiNav：通过生成性视觉预测和逆动力学实现可扩展的具身导航

Jie Chen, Yuxin Cai, Yizhuo Wang, Ruofei Bai, Yuhong Cao, Jun Li, Yau Wei Yun, Guillaume Sartoretti

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出ImagiNav框架，通过解耦视觉规划与机器人动作，利用真实世界导航视频实现零样本迁移，无需机器人演示即可实现通用机器人自主导航。

From Woofs to Words: Towards Intelligent Robotic Guide Dogs with Verbal Communication

从Woofs到Words：迈向具备言语交流的智能机器人导盲犬

Yohei Hayamizu, David DeFazio, Hrudayangam Mehta, Zainab Altaweel, Jacqueline Choe, Chao Lin, Jake Juettner, Furui Xiao, Jeremy Blackburn, Shiqi Zhang

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种新型对话系统，通过LLM实现导航计划和场景的言语化，以提升导盲犬在动态环境中的空间感知与人类操作者的协作决策能力。

Comments 10 pages, 6 figures, AAAI 2026

$Ψ_0$: An Open Foundation Model Towards Universal Humanoid Loco-Manipulation

$Ψ_0$：一种面向通用人形机器人运动- manipulation 的开放基础模型

Songlin Wei, Hongyi Jing, Boqian Li, Zhenyu Zhao, Jiageng Mao, Zhenhao Ni, Sicheng He, Jie Liu, Xiawei Liu, Kaidi Kang, Sheng Zang, Weiduo Yuan, Marco Pavone, Di Huang, Yue Wang

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 本文提出$Ψ_0$模型，通过分阶段训练和异构数据利用，实现高效的人形机器人运动- manipulation 任务，仅用800小时视频和30小时机器人数据即超越基线性能。

StyleVLA: Driving Style-Aware Vision Language Action Model for Autonomous Driving

StyleVLA: 驾驶风格感知的视觉语言动作模型用于自动驾驶

Yuan Gao, Dengyuan Hua, Mattia Piccinini, Finn Rasmus Schäfer, Korbinian Moller, Lin Li, Johannes Betz

专题命中 GUI与屏幕智能体 ：vision language model(abstract)

AI总结 StyleVLA通过引入物理约束和混合损失，生成多样且物理合理的驾驶行为，优于现有专有和先进模型。

Comments 8 pages

SPAN-Nav: Generalized Spatial Awareness for Versatile Vision-Language Navigation

SPAN-Nav: 通用空间感知用于多功能视觉-语言导航

Jiahang Liu, Tianyu Xu, Jiawei Chen, Lu Yue, Jiazhao Zhang, Zhiyong Wang, Minghan Li, Qisheng Zhao, Anqi Li, Qi Su, Zhizheng Zhang, He Wang

机构 * Peking University（北京大学） ； Galbot ； BAAI（北京人工智能研究院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 SPAN-Nav通过端到端模型和空间感知机制，在复杂环境中实现高效的视觉-语言导航。

ImpedanceDiffusion: Diffusion-Based Global Path Planning for UAV Swarm Navigation with Generative Impedance Control

阻抗扩散：基于扩散的全局路径规划用于无人机群导航的生成阻抗控制

Faryal Batool, Yasheerah Yaqoot, Muhammad Ahsan Mustafa, Roohan Ahmed Khan, Aleksey Fedoseev, Dzmitry Tsetserukou

机构 * Intelligent Space Robotics Laboratory, Center for Digital Engineering, Skolkovo Institute of Science and Technology（智能空间机器人实验室，数字工程中心，斯克尔科夫科学与技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 ImpedanceDiffusion通过结合扩散模型和人工势场跟踪，实现无人机群在复杂环境中的可靠路径规划与自适应阻抗控制。

Comments This is paper is under review

GeoAware-VLA: Implicit Geometry Aware Vision-Language-Action Model

GeoAware-VLA: 基于隐式几何的视觉-语言-动作模型

Ali Abouzeid, Malak Mansour, Qinbo Sun, Zezhou Sun, Dezhen Song

机构 * Department of Robotics, Mohamed bin Zayed University of Artificial Intelligence（机器人系，Mohamed bin Zayed人工智能大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 GeoAware-VLA通过整合几何先验提升视觉-语言-动作模型的视角不变性，显著提高零样本泛化能力，并在现实机器人平台中取得显著效果。

Comments Under Review, Project Page https://alisharey.github.io/GeoAware-VLA/

Green-VLA: Staged Vision-Language-Action Model for Generalist Robots

Green-VLA: 通用机器人中的分阶段视觉-语言-动作模型

I. Apanasevich, M. Artemyev, R. Babakyan, P. Fedotova, D. Grankin, E. Kupryashin, A. Misailidi, D. Nerus, A. Nutalapati, G. Sidorov, I. Efremov, M. Gerasyov, D. Pikurov, Y. Senchenko, S. Davidenko, D. Kulikov, M. Sultankin, K. Askarbek, O. Shamanin, D. Statovoy, E. Zalyaev, I. Zorin, A. Letkin, E. Rusakov, A. Silchenko, V. Vorobyov, S. Sobolnikov, A. Postnikov

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 Green-VLA是一种面向真实环境的分阶段视觉-语言-动作模型，通过多阶段训练和强化学习对齐，提升机器人在多样化形态上的泛化能力和性能。

Comments 22 pages, 14 figures

Learning Next Action Predictors from Human-Computer Interaction

从人机交互中学习下一步动作预测器

Omar Shaikh, Valentin Teutschbein, Kanishk Gandhi, Yikun Chi, Nick Haber, Thomas Robinson, Nilam Ram, Byron Reeves, Sherry Yang, Michael S. Bernstein, Diyi Yang

机构 * Stanford University（斯坦福大学） ； Hasso Plattner Institute（哈索普拉特纳研究所） ； New York University（纽约大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出LongNAP模型，通过结合参数化和上下文学习，从用户行为的完整上下文中预测下一步动作，显著优于传统方法。

Comments 32 pages, 10 figures, see https://generalusermodels.github.io/nap

Evolution 6.0: Robot Evolution through Generative Design

进化6.0：通过生成设计实现机器人进化

Muhammad Haris Khan, Artyom Myshlyaev, Artem Lykov, Miguel Altamirano Cabrera, Dzmitry Tsetserukou

机构 * Skolkovo Institute of Science and Technology（斯克洛夫诺研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 进化6.0通过生成式AI实现机器人自主设计工具和执行任务，展示高成功率和泛化能力。

Comments Accepted to HRI

A Robust Simulation Framework for Verification and Validation of Autonomous Maritime Navigation in Adverse Weather and Constrained Environments

一种用于自主水路航行在恶劣天气和受限环境下的验证与验证的稳健仿真框架

Mayur S. Patil, Nataraj Sudharsan, Anthony S. Saaiby, JiaChang Xing, Keliang Pan, Veneela Ammula, Jude Tomdio, Jin Wang, Michael Kei, Heonyong Kang, Sivakumar Rathinam, Prabhakar R. Pagilla

机构 * Department of Mechanical Engineering, Texas A&M University, College Station, USA（机械工程系，德克萨斯A&M大学，学院站，美国） ； Department of Ocean Engineering, Texas A&M University, College Station, USA（海洋工程系，德克萨斯A&M大学，学院站，美国） ； American Bureau of Shipping, Spring, TX, USA（美国船舶局，斯普林，德克萨斯州，美国） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)

AI总结 本文提出了一种稳健的仿真框架，用于验证和验证自主水路航行系统在恶劣天气和受限环境下的性能。

RoboMIND 2.0: A Multimodal, Bimanual Mobile Manipulation Dataset for Generalizable Embodied Intelligence

RoboMIND 2.0：一种多模态、双臂移动操作数据集，用于通用具身智能

Chengkai Hou, Kun Wu, Jiaming Liu, Zhengping Che, Di Wu, Fei Liao, Guangrun Li, Jingyang He, Qiuxuan Feng, Zhao Jin, Chenyang Gu, Zhuoyang Liu, Nuowei Han, Xiangju Mi, Yaoxu Lv, Yankai Fu, Gaole Dai, Langzhe Gu, Tao Li, Yuheng Zhang, Yixue Zhang, Xinhua Wang, Shichao Fan, Meng Li, Zhen Zhao, Ning Liu, Zhiyuan Xu, Pei Ren, Junjie Ji, Haonan Liu, Kuan Cheng, Shanghang Zhang, Jian Tang

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 RoboMIND 2.0通过多模态双臂移动操作数据集和MIND-2系统，提升通用具身智能的泛化能力。

Human-to-Robot Interaction: Learning from Video Demonstration for Robot Imitation

人机交互：从视频演示中学习机器人模仿

Thanh Nguyen Canh, Thanh-Tuan Tran, Haolan Zhang, Ziyan Gao, Nak Young Chong, Xiem HoangVan

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本研究提出了一种基于视频演示的机器人模仿学习方法，通过模块化框架结合时间位移模块和深度强化学习，实现机器人从无结构视频中学习基本操作技能。

Diffusion Trajectory-guided Policy for Long-horizon Robot Manipulation

用于长时程机器人操作的扩散轨迹引导策略

Shichao Fan, Quantao Yang, Yajie Liu, Kun Wu, Zhengping Che, Qingjie Liu, Min Wan

机构 * School of Mechanical Engineering and Automation, BeiHang University（机械工程与自动化学院，北航） ； School of Computer Science and Engineering, BeiHang University（计算机科学与工程学院，北航） ； Beijing Innovation Center of Humanoid Robotics（人形机器人创新中心） ； Division of Robotics, Perception and Learning (RPL), KTH Royal Institute of Technology（机器人、感知与学习 division，皇家理工学院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出DTP框架，通过生成轨迹减少模仿学习中的误差累积，提升长时程机器人任务的性能。

Comments 8 pages, 5 figures, accepted to IEEE Robotics and Automation Letters (RAL)

Journal ref IEEE Robotics and Automation Letters (Volume: 10, Issue: 12, December 2025)

One Agent to Guide Them All: Empowering MLLMs for Vision-and-Language Navigation via Explicit World Representation

一个引导所有代理：通过显式世界表示增强多模态大语言模型用于视觉-语言导航

Zerui Li, Hongpei Zheng, Fangguo Zhao, Aidan Chan, Jian Zhou, Sihao Lin, Shijie Li, Qi Wu

机构 * Australian Institute for Machine Learning, Adelaide University（澳大利亚机器学习研究所，阿德莱德大学） ； The University of Manchester（曼彻斯特大学） ； Zhejiang University（浙江大学） ； Agency for Science, Technology and Research (A*STAR)（科技研究局（A*STAR）） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)

AI总结 通过显式世界表示增强多模态大语言模型，实现视觉-语言导航的解耦框架，提升导航性能与现实应用能力。

Diffusion-based Dynamic Contract for Federated AI Agent Construction in Mobile Metaverses

基于扩散的动态合同用于移动元宇宙中联邦AI代理的构建

Jinbo Wen, Jiawen Kang, Yang Zhang, Yue Zhong, Dusit Niyato, Jie Xu, Jianhang Tang, Chau Yuen

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出基于扩散模型的EDMSAC算法，通过动态合同机制优化边缘-云协作下的AI代理构建，提升移动元宇宙中服务的低延迟与安全性。

LAMP: Implicit Language Map for Robot Navigation

LAMP：机器人导航的隐式语言地图

Sibaek Lee, Hyeonwoo Yu, Giseop Kim, Sunwook Choi

机构 * Department of Intelligent Robotics, Sungkyunkwan University（智能机器人学系，全北国立大学） ； NAVER LABS ； Department of Robotics and Mechatronics Engineering, DGIST（机器人与机电工程系，韩国科学技术院） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 LAMP通过隐式语言地图实现高效机器人导航，结合隐式神经场与稀疏图进行粗到细路径优化，提升大环境下的内存效率和目标精度。

Comments Accepted for publication in IEEE Robotics and Automation Letters (RA-L). Project page: https://lab-of-ai-and-robotics.github.io/LAMP/

Journal ref IEEE Robotics and Automation Letters (RA-L), 2025

Say, Dream, and Act: Learning Video World Models for Instruction-Driven Robot Manipulation

说、梦、做：学习视频世界模型以驱动指令式机器人操作

Songen Gu, Yunuo Cai, Tianyu Wang, Simo Wu, Yanwei Fu

机构 * Fudan University（复旦大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出一种视频条件动作框架，通过生成稳健的视频模型和对抗性蒸馏，提升机器人操作中的预测能力和空间准确性。

RoboInter: A Holistic Intermediate Representation Suite Towards Robotic Manipulation

RoboInter: 一种面向机器人操控的综合中间表示套件

Hao Li, Ziqin Wang, Zi-han Ding, Shuai Yang, Yilun Chen, Yang Tian, Xiaolin Hu, Tai Wang, Dahua Lin, Feng Zhao, Si Liu, Jiangmiao Pang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Beihang University（北航） ； Nanyang Technological University（南洋理工大学） ； Zhejiang University（浙江大学） ； Tsinghua University（清华大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 RoboInter通过统一的中间表示套件，提升机器人操控中视觉-语言-动作系统的泛化能力和推理能力。

Comments Published to ICLR 2026, 69 pages, 40 figures

LCLA: Language-Conditioned Latent Alignment for Vision-Language Navigation

LCLA：语言引导的潜在对齐用于视觉-语言导航

Nitesh Subedi, Adam Haroon, Samuel Tetteh, Prajwal Koirala, Cody Fleming, Soumik Sarkar

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 LCLA通过将视觉-语言观测对齐到专家策略的潜在空间，实现轻量级的视觉-运动学习，提升在不同环境下的泛化能力。

UniPlan: Vision-Language Task Planning for Mobile Manipulation with Unified PDDL Formulation

UniPlan: 为移动操作统一PDDL形式的视觉-语言任务规划

Haoming Ye, Yunxiao Xiao, Cewu Lu, Panpan Cai

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 UniPlan通过统一PDDL形式实现视觉-语言任务规划，提升大规模室内移动操作的规划效率和效果。

AIR-VLA: Vision-Language-Action Systems for Aerial Manipulation

AIR-VLA：面向空中操作的视觉-语言-动作系统

Jianli Sun, Bin Tian, Qiyao Zhang, Chengxiang Li, Zihan Song, Zhiyong Cui, Yisheng Lv, Yonglin Tian

机构 * The Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Automation, Beijing Institute of Technology（北京理工大学自动化学院） ； School of Information and Intelligent Engineering, University of Sanya（三亚大学信息与智能工程学院） ； School of Mechanical and Vehicle Engineering, Hunan University（湖南大学机械与车辆工程学院） ； State Key Lab of Intelligent Transportation Systems, School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract)

AI总结 AIR-VLA提出首个针对空中操作的视觉-语言-动作系统，通过构建仿真环境和多模态数据集，评估主流模型并揭示其在无人机移动、机械臂控制和高层规划中的能力和限制。

Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances

可解释的面向对象人机交互：通过增强现实 affordances 传达机器人能力和限制

Lauren W. Wang, Mohamed Kari, Parastoo Abtahi

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)

AI总结 本文提出X-OOHRI，一种通过AR界面传达机器人能力和限制的可解释面向对象人机交互系统，通过视觉符号和颜色编码提升人机交互效率。

Journal ref Proceedings of the 21st ACM/IEEE International Conference on Human-Robot Interaction (HRI 2026)