视觉大模型 / VLM

CAVE-NAV: VLM-Based Autonomous 3D Navigation in Underwater Cave Environments

CAVE-NAV：基于VLM的水下洞穴环境自主三维导航

Zhenqi Wu, Yuanjie Lu, Yisheng Zhang, Miao Yu, Xuesu Xiao, Jaejeong Shin, Xiaomin Lin

机构 * University of South Florida（南佛罗里达大学） ； George Mason University（乔治梅森大学） ； University of Maryland（马里兰大学） ； Seoul National University（首尔大学） 纠错

专题命中 GUI与屏幕智能体 ：VLM(title,title_cn)；vision-language model(abstract)

AI总结 该研究针对水下洞穴导航的传统方法局限，提出带CoT推理的VLM导航框架，经仿真验证可完成无碰撞的端到端三维洞穴导航。

Iron: Intent-Aligned and Retrospective Dual Learning Framework for Enhancing Generalist Virtual Agents

Iron：用于增强通用虚拟智能体的意图对齐与回溯双学习框架

Jiahe Ying, Wendong Bu, Kaihang Pan, Bingchen Miao, Siyu Chen, Wen Wang, Xueming Jiang, Juncheng Li, Siliang Tang

机构 * Fudan University（复旦大学） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract_cn)；分类 cs.CV

AI总结 Iron是用于训练GUI智能体的意图对齐与回溯双学习框架，通过逐步循环一致奖励和事后回放机制提升性能，在跨环境等任务中优于三倍数据训练的模型，未见过的网页任务获25.06%相对提升。

Comments 11 pages, 5 figures, and 4 tables

Action- and Language-Conditioned Video Assessment for Embodied Control

面向具身控制的动作与语言条件视频评估

Hwanhee Kim, Jaehyun Jang, Seungmin Cha, Hyeonseo Yun, Donghoon Lee, Chang D. Yoo

机构 * Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院） ； School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院电气工程学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 该研究提出ALVA轨迹评估器，结合视觉观测、动作序列与语言指令评估具身控制任务，在模拟3D家庭环境中误报率低，作为反馈机制可提升闭环策略优化效果。

Comments 21 pages, 7 figures. v2: updated Funding section

STEGNav: Spatio-Temporal Event Graph Reasoning for Multimodal Lifelong Object Navigation

STEGNav：面向多模态终身目标导航的时空事件图推理

Yang Chen, Zhenyu Huang, Wenbo Fu, Danyang Peng, Shi-Yu Tian, Kun-Yang Yu, Lan-Zhe Guo

机构 * State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室） ； School of Intelligence Science and Technology, Nanjing University（南京大学智能科学与技术学院） ； School of Artificial Intelligence, Nanjing University（南京大学人工智能学院） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；grounding(abstract)

AI总结 针对现有多模态终身导航方法的局限，本文提出无训练框架STEGNav，通过时空事件图的双轴设计优化导航性能，在多个基准数据集上取得显著效果。

Beyond Data Scaling: Representation-Centric Continued Pre-training for Vision-Language-Action Models

超越数据缩放：面向视觉-语言-动作模型的以表示为中心的持续预训练

Senqiao Yang, Chengyao Wang, Yuxin Chen, Zixuan Wang, Longxiang Tang, Haokun Gui, Jinhui Ye, Changsheng Lu, Xiaoyang Wu, Mingkang Zhu, Pengguang Chen, Shu Liu, Zhuotao Tian, Hengshuang Zhao, Bei Yu, Jiaya Jia

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对VLA模型数据扩展的瓶颈，提出以表示为中心的持续预训练方法VLAct，在多具身机器人数据上训练后，在多项基准任务中超越现有工业级系统，在未见具身迁移任务中仅用20%数据即优于全数据基线，为VLA进展提供新方向。

Comments All models and training pipelines are publicly available at this https URL (https://starvla.github.io/VLAct)

Plan Along the Way: Event-Triggered Foundation-Model Planning for TAMP Execution in Partially Observable Manipulation

动态规划：部分可观测操纵任务中用于TAMP执行的事件触发式基础模型规划

Puru Ojha, Narendhiran Vijayakumar, Nav Singhal, Girish Varma, Antony Thomas

机构 * Robotics Research Center, IIIT Hyderabad（IIIT海得拉巴机器人研究中心） ； Center for Security, Theory and Algorithmic Research, IIIT Hyderabad（IIIT海得拉巴安全、理论与算法研究中心） 纠错

专题命中 GUI与屏幕智能体 ：VLM(abstract,abstract_cn)

AI总结 本文提出ROBUST TAMP框架，针对部分可观测操纵任务，通过事件触发式重规划机制提升TAMP执行的任务成功率，验证了其在6个RLBench/CoppeliaSim场景中的有效性。

Comments 8 pages, 4 figures

Describe-Then-Act: Proactive Agent Steering via Distilled Language-Action World Models

描述-然后-行动：通过蒸馏的语言-动作世界模型实现前瞻性智能体导航

Massimiliano Pappa, Luca Romani, Valentino Sacco, Alessio Palma, Stéphane Lathuilière, Fabio Galasso, Xavier Alameda-Pineda, Indro Spinelli

机构 * Sapienza University of Rome, Italy（罗马大学萨皮恩扎） ； Inria, Univ. Grenoble Alpes, CNRS, LJK（法国国家信息与自动化技术研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；分类 cs.AI

AI总结 本文提出DILLO模型，通过蒸馏方法实现无需视觉模拟的前瞻性智能体导航，提升任务成功率。