视觉大模型 / VLM

AndesVL Technical Report: An Efficient Mobile-side Multimodal Large Language Model

AndesVL 技术报告：一种高效的移动端多模态大语言模型

Zhiwei Jin, Xiaohui Song, Nan Wang, Yafei Liu, Chao Li, Xin Li, Ruichen Wang, Zhihao Li, Qi Qi, Long Cheng, Dongze Hao, Quanlong Zheng, Yanhao Zhang, Haobo Ji, Jian Ma, Zhitong Zheng, Zhenyi Lin, Haolin Deng, Xin Zou, Xiaojie Yin, Ruilin Wang, Liankai Cai, Haijing Liu, Yuqing Qiu, Ke Chen, Zixian Li, Chi Xie, Huafei Li, Chenxing Li, Chuangchuang Wang, Kai Tang, Zhiguang Zhu, Kai Tang, Wenmei Gao, Rui Wang, Jun Wu, Chao Liu, Qin Xie, Chen Chen, Haonan Lu

机构 * AndesVL Team（AndesVL团队） ； OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；InternVL(abstract)；分类 cs.CV、cs.AI

AI总结 AndesVL 是一种高效的移动端多模态大语言模型，通过 1+N LoRA 架构和 QALFT 框架实现高效任务适应和模型压缩，部署在 MediaTek Dimensity 9500 芯片上，达到 6.7 倍解码加速和 30.9% 内存减少。

Comments Tech report of OPPO AndesVL Team

MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation

MaP-AVR: 一种利用视觉语言模型和检索增强生成的元动作规划器

Zhenglong Guo, Yiming Zhao, Feng Jiang, Heng Jin, Zongbao Feng, Jianbin Zhou, Siyuan Xu

机构 * Li Auto 纠错

专题命中 GUI与屏幕智能体 ：vision language model(title)；VLM(abstract)

AI总结 MaP-AVR通过元动作规划和检索增强生成技术，提升机器人在复杂环境中的任务规划能力。

Comments 8 pages, 10 figures, This work was completed in December 2024

FC-MIR: A Mobile Screen Awareness Framework for Intent-Aware Recommendation based on Frame-Compressed Multimodal Trajectory Reasoning

FC-MIR：一种基于帧压缩多模态轨迹推理的移动屏幕感知框架，用于意图感知推荐

Zhe Yang, Xiaoshuang Sheng, Zhengnan Zhang, Jidong Wu, Zexing Wang, Xin He, Shenghua Xu, Guanjing Xiong

机构 * vivo AI Lab（vivo人工智能实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 FC-MIR框架通过帧压缩多模态轨迹推理，提升移动设备上意图感知推荐的效率与实用性，支持轻量级部署并探索生成操作与建议。

VLNVerse: A Benchmark for Vision-Language Navigation with Versatile, Embodied, Realistic Simulation and Evaluation

VLNVerse: 一个用于视觉语言导航的基准，具备多用途、具身体验、逼真模拟和评估

Sihao Lin, Zerui Li, Xunyi Zhao, Gengze Zhou, Liuyi Wang, Rong Wei, Rui Tang, Juncheng Li, Hanqing Wang, Jiangmiao Pang, Anton van den Hengel, Jiajun Liu, Qi Wu

机构 * Adelaide University（阿德莱德大学） ； Responsible AI Research Centre, Australian Institute for Machine Learning（负责任人工智能研究中心、澳大利亚机器学习研究所） ； Tongji University（同济大学） ； ManyCore ； Zhejiang University（浙江大学） ； Shanghai AI Lab（上海人工智能实验室） ； CSIRO Data61 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.CV

AI总结 VLNVerse是一个大规模、可扩展的视觉语言导航基准，通过多用途、具身体验和逼真模拟提升导航任务的泛化能力与研究效率。

ChronoDreamer: Action-Conditioned World Model as an Online Simulator for Robotic Planning

ChronoDreamer：基于动作的动态世界模型作为机器人规划的在线模拟器

Zhenhao Zhou, Dan Negrut

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 ChronoDreamer通过时空变换器和视觉-语言模型，实现基于动作的动态世界模型，用于机器人规划中的安全动作预测与碰撞检测。

Embodied4C: Measuring What Matters for Embodied Vision-Language Navigation

Embodied4C: 评估具身视觉-语言导航中至关重要的因素

Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； UAS Esslingen（埃森嫩大学） ； TU Wien（维也纳技术大学） ； Dr. Ing. h.c. F. Porsche AG（保时捷股份有限公司） ； University of Michigan（密歇根大学） ； Voxel51 Inc.（Voxel51公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 Embodied4C通过三种异构具身评估VLMs的具身能力，发现跨模态对齐和指令微调比规模更重要，而空间和时间推理是可靠具身能力的主要瓶颈。