视觉大模型 / VLM

OrganicHAR: Towards Activity Discovery in Organic Settings for Privacy Preserving Sensors Using Efficient Video Analysis

有机HAR：在有机环境中通过高效视频分析实现隐私保护传感器的活动发现

Prasoon Patidar, Riku Arakawa, Ricardo Graça, Rúben Moutinho, Adriano Soares, Ana Vasconcelos, Filippo Talami, Joana Couto da Silva, Inês Silva, Cristina Mendes Santos, Mayank Goel, Yuvraj Agarwal

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision language model(abstract)

AI总结 本研究提出有机HAR框架，通过将传感器能力置于活动发现中心，利用隐私保护传感器识别自然信号模式，并在关键时刻使用视觉语言模型进行场景理解，从而在有机环境中实现高效且隐私保护的活动识别。

Comments 23 pages, 14 figures, with a 4-page appendix containing 2 additional figures. To appear in Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. (IMWUT), Vol. 9, No. 4, Article 203 (December 2025). DOI: 10.1145/3770674

Journal ref Proc. ACM Interact. Mob. Wearable Ubiquitous Technol. 9(4) (2025) 203:1-203:32

RoboMemArena: A Comprehensive and Challenging Robotic Memory Benchmark

RoboMemArena：一个全面且具有挑战性的机器人记忆基准

Huashuo Lei, Wenxuan Song, Huarui Zhang, Jieyuan Pei, Jiayi Chen, Haodong Yan, Han Zhao, Pengxiang Ding, Zhipeng Zhang, Lida Huang, Donglin Wang, Yan Wang, Haoang Li

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） ； Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Tsinghua University（清华大学） ； Zhejiang University of Technology（浙江工业大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出RoboMemArena，一个包含26个任务的大型基准，通过多模态注释和真实世界评估，改进了现有机器人记忆基准的不足。PrediMem在基准测试中表现优异，为复杂记忆系统提供了新的见解。

Comments Project website: https://robomemarena.github.io

WildClawBench: A Benchmark for Real-World, Long-Horizon Agent Evaluation

WildClawBench: 一个用于真实世界、长周期代理评估的基准测试

Shuangrui Ding, Xuanlang Dai, Long Xing, Shengyuan Ding, Ziyu Liu, Yang JingYi, Penghui Yang, Zhixiong Zhang, Xilin Wei, Xinyu Fang, Yubo Ma, Haodong Duan, Jing Shao, Jiaqi Wang, Dahua Lin, Kai Chen, Yuhang Zang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Fudan University（复旦大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Shanghai Innovation Institute（上海创新研究院） ； Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出WildClawBench，一个包含60个双语多模态任务的原生运行时基准测试，评估代理在真实工具环境中的长周期任务能力，结果显示当前前沿模型在真实运行时表现仍不理想。

Comments Github link: https://github.com/internlm/WildClawBench

Exploring a Multimodal Chatbot as a Facilitator in Therapeutic Art Activity

探索多模态聊天机器人作为治疗艺术活动的促进者

Le Lin, Zihao Zhu, Rainbow Tin Hung Ho, Jing Liao, Yuhan Luo

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出一种基于多模态大语言模型的聊天机器人，通过实时分析视觉创作并促进反思对话，探讨其在艺术治疗中的应用潜力及未来发展方向。

Text-Guided Multi-Scale Frequency Representation Adaptation

基于文本的多尺度频率表示适应

Weicai Yan, Xinhua Ma, Wang Lin, Tao Jin

机构 * Zhejiang University（浙江大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出FreqAdapter，通过在频域进行多尺度信号微调，结合文本信息减少信息冗余，提升多模态模型的性能与效率。

Comments ACL 2026 Main

Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions

Prox-E：基于原始抽象的细粒度3D形状编辑

Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, Hadar Averbuch-Elor

专题命中 VLM训练与架构 ：VLM(abstract,abstract_cn)；vision-language model(abstract)

AI总结 本文提出Prox-E，一种无需训练的框架，通过显式的原始几何抽象实现细粒度3D控制，有效平衡身份保持、形状质量和指令忠实度。

Comments Accepted to SIGGRAPH 2026. Project page: https://etaisella.github.io/Prox-E/

For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs

For-Value：高效前向仅数据估值用于微调LLM和VLM

Wenlong Deng, Qi Zeng, Jiaming Zhang, Minghui Chen, Zixin Ding, Christos Thrampoulidis, Boying Gong, Xiaoxiao Li

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute（向量研究所） ； Meta 纠错

专题命中 VLM训练与架构 ：VLM(title_cn)；vision-language model(abstract)

AI总结 本文提出For-Value框架，通过前向计算高效评估数据价值，无需反向传播，提升大规模模型训练效率。

AFMRL: Attribute-Enhanced Fine-Grained Multi-Modal Representation Learning in E-commerce

AFMRL: 基于属性增强的电商细粒度多模态表示学习

Biao Zhang, Lixin Chen, Bin Zhang, Zongwei Wang, Tong Liu, Bo Zheng

机构 * Taobao & Tmall Group of Alibaba（阿里巴巴淘宝与天猫集团） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出AFMRL，通过属性生成任务提升电商细粒度多模态表示学习，结合属性引导对比学习和检索感知属性强化，实现更精准的相似商品检索。

Comments Accepted by ACL 2026

Multi-Task Reinforcement Learning for Enhanced Multimodal LLM-as-a-Judge

多任务强化学习用于增强多模态大语言模型作为裁判

Junjie Wu, Xuan Kan, Zihao He, Shunwen Tan, Bo Pan, Kaitai Zhang

机构 * Meta AI ； Hong Kong University of Science and Technology（香港科技大学） ； Emory University（埃默里大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文提出MT-RL-Judge框架，通过多任务强化学习优化多模态大语言模型作为裁判，提升判断一致性和与人类偏好的相关性，并在分布外任务中展现鲁棒泛化能力。

Comments ACL 2026 Industry Track

How to Teach Large Multimodal Models New Skills

如何向大型多模态模型传授新技能

Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Google DeepMind（谷歌DeepMind） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract,abstract_cn)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文研究了如何在不丧失原有能力的前提下通过序列微调向大型多模态模型传授新技能，提出两种有效的微调方法以平衡学习与遗忘。

Comments In submission. Code is available at https://github.com/jessemelpolio/LMM_CL

Improving Dynamic Object Interactions in Text-to-Video Generation with AI Feedback

通过AI反馈提升文本到视频生成中动态物体交互

Hiroki Furuta, Heiga Zen, Dale Schuurmans, Aleksandra Faust, Yutaka Matsuo, Percy Liang, Sherry Yang

机构 * Google DeepMind（谷歌DeepMind） ； The University of Tokyo（东京大学） ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；vision language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文研究如何利用反馈提升文本到视频模型中动态物体交互的质量，提出利用视觉语言模型提供针对性反馈，实验表明该方法在视频交互场景质量上有显著提升。

Comments Website: https://sites.google.com/view/aif-dynamic-t2v/

When Drawing Is Not Enough: Exploring Spontaneous Speech with Sketch for Intent Alignment in Multimodal LLMs

当绘画不够时：探索通过草图进行意图对齐的自发性言语在多模态大语言模型中的应用

Weiyan Shi, Dorien Herremans, Kenny Tsu Wei Choo

专题命中 VLM训练与架构 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)

AI总结 本文探讨了在多模态大语言模型中，通过草图与自发性言语的结合来提升设计初期意图对齐的效果，通过实验表明加入自发性言语能显著提高生成图像的意图匹配度。

Comments Accepted at DIS 2026 PWiP

Chain-of-Zoom: Extreme Super-Resolution via Scale Autoregression and Preference Alignment

链式放大：通过尺度自回归和偏好对齐实现极端超分辨率

Bryan Sangwoo Kim, Jeongsol Kim, Jong Chul Ye

机构 * KAIST AI（韩国科学技术院人工智能系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出Chain-of-Zoom框架，通过自回归链和多尺度提示实现极端超分辨率，利用GRPO优化文本提示对齐人类偏好，实验显示标准4x扩散模型在CoZ下可实现256倍以上高质量放大。

Comments NeurIPS 2025 (Spotlight)

ReAlign: Optimizing the Visual Document Retriever with Reasoning-Guided Fine-Grained Alignment

ReAlign：通过推理引导的细粒度对齐优化视觉文档检索

Hao Yang, Yifan Ji, Zhipeng Xu, Zhenghao Liu, Yukun Yan, Zulong Chen, Shuo Wang, Yu Gu, Ge Yu

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 本文提出ReAlign方法，利用VLM推理能力生成细粒度视觉描述作为监督信号，提升视觉文档检索性能，实验表明在不同领域数据集上均取得2%的相对提升。

Lightweight Prompt-Guided CLIP Adaptation for Monocular Depth Estimation

轻量级提示引导的CLIP适应用于单目深度估计

Reyhaneh Ahani Manghotay, Jie Liang

机构 * School of Engineering Science, Simon Fraser University（西蒙弗雷泽大学工程科学学院） ； School of Information Science and Technology, Eastern Institute of Technology（东方理工学院信息科学与技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出MoA-DepthCLIP框架，通过轻量级MoA模块和选择性微调提升单目深度估计的精度与效率，优于基线模型。

Comments 14 pages, 2 figures

GoldiCLIP: The Goldilocks Approach for Balancing Explicit Supervision for Language-Image Pretraining

GoldiCLIP：平衡显式监督的Goldilocks方法用于语言-图像预训练

Deen Dayal Mohan, Hossein Souri, Vitali Petsiuk, Juhong Min, Gopal Sharma, Luowei Zhou, Suren Kumar

机构 * AI Center – Mountain View, Samsung Electronics（三星电子山景城AI中心） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 GoldiCLIP通过平衡监督信号提出新框架，结合文本条件自蒸馏、编码器解码器与VQA目标及不确定性加权机制，在3000万数据下实现高效预训练，提升多任务检索性能。

PromptLoop: Plug-and-Play Prompt Refinement via Latent Feedback for Diffusion Model Alignment

PromptLoop: 通过潜在反馈实现扩散模型对齐的即插即用提示精炼

Suhyeon Lee, Jong Chul Ye

机构 * Graduate School of AI, KAIST（人工智能研究生院，韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 PromptLoop通过引入潜在反馈的逐步提示精炼方法，提升扩散模型在奖励优化、泛化能力及对抗奖励黑客方面的性能，同时保持灵活性和通用性。

Comments CVPR26 poster. 25 pages, 19 figures

DreamPlan: Efficient Reinforcement Fine-Tuning of Vision-Language Planners via Video World Models

DreamPlan: 通过视频世界模型高效强化微调视觉语言规划器

Emily Yue-Ting Jia, Weiduo Yuan, Tianheng Shi, Vitor Guizilini, Jiageng Mao, Yue Wang

机构 * USC Physical Superintelligence Lab（USC物理超智能实验室） ； Toyota Research Institute（丰田研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 DreamPlan通过视频世界模型高效强化微调视觉语言规划器，利用零样本VLM生成探索数据训练动作条件视频生成模型，再通过ORPO在虚拟环境中微调VLM，提升物体 manipulation 成功率。

More Than 1v1: Human-AI Alignment in Early Developmental Communities with Multimodal LLMs

多于一对一：在早期发展社区中的人工智能对齐与多模态大语言模型

Weiyan Shi, Kenny Tsu Wei Choo

专题命中 VLM训练与架构 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)

AI总结 本文探讨了在早期发展社区中，利用多模态大语言模型实现人机对齐的挑战，提出分层社区对齐框架，强调社区治理而非个体优化。

Comments Accepted at CHI 2026 BiAlign Workshop; OpenReview URL: https://openreview.net/forum?id=ikeH0hsBLN

World Simulation with Video Foundation Models for Physical AI

基于视频基础模型的世界模拟用于物理AI

NVIDIA, :, Arslan Ali, Junjie Bai, Maciej Bala, Yogesh Balaji, Aaron Blakeman, Tiffany Cai, Jiaxin Cao, Tianshi Cao, Elizabeth Cha, Yu-Wei Chao, Prithvijit Chattopadhyay, Mike Chen, Yongxin Chen, Yu Chen, Shuai Cheng, Yin Cui, Jenna Diamond, Yifan Ding, Jiaojiao Fan, Linxi Fan, Liang Feng, Francesco Ferroni, Sanja Fidler, Xiao Fu, Ruiyuan Gao, Yunhao Ge, Jinwei Gu, Aryaman Gupta, Siddharth Gururani, Imad El Hanafi, Ali Hassani, Zekun Hao, Jacob Huffman, Joel Jang, Pooya Jannaty, Jan Kautz, Grace Lam, Xuan Li, Zhaoshuo Li, Maosheng Liao, Chen-Hsuan Lin, Tsung-Yi Lin, Yen-Chen Lin, Huan Ling, Ming-Yu Liu, Xian Liu, Yifan Lu, Alice Luo, Qianli Ma, Hanzi Mao, Kaichun Mo, Seungjun Nah, Yashraj Narang, Abhijeet Panaskar, Lindsey Pavao, Trung Pham, Morteza Ramezanali, Fitsum Reda, Scott Reed, Xuanchi Ren, Haonan Shao, Yue Shen, Stella Shi, Shuran Song, Bartosz Stefaniak, Shangkun Sun, Shitao Tang, Sameena Tasmeen, Lyne Tchapmi, Wei-Cheng Tseng, Jibin Varghese, Andrew Z. Wang, Hao Wang, Haoxiang Wang, Heng Wang, Ting-Chun Wang, Fangyin Wei, Jiashu Xu, Dinghao Yang, Xiaodong Yang, Haotian Ye, Seonghyeon Ye, Xiaohui Zeng, Jing Zhang, Qinsheng Zhang, Kaiwen Zheng, Andrew Zhu, Yuke Zhu

专题命中 VLM训练与架构 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Cosmos-Predict2.5和Cosmos-Transfer2.5通过统一生成和增强的模拟能力，推动物理AI领域的发展。

GMAIL: Generative Modality Alignment for generated Image Learning

GMAIL: 生成模态对齐用于生成图像学习

Shentong Mo, Sukmin Yun

机构 * Department of Machine Learning, CMU, USA（卡内基梅隆大学机器学习系） ； Department of Machine Learning, MBZUAI, UAE（马斯克大学人工智能研究所） ； Department of Artificial Intelligence, Hanyang University ERICA, South Korea（翰阳大学ERICA人工智能系） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 GMAIL通过多模态学习方法对齐生成图像与真实图像，提升视觉-语言任务中的生成图像学习效果。

COVR:Collaborative Optimization of VLMs and RL Agent for Visual-Based Control

COVR：视觉控制中视觉语言模型与强化学习代理的协同优化

Canming Xia, Peixi Peng, Guang Tan, Zhan Su, Haoran Xu, Zhenxian Liu, Luntong Li

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 COVR通过协同优化视觉语言模型与强化学习代理，利用RL生成数据提升VLM语义推理能力，并通过动作先验引导策略学习，实现视觉控制任务中的高效优化。

Comments The paper was accepted by the Fortieth AAAI Conference on Artificial Intelligence (AAAI-26)

LinMU: Multimodal Understanding Made Linear

LinMU: 使多模态理解线性化

Hongjie Wang, Niraj K. Jha

机构 * Princeton University（普林斯顿大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 LinMU通过线性复杂度设计实现多模态理解，无需二次注意力模块，提升视频处理效率。

Comments 23 pages, 7 figures

Unlabeled Data Improves Fine-Grained Image Zero-shot Classification with Multimodal LLMs

未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能

Yunqi Hong, Sohyun An, Andrew Bai, Neil Y. C. Lin, Cho-Jui Hsieh

机构 * Computer Science Department, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系） ； Mechanical and Aerospace Engineering Department, University of California, Los Angeles（加州大学洛杉矶分校机械与航空航天工程系） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 AutoSEP通过利用未标记数据提升多模态大语言模型在细粒度图像零样本分类中的性能。

GeoToken: Hierarchical Geolocalization of Images via Next Token Prediction

Narges Ghasemi, Amir Ziashahabi, Salman Avestimehr, Cyrus Shahabi

机构 * of Computer Science, University of Southern California, Los Angeles, CA, USA ； Computer Engineering, University of Southern California, Los Angeles, CA, USA 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted to IEEE International Conference on Data Mining (ICDM) 2025

BLIP-FusePPO: A Vision-Language Deep Reinforcement Learning Framework for Lane Keeping in Autonomous Vehicles

Seyed Ahmad Hosseini Miangoleh, Amin Jalal Aghdasian, Farzaneh Abdollahi

机构 * Department of Electrical Engineering, Amirkabir University of Technology (Tehran Polytechnic)（电气工程系，阿米尔卡比尔技术大学（德黑兰理工大学）） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments https://github.com/Amin-A96/BLIP-FusePPO-A-Vision-Language-Deep-Reinforcement-Learning-Framework-for-Lane-Keeping-in-Autonomous.git

Zero-Shot Vehicle Model Recognition via Text-Based Retrieval-Augmented Generation

Wei-Chia Chang, Yan-Ann Chen

机构 * Yuan Ze University（元智大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted by The 38th Conference of Open Innovations Association FRUCT, 2025

RDD: Retrieval-Based Demonstration Decomposer for Planner Alignment in Long-Horizon Tasks

Mingxuan Yan, Yuping Wang, Zechun Liu, Jiachen Li

机构 * University of California, Riverside（加州大学河滨分校） ； University of Michigan（密歇根大学） ； Meta AI 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025); Project Website: rdd-neurips.github.io

Data or Language Supervision: What Makes CLIP Better than DINO?

Yiming Liu, Yuhui Zhang, Dhruba Ghosh, Ludwig Schmidt, Serena Yeung-Levy

机构 * Stanford University（斯坦福大学） ； Tsinghua University（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments EMNLP 2025 Findings

Learning to See Before Seeing: Demystifying LLM Visual Priors from Language Pre-training

Junlin Han, Shengbang Tong, David Fan, Yufan Ren, Koustuv Sinha, Philip Torr, Filippos Kokkinos

机构 * Meta Superintelligence Labs（Meta 超智能实验室） ； University of Oxford（牛津大学） 纠错

专题命中 VLM训练与架构 ：visual reasoning(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Project page: https://junlinhan.github.io/projects/lsbs/