视觉大模型 / VLM

CORE: Code-based Inverse Self-Training Framework with Graph Expansion for Virtual Agents

CORE: 基于代码的逆向自训练框架与图扩展用于虚拟代理

Keyu Wang, Bingchen Miao, Wendong Bu, Yu Wu, Juncheng Li, Shengyu Zhang, Wenqiao Zhang, Siliang Tang, Jun Xiao, Yueting Zhuang

机构 * Zhejiang University（浙江大学） ； Wuhan University（武汉大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 CORE提出一种基于代码的逆向自训练框架，通过语义代码抽象和策略图扩展，提升虚拟代理的行为多样性和泛化能力。

Comments 19 pages, 12 figures

MotionPhysics: Learnable Motion Distillation for Text-Guided Simulation

MotionPhysics: 通过自然语言引导的模拟学习可学习的运动蒸馏

Miaowei Wang, Jakub Zadrożny, Oisin Mac Aodha, Amir Vaxman

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MotionPhysics通过自然语言引导模拟，利用可学习的运动蒸馏损失实现对3D物体物理参数的自动学习，提升动态模拟的逼真度和效率。

Comments AAAI2026 Accepted

Leveraging Lightweight Entity Extraction for Scalable Event-Based Image Retrieval

利用轻量级实体提取实现可扩展的基于事件的图像检索

Dao Sy Duy Minh, Huynh Trung Kiet, Nguyen Lam Phu Quy, Phu-Hoa Pham, Tran Chi Nguyen

机构 * University of Science - VNUHCM（越南胡志明市科学大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种轻量级两阶段检索流程，利用事件中心实体提取结合BM25和BEiT-3模型，实现高效准确的图像检索。

Comments System description paper for EVENTA Grand Challenge Track 2 at ACM Multimedia 2025 (MM '25). Ranked 4th place. 6 pages, 1 figure, 2 tables

Understanding World or Predicting Future? A Comprehensive Survey of World Models

理解世界还是预测未来？世界模型的全面综述

Jingtao Ding, Yunke Zhang, Yu Shang, Jie Feng, Yuheng Zhang, Zefang Zong, Yuan Yuan, Hongyuan Su, Nian Li, Jinghua Piao, Yucheng Deng, Nicholas Sukiennik, Chen Gao, Fengli Xu, Yong Li

机构 * Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University（电子工程系，信息科学与技术国家研究中心（BNRist），清华大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文综述了世界模型在理解与预测方面的功能，探讨了其在多个领域的应用及未来研究方向。

Comments Extended version of the original ACM CSUR paper, 49 pages, 6 figures, 8 tables

"I Can See Forever!": Evaluating Real-time VideoLLMs for Assisting Individuals with Visual Impairments

我能看到永远！

Ziyi Zhang, Zhen Sun, Zongmin Zhang, Zifan Peng, Yuemeng Zhao, Zichun Wang, Zeren Luo, Ruiting Zuo, Xinlei He

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文评估了实时视频LLMs在帮助视障者日常生活中的有效性，发现GPT-4o在任务成功率方面最高，并提出SafeVid数据集提升风险识别准确率至76%

Comments 17 pages

AI Agents in Engineering Design: A Multi-Agent Framework for Aesthetic and Aerodynamic Car Design

工程设计中的AI代理：一种用于汽车外观和空气动力学设计的多代理框架

Mohamed Elrefaie, Janet Qian, Raina Wu, Qian Chen, Angela Dai, Faez Ahmed

机构 * Department of Mechanical Engineering, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院机械工程系） ； Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology, Cambridge, MA, USA（麻省理工学院电气工程与计算机科学系） ； Department of Computer Science, Technical University of Munich, Munich, Germany（慕尼黑技术大学计算机科学系） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出了一种多代理框架，利用AI代理提升汽车设计的美学和空气动力学性能，通过自动化任务加速设计流程。

Test-time scaling of diffusions with flow maps

扩散模型测试时间缩放与流映射

Amirmojtaba Sabour, Michael S. Albergo, Carles Domingo-Enrich, Nicholas M. Boffi, Sanja Fidler, Karsten Kreis, Eric Vanden-Eijnden

机构 * NVIDIA（NVIDIA公司） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Harvard University（哈佛大学） ； Kempner Institute（凯姆纳研究所） ； IAIFI（IAIFI机构） ； Microsoft Research（微软研究院） ； Carnegie Mellon University（卡内基梅隆大学） ； Courant Institute, New York University（纽约大学应用数学学院） ； ML Lab at Capital Fund Management (CFM)（Capital Fund Management (CFM)机器学习实验室） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出通过流映射改进扩散模型测试时间性能，通过流映射与速度场关系构建FMTT算法，实现更优奖励上升并支持复杂图像编辑。

Unsupervised Memorability Modeling from Tip-of-the-Tongue Retrieval Queries

从舌尖上的遗忘检索查询中无监督建模可记忆性

Sree Bhattacharyya, Yaman Kumar Singla, Sudhir Yarram, Somesh Kumar Singh, Harini S, James Z. Wang

机构 * The Pennsylvania State University（宾夕法尼亚州立大学） ； Adobe Media and Data Science Research（Adobe媒体与数据科学研究） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出首个大规模无监督数据集，通过舌尖上的遗忘检索查询建模视觉内容的可记忆性，并展示了其在回忆生成和ToT检索任务中的优越表现。

Comments Accepted at WACV 2026

VidComposition: Can MLLMs Analyze Compositions in Compiled Videos?

VidComposition: MLLMs能否分析编译视频中的构成？

Yolo Y. Tang, Junjia Guo, Hang Hua, Susan Liang, Mingqian Feng, Xinyang Li, Rui Mao, Chao Huang, Jing Bi, Zeliang Zhang, Pooyan Fazli, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； Arizona State University（亚利桑那州立大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 VidComposition通过编排视频和电影级注释评估MLLMs对视频构成的理解能力，揭示了当前模型在复杂编译视频分析中的局限性。

Comments Accepted to CVPR 2025

Find Them All: Unveiling MLLMs for Versatile Person Re-identification

找到它们全部：揭示MLLMs用于多功能人物重识别

Jinhao Li, Zijian Chen, Lirong Deng, Guangtao Zhai, Changbo Wang

机构 * School of Computer Science and Technology, East China Normal University（东华大学计算机科学与技术学院） ； Institute of Image Communication and Information Processing, Shanghai Jiao Tong University（上海交通大学图像通信与信息处理研究所） ； Macao Polytechnic University（澳门 polytechnic 大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VP-ReID基准，利用MLLMs提升人物重识别的多功能性和有效性，同时揭示其在处理某些模态时的局限性。

Hierarchical Semantic Tree Anchoring for CLIP-Based Class-Incremental Learning

基于CLIP的层次语义树锚定的类增量学习

Tao Hu, Lan Li, Zhen-Hao Xie, Da-Wei Zhou

机构 * School of Artificial Intelligence, Nanjing University（人工智能学院，南京大学） ； State Key Laboratory for Novel Software Technology, Nanjing University（新型软件技术国家重点实验室，南京大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 HASTEN通过层次语义树锚定方法，有效解决CLIP类增量学习中的灾难性遗忘问题，提升模型对层次化类别结构的保持能力。

WOD-E2E: Waymo Open Dataset for End-to-End Driving in Challenging Long-tail Scenarios

Runsheng Xu, Hubert Lin, Wonseok Jeon, Hao Feng, Yuliang Zou, Liting Sun, John Gorman, Ekaterina Tolstaya, Sarah Tang, Brandyn White, Ben Sapp, Mingxing Tan, Jyh-Jing Hwang, Dragomir Anguelov

机构 * Waymo LLC（Waymo公司） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

CLIP is All You Need for Human-like Semantic Representations in Stable Diffusion

Cameron Braunstein, Mariya Toneva, Eddy Ilg

机构 * Saarland University, Saarbrücken Germany（萨尔兰州大学） ； MPI for Software Systems, Saarbrücken Germany（软件系统研究所） ； University of Technology Nuremberg, Nuremberg Germany（纽伦堡技术大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 28 pages, 8 figures, 2 tables

WildFireCan-MMD: A Multimodal Dataset for Classification of User-Generated Content During Wildfires in Canada

Braeden Sherritt, Isar Nejadgholi, Efstratios Aivaliotis, Khaled Mslmani, Marzieh Amini

机构 * Carleton University（卡尔顿大学） ； National Research Council Canada（加拿大国家研究委员会） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

Video CLIP Model for Multi-View Echocardiography Interpretation

Ryo Takizawa, Satoshi Kodera, Tempei Kabayama, Ryo Matsuoka, Yuta Ando, Yuto Nakamura, Haruki Settai, Norihiko Takeda

机构 * The University of Tokyo Hospital（东京大学医院） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

LLEXICORP: End-user Explainability of Convolutional Neural Networks

Vojtěch Kůr, Adam Bajger, Adam Kukučka, Marek Hradil, Vít Musil, Tomáš Brázdil

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Let Multimodal Embedders Learn When to Augment Query via Adaptive Query Augmentation

Wongyu Kim, Hochang Lee, Sanghak Lee, Yoonsung Kim, Jaehyun Park

机构 * NC AI（NC人工智能） 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.AI、cs.LG

Comments Accepted to MMGenSR Workshop (CIKM 2025)

EgoBlind: Towards Egocentric Visual Assistance for the Blind

Junbin Xiao, Nanxin Huang, Hao Qiu, Zhulin Tao, Xun Yang, Richang Hong, Meng Wang, Angela Yao

机构 * National University of Singapore（新加坡国立大学） ； Communication University of China（中国传媒大学） ； University of Science and Technology of China（中国科学技术大学） ； Hefei University of Technoloy（合肥工业大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments NeurIPS'25 (D&B Track)

FedMGP: Personalized Federated Learning with Multi-Group Text-Visual Prompts

Weihao Bo, Yanpeng Sun, Yu Wang, Xinyu Zhang, Zechao Li

机构 * Nanjing University of Science and Technology（南京理工大学） ； National University of Singapore（新加坡国立大学） ； Baidu VIS（百度视觉部） ； University of Auckland（奥克兰大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

Federated Vision-Language-Recommendation with Personalized Fusion

Zhiwei Li, Guodong Long, Jing Jiang, Chengqi Zhang, Qiang Yang

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments 15 pages, 10 figures, 7 tables, conference

Few-Shot Remote Sensing Image Scene Classification with CLIP and Prompt Learning

Ivica Dimitrovski, Vlatko Spasev, Ivan Kitanovski

机构 * Faculty of Computer Science and Engineering（计算机科学与工程学院） ； University Ss Cyril and Methodius（西里尔与美多西乌斯大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

LOC: A General Language-Guided Framework for Open-Set 3D Occupancy Prediction

Yuhang Gao, Xiang Xiang, Sheng Zhong, Guoyou Wang

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.LG

Input Domain Aware MoE: Decoupling Routing Decisions from Task Optimization in Mixture of Experts

Yongxiang Hua, Haoyu Cao, Zhou Tao, Bocheng Li, Zihao Wu, Chaohu Liu, Linli Xu

机构 * University of Science and Technology of China（科学技术大学） ； State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.AI、cs.LG

Comments ACM MM25

Language as a Label: Zero-Shot Multimodal Classification of Everyday Postures under Data Scarcity

MingZe Tang, Jubal Chandy Jacob

机构 * Department of Computing Science University of Aberdeen（计算科学系阿伯丁大学） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV、cs.AI

MIRROR: Multimodal Cognitive Reframing Therapy for Rolling with Resistance

Subin Kim, Hoonrae Kim, Jihyun Lee, Yejin Jeon, Gary Geunbae Lee

机构 * KT Corporation, Republic of Korea（韩国KT公司） ； Graduate School of Artificial Intelligence, POSTECH, Republic of Korea（POSTECH人工智能研究生院） ； Computer Science and Engineering, POSTECH, Republic of Korea（POSTECH计算机科学与工程系） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.AI

Comments EMNLP 2025 Main

A Vision-Language Pre-training Model-Guided Approach for Mitigating Backdoor Attacks in Federated Learning

Keke Gai, Dongjue Wang, Jing Yu, Liehuang Zhu, Qi Wu

机构 * School of Cyberspace Science and Technology, Beijing Institute of Technology（信息空间科学与技术学院，北京理工大学） ； School of Information Engineering, Minzu University of China（信息工程学院，民族大学） ； Australian Institute of Machine Learning, The University of Adelaide（澳大利亚机器学习研究所，阿德莱德大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

Cooperative Pseudo Labeling for Unsupervised Federated Classification

Kuangpu Guo, Lijun Sheng, Yongcan Yu, Jian Liang, Zilei Wang, Ran He

机构 * University of Science and Technology of China（中国科学技术大学） ； NLPR & MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） 纠错

专题命中 其他VLM ：vision language model(abstract)；分类 cs.CV、cs.LG

Comments Accepted by ICCV 2025

Product of Experts for Visual Generation

Yunzhi Zhang, Carson Murtuza-Lanier, Zizhang Li, Yilun Du, Jiajun Wu

机构 * Stanford University（斯坦福大学） ； Harvard University（哈佛大学） 纠错

专题命中 其他VLM ：visual language model(abstract)；分类 cs.CV、cs.AI

Comments Project page: https://product-of-experts.github.io/

Reinforcement Learning-Based Prompt Template Stealing for Text-to-Image Models

Xiaotian Zou

机构 * Xiaotian Zou 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments 10 pages, 3 figures

VELA: An LLM-Hybrid-as-a-Judge Approach for Evaluating Long Image Captions

Kazuki Matsuda, Yuiga Wada, Shinnosuke Hirano, Seitaro Otsuki, Komei Sugiura

机构 * Keio University（庆应大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments EMNLP 2025 Main Conference