视觉大模型 / VLM

Uni4D-LLM: A Unified SpatioTemporal-Aware VLM for 4D Understanding and Generation

Hanyu Zhou, Gim Hee Lee

机构 * School of Computing, National University of Singapore（计算学院，新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV

HERO: Rethinking Visual Token Early Dropping in High-Resolution Large Vision-Language Models

Xu Li, Yuxuan Liang, Xiaolei Chen, Yi Zheng, Haotian Chen, Bin Li, Xiangyang Xue

机构 * College of Computer Science and Artificial Intelligence, Fudan University（计算机科学与人工智能学院，复旦大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

Mitigating Visual Hallucinations via Semantic Curriculum Preference Optimization in MLLMs

Yuanshuai Li, Yuping Yan, Junfeng Tang, Yunxuan Li, Zeqi Zheng, Yaochu Jin

机构 * School of Engineering, Westlake University, Hangzhou, China（西湖大学工程学院） ； School of Cyberspace Security, Nanjing University of Science and Technology, Nanjing, China（南京理工大学网络安全学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

Learning Hyperspectral Images with Curated Text Prompts for Efficient Multimodal Alignment

Abhiroop Chatterjee, Susmita Ghosh

机构 * Jadavpur University（贾瓦帕尔大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

Comments Accepted at the IEEE/CVF International Conference on Computer Vision (ICCV 2025), Workshop on Curated Data for Efficient Learning

GroupCoOp: Group-robust Fine-tuning via Group Prompt Learning

Nayeong Kim, Seong Joon Oh, Suha Kwak

机构 * Pohang University of Science and Technology (POSTECH)（釜山科学技术大学） ； Tübingen AI Center（图宾根人工智能中心） ； Universität Tübingen（图宾根大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

Comments This paper was first submitted to NeurIPS 2024 in May 2024

AttAnchor: Guiding Cross-Modal Token Alignment in VLMs with Attention Anchors

Junyang Zhang, Tianyi Zhu, Thierry Tambe

机构 * California Institute of Technology（加州理工学院） ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

Comments 31 pages, 17 figures

StreamForest: Efficient Online Video Understanding with Persistent Event Memory

Xiangyu Zeng, Kefan Qiu, Qingyu Zhang, Xinhao Li, Jing Wang, Jiaxin Li, Ziang Yan, Kun Tian, Meng Tian, Xinhai Zhao, Yi Wang, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； Yinwang Intelligent Tech.（云网智能科技） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted as a Spotlight at NeurIPS 2025

When MLLMs Meet Compression Distortion: A Coding Paradigm Tailored to MLLMs

Jinming Liu, Zhaoyang Jia, Jiahao Li, Bin Li, Xin Jin, Wenjun Zeng, Yan Lu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（东部技术研究所） ； Microsoft Research Asia（微软亚洲研究院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

Patient-specific Biomolecular Instruction Tuning

Irsyad Adam, Zekai Chen, David Laub, Shaun Porwal, Arda Pekis, Kevin Brown

机构 * Standard Model Biomedicine（标准模型生物医学） ； University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

Plug-and-Play 1.x-Bit KV Cache Quantization for Video Large Language Models

Keda Tao, Haoxuan You, Yang Sui, Can Qin, Huan Wang

机构 * Zhejiang University（浙江大学） ； Westlake University（西湖大学） ； Columbia University（哥伦比亚大学） ； Rice University（Rice大学） ； Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV

Comments 12 pages

UniAlignment: Semantic Alignment for Unified Image Generation, Understanding, Manipulation and Perception

Xinyang Song, Libin Wang, Weining Wang, Shaozhen Liu, Dandan Zheng, Jingdong Chen, Qi Li, Zhenan Sun

机构 * Ant Group（蚂蚁集团） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV