视觉大模型 / VLM

Human-AI Alignment of Multimodal Large Language Models with Speech-Language Pathologists in Parent-Child Interactions

与语言病理学家在亲子互动中的人机对齐多模态大语言模型

Weiyan Shi, Kenny Tsu Wei Choo

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)

AI总结 本研究通过多模态大语言模型与语言病理学家的对齐，开发了支持亲子互动分析的系统，实现了85%的感知线索提取准确率和75%的判断精确率，并提出了行为观察-判断系统的构建指南。

Comments This is an earlier version of the work released in May 2025. The version accepted at CHI 2026 is available as a separate preprint at arXiv:2511.04366

Image Complexity-Aware Adaptive Retrieval for Efficient Vision-Language Models

面向高效视觉-语言模型的图像复杂度感知自适应检索

Mikel Williams-Lekuona, Georgina Cosma

机构 * Computer Science, Loughborough University, Loughborough, UK（计算机科学，洛桑大学，洛桑，英国） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 ICAR通过自适应计算方法提升视觉-语言模型效率，实现高效图像-文本匹配与复杂度评估。

Comments Camera-ready version for ECIR 2026

Scaffolding Dexterous Manipulation with Vision-Language Models

利用视觉-语言模型实现灵巧操作的支架

Vincent de Bakker, Joey Hejna, Tyler Ga Wei Lum, Onur Celik, Aleksandar Taranovic, Denis Blessing, Gerhard Neumann, Jeannette Bohg, Dorsa Sadigh

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 利用视觉-语言模型生成任务相关轨迹，训练低层RL策略实现灵巧操作，无需人工演示或奖励。

Can a Unimodal Language Agent Provide Preferences to Tune a Multimodal Vision-Language Model?

单模语言代理能否为调整多模态视觉-语言模型提供偏好？

Sazia Tabasum Mim, Jack Morris, Manish Dhakal, Yanming Xiu, Maria Gorlatova, Yi Ding

机构 * Georgia State University（佐治亚州立大学） ； Duke University（杜克大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

AI总结 本文提出通过单模语言代理提供偏好反馈，提升多模态视觉-语言模型的描述能力，实验显示在准确率上提升13%，且人类偏好匹配率达64.6%。

Comments Accepted to IJCNLP-AACL 2025 Findings

FIRE-VLM: A Vision-Language-Driven Reinforcement Learning Framework for UAV Wildfire Tracking in a Physics-Grounded Fire Digital Twin

FIRE-VLM：一种基于视觉-语言驱动的强化学习框架，用于在物理基础火灾数字孪生中无人机火灾跟踪

Chris Webb, Mobin Habibpour, Mayamin Hamid Raha, Ali Reza Tavakkoli, Janice Coen, Fatemeh Afghah

机构 * Clemson University（克莱姆森大学） ； University of Nevada, Reno（内华达大学拉斯维加斯分校） ； NSF NCAR（国家科学基金会NCAR） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 FIRE-VLM是一种基于视觉-语言模型的强化学习框架，用于在物理基础火灾数字孪生中实现无人机火灾跟踪，通过结合物理术语与VLM语义的奖励设计，提升了火灾检测效率。

Towards Long-window Anchoring in Vision-Language Model Distillation

迈向视觉-语言模型蒸馏中的长窗口锚定

Haoyi Zhou, Shuo Li, Tianyu Chen, Qi Song, Chonghan Gao, Jianxin Li

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出LAid方法，通过改进注意力机制和RoPE响应调节，提升视觉-语言模型的长上下文理解能力，使蒸馏模型的有效上下文窗口长度增加3.2倍。

Comments Accepted by AAAI 2026

MMSRARec: Summarization and Retrieval Augumented Sequential Recommendation Based on Multimodal Large Language Model

MMSRARec: 基于多模态大语言模型的摘要与检索增强的序列推荐

Haoyu Wang, Yitong Wang, Jining Wang

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)

AI总结 本文提出MMSRARec，基于多模态大语言模型，通过摘要与检索增强序列推荐，提升推荐性能、可解释性与计算效率。

Comments Under Review

Towards Logic-Aware Manipulation: A Knowledge Primitive for VLM-Based Assistants in Smart Manufacturing

面向逻辑感知的操控：一种用于智能制造中基于VLM助手的知识原语

Suchang Chen, Daqiang Guo

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文提出了一种面向智能制造的基于VLM助手的知识原语，通过定义对象为中心的操控-逻辑模式，实现了在制造单元中执行复杂操控任务的逻辑感知和高效规划。

Comments 8 pages, 2 figures, submitted to the 2026 IFAC World Congress

RMAdapter: Reconstruction-based Multi-Modal Adapter for Vision-Language Models

RMAdapter: 基于重建的多模态适配器用于视觉-语言模型

Xiang Lin, Weixin Li, Shu Guo, Lihong Wang, Di Huang

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 RMAdapter通过双分支架构平衡通用与任务特定知识，提升视觉-语言模型在多模态迁移学习中的性能。

Comments Accepted by AAAI 2026(Oral)

Test-Time Spectrum-Aware Latent Steering for Zero-Shot Generalization in Vision-Language Models

测试时谱感知的潜在引导用于视觉-语言模型中的零样本泛化

Konstantinos M. Dafnis, Dimitris N. Metaxas

机构 * Rutgers University（罗格斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出STP，一种轻量级的测试时适应框架，通过谱感知方法引导潜在表示，提升视觉-语言模型在零样本泛化中的性能，同时保持高效推理速度和低内存消耗。

Comments NeurIPS 2025

Table Comprehension in Building Codes using Vision Language Models and Domain-Specific Fine-Tuning

利用视觉语言模型和领域特定微调进行建筑规范中的表格理解

Mohammad Aqib, Mohd Hamza, Ying Hei Chui, Qipei Mei

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)

AI总结 本文研究了利用视觉语言模型和领域特定微调提取建筑规范中表格信息的方法，发现直接输入方法在准确性上优于间接输入方法，且微调后模型性能显著提升。

SafeR-CLIP: Mitigating NSFW Content in Vision-Language Models While Preserving Pre-Trained Knowledge

SafeR-CLIP: 通过保留预训练知识来缓解视觉-语言模型中的不适宜内容

Adeel Yousaf, Joseph Fioresi, James Beetham, Amrit Singh Bedi, Mubarak Shah

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 SafeR-CLIP通过最小化干预策略，在保留预训练知识的同时提升视觉-语言模型的安全性，实现性能与安全性的平衡。

Comments AAAI 2026 (Main Technical Track)

VLM-SFD: VLM-Assisted Siamese Flow Diffusion Framework for Dual-Arm Cooperative Manipulation

VLM-SFD：基于视觉语言模型的双臂协作操作Siamese流扩散框架

Jiaming Chen, Yiyu Jiang, Aoshen Huang, Yang Li, Wei Pan

机构 * Department of Computer Science, The University of Manchester（计算机科学系，曼彻斯特大学） ； School of Control Science and Engineering, Shandong University（控制科学与工程学院，山东大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 VLM-SFD通过双编码器-解码器架构和视觉语言模型，提升双臂协作操作的模仿学习效率与泛化能力。

Comments Accepted by IEEE RA-L

Efficient Architectures for High Resolution Vision-Language Models

高效高分辨率视觉-语言模型架构

Miguel Carvalho, Bruno Martins

机构 * INESC-ID and Instituto Superior Técnico, University of Lisbon（INESC-ID 和 里斯本大学技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Pheye是一种高效处理高分辨率图像的视觉-语言模型架构，通过减少参数数量实现高效率和强性能，尤其在细粒度图像理解和场景文本处理任务中表现突出。

Comments Accepted at COLING 2025

HydraInfer: Hybrid Disaggregated Scheduling for Multimodal Large Language Model Serving

Xianzhe Dong, Tongxuan Liu, Yuting Zeng, Liangyu Liu, Yang Liu, Siyu Wu, Yu Wu, Hailong Yang, Ke Zhang, Jing Li

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)

Gentle Manipulation Policy Learning via Demonstrations from VLM Planned Atomic Skills

Jiayu Zhou, Qiwei Wu, Jian Li, Zhe Chen, Xiaogang Xiong, Renjing Xu

专题命中 VLM训练与架构 ：VLM(title,abstract)；visual language model(abstract)

Comments Accepted for the 40th Annual AAAI Conference on Artificial Intelligence (2026)

The Pervasive Blind Spot: Benchmarking VLM Inference Risks on Everyday Personal Videos

Shuning Zhang, Zhaoxin Li, Changxi Wen, Ying Ma, Simin Li, Gengrui Zhang, Ziyi Zhang, Yibo Meng, Hantao Zhao, Xin Yi, Hewu Li

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

UTI-LLM: A Personalized Articulatory-Speech Therapy Assistance System Based on Multimodal Large Language Model

Yudong Yang, Xiaokang Liu, Shaofeng zhao, Rongfeng Su, Nan Yan, Lan Wang

机构 * Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences, China（深圳先进技术研究院，中国科学院，中国） ； Key Laboratory of Biomedical Imaging Science and System, Chinese Academy of Sciences, China（生物医学成像科学与系统重点实验室，中国科学院，中国） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(abstract)

Seeing, Signing, and Saying: A Vision-Language Model-Assisted Pipeline for Sign Language Data Acquisition and Curation from Social Media

Shakib Yazdani, Yasser Hamidullah, Cristina España-Bonet, Josef van Genabith

机构 * German Research Center for Artificial Intelligence (DFKI GmbH)（德国人工智能研究中心（DFKI GmbH）） ； Saarland Informatics Campus（萨尔兰州信息技术校区） ； Barcelona Supercomputing Center (BSC-CNS)（巴塞罗那超级计算中心（BSC-CNS）） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；VLM(abstract)

Comments Accepted by RANLP 2025

Decoupled Proxy Alignment: Mitigating Language Prior Conflict for Multimodal Alignment in MLLM

Chenkun Tan, Pengyu Wang, Shaojun Zhou, Botian Jiang, Zhaowei Li, Dong Zhang, Xinghao Wang, Yaqian Zhou, Xipeng Qiu

机构 * Fudan University（复旦大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)

Comments Accepted by Findings of EMNLP2025

FakeSV-VLM: Taming VLM for Detecting Fake Short-Video News via Progressive Mixture-Of-Experts Adapter

Junxi Wang, Yaxiong Wang, Lechao Cheng, Zhun Zhong

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)

Comments EMNLP2025 Findings

MetaGen: A DSL, Database, and Benchmark for VLM-Assisted Metamaterial Generation

Liane Makatura, Benjamin Jones, Siyuan Bian, Wojciech Matusik

机构 * MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 VLM训练与架构 ：VLM(title)；vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

Toward Socially Aware Vision-Language Models: Evaluating Cultural Competence Through Multimodal Story Generation

Arka Mukherjee, Shreya Ghosh

机构 * KIIT Deemed University（KIIT大学） ； Indian Institute of Technology (IIT) Bhubaneswar（印度理工学院（Bhubaneswar分校）） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

Comments Accepted at ASI @ ICCV 2025

G-LLaVA: Solving Geometric Problem with Multi-Modal Large Language Model

Jiahui Gao, Renjie Pi, Jipeng Zhang, Jiacheng Ye, Wanjun Zhong, Yufei Wang, Lanqing Hong, Jianhua Han, Hang Xu, Zhenguo Li, Lingpeng Kong

机构 * Noah’s Ark Lab（诺亚 Ark 实验室） ； The University of Hong Kong（香港大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；multimodal large language model(abstract)

Comments 10 pages

Dopamine Audiobook: A Training-free MLLM Agent for Emotional and Immersive Audiobook Generation

Yan Rong, Shan Yang, Chenxing Li, Dong Yu, Li Liu

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)

Through Their Eyes: User Perceptions on Sensitive Attribute Inference of Social Media Videos by Visual Language Models

Shuning Zhang, Gengrui Zhang, Yibo Meng, Ziyi Zhang, Hantao Zhao, Xin Yi, Hewu Li

专题命中 VLM训练与架构 ：visual language model(title,abstract)；VLM(abstract)

VLM-TDP: VLM-guided Trajectory-conditioned Diffusion Policy for Robust Long-Horizon Manipulation

Kefeng Huang, Tingguang Li, Yuzhen Liu, Zhe Zhang, Jiankun Wang, Lei Han

机构 * Tencent Robotics X（腾讯机器人实验室） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

olmOCR: Unlocking Trillions of Tokens in PDFs with Vision Language Models

Jake Poznanski, Aman Rangapur, Jon Borchardt, Jason Dunkelberger, Regan Huff, Daniel Lin, Aman Rangapur, Christopher Wilhelm, Kyle Lo, Luca Soldaini

机构 * Allen Institute for AI（艾伦人工智能研究所） 纠错

专题命中 VLM训练与架构 ：vision language model(title,abstract)；VLM(abstract)

TinyAlign: Boosting Lightweight Vision-Language Models by Mitigating Modal Alignment Bottlenecks

Yuanze Hu, Zhaoxin Fan, Xinyu Wang, Gen Li, Ye Qiu, Zhichao Yang, Wenjun Wu, Kejian Wu, Yifan Sun, Xiaotie Deng, Jin Dong

机构 * Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing（北京未来区块链与隐私计算先进创新中心） ； Beihang University（北京航空航天大学） ； Hangzhou International Innovation Institute（杭州国际创新研究院） ； Xreal ； Renmin University（中国人民大学） ； Peking University（北京大学） ； Beijing Academy of Blockchain and Edge Computing (BABEC)（北京区块链与边缘计算研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

Biases Propagate in Encoder-based Vision-Language Models: A Systematic Analysis From Intrinsic Measures to Zero-shot Retrieval Outcomes

Kshitish Ghate, Tessa Charlesworth, Mona Diab, Aylin Caliskan

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Northwestern University（西北大学） ； University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)

Comments Accepted to ACL Findings 2025