视觉大模型 / VLM

Unifying Deep Predicate Invention with Pre-trained Foundation Models

统一深度谓词发明与预训练基础模型

Qianwei Wang, Bowen Li, Zhanpeng Luo, Yifan Xu, Alexander Gray, Tom Silver, Sebastian Scherer, Katia Sycara, Yaqi Xie

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Computer Science and Engineering Division, University of Michigan（密歇根大学计算机科学与工程系） ； Department of Computer Science, University of Pittsburgh（匹兹堡大学计算机科学系） ； Centaur AI Institute（Centaur人工智能研究所） ； Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 UniPred通过双层学习框架统一深度谓词发明与预训练基础模型，提升机器人任务的可扩展性和灵活性。

Comments 18 pages, 11 figures

Seeing Justice Clearly: Handwritten Legal Document Translation with OCR and Vision-Language Models

清晰地看见正义：结合OCR和视觉-语言模型的 handwritten 法律文件翻译

Shubham Kumar Nigam, Parjanya Aditya Shukla, Noel Shallum, Arnab Bhattacharya

专题命中 文档图表理解 ：vision-language model(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出利用视觉大语言模型统一OCR与机器翻译流程，以提升低资源环境下手写法律文件的翻译效率和准确性。

Comments Accepted in AILaw @ AAAI 2026 Conference

Multimodal LLMs for Historical Dataset Construction from Archival Image Scans: German Patents (1877-1918)

多模态大语言模型用于从档案图像扫描中构建历史数据集：德国专利（1877-1918）

Niclas Griesshaber, Jochen Streb

机构 * University of Mannheim（曼海姆大学） 纠错

专题命中 文档图表理解 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出利用多模态大语言模型构建德国1877-1918年专利数据集，证明其在效率和质量上的优势，并开源相关工具和数据以促进经济史研究。

AndesVL Technical Report: An Efficient Mobile-side Multimodal Large Language Model

AndesVL 技术报告：一种高效的移动端多模态大语言模型

Zhiwei Jin, Xiaohui Song, Nan Wang, Yafei Liu, Chao Li, Xin Li, Ruichen Wang, Zhihao Li, Qi Qi, Long Cheng, Dongze Hao, Quanlong Zheng, Yanhao Zhang, Haobo Ji, Jian Ma, Zhitong Zheng, Zhenyi Lin, Haolin Deng, Xin Zou, Xiaojie Yin, Ruilin Wang, Liankai Cai, Haijing Liu, Yuqing Qiu, Ke Chen, Zixian Li, Chi Xie, Huafei Li, Chenxing Li, Chuangchuang Wang, Kai Tang, Zhiguang Zhu, Kai Tang, Wenmei Gao, Rui Wang, Jun Wu, Chao Liu, Qin Xie, Chen Chen, Haonan Lu

机构 * AndesVL Team（AndesVL团队） ； OPPO AI Center（OPPO人工智能中心） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(title)；InternVL(abstract)；分类 cs.CV、cs.AI

AI总结 AndesVL 是一种高效的移动端多模态大语言模型，通过 1+N LoRA 架构和 QALFT 框架实现高效任务适应和模型压缩，部署在 MediaTek Dimensity 9500 芯片上，达到 6.7 倍解码加速和 30.9% 内存减少。

Comments Tech report of OPPO AndesVL Team

MaP-AVR: A Meta-Action Planner for Agents Leveraging Vision Language Models and Retrieval-Augmented Generation

MaP-AVR: 一种利用视觉语言模型和检索增强生成的元动作规划器

Zhenglong Guo, Yiming Zhao, Feng Jiang, Heng Jin, Zongbao Feng, Jianbin Zhou, Siyuan Xu

机构 * Li Auto 纠错

专题命中 GUI与屏幕智能体 ：vision language model(title)；VLM(abstract)

AI总结 MaP-AVR通过元动作规划和检索增强生成技术，提升机器人在复杂环境中的任务规划能力。

Comments 8 pages, 10 figures, This work was completed in December 2024

FC-MIR: A Mobile Screen Awareness Framework for Intent-Aware Recommendation based on Frame-Compressed Multimodal Trajectory Reasoning

FC-MIR：一种基于帧压缩多模态轨迹推理的移动屏幕感知框架，用于意图感知推荐

Zhe Yang, Xiaoshuang Sheng, Zhengnan Zhang, Jidong Wu, Zexing Wang, Xin He, Shenghua Xu, Guanjing Xiong

机构 * vivo AI Lab（vivo人工智能实验室） ； Zhejiang University（浙江大学） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 FC-MIR框架通过帧压缩多模态轨迹推理，提升移动设备上意图感知推荐的效率与实用性，支持轻量级部署并探索生成操作与建议。

VLNVerse: A Benchmark for Vision-Language Navigation with Versatile, Embodied, Realistic Simulation and Evaluation

VLNVerse: 一个用于视觉语言导航的基准，具备多用途、具身体验、逼真模拟和评估

Sihao Lin, Zerui Li, Xunyi Zhao, Gengze Zhou, Liuyi Wang, Rong Wei, Rui Tang, Juncheng Li, Hanqing Wang, Jiangmiao Pang, Anton van den Hengel, Jiajun Liu, Qi Wu

机构 * Adelaide University（阿德莱德大学） ； Responsible AI Research Centre, Australian Institute for Machine Learning（负责任人工智能研究中心、澳大利亚机器学习研究所） ； Tongji University（同济大学） ； ManyCore ； Zhejiang University（浙江大学） ； Shanghai AI Lab（上海人工智能实验室） ； CSIRO Data61 纠错

专题命中 GUI与屏幕智能体 ：MLLM(abstract)；分类 cs.CV

AI总结 VLNVerse是一个大规模、可扩展的视觉语言导航基准，通过多用途、具身体验和逼真模拟提升导航任务的泛化能力与研究效率。

ChronoDreamer: Action-Conditioned World Model as an Online Simulator for Robotic Planning

ChronoDreamer：基于动作的动态世界模型作为机器人规划的在线模拟器

Zhenhao Zhou, Dan Negrut

机构 * University of Wisconsin–Madison（威斯康星大学麦迪逊分校） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.AI

AI总结 ChronoDreamer通过时空变换器和视觉-语言模型，实现基于动作的动态世界模型，用于机器人规划中的安全动作预测与碰撞检测。

Embodied4C: Measuring What Matters for Embodied Vision-Language Navigation

Embodied4C: 评估具身视觉-语言导航中至关重要的因素

Tin Stribor Sohn, Maximilian Dillitzer, Jason J. Corso, Eric Sax

机构 * Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院） ； UAS Esslingen（埃森嫩大学） ； TU Wien（维也纳技术大学） ； Dr. Ing. h.c. F. Porsche AG（保时捷股份有限公司） ； University of Michigan（密歇根大学） ； Voxel51 Inc.（Voxel51公司） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；分类 cs.CV

AI总结 Embodied4C通过三种异构具身评估VLMs的具身能力，发现跨模态对齐和指令微调比规模更重要，而空间和时间推理是可靠具身能力的主要瓶颈。

Who Can See Through You? Adversarial Shielding Against VLM-Based Attribute Inference Attacks

谁能穿透你？基于VLM的属性推断攻击的对抗防护

Yucheng Fan, Jiawei Chen, Yu Tian, Zhaoxia Yin

机构 * East China Normal University（东华大学） ； Zhongguancun Academy（中关村学院） ； Dept. of Comp. Sci. and Tech., Institute for AI, Tsinghua University（计算机科学与技术系，人工智能研究院，清华大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种基于视觉一致性约束的隐私保护方法，通过VPI-COCO基准验证，有效降低隐私泄露风险并保持视觉一致性。

AmPLe: Supporting Vision-Language Models via Adaptive-Debiased Ensemble Multi-Prompt Learning

AmPLe: 通过自适应去偏集成多提示学习支持视觉-语言模型

Fei Song, Yi Li, Jiangmeng Li, Rui Wang, Changwen Zheng, Fanjiang Xu, Hui Xiong

机构 * National Key Laboratory of Space Integrated Information System, Institute of Software, Chinese Academy of Sciences（中国科学院空间信息集成系统国家重点实验室，软件研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 AmPLe通过自适应去偏集成多提示学习方法，解决模型-提示匹配偏差和样本-提示匹配偏差，提升视觉-语言模型在下游任务中的性能。

Comments Accepted by IJCV2025

SafeMed-R1: Adversarial Reinforcement Learning for Generalizable and Robust Medical Reasoning in Vision-Language Models

SafeMed-R1: 为视觉-语言模型中的通用性和鲁棒性医疗推理设计的对抗强化学习

A. A. Gde Yogi Pramana, Jason Ray, Anthony Jaya, Michael Wijaya

机构 * National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title)；visual question answering(abstract)；分类 cs.AI

AI总结 SafeMed-R1通过对抗训练与组相对策略优化提升视觉-语言模型在医疗推理中的鲁棒性和可解释性。

Watch Closely: Mitigating Object Hallucinations in Large Vision-Language Models with Disentangled Decoding

Watch Closely: 通过解耦解码缓解大视觉-语言模型中的物体幻觉

Ruiqi Ma, Yu Yan, Chunhong Zhang, Minghao Yin, XinChao Liu, Zhihong Jin, Zheng Hu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； The University of Hong Kong（香港大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 通过解耦解码方法，无需训练即可缓解大视觉-语言模型中的物体幻觉问题，提升模型的视觉性能和准确性。

Investigating Spatial Attention Bias in Vision-Language Models

探究视觉-语言模型中的空间注意力偏差

Aryan Chaudhary, Sanchit Goyal, Pratik Narang, Dhruv Kumar

机构 * Birla Institute of Technology and Science, Pilani, India（比拉理工学院和科学研究院，帕利尼，印度） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了视觉-语言模型在处理水平拼接图像时存在的系统性空间注意力偏差，发现模型倾向于优先描述左位置内容，且该偏差在不同架构和语言训练下均存在。

LLM-CAS: Dynamic Neuron Perturbation for Real-Time Hallucination Correction

LLM-CAS: 动态神经元扰动用于实时幻觉修正

Jensen Zhang, Ningyuan Liu, Yijia Fan, Zihao Huang, Qinglin Zeng, Kaitong Cai, Jian Wang, Keze Wang

机构 * Sun Yat-sen University（中山大学） ； Snap Inc（Snap公司） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 LLM-CAS通过动态神经元扰动实现实时幻觉修正，提升大型语言模型的事实准确性。

Comments Accepted at AAAI 2026

Mitigating Hallucination Through Theory-Consistent Symmetric Multimodal Preference Optimization

通过理论一致的对称多模态偏好优化缓解幻觉

Wenqi Liu, Xuemeng Song, Jiaxi Li, Yinwei Wei, Na Zheng, Jianhua Yin, Liqiang Nie

机构 * Shandong University（山东大学） ； Southern University of Science and Technology（南方科技大学） ； University of Georgia（佐治亚大学） ； National University of Singapore（新加坡国立大学） ； Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳）） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 SymMPO通过理论一致的对称多模态偏好优化方法，有效缓解多模态大语言模型中的幻觉问题。

Comments NeurIPS 2025

Delta-LLaVA: Base-then-Specialize Alignment for Token-Efficient Vision-Language Models

Delta-LLaVA: 基于令牌效率的视觉-语言模型对齐方法

Mohamad Zamini, Diksha Shukla

机构 * University of Wyoming（怀俄明大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；vision-language model(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 Delta-LLaVA通过低秩Delta投影和轻量级Transformer块实现视觉-语言模型的高效对齐，提升推理速度和训练效率。

IPCV: Information-Preserving Compression for MLLM Visual Encoders

IPCV：信息保留的多模态大语言模型视觉编码器压缩

Yuan Chen, Zichen Wen, Yuzhou Wu, Xuyang Liu, Shuang Chen, Junpeng Ma, Weijia Li, Conghui He, Linfeng Zhang

机构 * EPIC Lab, SJTU（上海交通大学EPIC实验室） ； CityU（城市大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Sheffield（谢菲尔德大学） ； SCU（上海科技大学） ； FDU（福建大学） ； SYSU（南方科技大学） 纠错

专题命中 VLM训练与架构 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 IPCV通过邻居引导重建和注意力稳定化技术，实现无需训练的多模态大语言模型视觉编码器高效压缩，有效降低计算成本并提升性能。

Comments 13 pages, 6 figures

Enhancing Medical Large Vision-Language Models via Alignment Distillation

通过对齐蒸馏增强医学大视觉-语言模型

Aofei Chang, Ting Wang, Fenglong Ma

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出MEDALIGN方法，通过蒸馏CLIP模型的知识提升医学大视觉-语言模型的视觉对齐和生成质量。

Comments Accepted to AAAI'2026 (Main track)

GTMA: Dynamic Representation Optimization for OOD Vision-Language Models

GTMA：面向视觉-语言模型的动态表示优化

Jensen Zhang, Ningyuan Liu, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 GTMA通过动态表示优化提升视觉-语言模型在分布外任务中的性能，有效解决模态不对称问题，提升零样本和少样本准确率15-20%。

Comments Under submission

Adaptive-VoCo: Complexity-Aware Visual Token Compression for Vision-Language Models

Adaptive-VoCo: 用于视觉-语言模型的复杂度感知视觉标记压缩

Xiaoyang Guo, Keze Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 Adaptive-VoCo通过动态压缩视觉标记提升视觉-语言模型的效率与鲁棒性

Comments Under submission

Vidar: Embodied Video Diffusion Model for Generalist Manipulation

Vidar：面向通用操作的具身视频扩散模型

Yao Feng, Hengkai Tan, Xinyi Mao, Chendong Xiang, Guodong Liu, Shuhe Huang, Hang Su, Jun Zhu

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Vidar通过具身视频扩散模型和掩码逆动力学模型，实现了在不同机器人形态上的通用操作，仅需少量人类演示即可超越现有基线。

Beyond CLIP: Knowledge-Enhanced Multimodal Transformers for Cross-Modal Alignment in Diabetic Retinopathy Diagnosis

超越CLIP：基于知识的多模态Transformer用于糖尿病视网膜病变诊断中的跨模态对齐

Argha Kamal Samanta, Harshika Goyal, Vasudha Joshi, Tushar Mungle, Pabitra Mitra

机构 * Department of Medicine Stanford University Stanford, USA（医学系 斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于知识的多模态Transformer框架，通过整合视网膜图像、临床文本和结构化数据，提升糖尿病视网膜病变诊断中的跨模态对齐与检索性能。

Comments 14 pages, 14 figures

Independent Density Estimation

独立密度估计

Jiahao Liu, Senhao Cao

机构 * Orcava Inc.（Orcava公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究提出独立密度估计（IDE）方法，通过学习句子中单个词与图像特征之间的联系，提升模型在组合泛化任务上的性能。

Comments 10 pages, 1 table, 4 figures

DeliveryBench: Can Agents Earn Profit in Real World?

DeliveryBench: 代理在现实世界中能否获利？

Lingjun Mao, Jiawei Ren, Kun Zhou, Jixuan Chen, Ziqiao Ma, Lianhui Qin

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Michigan（密歇根大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

AI总结 DeliveryBench通过模拟现实世界中的食品配送任务，评估基于VLM的具身代理在长期规划和约束管理方面的性能，发现其与人类存在显著差距。

Revealing Perception and Generation Dynamics in LVLMs: Mitigating Hallucinations via Validated Dominance Correction

揭示LVLMs中的感知与生成动态：通过验证主导修正缓解幻觉

Guangtao Lyu, Xinyi Cheng, Chenghao Xu, Qi Liu, Muli Yang, Fen Fang, Huilin Chen, Jiexi Yan, Xu Yang, Cheng Deng

机构 * School of Electronic Engineering, Xidian University（电子科技大学电子工程学院） ； School of Computer Science and Technology, Xidian University（电子科技大学计算机科学与技术学院） ； Hohai university（河海大学） ； Institute for Infocomm Research (I 2 R), A*STAR（信息通信研究所（I2R）） ； School of Foreign Languages, Xidian University（电子科技大学外国语言学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VDC策略，通过验证主导修正缓解LVLMs中的幻觉问题，揭示感知与生成的动态机制。

Xiaomi MiMo-VL-Miloco Technical Report

小米 MiMo-VL-Miloco 技术报告

Jiaze Li, Jingyang Chen, Yuxun Qu, Shijie Xu, Zhenru Lin, Junyou Zhu, Boshen Xu, Wenhui Tan, Pei Fu, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Xiaomi（小米） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 小米提出 MiMo-VL-Miloco 模型，专为家庭场景设计，通过两阶段训练提升多模态推理与家庭场景理解能力。

Robotic VLA Benefits from Joint Learning with Motion Image Diffusion

机器人VLA通过与运动图像扩散的联合学习获益

Yu Fang, Kanchana Ranasinghe, Le Xue, Honglu Zhou, Juntao Tan, Ran Xu, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Daniel Szafir, Mingyu Ding, Michael S. Ryoo, Juan Carlos Niebles

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出通过联合学习与运动图像扩散提升机器人VLA模型的运动推理能力，实验表明在多个基准测试中显著提升了性能。

Comments Website: https://vla-motion.github.io/

cVLA: Towards Efficient Camera-Space VLAs

cVLA：迈向高效的相机空间VLA

Max Argus, Jelena Bratulic, Houman Masnavi, Maxim Velikanov, Nick Heppert, Abhinav Valada, Thomas Brox

机构 * University of Freiburg（弗赖堡大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.LG

AI总结 cVLA通过利用视觉语言模型在2D图像上的性能，提出了一种高效预测机器人轨迹的VLA方法，具备良好的仿真到现实迁移能力。

Comments 20 pages, 10 figures; CoRL 2025 Workshop on Generalizable Priors for Robot Manipulation

AdaLRS: Loss-Guided Adaptive Learning Rate Search for Efficient Foundation Model Pretraining

AdaLRS: 基于损失的自适应学习率搜索用于高效基础模型预训练

Hongyuan Dong, Dingkang Yang, Xiao Liang, Chao Feng, Jiao Ran

机构 * ByteDance Inc.（字节跳动公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.LG

AI总结 AdaLRS通过优化损失下降速度实现高效基础模型预训练，无需大量超参数调优，显著提升模型性能和鲁棒性。

Comments NeurIPS 2025 Main Conference