视觉大模型 / VLM

VisPlay: Self-Evolving Vision-Language Models from Images

VisPlay: 从图像中自我进化视觉-语言模型

Yicheng He, Chengsong Huang, Zongxia Li, Jiaxin Huang, Yonghui Yang

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Washington University in St. Louis（华盛顿大学圣路易斯分校） ； University of Maryland（马里兰大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；visual reasoning(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 VisPlay通过自我进化强化学习框架，利用未标注图像数据提升视觉-语言模型的推理能力，实现多模态智能的可扩展发展。

Orion: A Unified Visual Agent for Multimodal Perception, Advanced Visual Reasoning and Execution

Orion：一个多模态感知、高级视觉推理与执行的统一视觉代理

N Dinesh Reddy, Dylan Snyder, Lona Kiragu, Mirajul Mohin, Shahrear Bin Amin, Sudeep Pillai

机构 * VLM Run Research（VLM Run研究） 纠错

专题命中 视觉推理 ：visual reasoning(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Orion通过整合视觉推理与工具增强执行，实现了多模态感知、高级视觉推理与执行的统一，提升多步骤视觉智能性能。

Reasoning Guided Embeddings: Leveraging MLLM Reasoning for Improved Multimodal Retrieval

基于推理的嵌入：利用多模态大语言模型推理提升多模态检索

Chunxu Liu, Jiyuan Yang, Ruopeng Gao, Yuhan Zhu, Feng Zhu, Rui Zhao, Limin Wang

机构 * State Key Laboratory for Novel Software Technology, Nanjing University（南京大学新型软件技术国家重点实验室） ； Sensetime Research（商汤科技研究院） ； Beijing Institute of Technology（北京理工大学） ； Shanghai AI Lab（上海人工智能实验室） 纠错

专题命中 视觉推理 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出基于推理的嵌入方法，利用多模态大语言模型的推理能力提升多模态检索性能。

Spatial Reasoning in Multimodal Large Language Models: A Survey of Tasks, Benchmarks and Methods

多模态大语言模型中的空间推理：任务、基准和方法的调查

Weichen Liu, Qiyao Xue, Haoming Wang, Xiangyu Yin, Boyuan Yang, Wei Gao

机构 * University of Pittsburgh（匹兹堡大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本文调查多模态大语言模型中的空间推理问题，从认知角度分类任务和基准，分析评估方法与改进策略，揭示模型与人类推理间的差距。

Can MLLMs Read the Room? A Multimodal Benchmark for Assessing Deception in Multi-Party Social Interactions

大语言模型能读取环境吗？一个多模态基准用于评估多当事人社交互动中的欺骗

Caixin Kang, Yifei Huang, Liangyang Ouyang, Mingfang Zhang, Ruicong Liu, Yoichi Sato

机构 * The University of Tokyo（东京大学） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出多模态互动欺骗评估任务，通过新颖数据集评估多种MLLMs的欺骗检测能力，揭示其在多模态社交线索处理上的不足，并提出SoCoT和DSEM模块提升性能。

Towards Efficient Multimodal Unified Reasoning Model via Model Merging

通过模型合并实现高效的多模态统一推理模型

Qixiang Yin, Huanjin Yao, Jianghao Chen, Jiaxing Huang, Zhicheng Zhao, Fei Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； Beijing Key Laboratory of Network System and Network Culture（北京网络系统与网络文化重点实验室） ； Key Laboratory of Interactive Technology and Experience System, Ministry of Culture and Tourism（文化和旅游部交互技术与体验系统重点实验室） ； Zhongguancun Academy, Beijing, China（中关村学院，北京，中国） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 Tiny-R1V通过两阶段优化和模型合并方法，实现高效多模态推理，提升轻量模型在多种任务中的性能。

Comments Technical report, Code will be available at https://github.com/buptyqx/Tiny-R1V

Automated Hazard Detection in Construction Sites Using Large Language and Vision-Language Models

利用大语言和视觉-语言模型进行施工工地自动危险检测

Islem Sahraoui

机构 * University of Houston Cullen College of Engineering Department of Civil and Environmental Engineering（德克萨斯大学休斯顿分校库伦工程学院土木与环境工程系） 纠错

专题命中 视觉定位与Grounding ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本研究利用大语言和视觉-语言模型，通过分析文本和图像数据，提高施工工地的安全隐患检测效率。

Comments Master thesis, University of Houton

TubeRMC: Tube-conditioned Reconstruction with Mutual Constraints for Weakly-supervised Spatio-Temporal Video Grounding

TubeRMC: 基于互约束的管状重建用于弱监督空间-时间视频定位

Jinxuan Li, Yi Zhang, Jian-Fang Hu, Chaolei Tan, Tianming Liang, Beihao Xia

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV

AI总结 TubeRMC通过引入互约束的管状重建方法，在弱监督条件下提升空间-时间视频定位的准确性和一致性。

Comments Accepted to AAAI 2026

Grounding LLMs For Robot Task Planning Using Closed-loop State Feedback

通过闭环状态反馈接地LLMs用于机器人任务规划

Vineet Bhat, Ali Umut Kaypak, Prashanth Krishnamurthy, Ramesh Karri, Farshad Khorrami

专题命中 视觉定位与Grounding ：grounding(title,abstract)

AI总结 本文提出BrainBody-LLM方法，通过闭环反馈机制提升LLMs在机器人任务规划中的鲁棒性，实现在复杂任务中的显著性能提升。

Comments Preprint version. Accepted full paper available here: https://advanced.onlinelibrary.wiley.com/doi/10.1002/adrr.202500072

Conan: Progressive Learning to Reason Like a Detective over Multi-Scale Visual Evidence

Conan：基于多尺度视觉证据的逐步学习以像侦探一样推理

Kun Ouyang, Yuanxin Liu, Linli Yao, Yishuo Cai, Hao Zhou, Jie Zhou, Fandong Meng, Xu Sun

机构 * State Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（多媒体信息处理国家重点实验室，计算机学院，北京大学） ； WeChat AI, Tencent Inc., China（微信AI，腾讯公司，中国） 纠错

专题命中 视觉定位与Grounding ：visual reasoning(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 Conan通过多阶段渐进冷启动策略和AIR RLVR框架，实现证据基础的多步视频推理，超越基线模型，达到最先进的性能。

A First-Principles Based Risk Assessment Framework and the IEEE P3396 Standard

基于第一性原理的风险评估框架及IEEE P3396标准

Richard J. Tong, Marina Cortês, Jeanine A. DeFalco, Mark Underwood, Janusz Zalewski

机构 * Chair, IEEE Artificial Intelligence Standards Committee (AISC) ； Institute of Astrophysics ； Space Sciences, University of Lisbon, Portugal ； Vice Chair, IEEE Artificial Intelligence Standards Committee University of New Haven ； Florida Gulf Coast University, United States ； State Academy of Applied Sciences, Ciechanow, Poland 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文提出基于第一性原理的生成式AI风险评估框架，通过信息分类系统识别不同风险类型并归责于相关方，旨在提升AI治理的严谨性与责任性。

Comments 8 pages with 3 tables. This manuscript is prepared for publication by the Institute of Electrical and Electronics Engineers, Standards Association (IEEE-SA), Sponsor Committee - Artificial Intelligence Standards Committee (C/AISC) as a White Paper of Working Group p3396 at https://standards.ieee.org/ieee/3396/11379/

Journal ref 2025 IEEE Conference on Artificial Intelligence (CAI), pp. 1588-1595, 2025

Semantic Glitch: Agency and Artistry in an Autonomous Pixel Cloud

语义裂隙：自主像素云中的代理与艺术性

Qing Zhang, Jing Huang, Mingyang Xu, Jun Rekimoto

机构 * The University of Tokyo（东京大学） ； Tokyo University of the Arts（东京艺术大学） ； Keio University（庆应大学） ； SONY CSL Kyoto（索尼 CSL 京都） 纠错

专题命中 GUI与屏幕智能体 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 本文提出语义裂隙，通过多模态大语言模型实现自主导航，展示低 fidelity方法在创造不完美但富有艺术性的机器人同伴中的应用。

Comments NeurIPS 2025 Creative AI Track, The Thirty-Ninth Annual Conference on Neural Information Processing Systems

TOFA: Training-Free One-Shot Federated Adaptation for Vision-Language Models

TOFA: 无需训练的一次性联邦适应用于视觉-语言模型

Li Zhang, Zhongxuan Han, XiaoHua Feng, Jiaming Zhang, Yuyuan Li, Linbo Jiang, Jianan Lin, Chaochao Chen

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.AI

AI总结 TOFA提出一种无需训练的一次性联邦适应方法，通过视觉和文本管道提取任务相关表示，以高效适应视觉-语言模型在联邦学习中的应用。

Comments Accepted by AAAI 2026

DiffuSyn Bench: Evaluating Vision-Language Models on Real-World Complexities with Diffusion-Generated Synthetic Benchmarks

DiffuSyn Bench: 评估视觉-语言模型在现实世界复杂性中的能力，通过扩散生成的合成基准

Haokun Zhou, Yipeng Hong

机构 * Imperial College London（伦敦帝国理工学院） ； Shanghai University（上海大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 DiffuSyn Bench通过扩散生成的合成基准评估视觉-语言模型在现实世界复杂性中的能力，揭示其区分AI与人类图像的性能及局限性。

Multi-Faceted Attack: Exposing Cross-Model Vulnerabilities in Defense-Equipped Vision-Language Models

多面攻击：揭示配备防御机制的视觉语言模型中的跨模型漏洞

Yijun Yang, Lichao Wang, Jianping Zhang, Chi Harold Liu, Lanqing Hong, Qiang Xu

专题命中 幻觉与鲁棒性 ：vision-language model(title,abstract)

AI总结 多面攻击揭示了配备防御机制的视觉语言模型中的跨模型安全漏洞，通过注意力转移攻击和轻量级转移增强算法，实现了58.5%的成功率。

Comments AAAI 2026 Oral

The Shawshank Redemption of Embodied AI: Understanding and Benchmarking Indirect Environmental Jailbreaks

具身AI的肖申克救赎：理解与评估间接环境劫持

Chunyang Li, Zifeng Kang, Junwei Zhang, Zhuo Ma, Anda Cheng, Xinghua Li, Jianfeng Ma

机构 * Xidian University（西安电子科技大学） ； Beijing University of Posts and Telecommunications（北京邮电大学） ； Ant Group（蚂蚁集团） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出了一种新型的间接环境劫持攻击，通过环境注入的恶意提示劫持具身AI，并设计了自动攻击生成和基准评估框架，评估结果显示其在多个任务场景中表现优异。

An Image Is Worth Ten Thousand Words: Verbose-Text Induction Attacks on VLMs

一张图像等于一万字：针对视觉语言模型的冗余文本诱导攻击

Zhi Luo, Zenghui Yuan, Wenqi Wei, Daizong Liu, Pan Zhou

机构 * Huazhong University of Science and Technology（华中科技大学） ； Fordham University（福特汉姆大学） ； Wuhan University（武汉大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出一种针对视觉语言模型的冗余文本诱导攻击，通过两阶段框架生成恶意图像以诱导模型生成冗长文本，提升攻击效果与可控性。

Q-MLLM: Vector Quantization for Robust Multimodal Large Language Model Security

Q-MLLM：向量量化用于鲁棒多模态大语言模型安全

Wei Zhao, Zhe Li, Yige Li, Jun Sun

机构 * Singapore Management University（新加坡管理大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；MLLM(title,abstract)；分类 cs.AI

AI总结 Q-MLLM通过两级向量量化提升多模态大语言模型的安全性，有效防御对抗性攻击并保持模型实用性。

Comments Accepted by NDSS 2026

LLaVA$^3$: Representing 3D Scenes like a Cubist Painter to Boost 3D Scene Understanding of VLMs

LLaVA$^3$：像立体主义画家一样表示3D场景以提升VLM的3D场景理解

Doriand Petit, Steve Bourgeois, Vincent Gay-Bellile, Florian Chabot, Loïc Barthe

专题命中 VLM训练与架构 ：LLaVA(title,abstract)；vision-language model(abstract)；VLM(abstract)；grounding(abstract)

AI总结 LLaVA$^3$通过立体主义方法提升VLM对3D场景的理解能力，利用多视角2D图像无需微调实现更优的3D场景理解。

Comments Accepted at AAAI'26

Efficient Architectures for High Resolution Vision-Language Models

高效高分辨率视觉-语言模型架构

Miguel Carvalho, Bruno Martins

机构 * INESC-ID and Instituto Superior Técnico, University of Lisbon（INESC-ID 和 里斯本大学技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 Pheye是一种高效处理高分辨率图像的视觉-语言模型架构，通过减少参数数量实现高效率和强性能，尤其在细粒度图像理解和场景文本处理任务中表现突出。

Comments Accepted at COLING 2025

HAWAII: Hierarchical Visual Knowledge Transfer for Efficient Vision-Language Models

HAWAII：层次化视觉知识转移用于高效的视觉-语言模型

Yimu Wang, Mozhgan Nasr Azadani, Sean Sedwards, Krzysztof Czarnecki

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 HAWAII通过层次化视觉知识转移，高效整合多个视觉专家的知识，提升视觉-语言模型性能。

Comments NeurIPS 2025

Sim2Real Diffusion: Leveraging Foundation Vision Language Models for Adaptive Automated Driving

Sim2Real Diffusion：利用基础视觉语言模型实现自适应自动驾驶

Chinmay Vilas Samak, Tanmay Vilas Samak, Bing Li, Venkat Krovi

机构 * Department of Automotive Engineering, Clemson University International Center for Automotive Research (CU-ICAR)（汽车工程系，克莱姆森大学国际汽车研究中心（CU-ICAR）） 纠错

专题命中 VLM训练与架构 ：vision language model(title)

AI总结 本文提出Sim2Real Diffusion框架，利用基础视觉语言模型实现自动驾驶的跨领域适应，通过条件潜在扩散提升sim2real转换性能。

Comments Accepted in IEEE Robotics and Automation Letters (RA-L)

Journal ref IEEE Robotics and Automation Letters, vol. 11, no. 1, pp. 177-184, Jan. 2026

RB-FT: Rationale-Bootstrapped Fine-Tuning for Video Classification

RB-FT：基于理由的视频分类微调

Meilong Xu, Di Fu, Jiaxing Zhang, Gong Yu, Jiayu Zheng, Xiaoling Hu, Dongdi Zhao, Feiyang Li, Chao Chen, Yong Cao

机构 * Stony Brook University（石溪大学） ； ByteDance Inc.（字节跳动公司） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 RB-FT通过自动生成的理由提升视频分类性能，无需额外标注，有效提升模型对领域特定视频内容的理解能力。

Comments 11 pages, 2 figures

vMFCoOp: Towards Equilibrium on a Unified Hyperspherical Manifold for Prompting Biomedical VLMs

vMFCoOp：在统一超球面流形上实现平衡的提示生物医学VLMs

Minye Shao, Sihan Guo, Xinrun Li, Xingyu Miao, Haoran Duan, Yang Long

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 vMFCoOp通过统一超球面流形上的vMF分布估计，实现LLM与CLIP主干间的语义对齐，提升生物医学VLMs的提示效果和少样本分类性能。

Comments Accepted as an Oral Presentation at AAAI 2026 Main Technical Track (this version is not peer-reviewed; it is the extended version)

Evaluating Multimodal Large Language Models with Daily Composite Tasks in Home Environments

在家庭环境中评估多模态大语言模型的日常复合任务

Zhenliang Zhang, Yuxi Wang, Hongzhao Xie, Shiyun Zhao, Mingyuan Liu, Yujie Lu, Xinyi He, Zhenku Cheng, Yujia Peng

机构 * State Key Laboratory of General Artificial Intelligence, Beijing Institute for General Artificial Intelligence（通用人工智能国家重点实验室、北京通用人工智能研究院） ； School of Psychological and Cognitive Sciences and Beijing Key Laboratory of Behavior and Mental Health, Key Laboratory of Machine Perception (Ministry of Education), Peking University（心理与认知科学学院及北京行为与心理健康重点实验室、机器感知重点实验室（教育部）） ； School of Intelligence Science and Technology, Peking University（智能科学与技术学院） 纠错

专题命中 其他VLM ：multimodal large language model(title,abstract)；分类 cs.AI

AI总结 本研究在家庭环境中评估了多模态大语言模型在日常复合任务中的表现，发现其在物体理解、空间智能和社会活动领域存在显著差距，为具身MLLMs的发展提供了初步评估框架。

Co-Reinforcement Learning for Unified Multimodal Understanding and Generation

协同强化学习用于统一多模态理解和生成

Jingjing Jiang, Chongjie Si, Jun Luo, Hanwang Zhang, Chao Ma

机构 * Shanghai Jiao Tong University（上海交通大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出CoRL框架，通过协同强化学习提升多模态大语言模型在生成与理解任务上的性能。

Comments NeurIPS 2025

VividFace: High-Quality and Efficient One-Step Diffusion For Video Face Enhancement

VividFace: 高质量和高效的一步扩散用于视频面部增强

Shulian Zhang, Yong Guo, Long Peng, Ziyang Wang, Ye Chen, Wenbo Li, Xiao Zhang, Yulun Zhang, Jian Chen

机构 * South China University of Technology（华南理工大学） ； Max Planck Institute for Informatics（马克斯·普朗克研究所（信息学）） ； University of Science and Technology of China（中国科学技术大学） ； The Chinese University of Hong Kong（香港中文大学） ； Nanjing University of Science and Technology（南京理工大学） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 其他VLM ：MLLM(abstract)；分类 cs.CV

AI总结 VividFace通过单步扩散框架和联合训练策略，高效提升视频面部增强的高质量与效率。