多模态大模型

Perceptual-Evidence Anchored Reinforced Learning for Multimodal Reasoning

基于感知证据的强化学习用于多模态推理

Chi Zhang, Haibo Qiu, Qiming Zhang, Yufei Xu, Zhixiong Zeng, Siqi Yang, Peng Shi, Lin Ma, Jing Zhang

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Meituan Inc（美团公司） ； The University of Sydney（悉尼大学） 纠错

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 PEARL通过将推理锚定在验证的视觉证据上，提升多模态推理能力，有效解决视觉幻觉和奖励黑客问题。

AnyExperts: On-Demand Expert Allocation for Multimodal Language Models with Mixture of Expert

AnyExperts: 多模态语言模型中基于需求的专家分配方法

Yuting Gao, Wang Lan, Hengyuan Zhao, Linjiang Huang, Si Liu, Qingpei Guo

专题命中 图文多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 AnyExperts通过按需分配专家资源，提高多模态MoE模型的效率和性能。

BackdoorVLM: A Benchmark for Backdoor Attacks on Vision-Language Models

BackdoorVLM：面向视觉-语言模型的后门攻击基准

Juncheng Li, Yige Li, Hanxun Huang, Yunhao Chen, Xin Wang, Yixu Wang, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Singapore Management University（新加坡管理学院） ； The University of Melbourne（墨尔本大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

AI总结 BackdoorVLM提出首个评估视觉-语言模型后门攻击的基准，揭示VLMs对文本指令的高敏感性及多模后门的有效性

Attention Guided Alignment in Efficient Vision-Language Models

注意力引导的高效视觉-语言模型

Shweta Mahajan, Hoang Le, Hyojin Park, Farzad Farhadzadeh, Munawar Hayat, Fatih Porikli

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 本文提出AGE-VLM，通过交错交叉注意力层和空间知识提取，减少高效视觉-语言模型中的幻觉问题。

Comments 39th Conference on Neural Information Processing Systems (NeurIPS 2025) Workshop on Efficient Reasoning

FlowCut: Rethinking Redundancy via Information Flow for Efficient Vision-Language Models

FlowCut: 通过信息流重新思考冗余性以提高视觉-语言模型的效率

Jintao Tong, Wenwei Jin, Pengda Qin, Anqi Li, Yixiong Zou, Yuhong Li, Yuhua Li, Ruixuan Li

机构 * School of Computer Science and Technology, Huazhong University of Science and Technology（华中科技大学计算机科学与技术学院） ； Xiaohongshu Inc.（小红书公司） ； Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 FlowCut通过信息流视角改进视觉-语言模型的冗余识别，实现更高效的剪枝效果。

Comments Accepted by NeurIPS 2025

Beyond Multiple Choice: Verifiable OpenQA for Robust Vision-Language RFT

超越多项选择：可验证的开放问答用于鲁棒的视觉-语言 RFT

Yesheng Liu, Hao Li, Haiyu Xu, Baoqi Pei, Jiahao Wang, Mingxuan Zhao, Jingshu Zheng, Zheqi He, JG Yao, Bowen Qin, Xi Yang, Jiajun Zhang

机构 * Institute of Automation, CAS（中国科学院自动化研究所） ； School of Artificial Intelligence, UCAS（中国科学技术大学人工智能学院） ； BAAI FlagEval Team（百度AI旗评团队） ； BUAA（北京航空航天大学） ； PKU（北京大学） ； ZJU（浙江大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CL、cs.AI

AI总结 ReVeL通过重写和验证多项选择问题为开放式问题，提升视觉-语言模型在鲁棒性与数据效率上的表现。

Comments Project url: https://flageval-baai.github.io/ReVeL/

Demystifying CLIP Data

解开CLIP数据之谜

Hu Xu, Saining Xie, Xiaoqing Ellen Tan, Po-Yao Huang, Russell Howes, Vasu Sharma, Shang-Wen Li, Gargi Ghosh, Luke Zettlemoyer, Christoph Feichtenhofer

机构 * FAIR, Meta AI（FAIR，Meta AI） ； New York University（纽约大学） ； University of Washington（华盛顿大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV、cs.CL

AI总结 MetaCLIP通过优化数据整理方法，提升CLIP在图像分类任务中的性能。

Comments 17 pages. arXiv admin note: text overlap with arXiv:2103.00020 by other authors

Zero-shot segmentation of skin tumors in whole-slide images with vision-language foundation models

基于视觉语言基础模型的全切片图像皮肤肿瘤零样本分割

Santiago Moreno, Pablo Meseguer, Rocío del Amor, Valery Naranjo

机构 * Instituto Universitario de Investigación en Tecnología Centrada en el Ser Humano (HUMAN-Tech), Universitat Politécnica de Valencia（人类中心技术大学研究机构（HUMAN-Tech）、西班牙巴塞罗那理工大学） ； Artikode Intelligence S.L.（Artikode Intelligence公司） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本研究提出ZEUS框架，利用视觉语言基础模型实现全切片图像中皮肤肿瘤的零样本分割，减少标注负担并提高分割精度。

Comments Conference manuscript accepted for oral presentation at CASEIB 2025

Synthesizing Visual Concepts as Vision-Language Programs

合成视觉概念作为视觉-语言程序

Antonia Wüst, Wolfgang Stammer, Hikaru Shindo, Lukas Helff, Devendra Singh Dhami, Kristian Kersting

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本研究提出视觉-语言程序（VLP），结合视觉模型的感知灵活性与程序合成的系统推理能力，通过生成结构化视觉描述并编译成神经符号程序，提升复杂逻辑推理任务的性能。

Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding

Evo-0：具有隐式空间理解的视觉-语言-动作模型

Tao Lin, Gen Li, Yilei Zhong, Yanwen Zou, Yuxin Du, Jiting Liu, Encheng Gu, Bo Zhao

机构 * School of AI, Shanghai Jiao Tong University（上海交通大学人工智能学院） ； EvoMind Tech（EvoMind科技） ； IAAR-Shanghai（IAAR-上海） ； University of Cambridge（剑桥大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 Evo-0通过隐式整合3D几何特征，提升视觉-语言-动作模型在现实世界中的空间理解能力。

TRAP: Targeted Redirecting of Agentic Preferences

TRAP：面向目标的代理偏好重定向

Hangoo Kang, Jehyeok Yeon, Gagandeep Singh

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 图文多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 TRAP通过语义引导的跨模态操纵，诱导代理AI系统产生一致的选择偏见，揭示了语义层面的安全漏洞。

Comments Accepted to NeurIPS 2025

Exploring Weak-to-Strong Generalization for CLIP-based Classification

探索基于CLIP的分类中的弱到强泛化

Jinhao Li, Sarah M. Erfani, Lei Feng, James Bailey, Feng Liu

机构 * School of Computing and Information Systems University of Melbourne, Australia（墨尔本大学计算机与信息系统学院） ； School of Computing and Information Systems University of Melbournem, Australia（墨尔本大学计算机与信息系统学院） ； School of Computer Science and Engineering Southeast University, China（东南大学计算机科学与工程学院） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出类别原型学习方法，通过弱监督提升CLIP模型分类性能，实验显示在预训练受限情况下取得显著改进。

Comments TMLR

Text to Robotic Assembly of Multi Component Objects using 3D Generative AI and Vision Language Models

通过3D生成AI和视觉语言模型实现多组件物体的文本到机器人组装

Alexander Htet Kyaw, Richa Gupta, Dhruv Shah, Anoop Sinha, Kory Mathewson, Stefanie Pender, Sachin Chitta, Yotto Koga, Faez Ahmed, Lawrence Sass, Randall Davis

机构 * Massachusetts Institute of Technology (MIT)（麻省理工学院） ； MIT（麻省理工学院） ； Google DeepMind（谷歌DeepMind） ； Google, Paradigms of Intelligence（谷歌、范式智能） ； Autodesk Research（Autodesk研究） ； MIT Mechanical Engineering（麻省理工学院机械工程系） ； MIT Architecture（麻省理工学院建筑系） ； MIT CSAIL（麻省理工学院计算机科学与人工智能实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文提出利用3D生成AI和视觉语言模型实现多组件物体的文本到机器人组装，通过多模态推理分解生成网格并优化组件分配。

Comments Accepted to NeurIPS 2025, Conference on Neural Information Processing Systems, Creative AI Track