视觉大模型 / VLM

Sci-VBench: Evaluating Knowledge- and Reasoning-Intensive Video Generation in Science Domains

Sci-VBench：面向科学领域知识与推理密集型视频生成的评估

Diandian Zhang, Tingyu Song, Lin Fu, Zheyuan Yang, Yilun Zhao

机构 * Zhejiang University（浙江大学） ； UCAS（中国科学院大学） ； Tongji University（同济大学） ； Yale University（耶鲁大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；grounding(abstract)；分类 cs.CV、cs.AI

AI总结 该研究推出Sci-VBench基准，评估科学领域视频生成，测试16个模型后发现，视觉真实感提升未转化为科学与因果动态建模能力，且专有模型性能优于开源模型。

Comments COLM 2026

I Seek You in Videos: Identity-Conditioned Queries for Person-Centric Video Reasoning

我在视频中寻找你：面向以人为中心的视频推理的身份条件查询

Shibo Gao, Chongxiao Wang, Chenglong Huang, Jie Ma, Haolin Shi, Fei Ding, Jing Li, Qiang Lyu, Yangyang Liu, Yang Liu, Jun Liu, Linlin Huang, Peipei Yang

机构 * Beijing Jiaotong University（北京交通大学） ； HUJING Digital Media & Entertainment Group（汇晶数字媒体与娱乐集团） ； MAIS Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 该研究提出了身份条件查询（ICQ）任务，构建了ISYV基准、训练集与框架，实验显示主流多模态大语言模型在该任务上表现不佳，ISYV模型性能优于强基线且接近闭源模型。

Comments Accepted to ACM Multimedia 2026 (MM '26). 6 figures, 5 tables

PhysMind: From Video to Executable Worlds for Training-Free Physical Reasoning

PhysMind：从视频到可执行世界的无训练物理推理框架

Chen Yang, Shenxiang Zeng, Haoyang Zhao, Zhouyuan Xu, Youquan He, Haoyu Li, Mingyi Deng, Jiansheng Fan, Chen Wang

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 PhysMind是无训练的智能体框架，为每个视频构建可执行世界，在CLEVRER、Physion++数据集及反事实问题上的物理推理准确率显著优于现有视觉语言模型。

Comments 27 pages, 18 figures. Project page: https://physmind.github.io/

CURV: Enhancing Chart Understanding Through Curriculum Visual Grounded Reasoning

CURV：通过课程可视化接地推理增强图表理解

Xuehang Guo, Pingyue Zhang, Ruiyi Zhang, Zhenhailong Wang, Hanrui Lyu, Heng Ji, Tong Sun, Qingyun Wang, Manling Li

专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型视觉接地与推理不足的问题，提出CURV课程学习框架，结合CCQA数据集，在图表问答任务中实现显著性能提升并具备良好泛化性。

DisasterTD: Disaster Toponym Disambiguation Using Multimodal LLMs and Cross-View Geolocalization

DisasterTD：使用多模态大语言模型和跨视角地理定位的灾害地名消歧

Wenping Yin, Ziqi Liu, Naixia Mou, Weijia Li, Danfeng Hong, Hao Li

机构 * College of Geodesy and Geomatics, Shandong University of Science and Technology（山东科技大学测绘与地理信息学院） ； School of Environmental Science and Spatial Informatics, China University of Mining and Technology（中国矿业大学环境与测绘学院） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室） ； Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； School of Automation, Southeast University（东南大学自动化学院） ； Department of Geography, National University of Singapore（新加坡国立大学地理系） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对社交媒体图像地理参考模糊问题，提出DisasterTD框架，集成多模态大语言模型语义推理与跨视角地理定位，在飓风哈维数据集上评估，该方法优于基线，能有效进行细粒度灾害地理定位，提升不同距离下的定位准确率并减少误差。

Reasoning with Memory: A Temporal Granularity-Adaptive Framework for Training-Free Long Video Understanding

利用记忆进行推理：一种用于免训练长视频理解的时间粒度自适应框架

Linghao Meng, Qiankun Li, Junyuan Mao, Pujin Liao, Zhicheng He, Enbo Zhang, Kun Wang, Yang Liu, Huazhu Fu, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)（高性能计算研究所，科学、技术与研究机构（A*STAR）） ； Nanyang Technological University（南洋理工大学） ； University of Science and Technology of China（中国科学技术大学） ； Jilin University（吉林大学） 纠错

专题命中 视觉推理 ：LLaVA(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究针对多模态大语言模型长视频理解受限问题，提出ReMem框架，通过双级记忆增强自适应，在查询和视频级别分别处理，能适应不同时间粒度，经实验验证在多个基准测试中实现高效零样本性能，提升模型长视频推理能力。

Comments Accepted by ECCV 2026

Constraint-Anchored Reasoning Traces

约束锚定推理轨迹

Zehua Cheng, Wei Dai, Jiahao Sun

机构 * University of Oxford（牛津大学） 纠错

专题命中 视觉推理 ：LLaVA(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究自回归多模态大语言模型错误滚雪球问题，提出神经符号框架CART，将自然语言推理与符号约束断言交织，经双管齐下的模块验证约束，防止错误传播，在多基准测试中降低滚雪球率、提高准确率并控制推理开销。

Comments 15 pages, ACM MM 2026

IQA-T1: Tool-based Visual Evidence Reasoning for Image Quality Assessment

IQA-T1：基于工具的图像质量评估视觉证据推理

Jinjian Wu, Jiaqi Tang, Wei Wei, Yingying Yan, Jianmin Chen, Botong Geng, Lei Zhang, Qifeng Chen

机构 * School of Computer Science, Northwestern Polytechnical University（西北工业大学计算机科学学院） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对开放世界图像质量评估难题，提出IQA-T1框架，通过自主调用工具生成视觉证据增强多模态大语言模型推理，构建Q-Tool数据集，实验表明该框架性能最佳且评估可解释、基于证据。

Comments Accepted by ECCV 2026

MatPhaseBench: A Semantics-Guided Benchmark for Materials Phase Diagrams Understanding

MatPhaseBench：用于材料相图理解的语义引导基准测试

Hanwen Wang, Sihan Liang, Zhiwei Liu, Yangang Wang, Wei Yan, Yuqin Liu, Zongguo Wang

机构 * Computer Network Information Center, Chinese Academy of Sciences（中国科学院计算机网络信息中心） ； University of Chinese Academy of Sciences（中国科学院大学） ； University of Manchester（曼彻斯特大学） ； Institute of Metal Research, Chinese Academy of Sciences（中国科学院金属研究所） ； China University of Geosciences（中国地质大学） 纠错

专题命中 视觉推理 ：VLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI

AI总结 介绍用于材料相图理解的MatPhaseBench基准测试，从文献选图与文字构建，有复杂科学图像理解、图文全面对齐、高质量人工监督文本采集三个关键特性，实验显示当前VLM距专家理解有差距。

Physics Question Scene Graph: Fine-grained Evaluation of Physical Plausibility in Text-to-Video Generation

物理问题场景图：文本到视频生成中物理合理性的细粒度评估

Atin Pothiraj, Jaemin Cho, Yue Zhang, Elias Stengel-Eskin, Mohit Bansal

机构 * University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校） ； AI2（艾伦人工智能研究所） ； Johns Hopkins University（约翰霍普金斯大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出物理问题场景图（PQSG），一种基于层次化问题的评估流程，通过图结构问题检查视频在对象、动作和物理规律上的忠实度，实现细粒度评估。

Comments ECCV 2026. Code and data: https://github.com/atinpothiraj/pqsg

Geo-Strat-RL: Learning Geological Event Reasoning from Verifiable Tasks

Geo-Strat-RL：从可验证任务中学习地质事件推理

Lukas Mosser

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract_cn)；visual reasoning(abstract)；分类 cs.AI、cs.LG

AI总结 提出Geo-Strat-RL合成环境，通过可验证奖励的强化学习（RLVR）训练视觉语言模型进行地质事件重建，并证明从地层图学到的推理可迁移至合成地震数据。

Comments 21 pages, 8 figures

MemDreamer: Decoupling Perception and Reasoning for Long Video Understanding via Hierarchical Graph Memory and Agentic Retrieval Mechanism

MemDreamer: 通过分层图记忆和智能体检索机制解耦感知与推理以实现长视频理解

Cong Chen, Guo Gan, Kaixiang Ji, ZhaoYang Zhang, Zhen Yang, Guangming Yao, Hao Chen, Jingdong Chen, Yi Yuan, Chunhua Shen

机构 * Ant Group（蚂蚁集团） ； Zhejiang University（浙江大学） ； Central South University（中南大学） ； HKUST(GZ)（香港科技大学(广州)） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出MemDreamer框架，通过分层图记忆和智能体检索机制解耦感知与推理，将长视频理解转化为智能体探索过程，在四个基准上达到SOTA，推理上下文窗口仅占全量2%且准确率提升12.5点。

VideoLatent: Video-Language Learning via Latent Self-Forcing

VideoLatent: 通过潜在自强制进行视频-语言学习

Zi-Yuan Hu, Zicong Tang, Shijia Huang, Yanyang Li, Michael R. Lyu, Liwei Wang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Weitu AI（微图AI） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出VideoLatent，一种通过潜在自强制训练范式（包括潜在对齐和潜在多样性目标）进行视觉潜在推理的多模态大语言模型，仅依赖标准视频-问答三元组，在14个基准上优于现有模型，并大幅降低训练/推理开销。

HPP: Hierarchical Programmatic Probing for Long Video Understanding by Decoupling Perception and Reasoning

HPP：通过解耦感知与推理的分层程序化探测用于长视频理解

Awais Rauf, Ahmed Hasssan, Greg Slabaugh

机构 * Queen’s University Belfast（贝尔法斯特女王大学） ； AMD（AMD公司） ； Queen Mary University of London（伦敦玛丽女王大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出HPP框架，通过将长视频理解重构为分层视频的迭代程序化探索，解耦语义感知与高阶时序推理，在LongVideoBench等基准上取得显著提升。

Comments Project page: https://awaisrauf.com/HPP

Self-Evolving Visual Questioner

自演化视觉提问器

Yijun Liang, Hengguang Zhou, Ming Li, Lichen Li, Cho-Jui Hsieh, Tianyi Zhou

机构 * University of Maryland, College Park（马里兰大学帕克分校） ； University of California, Los Angeles（加州大学洛杉矶分校） ； Peking University（北京大学） ； Arena ； MBZUAI（穆罕默德·本·扎耶德人工智能大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出自演化框架，让视觉语言模型作为提问器和过滤器，无需外部监督即可生成更难、更信息丰富、更视觉中心的问题，并保持探索多样性以避免训练崩溃，显著提升自主提问质量和难度边界。

Comments 21 pages, including references and appendix. Project Page is available at https://joliang17.github.io/SelfEvolvingVQG/

Orientation Reading by Production Vision-Language Models on Optotype Charts: A Controlled Multi-Model Evaluation Across Reasoning Modes, Prompts, and Access Modalities

通过生产视觉语言模型在视标图表上进行方向读取：跨推理模式、提示和访问方式的受控多模型评估

Shahryar Wasif, Avneek Sandhu, Bin Hu

专题命中 视觉推理 ：vision-language model(title,abstract)

AI总结 研究通过消费者聊天界面评估四个视觉语言模型在视标图表上读取方向的能力，在多种推理模式、提示变体下运行，发现各模型准确率有差异，错误有特定方向，单一准确率掩盖问题，强调应多轴评估视觉语言模型。

Comments 4 figures, 4 supplementary figures

On Locality and Length Generalization in Visual Reasoning

关于视觉推理中的局部性和长度泛化

Pulkit Madan, Sanjay Haresh, Reza Ebrahimi, Sunny Panchal, Apratim Bhattacharyya, Roland Memisevic

机构 * Qualcomm AI Research（高通人工智能研究中心） 纠错

专题命中 视觉推理 ：visual reasoning(title)；分类 cs.CV、cs.AI、cs.LG

AI总结 研究从视觉状态跟踪和长度泛化角度，探讨局部、顺序视觉模型是否有计算优势。受语言模型启发，研究简单视觉任务中视觉模型行为。发现其会利用全局捷径，基于严格局部感知的策略可缓解此问题，表明局部注意力对稳健组合泛化很关键。

Comments Accepted at ECCV 2026

Do Multimodal Large Language Models Need Reasoning to Classify Dementia from Speech?

多模态大语言模型是否需要推理来从语音中分类痴呆症？

Liming Wang, Neguine Rezaii, Bradford C. Dickerson, James Glass

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 本文评估了多模态大语言模型在自动痴呆症分类中的推理能力，发现基于文本理由的策略会导致幻觉和不一致，并提出DeTAiL框架，通过非线性适配器和强化学习利用内部表示，在两个数据集上优于基线方法。

ReShift: Aha-Moment-Driven Reasoning-Level Backdoor Attacks on Vision-Language Models

ReShift: 视觉-语言模型上基于“啊哈时刻”驱动的推理级后门攻击

Zhihao Dou, Qinjian Zhao, Zhiqiang Gao, Sumon Biswas

专题命中 视觉推理 ：vision-language model(title)；VLM(abstract_cn)

AI总结 提出ReShift框架，通过“啊哈时刻”驱动推理轨迹重定向，结合PRDC管道和SRJO策略实现隐蔽的后门攻击，理论保证熵反弹与轨迹发散的联系。

Comments ECCV 2026

PIVOTSBench: Evaluating Fine-Grained Interpersonal Relationship Reasoning in Multimodal Large Language Models

PIVOTSBench：评估多模态大语言模型中的细粒度人际关系推理

Shuxiang Zhang, Yiting Yin, Wenxuan Song, Yuhang Wu, Miao Liu

机构 * Sun Yat-sen University（中山大学） ； University of Michigan（密歇根大学） ； Tsinghua University（清华大学） 纠错

专题命中 视觉推理 ：multimodal large language model(title,abstract)

AI总结 提出PIVOTS基准，基于Social-IQ 2.0和YouTube数据，评估多模态大语言模型在心理学研究基础上预测双向人际关系维度的能力，并包含辅助任务分析关键视觉线索。

DARS: Dual-Level Credit Assignment RL with Structured Reasoning for Instruction-Based Image Editing

DARS：用于基于指令的图像编辑的带结构化推理的双层级信用分配强化学习

Haoxiang Cao, Jiajiong Cao, Xuanpu Zhang, Changqian Yu, Chaoqun Wang

机构 * South China Normal University（华南师范大学） ； KlingAI Research（可灵AI研究院） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出DARS框架，解决基于指令的图像编辑系统仅用最终奖励训练效率低的问题，通过双层级信用分配实现更好性能，在推理密集型编辑上增益显著。

PhysX-CoT: Structured Physical Reasoning from a Single Image to Simulation-Ready 3D Assets

PhysX-CoT：从单张图像生成可用于仿真的3D资产的结构化物理推理

Jie Huang, Xiaohe Li, Jiahao Li, Fangli Mou, Chen Qian, Yuqiang Fang, Junhao Fan, Kaixin Zhang, Zide Fan

机构 * Space Engineering University（航天工程大学） 纠错

专题命中 视觉推理 ：grounding(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 PhysX-CoT将单张图像生成仿真3D资产视为显式结构化物理推理过程，通过分解部件级状态轨迹优化相关指标，在多方面优于基线，生成资产在Unreal Engine 5中表现良好。

PhysAgent: A Multi-Agent Framework for Reliable Remote Heart Rate Estimation

PhysAgent：用于可靠远程心率估计的多智能体框架

Yehui Yang, Bo Zhao, Junzhe Cao, Hui Ma, Yue Sun, Wenjin Wang, Zitong Yu

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.CV

AI总结 PhysAgent是一种推理时多智能体候选验证框架，以多个基础rPPG估计器输出为待验证生理假设，结合Qwen3-VL-4B多模态大语言模型推理与确定性融合，提升远程心率估计的稳定性与可靠性。

FaithEyes: Towards Faithful Tool Use via Multi-Agent Process-Image Verification

FaithEyes：通过多智能体过程图像验证实现可信的工具使用

Haoqing Wang, Xingrun Xing, Wei Xia, Ziheng Li, Yehui Tang

机构 * Samsung Research（三星研究院） ； Peking University（北京大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.CV

AI总结 本研究提出多智能体框架FaithEyes，通过子智能体判断主智能体的工具调用以提升工具使用可信性，在视觉感知与推理基准上实现了更优准确率。

Mitigating Modality and Language-Style Gaps for Zero-Shot Video Moment Retrieval

缓解零样本视频时刻检索中的模态和语言风格差距

Jihyun Lee, Cheol-Ho Cho, Woojin Jun, Woojin Jeong, Jae-Pil Heo

机构 * Sungkyunkwan University（成均馆大学） 纠错

专题命中 视觉推理 ：vision-language model(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 研究零样本视频时刻检索中模态和语言风格差距问题，提出基于自相似性的时刻提议和评分方法及查询感知的多模态大语言模型推理阶段，有效缓解差距，在相关基准测试中达最优性能。

Comments ECCV 2026 (* These authors contributed equally.)

Knowing the Self, Understanding the World: A Dual-Cognition Benchmark for UAV Spatio-temporal Reasoning with MLLMs

认识自我，理解世界：用于基于多模态大语言模型的无人机时空推理的双认知基准测试

Like Liu, Zhengzheng Xu, Haitao He, Hongzhe Li, Shuchang Zhang, Dian Shao

机构 * Northwestern Polytechnical University（西北工业大学） ； China University of Petroleum（中国石油大学） 纠错

专题命中 视觉推理 ：grounding(abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 该研究针对多模态大语言模型在无人机场景双认知能力评估不足的问题，提出UAV-DualCog基准测试，涵盖图像和视频任务，通过自动化管道构建数据，评估发现现有模型存在瓶颈，该基准测试有价值。

Comments 11 pages, 4 figures, 7 tables. Project website: https://uav-dualcog.lozumi.com

MMIR-TCM: Memory-Integrated Multimodal Inference and Retrieval for TCM Clinical Decision Support

MMIR-TCM：面向中医临床决策支持的记忆集成多模态推理与检索

Lihui Luo, Joongwon Chae, Ziyan Chen, Yang Liu, Siyi Cheng, Weihan Gao, Zelin Zeng, Xiaoming Yin, Samaneh Beheshti Kashi, Dongmei Yu, Lian Zhang, Jing Sui, Zeming Liang, Jiansong Ji, Peter E. Lobie, Peiwu Qin

机构 * Institute of Biopharmaceutics and Health Engineering, Tsinghua Shenzhen International Graduate School（清华深圳国际研究生院生物医药与健康工程研究院） ； Chinese Medicine Guangdong Laboratory（广东省中医药实验室） ； Beijing Normal University（北京师范大学） ； First Hospital of Hebei Medical University（河北医科大学第一医院） ； Lishui Hospital of Zhejiang University（浙江大学丽水医院） ； XiaoMing TCM Hospital（小明中医医院） 纠错

专题命中 视觉推理 ：MLLM(abstract,abstract_cn)；multimodal large language model(abstract)；分类 cs.AI

AI总结 提出MMIR-TCM框架，结合多模态大模型、记忆增强分割与检索增强生成，解决中医舌诊中的主观性和语义鸿沟问题，在MedTCM数据集上优于GPT-4o等模型。

Adaptive Companionship for Group-Following Robots: Handling Dynamically Changing Group Formations

群体跟随机器人的自适应陪伴：处理动态变化的群体编队

Cong-Thanh Vu, Yen-Chen Liu

机构 * National Cheng Kung University（国立成功大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision-language model(abstract)；分类 cs.AI

AI总结 提出基于视觉语言模型的自适应群体陪伴方法，通过语义推理推断同伴位置、维持社交距离并理解群体动态，结合MPPI控制器实现稳定安全跟随，在五个场景中成功率提升15%，碰撞率降低25%。

Comments Accepted to the IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2026)

PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking

PixelEyes: 解耦感知与推理以实现精准视觉证据查找

Dengxian Gong, Yuanzheng Wu, Haobo Yuan, Zhengdong Hu, Tao Zhang, Yikang Zhou, Shihao Chen, Quanzhu Niu, Kai Wang, Jason Li, Haochen Wang, Lu Qi, Shunping Ji, Ming-Hsuan Yang

机构 * Wuhan University（武汉大学） ； UC Merced（加州大学默塞德分校） ； UTS（UTS大学） ； NUS（新加坡国立大学） ； NTU（南洋理工大学） ； CASIA（中国科学院自动化所） 纠错

专题命中 视觉推理 ：visual reasoning(abstract)；grounding(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 针对多轮视觉推理中目标定位失败导致轨迹冗余的问题，提出PixelEyes，通过解耦推理与感知（推理器决定查找目标，专用感知工具定位），引入掩码引导视觉搜索和语义区域广度优先搜索，构建PixelEyes-6K数据集和Pinpoint-Bench基准，显著提升定位准确性。

Comments 22pages, 10 figures

Are Text-to-Image Models Inductivist Turkeys? A Counterfactual Benchmark for Causal Reasoning

文本到图像模型是归纳主义的火鸡吗？一个用于因果推理的反事实基准

Jiayi Lei, Yuandong Pu, Xingyu Han, Rongpeng Zhu, Jing Xu, Jinyao Wang, Zijian Zhou, Bin Fu, Yuewen Cao, Yihao Liu, Hongsheng Li

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视觉推理 ：VLM(abstract,abstract_cn)；vision language model(abstract)；分类 cs.CV

AI总结 提出反事实基准CF-World，通过三个递进层级测试T2I模型在违反现实先验规则下的图像生成能力，发现所有模型在反事实设置下性能急剧下降，原因是模型将世界知识与视觉外观编码为紧密耦合的模式。

Comments 10 pages, 7 figures. Project page: https://github.com/jylei16/CF-World.github.io