视觉大模型 / VLM

Interactive Attention AI to translate low light photos to captions for night scene understanding in women safety

Rajagopal A, Nirmala V, Arun Muthuraj Vedamanickam

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV、cs.LG

Comments In Springer Proceedings. International Conference On Big Data, Machine Learning and Applications 2021. http://bigdml.nits.ac.in/

Evolving Contextual Safety in Multi-Modal Large Language Models via Inference-Time Self-Reflective Memory

通过推理时的自我反思记忆在多模态大语言模型中实现上下文安全演化

Ce Zhang, Jinxi He, Junyi He, Katia Sycara, Yaqi Xie

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,comments)；visual reasoning(abstract)；分类 cs.CV

AI总结 本文提出MM-SafetyBench++基准和EchoSafe框架，通过自反思记忆实现多模态大语言模型的上下文安全演化，实验表明其在安全性能上表现优异。

Comments Accepted at CVPR 2026. Project page: https://echosafe-mllm.github.io

Fast-dDrive: Efficient Block-Diffusion VLM for Autonomous Driving

Fast-dDrive：面向自动驾驶的高效块扩散视觉语言模型

Kewei Zhang, Jin Wang, Sensen Gao, Chengyue Wu, Yulong Cao, Songyang Han, Boris Ivanovic, Langechuan Liu, Marco Pavone, Song Han, Daquan Zhou, Enze Xie

机构 * Peking University（北京大学） ； NVIDIA ； The University of Hong Kong（香港大学） ； MIT（麻省理工学院） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title)

AI总结 提出Fast-dDrive，一种块扩散视觉语言动作模型，通过语义单元内双向细化与跨单元因果约束，结合结构化令牌冻结、分段感知训练和推测解码，实现高保真轨迹规划与高效推理，在WOD-E2E和nuScenes上达到最优性能，推理速度提升12倍。

Evaluating Evidence Grounding Under User Pressure in Instruction-Tuned Language Models

评估在用户压力下指令调优语言模型的证据基础

Sai Koneru, Elphin Joe, Christine Kirchhoff, Jian Wu, Sarah Rajtmajer

机构 * College of Information Sciences and Technology, Pennsylvania State University（宾夕法尼亚州立大学信息科学与技术学院） ； Department of Computer Science, Old Dominion University（老 Dominion 大学计算机科学系） 纠错

专题命中 幻觉与鲁棒性 ：grounding(title)

AI总结 研究探讨了在用户压力下指令调优语言模型如何平衡用户对齐压力与上下文证据的忠实性，通过控制的认知冲突框架评估证据一致性准确性及排序表现。

Design and Application of Multimodal Large Language Model Based System for End to End Automation of Accident Dataset Generation

MD Thamed Bin Zaman Chowdhury, Moazzem Hossain

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)

Comments This paper is accepted for presentation in TRB annual meeting 2026. The version presented here is the preprint version before peer review process

When Tom Eats Kimchi: Evaluating Cultural Bias of Multimodal Large Language Models in Cultural Mixture Contexts

Jun Seong Kim, Kyaw Ye Thu, Javad Ismayilzada, Junyeong Park, Eunsu Kim, Huzama Ahmad, Na Min An, James Thorne, Alice Oh

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)

Comments 12 pages

Adversary-Aware DPO: Enhancing Safety Alignment in Vision Language Models via Adversarial Training

Fenghua Weng, Jian Lou, Jun Feng, Minlie Huang, Wenjie Wang

专题命中 幻觉与鲁棒性 ：vision language model(title)

SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models

Raghuveer Peri, Sai Muralidhar Jayanthi, Srikanth Ronanki, Anshu Bhatia, Karel Mundnich, Saket Dingliwal, Nilaksh Das, Zejiang Hou, Goeric Huybrechts, Srikanth Vishnubhotla, Daniel Garcia-Romero, Sundararajan Srinivasan, Kyu J Han, Katrin Kirchhoff

专题命中 幻觉与鲁棒性 ：multimodal large language model(title)

Comments 9+6 pages, Submitted to ACL 2024

Neural Path Hunter: Reducing Hallucination in Dialogue Systems via Path Grounding

Nouha Dziri, Andrea Madotto, Osmar Zaiane, Avishek Joey Bose

专题命中 幻觉与鲁棒性 ：grounding(title)

Comments EMNLP 2021 18 pages

Every Picture Tells a Dangerous Story: Memory-Augmented Multi-Agent Jailbreak Attacks on VLMs

每幅画都讲述一个危险的故事：基于内存增强的多智能体 jailbreak 攻击 VLMs

Jianhao Chen, Shiqin Wang, Haoyang Chen, Hanjie Zhao, Haozhe Liang, Zheng Wang, Tieyun Qian

机构 * Wuhan University（武汉大学） ； Zhongguancun Academy（中关村学院） ； Tianjin University（天津大学） ； University of the Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文提出MemJack框架，通过视觉语义引导多智能体协作，利用迭代空域投影过滤器提升对VLMs的攻击成功率，实验表明其在COCO数据集上达到71.48%的攻击成功率。

Comments This work was accepted by WISE2026. 15 pages, 2 figures

Zero-MELO: Test-Time Evidence Calibration with Multimodal LLMs for Zero-Shot Micro-Gesture Recognition

Zero-MELO：基于多模态大语言模型的测试时证据校准用于零样本微手势识别

Chengyan Wang, Hanliang Xie, Yueyi Yang, Haoyu Chen

机构 * University of Oulu（奥卢大学） ； Peking University（北京大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对多模态大语言模型在微手势识别中局部证据不足、分数偏差的瓶颈，提出Zero-MELO框架，结合树搜索、测试时校准与多线索融合，在iMiGUE和MA-52数据集上显著优于Qwen2.5-VL基线。

Comments Accepted by ACM MM 2026

TrustCLIP: Learning Private Visual Features via Adversarial Reconstruction

TrustCLIP：通过对抗性重建学习隐私视觉特征

Nikos Athanasiou, Ilya A. Petrov, Angela Yao, Shugao Ma, Eric Sauser, Edoardo Remelli, Shreyas Hampali, Johannes Schönberger, Fadime Sener, Bugra Tekin

机构 * Meta ； Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； University of Tübingen（图宾根大学） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；multimodal large language model(abstract)；分类 cs.CV

AI总结 研究视觉和视觉语言模型中视觉特征隐私问题，提出TrustCLIP框架，以特征条件生成器为隐私对手，优化编码器特征与下游模块投影，降低生成式反演保真度并保持下游任务性能。

Comments https://atnikos.github.io/trustclip/ Update affiliations

Disentangling Pictorial Cue Understanding from Language Bias in VLMs via Depth Ordering Task

通过深度排序任务解构视觉语言模型中的图像线索理解与语言偏差

Yiqian Liu, Iuliia Kotseruba, John K. Tsotsos

机构 * York University（约克大学） ； University of Guelph（圭尔夫大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；VLM(abstract_cn)；分类 cs.CV

AI总结 提出深度排序与异常检测任务，结合控制图像线索和语言表达，量化视觉语言模型的深度感知能力，发现模型对深度线索利用不足且存在语言偏差。

Comments 15 pages, 7 figures, accepted to ECCV 2026 (30 pages, 13 figures, supplementary materials included)

InstructVVT: Instruction-Driven Video Virtual Try-On without Auxiliary Spatial Priors

InstructVVT：无需辅助空间先验的指令驱动视频虚拟试穿

Dingbao Shao, Song Wu, Xinyu Chen, Qian Wang, Jiahang Li, Kuai Jiang, Jiang Lin, Yuhang Liu, Ziyu Chen, Duo Li, Jiaxin Hu, Shengrong Gu, Ziheng Tang, Rongrong Liu, Yanlun Peng, Liang Li, Junlan Feng, Lujia Jin, Ting Zhang, Jian Yang, Zili Yi

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 InstructVVT是基于DiT的视频虚拟试穿框架，通过双层级参考调控方案无需推理时空间先验，在ViViD-S等数据集上优于现有开源方法，解决了现有方法依赖辅助先验的问题。

Comments 23 pages, 10 figures. Dingbao Shao and Song Wu contributed equally. Zili Yi is the corresponding author

Context Blindness in DPO: Mitigating Object Hallucination in MLLMs via Context-Calibrated Preference Optimization

DPO中的上下文盲区：通过上下文校准的偏好优化缓解多模态大语言模型（MLLMs）中的物体幻觉

Byungoh Ko, Jinyoung Park, Jongha Kim, Jeehye Na, Jaewon Cho, Hyunwoo J. Kim

机构 * Korea University（高丽大学） ； KAIST（韩国科学技术院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract,abstract_cn)；分类 cs.CV

AI总结 本研究针对MLLMs的物体幻觉问题，提出C²-DPO方法，通过最大化上下文偏好增益降低幻觉率，使Qwen2-VL-Instruct-2B的幻觉率相对降低36%且不损害通用推理能力。

Comments Accepted at ECCV2026

Investigating Adversarial Robustness of Multi-modal Large Language Models

探究多模态大语言模型的对抗鲁棒性

Hashmat Shadab Malik, Muzammal Naseer, Salman Khan

机构 * Mohamed Bin Zayed University of AI, UAE（穆罕默德·本·扎耶德人工智能大学，阿联酋） ； Khalifa University, UAE（哈利法大学，阿联酋） ； Australian National University, Australia（澳大利亚国立大学，澳大利亚） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 通过系统研究多模态大语言模型的对抗鲁棒性，提出诊断性CLIP对齐协议预测鲁棒视觉编码器的迁移效果，并证明端到端多模态对抗训练能显著提升模型在强对抗攻击下的性能。

Journal ref The 37th British Machine Vision Conference (BMVC) 2026

Lingjing: A Simulation Testbed for Multi-Agent Embodied Tasks in Open-Ended Cities

Lingjing：面向开放城市多智能体具身任务的仿真测试平台

Xiaohe Li, Yiru Wang, Junhao Fan, Mingyuan Liu, Jie Huang, Kaixin Zhang, Jiahao Li, Chen Qian, Zide Fan

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract)；分类 cs.AI

AI总结 Lingjing 是一款面向开放城市异构多智能体具身任务的仿真测试平台，支持城市多智能体协同的可复现评估与故障诊断，通过评估视觉语言模型等揭示了环境感知等瓶颈。

SAFECAST: Robust Failure Detection for VLA Policies with Contrast-Set Training and Calibration

SAFECAST：结合对比集训练与校准的VLA策略鲁棒故障检测

Harshitha Rajaprakash, Aditeya Prajapati, Rong Xue, Abrar Anwar, Jesse Thomason

机构 * University of Southern California（南加州大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 SAFECAST 借助对比集扰动优化隐状态探测器训练与校准，在真实和模拟实验中显著提升 VLA 策略故障检测 ROC-AUC，且视觉与语言对比集扰动结合时效果最优。

Does Forgetting Transfer Across Modalities? A Real-World Benchmark for Cross-Modal Knowledge Unlearning Evaluation

遗忘能否跨模态迁移？面向跨模态知识遗忘评估的真实世界基准

Chunlin Liu, Junnian Chen, Haitong Jiang, Jianyu Zhao, Yingsen Pang, Jingchen Li, Jiabiao He, Youming Lu, Jinhe Bi, Yuntao Du

专题命中 幻觉与鲁棒性 ：vision-language model(abstract,abstract_cn)；分类 cs.AI

AI总结 本文针对跨模态知识遗忘迁移研究缺口，推出UNLINK-VL基准，实验发现跨模态遗忘存在不对称性，纯文本遗忘迁移效果差，凸显跨模态遗忘与评估的必要性。

Slides2MindMap: Reconstructing Cognitively Efficient Knowledge Hierarchies from Lecture Slides

Slides2MindMap：从课程幻灯片重建认知高效的知识层次结构

Yuzhi Wang, Rongjun Ye, Shengyuan Chen, Huachi Zhou, Jiaqi Bai, Chuang Zhou, Zhicong Hong, Xiao Huang

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.AI

AI总结 本研究提出Slides2MindMap任务，引入含12774张幻灯片的S2M-Bench基准，提出AutoMindMap智能体框架，实验证明其在基准上优于基线且鲁棒性强，具备教学应用价值。

An Analysis Focused on Womens Safety: Can VAD Models Be Enhanced by a Multi-modal Dataset?

聚焦女性安全分析：多模态数据集能否增强VAD模型？

Sangeeta ., Maddikuntla Sai Prajwal, Debi Prosad Dogra, Kamalakar Vijay Thakare, Hyungjoo Jung, Ig-Jae Kim, Heeseung Choi

机构 * Indian Institute of Technology Bhubaneswar（印度理工学院巴特那分校） ； Artificial Intelligence and Robotics Institute, Korea Institute of Science and Technology（人工智能与机器人研究所，韩国科学技术院） ； Yonsei-KIST Convergence Research Institute, Yonsei University（延世大学KIST融合研究中心） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 针对现有视频异常检测数据集缺乏女性中心异常样本的问题，提出包含1001个视频及文本描述的多模态基准ExtrAnom，覆盖5种犯罪类型，并验证了多模态方法在检测女性中心异常上的有效性。

Comments 15 pages, 8 figures, 6 tables

Beyond Visual Ambiguity: Guiding Robust Monocular Depth Estimation in Challenging Scenarios via Detailed Long Captions

超越视觉歧义：通过详细长文本引导具有挑战性场景下的鲁棒单目深度估计

Junrui Zhang, Jiaqi Li, Yiran Wang, Liao Shen, Zhiguo Cao

机构 * School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract,abstract_cn)；分类 cs.CV

AI总结 该研究针对单目深度估计的视觉歧义问题，提出CapDepth框架，通过详细长文本引导，在非朗伯表面和恶劣天气下的深度误差较现有最优方法分别降低25.0%和22.0%。

Comments Accepted to ACM MM 2026

EgoSafe: A First-Person Mobile-Captured Benchmark for Visual Safety Understanding

EgoSafe：用于视觉安全理解的第一人称移动采集基准

Yuyun Chen, Tianao Li, TianQuan Feng, Cen Chen, Huiping Zhuang, Hao Peng, Ziqian Zeng

机构 * South China University of Technology（华南理工大学） ； Beihang University（北京航空航天大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；grounding(abstract_cn)；分类 cs.CV

AI总结 该研究推出第一人称移动采集的视觉安全理解基准 EgoSafe-Bench，含12000个样本，用分层推理评估（HRE）协议测试，发现现有大视觉语言模型存在感知-推理解耦问题，为逻辑鲁棒视频理解系统提供评估框架

From Sign Language Generation to Humanoid Execution: Vision-Language Guided Retargeting with Collision Mitigation

从手语生成到仿人执行：具有碰撞缓解功能的视觉语言引导重定向

Nabeela Khan, Bowen Wu, Runwu Shi, Benjamin Yen, Takeshi Ashizawa, Carlos Toshinori Ishi, Takashi Minato, Kazuhiro Nakadai

机构 * Department of Systems and Control Engineering, Institute of Science Tokyo（东京科学大学系统与控制工程系） ； RIKEN Guardian Robot Project（理化学研究所守护机器人项目） ； ATR Hiroshi Ishiguro Laboratories（ATR石黑浩实验室） ； RIKEN Center for Biosystems Dynamics Research（理化学研究所生物系统动力学研究中心） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 研究针对手语生成动作在人形执行时的自相交问题，提出系统级框架，包含体积SMPL-X碰撞缓解模块和视觉语言引导重定向算法，能将SLG输出连接到人形关节空间执行，突出碰撞处理等是可靠人形手语关键缺失组件。

Attention Misses Visual Risk: Risk-Adaptive Steering for Multimodal Safety Alignment

注意力忽视视觉风险：多模态安全对齐的风险适应性转向

Jonghyun Park, Minhyuk Seo, Chaewon Yeo, Jonghyun Choi

机构 * Seoul National University（首尔大学） ； KU Leuven（鲁汶大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract,abstract_cn)；分类 cs.CV

AI总结 本文提出MoRAS，通过简洁的视觉上下文增强关键安全区域的视觉注意力，以实现多模态安全对齐，减少推理开销并提升泛化能力。

SPHINX: First Explain, Then Explore

SPHINX: 先解释，再探索

Nguyen Do, Tue M. Cao, Tien Van Do, András Hajdu, Tamás Bérczes, My T. Thai

机构 * University of Florida（佛罗里达大学） ； University of Debrecen（德布勒恩大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；vision language model(abstract)；分类 cs.CV

AI总结 提出SPHINX闭环框架，通过可解释AI分析驾驶策略的失败模式，并利用视觉语言模型生成针对性对抗场景，提升自动驾驶策略鲁棒性。

Comments 13 pages

Benchmarking the Robustness of Autonomous Driving to Environmental Illusions: A Lane Perception Perspective

从车道感知角度评估自动驾驶对环境错觉的鲁棒性：基准测试

Tianyuan Zhang, Xianglong Liu, Aishan Liu, Lu Wang, Yitong Zhang, Peng Yue, Mingchuan Zhang, Siyuan Liang, Dacheng Tao

机构 * SKLCCSE, the School of Computer Science and Engineering, Beihang University（北京航空航天大学计算机科学与工程学院软件安全技术与工程北京市重点实验室） ； the School of Cyber Science and Technology, Sun Yat-sen University（中山大学网络空间科学与技术学院） ； Henan University of Science and Technology（河南科技大学） ； the School of Computing, National University of Singapore（新加坡国立大学计算学院） ； College of Computing & Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 研究自动驾驶对环境错觉的鲁棒性，聚焦传统车道检测和视觉语言模型系统。引入基准LanEvil++并评估，发现错觉严重影响性能，阴影干扰最大。提出多模态错觉防御方法MIDA，有效提升了模型在挑战性条件下的鲁棒性。

Comments Accepted by IEEE TPAMI 2026

Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework

驯服I2V模型用于图像HOI编辑：认知基准与智能体自校正框架

Jiayi Gao, Qingchao Chen, Yuxin Peng, Yang Liu

机构 * Wangxuan Institute of Computer Technology, Peking University, Beijing, China（王轩计算机技术研究所，北京大学，北京，中国） ； National Institute of Health Data Science, Peking University, Beijing, China（国家健康数据科学研究院，北京大学，北京，中国） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出HOI-Edit基准和SCPE框架，利用I2V模型的时间生成能力进行动态人-物交互编辑，通过自校正提示迭代优化，实现与SOTA竞争的性能。

Towards Robustness against Typographic Attack with Training-free Concept Localization

基于训练无关的概念定位实现对抗印刷体攻击的鲁棒性

Bohan Liu, Wenqian Ye, Guangzhi Xiong, Zhenghao He, Sanchit Sinha, Aidong Zhang

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；visual question answering(abstract)；分类 cs.CV

AI总结 提出一种无需训练的可解释性方法，通过分析注意力头对词汇和语义的编码差异，定位并干预ViT中的词汇偏置电路，从而在不额外训练的情况下显著提升对印刷体攻击的鲁棒性。

Comments 15 pages main text, provisionally accepted to ECCV 2026

FlowCIR: Semantic Transport via Flow Matching for Zero-Shot Composed Image Retrieval

FlowCIR: 通过流匹配实现零样本组合图像检索的语义传输

Zhenqi He, Ziqi Jiang, Yuanpei Liu, Yanghao Wang, Teng Wang, Long Chen

机构 * The Hong Kong University of Science and Technology, Hong Kong SAR（香港科技大学） ； The University of Hong Kong, Hong Kong SAR（香港大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract,abstract_cn)；分类 cs.CV

AI总结 提出FlowCIR，利用条件流匹配将参考图像与指令组合成目标对齐查询嵌入，避免文本反转的信息损失，训练效率高，并引入多负向引导策略提升对否定指令的鲁棒性。

Comments Accept to ECCV2026