视觉大模型 / VLM

Dual-Modality Multi-Stage Adversarial Safety Training: Robustifying Multimodal Web Agents Against Cross-Modal Attacks

双模多阶段对抗安全训练：增强多模态网络代理对跨模态攻击的鲁棒性

Haoyu Liu, Dingcheng Li, Lukas Rutishauser, Zeyu Zheng

机构 * UC Berkeley, IEOR & BAIR（伯克利大学） ； Google（谷歌） ； Google Deepmind（谷歌DeepMind） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.AI、cs.LG

AI总结 DMAST通过三阶段对抗训练提升多模态网络代理对跨模态攻击的鲁棒性，显著提高任务完成效率并优于现有防御方法。

Image-based Prompt Injection: Hijacking Multimodal LLMs through Visually Embedded Adversarial Instructions

基于图像的提示注入：通过视觉嵌入的对抗性指令劫持多模态大语言模型

Neha Nagaraja, Lan Zhang, Zhilong Wang, Bo Zhang, Pawan Patil

机构 * Northern Arizona University（北亚利桑那大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究提出基于图像的提示注入攻击方法，通过视觉嵌入对抗性指令，成功操控多模态大语言模型输出，揭示了该攻击的有效性和潜在威胁。

Comments 7 pages, published in 2025 3rd International Conference on Foundation and Large Language Models (FLLM), Vienna, Austria

Journal ref 2025 3rd International Conference on Foundation and Large Language Models (FLLM), Vienna, Austria, 2025, pp. 916-922

Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

超越准确率：设计良好行为图像分类模型所关注的问题

Robin Hesse, Doğukan Bağcı, Bernt Schiele, Simone Schaub-Meyer, Stefan Roth

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文研究了图像分类模型在鲁棒性、校准和公平性等质量维度上的表现，提出QUBA指标以评估和推荐模型。

Comments Published in TMLR (01/2026) | OpenReview: https://openreview.net/forum?id=E7HDtLCoT6 | Project page: https://visinf.github.io/beyond-accuracy/

Give me scissors: Collision-Free Dual-Arm Surgical Assistive Robot for Instrument Delivery

给我剪刀：用于器械传递的碰撞自由双臂手术辅助机器人

Xuejin Luo, Shiquan Sun, Runshi Zhang, Ruizhi Zhang, Junchen Wang

机构 * School of Mechanical Engineering and Automation, Beihang University（机械工程与自动化学院，北航） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出了一种碰撞自由的双臂手术辅助机器人，通过视觉-语言模型生成轨迹并实现动态环境中的安全器械传递。

Comments 8 pages, 10 figures. Accepted by IEEE International Conference on Robotics and Automation (ICRA), 2026

BioCAP: Exploiting Synthetic Captions Beyond Labels in Biological Foundation Models

BioCAP: 利用合成描述性注释超越标签在生物基础模型中的应用

Ziheng Zhang, Xinyue Ma, Arpita Chowdhury, Elizabeth G. Campolongo, Matthew J. Thompson, Net Zhang, Samuel Stevens, Hilmar Lapp, Tanya Berger-Wolf, Yu Su, Wei-Lun Chao, Jianyang Gu

机构 * The Ohio State University（俄亥俄州立大学） ； Duke University（杜克大学） ； Boston University（波士顿大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 BioCAP通过生成合成描述性注释提升生物基础模型的性能，实现物种分类和文本-图像检索的高准确率。

Comments ICLR 2026; Project page: https://imageomics.github.io/biocap/

CaptionFool: Universal Image Captioning Model Attacks

CaptionFool: 针对最新Transformer图像描述模型的通用图像描述模型攻击

Swapnil Parekh

机构 * Intuit 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 CaptionFool通过修改少量图像块，成功生成任意目标描述，揭示了视觉-语言模型的安全漏洞。

Dyslexify: A Mechanistic Defense Against Typographic Attacks in CLIP

Dyslexify: 一种针对CLIP中印刷攻击的机制性防御

Lorenz Hufe, Constantin Venhoff, Erblina Purelku, Maximilian Dreyer, Sebastian Lapuschkin, Wojciech Samek

机构 * Fraunhofer Heinrich Hertz Institute（弗劳恩霍夫海因里希·赫兹研究所） ； University of Oxford（牛津大学） ； Technological University Dublin（都柏林技术大学） ； Technische Universität Berlin（柏林技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 Dyslexify通过消融CLIP中的印刷电路，有效防御印刷攻击，提升性能并保持应用安全性。

VAUQ: Vision-Aware Uncertainty Quantification for LVLM Self-Evaluation

VAUQ：面向LVLM自评估的视觉感知不确定性量化

Seongheon Park, Changdae Oh, Hyeong Kyu Choi, Xuefeng Du, Sharon Li

机构 * University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 VAUQ通过引入图像信息分数和核心区域遮蔽策略，实现对LVLM自评估的视觉感知不确定性量化，有效提升模型输出的可靠性。

MedProbCLIP: Probabilistic Adaptation of Vision-Language Foundation Model for Reliable Radiograph-Report Retrieval

MedProbCLIP: 基于概率适应的视觉-语言基础模型用于可靠放射影像-报告检索

Ahmad Elallaf, Yu Zhang, Yuktha Priya Masupalli, Jeong Yang, Young Lee, Zechun Cao, Gongbo Liang

机构 * Texas A&M University-San Antonio（德克萨斯A&M大学-圣安东尼奥分校） ； Boise State University（博伊州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 MedProbCLIP 通过概率适应提升放射影像与报告检索的可靠性，优于现有基线方法。

Comments Accepted to the 2026 Winter Conference on Applications of Computer Vision (WACV) Workshops

Visual Memory Injection Attacks for Multi-Turn Conversations

多轮对话中的视觉记忆注入攻击

Christian Schlarmann, Matthias Hein

机构 * Tübingen AI Center, University of Tübingen, Germany（图宾根人工智能中心，图宾根大学，德国） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出一种多轮对话中的视觉记忆注入攻击，通过操控用户输入实现隐蔽的信息操控，展示了对大视觉-语言模型的安全威胁。

DeepSight: An All-in-One LM Safety Toolkit

DeepSight: 一个全方位的大型模型安全工具包

Bo Zhang, Jiaxuan Guo, Lijun Li, Dongrui Liu, Sujin Chen, Guanxu Chen, Zhijie Zheng, Qihao Lin, Lewen Yan, Chen Qian, Yijin Zhou, Yuyao Wu, Shaoxiong Guo, Tianyi Du, Jingyi Yang, Xuhao Hu, Ziqi Miao, Xiaoya Lu, Jing Shao, Xia Hu

机构 * Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 DeepSight是一个开源工具包，旨在通过整合安全评估与诊断，提升大型模型的安全性与可解释性。

Comments Technical report, 29 pages, 24 figures

Cross-Modal Redundancy and the Geometry of Vision-Language Embeddings

跨模态冗余与视觉-语言嵌入的几何学

Grégoire Dhimoïla, Thomas Fel, Victor Boutin, Agustin Picard

机构 * Brown University（布朗大学） ； ENS Paris Saclay（巴黎萨克雷大学） ； IRT Saint Exupéry（IRT圣埃克苏佩里） ； Kempner Institute, Harvard University（哈佛大学凯姆纳研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过等能假设和对齐稀疏自编码器，揭示了视觉-语言模型中跨模态对齐的几何结构，发现稀疏双模态原子承载了跨模态对齐信号，单模态原子解释了模态差距，去除单模态原子可消除差距而不影响性能。

Comments Published as a conference paper at ICLR 2026

SHIELD: Suppressing Hallucinations In LVLM Encoders via Bias and Vulnerability Defense

SHIELD：通过偏差和脆弱性防御抑制LVLM编码器中的幻觉

Yiyang Huang, Liang Shi, Yitian Zhang, Yi Xu, Yun Fu

机构 * Department of Electrical and Computer Engineering, Northeastern University（电气与计算机工程系，东北大学） ； Khoury College of Computer Science, Northeastern University（计算机科学学院，东北大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SHIELD通过减少统计偏差、对抗固有偏差和解决脆弱性，有效抑制LVLM编码器中的对象幻觉。

Comments ICLR 2026

Toward Inherently Robust VLMs Against Visual Perception Attacks

朝向对抗视觉感知攻击的固有鲁棒性VLMs

Pedram MohajerAnsari, Amir Salarpour, Michael Kühr, Siyu Huang, Mohammad Hamad, Sebastian Steinhorst, Habeeb Olufowobi, Bing Li, Mert D. Pesé

机构 * Clemson University（克莱姆森大学） ； Technical Universität München（慕尼黑技术大学） ； University of Texas at Arlington（德克萨斯大学阿灵顿分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出V2LMs，通过固有鲁棒性提升自动驾驶车辆感知对视觉攻击的抗性，实验显示其在对抗攻击下表现优于传统DNNs。

Comments Accepted to the 2026 IEEE Intelligent Vehicles Symposium (IV 2026)

AlphaSteer: Learning Refusal Steering with Principled Null-Space Constraint

AlphaSteer: 通过原理性零空间约束学习拒绝引导

Leheng Sheng, Changshuo Shen, Weixiang Zhao, Junfeng Fang, Xiaohao Liu, Zhenkai Liang, Xiang Wang, An Zhang, Tat-Seng Chua

机构 * National University of Singapore（国立新加坡大学） ； University of Science and Technology of China（中国科学技术大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 AlphaSteer 通过原理性零空间约束学习拒绝引导，提升大语言模型的安全性与效用平衡。

Comments ICLR 2026

Same Answer, Different Representations: Hidden instability in VLMs

相同答案，不同表示：VLMs中的隐藏不稳定性

Farooq Ahmad Wani, Alessandro Suglia, Rohit Saxena, Aryo Pradipta Gema, Wai-Chung Kwan, Fazl Barez, Maria Sofia Bucarelli, Fabrizio Silvestri, Pasquale Minervini

机构 * Sapienza University of Rome（罗马萨皮恩扎大学） ； CNRS（法国国家科学研究中心） ； University of Edinburgh（爱丁堡大学） ； University of Oxford（牛津大学） ； i3S（i3S研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究揭示了视觉语言模型中隐藏的不稳定性，通过引入新的评估框架发现模型在内部表示漂移、鲁棒性与决策边界等方面存在显著问题。

Ethology of Latent Spaces

潜在空间的伦理学

Philippe Boisnard

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过伦理学视角揭示视觉语言模型潜在空间的非中立性，发现不同模型对政治与文化类别的归因差异显著，提出计算潜在政治化、涌现偏见和三种算法视域制度等核心概念。

Comments 23. pages, 14 figures, presented Hyperheritage International Symposium 9 ( https://paragraphe.univ-paris8.fr/IMG/pdf/programme_colloque_his9_campuscondorcet_v3.pdf ) and accepted for publication in double-blind peer review in French in 2026-2027

Explicit Uncertainty Modeling for Active CLIP Adaptation with Dual Prompt Tuning

显式不确定性建模用于主动CLIP适应与双提示微调

Qian-Wei Wang, Yaguang Song, Shu-Tao Xia

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Perceptual Intelligence, Peng Cheng Laboratory（感知智能研究院，鹏城实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于双提示微调的显式不确定性建模框架，用于提升主动CLIP适应的分类可靠性与主动样本选择效果。

Benchmarking Bias Mitigation Toward Fairness Without Harm from Vision to LVLMs

面向视觉到大视觉语言模型的公平性无害基准测试

Xuwei Tan, Ziyu Hu, Xueru Zhang

机构 * The Ohio State University（俄亥俄州立大学） ； Stevens Institute of Technology（史蒂文斯理工学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 NH-Fair提出一个统一基准，评估视觉到大视觉语言模型的公平性无害性，通过系统调优和数据增强方法减少偏见，提升公平性和准确性。

Comments Accepted at ICLR 26

PeerRank: Autonomous LLM Evaluation Through Web-Grounded, Bias-Controlled Peer Review

PeerRank: 通过基于网络的、受偏见控制的同行评审实现自主LLM评估

Yanki Margalit, Erni Avram, Ran Taig, Oded Margalit, Nurit Cohen-Inger

机构 * Computer Science and Information, Ben-Gurion University of the Negev（本·加里翁大学（内盖夫）计算机科学与信息学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 PeerRank通过基于网络的、受偏见控制的同行评审实现自主LLM评估，产生稳定且具有区分性的排名，并揭示可测量的身份和呈现偏见。

ClueTracer: Question-to-Vision Clue Tracing for Training-Free Hallucination Suppression in Multimodal Reasoning

ClueTracer: 问题到视觉线索追踪用于无训练 hallucination 抑制在多模态推理

Gongli Xi, Kun Wang, Zeming Gao, Huahui Yi, Haolang Lu, Ye Tian, Wendong Wang

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Nanyang Technological University（南洋理工大学） ； West China Biomedical Big Data Center（西京生物大数据中心） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 ClueTracer通过问题到视觉线索追踪，无训练抑制多模态推理中的幻觉，提升推理和非推理任务性能。

Comments 20 pages, 7 figures

The Art of Saying "Maybe": A Conformal Lens for Uncertainty Benchmarking in VLMs

也许的艺术：一种用于VLMs不确定性基准测试的共形透镜

Asif Azad, Mohammad Sadat Hossain, MD Sadik Hossain Shanto, M Saifur Rahman, Md Rizwan Parvez

机构 * Bangladesh University of Engineering and Technology（孟加拉工程与技术大学） ； Qatar Computing Research Institute（卡塔尔计算研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种用于VLMs不确定性基准测试的共形透镜，评估了18种最先进的VLMs在6个多元数据集上的表现，发现更大模型在不确定性量化方面表现更佳，而数学和推理任务则表现出较差的不确定性性能。

Spectral Geometry for Deep Learning: Compression and Hallucination Detection via Random Matrix Theory

深度学习的谱几何：通过随机矩阵理论实现压缩与幻觉检测

Davide Ettori

机构 * Politecnico di Milano（米兰理工学院） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出基于谱几何和随机矩阵理论的统一框架，通过分析隐藏激活的特征值结构，实现幻觉检测与模型压缩，提升深度学习的可靠性和效率。

Comments Master thesis, MS in Computer Science, University of Illinois Chicago, defended November 21, 2025

The Triangle of Similarity: A Multi-Faceted Framework for Comparing Neural Network Representations

相似性的三角形：一种多维框架用于比较神经网络表示

Olha Sirikova, Alvin Chan

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出相似性三角形框架，通过静态、功能和稀疏性三个视角比较神经网络表示，揭示架构对表示相似性的影响及剪枝对模型核心的影响。

Comments Accepted to AAAI 2026 Workshop on AI for Scientific Research (AI4Research)

AlphaFace: High Fidelity and Real-time Face Swapper Robust to Facial Pose

AlphaFace: 高保真和实时的面部交换器，对面部姿态具有鲁棒性

Jongmin Yu, Hyeontaek Oh, Zhongtian Sun, Angelica I Aviles-Rivero, Moongu Jeon, Jinhong Yang

机构 * University of Cambridge（剑桥大学） ； University of Kent（肯特大学） ； Tsinghua University（清华大学） ； Gwangju Institute of Science and Technology（全州科学技术院） ； Inje University（庆北大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 AlphaFace通过结合视觉-语言模型和CLIP嵌入，实现高保真和实时的面部交换，提升对极端面部姿态的鲁棒性。

Cognitively-Inspired Tokens Overcome Egocentric Bias in Multimodal Models

具有认知启发的标记克服了多模态模型中的自我中心偏差

Bridget Leonard, Scott O. Murray

机构 * Department of Psychology University of Washington（心理学系华盛顿大学） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本研究通过引入视角标记，提升多模态模型在空间推理任务中的表现，实现更人样的空间认知能力。

VERHallu: Evaluating and Mitigating Event Relation Hallucination in Video Large Language Models

VERHallu: 评估和缓解视频大语言模型中的事件关系幻觉

Zefan Zhang, Kehua Zhu, Shijie Jiang, Hongyuan Lu, Shengkai Sun, Tian Bai

机构 * College of Computer Science and Technology, Key Laboratory of Symbolic Computation and Knowledge Engineering, Ministry of Education, Jilin University（吉林大学计算机科学与技术学院，符号计算与知识工程重点实验室，教育部，吉林大学） ； College of Software, Jilin University（吉林大学软件学院） ； Facemind Group（FaceMind集团） ； School of Computer Science and Information Engineering, Hefei University of Technology（合肥工业大学计算机科学与信息工程学院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VERHallu基准，用于评估和缓解视频大语言模型中的事件关系幻觉，通过关键帧传播策略提升多事件理解能力。

Comments 11 pages, 6 figures

VideoHEDGE: Entropy-Based Hallucination Detection for Video-VLMs via Semantic Clustering and Spatiotemporal Perturbations

VideoHEDGE: 基于熵的视频视频语言模型幻觉检测方法：通过语义聚类和时空扰动

Sushant Gautam, Cise Midoglu, Vajira Thambawita, Michael A. Riegler, Pål Halvorsen

机构 * Simula Research Laboratory（Simula研究实验室） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 VideoHEDGE通过语义聚类和时空扰动检测视频VLMs中的幻觉，利用熵和校准方法提高检测准确性。

OS-Symphony: A Holistic Framework for Robust and Generalist Computer-Using Agent

OS-Symphony: 一个用于鲁棒且通用计算机使用代理的综合框架

Bowen Yang, Kaiming Jin, Zhenyu Wu, Zhaoyang Liu, Qiushi Sun, Zehao Li, JingJing Xie, Zhoumianze Liu, Fangzhi Xu, Kanzhi Cheng, Qingyun Li, Yian Wang, Yu Qiao, Zun Wang, Zichen Ding

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； National University of Singapore（新加坡国立大学） ； The Hong Kong University of Science and Technology（香港科学与技术大学） ； The University of Hong Kong（香港大学） ； CUHK MMLab（香港中文大学MMLab） ； Xi’an Jiaotong University（西安交通大学） ； Nanjing University（南京大学） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 OS-Symphony通过反思记忆代理和多功能工具代理，提升计算机使用代理在长周期任务和新领域中的鲁棒性和泛化能力。

Comments 31 pages, 11 figures, 12 tables

Jailbreak-AudioBench: In-Depth Evaluation and Analysis of Jailbreak Threats for Large Audio Language Models

Jailbreak-AudioBench: 对大型音频语言模型中 jailbreak 威胁的深入评估与分析

Hao Cheng, Erjia Xiao, Jing Shao, Yichi Wang, Le Yang, Chao Shen, Philip Torr, Jindong Gu, Renjing Xu

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； University of Oxford（牛津大学） ； Xi’an Jiaotong University（西安交通大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Northeastern University（东北大学） ； Beijing University of Technology（北京理工大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 Jailbreak-AudioBench 通过构建工具箱、数据集和基准，深入评估大型音频语言模型中 jailbreak 威胁，并促进安全防护机制的发展。