视觉大模型 / VLM

Vision-Language Introspection: Mitigating Overconfident Hallucinations in MLLMs via Interpretable Bi-Causal Steering

视觉-语言反思：通过可解释的双因果引导减轻大语言模型中的过度自信幻觉

Shuliang Liu, Songbo Yang, Dong Fang, Sihang Jia, Yuqi Tang, Lingfeng Su, Ruoshui Peng, Yibo Yan, Xin Zou, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； The Hong Kong University of Science and Technology（香港理工大学） ； LIGHTSPEED 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 VLI通过可解释的双因果引导方法，有效减少大语言模型中的对象幻觉，提升多模态任务的准确性和可靠性。

The Forgotten Shield: Safety Grafting in Parameter-Space for Medical MLLMs

被遗忘的盾牌：参数空间中的医疗大语言模型安全性移植

Jiale Zhao, Xing Mou, Jinlin Wu, Hongyuan Yu, Mingrui Sun, Yang Shi, Xuanwu Yin, Zhen Chen, Zhen Lei, Yaohua Wang

机构 * National University of Defense Technology（国防科技大学） ； Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统（MAIS）） ； Multimedia Department, Xiaomi Inc（小米公司多媒体部门） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong（香港科学院人工智能与机器人中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, UCAS（中国科学院大学人工智能学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出参数空间干预方法，通过提取原始模型的安全知识并注入目标模型，提升医疗大语言模型的安全性，同时保持医疗性能。

Scanner-Induced Domain Shifts Undermine the Robustness of Pathology Foundation Models

扫描诱导的域偏移损害病理基础模型的鲁棒性

Erik Thiringer, Fredrik K. Gustafsson, Kajsa Ledesma Eriksson, Mattias Rantalainen

机构 * Department of Medical Epidemiology and Biostatistics, Karolinska Institutet（卡罗林斯卡研究所医学流行病学与生物统计学系） ； Department of Engineering Science, University of Oxford（牛津大学工程科学系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文研究了扫描诱导的域偏移对病理基础模型鲁棒性的影响，发现现有模型在面对扫描设备变异性时存在显著偏差，需改进嵌入稳定性和校准以提升临床可靠性。

DISCODE: Distribution-Aware Score Decoder for Robust Automatic Evaluation of Image Captioning

DISCODE：面向分布的评分解码器，用于鲁棒的图像描述评估

Nakamasa Inoue, Kanoko Goto, Masanari Oi, Martyna Gruszka, Mahiro Ukai, Takumi Hirose, Yusuke Sekikawa

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 DISCODE是一种无需微调的鲁棒图像描述评估方法，通过自适应测试时损失和多领域基准提升评估鲁棒性。

Comments Paper accepted to AAAI 2026

Benchmark Success, Clinical Failure: When Reinforcement Learning Optimizes for Benchmarks, Not Patients

基准成功，临床失败：当强化学习优化于基准，而非患者

Armin Berger, Manuela Bergau, Helen Schneider, Saad Ahmad, Tom Anglim Lagones, Gianluca Brugnara, Martha Foltyn-Dumitru, Kai Schlamp, Philipp Vollmuth, Rafet Sifa

机构 * Fraunhofer IAIS（弗劳恩霍夫人工智能研究所） ； University of Bonn（波恩大学） ； Lamarr Institute（拉马尔研究所） ； Department of Health Queensland（昆士兰健康部） ； Griffith University（格里菲斯大学） ； University Hospital Bonn（波恩大学医院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 ChexReason通过低资源强化学习在医学影像基准上表现优异，但其跨数据集迁移性下降，揭示了RL范式在临床应用中的局限性。

MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs

MM-SpuBench：迈向更好地理解多模态大语言模型中伪偏差的深入研究

Wenqian Ye, Bohan Liu, Guangtao Zheng, Di Wang, Yunsheng Ma, Xu Cao, Bolin Lai, James M. Rehg, Aidong Zhang

机构 * University of Virginia（弗吉尼亚大学） ； Purdue University（普渡大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 MM-SpuBench通过分析多模态大语言模型中的伪偏差，揭示其存在与缓解的挑战，提供公开基准以促进相关技术发展。

Comments Accepted at KDD 2026 (Dataset and Benchmark Track)

RoboSafe: Safeguarding Embodied Agents via Executable Safety Logic

RoboSafe: 通过可执行的安全逻辑保障具身智能体

Le Wang, Zonghao Ying, Xiao Yang, Quanchen Zou, Zhenfei Yin, Tianlin Li, Jian Yang, Yaodong Yang, Aishan Liu, Xianglong Liu

机构 * Beihang University（北航大学） ； AI Security Lab（360AI安全实验室） ； The University of Sydney（悉尼大学） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） ； Beijing Academy of Artificial Intelligence（北京人工智能研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 RoboSafe通过可执行的安全逻辑保障具身智能体，减少危险行为并保持任务性能。

Comments 11 pages, 6 figures

The Semantic Illusion: Certified Limits of Embedding-Based Hallucination Detection in RAG Systems

语义幻觉：基于嵌入的幻觉检测在RAG系统中的认证极限

Debu Sinha

机构 * Independent Researcher（独立研究者） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 研究揭示了基于嵌入的幻觉检测在RAG系统中存在语义幻觉问题，通过符合预测方法发现真实幻觉检测的挑战，证明需通过推理而非表面语义解决。

Comments 12 pages, 3 figures, 5 tables

Differences That Matter: Auditing Models for Capability Gap Discovery and Rectification

关键差异：用于能力缺口发现与纠正的模型审计

Qihao Liu, Chengzhi Mao, Yaojie Liu, Alan Yuille, Wen-Sheng Chu

机构 * Google（谷歌） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 AuditDM通过主动发现和纠正多模态大语言模型的失败模式，提升模型性能和诊断能力。

Comments project page: https://auditdm.github.io/

Incentives or Ontology? A Structural Rebuttal to OpenAI's Hallucination Thesis

激励还是本体？对OpenAI“幻觉假说”的结构反驳

Richard Ackermann, Simeon Emanuilov

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文反驳OpenAI关于幻觉源于激励不匹配的观点，指出幻觉是Transformer架构的必然结果，需通过外部验证模块消除，而非改变激励或微调。

Comments 17 pages, references to prior work arXiv:2509.16297 and arXiv:2511.06073

How a Bit Becomes a Story: Semantic Steering via Differentiable Fault Injection

一位比特如何成为故事：通过可微分故障注入实现语义引导

Zafaryab Haider, Md Hafizur Rahman, Shane Moeykens, Vijay Devabhaktuni, Prabuddha Chakraborty

机构 * University of Maine（缅因大学） ； Illinois State University（伊利诺伊州立大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 通过可微分故障注入分析，研究比特级扰动对生成模型语义的影响，揭示低级变化如何引导高层语义。

Neurosymbolic Inference On Foundation Models For Remote Sensing Text-to-image Retrieval With Complex Queries

面向遥感文本到图像检索的神经符号推理：为复杂查询的基座模型

Emanuele Mezzi, Gertjan Burghouts, Maarten Kruithof

机构 * Vrije Universiteit Amsterdam（瓦赫宁根大学阿姆斯特丹） ； TNO（荷兰国防研究院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 RUNE通过结合大型语言模型和神经符号AI，利用逻辑推理提升遥感文本到图像检索的性能与可解释性，针对复杂查询和图像不确定性提出新的评估指标。

MIMIR: Masked Image Modeling for Mutual Information-based Adversarial Robustness

MIMIR：基于互信息的对抗鲁棒性图像建模

Xiaoyun Xu, Shujian Yu, Zhuoran Liu, Stjepan Picek

机构 * Radboud University Nijmegen（拉德博德大学尼姆维根分校） ； Vrije Universiteit Amsterdam（自由大学阿姆斯特丹） ； University of Zagreb Faculty of Electrical Engineering and Computing（Zagreb大学电子工程与计算学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 MIMIR通过互信息惩罚和自编码器的遮蔽图像建模，提升视觉变换器的对抗鲁棒性。

Comments Accepted by NDSS 2026

SAVE: Sparse Autoencoder-Driven Visual Information Enhancement for Mitigating Object Hallucination

SAVE：基于稀疏自编码器的视觉信息增强用于缓解物体幻觉

Sangha Park, Seungryong Yoo, Jisoo Mok, Sungroh Yoon

机构 * Department of Electrical and Computer Engineering, Seoul National University（电子与计算机工程系，首尔国立大学） ； Daegu Gyeongbuk Institute of Science and Technology（大邱庆州科学技术院） ； IPAI, AIIS, ASRI, INMC, and ISRC, Seoul National University（IPAI、AIIS、ASRI、INMC 和 ISRC，首尔国立大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 SAVE通过引导模型沿稀疏自编码器潜在特征减少物体幻觉，提升视觉理解能力。

Comments WACV 2026

Mitigating Bias with Words: Inducing Demographic Ambiguity in Face Recognition Templates by Text Encoding

通过词语缓解偏见：通过文本编码在人脸识别模板中诱导人口统计学模糊性

Tahar Chettaoui, Naser Damer, Fadi Boutros

机构 * Fraunhofer IGD（弗劳恩霍夫研究所（IGD）） ； TU Darmstadt（德累斯顿技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 通过引入文本编码，UTIE在人脸识别模板中诱导人口统计学模糊性，以减少偏见并提升验证性能。

Comments Accepted at BMVC workshop (SRBS) 2025

OMNIGUARD: An Efficient Approach for AI Safety Moderation Across Languages and Modalities

OMNIGUARD：一种跨语言和模态的高效AI安全审查方法

Sahil Verma, Keegan Hines, Jeff Bilmes, Charlotte Siska, Luke Zettlemoyer, Hila Gonen, Chandan Singh

机构 * University of Washington（华盛顿大学） ； Microsoft（微软公司） 纠错

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 Omniguard提出了一种跨语言和模态的高效方法，通过构建语言或模态无关的分类器提升有害提示检测的准确率，并在多语言、图像和音频提示任务中取得显著效果。

VACoT: Rethinking Visual Data Augmentation with VLMs

VACoT：重新思考视觉数据增强与VLMs

Zhengzhuo Xu, Chong Sun, SiNan Du, Chen Li, Jing Lyu, Chun Yuan

机构 * Tsinghua University（清华大学） ； WeChat Vision, Tencent Inc（腾讯微信视觉部门） 纠错

专题命中 幻觉与鲁棒性 ：visual language model(abstract)；分类 cs.CV、cs.AI

AI总结 VACoT通过在推理过程中动态调用图像增强，提升VLMs在挑战性和分布外输入中的鲁棒性，特别是在OCR对抗场景中，通过高效的智能强化学习减少训练开销并增强感知任务的推理效率。

HalluGraph: Auditable Hallucination Detection for Legal RAG Systems via Knowledge Graph Alignment

HalluGraph: 通过知识图谱对齐实现法律RAG系统的可审计性幻觉检测

Valentin Noël, Elimane Yassine Seidou, Charly Ken Capo-Chichi, Ghanem Amari

机构 * Devoteam 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 HalluGraph通过知识图谱对齐技术，为法律RAG系统提供可审计的幻觉检测，实现高精度的实体定位和关系验证，提升法律应用场景的可靠性。

Comments 8 pages, 4 figures, under review

Reading Smiles: Proxy Bias in Foundation Models for Facial Emotion Recognition

读微笑：面部情绪识别基础模型中的代理偏差

Iosif Tsangko, Andreas Triantafyllopoulos, Adem Abdelmoula, Adria Mallol-Ragolta, Bjoern W. Schuller

机构 * CHI – Chair of Health Informatics, MRI, Technical University of Munich（慕尼黑技术大学健康信息学系） ； MCML – Munich Center for Machine Learning（慕尼黑机器学习中心） ； GLAM – Group on Language, Audio, & Music（语言、音频与音乐小组） ； MDSI – Munich Data Science Institute（慕尼黑数据科学研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文研究了面部情绪识别基础模型中视觉线索的依赖性及潜在偏差，揭示了模型在情绪推理中的内在一致性及公平性风险。

Journal ref IEEE Access, Early Access, 2025

Gated Uncertainty-Aware Runtime Dual Invariants for Neural Signal-Controlled Robotics

门控不确定性感知的实时双不变量框架用于神经信号控制的机器人

Tasha Kim, Oiwi Parker Jones

机构 * Oxford Robotics Institute (ORI)（牛津机器人研究所） ； Department of Engineering Science（工程科学系） ； University of Oxford（牛津大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 GUARDIAN通过结合校准置信度的脑信号解码与符号目标接地和双层运行时监控，实现神经信号控制机器人系统的高安全性和可靠性。

Comments Embodied and Safe-Assured Robotic Systems workshop at NeurIPS 2025

Medusa: Cross-Modal Transferable Adversarial Attacks on Multimodal Medical Retrieval-Augmented Generation

Medusa: 跨模态可转移的对抗攻击用于多模态医疗检索增强生成

Yingjia Shang, Yi Liu, Huimin Wang, Furong Li, Wenfang Sun, Wu Chengyu, Yefeng Zheng

机构 * Westlake University（西湖大学） ； Heilongjiang University（黑龙江大学） ； City University of Hong Kong（香港城市大学） ； Tencent（腾讯） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 Medusa提出了一种针对多模态医疗检索增强生成系统的跨模态可转移对抗攻击方法，通过优化扰动和双循环策略实现高攻击成功率并抵御主流防御措施。

Comments Accepted at KDD 2026 First Cycle (full version). Authors marked with * contributed equally. Yi Liu is the lead author

Lost in Translation and Noise: A Deep Dive into the Failure Modes of VLMs on Real-World Tables

迷失在翻译与噪声中：对VLMs在现实表格上的失败模式的深入探讨

Anshul Singh, Rohan Chaudhary, Gagneet Singh, Abhay Kumary

机构 * Indian Institute of Science（印度科学研究院） ； Panjab University（旁遮普大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(abstract)；分类 cs.CV、cs.AI

AI总结 MirageTVQA通过多语言和视觉不完美的表格挑战VLMs，揭示了模型在现实噪声和语言转换中的失败模式。

Comments Accepted as Spotligh Talk at EurIPS 2025 Workshop on AI For Tabular Data

T2I-RiskyPrompt: A Benchmark for Safety Evaluation, Attack, and Defense on Text-to-Image Model

T2I-RiskyPrompt：用于评估、攻击和防御文本到图像模型安全性的基准

Chenyu Zhang, Tairen Zhang, Lanjun Wang, Ruidong Chen, Wenhui Li, Anan Liu

专题命中 幻觉与鲁棒性 ：MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 T2I-RiskyPrompt提出了一种用于评估文本到图像模型安全性的综合基准，通过层次化风险分类和原因驱动的检测方法，全面评估了多种模型和防御策略的安全性能。

Comments AAAI 2026

HV-Attack: Hierarchical Visual Attack for Multimodal Retrieval Augmented Generation

HV-Attack：多模态检索增强生成的分层视觉攻击

Linyin Luo, Yujuan Ding, Yunshan Ma, Wenqi Fan, Hanjiang Lai

机构 * The Hong Kong Polytechnic University（香港理工大学） ； Sun Yat-Sen University（中山大学） ； Singapore Management University（新加坡管理学院） 纠错

专题命中 幻觉与鲁棒性 ：LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出了一种分层视觉攻击方法，通过在图像输入中添加不可察觉扰动，破坏多模态检索增强生成系统的检索和生成性能。

SAGE: Spuriousness-Aware Guided Prompt Exploration for Mitigating Multimodal Bias

Wenqian Ye, Di Wang, Guangtao Zheng, Bohan Liu, Aidong Zhang

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments Accepted at AAAI 2026

AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models

Jiayu Li, Yunhan Zhao, Xiang Zheng, Zonghuan Xu, Yige Li, Xingjun Ma, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； City University of Hong Kong（香港城市大学） ； Singapore Management University（新加坡管理大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AUVIC: Adversarial Unlearning of Visual Concepts for Multi-modal Large Language Models

Haokun Chen, Jianing Li, Yao Zhang, Jinhe Bi, Yan Xia, Jindong Gu, Volker Tresp

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

Comments AAAI 2026. Code: https://github.com/HaokunChen245/AUVIC

Guarding the Meaning: Self-Supervised Training for Semantic Robustness in Guard Models

Cristina Pinneri, Christos Louizos

机构 * Qualcomm AI Research（高通人工智能研究） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI、cs.LG

Learning to Compose: Improving Object Centric Learning by Injecting Compositionality

Whie Jung, Jaehoon Yoo, Sungjin Ahn, Seunghoon Hong

机构 * School of Computing, KAIST（计算学院，韩国科学技术院） 纠错

专题命中 幻觉与鲁棒性 ：visual reasoning(abstract)；分类 cs.CV、cs.LG

Journal ref International Conference on Learning Representations (ICLR), 2024

GUARD: Role-playing to Generate Natural-language Jailbreakings to Test Guideline Adherence of Large Language Models

Haibo Jin, Ruoxi Chen, Peiyan Zhang, Andy Zhou, Haohan Wang

机构 * School of Information Sciences University of Illinois at Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） ； Independent Researcher, Starc Institute（Starc研究所独立研究者） ； Computer Science and Engineering HKUST（HKUST计算机科学与工程学院） ； Computer Science Lapis Labs University of Illinois Urbana-Champaign（计算机科学Lapis Labs伊利诺伊大学厄巴纳-香槟分校） ； School of Information Sciences University of Illinois Urbana-Champaign（信息科学学院伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.CV、cs.LG

Comments 28 papges