视觉大模型 / VLM

Eliciting Intrinsic Hallucinations in LLMs via Semantically Equivalent Adversarial Attacks

通过语义等价对抗攻击引出大语言模型的内在幻觉

Atri Vivek Sharma, Brian Formento, Alessio Lomuscio

机构 * Imperial College London（帝国理工学院） ； Safe Intelligence（安全智能研究院） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出新框架，通过语义等价对抗攻击测试LLMs鲁棒性，发现先进模型易受语义保留扰动影响致忠实度大幅下降，凸显需开发鲁棒接地的LLM架构与训练目标。

Comments To be presented at COLM 2026

One Surrogate to Fool Them All: Universal, Transferable, and Targeted Adversarial Attacks with CLIP

用一个替代模型欺骗所有：基于CLIP的通用、可迁移且有针对性的对抗攻击

Binyan Xu, Xilin Dai, Di Tang, Kehuan Zhang

机构 * The Chinese University of Hong Kong（香港中文大学） ； Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） 纠错

专题命中 幻觉与鲁棒性 ：vision language model(abstract)；分类 cs.LG

AI总结 本文提出基于CLIP的UnivIntruder攻击框架，仅用公开模型和数据集生成对抗扰动，在ImageNet、CIFAR-10及图像搜索引擎、视觉语言模型上实现高攻击成功率，凸显AI安全需重新评估。

Comments 22 pages, 15 figures, 18 tables. To appear in the Proceedings of The ACM Conference on Computer and Communications Security (CCS), 2025

KnowHal: A Knowledge-Driven Benchmark for Comprehensive Multimodal Hallucination Evaluation

KnowHal：用于全面多模态幻觉评估的知识驱动基准

Ruihan Li, Jiyang Tan, Kailin Jiang, Huining Li, Hengyang Lu, Yu Huang, Qian Li, Yuntao Du

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究针对多模态大语言模型（MLLMs）的幻觉评估缺口，提出知识驱动的KnowHal基准，涵盖四个幻觉维度，经评估发现知识维度是模型最大挑战，多数模型对错误前提鲁棒性有限。

Comments 9 pages, 7 figures

Knowing the Form, Not the Function: Automatically Auditing Answer--Authority Decoupling in Legal Benchmarks

知晓形式，而非功能：自动审计法律基准中答案与权威的脱钩问题

Hsien-Jyh Liao

机构 * Ministry of Justice, Taiwan（台湾法务部） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本文针对法律基准中答案与权威脱钩问题，联合审计四款LLMs在台湾律师考试题上的表现，发现答案与引用行为可独立变化，提出答案与权威联合评估的方法。

Comments 9 pages, 11 tables

Medical world models in healthcare: foundations, applications, and challenges for trustworthy clinical translation

医疗保健中的医学世界模型：可信临床翻译的基础、应用与挑战

Zhaoyan Chen, Zhongxiu Cong, Zhuanfeng Jin, Wanshu Fan, Dongsheng Zhou, Qi Ai, Haifan Gong, Congyu Liao, Xiaofeng Liu, Cong Wang

机构 * National and Local Joint Engineering Laboratory of Computer Aided Design, School of Software Engineering, Dalian University（大连大学软件工程学院计算机辅助设计国家地方联合工程实验室） ； Department of Radiology, Xinhua Hospital Affiliated to Dalian University（大连大学附属新华医院放射科） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； University of California, San Francisco（加州大学旧金山分校） ； Yale University（耶鲁大学） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV

AI总结 探讨医学世界模型在医疗保健中的应用，通过结构化综合定义其领域相关内容，围绕四种能力组织，涵盖多方面证据，虽有早期可行性证据，但受多种因素限制，临床翻译需多方面保障。

SafeBuild-Bench: A Temporal-Robust Construction Safety Benchmark with Graph-Enhanced Data Mining

SafeBuild-Bench：一种具有图增强数据挖掘能力的时序鲁棒建筑安全基准

Yi Cui, Zilin Wang, Yijie Xu, Qianyi Cai, Huizai Yao, Shuai Jiang, Bingzhuo Zhong, Hui Xiong

机构 * Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究人员构建了图增强数据挖掘的时序鲁棒建筑安全基准SafeBuild-Bench，开发可扩展验证的GEMS流水线，发现现有多模态大语言模型对建筑安全理解仍不足。

Comments Accepted by KDD 2026. 12 pages, 6 figures

The Formalism Trap: Are LLM-as-a-Judge Evaluators Blinded by Consensus Mimicry under Social Load?

形式主义陷阱：社会负荷下作为评判者的大语言模型是否会被共识模仿蒙蔽？

Dahlia Shehata, Ming Li

机构 * University of Waterloo（滑铁卢大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 该研究提出Agentic形式主义陷阱与评估失调指数，通过多领域轨迹分析揭示作为评判者的大语言模型易受句法触发影响，且该漏洞与领域无关，需架构特定的警戒过滤器。

Rethinking Inference-Time Scaling in Local Computer-Use Agents: Failure Modes and Compute Tradeoffs

重新思考本地计算机使用智能体的推理时扩展：失败模式与计算权衡

Woongkyu Lee, Jungwook Choi

机构 * Hanyang University（汉阳大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本文针对本地计算机使用智能体的推理时扩展开展系统实证研究，评估多款模型在OSWorld基准上的表现，揭示其边际收益递减、失败模式转变等规律，提出高效本地智能体的设计方向。

MarkushGlyph and OCSRGlyph: Improved Chemical Structure Recognition

MarkushGlyph与OCSRGlyph：改进的化学结构识别

Alex Andonian, Samuel G Rodriques, Andrew D White, Siddharth M Narayanan

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究将化学结构识别视为图像到文本转换任务，提出OCSRGlyph与MarkushGlyph模型，前者优化OCSR性能，后者针对Markush结构采用整体视觉语言建模，还提出新指标解决Markush结构翻译的准确性判定问题。

Security of World-Model-Based Embodied AI: A Lifecycle of Threats, Defenses, and Evaluation

基于世界模型的具身智能安全性：威胁、防御与评估的生命周期

Fazhong Liu, Zhuoyan Chen, Haozhen Tan, Yan Meng, Guoxing Chen, Haojin Zhu

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 本综述针对基于世界模型的具身智能，梳理其生命周期内的各类安全威胁，提出分类法与评估协议，并从多维度构建防御体系，同时指出世界模型兼具安全护盾与安全错觉的双重属性。

VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing

VCE：通过视觉对比编辑实现LVLMs的零成本幻觉抑制方法

Yanbin Huang, Yisen Li, Guiyao Tie, Xiaoye Qu, Pan Zhou, Hongfei Wang, Zhaofan Zou, Hao Sun, Xuelong Li

机构 * Huazhong University of Science and Technology（华中科技大学） ； Institute of Artificial Intelligence (TeleAI)（人工智能研究院） ； China Telecom（中国电信） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VCE方法，通过分析模型对对比视觉扰动的响应，利用SVD分解激活模式以抑制幻觉倾向，有效减少多基准测试中的物体幻觉，同时保持计算效率。

Comments ICASSP 2026

Journal ref 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 2026, pp. 16657-16661

SMSP: A Plug-and-Play Strategy of Multi-Scale Perception for MLLMs to Perceive Visual Illusions

SMSP：多尺度感知的插件策略用于MLLMs感知视觉错觉

Jinzhe Tu, Ruilei Guo, Zihan Guo, Junxiao Yang, Shiyao Cui, Minlie Huang

机构 * The Conversational AI (CoAI) group, DCST, Tsinghua University（清华人工智能（CoAI）小组，DCST，清华大学） ； Tsinghua University（清华大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出SMSP策略，通过抑制高频背景以提升MLLMs对视觉错觉的识别能力，实验表明其显著提高模型性能。

When Do Agent Loops Mistake Stagnation for Progress? Self-Evaluation Bias and Externally Grounded Verification in Long-Running Autonomous LLM Agent Loops

智能体循环何时会将停滞误认为进步？长期运行的自主语言模型智能体循环中的自我评估偏差与外部基础验证

Hyundoo Park, Byungho Choi

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 研究长期运行的自主智能体循环中自我评估偏差导致的“进步幻觉”问题，通过构建测试平台，控制评估者信息通道类型，发现自我报告无意义，带内评判者也有偏差，指出开放式目标需带外评估，强调评估者依据对结果的重要性。

Comments 23 pages. Preregistered pilot measurement study. Also deposited on Zenodo (concept DOI 10.5281/zenodo.21594735)

Face Age Verification Vulnerabilities Under Simple Appearance Manipulations

简单外观操纵下的面部年龄验证漏洞

Ioannis Sarridis, Ioannis Kompatsiaris, Symeon Papadopoulos

机构 * Information Technologies Institute, Centre for Research and Technology Hellas（信息技术研究所，希腊研究与技术中心） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 研究简单外观操纵下面部年龄验证的漏洞，评估七个模型在三个数据集及四种操纵类型下的情况，发现胡茬操纵影响大，不同人口统计特征受影响有差异，还探索了用偏差缓解方法减轻偏差。

ObsDriveBench: Benchmarking Multimodal Understanding under Adverse Weather with Observability Awareness

ObsDriveBench：具有可观测性意识的恶劣天气下多模态理解基准测试

Qiao Yan, Yihan Wang, Zhenghao Xing, Jiaqi Xu, Pheng-Ann Heng

机构 * Department of Computer Science and Engineering, The Chinese University of Hong Kong（香港中文大学计算机科学与工程系） ； Institute of Medical Intelligence and XR, The Chinese University of Hong Kong（香港中文大学医学智能与扩展现实研究所） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 研究恶劣天气下视觉语言模型在多模态输入时的表现，引入ObsDriveBench基准测试，通过可观测性元标注等构建含多类问题的测试集，实验发现现有模型性能降，还引入ObsDrive模型提升其在多方面的鲁棒性。

Improving Adversarial Robustness of Zero-Shot CLIP with Confidence-Aware Weighting

通过置信感知加权提高零样本CLIP的对抗鲁棒性

Nikoo Naghavian, Mostafa Tavassolipour

机构 * School of ECE, College of Engineering University of Tehran（电子工程学院，工程学院，伊朗塔里哈大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究如何提高零样本CLIP的对抗鲁棒性，提出置信感知加权方法，该方法含置信感知损失和特征对齐正则化两个关键组件，实验证明其在强对抗攻击下优于现有方法且内存效率更高。

Comments Preprint

Scale Up Strategically: Learning Compositional Generalization via Bias-Aware Evaluation and Data Collection for Robotic Manipulation

战略扩展：通过偏差感知评估和数据收集学习机器人操作中的组合泛化

Yu Qi, Zhang Ye, Xinyi Xu, Yuxuan Lu, Amitoj Sandhu, Boce Hu, Haojie Huang, Jonathan Tremblay, Lawson L. S. Wong

机构 * Northeastern University（东北大学） ； NVIDIA（英伟达） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.CV

AI总结 研究机器人操作中组合泛化问题，通过引入诊断框架量化指令因素偏差，提出偏差感知数据收集策略，能定位预训练策略捷径问题，实现更高效可泛化的策略学习。

ProCap: Prominence-guided Object Rectification for Faithful and Comprehensive Video Captioning

ProCap：用于忠实和全面视频字幕的突出引导对象校正

Debjyoti Das Adhikary, Aritra Hazra, Partha Pratim Chakrabarti

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur（印度理工学院卡拉格布尔分校计算机科学与工程系） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究针对视频字幕质量提升问题，提出突出感知的迭代事后校正框架。通过轻量级评分机制排序对象，经提示驱动细化循环多轮注入相关对象。在多数据集验证，相比基线提升完整性、减少幻觉，提供了轻量级且模型无关的视频字幕优化途径。

Comments 10 pages, 7 figures, 5 tables. Submitted to IEEE Transactions on Multimedia

PointQ-Bench: Benchmarking Diagnostic and Interpretable Point Cloud Quality Assessment

PointQ-Bench：诊断性和可解释的点云质量评估基准

Duanchu Wang, Cheng Li, Junjie Yang, Jing Huang, Zihang Cheng, Zhi Gao, Bohong Zhu, Di Wang

机构 * Xi’an Jiaotong University（西安交通大学） ； Xidian University（西安电子科技大学） ； University of Chinese Academy of Sciences（中国科学院大学） ； Ningxia University（宁夏大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 提出PointQ-Bench基准，通过异常感知、缺陷诊断、可用性分级和开放式质量报告任务，将点云质量评估从标量评分扩展到全面质量理解，并揭示当前模型在感知与诊断之间的差距。

SciHazard: A Benchmark for Measuring Scientific Safety Risks with Decomposed Harm Scoring

SciHazard：一种通过分解危害评分来衡量科学安全风险的基准

Chunxiao Li, Yuan Xiong, Lijun Li, Tianyi Du, Wenlong Zhang, Lei Bai, Jing Shao

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 研究针对大型语言模型可能传播有害科学知识的问题，引入SciHazard基准及评估框架，含多学科问题。开发分解评估程序计算DeHarm-Score，经专家验证和模型测试，显示该方法能有效衡量风险，还发现深度研究代理存在安全盲点。

SENTINEL: A Multi-Level Formal Framework for Safety Evaluation of Foundation Model-based Embodied Agents

SENTINEL：面向基础模型基于具身代理的安全性评估多级形式框架

Simon Sinong Zhan, Philip Wang, Yao Liu, Yiyan Peng, Zinan Wang, Qineng Wang, Zhian Ruan, Xiangyu Shi, Xinyu Cao, Frank Yang, Zhenyang Ni, Kangrui Wang, Ruohan Zhang, Huajie Shao, Manling Li, Qi Zhu

机构 * Northwestern University, USA ； University of Southern California, USA ； College of William \& Mary 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 SENTINEL通过形式时序逻辑多级验证框架，系统性评估基础模型具身代理在模拟环境中的物理安全性。

Zero Hallucination, by Construction: Hallucination-Aware Layered Oversight for Trustworthy Enterprise AI

通过构建实现零幻觉：用于可信企业人工智能的幻觉感知分层监督

Bogdan Raduta, Horia Velicu, Alexandru Preda, Serban Chiricescu

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 研究企业AI因幻觉难以被信任的问题时，提出HALO架构，通过六层防御将幻觉视为可控制故障模式，详细介绍各层并关注基于证据的置信度，以实现可信企业AI，在索赔提取工作负载上进行了架构说明。

Comments 12 pages, 2 figures

Can Experts Adapt Without Training? On Test-Time Modality Generalization in MVLMs

专家能否在无训练情况下适应？关于多模态视觉语言模型的测试时模态泛化

Raza Imam, Darakshan Rashid, Yutong Xie, Dwarikanath Mahapatra, Brejesh Lall, Mohammad Yaqub

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Khalifa University（哈里发大学） ； Indian Institute of Technology Delhi（印度理工学院德里分校） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 研究医学视觉语言模型测试时模态泛化问题，提出MoBE框架，通过熵引导动态路由与专家级贝叶斯适应相结合，无需参数更新，在多基准测试中比现有方法平均准确率有显著提升，实现无训练专家适应以增强模态泛化。

Comments Accepted to MICCAI 2026

MVI-Bench: A Comprehensive Benchmark for Evaluating Robustness to Misleading Visual Inputs in LVLMs

MVI-Bench：评估大型视觉语言模型对误导性视觉输入鲁棒性的综合基准

Huiyi Chen, Jiawei Peng, Dehai Min, Changchang Sun, Kaijie Chen, Yan Yan, Xu Yang, Lu Cheng

机构 * Department of Computer Science, University of Illinois Chicago, Chicago, USA ； School of Computer Science \& Engineering, Southeast University, Nanjing, China ； Guohao School, Tongji University, Shanghai, China 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 针对现有鲁棒性基准忽视误导性视觉输入的问题，提出MVI-Bench基准，基于视觉基元的三级层次（视觉概念、视觉属性、视觉关系）构建6个类别1248个VQA实例，并引入MVI-Sensitivity指标进行细粒度评估，揭示18个LVLM的显著脆弱性。

Comments 18 pages, 9 figures

Automatic Hard Example Synthesis with Multi-Level Agentic Data Curation

基于多级智能数据管理的自动硬示例合成

Genglin Liu, Muye Zhang, Krishnamurthy Viswanathan, Nichole J. Hansen, Blaž Bratanič, Nathan L Clement, Shalini Ghosh, Ariel Fuxman

机构 * UCLA（加州大学洛杉矶分校） ； Google（谷歌） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 研究多模态大语言模型在内容安全审核任务中易受攻击的问题，提出自动智能红队框架，利用多智能体架构合成对抗示例，无需人工干预，提高模型鲁棒性，降低公共图像安全基准中的误报率。

Comments 23 pages; work in progress

Designing Safety-Constrained LLM Systems for Public Health Information Access

设计用于公共卫生信息访问的安全约束大语言模型系统

Ben Torkian, Jun Zhou

机构 * University of South Carolina（南卡罗来纳大学） 纠错

专题命中 幻觉与鲁棒性 ：grounding(abstract)；分类 cs.AI

AI总结 针对公共卫生信息访问，尤其是母婴健康资源导航，设计实现安全约束大语言模型系统。采用多层架构，含领域受限RAG等，通过可控数据管道确保回复基于精选资源。经场景验证，系统安全约束执行一致、性能稳定，为相关领域部署LLM系统提供指导。

DeepBias: Adaptive In-depth Probing of Social Biases in LVLMs

深度偏差：对大型视觉语言模型中社会偏差的自适应深度探测

Anqi Li, Jie Zhang, Zhongqi Wang, Songkai Xue, Jiahao Wang, Shiguang Shan, Xilin Chen

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.AI

AI总结 研究大型视觉语言模型中社会偏差问题，提出DeepBias自适应框架，通过“生成-演化-探测”循环及智能体深度探测偏差，构建DeepBiasBench基准，实验证明其有效性，为LVLM安全评估建立进化范式。

Safe responses matter: Output-aware safety guardrail mitigate over-refusal in MLLMs

安全响应很重要：输出感知安全护栏减轻多模态大语言模型中的过度拒绝

Jiayi Li, Kun Zhan

机构 * Lanzhou University（兰州大学） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 研究多模态大语言模型安全机制权衡问题，提出输出感知安全护栏范式，通过在模型隐藏状态空间预测及多实例对比学习训练分类器，减少过度拒绝，匹配安全性能，保留模型效用与安全能力。

Comments Accepted to ECCV 2026!

Memory Savings at What Cost? A Study of Alternatives to Backpropagation

以何种代价节省内存？反向传播替代方案研究

Kunjal Panchal, Sunav Choudhary, Yuriy Brun, Hui Guan

机构 * College of Information and Computer Sciences, University of Massachusetts, Amherst（信息与计算机科学学院，马萨诸塞大学阿默斯特分校） ； Adobe, San Jose（Adobe公司，圣乔斯） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.LG

AI总结 研究比较BP、检查点BP、FmAD和ZO在LLM及视觉语言模型训练中的表现，发现FmAD和ZO虽省内存但有计算成本等问题，带检查点的BP在多方面更优，纠正了此前关于LLM优化的片面基准测试观点。

Comments Accepted to ICML 2026

LaCoVL-FER: Landmark-Guided Contrastive Learning Network with Vision-Language Enhancement for Facial Expression Recognition

LaCoVL-FER: 一种结合视觉-语言增强的地标引导对比学习网络用于面部表情识别

Jiaxin Wang, Muwei Jian, Hui Yu, Junyu Dong, Yifan Xia

机构 * School of Airspace and Engineering, Shandong University（山东大学航空航天与工程学院） ； School of Computer Science and Technology, Shandong University of Finance and Economics（山东财经大学计算机科学与技术学院） ； School of Psychology and Neuroscience, University of Glasgow（格拉斯哥大学心理学与神经科学学院） ； Faculty of Information Science and Engineering, Ocean University of China（中国海洋大学信息科学与工程学院） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出了一种结合视觉-语言增强的地标引导对比学习网络LaCoVL-FER，通过引入面部地标几何先验和视觉-语言模型语义先验，解决野生环境中面部表情识别的挑战，提升识别的鲁棒性和泛化能力。