视觉大模型 / VLM

V-FAT: Benchmarking Visual Fidelity Against Text-bias

V-FAT：基于文本偏见的视觉真实性基准测试

Ziteng Wang, Yujie He, Guanliang Li, Siqi Yang, Jiaqi Xiong, Songxiang Liu

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Meituan（美团） ； University of Oxford（牛津大学） 纠错

专题命中 幻觉与鲁棒性 ：visual reasoning(abstract)；grounding(abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 V-FAT通过三级评估框架量化文本偏见对视觉真实性的干扰，揭示多模态大语言模型在高语言主导性下的视觉崩溃问题。

Comments 12 pages, 6 figures

Skeletonization-Based Adversarial Perturbations on Large Vision Language Model's Mathematical Text Recognition

基于骨架化的对抗扰动在大视觉语言模型数学文本识别中的应用

Masatomo Yoshida, Haruto Namura, Nicola Adami, Masahiro Okuda

机构 * Doshisha University Kyoto, 610-0394 Japan ； University of Brescia Brescia, 25134 Italy ； Independent Researcher Tokyo, Japan 纠错

专题命中 幻觉与鲁棒性 ：vision language model(title)；分类 cs.CV

AI总结 本文提出基于骨架化的对抗扰动方法，用于评估大视觉语言模型在数学文本识别中的视觉能力和局限性，并通过ChatGPT验证其实际应用价值。

Comments accepted to ITC-CSCC 2025

Journal ref Proc. ITC-CSCC 2025

Vision-Language Introspection: Mitigating Overconfident Hallucinations in MLLMs via Interpretable Bi-Causal Steering

视觉-语言反思：通过可解释的双因果引导减轻大语言模型中的过度自信幻觉

Shuliang Liu, Songbo Yang, Dong Fang, Sihang Jia, Yuqi Tang, Lingfeng Su, Ruoshui Peng, Yibo Yan, Xin Zou, Xuming Hu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港理工大学（广州）） ； The Hong Kong University of Science and Technology（香港理工大学） ； LIGHTSPEED 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 VLI通过可解释的双因果引导方法，有效减少大语言模型中的对象幻觉，提升多模态任务的准确性和可靠性。

The Forgotten Shield: Safety Grafting in Parameter-Space for Medical MLLMs

被遗忘的盾牌：参数空间中的医疗大语言模型安全性移植

Jiale Zhao, Xing Mou, Jinlin Wu, Hongyuan Yu, Mingrui Sun, Yang Shi, Xuanwu Yin, Zhen Chen, Zhen Lei, Yaohua Wang

机构 * National University of Defense Technology（国防科技大学） ； Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所多模态人工智能系统（MAIS）） ； Multimedia Department, Xiaomi Inc（小米公司多媒体部门） ； Centre for Artificial Intelligence and Robotics, Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences, Hong Kong（香港科学院人工智能与机器人中心） ； School of Artificial Intelligence, University of Chinese Academy of Sciences, UCAS（中国科学院大学人工智能学院） 纠错

专题命中 幻觉与鲁棒性 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出参数空间干预方法，通过提取原始模型的安全知识并注入目标模型，提升医疗大语言模型的安全性，同时保持医疗性能。

Proof of Commitment: A Human-Centric Resource for Permissionless Consensus

证明承诺：一种以人为中心的资源用于无许可共识

Homayoun Maleki, Nekane Sainz, Jon Legarda

专题命中 幻觉与鲁棒性 ：grounding(abstract)

AI总结 证明承诺（PoCmt）通过实时人类参与的非并行化资源，提供了一种无许可共识机制，确保线性Sybil成本并实现公平性。

RoboReward: General-Purpose Vision-Language Reward Models for Robotics

RoboReward: 通用视觉-语言奖励模型用于机器人学

Tony Lee, Andrew Wagenmaker, Karl Pertsch, Percy Liang, Sergey Levine, Chelsea Finn

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)

AI总结 RoboReward通过构建机器人奖励数据集和基准，训练视觉-语言奖励模型，验证了其在机器人学习中的有效性，并展示了改进策略学习和缩小与人工奖励差距的成果。