视觉大模型 / VLM

Beyond Visual Similarity: Entity-Aligned Retrieval for Knowledge-Based Visual Question Answering

超越视觉相似度：面向基于知识的视觉问答的实体对齐检索

Hangrui Xu, Zhengxian Wu, Yunyao Yu, Zhuohong Chen, Rui Cong, Xiangwen Deng, Zhifang Liu, Peng Jiao, Haoqian Wang

机构 * Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院） ； University of Arizona（亚利桑那大学） 纠错

专题命中 视觉问答 ：MLLM(summary_cn,abstract)；visual question answering(title,abstract)；分类 cs.CV

AI总结 针对KB-VQA现有检索范式忽略实体语义对齐的缺陷，提出首个MLLM嵌入检索器KBMR，结合语义判别器与连续语义蒸馏目标，在Recall@1和VQA准确率上较CLIP基线实现显著提升。

Comments Accepted by ACM MM 2026

ReasonEdit: Editing Vision-Language Models using Human Reasoning

ReasonEdit：通过人类推理编辑视觉语言模型

Jiaxing Qiu, Kaihua Hou, Roxana Daneshjou, Ahmed Alaa, Thomas Hartvigsen

机构 * University of Virginia（弗吉尼亚大学） ； University of California, Berkeley（加州大学伯克利分校） ； Stanford University（斯坦福大学） 纠错

专题命中 视觉问答 ：vision-language model(title,abstract)；VLM(abstract,abstract_cn)；visual question answering(abstract)；分类 cs.CV、cs.AI

AI总结 ReasonEdit通过引入人类推理机制，改进视觉语言模型的编辑能力，提升编辑泛化性能。

Comments ICML 2026

ATP-Bench: Towards Agentic Tool Planning for MLLM Interleaved Generation

ATP-Bench: 向多模态大语言模型交错生成的代理工具规划迈进

Yinuo Liu, Zi Qian, Heng Zhou, Jiahao Zhang, Yajie Zhang, Zhihang Li, Mengyu Zhou, Erchao Zhao, Xiaoxi Jiang, Guanjun Jiang

机构 * Qwen Large Model Application Team, Alibaba（阿里巴巴通义千问大模型应用团队） ； Huazhong University of Science and Technology（华中科技大学） ； Zhejiang University（浙江大学） 纠错

专题命中 视觉问答 ：MLLM(title,abstract)；multimodal large language model(abstract)；分类 cs.AI

AI总结 针对多模态大语言模型交错生成中事实性与创造性难以统一的问题，提出ATP-Bench基准，包含7702个问题-答案对，评估代理工具规划能力，揭示模型在交错规划中的不足。

Comments Accepted at the European Conference on Computer Vision (ECCV) 2026

SAFE-G: Structure-aware Faithful Evidence-guided Generation for Knowledge-based Visual Question Answering

SAFE-G：面向基于知识的视觉问答的结构感知忠实证据引导生成

Long Shu, Shuochen Liu, Wei Chen, Junda Lin, Zhi Zheng, Huijun Hou, Tong Xu

机构 * State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室） ； University of Science and Technology of China（中国科学技术大学） ； NIO（蔚来） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对KB-VQA现有方法难以捕捉结构关联、推理不忠实的问题，提出SAFE-G框架，通过混合搜索、图检索与证据对齐RL策略，在两个基准上准确率优于现有方法8.9%、3.5%。

Comments 12 pages, 5 figures

Question-Guided Evidence Acquisition for Multimodal Visual Question Answering

面向多模态视觉问答的问题引导式证据获取

Alin-Ionut Popa

机构 * Amazon Inc.（亚马逊公司） 纠错

专题命中 视觉问答 ：visual question answering(title)；grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 针对多模态视觉问答中模型读取文档不可靠的问题，提出Q-Guide智能体引导感知，在两个数据集上优于基线方法，且增益来自精准感知引导而非复杂控制逻辑。

Boosting Knowledge-based Visual Question Answering with Structured Context Reasoning

基于结构化上下文推理提升基于知识的视觉问答性能

Qiyou Liu, Yong Zhang, Jianjie Luo, Zhenguo Yang, Yi Yu

机构 * School of Computer Science, Guangdong University of Technology（广东工业大学计算机学院） ； School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院） ； Graduate School of Advanced Science and Engineering, Hiroshima University（广岛大学先进科学与工程研究生院） 纠错

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 本文提出SCoRe框架，通过上下文获取、选择、压缩三阶段处理多模态知识，在OK-VQA和A-OKVQA基准上性能优于现有最优方法，提升了基于知识的视觉问答效果。

Comments Accepted by ICME 2026. Source code is available at this https URL (https://github.com/WISLab-GDUT/SCoRe)

QIRL: Optimized Question-Image Relation Learning for Bias-Robust Visual Question Answering

QIRL：用于实现偏差鲁棒视觉问答的优化问答-图像关系学习

Quanxing Xu, Ling Zhou, Xian Zhong, Feifei Zhang, Rubing Huang

专题命中 视觉问答 ：visual question answering(title,abstract)；分类 cs.CV

AI总结 该研究针对现有VQA偏差缓解方法的两大局限，提出QIRL框架，通过NIG与ISI模块结合生成驱动自监督学习，在VQA-CPv2和VQA-v2数据集上取得最优性能，可适配各类VQA架构。

ENCORE: Entropy-Guided Cropping and Attention Regularization for Robust Vision--Language Understanding

ENCORE：面向鲁棒视觉-语言理解的熵引导裁剪与注意力正则化方法

Yuanhao Sun, Huawei Ji, Jiaxin Ding, Luoyi Fu, Xinbing Wang

机构 * Shanghai Jiao Tong University（上海交通大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 ENCORE是一个熵引导的视觉-语言理解框架，通过基于熵的裁剪策略和熵正则化训练，仅微调0.14%参数，在10个VQA基准上实现平均1.43%的准确率提升，达到2B参数VLMs的SOTA性能。

Analyzing and Mitigating Cross-Lingual Degradation in Multilingual Medical VQA

分析与缓解多模态医学视觉问答中的跨语言退化问题

Jingbo Wang, Sendong Zhao, Haochun Wang, Bing Qin, Ting Liu

机构 * Research Center for Social Computing and Interactive Robotics（社会计算与交互机器人研究中心） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 视觉问答 ：vision-language model(abstract)；visual question answering(abstract)；分类 cs.AI

AI总结 针对多模态医学VQA中LVLMs的跨语言退化问题，构建多语言基准并提出MedVL-XLRepE方法，可在3种LVLMs和8种语言上将退化缓解幅度提升至最高6.33%。

Comments EMNLP 2026 main

FashionKG-RAG: Knowledge Graph-Enhanced Retrieval-Augmented Generation for Fashion Question Answering

FashionKG-RAG：面向时尚问答的知识图谱增强检索增强生成

Yujuan Ding, Linyin Luo, Shijie Wang, Xu Yuan, Yunshan Ma, Yi Bin, Wenqi Fan, Qing Li

专题命中 视觉问答 ：grounding(abstract,abstract_cn)

AI总结 针对现有时尚知识图谱的局限性，本文提出全领域知识图谱FashionEcoKG，并开发无需训练的PG-RAG框架，通过双粒度路径重排序模块提升时尚问答的检索与答案准确性，效果优于多种基线方法。

OVIBench: Benchmarking Online Video Question Answering under Interruption

OVIBench：面向中断场景的在线视频问答基准测试

Naiming Liu, Zhiheng Wu, Shuning Wang, Tie Zhang, Bowen Liu, Tong Wang

机构 * HIT（哈尔滨工业大学） ； CASIA（中国科学院自动化研究所） ； ZJU（浙江大学） ； UESTC（电子科技大学） ； HKUST（香港科技大学） 纠错

专题命中 视觉问答 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 该研究针对现有视频问答基准未考虑用户中断的问题，提出首个面向中断场景的在线视频问答基准OVIBench，开发模拟协议与指标集，构建训练集OVI-Train，验证了其有效性。

Comments EMNLP 2026

Compositional Chain-of-Relations for Faithful Knowledge Graph Question Answering with Large Language Models

面向大型语言模型的忠实知识图谱问答的组合式关系链

Chenhui Liu, Jianpeng Zhou, Jiahai Wang

机构 * Sun Yat-sen University（中山大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文针对现有基于LLM的KGQA方法存在的实体剪枝不可靠、约束处理无基础的局限，提出组合式关系链（CCoR）框架，以关系为中心探索实现更忠实的多跳KGQA，在多个基准上性能优于基线。

On the Role of Citations in Preference Data

引用在偏好数据中的作用

Yu Hou, Hal Daumé III, Rachel Rudinger, William Walden

机构 * University of Maryland（马里兰大学） ； Johns Hopkins University（约翰斯·霍普金斯大学） 纠错

专题命中 视觉问答 ：grounding(abstract)；分类 cs.AI

AI总结 本文在科学问答场景下，通过混合效应模型研究引用对人类与四个开源LLM偏好的影响，发现人类偏好多样且数量少的引用，LLM也有相关偏好，还探讨了对偏好数据收集的启示。

SurgTEMP: Temporal-Aware Surgical Video Question Answering with Text-guided Visual Memory for Laparoscopic Cholecystectomy

SurgTEMP：基于文本引导的视觉记忆的时序感知手术视频问答系统用于腹腔镜胆囊切除术

Shi Li, Vinkle Srivastav, Nicolas Chanel, Saurav Sharma, Nabani Banik, Lorenzo Arboit, Kun Yuan, Pietro Mascagni, Nicolas Padoy

机构 * University of Strasbourg（斯特拉斯堡大学） ； CNRS（法国国家科学研究中心） ； INSERM（法国国家健康与医学研究院） ； ICube, UMR7357（ICube实验室，UMR7357） 纠错

专题命中 视觉问答 ：visual question answering(abstract)；分类 cs.CV

AI总结 SurgTEMP通过文本引导的视觉记忆和时序感知模块，提升手术视频问答的性能，其核心方法是构建层次化的视觉记忆并采用手术能力进步训练方案，从而在复杂手术场景中实现更准确的问答与评估。

Comments 29 pages, 14 figures, 9 tables

PUMA: A Polish Benchmark for Culturally Grounded Multimodal Understanding

PUMA：面向文化扎根多模态理解的波兰基准测试

Sławomir Dadas, Michał Perełkiewicz, Rafał Poświata, Małgorzata Grębowiec, Bartłomiej Jaworski, Izabela Woźniakowska

机构 * National Information Processing Institute（国家信息处理研究所） 纠错

专题命中 视觉问答 ：visual question answering(abstract)

AI总结 该研究针对英语外文化多模态评估不足的问题，提出波兰多模态基准PUMA，通过900项任务评估各类模型在波兰语境下的多模态能力，发现商用模型在视觉问答表现好但音频/文档理解弱，并开源评估框架推进本地化多模态AI研究。