视觉大模型 / VLM

Reconstruction as a Bridge for Event-Based Visual Question Answering

重建作为事件驱动视觉问答的桥梁

Hanyue Lou, Jiayi Zhou, Yang Zhang, Boyu Li, Yi Wang, Guangnan Ye, Boxin Shi

机构 * Peking University（北京大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Fudan University（复旦大学） 纠错

专题命中 视觉问答 ：visual question answering(title)；multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出基于重建的框架，通过FRT和ART方法提升事件驱动视觉问答性能，并引入EvQA基准验证其有效性。

Synthetic Vasculature and Pathology Enhance Vision-Language Model Reasoning

合成血管和病理增强视觉-语言模型推理

Chenjun Li, Cheng Wan, Laurin Lux, Alexander Berger, Richard B. Rosen, Martin J. Menten, Johannes C. Paetzold

机构 * Cornell University（康奈尔大学） ； Weill Cornell Medicine（韦尔·康奈尔医学） ； Technical University of Munich（慕尼黑技术大学） ； New York Eye and Ear Infirmary of Mount Sinai（圣文森特医院） ； Cornell Tech（康奈尔科技） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.CV

AI总结 本研究提出合成血管推理框架，通过生成具有糖尿病视网膜病变特征的图像和文本，提升视觉-语言模型在OCTA图像诊断中的推理能力与病理定位精度。

Comments 23 pages, 8 figures, 6 tables. Full paper under review for MIDL 2026 (Medical Imaging with Deep Learning)

Exploring MLLM-Diffusion Information Transfer with MetaCanvas

探索MLLM-扩散信息传输与MetaCanvas

Han Lin, Xichen Pan, Ziqi Huang, Ji Hou, Jialiang Wang, Weifeng Chen, Zecheng He, Felix Juefei-Xu, Junzhe Sun, Zhipeng Fan, Ali Thabet, Mohit Bansal, Chu Wang

机构 * Meta Superintelligence Labs（Meta 超智能实验室） ； New York University（纽约大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视觉推理 ：MLLM(title)；multimodal large language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 MetaCanvas通过使MLLMs在潜在空间中推理和规划，提升多模态生成的精确度和结构化控制。

Comments Project page: https://metacanvas.github.io

TRACE: A Framework for Analyzing and Enhancing Stepwise Reasoning in Vision-Language Models

TRACE：一种用于分析和增强视觉-语言模型逐步推理的框架

Shima Imani, Seungwhan Moon, Lambert Mathias, Lu Zhang, Babak Damavandi

机构 * Meta Reality Lab（Meta现实实验室） 纠错

专题命中 视觉推理 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 TRACE通过辅助推理集和一致性评估，提升视觉-语言模型的推理透明性和错误检测能力，促进模型改进和优化。

DentalGPT: Incentivizing Multimodal Complex Reasoning in Dentistry

DentalGPT: 促进牙科多模态复杂推理的激励机制

Zhenyang Cai, Jiaming Zhang, Junjie Zhao, Ziyi Zeng, Yanchao Li, Jingyi Liang, Junying Chen, Yunjin Yang, Jiajun You, Shuzhi Deng, Tongfei Wang, Wanting Chen, Chunxiu Hao, Ruiqi Xie, Zhenwei Wen, Xiangyi Feng, Zou Ting, Jin Zou Lin, Jianquan Li, Guangjun Yu, Liangyi Chen, Junwen Wang, Shan Jiang, Benyou Wang

机构 * Shenzhen Stomatology Hospital (Pingshan) of Southern Medical University（南方医科大学深圳口腔医院（平山）） ； The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； State Key Laboratory of Membrane Biology, Beijing Key Laboratory of Cardiometabolic Molecular Medicine, Institute of Molecular Medicine, National Biomedical Imaging Center, School of Future Technology, Peking University（北京大学膜生物学国家重点实验室、北京心代谢分子医学重点实验室、分子医学研究院、国家生物医学成像中心、未来技术学院） ； Freedom AI ； Division of Applied Oral Sciences & Community Dental Care Faculty of Dentistry, The University of Hong Kong（香港大学牙科学院应用口腔科学与社区牙科护理系） ； Beijing Institute of Collaborative Innovation（北京协同创新研究院） ； National Health Data Institute, Shenzhen（深圳国家健康数据研究院） ； Shenzhen Loop Area Institute（深圳河套学院） ； Shenzhen Institute of Big Data（深圳大数据研究院） 纠错

专题命中 视觉推理 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 DentalGPT通过高质量数据和强化学习提升牙科多模态推理能力，实现优于现有模型的诊断性能。

Image Tiling for High-Resolution Reasoning: Balancing Local Detail with Global Context

图像分块用于高分辨率推理：在局部细节与全局上下文之间取得平衡

Anatole Jacquin de Margerie, Alexis Roger, Irina Rish

专题命中 视觉推理 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文通过图像分块技术实现高分辨率图像理解，验证了局部细节恢复的有效性，并探讨了全局上下文对模型性能的影响。

Comments Accepted in AAAI 2025 Workshop on Reproducible AI

CAPTURE: A Benchmark and Evaluation for LVLMs in CAPTCHA Resolving

CAPTURE：一个用于LVLM在CAPTCHA解决中的基准和评估

Jianyi Zhang, Ziyin Zhou, Xu Ji, Shizhao Liu, Zhangchi Zhao

机构 * Beijing Electric Science and Technology Institute（北京电子科技研究所） 纠错

专题命中 视觉推理 ：visual language model(abstract)；分类 cs.AI

AI总结 CAPTURE是一个专为LVLM设计的CAPTCHA基准，涵盖4种主要类型和25种子类型，旨在全面评估LVLM在解决CAPTCHA任务中的性能。

MedRule-KG: A Knowledge-Graph--Steered Scaffold for Mathematical Reasoning with a Lightweight Verifier

MedRule-KG：一种由知识图谱引导的轻量级验证器支持的数学推理框架

Crystal Su

专题命中 视觉推理 ：grounding(abstract)；分类 cs.AI

AI总结 MedRule-KG通过结合知识图谱和轻量级验证器，提升数学推理的准确性和规则一致性。

Comments This paper is withdrawn due to issues with attribution and citation accuracy

Limits and Gains of Test-Time Scaling in Vision-Language Reasoning

视觉语言推理中测试时扩展的极限与收益

Mohammadjavad Ahmadpour, Amirmahdi Meighani, Payam Taebi, Omid Ghahroodi, Amirmohammad Izadi, Mahdieh Soleymani Baghshah

专题命中 视觉推理 ：vision-language model(abstract)；分类 cs.LG

AI总结 研究探讨了测试时扩展在视觉语言推理中的效果，发现其在不同任务和模型上表现不一，需根据具体需求定制策略。

Comments Mohammadjavad Ahmadpour and Amirmadhi Meighani contributed equally to this work

Counterfactual Segmentation Reasoning: Diagnosing and Mitigating Pixel-Grounding Hallucination

反事实分割推理：诊断和缓解像素接地幻觉

Xinzhuo Li, Adheesh Juvekar, Jiaxun Zhang, Xingyou Liu, Muntasir Wahed, Kiet A. Nguyen, Yifan Shen, Tianjiao Yu, Ismini Lourentzou

专题命中 视觉定位与Grounding ：grounding(title,abstract)；vision-language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 本文提出反事实分割推理任务，通过反事实微调训练模型减少分割幻觉，实验表明其在减少幻觉和提升分割性能方面效果显著。

Comments Project webpage: https://plan-lab.github.io/hallusegbench/

VGent: Visual Grounding via Modular Design for Disentangling Reasoning and Prediction

VGent: 通过模块化设计实现视觉 grounding 的解耦推理与预测

Weitai Kang, Jason Kuen, Mengwei Ren, Zijun Wei, Yan Yan, Kangning Liu

机构 * University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； Adobe（Adobe公司） 纠错

专题命中 视觉定位与Grounding ：grounding(title,abstract)；multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 VGent 通过模块化设计实现视觉 grounding 的解耦推理与预测，利用冻结 MLLM 和解码器交叉注意力机制，提升多目标识别性能。

Comments 8 pages

SmokeBench: Evaluating Multimodal Large Language Models for Wildfire Smoke Detection

SmokeBench: 评估多模态大语言模型用于野火烟雾检测

Tianye Qi, Weihao Li, Nick Barnes

机构 * Australian National University（澳大利亚国立大学） 纠错

专题命中 视觉定位与Grounding ：multimodal large language model(title,abstract)；grounding(abstract)；分类 cs.CV

AI总结 SmokeBench评估多模态大语言模型在野火烟雾检测中的性能，发现模型在烟雾定位方面存在显著局限，尤其在早期阶段。

Comments Accepted to WACV 2026

MOAT: Evaluating LMMs for Capability Integration and Instruction Grounding

MOAT：评估LMMs在能力整合和指令接地方面的表现

Zhoutong Ye, Mingze Sun, Huan-ang Gao, Xutong Wang, Xiangyang Wang, Yu Mei, Chang Liu, Qinwei Li, Chengwen Zhang, Qinghuan Lan, Chun Yu, Yuanchun Shi

专题命中 视觉定位与Grounding ：grounding(title,abstract)；分类 cs.CV、cs.AI

AI总结 MOAT通过1005个复杂现实视觉问题评估LMMs在能力整合和指令接地方面的表现，发现最佳模型仅达44%准确率，揭示了LMMs在复杂任务中的不足。

Comments Project page: https://cambrian-yzt.github.io/MOAT

VLM2GeoVec: Toward Universal Multimodal Embeddings for Remote Sensing

VLM2GeoVec：迈向通用遥感多模态嵌入

Emanuel Sánchez Aimar, Gulnaz Zhambulova, Fahad Shahbaz Khan, Yonghao Xu, Michael Felsberg

机构 * Linköping University（_linköping大学） 纠错

专题命中 视觉定位与Grounding ：vision-language model(abstract)；grounding(abstract)；分类 cs.CV

AI总结 VLM2GeoVec通过单编码器对比学习实现遥感多模态嵌入，统一可扩展检索与区域推理，提升遥感场景分析的连贯性。

Comments 21 pages, 7 figures, under review

From Verification Burden to Trusted Collaboration: Design Goals for LLM-Assisted Literature Reviews

从验证负担到可信协作：LLM辅助文献综述的设计目标

Brenda Nogueira, Werner Geyer, Andrew Anderson, Toby Jia-Jun Li, Dongwhi Kim, Nuno Moniz, Nitesh V. Chawla

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 本文针对LLM辅助文献综述中的信任和协作问题，提出六个设计目标和框架，通过可视化、验证和反馈对齐提升可信度与协作效率。

CIP: A Plug-and-Play Causal Prompting Framework for Mitigating Hallucinations under Long-Context Noise

CIP: 一种用于在长上下文噪声下缓解幻觉的即插即用因果提示框架

Qingsen Ma, Dianyun Wang, Ran Jing, Yujun Sun, Zhenbo Xu

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； Northwestern University（西北大学） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 CIP通过因果推理框架提升大语言模型的可解释性、稳定性和效率，有效缓解长上下文噪声下的幻觉问题。

EpiPlanAgent: Agentic Automated Epidemic Response Planning

EpiPlanAgent：基于代理的自动化疫情响应规划

Kangkun Mao, Fang Xu, Jinru Ding, Yidong Jiang, Yujun Yao, Yirong Chen, Junming Liu, Xiaoqin Wu, Qian Wu, Xiaoyan Huang, Jie Xu

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Shanghai Center For Disease Control and Prevention（上海市疾病预防控制中心） 纠错

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.AI

AI总结 EpiPlanAgent利用大语言模型和多代理框架，实现自动化疫情响应规划，显著提升计划完整性并减少开发时间。

Integrating Ontologies with Large Language Models for Enhanced Control Systems in Chemical Engineering

将本体与大语言模型结合以增强化工工程中的控制系统

Crystal Su, Kuai Yu, Jingrui Zhang, Mingyuan Shao, Daniel Bauer

专题命中 视觉定位与Grounding ：grounding(abstract)；分类 cs.LG

AI总结 本文提出结合本体的LLM框架，用于增强化工工程控制系统，通过结构化知识与生成推理结合，提升过程控制和安全分析的可解释性和可靠性。

Comments This paper is withdrawn due to issues with attribution and citation accuracy

Listening Between the Frames: Bridging Temporal Gaps in Large Audio-Language Models

在帧之间倾听：在大型音频-语言模型中弥合时间缺口

Hualei Wang, Yiming Li, Shuo Ma, Hong Liu, Xiangdong Wang

专题命中 视觉定位与Grounding ：grounding(abstract)

AI总结 TimeAudio通过引入时间标记和绝对时间编码，提升大型音频-语言模型在时间定位和长音频理解上的能力，有效解决时间戳表示、架构和数据限制问题。

Comments Accepted by The Fortieth AAAI Conference on Artificial Intelligence (AAAI 2026)

Benchmarking the Generality of Vision-Language-Action Models

对视觉-语言-动作模型通用性的基准测试

Pranav Guruprasad, Sudipta Chowdhury, Harsh Sikka, Mridul Sharma, Helen Lu, Sean Rivera, Aryan Khurana, Hangliang Ren, Yangyue Wang

机构 * Manifold Research ； Metarch AI ； Georgia Tech（佐治亚理工学院） ； Tufts University（塔夫茨大学） ； Northeastern University（东北大学） ； Birla Institute of Technology and Science, Pilani（比拉理工学院，帕利尼） ； Institute for Research and Innovation in Intelligent Systems (IRIIS)（智能系统研究与创新研究所） 纠错

专题命中 GUI与屏幕智能体 ：vision language model(abstract)；grounding(abstract)；分类 cs.LG

AI总结 本文提出MultiNet v1.0基准，评估视觉-语言-动作模型在六个基础能力领域的跨领域泛化能力，发现现有模型在未见领域和模态转移时表现显著退化。

Comments 23 pages, 7 figures, and 1 table

Seeing to Act, Prompting to Specify: A Bayesian Factorization of Vision Language Action Policy

视觉与语言动作政策的贝叶斯分解：看见以行动，提示以指定

Kechun Xu, Zhenjie Zhu, Anzhe Chen, Shuqi Zhao, Qing Huang, Yifei Yang, Haojian Lu, Rong Xiong, Masayoshi Tomizuka, Yue Wang

机构 * Zhejiang University（浙江大学） ； UC Berkeley（伯克利大学） 纠错

专题命中 GUI与屏幕智能体 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 本文提出BayesVLA，通过贝叶斯分解策略，解决VLA模型中因模态不平衡导致的灾难性遗忘问题，提升泛化能力和指令遵循性能。

Few-Shot VLM-Based G-Code and HMI Verification in CNC Machining

少样本基于视觉语言模型的CNC加工G代码和人机界面验证

Yasaman Hashem Pour, Nazanin Mahjourian, Vinh Nguyen

机构 * Department of Mechanical and Aerospace Engineering, Michigan Technological University（机械与航空航天工程系，密歇根技术大学） 纠错

专题命中 幻觉与鲁棒性 ：VLM(title,abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于视觉语言模型的少样本方法，用于验证CNC加工中G代码与人机界面的错误和安全状态。

Noise Matters: Optimizing Matching Noise for Diffusion Classifiers

噪声至关重要：优化扩散分类器的匹配噪声

Yanghao Wang, Long Chen

机构 * The Hong Kong University of Science and Technology（香港科学与技术大学） 纠错

专题命中 幻觉与鲁棒性 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出NoOp方法，通过频率匹配和空间匹配原则优化扩散分类器的噪声，以提升分类稳定性与效率。

GoalLadder: Incremental Goal Discovery with Vision-Language Models

GoalLadder: 基于视觉语言模型的增量目标发现

Alexey Zakharov, Shimon Whiteson

机构 * University of Oxford（牛津大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；VLM(abstract)；分类 cs.LG

AI总结 GoalLadder利用视觉语言模型在视觉环境中通过增量目标发现提升RL智能体性能，实现高成功率。

Comments NeurIPS 2025

Towards Logic-Aware Manipulation: A Knowledge Primitive for VLM-Based Assistants in Smart Manufacturing

面向逻辑感知的操控：一种用于智能制造中基于VLM助手的知识原语

Suchang Chen, Daqiang Guo

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)

AI总结 本文提出了一种面向智能制造的基于VLM助手的知识原语，通过定义对象为中心的操控-逻辑模式，实现了在制造单元中执行复杂操控任务的逻辑感知和高效规划。

Comments 8 pages, 2 figures, submitted to the 2026 IFAC World Congress

Surveillance Video-Based Traffic Accident Detection Using Transformer Architecture

基于监控视频的交通事故检测使用变换器架构

Tanu Singh, Pranamesh Chakraborty, Long T. Truong

机构 * Department of Civil Engineering, Indian Institute of Technology Kanpur（印度理工学院坎浦尔分校土木工程系） ； School of Computing, Engineering and Mathematical Sciences, La Trobe University（拉特罗布大学计算科学与工程数学科学学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出基于变换器架构的交通事故检测模型，利用预提取的空间视频特征和运动线索，通过卷积与变换器结合提升检测准确率至88.3%。

Few-Shot Learning from Gigapixel Images via Hierarchical Vision-Language Alignment and Modeling

通过层次化视觉-语言对齐和建模实现高像素图像的少样本学习

Bryan Wong, Jong Woo Kim, Huazhu Fu, Mun Yong Yi

机构 * KAIST（韩国科学技术院） ； IHPC, A*STAR（A*STAR研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 HiVE-MIL通过层次化视觉-语言对齐和建模，提升高像素图像的少样本学习性能，实现4.1%的宏F1提升。

Comments Accepted at NeurIPS 2025

Extending a Parliamentary Corpus with MPs' Tweets: Automatic Annotation and Evaluation Using MultiParTweet

扩展议会语料库以包含议员的推文：利用MultiParTweet进行自动标注和评估

Mevlüt Bagci, Ali Abusaleh, Daniel Baumartz, Giueseppe Abrami, Maxim Konca, Alexander Mehler

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出MultiParTweet，通过自动标注和人工验证，整合了多语言推文及媒体内容，展示了模型间互为预测性及多模态注释的优越性。

Comments Submitted to LREC 2026

TV2TV: A Unified Framework for Interleaved Language and Video Generation

TV2TV：一种用于交错语言和视频生成的统一框架

Xiaochuang Han, Youssef Emad, Melissa Hall, John Nguyen, Karthik Padthe, Liam Robbins, Amir Bar, Delong Chen, Michal Drozdzal, Maha Elbayad, Yushi Hu, Shang-Wen Li, Sreya Dutta Roy, Jakob Verbeek, XuDong Wang, Marjan Ghazvininejad, Luke Zettlemoyer, Emily Dinan

机构 * Meta FAIR 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 TV2TV通过统一框架实现语言与视频生成的交错过程，提升视频生成的视觉质量和可控性。

The Finer the Better: Towards Granular-aware Open-set Domain Generalization

更细的更好：面向粒度感知的开集域泛化

Yunyun Wang, Zheng Duan, Xinyue Liao, Ke-Jia Chen, Songcan Chen

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SeeCLIP通过细粒度语义增强解决开集域泛化中的结构风险与开放空间风险困境，提升模型对难区分未知类别的判别能力。

Comments 9 pages,3 figures,aaai2026