视觉大模型 / VLM

IIR-VLM: In-Context Instance-level Recognition for Large Vision-Language Models

IIR-VLM：面向大视觉-语言模型的上下文实例识别

Liang Shi, Wei Li, Kevin M Beussman, Lin Chen, Yun Fu

机构 * Northeastern University（东北大学） ； Wyze Labs, Inc.（Wyze实验室） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(title)；分类 cs.CV

AI总结 IIR-VLM通过整合预训练的ILR专家模型，提升大视觉-语言模型在上下文实例识别中的性能，有效解决细粒度辨别问题。

Vision Language Models for Optimization-Driven Intent Processing in Autonomous Networks

面向自主网络的基于视觉语言模型的优化驱动意图处理

Tasnim Ahmed, Yifan Zhu, Salimur Choudhury

机构 * School of Computing, Queen's University, Ontario, Canada（计算学院，女王大学，安大略，加拿大） 纠错

专题命中 VLM训练与架构 ：vision language model(title)；vision-language model(abstract)；VLM(abstract)；分类 cs.AI

AI总结 本文提出IntentOpt基准测试，评估不同视觉语言模型在生成网络优化代码中的性能，发现视觉参数提取和程序化思维提示显著降低执行成功率，开源模型表现低于闭源模型。

Comments Accepted for presentation at The IEEE International Conference on Communications (ICC) 2026

Transferable Model-agnostic Vision-Language Model Adaptation for Efficient Weak-to-Strong Generalization

可迁移的模型无关视觉-语言模型适应方法用于高效的弱到强泛化

Jihwan Park, Taehoon Song, Sanghyeok Lee, Miso Choi, Hyunwoo J. Kim

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 TransMiter是一种轻量级适配器，通过无监督方式提升视觉-语言模型的泛化能力，实现高效的知识迁移。

Comments AAAI2026 Oral (camera ready version)

SparseOccVLA: Bridging Occupancy and Vision-Language Models via Sparse Queries for Unified 4D Scene Understanding and Planning

SparseOccVLA: 通过稀疏查询弥合占用与视觉语言模型之间的鸿沟，实现统一的4D场景理解和规划

Chenxu Dang, Jie Wang, Guang Li, Zhiwen Hou, Zihan You, Hangjun Ye, Jie Ma, Long Chen, Yan Wang

机构 * Huazhong University of Science and Technology（华中科技大学） ； Xiaomi EV（小米电动车） ； Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(title)；vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 SparseOccVLA通过稀疏查询整合视觉语言模型与语义占用，实现统一的4D场景理解和规划，提升自动驾驶性能。

Less Is More -- Until It Breaks: Security Pitfalls of Vision Token Compression in Large Vision-Language Models

少即是多——直到它破裂：大视觉-语言模型中视觉标记压缩的安全隐患

Xiaomei Zhang, Zhaoxi Zhang, Leo Yu Zhang, Yanjun Zhang, Guanhong Tao, Shirui Pan

机构 * Griffith University（格里菲斯大学） ； University of Technology Sydney（悉尼技术大学） ； University of Utah（犹他大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.AI

AI总结 本研究揭示了视觉标记压缩在大视觉-语言模型中显著降低鲁棒性的问题，并提出压缩感知攻击以系统研究该漏洞。

From Perception to Punchline: Empowering VLM with the Art of In-the-wild Meme

从感知到 punchline：通过野生表情包艺术赋能 VLM

Xueyan Li, Yingyi Xue, Mengjie Jiang, Qingzi Zhu, Yazhe Niu

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； School of Software Engineering（软件工程学院） ； Columbia Engineering（哥伦比亚工程学院） ； Columbia University（哥伦比亚大学） ； The Chinese University of Hong Kong MMLab（香港中文大学MMLab） 纠错

专题命中 VLM训练与架构 ：VLM(title)；分类 cs.LG

AI总结 HUMOR 通过分层推理和群体偏好对齐，提升 VLM 在多模态生成中的推理多样性与幽默质量。

Comments 46 pages, 20 figures

Organ-Aware Attention Improves CT Triage and Classification

器官感知注意力提升CT分诊与分类

Lavsen Dahal, Yubraj Bhandari, Geoffrey D. Rubin, Joseph Y. Lo

机构 * Duke University（杜克大学） ； University of Arizona（亚利桑那大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV、cs.AI

AI总结 ORACLE-CT通过器官感知注意力和标量融合方法，在胸部和腹部CT分诊中实现最先进的分类性能。

PREGEN: Uncovering Latent Thoughts in Composed Video Retrieval

PREGEN：在合成视频检索中揭示潜在思想

Gabriele Serussi, David Vainshtein, Jonathan Kouchly, Dotan Di Castro, Chaim Baskin

机构 * Bosch Center for AI（博世人工智能中心） ； INSIGHT Lab（洞察实验室） ； Ben-Gurion University of the Negev（巴伊兰大学内盖夫分校） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 PREGEN通过结合预训练VLM和轻量级编码模型，高效解决合成视频检索问题，显著提升检索性能和泛化能力。

Histopath-C: Towards Realistic Domain Shifts for Histopathology Vision-Language Adaptation

Histopath-C: 向 histopathology 视觉-语言适应的现实领域偏移迈进

Mehrdad Noori, Gustavo Adolfo Vargas Hakim, David Osowiechi, Fereshteh Shakeri, Ali Bahri, Moslem Yazdanpanah, Sahar Dastani, Ismail Ben Ayed, Christian Desrosiers

机构 * LIVIA, ÉTS Montreal, Canada International Laboratory on Learning Systems (ILLS)（LIVIA，蒙特利尔工程学院，加拿大国际学习系统实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 Histopath-C通过引入现实合成损坏的基准和LATTE策略，提升组织病理学图像的视觉-语言适应鲁棒性。

Comments Accepted to WACV 2026

NeuralFur: Animal Fur Reconstruction From Multi-View Images

NeuralFur: 从多视角图像中重建动物毛发

Vanessa Sklyarova, Berna Kabadayi, Anastasios Yiannakidis, Giorgio Becherini, Michael J. Black, Justus Thies

机构 * Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所） ； ETH Zürich（苏黎世联邦理工学院） ； Technical University of Darmstadt（德累斯顿技术大学） ； University of Tübingen（图宾根大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 NeuralFur通过视觉语言模型指导多视角图像重建，实现不同动物的高保真3D毛发建模。

Comments For additional results and code, please refer to https://neuralfur.is.tue.mpg.de

SemAlign: Language Guided Semi-supervised Domain Generalization

SemAlign：语言引导的半监督领域泛化

Muditha Fernando, Kajhanan Kailainathan, Krishnakanth Nagaratnam, Isuranga Udaravi Bandara Senavirathne, Ranga Rodrigo

机构 * University of Moratuwa（穆塔瓦大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 SemAlign通过将模型中间特征与视觉语言模型的语义特征空间对齐，结合增强和正则化策略，提升半监督领域泛化的性能。

Comments 15 pages, 6 figures

Aligning Agentic World Models via Knowledgeable Experience Learning

通过知识性经验学习对齐代理世界模型

Baochang Ren, Yunzhi Yao, Rui Sun, Shuofei Qiao, Ningyu Zhang, Huajun Chen

机构 * Zhejiang University（浙江大学） ； University of California, Los Angeles（加州大学洛杉矶分校） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI、cs.LG

AI总结 WorldMind通过知识性经验学习对齐代理世界模型，解决物理模拟中的幻觉问题，实现跨环境的高效迁移。

Comments Ongoing work

A multitask framework for automated interpretation of multi-frame right upper quadrant ultrasound in clinical decision support

多任务框架用于临床决策支持中多帧右上象限超声自动解读

Haiman Guo, Cheng-Yi Li, Yuli Wang, Robin Wang, Yuwei Dai, Qinghai Peng, Danming Cao, Zhusi Zhong, Thao Vu, Linmei Zhao, Chengzhang Zhu, Christopher Tan, Jacob Schick, Stephen Kwak, Farzad Sedaghat, Javad Azadi, James Facciola, Jonathan Feng, Dilek Oncel, Ulrike Hamper, Alex Zhu, Tej Mehta, Melissa Leimkuehler, Cheng Ting Lin, Zhicheng Jiao, Ihab Kamel, Jing Wu, Li Yang, Harrison Bai

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 本文提出多任务视觉-语言模型，用于提升右上象限超声波解读的诊断准确性与手术决策支持。

A Multi-fidelity Double-Delta Wing Dataset and Empirical Scaling Laws for GNN-based Aerodynamic Field Surrogate

多保真度双三角翼数据集及基于GNN的气动场替代模型的实证标度定律

Yiren Shen, Juan J. Alonso

机构 * Department of Aeronautics and Astronautics（航空与宇航系） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI、cs.LG

AI总结 本研究提出一个多保真度双三角翼数据集及基于GNN的气动场替代模型的实证标度定律，通过实验发现数据量与预测精度呈幂律关系，提出最优采样密度为每个维度八个样本。

Journal ref AIAA SCITECH 2026 Forum

Global Context Compression with Interleaved Vision-Text Transformation

全局上下文压缩与交错视觉-文本转换

Dian Jiao, Jiaxin Duan, Shuai Zhao, Jiabing Leng, Yiran Zhang, Feng Huang

机构 * China Electronics Cloud Technology Co Ltd.（中国电子云科技有限公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出VIST2模型，通过交错视觉与文本信息实现全局上下文压缩，提升长写任务效率。

AnyTask: an Automated Task and Data Generation Framework for Advancing Sim-to-Real Policy Learning

AnyTask: 一种用于推进仿真到现实策略学习的任务和数据生成框架

Ran Gong, Xiaohan Zhang, Jinghuan Shang, Maria Vittoria Minniti, Jigarkumar Patel, Valerio Pepe, Riedana Yan, Ahmet Gundogdu, Ivan Kapelyukh, Ali Abbas, Xiaoqiang Yan, Harsh Patel, Laura Herlant, Karl Schmeckpeper

机构 * Robotics and AI Institute（机器人与人工智能研究所） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

AI总结 AnyTask通过自动化框架结合GPU仿真与基础模型，生成多样化任务和机器人数据，提升仿真到现实策略学习的效率与效果。

Comments 28 pages, 25 figures. The first four authors contributed equally

FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference

FastAV: 面向音频视觉大语言模型推理的高效令牌修剪

Chaeyoung Jung, Youngjoon Jang, Seungwoo Lee, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 FastAV通过两阶段令牌修剪策略，针对音频视觉大语言模型实现高效推理，减少FLOPs超过40%并保持性能

Concepts from Representations: Post-hoc Concept Bottleneck Models via Sparse Decomposition of Visual Representations

表示法中的概念：通过视觉表示的稀疏分解实现事后概念瓶颈模型

Shizhan Gong, Xiaofan Zhang, Qi Dou

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出PCBM-ReD，通过视觉表示的稀疏分解，实现对预训练模型的可解释性增强，提升图像分类任务的准确性和可解释性。

Comments AAAI 2026

NewsRECON: News article REtrieval for image CONtextualization

NewsRECON: 用于图像上下文化的新闻文章检索

Jonathan Tonglet, Iryna Gurevych, Tinne Tuytelaars, Marie-Francine Moens

机构 * Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, TU Darmstadt and National Research Center for Applied Cybersecurity ATHENE（通用知识处理实验室（UKP实验室）、计算机科学系、图恩大学（TU Darmstadt）和应用网络安全国家研究中心ATHENE） ； Department of Electrical Engineering, KU Leuven（电气工程系、鲁汶大学） ； Department of Computer Science, KU Leuven（计算机科学系、鲁汶大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)

AI总结 NewsRECON通过链接图像与相关新闻文章，利用元数据推断图像日期和位置，优于现有方法并结合多模态大语言模型实现新的SOTA结果。

Comments Preprint under review. Code available at https://github.com/jtonglet/arxiv2025-newsrecon

From Tags to Trees: Structuring Fine-Grained Knowledge for Controllable Data Selection in LLM Instruction Tuning

从标签到树：为LLM指令微调中的可控数据选择构建细粒度知识

Zihan Niu, Wenping Hu, Junmin Chen, Xiyue Wang, Tong Xu, Ruiming Tang

机构 * University of Science and Technology of China（中国科学技术大学） ； Klear Team, Kuaishou Technology（快手科技Klear团队） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 TAGS通过构建细粒度知识树，实现LLM指令微调中可控数据选择的高效采样与知识对齐。

From Completion to Editing: Unlocking Context-Aware Code Infilling via Search-and-Replace Instruction Tuning

从补全到编辑：通过搜索和替换指令微调解锁上下文感知的代码填充

Jiajun Zhang, Zeyu Cui, Jiaxi Yang, Lei Zhang, Yuheng Jing, Zeyao Ma, Tianyi Bai, Zilei Wang, Qiang Liu, Liang Wang, Binyuan Hui, Junyang Lin

机构 * USTC（University of Science and Technology of China） ； Alibaba Group（阿里巴巴集团） ； CASIA（Chinese Academy of Sciences Institute of Automation） ； SIAT（Institute of Automation, Chinese Academy of Sciences） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)

AI总结 通过搜索和替换指令微调，SRI框架实现了上下文感知的代码填充，提升了补全性能并保持低延迟。

ELO: Efficient Layer-Specific Optimization for Continual Pretraining of Multilingual LLMs

ELO：面向多语言大语言模型持续预训练的高效分层优化

HanGyeol Yoo, ChangSu Choi, Minjun Kim, Seohyun Song, SeungWoo Song, Inho Won, Jongyoul Park, Cheoneum Park, KyungTae Lim

机构 * Seoul National University of Science and Technology（首尔科学技术大学） ； LG CNS ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Hanbat National University（汉 bat 国立大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)

AI总结 ELO通过分层优化提升多语言大模型持续预训练效率，实现6.46倍加速和6.2%性能提升。

Comments 12 pages, Accepted to EACL 2026 (Industrial Track)