视觉大模型 / VLM

VCG: A Multimodal Retrieval Framework for E-Commerce Video Feeds under Extreme Cold-Start Conditions

VCG：极端冷启动条件下电商视频流的多模态检索框架

Katya Mirylenka, Egor Malykh, Mahdyar Ravanbakhsh, Michael Gygli, Marco-Andrea Buchmann, Andrew Dzhoha, Svitlana Borzenko, Francesca Catino, Mohamed Gaafar, Maarten Versteegh, Thomas Kober, Dario d'Andrea, Ellie Langhans

机构 * Zalando Switzerland AG（Zalando瑞士有限公司） ； TU Wien（维也纳技术大学） ； Zalando SE（Zalando德国分公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对电商视频流中的极端冷启动和偏差问题，提出基于领域自适应视觉-语言模型（CLIP）的可扩展多模态检索系统VCG，实现零样本检索，在线测试显示深度视频完成率提升50%。

PerceptionDLM: Parallel Region Perception with Multimodal Diffusion Language Models

PerceptionDLM：基于多模态扩散语言模型的并行区域感知

Yueyi Sun, Yuhao Wang, Jason Li, Ye Tian, Tao Zhang, Jacky Mai, Yihan Wang, Haochen Wang, Jinbin Bai, Ling Yang, Yunhai Tong

机构 * Peking University（北京大学） ； MSALab ； ByteDance（字节跳动） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出PerceptionDLM，利用扩散语言模型的并行解码特性，通过高效提示和结构化注意力掩码实现多区域并行感知，显著提升推理效率，并构建ParaDLC-Bench基准进行评估。

Comments Code available at https://github.com/MSALab-PKU/PerceptionDLM

Mitigating Object Hallucinations in LVLMs via Attention Imbalance Rectification

通过注意力不平衡修正减轻LVLM中的对象幻觉

Han Sun, Qin Li, Peixin Wang, Min Zhang

机构 * Shanghai Key Laboratory of Trustworthy Computing, East China Normal University（上海可信计算实验室，东华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 发现多模态和token间注意力不平衡是对象幻觉的因果因素，提出轻量级解码干预方法AIR，通过重新分配注意力权重修正不平衡，在多个基准上减少幻觉达35.1%，并提升通用能力。

Comments CVPR 2026 Findings Track, code is available at https://github.com/Ice-wave/AIR

ECA: Efficient Continual Alignment for Open-Ended Image-to-Text Generation

ECA：面向开放图像到文本生成的高效持续对齐

Jiangtao Kong, Peijun Zhao, Chun-Fu Chen, Youngwook Do, Shaohan Hu, Tianyi Zhou, Huajie Shao

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.LG

AI总结 提出ECA方法，通过混合查询模块、Fisher动态扩展和字典重放，实现无需旧数据的持续对齐，缓解灾难性遗忘，提升开放图像到文本生成的增量学习性能。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Synthetic Homes: A Multimodal Generative AI Pipeline for Residential Building Data Generation under Data Scarcity

合成住宅：数据稀缺下用于住宅建筑数据生成的多模态生成式AI管道

Jackson Eshbaugh, Chetan Tiwari, Jorge Silveyra

机构 * Lafayette University（拉法叶大学） ； Georgia State University（佐治亚州立大学） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.AI、cs.LG

AI总结 提出一个多模态生成式AI框架，整合图像、表格和模拟组件，从公开记录和图像生成合成住宅建筑数据集，以解决建筑参数数据稀缺问题。

Comments 33 pages; 2 appendices; 6 figures; 4 tables. Code available at https://github.com/Lafayette-EshbaughSilveyra-Group/synthetic-homes

Journal ref Machine Learning with Applications, 25 (2026), 100959

From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs

从感知到决策：多模态大语言模型中听觉与视觉感知的信息流

Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito

机构 * Surrey Institute for People-Centred AI (PAI)（萨里人本人工智能研究所） ； University of Surrey（萨里大学） ； Centre for Vision, Speech and Signal Processing (CVSSP)（视觉、语音和信号处理中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究多模态大语言模型（AVLLMs）中音频和视觉信息流的路径与整合机制，发现顺序流与并行流两种路由模式，并证明信息传递后可丢弃无关token以提升效率。

Comments 40 pages, 29 figures

Data Synthesis and Parameter-Efficient Fine-Tuning for Low-Resource NMT: A Case Study on Q'eqchi' Mayan

低资源神经机器翻译的数据合成与参数高效微调：以Q'eqchi'玛雅语为例

Alexander Chulzhanov, Soeren Eberhardt, Arjun Mukherjee

机构 * University of Houston（休斯顿大学） ； MasterWord Services, Inc.（MasterWord Services公司） ； University of Washington（华盛顿大学） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 针对低资源土著语言，提出数据合成方法（利用社区词典生成合成语料）结合LoRA参数高效微调，在Q'eqchi'玛雅语上实现高结构习得（BLEU 42.02），但存在结构-语义差距，需结合真实数据进行课程学习。

Comments Accepted to the 29th International Conference on Text, Speech and Dialogue (TSD 2026). This version of the contribution has been accepted for publication, after peer review but is not the Version of Record and does not reflect post-acceptance improvements, or any corrections

IEA: Amateur-Friendly Conversational Image Editing Agent via Three Stages of Multitask Alignment

IEA：通过三阶段多任务对齐的业余友好型对话式图像编辑代理

Zichen Zhu, Yuheng Sun, Mingxuan Zhu, Wenjie Ma, Situo Zhang, Zhexiang Wang, Ziyue Yang, Danyang Zhang, Kunyao Lan, Zihan Zhao, Dingye Liu, Siqi Xiang, Lu Chen, Kai Yu

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai Innovation Institution（上海创新研究院） ； Huawei Technologies Ltd.（华为技术有限公司） ； Nanyang Technological University（南洋理工大学） ； Jiangsu Key Lab of Language Computing（江苏省语言计算重点实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出IEA对话式图像编辑代理，通过三阶段多任务训练学习操作参数化工具，实现可解释编辑轨迹，在像素距离和ROUGE-L指标上优于基线，用户研究中指令跟随和感知质量表现最佳。

Comments [CVPR 2026 Findings] Our data and code are released at https://github.com/OpenDFM/Image_Edit_Agent

GP-Adapter: Gaussian Process CLIP-Adapter for Few-Shot Out-of-Distribution Detection

GP-Adapter: 基于高斯过程的CLIP适配器用于少样本分布外检测

Taisei Saito, Koretaka Ogata, Takafumi Hiroi

机构 * st Taisei Saito（第一作者） ； nd Koretaka Ogata（第二作者） ； rd Takafumi Hiroi（第三作者） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出GP-Adapter，一种无需训练的框架，通过高斯过程不确定性建模增强CLIP，用于少样本分类和分布外检测，无需微调骨干网络，仅依赖少量缓存和轻量超参数选择。

Comments 8 pages, 6 figures, Accepted at IJCNN 2026

MVCL-DAF++: Enhancing Multimodal Intent Recognition via Prototype-Aware Contrastive Alignment and Coarse-to-Fine Dynamic Attention Fusion

MVCL-DAF++: 通过原型感知对比对齐和由粗到细动态注意力融合增强多模态意图识别

Haofeng Huang, Yifei Han, Long Zhang, Bin Li, Yangfan He, Yaxin Xue

机构 * University of Shanghai for Science and TechnologyChina（上海科学技术大学中国） ； Shenzhen Institute of Advanced Technology, Chinese Academy of SciencesChina（深圳先进技术研究院，中国科学院中国） ； University of Minnesota-Twin Cities, USA（明尼苏达大学双城分校，美国） ； University of LeedsUK（利兹大学，英国） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 提出MVCL-DAF++，通过原型感知对比对齐和由粗到细注意力融合，在MIntRec和MIntRec2.0上提升多模态意图识别，尤其改善稀有类识别。

Comments Accepted by Interspeech 2026

MACS: Modality-Aware Capacity Scaling for Efficient Multimodal MoE Inference

MACS: 模态感知容量缩放用于高效多模态MoE推理

Bo Li, Chuan Wu, Shaolin Zhu

机构 * School of Software, Tsinghua University, Beijing, China（清华大学软件学院，北京，中国） ； TJUNLP Lab, School of Computer Science and Technology, Tianjin University, China（天津大学计算机科学与技术学院，中国） ； School of New Media and Communication, Tianjin University, China（天津大学新媒体与传播学院，中国） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对多模态MoE大模型在专家并行推理中因信息异质性和模态动态性导致的效率瓶颈，提出无需训练的MACS框架，通过熵加权负载和动态模态自适应容量机制优化资源分配，显著提升多模态基准性能。

Comments Accepted by ACL 2026

DisasterBench: A Multimodal Benchmark for UAV-Based Disaster Response in Complex Environments

DisasterBench: 复杂环境中基于无人机灾害响应的多模态基准

Tan Zhang, Quanyou Li, Lu Zhang, Jun Liu, Xiaofeng Zhu, Ping Hu

机构 * University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 提出DisasterBench多模态基准，涵盖14种灾害场景和9个响应任务，并设计轻量级模型DisasterVL通过三阶段优化在边缘设备上实现高效推理。

HiDe: Rethinking The Zoom-IN method in High Resolution MLLMs via Hierarchical Decoupling

HiDe: 通过分层解耦重新思考高分辨率MLLMs中的Zoom-IN方法

Xianjie Liu, Yiman Hu, Yixiong Zou, Liang Wu, Jian Xu, Bo Zheng

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出HiDe框架，通过分层解耦方法解决高分辨率图像中背景干扰导致的视觉理解问题，提升多模态大语言模型在高分辨率图像任务中的性能。

Comments Accepted by ICML2026

Drive-KD: Multi-Teacher Distillation for VLMs in Autonomous Driving

Drive-KD：自动驾驶中用于视觉语言模型的多教师知识蒸馏

Weitong Lian, Zecong Tang, Haoran Li, Tianjian Gao, Yifei Wang, Zixu Wang, Lingyi Meng, Tengju Ru, Zhejun Cui, Yichen Zhu, Hangshuo Cao, Qi Kang, Tianxing Chen, Kaixuan Wang, Yu Zhang

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract_cn)；分类 cs.CV、cs.AI

AI总结 本文提出Drive-KD框架，通过将自动驾驶分解为感知-推理-规划三元组，并利用知识蒸馏转移能力，构建了专用教师模型，并通过异构梯度投影缓解跨能力梯度冲突，验证了方法在不同模型家族和规模上的泛化能力，展示了蒸馏模型在自动驾驶任务中的优越性能。

Comments Preprint. 23 pages, 14 figures

Hyper-ICL: Attention Calibration with Hyperbolic Anchor Distillation for Multimodal In-Context Learning

Hyper-ICL：基于双曲锚点蒸馏的注意力校准用于多模态上下文学习

Niloufar Alipour Talemi, Hossein Kashiani, Fatemeh Afghah

机构 * University of California, Berkeley（加州大学伯克利分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出Hyper-ICL，一种轻量级训练框架，通过低秩logit适配器和双曲锚点蒸馏损失校准注意力分布，无需推理时提供上下文示例即可重建演示效果，提升多模态上下文学习的准确性和稳定性。

Comments Accepted at the 43rd International Conference on Machine Learning (ICML 2026)

Beyond Encoder Accumulation: Measuring Encoder Roles in Multi-Encoder VLMs

超越编码器累加：衡量多编码器视觉语言模型中编码器的作用

Wei Ding, Yudong Zhang, Ruobing Xie, Xingwu Sun, Jiansheng Chen, Yu Wang

机构 * Tsinghua University（清华大学） ； Tencent（腾讯） ； University of Macau（澳门大学） ； University of Science and Technology Beijing（北京科技大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 通过重新训练所有31个非空子集，提出容量-必要性分解和预投影器秩分析，揭示多编码器视觉语言模型中编码器角色并非简单累加，并给出最优配对原则。

When Attention Collapses: Stage-Aware Visual Token Pruning from Structure to Semantics

当注意力崩溃时：从结构到语义的阶段性视觉令牌剪枝

Jiahui Wang, Kai Zhang, Mai Han, Huanghe Zhang

机构 * Shandong University（山东大学） ； National University of Singapore (Suzhou) Research Institute（新加坡国立大学（苏州）研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对视觉语言模型推理中视觉令牌剪枝因依赖单一注意力分数导致特征多样性下降的问题，提出两阶段剪枝框架STS，先通过排斥采样最大化结构多样性，再通过指令感知交叉注意力过滤语义无关令牌，从而提升保留令牌的结构多样性与细粒度任务对齐。

The Image Reconstruction Game: Drawing Common Ground Through Iterative Multimodal Dialogue

图像重建游戏：通过迭代多模态对话建立共同基础

Sherzod Hakimov, Mattia D'Agostini, Ivan Samodelkin, David Schlangen

机构 * Computational Linguistics, Department of Linguistics University of Potsdam（波恩大学语言学系计算语言学部） ； German Research Center for Artificial Intelligence (DFKI), Berlin（德国人工智能研究中心（DFKI）柏林） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出图像重建游戏基准，通过多轮迭代中视觉语言模型向图像生成器发出纠正指令，使累积的共同基础直接可视化为重建图像，发现描述器是重建质量的主导因素，而生成器决定迭代改进的效果。

Feature Alignment Determines Fusion Strategy: A Comparative Study of Cross-Attention and Concatenation in Multimodal Learning

特征对齐决定融合策略：多模态学习中交叉注意力与拼接的比较研究

Zhiqiang Zhou, Xuezhen Xie

机构 * Hunan Chemical Industry Vocational and Technical College（湖南化学工业职业技术学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 通过实验和理论分析，证明特征对齐质量而非数据规模是决定多模态融合策略优劣的关键因素，当特征预对齐时拼接优于交叉注意力。

Comments 8 pages,6 figures,4 tables

From Memorization to Creativity: LLM as a Designer of Novel Neural Architectures

从记忆到创造：LLM作为新型神经架构的设计者

Waleed Khalid, Dmitry Ignatov, Radu Timofte

机构 * Computer Vision Lab, CAIDAS & IFI, University of Würzburg, Germany（计算机视觉实验室，CAIDAS与IFI，乌尔姆大学，德国） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出NNGPT框架，通过闭环架构合成流水线，利用代码型LLM的监督微调循环，结合MinHash-Jaccard新颖性过滤和低保真性能信号，迭代提升生成架构的有效性、性能和多样性，实现从记忆到创造的转变。

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), pp. 3252-3261, 2026

To See or To Please: Uncovering Visual Sycophancy and Split Beliefs in VLMs

看见还是取悦：揭示视觉语言模型中的视觉谄媚与分裂信念

Rui Hong, Shuxue Quan

机构 * George Mason University（乔治·玛斯纳大学） ； Independent Researcher（独立研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.AI

AI总结 提出三层诊断框架，通过反事实干预实验发现视觉语言模型中普遍存在视觉谄媚（内部证据保留但输出幻觉答案）现象，并证明扩展模型规模无法解决该问题。

Comments 14 pages, 1 figures

Beyond Classification: Dynamic Adapter Routing for Continual Multimodal Retrieval

超越分类：面向持续多模态检索的动态适配器路由

Alicja Dobrzeniecka, Filip Szatkowski, Sebastian Cygert, Szymon Lukasik, Bartlomiej Twardowski

机构 * NASK National Research Institute（NASK国家研究院） ； IDEAS Research Institute（IDEAS研究所） ； Warsaw University of Technology（华沙技术大学） ； Universitat Autonoma de Barcelona（巴塞罗那自治大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对持续多模态检索（CMR）任务，提出基于原型路由和模型合并的动态适配器路由（DAR）方法，在跨域评估中取得优于现有基线的性能。

Variational Adapter for Cross-modal Similarity Representation

变分适配器用于跨模态相似性表示

WenZhang Wei, Zhipeng Gui, Dehua Peng, Tiandi Ye, Huayi Wu

机构 * School of Remote Sensing and Information Engineering（遥感与信息工程学院） ； Wuhan University（武汉大学） ； School of Data Science and Engineering（数据科学与工程学院） ； East China Normal University（华东师范大学） ； State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing（测绘遥感信息工程国家重点实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对跨模态匹配中细粒度标注稀缺导致二元分类边界压缩和假负样本问题，提出变分适配器VACSR，将匹配任务重构为变分推断问题，通过构建潜在相似性空间和正则化缓解过拟合，在图像-文本检索、域泛化和基类到新类泛化任务上验证了有效性。

Comments Accepted by the 43rd International Conference on Machine Learning (ICML 2026)

IsoCLIP: Decomposing CLIP Projectors for Efficient Intra-modal Alignment

IsoCLIP: 分解CLIP投影器以实现高效的模态内对齐

Simone Magistri, Dipam Goswami, Marco Mistretta, Bartłomiej Twardowski, Joost van de Weijer, Andrew D. Bagdanov

机构 * Media Integration and Communication Center (MICC), University of Florence, Italy（意大利佛罗伦萨大学媒体集成与通信中心） ； Department of Computer Science, Universitat Autònoma de Barcelona, Spain（西班牙巴塞罗那自治大学计算机科学系） ； Computer Vision Center, Barcelona, Spain（西班牙巴塞罗那计算机视觉中心） ； IDEAS Research Institute, Warsaw, Poland（波兰华沙IDEAS研究所） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文通过分析CLIP投影器的谱特性，发现模态间对齐子空间和各向异性方向，提出无训练方法IsoCLIP去除各向异性方向以改善模态内对齐，在模态内检索和分类任务上降低延迟并超越现有方法。

Comments Accepted at CVPR2026

PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection

PRISM：免训练多模态数据选择的自剪枝内在选择方法

Jinhe Bi, Aniri, Zengjie Jin, Yifan Wang, Danqi Yan, Wenke Huang, Xiaowen Ma, Sikuan Yan, Artur Hecker, Mang Ye, Xun Xiao, Hinrich Schuetze, Volker Tresp, Yunpu Ma

机构 * LMU Munich（慕尼黑大学） ； Munich Research Center, Huawei Technologies（慕尼黑研究中心，华为技术） ； METEOR ； School of Computer Science, Wuhan University（武汉大学计算机学院） ； Munich Center for Machine Learning（慕尼黑机器学习中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型视觉指令数据冗余问题，提出一种免训练框架PRISM，通过隐式重中心化消除视觉特征各向异性导致的全局语义漂移，实现高效数据选择，在降低计算成本的同时提升模型性能。

Comments Accepted to ACL 2026 and selected for the Best Paper list; later desk-rejected due to an inadvertent manual bibliography-editing error. Previous versions are withdrawn due to an inadvertent manual bibliography-editing error; please refer to the latest corrected version

Structure-Guided Visual Perturbation Neutralization for LVLMs

结构引导的视觉扰动中和用于大型视觉语言模型

Yuanhe Zhang, Xueting Wang, YanBin Ren, Haoran Gao, Xinhan Zheng, Zhenhong Zhou, Fanyu Meng, Li Sun, Sen Su

机构 * Beijing University of Posts and Telecommunications（北京邮电大学） ； University of Science and Technology of China（中国科学技术大学） ； JIUTIAN Research（JIUTIAN研究所） ； Nanyang Technological University（南洋理工大学） ； Chongqing University of Posts and Telecommunications（重庆邮电大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.LG

AI总结 提出结构诱导引导中和（SIGN）框架，通过先验结构提取和动态引导中和实现轻量级、即插即用的对抗性防御，在仅0.5%像素修改和0.16秒每图下达到87%以上防御成功率。

DynFrame: Adaptive Reasoning-Driven Multimodal Framework with Dynamic Frame Augmentation for Complex Video Understanding

DynFrame: 自适应推理驱动的多模态框架与动态帧增强用于复杂视频理解

Peng Zhang, Guanghao Zhang, Wanggui He, Longxiang Zhang, Mushui Liu, Yan Xia, Zhenhao Peng, Weilong Dai, Jinlong Liu, Haobing Tang, Le Zhang, Hao Jiang, Pipei Huang

机构 * Zhejiang University（浙江大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 提出DynFrame框架，通过将时间窗口和采样密度作为原生token进行单步检索，并引入分段解耦GRPO优化，解决了视频多模态大模型中采样密度不可学习及检索与回答优化耦合的问题。

The Rescue Effect: Spatio-Semantic Early Exit Bypasses Quantization Collapse in CLIP

拯救效应：时空语义早期退出绕过CLIP中的量化崩溃

Kahyeon Nam, Hyesong Choi

机构 * Soongsil University（顺斯大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对CLIP模型INT8量化导致的表示崩溃问题，提出LRA-EE方法，通过时空语义聚合、多特征门控和层自适应阈值实现早期退出，在ImageNet-1K零样本分类中降低13.4% FLOPs并提升2.44%准确率。

VisualNeedle: Benchmarking Active Visual Search in Information-Dense Scenes

VisualNeedle: 信息密集场景中的主动视觉搜索基准

Jingru Chen, Yiming Liu, Mingtao Chen, Sijie Chen, Richeng Xuan, Liang Yang, Zhichao Hu, Fanyang Lu

机构 * Hunyuan, Tencent（腾讯 Hunyuan） ； Peking University（北京大学） ； Zhejiang University（浙江大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 针对多模态大语言模型在细粒度感知基准中依赖捷径而非真实视觉证据的问题，提出VisualNeedle基准，通过反事实裁剪-黑化设置评估模型在信息密集场景中的主动视觉搜索能力，实验表明最佳模型准确率仅56.01%，落后人类63.00%。

Binding Visual Features Point by Point

逐点绑定视觉特征

Udith Haputhanthri, Declan Campbell, Rim Assouel, Jonathan D. Cohen, Taylor W. Webb

机构 * Princeton University（普林斯顿大学） ； Mila – Quebec AI Institute（魁北克AI研究所） ； Université de Montréal（蒙特利尔大学） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

AI总结 研究通过文本引导的“指向”机制解决视觉语言模型在多目标场景中的绑定问题，发现该机制诱导内部视觉搜索程序，消除绑定错误并实现组合泛化。