视觉大模型 / VLM

Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning

Nüwa: 通过VLM令牌剪枝修复空间完整性

Yihong Huang, Fei Ma, Yihua Shao, Jingcai Guo, Zitong Yu, Laizhong Cui, Qi Tian

机构 * Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（人工智能与数字经济广东实验室） ； School of Artificial Intelligence, Xidian University（西安电子科技大学人工智能学院） ； The Hong Kong Polytechnic University（香港理工大学） ； Great Bay University（大鹏大学） ； Shenzhen University（深圳大学） ； Huawei（华为） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision language model(abstract)；visual question answering(abstract)；grounding(abstract)

AI总结 Nüwa通过两阶段令牌剪枝框架在保持空间完整性的同时实现高效特征聚合，提升VQA和视觉定位任务性能

Fast-Slow Efficient Training for Multimodal Large Language Models via Visual Token Pruning

通过视觉标记修剪实现多模态大语言模型的快慢高效训练

Dingkun Zhang, Shuhan Qi, Yulin Wu, Xinyu Xiao, Xuan Wang, Long Chen

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(title,abstract)；LLaVA(abstract)；分类 cs.CV、cs.LG

AI总结 DualSpeed通过快慢双模式实现多模态大语言模型的高效训练，提升训练速度并保持性能

Generative Engine Optimization: A VLM and Agent Framework for Pinterest Acquisition Growth

生成引擎优化：一个面向Pinterest获取增长的VLM和代理框架

Faye Zhang, Qianyu Cheng, Jasmine Wan, Vishwakarma Singh, Jinfeng Rao, Kofi Boakye

机构 * Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：VLM(title,abstract)；vision-language model(abstract)；分类 cs.AI

AI总结 Pinterest提出GEO框架，通过微调VLM和AI代理预测用户搜索需求，构建语义连贯的集合页面，提升生成搜索时代的视觉平台流量增长。

SwiftVLM: Efficient Vision-Language Model Inference via Cross-Layer Token Bypass

SwiftVLM: 通过跨层令牌绕过实现高效的视觉-语言模型推理

Chen Qian, Xinran Yu, Danyang Li, Guoxuan Chi, Zheng Yang, Qiang Ma, Xin Miao

机构 * Tsinghua University, Beijing, China（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV、cs.AI

AI总结 SwiftVLM通过跨层令牌绕过方法，在视觉-语言模型中实现高效的推理，优于现有修剪策略，提升准确率与效率的平衡。

One Size, Many Fits: Aligning Diverse Group-Wise Click Preferences in Large-Scale Advertising Image Generation

一个尺寸，多种适配：在大规模广告图像生成中对多样化群体点击偏好进行对齐

Shuo Lu, Haohan Wang, Wei Feng, Weizhen Wang, Shen Zhang, Yaoyu Li, Ao Ma, Zheng Zhang, Jingjing Lv, Junjie Shen, Ching Law, Bing Zhan, Yuan Xu, Huizai Yao, Yongcan Yu, Chenyang Si, Jian Liang

机构 * NLPR & MAIS, CASIA（中国科学院长春光学精密机械与物理研究所 & 中国科学院自动化所） ； School of AI, UCAS（中国科学院大学人工智能学院） ； HKUST(gz)（香港科技大学） ； PRLab, NJU（南京大学PRLab） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出OSMF框架，通过自适应分组和群组感知多模态模型，解决广告图像生成中用户群体点击偏好多样性的优化问题。

EventFlash: Towards Efficient MLLMs for Event-Based Vision

EventFlash: 向基于事件的视觉高效MLLMs迈进

Shaoyu Liu, Jianing Li, Guanghui Zhao, Yunjian Zhang, Wen Jiang, Ming Li, Xiangyang Ji

机构 * Xidian University（西安电子科技大学） ； Tsinghua University（清华大学） ； Beijing Institute of Technology（北京理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy(SZ)（广东人工智能与数字经济实验室（深圳）） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 EventFlash通过时空令牌稀疏化技术，实现高效事件视觉处理，提升吞吐量并支持更长的事件流处理。

ADx3: A Collaborative Workflow for High-Quality Accessible Audio Description

ADx3：高质量可及音频描述的协作流程

Lana Do, Shasta Ihorn, Charity Pitcher-Cooper, Juvenal Francisco Barajas, Gio Jung, Xuan Duy Anh Nguyen, Sanjay Mirani, Ilmi Yoon

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)

AI总结 ADx3通过整合GenAD、RefineAD和AdaptAD模块，实现高质量可及音频描述的协作流程，提升描述质量和用户交互体验。

How Much Information Can a Vision Token Hold? A Scaling Law for Recognition Limits in VLMs

视觉标记能承载多少信息？VLMs中识别限制的缩放定律

Shuxin Zhuang, Zi Liang, Runsheng Yu, Hongzong Li, Rong Feng, Shiqin Tang, Youzhi Zhang

机构 * City University of Hong Kong（香港城市大学） ； The Hong Kong Polytechnic University（香港理工大学） ； The Hong Kong University of Science and Technology（香港理工大学） ； Centre for Artificial Intelligence and Robotics, Chinese Academy of Sciences（中国科学院人工智能与机器人研究院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过压力测试揭示了视觉标记的信息上限，提出了一种统一的缩放定律，为优化视觉上下文压缩的效率-精度权衡提供了实证依据。

KTV: Keyframes and Key Tokens Selection for Efficient Training-Free Video LLMs

KTV: 关键帧与关键令牌选择用于高效无训练视频大语言模型

Baiyang Song, Jun Peng, Yuxin Zhang, Guangyao Chen, Feidiao Yang, Jianyuan Guo

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV

AI总结 KTV通过两阶段框架高效选择关键帧和令牌，提升无训练视频理解的性能和效率。

IVC-Prune: Revealing the Implicit Visual Coordinates in LVLMs for Vision Token Pruning

IVC-Prune: 在大型视觉-语言模型中揭示隐式的视觉坐标以进行视觉标记剪枝

Zhichao Sun, Yidong Ma, Gang Liu, Yibo Chen, Xu Tang, Yao Hu, Yongchao Xu

机构 * School of Computer Science, Wuhan University（武汉大学计算机学院） ； Xiaohongshu Inc（小红书公司） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 IVC-Prune通过揭示LVLMs中隐式的视觉坐标，提出一种无训练、提示感知的视觉标记剪枝方法，有效减少标记数量并保持高性能。

Comments Accepted to ICLR 2026

DuoGen: Towards General Purpose Interleaved Multimodal Generation

DuoGen：迈向通用的交错多模态生成

Min Shi, Xiaohui Zeng, Jiannan Huang, Yin Cui, Francesco Ferroni, Jialuo Li, Shubham Pachori, Zhaoshuo Li, Yogesh Balaji, Haoxiang Wang, Tsung-Yi Lin, Xiao Fu, Yue Zhao, Chieh-Yun Chen, Ming-Yu Liu, Humphrey Shi

机构 * Georgia Tech（佐治亚理工学院） ； NVIDIA research.nvidia.com/labs/dir/duogen（NVIDIA 研究所） 纠错

专题命中 VLM训练与架构 ：MLLM(abstract)；分类 cs.CV

AI总结 DuoGen通过系统性地解决数据整理、架构设计和评估问题，实现了通用的交错多模态生成，提升了文本质量、图像保真度和图像-上下文对齐性能。

Comments Technical Report. Project Page: https://research.nvidia.com/labs/dir/duogen/