视觉大模型 / VLM

Visual Affect Analysis: Predicting Emotions of Image Viewers with Vision-Language Models

视觉情感分析：利用视觉-语言模型预测图像观看者的感受

Filip Nowicki, Hubert Marciniak, Jakub Łączkowski, Krzysztof Jassem, Tomasz Górecki, Vimala Balakrishnan, Desmond C. Ong, Maciej Behnke

机构 * Faculty of Mathematics and Computer Science, Adam Mickiewicz University（数学与计算机科学学院，亚当·密茨凯维奇大学） ； Faculty of Computer Science and Information Technology, Universiti Malaya（计算机科学与信息技术学院，马来亚大学） ； Department of Computer Science and Engineering, Korea University（计算机科学与工程系，韩国大学） ； Department of Psychology, University of Texas at Austin（心理学系，德克萨斯大学奥斯汀分校） ； Cognitive Neuroscience Center, Adam Mickiewicz University（认知神经科学中心，亚当·密茨凯维奇大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(title,abstract)；分类 cs.CV

AI总结 本文研究了视觉-语言模型在预测图像观众情感方面的性能，发现其在离散情绪分类上表现良好，但在连续评分预测中存在偏差，揭示了其在情感计算中的潜力与局限。

ToPT: Task-Oriented Prompt Tuning for Urban Region Representation Learning

为城市区域表示学习设计的任务导向提示微调：ToPT

Zitao Guo, Changyang Jiang, Tianhong Zhao, Jinzhou Cao, Genan Dai, Bowen Zhang

机构 * College of Applied Science, Shenzhen University, Shenzhen, China（深圳大学应用科学学院） ； School of Artificial Intelligence, Shenzhen Technology University, Shenzhen, China（深圳科技大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；MLLM(abstract)；分类 cs.AI、cs.LG

AI总结 ToPT通过空间一致融合和任务对齐提升城市区域表示学习，实现任务导向的提示微调，提升多个城市任务的性能。

Comments The paper has been accepted by ICASSP 2026

VL-JEPA: Joint Embedding Predictive Architecture for Vision-language

VL-JEPA：面向视觉-语言的联合嵌入预测架构

Delong Chen, Mustafa Shukor, Theo Moutakanni, Willy Chung, Jade Yu, Tejaswi Kasarla, Yejin Bang, Allen Bolourchi, Yann LeCun, Pascale Fung

机构 * Meta FAIR ； HKUST（香港科技大学） ； Sorbonne Université（索邦大学） ； NYU（纽约大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 VL-JEPA通过联合嵌入预测架构，在减少参数的情况下实现更强的视觉-语言性能，支持多种任务且无需架构修改。

SciTextures: Collecting and Connecting Visual Patterns, Models, and Code Across Science and Art

SciTextures: 收集和连接科学与艺术中的视觉模式、模型和代码

Sagi Eppel, Alona Strugatski

专题命中 VLM训练与架构 ：vision language model(abstract)；VLM(abstract)；分类 cs.CV

AI总结 SciTextures通过连接视觉模式与生成机制，提供大规模数据集评估VLMs对物理系统多层抽象的理解与模拟能力。

A Structured Framework for Evaluating and Enhancing Interpretive Capabilities of Multimodal LLMs in Culturally Situated Tasks

一种评估和增强多模态大语言模型在文化情境任务中解释能力的结构框架

Haorui Yu, Ramon Ruiz-Dolz, Qiufeng Yi

机构 * DJCAD, University of Dundee, United Kingdom（邓迪大学DJCAD部门） ； ARG-tech, SSEN, University of Dundee, United Kingdom（邓迪大学） ； School of Computer Science, University of Birmingham, United Kingdom（伯明翰大学计算机科学学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；visual language model(abstract)

AI总结 本研究提出了一种结构框架，用于评估和增强多模态大语言模型在文化情境任务中生成中国绘画批评的能力，通过量化评价特征和人设引导提示，揭示了VLMs在艺术批评领域的表现与局限。

Comments EMNLP 2025 submission, 10 pages, 6 figures, 5 tables

Journal ref Findings of the Association for Computational Linguistics: EMNLP 2025, pages 1945-1971, Suzhou, China

When Is Rank-1 Enough? Geometry-Guided Initialization for Parameter-Efficient Fine-Tuning

何时秩-1足够？基于几何的初始化方法用于参数高效微调

Haoran Zhao, Soyeon Caren Han, Eduard Hovy

机构 * School of Computing and Information Systems, University of Melbourne, Melbourne, Australia（计算机与信息系统学院，墨尔本大学，墨尔本，澳大利亚） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.LG

AI总结 本文提出Gap-Init方法，通过几何感知初始化稳定秩-1 LoRA微调，证明初始对齐对训练稳定性的重要性。

Brazilian Portuguese Image Captioning with Transformers: A Study on Cross-Native-Translated Dataset

巴西葡萄牙语图像描述生成：跨原生翻译数据集研究

Gabriel Bromonschenkel, Alessandro L. Koerich, Thiago M. Paixão, Hilário Tomaz Alves de Oliveira

机构 * Instituto Federal do Espírito Santo (IFES)（巴西联邦大学埃斯皮里图圣安东尼奥理工学院） ； École de Technologie Supérieure (ÉTS)（加拿大超技术学院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.LG

AI总结 本研究通过跨原生翻译数据集评估Transformer模型在巴西葡萄牙语图像描述生成中的表现，发现Swin-DistilBERTimbau表现优异，GPT-4在CLIP-Score上表现最佳，同时揭示了模型中的系统性偏见。

Comments Accepted to JBCS. 18 pages, 11 figures

Bridging the Semantic Chasm: Synergistic Conceptual Anchoring for Generalized Few-Shot and Zero-Shot OOD Perception

弥合语义鸿沟：协同概念锚定用于通用少样本和零样本OOD感知

Alexandros Christoforos, Sarah Jenkins, Michael Brown, Tuan Pham, David Chen

机构 * Boston University（波士顿大学） ； Suffolk University（苏富比大学） ； Kyung Hee University, South Korea（韩国庆熙大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SynerNet通过协同神经代理网络框架，解决视觉语言模型在分布外概念感知中的跨模态对齐退化问题，提升少样本和零样本场景下的精度。

HYPE-EDIT-1: Benchmark for Measuring Reliability in Frontier Image Editing Models

HYPE-EDIT-1：衡量前沿图像编辑模型可靠性的基准

Wing Chan, Richard Allen

机构 * Sourceful Ltd（源丰有限公司） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI

AI总结 HYPE-EDIT-1是一个评估前沿图像编辑模型可靠性的基准，通过100个任务测试模型通过率和有效成本，揭示了低单价模型在考虑重试和人工审查后的高总成本。

Comments 14 pages, 5 figures, for code and data, see https://github.com/sourceful-official/hype-edit-1-benchmark

FastPhysGS: Accelerating Physics-based Dynamic 3DGS Simulation via Interior Completion and Adaptive Optimization

FastPhysGS: 通过内部补全与自适应优化加速基于物理的动态3DGS仿真

Yikun Ma, Yiqing Li, Jingwen Ye, Zhongkai Wu, Weidong Zhang, Lin Gao, Zhi Jin

机构 * School of Intelligent Systems Engineering, Shenzhen Campus of Sun Yat-sen University（中山大学智能系统工程学院） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Guangdong Provincial Key Laboratory of Fire Science（广东省消防科学与智能应急技术重点实验室） ； Guangdong Provincial Key Laboratory of Robotics（广东省机器人与数字智能制造技术重点实验室） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 FastPhysGS通过内部补全与自适应优化，实现了基于物理的动态3DGS仿真的高效与稳健，提升了仿真精度和效率。

You Only Forward Once: An Efficient Compositional Judging Paradigm

你只需一次转发：一种高效的组合判断范式

Tianlong Zhang, Hongwei Xue, Shilin Yan, Di Wu, Chen Xu, Guannan Zhang, Yunyun Yang

机构 * School of Science, Harbin Institute of Technology, Shenzhen, Guangdong Province, China（哈尔滨工业大学深圳校区科学学院） ； Accio, Alibaba Group, Hangzhou, Zhejiang Province, China（阿里集团杭州Accio） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 YOFO通过单次前向传递高效判断多模态大语言模型的结构化要求，实现速度与可解释性的平衡，同时支持依赖分析和事后CoT。

Learning Modal-Mixed Chain-of-Thought Reasoning with Latent Embeddings

通过潜在嵌入学习模态混合的思考链推理

Yifei Shao, Kun Zhou, Ziming Xu, Mohammad Atif Quamar, Shibo Hao, Zhen Wang, Zhiting Hu, Biwei Huang

机构 * University of California, San Diego（加州大学圣地亚哥分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

AI总结 本文提出模态混合CoT方法，通过潜在嵌入结合视觉与文本信息，提升多模态推理性能。

Anchored Supervised Fine-Tuning

锚定监督微调

He Zhu, Junyou Su, Peng Lai, Ren Ma, Wenjia Zhang, Linyi Yang, Guanhua Chen

机构 * Southern University of Science and Technology（南方科技大学） ； Peking University（北京大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 本文提出锚定监督微调（ASFT），通过引入KL正则化解决动态微调（DFT）的稳定性问题，在数学推理、医学知识和代码生成等领域取得显著提升。

SupCLAP: Controlling Optimization Trajectory Drift in Audio-Text Contrastive Learning with Support Vector Regularization

SupCLAP：通过支持向量正则化控制音频-文本对比学习中的优化轨迹漂移

Jiehui Luo, Yuguo Yin, Yuxin Xie, Jinghan Ru, Xianwei Zhuang, Minghua He, Aofan Liu, Zihan Xiong, Dongchao Yang

机构 * Peking University（北京大学） ； Central Conservatory of Music（中央音乐学院） ； The Chinese University of Hong Kong（香港中文大学） ； University of Electronic Science and Technology of China（电子科技大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI

AI总结 SupCLAP通过支持向量正则化有效控制音频-文本对比学习中的优化轨迹漂移，提升多模态学习的稳定性与性能。

A2Eval: Agentic and Automated Evaluation for Embodied Brain

A2Eval: 基于代理的自动评估用于具身脑

Shuai Zhang, Jiayu Hu, Zijie Chen, Zeyuan Ding, Yi Zhang, Yingji Zhang, Ziyi Zhou, Junwei Liao, Shengjie Zhou, Yong Dai, Zhenzhong Lan, Xiaozhu Ju

机构 * Zhejiang University, China（浙江大学） ； Westlake University, China（西湖大学） ； Beijing Innovation Center of Humanoid Robotics, China（北京人形机器人创新中心） ； University of Manchester, UK（曼彻斯特大学） ； Southern University of Science（南方科技大学） ； Xiamen University Malaysia, Malaysia（厦门大学马来西亚分校） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)

AI总结 A2Eval提出首个基于代理的自动评估框架，通过两个协作代理自动化基准编纂和评估，显著提升评估效率并减少成本，同时保持高保真度。

A Systematic Study of Data Modalities and Strategies for Co-training Large Behavior Models for Robot Manipulation

对大型行为模型在机器人操作中协同训练数据模态和策略的系统研究

Fanqi Lin, Kushal Arora, Jean Mercat, Haruki Nishimura, Paarth Shah, Chen Xu, Mengchao Zhang, Mark Zolotas, Maya Angeles, Owen Pfannenstiehl, Andrew Beaulieu, Jose Barreiros

机构 * Toyota Research Institute, Cambridge MA（丰田研究院） ； Tsinghua University, Beijing, China（清华大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)

AI总结 本文研究了机器人操作中协同训练不同数据模态和策略对行为模型性能的影响，发现视觉语言和跨身体数据显著提升泛化能力，而离散动作令牌无明显优势。

Towards Artwork Explanation in Large-scale Vision Language Models

迈向大规模视觉语言模型中的艺术作品解释

Kazuki Hayashi, Yusuke Sakai, Hidetaka Kamigaito, Katsuhiko Hayashi, Taro Watanabe

机构 * Nara Institute of Science and Technology（奈良科学技术大学） ； The University of Tokyo（东京大学） 纠错

专题命中 其他VLM ：vision language model(title)；vision-language model(abstract)；分类 cs.CV

AI总结 本文提出艺术作品解释生成任务，评估大规模视觉语言模型在整合语言和视觉信息以及从图像中获取知识的能力。

Comments Accepted to ACL 2024 (Main Conference)

Koo-Fu CLIP: Closed-Form Adaptation of Vision-Language Models via Fukunaga-Koontz Linear Discriminant Analysis

Koo-Fu CLIP：通过Fukunaga-Koontz线性判别分析实现视觉语言模型的闭式适应

Matej Suchanek, Klara Janouskova, Ondrej Vasatko, Jiri Matas

机构 * Visual Recognition Group（视觉识别组） ； Department of Cybernetics（cybernetics系） ； Faculty of Electrical Engineering（电气工程系） ； Czech Technical University in Prague（布拉格捷克技术大学） 纠错

专题命中 其他VLM ：vision-language model(title)；分类 cs.CV

AI总结 Koo-Fu CLIP通过Fukunaga-Koontz线性判别分析实现视觉语言模型的闭式适应，提升类别分离性和降维效率，实现高效的大规模分类与检索。

FreshMem: Brain-Inspired Frequency-Space Hybrid Memory for Streaming Video Understanding

FreshMem: 基于大脑的频率-空间混合内存用于流视频理解

Kangcong Li, Peng Ye, Lin Zhang, Chao Wang, Huafeng Qin, Tao Chen

机构 * College of Future Information Technology, Fudan University, Shanghai, China（复旦大学未来信息科技学院） ； Shanghai Innovation Institute, Shanghai, China（上海创新研究院） ； Shanghai Artificial Intelligence Laboratory, Shanghai, China（上海人工智能实验室） ； The Chinese University of Hong Kong, Hong Kong, China（香港中文大学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 FreshMem通过频率-空间混合内存网络，提升流视频理解的连续感知能力，实现短期保真与长期一致性的平衡。

DRFormer: A Dual-Regularized Bidirectional Transformer for Person Re-identification

DRFormer: 一种双正则化双向变换器用于人重识别

Ying Shu, Pujian Zhan, Huiqi Yang, Hehe Fan, Youfang Lin, Kai Lv

机构 * Institute of Network Science and Intelligent Systems, Beijing Jiaotong University, Beijing, China（网络科学与智能系统研究所，北京交通大学，北京，中国） ； Zhejiang University, Hangzhou, Zhejiang, China（浙江大学，杭州，浙江，中国） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.CV

AI总结 DRFormer通过双正则化双向变换器融合视觉基础模型和视觉-语言模型的优势，提升人重识别的性能。

Dual-Phase Continual Learning: Supervised Adaptation Meets Unsupervised Retention

双相持续学习：监督适应与无监督保留的结合

Vaibhav Singh, Rahaf Aljundi, Eugene Belilovsky

机构 * Mila, Concordia University（蒙特利尔大学米尔人工智能实验室） ； Concordia University（蒙特利尔大学） ； Toyota Motor Europe（丰田欧洲公司） 纠错

专题命中 其他VLM ：vision-language model(abstract)；分类 cs.LG

AI总结 本文提出了一种基于无监督方法的双相持续学习框架，通过利用测试时间数据提升先前任务性能，无需存储或重播数据，有效缓解VLMs中的遗忘问题。

Comments 10 pages, 2 figures

WordCraft: Scaffolding the Keyword Method for L2 Vocabulary Learning with Multimodal LLMs

WordCraft: 通过多模态大语言模型 scaffolding 关键词方法用于L2词汇学习

Yuheng Shao, Junjie Xiong, Chaoran Wu, Xiyuan Wang, Ziyu Zhou, Yang Ouyang, Qinyi Tao, Quan Li

机构 * School of Information Science and Technology, ShanghaiTech University（信息科学与技术学院，上海科技大学） ； School of Creativity and Art, ShanghaiTech University（创意与艺术学院，上海科技大学） ； Shanghai Fengxian Dai Wen Middle School（上海奉贤戴文中学） 纠错

专题命中 其他VLM ：multimodal large language model(abstract)

AI总结 WordCraft通过多模态大语言模型辅助L2词汇学习，提升关键词方法的使用效果和学习者参与度。

Comments Proceedings of the 2026 CHI Conference on Human Factors in Computing Systems (CHI' 26), April 13--17, 2026, Barcelona, Spain