视觉大模型 / VLM

Complex Mathematical Expression Recognition: Benchmark, Large-Scale Dataset and Strong Baseline

复杂数学表达式识别：基准测试、大规模数据集和强大基线

Weikang Bai, Yongkun Du, Yuchen Su, Yazhen Xie, Zhineng Chen

机构 * \equalcontrib（机构1） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出CMER-Bench基准测试和大规模数据集MER-17M和CMER-3M，开发了CMERNet模型，有效提升了复杂数学表达式识别的性能。

Reflective Preference Optimization (RPO): Enhancing On-Policy Alignment via Hint-Guided Reflection

反射偏好优化（RPO）：通过提示引导的反思增强策略对齐

Zihui Zhao, Zechang Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Alibaba Group（阿里巴巴集团） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 RPO通过提示引导的反思增强策略对齐，减少幻觉并提升多模态基准性能。

StreamingAssistant: Efficient Visual Token Pruning for Accelerating Online Video Understanding

StreamingAssistant: 为加速在线视频理解的高效视觉标记修剪

Xinqi Jin, Hanxun Yu, Bohan Yu, Kebin Liu, Jian Liu, Keda Tao, Yixuan Pei, Huan Wang, Fan Dang, Jiangchuan Liu, Weiqiang Wang

机构 * Tsinghua University（清华大学） ； Zhejiang University（浙江大学） ； Ant Group（蚂蚁集团） ； Westlake University（西湖大学） ； Beijing Jiaotong University（北京交通大学） ； Simon Fraser University（西蒙弗雷泽大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 StreamingAssistant通过高效视觉标记修剪技术，提升在线视频理解的准确性和效率，减少GPU内存使用和计算延迟。

The Finer the Better: Towards Granular-aware Open-set Domain Generalization

更细的更好：面向粒度感知的开集域泛化

Yunyun Wang, Zheng Duan, Xinyue Liao, Ke-Jia Chen, Songcan Chen

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 SeeCLIP通过细粒度语义增强解决开集域泛化中的结构风险与开放空间风险困境，提升模型对难区分未知类别的判别能力。

Comments 9 pages,3 figures,aaai2026

Any2Caption:Interpreting Any Condition to Caption for Controllable Video Generation

Any2Caption：任何条件到字幕以实现可控视频生成

Shengqiong Wu, Weicai Ye, Jiahao Wang, Quande Liu, Xintao Wang, Pengfei Wan, Di Zhang, Kun Gai, Shuicheng Yan, Hao Fei, Tat-Seng Chua

机构 * Kuaishou Technology（快手科技） ； National University of Singapore（新加坡国立大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 Any2Caption通过多模态大语言模型实现任何条件到字幕的可控视频生成，提升视频生成的可控性和质量。

Comments Project Page: https://sqwu.top/Any2Cap/

MiniGPT-5: Interleaved Vision-and-Language Generation via Generative Vokens

MiniGPT-5：通过生成性vokens实现交错的视觉-语言生成

Kaizhi Zheng, Xuehai He, Xin Eric Wang

机构 * University of California, Santa Cruz（加州大学圣克鲁兹分校） ； University of California, Santa Barbara（加州大学圣芭芭拉分校） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 MiniGPT-5通过生成性vokens实现交错的视觉-语言生成，显著提升多模态生成任务的性能。

Rethinking Sparse Autoencoders: Select-and-Project for Fairness and Control from Encoder Features Alone

重新思考稀疏自编码器：仅从编码器特征中进行选择和投影以实现公平性与控制

Antonio Bărbălau, Cristian Daniel Păduraru, Teodor Poncu, Alexandru Tifrea, Elena Burceanu

机构 * Bitdefender ； University Politehnica of Bucharest（巴特亚大学） ； ETH Zurich（苏黎世联邦理工学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种基于编码器特征的选择和投影框架，通过改进公平性和可控性，提升模型在视觉语言和大语言模型中的表现。

The Autonomy-Alignment Problem in Open-Ended Learning Robots: Formalising the Purpose Framework

开放性学习机器人中的自主性-对齐问题：目的框架的正式化

Gianluca Baldassarre, Richard J. Duro, Emilio Cartoni, Mehdi Khamassi, Alejandro Romero, Vieri Giuliano Santucci

机构 * Institute of Cognitive Sciences and Technologies, National Research Council（认知科学与技术研究所，国家研究理事会） ； Integrated Group for Engineering Research, CITIC, Universidade da Coruña（工程研究联合组，CITIC，科鲁纳大学） ； Institute of Intelligent Systems and Robotics, Sorbonne University / CNRS（智能系统与机器人研究所，索邦大学 / CNRS） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出了一种用于开放性学习机器人的计算框架，通过定义'目的'来平衡自主性与人类控制，解决自主性-对齐问题。

Comments 33 pages, 5 figures

Boosting Medical Vision-Language Pretraining via Momentum Self-Distillation under Limited Computing Resources

通过有限计算资源下的动量自蒸馏提升医学视觉-语言预训练

Phuc Pham, Nhu Pham, Ngoc Quoc Ly

机构 * Faculty of Information Technology, University of Science, Ho Chi Minh City, Vietnam（信息科技学院，科学大学，胡志明市，越南） ； Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本研究通过动量自蒸馏与梯度累积提升医学视觉-语言预训练效率，实现高效多模态学习并提升零样本分类和少量样本适应性能。

Comments WACV 2026

Progressive Image Restoration via Text-Conditioned Video Generation

通过文本条件视频生成实现渐进式图像修复

Peng Kang, Xijun Wang, Yu Yuan

机构 * Department of Computer Science, University of Illinois Springfield（伊利诺伊大学斯普林菲尔德分校计算机科学系） ； School of Electrical and Computer Engineering, Purdue University（普渡大学电气与计算机工程学院） 纠错

专题命中 VLM训练与架构 ：LLaVA(abstract)；分类 cs.CV、cs.AI

AI总结 本研究通过微调CogVideo，利用文本条件视频生成实现图像渐进式修复，提升感知度量并展示强泛化能力。

Comments First two authors contributed equally to this work. IEEE ICNC Accepted

All Centers Are at most a Few Tokens Apart: Knowledge Distillation with Domain Invariant Prompt Tuning

所有中心距离最多几个token：基于领域不变提示微调的知识蒸馏

Amir Mohammad Ezzati, Alireza Malekhosseini, Armin Khosravi, Mohammad Hossein Rohban

机构 * Department of Computer Engineering, Sharif University of Technology, Tehran, Iran（计算机工程系，谢赫拉兹大学，德黑兰，伊朗） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出领域不变提示微调（DIPT）方法，通过学习领域不变提示提升知识蒸馏效果，从而增强病理学领域模型的泛化能力。

FANoise: Singular Value-Adaptive Noise Modulation for Robust Multimodal Representation Learning

FANoise：奇异值自适应噪声调制用于鲁棒多模态表示学习

Jiaoyang Li, Jun Fang, Tianhao Gao, Xiaohui Zhang, Zhiyuan Liu, Chao Liu, Pengzhang Liu, Qixia Jiang

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI、cs.LG

AI总结 FANoise通过自适应噪声注入策略提升多模态表示学习的鲁棒性和性能

Comments 13 pages, 5 figures, accept to AAAI2026

Concept-Aware Batch Sampling Improves Language-Image Pretraining

概念感知的批量采样提升语言-图像预训练

Adhiraj Ghosh, Vishaal Udandarao, Thao Nguyen, Matteo Farina, Mehdi Cherti, Jenia Jitsev, Sewoong Oh, Elisa Ricci, Ludwig Schmidt, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Trento（特伦托大学） ； LAION ； Stanford University（斯坦福大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

AI总结 本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。

Comments Tech Report

OrdMoE: Preference Alignment via Hierarchical Expert Group Ranking in Multimodal Mixture-of-Experts LLMs

OrdMoE：通过多模态混合专家模型中的层次专家小组排名实现偏好对齐

Yuting Gao, Weihao Chen, Lan Wang, Ruihan Xu, Qingpei Guo

机构 * AntGroup（蚂蚁集团） ； Peking University（北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

AI总结 OrdMoE通过利用混合专家架构中的内在信号，实现多模态混合专家语言模型的零成本偏好对齐，无需人工标注数据即可提升模型对齐和性能。

AdaTok: Adaptive Token Compression with Object-Aware Representations for Efficient Multimodal LLMs

AdaTok: 一种基于对象感知表示的自适应令牌压缩方法，用于高效多模态大语言模型

Xinliang Zhang, Lei Zhu, Hangzhou He, Shuang Zeng, Ourui Fu, Jiakui Hu, Zhengjian Yao, Yanye Lu

机构 * Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究所） ； Department of Biomedical Engineering, Peking University（北京大学生物医学工程系） ； National Biomedical Imaging Center, Peking University（北京大学国家生物医学成像中心） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV、cs.AI

AI总结 AdaTok通过自适应令牌压缩方法，利用对象感知表示提升多模态大语言模型的效率，实现高压缩比与高性能的平衡。

Uni-MoE-2.0-Omni: Scaling Language-Centric Omnimodal Large Model with Advanced MoE, Training and Data

Uni-MoE-2.0-Omni: 通过先进MoE、训练和数据扩展语言导向的多模态大模型

Yunxin Li, Xinyu Chen, Shenyuan Jiang, Haoyuan Shi, Zhenyu Liu, Xuanyu Zhang, Nanhao Deng, Zhenran Xu, Yicheng Ma, Meishan Zhang, Baotian Hu, Min Zhang

机构 * Research Institute of Computing and Intelligence（计算与智能研究 institute） ； Harbin Institute of Technology（哈尔滨工业大学） 纠错

专题命中 VLM训练与架构 ：visual reasoning(abstract)；分类 cs.CV、cs.AI

AI总结 Uni-MoE-2.0-Omni通过先进MoE、训练和数据技术，实现了语言导向的多模态大模型，展现出在多模态理解、推理和生成任务中的卓越性能。

Comments 47 pages,10 Figures, Project Website: https://idealistxy.github.io/Uni-MoE-v2.github.io/ Codes: https://github.com/HITsz-TMG/Uni-MoE

MotIF: Motion Instruction Fine-tuning

Minyoung Hwang, Joey Hejna, Dorsa Sadigh, Yonatan Bisk

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Stanford University（斯坦福大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Image-POSER: Reflective RL for Multi-Expert Image Generation and Editing

Hossein Mohebbi, Mohammed Abdulrahman, Yanting Miao, Pascal Poupart, Suraj Kothawade

机构 * University of Waterloo（滑铁卢大学） ； Vector Institute（向量研究所） ； Google（谷歌） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Remodeling Semantic Relationships in Vision-Language Fine-Tuning

Xiangyang Wu, Liu Liu, Baosheng Yu, Jiayan Qiu, Zhenwei Shi

机构 * Hangzhou International Innovation Institute, Beihang University（北京航空航天大学杭州国际创新研究院） ； School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Nanyang Technological University（南洋理工大学） ； University of Leicester（莱斯特大学） ； School of Astronautics, Beihang University（北京航空航天大学航天学院） 纠错

专题命中 VLM训练与架构 ：visual question answering(abstract)；分类 cs.CV、cs.AI

Abn-BLIP: Abnormality-aligned Bootstrapping Language-Image Pre-training for Pulmonary Embolism Diagnosis and Report Generation from CTPA

Zhusi Zhong, Yuli Wang, Lulu Bi, Zhuoqi Ma, Sun Ho Ahn, Christopher J. Mullin, Colin F. Greineder, Michael K. Atalay, Scott Collins, Grayson L. Baird, Cheng Ting Lin, Webster Stayman, Todd M. Kolb, Ihab Kamel, Harrison X. Bai, Zhicheng Jiao

机构 * Department of Diagnostic Imaging, Brown University Health（布朗大学健康中心诊断影像科） ； Warren Alpert Medical School of Brown University（布朗大学沃伦·阿尔珀特医学院） ； Department of Biomedical Engineering, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院生物医学工程系） ； Department of Radiology and Radiological Sciences, Johns Hopkins University School of Medicine（约翰霍普金斯大学医学院放射科） ； Johns Hopkins University Division of Pulmonary and Critical Care Medicine（约翰霍普金斯大学肺科与重症医学科） ； Department of Radiology, University of Colorado School of Medicine（科罗拉多大学医学院放射科） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Prudential Reliability of Large Language Models in Reinsurance: Governance, Assurance, and Capital Efficiency

Stella C. Dong

机构 * Reinsurance Analytics（再保险分析） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI、cs.LG

Comments 48 pages, 9 figures, 5 tables. Submitted to the Journal of Risk and Insurance (JRI), November 2025

Taming Identity Consistency and Prompt Diversity in Diffusion Models via Latent Concatenation and Masked Conditional Flow Matching

Aditi Singhania, Arushi Jain, Krutik Malani, Riddhi Dhawan, Souymodip Chakraborty, Vineet Batra, Ankit Phogat

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV、cs.AI

Understanding Cross Task Generalization in Handwriting-Based Alzheimer's Screening via Vision Language Adaptation

Changqing Gong, Huafeng Qin, Mounim A. El-Yacoubi

机构 * Telecom SudParis, Institut Polytechnique de Paris（电信 SudParis，巴黎理工学院） 纠错

专题命中 VLM训练与架构 ：vision language model(abstract)；分类 cs.CV、cs.AI

RadZero: Similarity-Based Cross-Attention for Explainable Vision-Language Alignment in Chest X-ray with Zero-Shot Multi-Task Capability

Jonggwon Park, Byungmu Yoon, Soobum Kim, Kyoyun Choi

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV、cs.LG

Comments NeurIPS 2025

LGCC: Enhancing Flow Matching Based Text-Guided Image Editing with Local Gaussian Coupling and Context Consistency

Fangbing Liu, Pengfei Duan, Wen Li, Yi He

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.AI、cs.LG

HMVLM: Human Motion-Vision-Lanuage Model via MoE LoRA

Lei Hu, Yongjing Ye, Shihong Xia

机构 * Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 10 pages, 5figures. The Thirty-Ninth Annual Conference on Neural Information Processing Systems

LGCA: Enhancing Semantic Representation via Progressive Expansion

Thanh Hieu Cao, Trung Khang Tran, Gia Thinh Pham, Tuong Nghiem Diep, Thanh Binh Nguyen

机构 * University of Science, Vietnam National University Ho Chi Minh City, Vietnam（越南胡志明市国家大学科学大学） ； National University of Singapore, Singapore（新加坡国立大学） ； AISIA Lab, Ho Chi Minh City, Vietnam（越南胡志明市AISIA实验室） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 15 pages, 5 figures, to appear in SoICT 2025

Advancing Compositional Awareness in CLIP with Efficient Fine-Tuning

Amit Peleg, Naman Deep Singh, Matthias Hein

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.LG

Comments Accepted at NeurIPS 2025

Semantic Relation-Enhanced CLIP Adapter for Domain Adaptive Zero-Shot Learning

Jiaao Yu, Mingjie Han, Jinkun Jiang, Junyu Dong, Tao Gong, Man Lan

机构 * School of Computer Science and Technology, East China Normal University, China（东华大学计算机科学与技术学院） ； College of Computer Science and Technology, Ocean University of China, China（中国海洋大学计算机科学与技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 5 pages

Frame-Difference Guided Dynamic Region Perception for CLIP Adaptation in Text-Video Retrieval

Jiaao Yu, Mingjie Han, Tao Gong, Jian Zhang, Man Lan

机构 * School of Computer Science and Technology, East China Normal University, China（上海师范大学计算机科学与技术学院） ； School of Information Science and Technology, University of Science and Technology of China（中国科学技术大学信息科学与技术学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV、cs.AI

Comments 5 pages