视觉大模型 / VLM

AnyTask: an Automated Task and Data Generation Framework for Advancing Sim-to-Real Policy Learning

AnyTask: 一种用于推进仿真到现实策略学习的任务和数据生成框架

Ran Gong, Xiaohan Zhang, Jinghuan Shang, Maria Vittoria Minniti, Jigarkumar Patel, Valerio Pepe, Riedana Yan, Ahmet Gundogdu, Ivan Kapelyukh, Ali Abbas, Xiaoqiang Yan, Harsh Patel, Laura Herlant, Karl Schmeckpeper

机构 * Robotics and AI Institute（机器人与人工智能研究所） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

AI总结 AnyTask通过自动化框架结合GPU仿真与基础模型，生成多样化任务和机器人数据，提升仿真到现实策略学习的效率与效果。

Comments 28 pages, 25 figures. The first four authors contributed equally

FastAV: Efficient Token Pruning for Audio-Visual Large Language Model Inference

FastAV: 面向音频视觉大语言模型推理的高效令牌修剪

Chaeyoung Jung, Youngjoon Jang, Seungwoo Lee, Joon Son Chung

机构 * Korea Advanced Institute of Science and Technology（韩国科学技术院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 FastAV通过两阶段令牌修剪策略，针对音频视觉大语言模型实现高效推理，减少FLOPs超过40%并保持性能

Concepts from Representations: Post-hoc Concept Bottleneck Models via Sparse Decomposition of Visual Representations

表示法中的概念：通过视觉表示的稀疏分解实现事后概念瓶颈模型

Shizhan Gong, Xiaofan Zhang, Qi Dou

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出PCBM-ReD，通过视觉表示的稀疏分解，实现对预训练模型的可解释性增强，提升图像分类任务的准确性和可解释性。

Comments AAAI 2026

Language-Agnostic Visual Embeddings for Cross-Script Handwriting Retrieval

跨脚本手写检索的语言无关视觉嵌入

Fangke Chen, Tianhao Dong, Sirry Chen, Guobin Zhang, Yishu Zhang, Yining Chen

机构 * School of Integrated Circuits, Zhejiang University（浙江大学集成电路学院） ； Shanghai Innovation Institute（上海创新研究院） ； School of Electrical and Electronic Engineering (EEE), Nanyang Technological University（南洋理工大学电子与电气工程学院） ； School of Data Science, Fudan University（复旦大学数据科学学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出了一种轻量级双编码框架，通过学习语言无关的视觉嵌入，实现跨脚本手写检索的高精度与低资源消耗。

Comments 9 pages,5 figures

Image-Text Knowledge Modeling for Unsupervised Multi-Scenario Person Re-Identification

图像-文本知识建模用于无监督多场景人物重识别

Zhiqi Pang, Lingling Zhao, Yang Liu, Chunyu Wang, Gaurav Sharma

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出图像-文本知识建模用于无监督多场景人物重识别，通过三阶段框架提升跨场景识别性能。

Comments 12 pages, 10 figures

FFP-300K: Scaling First-Frame Propagation for Generalizable Video Editing

FFP-300K：用于通用视频编辑的可扩展首帧传播

Xijie Huang, Chengming Xu, Donghao Luo, Xiaobin Hu, Peng Tang, Xu Peng, Jiangning Zhang, Chengjie Wang, Yanwei Fu

机构 * FDU（阜新大学） ； Tencent YouTu Lab（腾讯优图实验室） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 FFP-300K通过构建大规模数据集和改进框架，实现了无指导的首帧传播，提升视频编辑的稳定性和性能。

Unveiling and Bridging the Functional Perception Gap in MLLMs: Atomic Visual Alignment and Hierarchical Evaluation via PET-Bench

揭示和弥合MLLMs中的功能感知差距：通过PET-Bench实现原子视觉对齐和分层评估

Zanting Ye, Xiaolong Niu, Xuanbin Wu, Xu Han, Shengyuan Liu, Jing Hao, Zhihao Peng, Hao Sun, Jieqin Lv, Fanghu Wang, Yanchao Huang, Hubing Wu, Yixuan Yuan, Habib Zaidi, Arman Rahmim, Yefeng Zheng, Lijun Lu

机构 * School of Biomedical Engineering, Southern Medical University（生物医学工程学院，南方医科大学） ； School of Biomedical Engineering, Shanghai Jiaotong University（生物医学工程学院，上海交通大学） ； Department of Electronic Engineering, Chinese University of Hong Kong（电子工程系，中国香港大学） ； Faculty of Dentistry, The University of Hong Kong（牙科学院，香港大学） ； Department of Nuclear Medicine, The Second Affiliated Hospital of Guangzhou University of Chinese Medicine（核医学科，广州中医药大学第二附属医院） ； PET Center, Department of Nuclear Medicine, Guangdong Provincial People’s Hospital, Southern Medical University（PET中心，核医学科，广东省人民医院，南方医科大学） ； Department of Nuclear Medicine, Nanfang Hospital, Southern Medical University（核医学科，南芳医院，南方医科大学） ； Division of Nuclear Medicine and Molecular Imaging, Geneva University Hospitals（核医学与分子影像学部，日内瓦大学医院） ； Departments of Radiology, Physics, and Biomedical Engineering, The University of British Columbia（放射学、物理和生物医学工程系，不列颠哥伦比亚大学） ； Medical Artificial Intelligence Laboratory, Westlake University（医学人工智能实验室，西湖大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出AVA方法，通过原子视觉对齐解决MLLMs在功能成像中的感知差距，提升诊断准确性14.83%。

Comments 9 pages, 6 figures, 6 tables

Prototypical Contrastive Learning-based CLIP Fine-tuning for Object Re-identification

基于原型对比学习的CLIP微调用于物体重识别

Jiachen Li, Xiaojin Gong

机构 * College of Information Science and Electronic Engineering, Zhejiang University, China（信息科学与电子工程学院，浙江大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出基于原型对比学习的CLIP微调方法，用于提升物体重识别性能，无需提示学习并实现优于CLIP-ReID的性能。

MMLGNet: Cross-Modal Alignment of Remote Sensing Data using CLIP

MMLGNet: 利用CLIP实现遥感数据的跨模态对齐

Aditya Chaudhary, Sneha Barman, Mainak Singha, Ankit Jha, Girish Mishra, Biplab Banerjee

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 MMLGNet通过CLIP实现遥感数据的跨模态对齐，利用多模态语言引导网络有效融合光谱、空间和几何信息，提升语义理解能力。

Comments Accepted at InGARSS 2025

Towards Trustworthy Dermatology MLLMs: A Benchmark and Multimodal Evaluator for Diagnostic Narratives

迈向可信的皮肤科多模态大语言模型：一种基准和多模态评估器用于诊断叙述

Yuhao Shen, Jiahe Qian, Shuping Zhang, Zhangtianyi Chen, Tao Lu, Juexiao Zhou

机构 * School of Data Science, The Chinese University of Hong Kong, Shenzhen（数据科学学院，香港中文大学（深圳）） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Department of Dermatology, The First Affiliated Hospital, Shantou University Medical College（皮肤科，汕头大学医学院第一附属医院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 本文提出DermBench和DermEval用于评估皮肤科多模态大语言模型的诊断叙述，通过结合基准和自动评估器，实现临床意义的可重复评估，验证模型性能与专家评分的一致性。

Video Generation Models Are Good Latent Reward Models

视频生成模型是良好的潜在奖励模型

Xiaoyue Mi, Wenqing Yu, Jiesong Lian, Shibo Jie, Ruizhe Zhong, Zijun Liu, Guozhen Zhang, Zixiang Zhou, Zhiyong Xu, Yuan Zhou, Qinglin Lu, Fan Tang

机构 * University of Chinese Academy of Sciences（中国科学院大学） ； Tencent Hunyuan（腾讯文元） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Shanghai Jiao Tong University（上海交通大学） ； Tsinghua University（清华大学） ； Nanjing University（南京大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出PRFL框架，利用预训练视频生成模型在噪声潜在空间中进行奖励建模，实现高效去噪和降低训练成本。

Adapting Vision-Language Foundation Model for Next Generation Medical Ultrasound Image Analysis

为下一代医学超声图像分析适应视觉-语言基础模型

Jingguo Qu, Xinyang Han, Jia Ai, Juan Wu, Tong Zhao, Tonghuan Xiao, Sheng Ning, Yuqi Yang, Jing Qin, Ann Dorothy King, Winnie Chiu-Wing Chu, Jing Cai, Michael Tin-Cheung Ying

机构 * Department of Health Technology and Informatics, The Hong Kong Polytechnic University（健康科技与信息学系，香港理工大学） ； Centre for Smart Health and School of Nursing, The Hong Kong Polytechnic University（智能健康中心及护理学院，香港理工大学） ； Department of Imaging and Interventional Radiology, The Chinese University of Hong Kong（影像与介入放射学系，香港中文大学） ； Suzhou Hospital of Traditional Chinese Medicine Affiliated to Nanjing University of Chinese Medicine（南京中医药大学附属苏州中医医院） ； Department of Ultrasound, The Affiliated Changzhou No. 2 People's Hospital of Nanjing Medical University（南京医科大学附属常州第二人民医院超声科） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出混合微调策略，通过频域过滤和多尺度特征聚合提升CLIP模型在超声图像分析中的性能，实现更高效和鲁棒的医学诊断应用。

Empowering Reliable Visual-Centric Instruction Following in MLLMs

赋能多模态大语言模型中的可靠指令跟随

Weilei He, Feng Ju, Zhiyuan Fan, Rui Min, Minhao Cheng, Yi R. Fung

机构 * Hong Kong University of Science and Technology（香港科学与技术大学） ； Penn State（宾夕法尼亚州立大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.LG

AI总结 本文提出VC-IFEval基准，通过引入视觉依赖性约束，系统评估多模态大语言模型在指令跟随任务中的性能与改进。

Comments Submitted to ARR Jan

TalkPhoto: A Versatile Training-Free Conversational Assistant for Intelligent Image Editing

TalkPhoto: 一种多功能的无需训练的对话式智能图像编辑助手

Yujie Hu, Zecheng Tang, Xu Jiang, Weiqi Li, Jian Zhang

机构 * School of Electronic and Computer Engineering, Peking University（电子与计算机工程学院，北京大学） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 TalkPhoto通过对话交互实现无需训练的多功能图像编辑，利用提示模板分层调用现有高级编辑方法，提升编辑精度与质量。

Comments a Conversational Assistant for Intelligent Image Editing

Entity-Guided Multi-Task Learning for Infrared and Visible Image Fusion

实体引导的多任务学习用于红外和可见图像融合

Wenyu Shao, Hongbo Liu, Yunchuan Ma, Ruili Wang

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 EGMT通过实体引导的多任务学习方法，提升红外和可见图像融合的语义一致性与质量。

Comments Accepted by IEEE Transactions on Multimedia

UniHetero: Could Generation Enhance Understanding for Vision-Language-Model at Large Data Scale?

UniHetero：生成能否在大规模数据下增强视觉-语言模型的理解？

Fengjiao Chen, Minhao Jing, Weitao Lu, Yan Feng, Xiaoyu Li, Xuezhi Cao

机构 * Meituan, Beijing, China（美团，北京，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 UniHetero通过大规模预训练探索生成对视觉-语言模型理解的增强作用，发现语义层面生成有效，而像素层面生成会导致理解性能下降。

CritiFusion: Semantic Critique and Spectral Alignment for Faithful Text-to-Image Generation

CritiFusion: 语义批评与频谱对齐用于忠实的文本到图像生成

ZhenQi Chen, TsaiChing Ni, YuanFu Yang

机构 * National Yang Ming Chiao Tung University 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 CritiFusion通过语义批评和频谱对齐提升文本到图像生成的忠实度和细节质量。

TabMixNN: A Unified Deep Learning Framework for Structural Mixed Effects Modeling on Tabular Data

TabMixNN：一种用于表格数据结构混合效应建模的统一深度学习框架

Deniz Akdemir

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.LG

AI总结 TabMixNN是一种结合经典混合效应建模与现代神经网络的统一深度学习框架，支持多种结果类型和复杂数据结构，提供灵活的模块化架构和全面的可解释性工具。

PurifyGen: A Risk-Discrimination and Semantic-Purification Model for Safe Text-to-Image Generation

PurifyGen：一种用于安全文本到图像生成的风险判别和语义净化模型

Zongsheng Cao, Yangfan He, Anran Liu, Jun Xie, Feng Chen, Zepeng Wang

机构 * Researcher（研究者） 纠错

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.CV

AI总结 PurifyGen通过双阶段策略实现安全文本到图像生成，通过语义距离评估和双空间转换净化危险提示，减少不安全内容生成。

Scaling Laws for Energy Efficiency of Local LLMs

本地大语言模型和视觉-语言模型的扩展定律

Ander Alvarez, Alessandro Genuardi, Nilotpal Sinha, Antonio Tiene, Mikail Okyay, Bakbergen Ryskulov, David Montero, Samuel Mugel, Román Orús

机构 * Multiverse Computing ； Donostia International Physics Center ； Ikerbasque Foundation for Science ； Multiverse Computing, Centre for Social Innovation 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.AI

AI总结 研究揭示了本地大语言模型和视觉-语言模型在中央处理单元上的计算扩展定律，并展示了量子启发压缩在降低能耗和资源消耗方面的效果。

GRAN-TED: Generating Robust, Aligned, and Nuanced Text Embedding for Diffusion Models

GRAN-TED: 生成稳健、对齐且细腻的文本嵌入以用于扩散模型

Bozhou Li, Sihan Yang, Yushuo Guan, Ruichuan An, Xinlong Chen, Yang Shi, Pengfei Wan, Wentao Zhang, Yuanxing zhang

机构 * Peking University（北京大学） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队） ； Xi’an Jiaotong University（西安交通大学） ； School of Artificial Intelligence, UCAS（清华大学人工智能学院） 纠错

专题命中 VLM训练与架构 ：multimodal large language model(abstract)；分类 cs.CV

AI总结 GRAN-TED提出了一种生成稳健、对齐且细腻的文本嵌入以用于扩散模型的范式，通过TED-6K基准提升文本编码器性能，显著加快扩散模型训练速度。

Lessons from Neuroscience for AI: How integrating Actions, Compositional Structure and Episodic Memory could enable Safe, Interpretable and Human-Like AI

从神经科学中汲取教训：如何通过整合动作、组合结构和事件记忆来实现安全、可解释和类人的人工智能

Rajesh P. N. Rao, Vishwas Sathish, Linxing Preston Jiang, Matthew Bryan, Prashant Rangarajan

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 通过整合动作、组合结构和事件记忆，改进基础模型以实现安全、可解释和类人的人工智能。

FVA-RAG: Falsification-Verification Alignment for Mitigating Sycophantic Hallucinations

FVA-RAG：通过对抗性上下文对齐缓解趋炎附势幻觉

Mayank Ravishankara

专题命中 VLM训练与架构 ：grounding(abstract)；分类 cs.AI

AI总结 FVA-RAG通过引入对抗性上下文检索，有效缓解了因前提错误导致的幻觉问题，其在多个基准测试中表现优于现有方法。

Fixed-Budget Parameter-Efficient Training with Frozen Encoders Improves Multimodal Chest X-Ray Classification

固定预算参数高效训练结合冻结编码器提升多模态胸片分类

Md Ashik Khan, Md Nahid Siddique

机构 * Department of Computer Science and Engineering, Indian Institute of Technology Kharagpur, India（计算机科学与工程系，印度理工学院Kharagpur分校） ； Knight Foundation School of Computing and Information Sciences, Florida International University, Florida, USA（骑士基金会计算与信息科学学院，佛罗里达国际大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本研究通过冻结编码器的参数高效训练策略，在降低计算成本的同时提升了多模态胸片分类的性能。

Comments Accepted at the 2025 28th International Conference on Computer and Information Technology (ICCIT). 6 pages, 6 figures

RLLaVA: An RL-central Framework for Language and Vision Assistants

RLLaVA: 一种面向语言和视觉助手的强化学习中心框架

Lei Zhao, Zihao Ma, Boyu Lin, Yuhe Liu, Wenjun Wu, Lei Huang

机构 * SKLCCSE, Institute of Artificial Intelligence, Beihang University, Beijing, China（信息与电子技术学院，人工智能研究院，北京航空航天大学，北京，中国） ； Beijing Advanced Innovation Center for Future Blockchain and Privacy Computing, Beihang University（未来区块链与隐私计算先进创新中心，北京航空航天大学） ； Hangzhou International Innovation Institute, Beihang University, Hangzhou, China（杭州国际创新研究院，北京航空航天大学，杭州，中国） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.LG

AI总结 RLLaVA 提出了一种强化学习中心框架，通过解耦算法逻辑与模型架构，实现高效训练和多任务扩展，提升视觉-语言模型性能。

Comments The code is available at https://github.com/TinyLoopX/RLLaVA

Multi-Grained Text-Guided Image Fusion for Multi-Exposure and Multi-Focus Scenarios

多粒度文本引导图像融合用于多曝光和多聚焦场景

Mingwei Tang, Jiahao Nie, Guang Yang, Ziqing Cui, Jie Li

机构 * Xidian University（西安电子科技大学） ； Nanyang Technological University（新加坡国立大学） ； Xi’an University of Technology（西安理工大学） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出MTIF方法，通过多粒度文本描述和跨模态调节模块提升多曝光和多聚焦图像融合性能。

Comments Accepted to WACV 2026

DeliveryBench: Can Agents Earn Profit in Real World?

DeliveryBench: 代理在现实世界中能否获利？

Lingjun Mao, Jiawei Ren, Kun Zhou, Jixuan Chen, Ziqiao Ma, Lianhui Qin

机构 * University of California, San Diego（加州大学圣地亚哥分校） ； University of Michigan（密歇根大学） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.AI

AI总结 DeliveryBench通过模拟现实世界中的食品配送任务，评估基于VLM的具身代理在长期规划和约束管理方面的性能，发现其与人类存在显著差距。

Revealing Perception and Generation Dynamics in LVLMs: Mitigating Hallucinations via Validated Dominance Correction

揭示LVLMs中的感知与生成动态：通过验证主导修正缓解幻觉

Guangtao Lyu, Xinyi Cheng, Chenghao Xu, Qi Liu, Muli Yang, Fen Fang, Huilin Chen, Jiexi Yan, Xu Yang, Cheng Deng

机构 * School of Electronic Engineering, Xidian University（电子科技大学电子工程学院） ； School of Computer Science and Technology, Xidian University（电子科技大学计算机科学与技术学院） ； Hohai university（河海大学） ； Institute for Infocomm Research (I 2 R), A*STAR（信息通信研究所（I2R）） ； School of Foreign Languages, Xidian University（电子科技大学外国语言学院） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 本文提出VDC策略，通过验证主导修正缓解LVLMs中的幻觉问题，揭示感知与生成的动态机制。

Xiaomi MiMo-VL-Miloco Technical Report

小米 MiMo-VL-Miloco 技术报告

Jiaze Li, Jingyang Chen, Yuxun Qu, Shijie Xu, Zhenru Lin, Junyou Zhu, Boshen Xu, Wenhui Tan, Pei Fu, Jianzhong Ju, Zhenbo Luo, Jian Luan

机构 * Xiaomi（小米） 纠错

专题命中 VLM训练与架构 ：vision-language model(abstract)；分类 cs.CV

AI总结 小米提出 MiMo-VL-Miloco 模型，专为家庭场景设计，通过两阶段训练提升多模态推理与家庭场景理解能力。

Robotic VLA Benefits from Joint Learning with Motion Image Diffusion

机器人VLA通过与运动图像扩散的联合学习获益

Yu Fang, Kanchana Ranasinghe, Le Xue, Honglu Zhou, Juntao Tan, Ran Xu, Shelby Heinecke, Caiming Xiong, Silvio Savarese, Daniel Szafir, Mingyu Ding, Michael S. Ryoo, Juan Carlos Niebles

机构 * Salesforce AI Research（Salesforce人工智能研究） 纠错

专题命中 VLM训练与架构 ：VLM(abstract)；分类 cs.CV

AI总结 本文提出通过联合学习与运动图像扩散提升机器人VLA模型的运动推理能力，实验表明在多个基准测试中显著提升了性能。

Comments Website: https://vla-motion.github.io/