多模态大模型

Viper-F1: Fast and Fine-Grained Multimodal Understanding with Cross-Modal State-Space Modulation

Viper-F1：基于交叉模态状态空间调制的高效细粒度多模态理解

Quoc-Huy Trinh

专题命中 图文多模态 ：multimodal(title,abstract)；cross-modal(title)；分类 cs.CV

AI总结 Viper-F1通过引入高效液态状态空间动力学和令牌-网格相关模块，实现了高效细粒度多模态理解。

Comments arXiv admin comment: This version has been removed by arXiv administrators as the submitter did not have the rights to agree to the license at the time of submission

FSR-VLN: Fast and Slow Reasoning for Vision-Language Navigation with Hierarchical Multi-modal Scene Graph

基于分层多模态场景图的视觉语言导航：快速与慢速推理

Xiaolin Zhou, Tingyang Xiao, Liu Liu, Yucheng Wang, Maiyue Chen, Xinrui Meng, Xinjie Wang, Wei Feng, Wei Sui, Zhizhong Su

机构 * Horizon Robotics ； D-Robotics Robotics 纠错

专题命中 图文多模态 ：multi-modal(title,abstract)

AI总结 FSR-VLN通过分层多模态场景图与快速-慢速推理机制，提升视觉语言导航的效率与准确性，实现低延迟高成功率的导航性能。

Comments Demo video are available at https://horizonrobotics.github.io/robot_lab/fsr-vln/

HoliSafe: Holistic Safety Benchmarking and Modeling for Vision-Language Model

HoliSafe: 视觉-语言模型的综合安全性评估与建模

Youngwan Lee, Kangsan Kim, Kwanyong Park, Ilcahe Jung, Soojin Jang, Seanie Lee, Yong-Ju Lee, Sung Ju Hwang

机构 * ETRI ； KAIST AI（韩国科学技术院人工智能研究所） ； University of Seoul（首尔大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV、cs.AI

AI总结 HoliSafe提出了一种模块化框架和视觉守护模块，通过综合安全性数据集提升视觉-语言模型的安全性，展现其在多个基准中的优越表现。

Comments Project page: https://youngwanlee.github.io/holisafe

CLIP-IT: CLIP-based Pairing for Histology Images Classification

CLIP-IT: 基于CLIP的病理图像分类配对

Banafsheh Karimian, Giulia Avanzato, Soufian Belharbi, Alexis Guichemerre, Luke McCaffrey, Mohammadhadi Shateri, Eric Granger

机构 * LIVIA, ILLS, Dept. of Systems Engineering, ETS Montreal, Canada（LIVIA、ILLs、系统工程系、蒙特利尔大学ETSMontreal加拿大） ； Dept. of Computer Engineering, University of Cagliari, Italy（计算机工程系、卡利亚里大学意大利） ； Goodman Cancer Research, Centre, Dept. of Oncology, McGill University, Canada（Goodman癌症研究中心、肿瘤学系、麦吉尔大学加拿大） 纠错

专题命中 图文多模态 ：multimodal(abstract)；image-text(abstract)；分类 cs.CV

AI总结 CLIP-IT通过利用未配对的病理报告提升病理图像分类性能，无需配对数据或复杂推理。

Beyond Generation: Multi-Hop Reasoning for Factual Accuracy in Vision-Language Models

超越生成：面向视觉语言模型事实准确性的多跳推理

Shamima Hossain

机构 * Department of Computer Science, Brac University（布鲁尔大学计算机科学系） ； bKash Limited（bKash公司） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出一种基于知识图谱的多跳推理框架，提升视觉语言模型在事实准确性上的表现，通过多步骤推理增强模型的逻辑推理能力。

Comments Accepted as poster at NewInML Workshop ICML, 2025

On the Utility of Foundation Models for Fast MRI: Vision-Language-Guided Image Reconstruction

在快速MRI中基础模型的效用：基于视觉-语言的图像重建

Ruimin Feng, Xingxin He, Ronald Mercer, Zachary Stewart, Fang Liu

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出利用视觉-语言基础模型通过语义空间优化提升欠采样MRI重建效果，实验表明其在保留解剖结构和提升感知质量方面优于传统方法。

Towards Efficient VLMs: Information-Theoretic Driven Compression via Adaptive Structural Pruning

迈向高效的VLMs：通过自适应结构压缩的信息论驱动压缩

Zhaoqi Xu, Yingying Zhang, Jian Li, Jianwei Guo, Qiannan Zhu, Hua Huang

机构 * School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； Zhongtai Securities Institute for Financial Studies, Shandong University（山东大学中泰证券金融研究学院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出InfoPrune框架，通过信息论驱动的自适应结构压缩方法，在保持性能的同时显著提升视觉语言模型的效率。

Adapting Vision-Language Models for Evaluating World Models

为世界模型评估适应视觉-语言模型

Mariya Hendriksen, Tabish Rashid, David Bignell, Raluca Georgescu, Abdelhak Lemkhenter, Katja Hofmann, Sam Devlin, Sarah Parisot

机构 * University of Oxford（牛津大学） ； Microsoft Research（微软研究院） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV、cs.AI

AI总结 本文提出UNIVERSE，一种基于视觉-语言模型的视频世界模型评估器，通过适应不同任务格式和数据约束，实现了细粒度、时间敏感的评估，与任务特定检查点性能相当，并在多种环境中验证了其与人类判断的一致性。

Comments NeurIPS LAW 2025 (Oral)

Concept-Aware Batch Sampling Improves Language-Image Pretraining

概念感知的批量采样提升语言-图像预训练

Adhiraj Ghosh, Vishaal Udandarao, Thao Nguyen, Matteo Farina, Mehdi Cherti, Jenia Jitsev, Sewoong Oh, Elisa Ricci, Ludwig Schmidt, Matthias Bethge

机构 * Tübingen AI Center, University of Tübingen（图宾根人工智能中心，图宾根大学） ； University of Cambridge（剑桥大学） ； University of Washington（华盛顿大学） ； University of Trento（特伦托大学） ； LAION ； Stanford University（斯坦福大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本研究提出CABS方法，通过概念感知的批量采样提升语言-图像预训练效果，提供灵活的任务适应性数据整理方案。

Comments Tech Report

Unleashing the Power of Vision-Language Models for Long-Tailed Multi-Label Visual Recognition

释放视觉-语言模型在长尾多标签视觉识别中的潜力

Wei Tang, Zuo-Zheng Wang, Kun Zhang, Tong Wei, Min-Ling Zhang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration (Southeast University)（计算机网络与信息集成重点实验室） ； Mohamed bin Zayed University of Artificial Intelligence (MBZUAI)（Mohamed bin Zayed人工智能大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出CAPNET框架，通过显式建模标签相关性，结合图卷积网络和可学习软提示，解决长尾多标签视觉识别中的类别不平衡问题，提升模型性能。

TK-Mamba: Marrying KAN With Mamba for Text-Driven 3D Medical Image Segmentation

TK-Mamba：将KAN与Mamba结合用于文本驱动的3D医学图像分割

Haoyu Yang, Yutong Guan, Meixing Shi, Yuxiang Cai, Jintao Chen, Sun Bing, Wenhui Lei, Mianxin Liu, Xiaoming Shi, Yankai Jiang, Jianwei Yin

机构 * Zhejiang University（浙江大学） ； Research Center, National Certification Technology (Hangzhou) Co., Ltd（国家认证技术（杭州）有限公司研究部） ； Shanghai Jiao Tong University（上海交通大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； East China Normal University（华东师范大学） 纠错

专题命中 图文多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 TK-Mamba通过融合KAN与Mamba，提出文本驱动的3D医学图像分割方法，实现高效准确的多器官和肿瘤分割。

Panoptic Captioning: An Equivalence Bridge for Image and Text

全景描述：图像与文本之间的等价桥梁

Kun-Yu Lin, Hongjun Wang, Weining Ren, Kai Han

机构 * Visual AI Lab, The University of Hong Kong（香港大学视觉人工智能实验室） 纠错

专题命中 图文多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文提出全景描述任务，通过PancapEngine和PancapChain方法提升图像与文本的等价描述能力，实验表明其优于现有大语言模型。

Comments NeurIPS 2025; Project page: https://visual-ai.github.io/pancap/

Perceptual Taxonomy: Evaluating and Guiding Hierarchical Scene Reasoning in Vision-Language Models

感知分类：评估和引导视觉语言模型中的层次场景推理

Jonathan Lee, Xingrui Wang, Jiawei Peng, Luoxin Ye, Zehan Zheng, Tiezheng Zhang, Tao Wang, Wufei Ma, Siyi Chen, Yu-Cheng Chou, Prakhar Kaushik, Alan Yuille

机构 * Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 图文多模态 ：image-text(abstract)；分类 cs.CV

AI总结 本文提出感知分类基准测试，旨在评估和引导视觉语言模型在层次场景推理中的能力，揭示模型在属性驱动推理上的不足，并展示通过上下文示例提升性能的效果。

Lessons Learned from Developing a Privacy-Preserving Multimodal Wearable for Local Voice-and-Vision Inference

从开发一个隐私保护的多模态可穿戴设备以实现本地语音和视觉推断中获得的启示

Yonatan Tussa, Andy Heredia, Nirupam Roy

专题命中 音频语音多模态 ：multimodal(title,abstract)；分类 eess.AS

AI总结 本文介绍了开发隐私保护多模态可穿戴设备的经验，展示了如何在本地进行语音和视觉推断，并探讨了在日常环境中平衡隐私、响应性和可用性的设计挑战。

Modular Deep Learning Framework for Assistive Perception: Gaze, Affect, and Speaker Identification

模块化深度学习框架用于辅助感知：注视、情绪和说话人识别

Akshit Pramod Anchan, Jewelith Thomas, Sritama Roy

机构 * School of Computer Science and Engineering (SCOPE)（计算机科学与工程学院） ； Vellore Institute of Technology (VIT)（韦洛雷理工学院） ； School of Electronics Engineering (SENSE)（电子工程学院） 纠错

专题命中 音频语音多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出模块化深度学习框架，用于实现注视、情绪和说话人识别的高精度辅助感知技术。

Comments 10 pages, 9 figures, and 3 tables

Towards Edge General Intelligence: Knowledge Distillation for Mobile Agentic AI

迈向边缘泛智能：面向移动代理AI的知识蒸馏

Yuxuan Wu, Linghan Ma, Ruichen Zhang, Yinqiu Liu, Dusit Niyato, Shunpu Tang, Zehui Xiong, Zhu Han, Zhaohui Yang, Kaibin Huang, Zhaoyang Zhang, Kai-Kit Wong

专题命中 音频语音多模态 ：multimodal(abstract)

AI总结 本文探讨了将知识蒸馏整合到边缘泛智能中的方法，旨在提升移动边缘计算中智能代理的效率与可扩展性。

Comments 21 pages, 6 figures

ACIT: Attention-Guided Cross-Modal Interaction Transformer for Pedestrian Crossing Intention Prediction

ACIT：基于注意力的跨模态交互Transformer用于行人过街意图预测

Yuanzhe Li, Steffen Müller

专题命中 视频多模态 ：cross-modal(title,abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 ACIT通过跨模态交互和注意力机制提升行人过街意图预测的准确性，实验显示在两个数据集上均优于现有方法。

Video-LMM Post-Training: A Deep Dive into Video Reasoning with Large Multimodal Models

视频大模型训练后：深入探讨大型多模态模型在视频推理中的应用

Yolo Y. Tang, Jing Bi, Pinxin Liu, Zhenyu Pan, Zhangyun Tan, Qianxiang Shen, Jiani Liu, Hang Hua, Junjia Guo, Yunzhong Xiao, Chao Huang, Zhiyuan Wang, Susan Liang, Xinyi Liu, Yizhi Song, Junhua Huang, Jia-Xing Zhong, Bozheng Li, Daiqing Qi, Ziyun Zeng, Ali Vosoughi, Luchuan Song, Zeliang Zhang, Daiki Shimada, Han Liu, Jiebo Luo, Chenliang Xu

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文深入探讨了Video-LMMs训练后处理方法，分析了监督微调、强化学习和测试时扩展等关键技术，总结了设计原则与挑战，为视频推理研究提供了统一框架。

Comments Version v1.1

MAIF: Enforcing AI Trust and Provenance with an Artifact-Centric Agentic Paradigm

MAIF：基于 artifacts 的代理范式强化 AI 可信度与溯源

Vineeth Sai Narajala, Manish Bhatt, Idan Habler, Ronald F. Del Rosario, Ads Dawson

机构 * Security Researcher Cisco（安全研究员 希思科） ； Researcher OWASP/Project Kuiper Security（研究员 OWASP/项目 Kuiper 安全） ； Adversarial AI Security Research Cisco（对抗性AI安全研究 希思科） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MAIF 通过以 artifacts 为中心的代理范式，解决 AI 的可信度、安全性和问责问题，实现数据的主动信任执行和高效处理。

Comments 7 Pages, 2 Figures, 6 Tables, Repo: https://github.com/vineethsai/maifscratch-1, Added additional Author and fixed Citations

Tracking and Segmenting Anything in Any Modality

任何模态下任何事物的跟踪与分割

Tianlu Zhang, Qiang Zhang, Guiguang Ding, Jungong Han

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 SATA提出了一种通用框架，通过解耦的专家混合机制和任务感知多目标跟踪流程，统一了多种跟踪和分割任务，提升了模型的泛化能力。

Comments Accpetd by AAAI 2026

Video Understanding with Large Language Models: A Survey

利用大语言模型进行视频理解：综述

Yolo Y. Tang, Jing Bi, Siting Xu, Luchuan Song, Susan Liang, Teng Wang, Daoan Zhang, Jie An, Jingyang Lin, Rongyi Zhu, Ali Vosoughi, Chao Huang, Zeliang Zhang, Pinxin Liu, Mingqian Feng, Feng Zheng, Jianguo Zhang, Ping Luo, Jiebo Luo, Chenliang Xu

机构 * University of Rochester（罗切斯特大学） ； The University of Hong Kong（香港大学） ； Southern University of Science and Technology（南方科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL

AI总结 本文综述了利用大语言模型进行视频理解的最新进展，探讨了Vid-LLMs的分类、功能及应用场景，并指出了未来研究方向。

Comments Accepted to IEEE Transactions on Circuits and Systems for Video Technology (TCSVT)

ChessMamba: Structure-Aware Interleaving of State Spaces for Change Detection in Remote Sensing Images

ChessMamba: 结构感知的多时态空间交错用于遥感图像变化检测

Lei Ding, Tong Liu, Xuanguang Liu, Xiangyun Liu, Haitao Guo, Jun Lu

机构 * Information Engineering University（信息工程大学） ； Aerospace Information Research Institute, Chinese Academy of Sciences（航天信息研究所，中国科学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 ChessMamba通过结构感知的交错状态空间建模，提升多时态遥感图像变化检测的准确性和鲁棒性。

Time-step Mixup for Efficient Spiking Knowledge Transfer from Appearance to Event Domain

时间步混合用于从外观域到事件域的高效脉冲知识转移

Yuqi Xie, Shuhan Ye, Yi Yu, Chong Wang, Qixin Zhang, Jiazhen Xu, Le Shen, Yuanbin Qian, Jiangbo Qian, Guoqi Li

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出时间步混合知识转移方法，通过细粒度混合策略和模态感知辅助学习目标，实现从外观到事件域的高效脉冲神经网络知识转移。

T3former: Temporal Graph Classification with Topological Machine Learning

T3former: 基于拓扑机器学习的时序图分类

Md. Joshem Uddin, Soham Changani, Baris Coskunuzer

专题命中 视频多模态 ：cross-modal(abstract)

AI总结 T3former通过结合拓扑和谱信息，提出了一种新颖的时序图分类方法，实现了跨模态融合和理论稳定性保证。

Comments 14 pages, 8 figures

Journal ref AAAI 2026 (Oral)

Large Language Model Aided Birt-Hogg-Dube Syndrome Diagnosis with Multimodal Retrieval-Augmented Generation

基于多模态检索增强生成的大型语言模型辅助Birt-Hogg-Dube综合征诊断

Haoqing Li, Jun Shi, Xianmeng Chen, Qiwei Jia, Rui Wang, Wei Wei, Hong An, Xiaowen Hu

机构 * School of Computer Science and Technology（计算机科学与技术学院） ； Department of Pulmonary and Critical Care Medicine（呼吸与危重症医学科） ； Center for Diagnosis and Management of Rare Diseases（罕见病诊断与管理中心） ； the First Affiliated Hospital of USTC（USTC第一附属医院） ； Division of Life Sciences and Medicine（生命科学与医学系） ； USTC ； WanNan Medical College（皖南医学院） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本研究提出BHD-RAG框架，通过整合多模态检索增强生成与领域专业知识，提升Birt-Hogg-Dube综合征的CT影像诊断准确性。

TouchFormer: A Robust Transformer-based Framework for Multimodal Material Perception

TouchFormer: 一种基于变换器的鲁棒多模态材料感知框架

Kailin Lyu, Long Xiao, Jianing Zeng, Junhao Dong, Xuexin Liu, Zhuojun Zou, Haoyue Yang, Lin Shu, Jie Hao

专题命中 跨模态检索 ：multimodal(title,abstract)；cross-modal(abstract)

AI总结 TouchFormer通过模态自适应门控和注意力机制提升多模态材料感知的鲁棒性，并在细粒度分类任务中实现性能提升。

Comments 9 pages, 7 figures, Accepted by AAAI 2026

Cross-Contrastive Clustering for Multimodal Attributed Graphs with Dual Graph Filtering

多模态属性图的跨对比聚类：带有双图过滤的多视图图聚类

Haoran Zheng, Renchi Yang, Hongtao Wang, Jianliang Xu

机构 * Hong Kong Baptist University（香港 Baptist 大学） 纠错

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 本文提出双图过滤方案，通过特征去噪和三交叉对比学习提升多模态属性图的聚类性能。

Comments Accepted by SIGKDD 2026. The code is available at https://github.com/HaoranZ99/DGF

SAFE: Harnessing LLM for Scenario-Driven ADS Testing from Multimodal Crash Data

SAFE: 借助LLM从多模态碰撞数据中驱动场景的ADS测试

Siwei Luo, Yang Zhang, Yao Deng, Linfeng Liang, Xi Zheng

专题命中 跨模态检索 ：multimodal(title,abstract)

AI总结 SAFE通过多模态提取和LLM技术，提升从碰撞数据中重建真实场景和检测安全违规的能力，实现高准确率和高效生成。

Comments The paper has been accepted for publication in the proceedings of the IEEE/ACM 48th International Conference on Software Engineering to be held 12-18 April 2026 (ICSE2026)

Can Modern Vision Models Understand the Difference Between an Object and a Look-alike?

现代视觉模型能否理解物体与相似物之间的差异？

Itay Cohen, Ethan Fetaya, Amir Rosenfeld

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文研究了现代视觉模型能否区分真实物体与相似物，通过构建RoLA数据集并改进CLIP模型的嵌入空间方向，提升跨模态检索和描述生成的性能。

NeuroGaze-Distill: Brain-informed Distillation and Depression-Inspired Geometric Priors for Robust Facial Emotion Recognition

NeuroGaze-Distill：基于脑科学的蒸馏与抑郁启发的几何先验用于鲁棒面部情绪识别

Zilin Li, Weiwei Xu, Xuanqi Zhao, Yiran Zhu

机构 * School of Information and Intelligent Science（信息与智能科学学院） ； Department of Computer（计算机系） ； North China Electric Power University (BaoDing)（华北电力大学（保定）） 纠错

专题命中 跨模态检索 ：cross-modal(abstract)；分类 cs.CV

AI总结 NeuroGaze-Distill通过脑科学先验和抑郁启发的几何先验提升面部情绪识别的鲁棒性，采用跨模态蒸馏框架实现无需生物信号的部署。

Comments Preprint. Vision-only deployment; EEG used to form static prototypes. Includes appendix, 7 figures and 3 tables. Considering submission to ICLR 2026. Revision note: This version corrects inaccuracies in the authors' institutional affiliations. No technical content has been modified