多模态大模型

SketchVL: Policy Optimization via Fine-Grained Credit Assignment for Chart Understanding and More

SketchVL：通过细粒度信用分配进行政策优化以实现图表理解和更多

Muye Huang, Lingling Zhang, Yifei Li, Yaqiang Wu, Jun Liu

机构 * School of Computer Science and Technology, Xi’an Jiaotong University, China（计算机科学与技术学院，西安交通大学） ； MOE KLINNS Lab, Xi’an Jiaotong University, China（教育部KLINNS实验室，西安交通大学） ； Zhongguancun Academy, Beijing, China（中关村学院，北京） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 SketchVL通过细粒度信用分配优化，提升多模态大语言模型在图表理解和多领域推理中的性能。

CounterVid: Counterfactual Video Generation for Mitigating Action and Temporal Hallucinations in Video-Language Models

CounterVid: 通过生成反事实视频缓解视频-语言模型中动作和时间幻觉

Tobia Poppi, Burak Uzkent, Amanmeet Garg, Lucas Porto, Garin Kessler, Yezhou Yang, Marcella Cornia, Lorenzo Baraldi, Rita Cucchiara, Florian Schiffers

机构 * University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学） ； University of Pisa（帕尔马大学） ； Amazon Prime Video（亚马逊Prime视频） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV、cs.CL、cs.AI

AI总结 CounterVid通过生成反事实视频缓解视频-语言模型中动作和时间幻觉问题，提出反事实视频生成框架和MixDPO方法，提升时间推理和动作识别性能。

BHaRNet: Reliability-Aware Body-Hand Modality Expertized Networks for Fine-grained Skeleton Action Recognition

BHaRNet: 以可靠性为关注点的多模态专家化网络用于细粒度骨骼动作识别

Seungyeon Cho, Tae-kyun Kim

机构 * School of Computing, KAIST（韩国釜山国立大学计算机学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 BHaRNet通过可靠性建模和多模态整合，提升细粒度骨骼动作识别的鲁棒性和准确性。

Comments 16 pages; 8 figures. Extension of previous conference paper. Project page: https://github.com/VinnyCSY/BHaRNet

MambaSeg: Harnessing Mamba for Accurate and Efficient Image-Event Semantic Segmentation

MambaSeg: 利用Mamba实现准确且高效的图像事件语义分割

Fuqiang Gu, Yuanke Li, Xianlei Long, Kangping Ji, Chao Chen, Qingyi Gu, Zhenliang Ni

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 MambaSeg通过双分支框架和双维交互模块，实现高效准确的多模态语义分割，适用于快速运动和低光条件下的图像事件分割任务。

Comments Accepted by AAAI 2026

VTAO-BiManip: Masked Visual-Tactile-Action Pre-training with Object Understanding for Bimanual Dexterous Manipulation

VTAO-BiManip: 带物体理解的遮蔽视觉-触觉-动作预训练用于双臂灵巧操作

Zhengnan Sun, Zhaotai Shi, Jiayin Chen, Qingtao Liu, Yu Cui, Qi Ye, Jiming Chen

机构 * College of Control Science and Engineering, Zhejiang University, Hangzhou, 310027, China（浙江大学控制科学与工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 VTAO-BiManip通过结合视觉-触觉-动作预训练与物体理解，提升双臂灵巧操作的课程强化学习效果，实现超过现有方法20%的成功率。

KlingAvatar 2.0 Technical Report

KlingAvatar 2.0 技术报告

Kling Team, Jialu Chen, Yikang Ding, Zhixue Fang, Kun Gai, Yuan Gao, Kang He, Jingyun Hua, Boyuan Jiang, Mingming Lao, Xiaohan Li, Hui Liu, Jiwen Liu, Xiaoqiang Liu, Yuan Liu, Shun Lu, Yongsen Mao, Yingchao Shao, Huafeng Shi, Xiaoyu Shi, Peiqin Sun, Songlin Tang, Pengfei Wan, Chao Wang, Xuebo Wang, Haoxian Zhang, Yuanxing Zhang, Yan Zhou

机构 * Kuaishou Technology（快手科技） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

AI总结 KlingAvatar 2.0 通过时空级联框架和多模态指令融合技术，实现了高效且高质量的长视频生成，提升了视觉清晰度和多模态对齐能力。

Comments 14 pages, 7 figures

Seeing through Imagination: Learning Scene Geometry via Implicit Spatial World Modeling

通过想象看见：通过隐式空间世界建模学习场景几何

Meng Cao, Haokun Lin, Haoyuan Li, Haoran Tang, Rongtao Xu, Dong An, Xue Liu, Ian Reid, Xiaodan Liang

机构 * MBZUAI ； SYSU（南方科技大学） ； PKU（北京大学） ； Spatialtemporal AI（时空人工智能） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 本文提出MILO和RePE，通过隐式空间世界建模提升多模态大语言模型的空间推理能力。

Stepwise Schema-Guided Prompting Framework with Parameter Efficient Instruction Tuning for Multimedia Event Extraction

分步模式引导提示框架与参数高效指令微调用于多模态事件提取

Xiang Yuan, Xinrong Chen, Haochen Li, Hang Yang, Guanyu Wang, Weiping Li, Tong Mo

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.MM

AI总结 本文提出分步模式引导提示框架与参数高效指令微调方法，用于提升多模态事件提取任务的性能。

Comments Accepted by 2025 IEEE International Conference on Multimedia and Expo

Thinking With Bounding Boxes: Enhancing Spatio-Temporal Video Grounding via Reinforcement Fine-Tuning

通过边界框思考：通过强化微调提升空间时间视频定位

Xin Gu, Haoji Zhang, Qihang Fan, Jingxuan Niu, Zhipeng Zhang, Libo Zhang, Guang Chen, Fan Chen, Longyin Wen, Sijie Zhu

机构 * ByteDance Intelligent Creation（字节跳动智能创作） ； Tsinghua University（清华大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Shanghai Jiao Tong University（上海交通大学） ； Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

AI总结 STVG-o1通过强化微调提升空间时间视频定位性能，实现无需架构修改的先进结果。

MAIF: Enforcing AI Trust and Provenance with an Artifact-Centric Agentic Paradigm

MAIF：基于 artifacts 的代理范式强化 AI 可信度与溯源

Vineeth Sai Narajala, Manish Bhatt, Idan Habler, Ronald F. Del Rosario, Ads Dawson

机构 * Security Researcher Cisco（安全研究员 希思科） ； Researcher OWASP/Project Kuiper Security（研究员 OWASP/项目 Kuiper 安全） ； Adversarial AI Security Research Cisco（对抗性AI安全研究 希思科） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.AI

AI总结 MAIF 通过以 artifacts 为中心的代理范式，解决 AI 的可信度、安全性和问责问题，实现数据的主动信任执行和高效处理。

Comments 7 Pages, 2 Figures, 6 Tables, Repo: https://github.com/vineethsai/maifscratch-1, Added additional Author and fixed Citations

AdaVideoRAG: Omni-Contextual Adaptive Retrieval-Augmented Efficient Long Video Understanding

AdaVideoRAG：多情境自适应检索增强高效长视频理解

Zhucun Xue, Jiangning Zhang, Xurong Xie, Yuxuan Cai, Yong Liu, Xiangtai Li, Dacheng Tao

机构 * Zhejiang University（浙江大学） ； Youtu Lab, Tencent（腾讯优图实验室） ； Huazhong University of Science and Technolog（华中科技大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

AI总结 AdaVideoRAG通过自适应检索增强框架提升长视频理解效率与准确性，支持多层级知识检索与深度语义分析。

Comments NeurIPS 2025

ViSS-R1: Self-Supervised Reinforcement Video Reasoning

Bo Fang, Yuxin Song, Qiangqiang Wu, Haoyuan Sun, Wenhao Wu, Antoni B. Chan

机构 * City University of Hong Kong（香港城市大学） ； Baidu Inc.（百度公司） ； Tsinghua University（清华大学） ； The University of Sydney（悉尼大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Our paper was initially titled "Video-SSR1: Self-Supervised Reinforcement Video Reasoning." Upon noticing its close resemblance to the title of a recently released paper, we have decided to rename our work as "ViSS-R1."

Causality Matters: How Temporal Information Emerges in Video Language Models

Yumeng Shi, Quanyu Long, Yin Wu, Wenya Wang

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted to AAAI 2026

Language-Guided Graph Representation Learning for Video Summarization

Wenrui Li, Wei Han, Hengyu Man, Wangmeng Zuo, Xiaopeng Fan, Yonghong Tian

机构 * Department of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术系） ； Harbin Institute of Technology Suzhou Research Institute（哈尔滨工业大学苏州研究所） ； School of AI for Science, the Shenzhen Graduate School, Peking University（北京大学人工智能科学学院、深圳研究生院） ； Peng Cheng Laboratory（鹏城实验室） ； School of Computer Science, Peking University（北京大学计算机学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；分类 cs.CV

Comments Accepted by IEEE TPAMI

DEFT-LLM: Disentangled Expert Feature Tuning for Micro-Expression Recognition

Ren Zhang, Huilai Li, Chao qi, Guoliang Xu, Tianyu Zhou, Wei wei, Jianqin Yin

机构 * College of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications（智能工程与自动化学院，北京邮电大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Learning to Tell Apart: Weakly Supervised Video Anomaly Detection via Disentangled Semantic Alignment

Wenti Yin, Huaxin Zhang, Xiang Wang, Yuqing Lu, Yicheng Zhang, Bingquan Gong, Jialong Zuo, Li Yu, Changxin Gao, Nong Sang

专题命中 视频多模态 ：multimodal(abstract)；multimodal foundation model(abstract)；分类 cs.CV

Comments Accepted to AAAI 2026. Code is available at https://github.com/lessiYin/DSANet

VideoChat-R1: Enhancing Spatio-Temporal Perception via Reinforcement Fine-Tuning

Xinhao Li, Ziang Yan, Desen Meng, Lu Dong, Xiangyu Zeng, Yinan He, Yali Wang, Yu Qiao, Yi Wang, Limin Wang

机构 * Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） ； Zhejiang University（浙江大学） ； University of Science and Technology of China（中国科学技术大学） ； Shanghai Innovation Institute（上海创新研究院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Vote-in-Context: Turning VLMs into Zero-Shot Rank Fusers

Mohamed Eltahir, Ali Habibullah, Lama Ayash, Tanveer Hussain, Naeemullah Khan

机构 * King Abdullah University of Science and Technology (KAUST)（卡布斯大学） ； King Khalid University (KKU)（国王 Khalid 大学） ； Edge Hill University（埃德希尔大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；cross-modal(abstract)；分类 cs.CV

Aligning Effective Tokens with Video Anomaly in Large Language Models

Yingxian Chen, Jiahui Liu, Ruidi Fan, Yanwei Li, Chirui Chang, Shizhen Zhao, Wilton W. T. Fok, Xiaojuan Qi, Yik-Chung Wu

机构 * The University of Hong Kong（香港大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

PixelRefer: A Unified Framework for Spatio-Temporal Object Referring with Arbitrary Granularity

Yuqian Yuan, Wenqiao Zhang, Xin Li, Shihao Wang, Kehan Li, Wentong Li, Jun Xiao, Lei Zhang, Beng Chin Ooi

机构 * Zhejiang University（浙江大学） ； DAMO Academy, Alibaba Group（阿里云图研究院） ； Hupan Lab（鸿篇实验室） ； The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments 22 pages, 13 figures

VTimeCoT: Thinking by Drawing for Video Temporal Grounding and Reasoning

Jinglei Zhang, Yuanfan Guo, Rolandos Alexandros Potamias, Jiankang Deng, Hang Xu, Chao Ma

机构 * Shanghai Jiao Tong University（上海交通大学） ； Noah’s Ark Lab（诺亚实验室） ； Imperial College London（伦敦帝国理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted by ICCV 2025

PIA: Deepfake Detection Using Phoneme-Temporal and Identity-Dynamic Analysis

Soumyya Kanti Datta, Tanvi Ranga, Chengzhe Sun, Siwei Lyu

机构 * University at Buffalo, SUNY Buffalo, NY, USA（布法罗大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；audio-visual(abstract)；分类 cs.CV

Spatio-Temporal LLM: Reasoning about Environments and Actions

Haozhen Zheng, Beitong Tian, Mingyuan Wu, Zhenggang Tang, Klara Nahrstedt, Alex Schwing

机构 * University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Code and data are available at https://zoezheng126.github.io/STLLM-website/

VideoAds for Fast-Paced Video Understanding

Zheyuan Zhang, Monica Dou, Linkai Peng, Hongyi Pan, Ulas Bagci, Boqing Gong

机构 * Northwestern University（西北大学） ； Boston University（波士顿大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.CV

Comments ICCV2025

CaRDiff: Video Salient Object Ranking Chain of Thought Reasoning for Saliency Prediction with Diffusion

Yolo Yunlong Tang, Gen Zhan, Li Yang, Yiting Liao, Chenliang Xu

机构 * ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted to AAAI 2025

Flow4Agent: Long-form Video Understanding via Motion Prior from Optical Flow

Ruyang Liu, Shangkun Sun, Haoran Tang, Ge Li, Wei Gao

机构 * School of Electronic and Computer Engineering, Shenzhen Graduate School, 2 Peng Cheng LaboratoryPeking University（1 电子与计算机工程学院，深圳研究生院，2 深圳鹏城实验室，北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted to ICCV' 2025

UniVid: The Open-Source Unified Video Model

Jiabin Luo, Junhui Lin, Zeyu Zhang, Biao Wu, Meng Fang, Ling Chen, Hao Tang

机构 * Peking University（北京大学） ； AI Geeks ； Australian Artificial Intelligence Institute（澳大利亚人工智能研究所） 纠错

专题命中 视频多模态 ：MLLM(abstract)；cross-modal(abstract)；分类 cs.CV

StreamForest: Efficient Online Video Understanding with Persistent Event Memory

Xiangyu Zeng, Kefan Qiu, Qingyu Zhang, Xinhao Li, Jing Wang, Jiaxin Li, Ziang Yan, Kun Tian, Meng Tian, Xinhai Zhao, Yi Wang, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Zhejiang University（浙江大学） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； Yinwang Intelligent Tech.（云网智能科技） 纠错

专题命中 视频多模态 ：multimodal(abstract)；MLLM(abstract)；分类 cs.CV

Comments Accepted as a Spotlight at NeurIPS 2025

Towards General Computer Control with Hierarchical Agents and Multi-Level Action Spaces

Zihan Dong, Xinyu Fan, Zixiang Tang, Yunqing Li

机构 * The University of Tokyo（东京大学） ； Lenovo US（联想美国） ； Advanced AI Technology Center（高级人工智能技术中心） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；MLLM(abstract)；分类 cs.AI

Foundation Model for Skeleton-Based Human Action Understanding

Hongsong Wang, Wanjiang Weng, Junbo Wang, Fang Zhao, Guo-Sen Xie, Xin Geng, Liang Wang

机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China（新一代人工智能技术及交叉应用关键实验室（东南大学），中华人民共和国教育部，中国） ； School of Software, Northwestern Polytechnical University（西北工业大学软件学院） ； State Key Laboratory for Novel Software Technology and School of Intelligence Science and Technology, Nanjing University（新型软件技术国家重点实验室和南京大学智能科学与技术学院） ； School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；分类 cs.CV

Comments Accepted by TPAMI, Code is available at: https://github.com/wengwanjiang/FoundSkelModel