多模态大模型

MamFusion: Multi-Mamba with Temporal Fusion for Partially Relevant Video Retrieval

Xinru Ying, Jiaqi Mo, Jingyang Lin, Canghong Jin, Fangfang Wang, Lina Wei

机构 * Hangzhou City University（杭州城市大学） ； University of Wisconsin–Madison（威斯康星大学麦迪逊分校） ； Hangzhou Normal University（杭州师范大学） ； Zhejiang Provincial Engineering Research Center for Real-Time SmartTech in Urban Security Governance（浙江省实时智能安防技术工程研究中心） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Adversarial Attacks on Robotic Vision Language Action Models

Eliot Krzysztof Jones, Alexander Robey, Andy Zou, Zachary Ravichandran, George J. Pappas, Hamed Hassani, Matt Fredrikson, J. Zico Kolter

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

OpenFace 3.0: A Lightweight Multitask System for Comprehensive Facial Behavior Analysis

Jiewen Hu, Leena Mathur, Paul Pu Liang, Louis-Philippe Morency

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments IEEE FG 2025, \c{opyright} 2025 IEEE. Personal use of this material is permitted. Permission from IEEE must be obtained for all other uses, in any current or future media, including reprinting/republishing this material for advertising or promotional purposes, creating new collective works, for resale or redistribution to servers or lists, or reuse of any copyrighted component of this work

Video-Level Language-Driven Video-Based Visible-Infrared Person Re-Identification

Shuang Li, Jiaxu Leng, Changjiang Kuang, Mingpi Tan, Xinbo Gao

机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications（重庆邮电大学计算机科学与技术学院） ； Chongqing Institute for Brain and Intelligence（重庆脑科学与智能技术研究院） ； Guangyang Bay Laboratory（广阳湾实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments Accepted by IEEE TIFS

Video Motion Graphs

Haiyang Liu, Zhan Xu, Fa-Ting Hong, Hsin-Ping Huang, Yi Zhou, Yang Zhou

机构 * The University of Tokyo（东京大学） ； Adobe Research（Adobe研究） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments 14 pages,10 figures

Reinforcement Learning Tuning for VideoLLMs: Reward Design and Data Efficiency

Hongyu Li, Songhao Han, Yue Liao, Junfeng Luo, Jialin Gao, Shuicheng Yan, Si Liu

机构 * BUAA（北京航空航天大学） ； NUS（国立大学新加坡） ； Meituan（美团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

VideoCap-R1: Enhancing MLLMs for Video Captioning via Structured Thinking

Desen Meng, Rui Huang, Zhilin Dai, Xinhao Li, Yifan Xu, Jun Zhang, Zhenpeng Huang, Meng Zhang, Lingshu Zhang, Yi Liu, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Honor Device Co., Ltd（荣誉设备有限公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

FlexSelect: Flexible Token Selection for Efficient Long Video Understanding

Yunzhu Zhang, Yu Lu, Tianyi Wang, Fengyun Rao, Yi Yang, Linchao Zhu

机构 * The College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） ； WeChat Vision, Tencent Inc（腾讯公司微信视觉团队） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

SkyReels-Audio: Omni Audio-Conditioned Talking Portraits in Video Diffusion Transformers

Zhengcong Fei, Hao Jiang, Di Qiu, Baoxuan Gu, Youqiang Zhang, Jiahua Wang, Jialin Bai, Debang Li, Mingyuan Fan, Guibin Chen, Yahui Zhou

机构 * Kunlun Inc.（昆仑公司） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

PCIE_Pose Solution for EgoExo4D Pose and Proficiency Estimation Challenge

Feng Chen, Kanokphan Lertniphonphan, Qiancheng Yan, Xiaohui Fan, Jun Xie, Tao Zhang, Zhepeng Wang

机构 * Lenovo Research（联想研究院） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Threading Keyframe with Narratives: MLLMs as Strong Long Video Comprehenders

Bo Fang, Wenhao Wu, Qiangqiang Wu, Yuxin Song, Antoni B. Chan

机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Baidu Inc.（百度公司） ； University of Sydney（悉尼大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

VAU-R1: Advancing Video Anomaly Understanding via Reinforcement Fine-Tuning

Liyun Zhu, Qixiang Chen, Xi Shen, Xiaodong Cun

机构 * Australian National University（澳大利亚国立大学） ； GVC Lab, Great Bay University（大湾大学GVC实验室） ； Intellindust AI Lab（Intellindust AI实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

UniViTAR: Unified Vision Transformer with Native Resolution

Limeng Qiao, Yiyang Gan, Bairui Wang, Jie Qin, Shuang Xu, Siqi Yang, Lin Ma

机构 * Meituan Project（美团项目） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

FocusChat: Text-guided Long Video Understanding via Spatiotemporal Information Filtering

Zheng Cheng, Rendong Wang, Zhicheng Wang

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments 11 pages, 4 figures

Cognitive Disentanglement for Referring Multi-Object Tracking

Shaofeng Liang, Runwei Guan, Wangwang Lian, Daizong Liu, Xiaolou Sun, Dongming Wu, Yutao Yue, Weiping Ding, Hui Xiong

机构 * Qingdao Institute of Software, College of Computer Science and Technology, China University of Petroleum (East China)（青岛软件研究所，计算机科学与技术学院，中国石油大学（华东）） ； Thrust of AI, Hong Kong University of Science and Technology (GuangZhou)（人工智能研究组，香港科学与技术大学（广州）） ； Shandong Key Laboratory of Intelligent Oil & Gas Industrial Software（山东省智能油气工业软件重点实验室） ； Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学） ； School of Automation, Southeast University（自动化学院，东南大学） ； School of Computer Science, Beijing Institute of Technology（计算机科学学院，北京理工大学） ； School of Artificial Intelligence and Computer Science, Nantong University（人工智能与计算机科学学院，南通大学） ； Thrust of Intelligent Transportation, Hong Kong University of Science and Technology (GuangZhou)（智能交通研究组，香港科学与技术大学（广州）） ； Department of Electrical Engineering and Electronics, University of Liverpool（电子工程与电子学院，利物浦大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

Comments 27 pages, 12 figures

HuMoCon: Concept Discovery for Human Motion Understanding

Qihang Fang, Chengcheng Tang, Bugra Tekin, Shugao Ma, Yanchao Yang

机构 * The University of Hong Kong（香港大学） ； Meta 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments 18 pages, 10 figures

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2025)

Decision Flow Policy Optimization

Jifeng Hu, Sili Huang, Siyuan Guo, Zhaogeng Liu, Li Shen, Lichao Sun, Hechang Chen, Yi Chang, Dacheng Tao

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

MMInference: Accelerating Pre-filling for Long-Context VLMs via Modality-Aware Permutation Sparse Attention

Yucheng Li, Huiqiang Jiang, Chengruidong Zhang, Qianhui Wu, Xufang Luo, Surin Ahn, Amir H. Abdi, Dongsheng Li, Jianfeng Gao, Yuqing Yang, Lili Qiu

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments Accepted at ICML 2025

Towards Reliable and Interpretable Traffic Crash Pattern Prediction and Safety Interventions Using Customized Large Language Models

Yang Zhao, Pu Wang, Yibo Zhao, Hongru Du, Hao Frank Yang

机构 * Center for Systems Science and Engineering（系统科学与工程中心） ； Johns Hopkins University（约翰霍普金斯大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CL

Comments Last revised 13 Feb 2025. Under review in Nature portfolio

SpaceR: Reinforcing MLLMs in Video Spatial Reasoning

Kun Ouyang, Yuanxin Liu, Haoning Wu, Yi Liu, Hao Zhou, Jie Zhou, Fandong Meng, Xu Sun

机构 * National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University（国家多媒体信息处理重点实验室，计算机学院，北京大学） ； Nanyang Technological University（南洋理工大学） ； WeChat AI, Tencent Inc., China（微信AI，腾讯公司，中国） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

VideoEval-Pro: Robust and Realistic Long Video Understanding Evaluation

Wentao Ma, Weiming Ren, Yiming Jia, Zhuofeng Li, Ping Nie, Ge Zhang, Wenhu Chen

机构 * University of Waterloo（滑铁卢大学） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） ； Shanghai University（上海大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

Comments Dataset: https://huggingface.co/datasets/TIGER-Lab/VideoEval-Pro, Project Webpage: https://tiger-ai-lab.github.io/VideoEval-Pro

Mitigating Hallucination in VideoLLMs via Temporal-Aware Activation Engineering

Jianfeng Cai, Wengang Zhou, Zongmeng Zhang, Jiale Hong, Nianji Zhan, Houqiang Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiaotong University（上海交通大学） ； Merchants Union Consumer Finance Company Limited 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

RGB-Event Fusion with Self-Attention for Collision Prediction

Pietro Bonazzi, Christian Vogt, Michael Jost, Haotong Qin, Lyes Khacef, Federico Paredes-Valles, Michele Magno

机构 * ETH Zürich（苏黎世联邦理工学院） ； Sony Semiconductor Solutions Europe, Sony Europe B.V.（索尼半导体欧洲解决方案，索尼欧洲有限公司） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments arXiv admin note: text overlap with arXiv:2504.10400

NVSPolicy: Adaptive Novel-View Synthesis for Generalizable Language-Conditioned Policy Learning

Le Shi, Yifei Shi, Xin Xu, Tenglong Liu, Junhua Xi, Chengyuan Chen

机构 * College of Intelligence Science and Technology, National University of Defense Technology（智能科学与技术学院，国防科技大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

ReSurgSAM2: Referring Segment Anything in Surgical Video via Credible Long-term Tracking

Haofeng Liu, Mingqi Gao, Xuxiao Luo, Ziyue Wang, Guanyi Qin, Junde Wu, Yueming Jin

机构 * National University of Singapore（新加坡国立大学） ； Southern University of Science and Technology（南方科技大学） ； University of Oxford（牛津大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

Comments Early accepted by MICCAI 2025

Beyond Patterns: Harnessing Causal Logic for Autonomous Driving Trajectory Prediction

Bonan Wang, Haicheng Liao, Chengyue Wang, Bin Rao, Yanchen Guan, Guyang Yu, Jiaxun Zhang, Songning Lai, Chengzhong Xu, Zhenning Li

机构 * University of Macau（澳门大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

Journal ref IJCAI 2025

SmartPilot: A Multiagent CoPilot for Adaptive and Intelligent Manufacturing

Chathurangi Shyalika, Renjith Prasad, Alaa Al Ghazo, Darssan Eswaramoorthi, Harleen Kaur, Sara Shree Muthuselvam, Amit Sheth

机构 * Artificial Intelligence Institute University of South Carolina（人工智能研究所南卡罗来纳大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

Comments 8 pages, 8 figures, 4 tables, IEEE Conference on Artificial Intelligence (IEEE CAI) 2025

GTransPDM: A Graph-embedded Transformer with Positional Decoupling for Pedestrian Crossing Intention Prediction

Chen Xie, Ciyun Lin, Xiaoyu Zheng, Bowen Gong, Antonio M. López

机构 * Department of Traffic Information and Control Engineering, Jilin University（交通信息与控制工程系，吉林大学） ； BIT-Barcelona Innovative Transportation Research Group, Civil Engineering School, UPC Barcelona Tech（巴塞罗那创新交通研究组，土木工程学院，UPC巴塞罗那技术学院） ； Computer Vision Center (CVC), Computer Science Department, Universitat Autònoma de Barcelona (UAB)（计算机视觉中心（CVC），计算机科学系，巴塞罗那自治大学（UAB）） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

Comments IEEE SPL

Expanding Event Modality Applications through a Robust CLIP-Based Encoder

Sungheon Jeong, Hanning Chen, Sanggeon Yun, Suhyeon Cho, Wenjun Huang, Xiangjian Liu, Mohsen Imani

机构 * University of California, Irvine（加州大学伊万斯分校） ； Pusan National University（釜山国立大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

The Influence of Text Variation on User Engagement in Cross-Platform Content Sharing

Yibo Hu, Yiqiao Jin, Meng Ye, Ajay Divakaran, Srijan Kumar

机构 * Georgia Institute of Technology（佐治亚理工学院） ； SRI International（SRI国际） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI