多模态大模型

InternLM-XComposer2.5-Reward: A Simple Yet Effective Multi-Modal Reward Model

Yuhang Zang, Xiaoyi Dong, Pan Zhang, Yuhang Cao, Ziyu Liu, Shengyuan Ding, Shenxi Wu, Yubo Ma, Haodong Duan, Wenwei Zhang, Kai Chen, Dahua Lin, Jiaqi Wang

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； The Chinese University of Hong Kong（香港中文大学） ； Shanghai Jiao Tong University（上海交通大学） ； Nanjing University（南京大学） ； Fudan University（复旦大学） ； Nanyang Technological University（南洋理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

Comments ACL 2025 Findings

Customizing Visual-Language Foundation Models for Multi-modal Anomaly Detection and Reasoning

Xiaohao Xu, Yunkang Cao, Huaxin Zhang, Nong Sang, Xiaonan Huang

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.CL

Comments Best Student Paper Award at IEEE International Conference on Computer Supported Cooperative Work in Design, 2025

SafeVid: Toward Safety Aligned Video Large Multimodal Models

Yixu Wang, Jiaxin Song, Yifeng Gao, Xin Wang, Yang Yao, Yan Teng, Xingjun Ma, Yingchun Wang, Yu-Gang Jiang

机构 * Fudan University（复旦大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Multimodal Event Detection: Current Approaches and Defining the New Playground through LLMs and VLMs

Abhishek Dey, Aabha Bothera, Samhita Sarikonda, Rishav Aryan, Sanjay Kumar Podishetty, Akshay Havalgi, Gaurav Singh, Saurabh Srivastava

机构 * George Mason University（乔治·马歇尔大学） ； Amazon（亚马逊公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Accepted at NLDB 2025

Automated ARAT Scoring Using Multimodal Video Analysis, Multi-View Fusion, and Hierarchical Bayesian Models: A Clinician Study

Tamim Ahmed, Thanassis Rikakis

机构 * University of Southern California（南加州大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Enhancing Surgical Documentation through Multimodal Visual-Temporal Transformers and Generative AI

Hugo Georgenthum, Cristian Cosentino, Fabrizio Marozzo, Pietro Liò

专题命中 视频多模态 ：multimodal(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

MASR: Self-Reflective Reasoning through Multimodal Hierarchical Attention Focusing for Agent-based Video Understanding

Shiwen Cao, Zhaoxing Zhang, Junming Jiao, Juyi Qiao, Guowen Song, Rong Shen, Xiangbing Meng

机构 * Li Auto Inc.（利亚汽车公司） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

ResNetVLLM -- Multi-modal Vision LLM for the Video Understanding Task

Ahmad Khalil, Mahmoud Khalil, Alioune Ngom

机构 * University of Windsor（温莎大学） 纠错

专题命中 视频多模态 ：multi-modal(title)；cross-modal(abstract)；分类 cs.CV、cs.AI

ResNetVLLM-2: Addressing ResNetVLLM's Multi-Modal Hallucinations

Ahmad Khalil, Mahmoud Khalil, Alioune Ngom

机构 * University of Windsor（温莎大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Toward Aligning Human and Robot Actions via Multi-Modal Demonstration Learning

Azizul Zahid, Jie Fan, Farong Wang, Ashton Dy, Sai Swaminathan, Fei Liu

机构 * University of Tennessee Knoxville（田纳西大学诺克斯维尔分校） ； Istituto Italiano di Tecnologia（意大利技术研究院） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV、cs.AI

Comments ICRA'25 Workshop: Human-Centered Robot Learning in the Era of Big Data and Large Models

Leveraging multimodal explanatory annotations for video interpretation with Modality Specific Dataset

Elisa Ancarani, Julie Tores, Lucile Sassatelli, Rémy Sun, Hui-Yin Wu, Frédéric Precioso

机构 * Université Côte d’Azur（蔚蓝海岸大学） ； CNRS（法国国家科学研究中心） ； Inria（法国国家信息与自动化研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

Comments 6 pages, 8 Figures

AsyReC: A Multimodal Graph-based Framework for Spatio-Temporal Asymmetric Dyadic Relationship Classification

Wang Tang, Fethiye Irmak Dogan, Linbo Qing, Hatice Gunes

机构 * University of Cambridge（剑桥大学） ； Sichuan University（四川大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

Advancing Egocentric Video Question Answering with Multimodal Large Language Models

Alkesh Patel, Vibhav Chitalia, Yinfei Yang

机构 * Apple（苹果公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 8 pages

ContextIQ: A Multimodal Expert-Based Video Retrieval System for Contextual Advertising

Ashutosh Chaubey, Anoubhav Agarwaal, Sartaki Sinha Roy, Aayush Agrawal, Susmita Ghose

机构 * Anoki Inc.（安诺基公司） ； University of Southern California（南加州大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Published at WACV 2025

Evaluating Multimodal Language Models as Visual Assistants for Visually Impaired Users

Antonia Karamolegkou, Malvina Nikandrou, Georgios Pantazopoulos, Danae Sanchez Villegas, Phillip Rust, Ruchira Dhar, Daniel Hershcovich, Anders Søgaard

机构 * University of Copenhagen（哥本哈根大学） ； Heriot-Watt University（赫瑞瓦特大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL、cs.AI

EPAM-Net: An Efficient Pose-driven Attention-guided Multimodal Network for Video Action Recognition

Ahmed Abdelkawy, Asem Ali, Aly Farag

机构 * University of Louisville（路易斯维尔大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Journal ref Neurocomputing, Volume 633, 7 June 2025, 129781

CLIMB: Data Foundations for Large Scale Multimodal Clinical Foundation Models

Wei Dai, Peilin Chen, Malinda Lu, Daniel Li, Haowen Wei, Hejie Cui, Paul Pu Liang

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） ； Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Context-aware Multimodal AI Reveals Hidden Pathways in Five Centuries of Art Evolution

Jin Kim, Byunghwee Lee, Taekho You, Jinhyuk Yun

机构 * Soongsil University（崇实大学） ； Korea Advanced Institute of Science and Technology（韩国科学技术院） ； Indiana University（印第安纳大学） ； Pohang University of Science and Technology（浦项科技大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 30 pages, 4 figures. Some example paintings are blurred to avoid potential copyright violations

V-Stylist: Video Stylization via Collaboration and Reflection of MLLM Agents

Zhengrong Yue, Shaobin Zhuang, Kunchang Li, Yanbo Ding, Yali Wang

机构 * Shanghai Jiao Tong University（上海交通大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； University of Chinese Academy of Sciences（中国科学院大学） 纠错

专题命中 视频多模态 ：MLLM(title)；multi-modal(abstract)；分类 cs.CV、cs.AI

Comments CVPR 2025

M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning

Kaushik Roy, Akila Dissanayake, Brendan Tidd, Peyman Moghadam

机构 * CSIRO（联邦科学与工业研究组织） ； DATA61 ； Queensland University of Technology（昆士兰科技大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV、cs.AI

Comments IEEE ICRA 2025

Magma: A Foundation Model for Multimodal AI Agents

Jianwei Yang, Reuben Tan, Qianhui Wu, Ruijie Zheng, Baolin Peng, Yongyuan Liang, Yu Gu, Mu Cai, Seonghyeon Ye, Joel Jang, Yuquan Deng, Lars Liden, Jianfeng Gao

机构 * Microsoft Research（微软研究院） ； University of Maryland（马里兰大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； KAIST（韩国科学技术院） ； University of Washington（华盛顿大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 29 pages, 16 figures, technical report from MSR

Can Multimodal LLMs do Visual Temporal Understanding and Reasoning? The answer is No!

Mohamed Fazli Imam, Chenyang Lyu, Alham Fikri Aji

机构 * Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Alibaba International Digital Commerce（阿里巴巴国际数字商业） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Comments Our dataset can be found at \url{https://huggingface.co/datasets/fazliimam/temporal-vqa}

VideoWebArena: Evaluating Long Context Multimodal Agents with Video Understanding Web Tasks

Lawrence Jang, Yinheng Li, Dan Zhao, Charles Ding, Justin Lin, Paul Pu Liang, Rogerio Bonatti, Kazuhito Koishida

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） ； Microsoft（微软公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Interpretable Concept-based Deep Learning Framework for Multimodal Human Behavior Modeling

Xinyu Li, Marwa Mahmoud

机构 * School of Computing Science, University of Glasgow（格拉斯哥大学计算科学学院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

MuJo: Multimodal Joint Feature Space Learning for Human Activity Recognition

Stefan Gerd Fritsch, Cennet Oguz, Vitor Fortes Rey, Lala Ray, Maximilian Kiefer-Emmanouilidis, Paul Lukowicz

机构 * DFKI（德国人工智能研究中心） ； RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道莱茵-普法尔茨大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Exploring the Role of Explicit Temporal Modeling in Multimodal Large Language Models for Video Understanding

Yun Li, Zhe Liu, Yajing Kong, Guangrui Li, Jiyuan Zhang, Chao Bian, Feng Liu, Lina Yao, Zhenbang Sun

机构 * The University of Melbourne（墨尔本大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.CL

Cross-Modal Transfer from Memes to Videos: Addressing Data Scarcity in Hateful Video Detection

Han Wang, Rui Yang Tan, Roy Ka-Wei Lee

机构 * Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV、cs.MM

Comments 10 pages, 4 figures, THE WEB CONFERENCE 2025

YETI (YET to Intervene) Proactive Interventions by Multimodal AI Agents in Augmented Reality Tasks

Saptarashmi Bandyopadhyay, Vikas Bahirwani, Lavisha Aggarwal, Bhanu Guda, Lin Li, Andrea Colaco

机构 * University of Maryland（马里兰大学） ； Google（谷歌公司） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments Preprint

GAF-FusionNet: Multimodal ECG Analysis via Gramian Angular Fields and Split Attention

Jiahao Qin, Feng Liu

机构 * Xi’an Jiaotong-Liverpool University（西交利物浦大学） ； University of Liverpool（利物浦大学） ； Shanghai Jiao Tong University（上海交通大学） ； East China Normal University（华东师范大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.AI

Comments 14 pages, 1 figure, accepted by ICONIP 2024

VG-TVP: Multimodal Procedural Planning via Visually Grounded Text-Video Prompting

Muhammet Furkan Ilaslan, Ali Koksal, Kevin Qinhong Lin, Burak Satar, Mike Zheng Shou, Qianli Xu

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV、cs.MM

Comments Accepted for The 39th Annual AAAI Conference on Artificial Intelligence 2025 in Main Track, 19 pages, 24 figures