多模态大模型

Overview of Tencent Multi-modal Ads Video Understanding Challenge

Zhenzhi Wang, Liyu Wu, Zhimin Li, Jiangfeng Xiong, Qinglin Lu

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

Comments 8-page extended version of our challenge paper in ACM MM 2021. It presents the overview of grand challenge "Multi-modal Ads Video Understanding" in ACM MM 2021. Our grand challenge is also the Tencent Advertising Algorithm Competition (TAAC) 2021

Factorized Inference in Deep Markov Models for Incomplete Multimodal Time Series

Tan Zhi-Xuan, Harold Soh, Desmond C. Ong

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

Comments 8 pages, 4 figures, accepted to AAAI 2020, code available at: https://github.com/ztangent/multimodal-dmm

Multi-Modal Obstacle Detection in Unstructured Environments with Conditional Random Fields

Mikkel Kragh, James Underwood

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract,comments)；分类 cs.CV

Comments This is the accepted version of the following article: Kragh M, Underwood J. Multimodal obstacle detection in unstructured environments with conditional random fields. J Field Robotics. 2019, 1-20., which has been published in final form at https://doi.org/10.1002/rob.21866

Joint Surgical Gesture and Task Classification with Multi-Task and Multimodal Learning

Duygu Sarikaya, Khurshid A. Guru, Jason J. Corso

专题命中 视频多模态 ：multimodal(title,comments)；multi-modal(abstract)；分类 cs.CV

Comments Keywords Robot-Assisted Surgery, Surgical Gesture Classification, Multi-task Learning, Multimodal Learning, Long Short-term Recurrent Neural Networks, Convolutional Neural Networks

Multimodal Sparse Coding for Event Detection

Youngjune Gwon, William Campbell, Kevin Brady, Douglas Sturim, Miriam Cha, H. T. Kung

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Comments Multimodal Machine Learning Workshop at NIPS 2015

NARU: A Benchmark for NARrative Evolution and Cultural Nuance Understanding in Japanese Extreme Long Video

NARU：用于理解日语超长视频中叙事演变与文化细微差别的基准

Yuheng Huang, Jianlang Chen, Jiayang Song, Hua Qi, Aza Kai, Vincent Markert, Edison Marrese-Taylor, Jianjun Zhao, Lei Ma

机构 * The University of Tokyo（东京大学） ； Kyushu University（九州大学） ； Macau University of Science and Technology（澳门科技大学） ； Infinimind Japan Inc.（Infinimind日本公司） ； University of Alberta（阿尔伯塔大学） 纠错

专题命中 视频多模态 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.AI、cs.MM

AI总结 该研究推出NARU基准，涵盖155个146.8小时日语视频的1481个问题，评估模型在长程叙事整合与文化推理上的局限，为MLLM开发提供测试平台。

Comments Yuheng Huang and Jianlang Chen contributed equally to this work. More details available on the project's website https://ma-labo.github.io/naru/ and https://infinimind.io/en/company/news/2026/narubench-release

Beyond Trial-and-Error: Agentic Optimization for Image-to-Video Adherence

超越试错：面向图像到视频一致性的智能体优化

Aman Tyagi, Hemanth Boinpally, Jonathan Chen, Douglas Gebert, Steven Hickson

机构 * Google Cloud（谷歌云） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.AI、cs.MM

AI总结 针对图像到视频模型试错效率低的问题，提出Agentic Self-Improvement框架，通过两阶段优化提升视频与文本一致性，生成视频胜率达69%，为视频生成模型提供实用可控的优化方法。

HFS: Holistic Query-Aware Frame Selection for Efficient Video Understanding

HFS: 为高效视频推理的全局查询感知帧选择

Yiqing Yang, Yun Li, Daiqing Qi, Lehan Yang, Tianlong Wang, Wenhao Zhang, Sheng Li, Kin-man Lam

机构 * The Hong Kong Polytechnic University（香港理工大学） 纠错

专题命中 视频多模态 ：MLLM(abstract,abstract_cn)；multimodal(abstract)；分类 cs.CV、cs.CL、cs.MM

AI总结 HFS提出一种端到端可训练的帧选择框架，通过任务自适应方法提升视频推理效率。

Comments Accepted to the Main Track of ACM Multimedia 2026 (ACM MM '26)

CARVE: Cross-Slice Anisotropic Reallocation of Visual Evidence for Efficient 3D Medical Volume Understanding

CARVE：用于高效3D医学体积理解的视觉证据跨切片各向异性重分配

Zhenyu Yi, Qiang Hu, Zhenhao Li, Jiaxuan Zhao, Yusong Sun, Lichi Zhang

专题命中 视频多模态 ：MLLM(summary_cn,abstract_cn)；分类 cs.CV、cs.CL、cs.AI

AI总结 针对3D医学体积理解中切片式MLLM的视觉令牌冗余问题，提出无需训练的CARVE框架，通过跨切片各向异性重分配压缩80%令牌，在AMOS-MM等基准上性能优于现有方法。

Libra: Leveraging Temporal Images for Biomedical Radiology Analysis

Xi Zhang, Zaiqiao Meng, Jake Lever, Edmond S. L. Ho

机构 * Information Retrieval Group（信息检索组） ； AI4BioMed Lab（AI4BioMed实验室） ； School of Computing Science（计算科学学院） ； University of Glasgow（格拉斯哥大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；multi-modal(abstract)；MLLM(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments 30 pages, 5 figures, Adding Appendix

Journal ref Association for Computational Linguistics, 2025

Perceiver-VL: Efficient Vision-and-Language Modeling with Iterative Latent Attention

Zineng Tang, Jaemin Cho, Jie Lei, Mohit Bansal

专题命中 视频多模态 ：multimodal(abstract)；cross-modal(abstract)；image-text(abstract)；分类 cs.CV、cs.CL、cs.AI

Comments WACV 2023 (first two authors contributed equally)

Learning Where Outcomes Change:Credit-Addressable Reasoning for Multimodal Geometry

学习结果变化的位置：面向多模态几何的信用可寻址推理

Jiani Guo, Junjie Wang, Jie Wu, Pengxiang Zhao, Dongdong Zhang, Shaohan Huang, Yujiu Yang, Furu Wei

机构 * Tsinghua University（清华大学） ； Microsoft Research（微软研究院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 该研究针对多模态几何推理中现有方法的缺陷，提出信用可寻址推理，通过Code-CoT和CE-GRPO实现，在9个几何基准上平均准确率达76.04，优于对比模型，凸显协同设计的价值。

Toward Postural State Classification in Immersive VR with Multimodal Data and Explainability Analysis

基于多模态数据与可解释性分析的沉浸式VR姿态状态分类研究

Nipa Anjum, Md Irfan Pavel, Robert Gonzalez, Kevin Desai, Alberto Cordova, M. Rasel Mahmud, John Quarles

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本研究提出用MI-CNN模型结合多模态数据与SHAP可解释性分析，实现VR中平衡与不平衡姿态的二分类，准确率达96.76%，降维后仍保持良好性能，为安全VR系统提供支撑。

Comments Accepted in The 25th IEEE International Symposium on Mixed and Augmented Reality (ISMAR)

SynMulti: Synthetic-to-Real Learning for Multimodal Video Understanding

一站式：一个多模态视频理解统一合成数据管道

Tanzila Rahman, Renjie Liao, Leonid Sigal

机构 * University of British Columbia（不列颠哥伦比亚大学） ； Vector Institute for AI（向量人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出统一合成数据管道，用于生成多模态视频数据，支持多种任务格式，提升模型推理能力，并在视频物体计数、视觉问答和分割任务中验证了其有效性。

Comments 14 Pages, 4 Tables, 4 Figures

Multi-Modal Fusion of In-Situ Video Data and Process Parameters for Online Forecasting of Cookie Drying Readiness

Shichen Li, Chenhui Shao

机构 * Department of Mechanical Science and Engineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校机械科学与工程系） ； Department of Mechanical Engineering, University of Michigan（密歇根大学机械工程系） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

Comments 17 pages, 12 figures

Self-Reflective Multi-modal Reasoning for Short-Video Fake News Detection

用于短视频假新闻检测的自反思多模态推理

Pinjie Xu, Yuzhou Yang, Zhikai Tan, Qichao Ying, Zaiyang Yu, Ce Li, Zhenxing Qian

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.MM

AI总结 针对短视频假新闻检测的挑战，提出SRM-FND框架，通过自反思多模态推理及相关机制，在FakeSV和FakeTT数据集上实现优于强基线的检测性能。

Video-IFBench: Evaluating Instruction Following of Multimodal LLMs in Video Understanding Scenarios

Video-IFBench：评估多模态大语言模型在视频理解场景中的指令遵循能力

Hongbo Liu, Peixian Chen, Sihan Liu, Peiyuan Zhang, Kai Zou, Dian Zheng, Xiaoxing Hu, Yuhao Dong, Mengdan Zhang, Yunhang Shen, Haoyu Cao, Wei Liu, Weibo Gu, Xing Sun, Shengjie Zhao

机构 * TJU（天津大学） ； Tencent Youtu Lab（腾讯优图实验室） ； SJTU（上海交通大学） ； Tencent Hunyuan（腾讯混元） ； CUHK（香港中文大学） ； NTU（南洋理工大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文推出Video-IFBench基准，构建含四类模板的指令分类体系与半自动数据 pipeline，评估20余种MLLMs的视频指令遵循能力，发现当前模型在复杂指令上仍具挑战，推动相关研究。

Boosting Reasoning in Large Multimodal Models via Activation Replay

通过激活回放提升大多模态模型的推理能力

Yun Xing, Xiaobin Hu, Qingdong He, Jiangning Zhang, Shuicheng Yan, Shijian Lu, Yu-Gang Jiang

机构 * Nanyang Technological University（南洋理工大学） ； National University of Singapore（国立新加坡大学） ； Tencent Youtu Lab（腾讯云图实验室） ； Zhejiang University（浙江大学） ； Fudan University（复旦大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文通过激活回放方法提升大模型的多模态推理能力，通过操控低熵激活来增强推理性能，验证了该方法在数学、视觉代理和视频推理等场景中的有效性。

Comments CVPR 2026

Action-Aligned Retrieval with Pairwise Multimodal Reranking for Text-Based Person Anomaly Search

用于基于文本的人员异常搜索的动作对齐检索与成对多模态重排序

Thanh-Khoi Nguyen, Thanh-Nhan Vo, Trong-Thuan Nguyen, Minh-Triet Tran

机构 * University of Science, VNU-HCM（胡志明市国家大学科学大学） ； Vietnam National University, Ho Chi Minh City（胡志明市越南国家大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对基于文本的人员异常搜索中现有方法的局限，提出ActPair三阶段由粗到细框架，结合动作对齐检索与成对多模态重排序，在PAB测试集取得最优结果且可有效迁移至新数据集。

Comments Accepted to the AI City workshop @ ECCV 2026

Simplified Cross-Modal Calibration for Heterogeneous Event-RGB Stereo Systems

面向异构事件-RGB立体系统的简化跨模态标定

Nico Hessenthaler, Adam T. Müller, Nicolaj C. Stache

机构 * Center for Machine Learning Heilbronn University of Applied Sciences（海尔布隆应用科学大学机器学习中心） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 针对异构事件-RGB立体系统的标定瓶颈，提出无运动跨模态标定框架，简化流程且降低重投影误差，在机器人眼到手标定中具实用性。

Comments Accepted to the 37th British Machine Vision Conference (BMVC) 2026

UniMem: Unifying Multimodal Memory and Control for Vision-Language-Action Models

UniMem：统一视觉-语言-动作模型的多模态记忆与控制

Lars Osterberg, Maggie Wang, Mac Schwager

机构 * Stanford University（斯坦福大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 UniMem 是统一多模态记忆与控制的视觉-语言-动作模型框架，通过事件分类器、关键帧编码器等技术，在模拟和硬件任务中性能优于基线，推理更快、训练流程更简单。

Let the Bullets Fly: Multimodal Fake News Detection with Temporal-Aligned Generative Danmaku

让子弹飞：基于时间对齐生成式弹幕的多模态假新闻检测

Xiansheng Luo, Chaowei Zhang, Zewei Zhang, Yi Zhu, Jipeng Qiang

机构 * Yangzhou University（扬州大学） ； Auburn University（奥本大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 本文提出Genda生成式弹幕框架与DM-FEND检测模型，解决弹幕延迟导致的假新闻检测实时性问题，在FakeSV、FakeTT基准上性能优于现有最优方法，为多模态假新闻检测提供鲁棒方案。

VideoChat3: Fully Open Video MLLM for Efficient and Generalist Video Understanding

VideoChat3：用于高效通用视频理解的全开放视频多模态语言模型

Xinhao Li, Yuhan Zhu, Xiangyu Zeng, Yuhao Dong, Haoning Wu, Zhiqiu Zhang, Yuandong Yang, Changlian Ma, Qingyu Zhang, Yansong Shi, Xinyu Chen, Haoran Chen, Zizheng Huang, Jun Zhang, Kun Ouyang, Lin Sui, Ziang Yan, Yicheng Xu, Chenting Wang, Yinan He, Hongjie Zhang, Yi Wang, Yu Qiao, Yali Wang, Ziwei Liu, Kai Chen, Limin Wang

机构 * Nanjing University（南京大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanyang Technological University（南洋理工大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：MLLM(title,abstract)；分类 cs.CV

AI总结 研究针对视频理解开源模型局限，提出VideoChat3。通过I3D-ViT等提升效率，利用可扩展视频数据合成管道生成训练数据集提升泛化性，以4B参数在多基准测试中超越同等或更多参数的开源模型，实现泛化与计算效率平衡。

Action Anticipation at a Glimpse: To What Extent Can Multimodal Cues Replace Video?

瞬间动作预见：多模态线索能替代视频到何种程度？

Manuel Benavent-Lledo, Konstantinos Bacharidis, Victoria Manousaki, Konstantinos Papoutsakis, Antonis Argyros, Jose Garcia-Rodriguez

机构 * Universidad de Alicante（阿利坎特大学） ； Foundation for Research and Technology-Hellas（希腊基础研究与技术基金会） ； University of Crete（克里特大学） ； Hellenic Mediterranean University（希腊地中海大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 AAG通过结合单帧RGB特征与深度线索及先前动作信息，实现了多模态单帧动作预见，能与视频聚合基线和先进方法在教学活动数据集上竞争。

Comments Accepted in WACV 2026 - Applications Track

Journal ref 2026 IEEE/CVF Winter Conference on Applications of Computer Vision (WACV)

CLIPGaussian: Universal and Multimodal Style Transfer Based on Gaussian Splatting

Kornel Howil, Joanna Waczyńska, Piotr Borycki, Tadeusz Dziarmaga, Marcin Mazur, Przemysław Spurek

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

Comments Accepted to NeurIPS 2025

LUNG-KGMM: Knowledge-Guided Multimodal Learning for Lung Cancer Incidence Prediction

LUNG-KGMM：用于肺癌发病预测的知识引导多模态学习

Chunlei Yang, Shuyan Li, Zhong Cao

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本研究提出LUNG-KGMM知识引导多模态框架，整合多类数据与临床知识开展1-6年肺癌发病预测，经MIMIC及厦门队列验证，其性能优于现有方法且具备跨队列可迁移性。

Comments 22 pages, 4 figures, 7 tables, accepted by PRCV Oral

Journal ref The 9th Chinese Conference on Pattern Recognition and Computer Vision, PRCV2026

MME-VideoOCR: Evaluating OCR-Based Capabilities of Multimodal LLMs in Video Scenarios

MME-VideoOCR：评估多模态大语言模型在视频场景中基于OCR的能力

Yang Shi, Huanqian Wang, Wulin Xie, Huanyao Zhang, Lijie Zhao, Yi-Fan Zhang, Xinfeng Li, Chaoyou Fu, Zhuoer Wen, Wenting Liu, Zhuoran Zhang, Xinlong Chen, Bohan Zeng, Sihan Yang, Yushuo Guan, Zhang Zhang, Liang Wang, Haoxuan Li, Zhouchen Lin, Yuanxing Zhang, Pengfei Wan, Haotian Wang, Wenjing Yang

机构 * Kling Team（Kling团队） ； PKU（北京大学） ； THU（清华大学） ； CASIA（中国科学院自动化研究所） ； CUHKSZ（香港科技大学） ； NTU（国立台湾大学） ； NJU（南京大学） ； XJTU（吉林大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文推出MME-VideoOCR视频OCR基准，评估18个最先进MLLMs的视频OCR能力，发现现有模型在需视频整体理解的任务中表现有限，最优模型准确率仅73.7%，明确了高分辨率输入等对视频OCR的重要性。

Comments Accepted by NeurIPS 2025

Removing Temporal Note Redundancy Improves Multimodal Reinforcement Learning for Medicine

消除时间性笔记冗余可提升医学多模态强化学习性能

Chenran Weng, Joo Seung Lee, Malini Mahendra, Anil Aswani

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究针对机械通气决策的RL方法缺失笔记临床信息的问题，提出冗余感知多模态框架，通过两种策略去除笔记冗余，在ICU数据上显著提升了RL临床决策性能。

A Hierarchical Energy-Based Model for Multimodal Cognition

面向多模态认知的分层能量基模型

Subir Varma

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 该研究提出IM-LEPP多模态能量基模型，扩展单模态LEPP整合视觉与语言，能解释注意现象、复现心理语言学发现，还与Transformer模型形成可证伪对比并提出实验预测。

Comments 48 pages, 14 figures

Paths: Prompt-aware Spatio-temporal Transformer with Hierarchical Multi-modal Fusion for RGB-Event Video Person Re-Identification

Paths：面向RGB-Event视频行人重识别的感知提示的时空Transformer与分层多模态融合

Yakun Huo, Yingquan Wang, Yangyang Liu, Tianyu Yan, Yunzhi Zhuge, Pingping Zhang, Huchuan Lu

机构 * Dalian University of Technology（大连理工大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 针对现有RE-VReID方法时空建模解耦、多模态融合不足的问题，提出含MAB、PST、HMF模块的Paths框架，在三个基准上验证了有效性。

Comments Accepted by ACM MM2026. More modifications may be performed