多模态大模型

Multimodal and Multiscale Spatial-Temporal Semantic Search and Recommendation with AI Foundation Models

基于AI基础模型的多模态与多尺度时空语义搜索与推荐

Yuanyuan Tian, Wenwen Li, Xiao Chen, Michael Brook, Michael Brubaker, Anna Liljedahl, Chitta Baral

机构 * School of Geographical Sciences and Urban Planning, Arizona State University（地理科学与城市规划学院，亚利桑那州立大学） ； Alaska Native Tribal Health Consortium（阿拉斯加原住民部落健康联盟） ； Woodwell Climate Research Center（伍德沃德气候研究中心） ； School of Computing and Augmented Intelligence, Arizona State University（计算与增强智能学院，亚利桑那州立大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出融合大语言模型和视觉-语言模型的框架，通过CAMERA算法融合文本与视觉信息生成更丰富嵌入，以及ASTRA算法结合尺度依赖的时空相关性与语义相似性进行重排序，在环境事件文档检索中优于单模态方法。

Comments 17 pages, accepted for publication in the ACM Transactions on Spatial Algorithms and Systems

Learning to Deny: Action Denial in Multimodal Large Language Models

学习拒绝：多模态大语言模型中的动作否定

Raiyaan Abdullah, Shehreen Azad, Yogesh Singh Rawat

机构 * Institute of Artificial Intelligence, University of Central Florida（中佛罗里达大学人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出UCF101-AD基准测试，评估多模态大语言模型在强上下文线索下识别动作缺失的能力，发现模型倾向于肯定动作而非验证其真实性，并通过因果图CausalAct减少误报。

Comments Accepted to ECCV 2026 main conference

Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance

肩后视频监控中多模态触摸检测的实证评估

Mohammadreza Rashidi

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 本文评估了一种多模态触摸检测框架，用于从肩后视频中重建移动键盘按键事件，但实验表明在非受控场景下无法可靠重建击键。

Comments 9 pages, 5 figures, 6 tables

RPM-Distill: Physiology-guided Adaptive Cross-modal Distillation for Robust Remote Physiological Measurement

RPM-Distill：生理引导的自适应跨模态蒸馏用于鲁棒的远程生理测量

Jiyao Wang, Qingyong Hu, Duoxun Tang, Xiao Yang, Kaishun Wu, Jiangbo Yu

机构 * McGill University（麦吉尔大学） ； Hong Kong University of Science and Technology（香港科技大学） ； Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出RPM-Distill框架，利用训练时的雷达信号通过频域蒸馏指导视频模型，提升光照、肤色和运动变化下的远程心率估计鲁棒性，在挑战性条件下MAE降低81%，相关性提升21%。

Comments Accepted by ECCV2026

DeLux: Cross-Modal Local Artifact Restoration in Video Using Neuromorphic Data

DeLux: 利用神经形态数据进行视频中的跨模态局部伪影修复

Bartosz Stachowiak, Dariusz Brzezinski

机构 * Institute of Computing Science, Poznan University of Technology（波兹南技术大学计算机科学学院） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出DeLux，一种利用神经形态事件流作为结构先验，引导RGB视频中光照伪影检测与修复的跨模态修复方法，在合成和真实数据上优于现有基线。

How Far Are Video Models from True Multimodal Reasoning?

视频模型距离真正的多模态推理还有多远？

Xiaotian Zhang, Jianhui Wei, Yuan Wang, Jie Tan, Yichen Li, Yan Zhang, Ziyi Chen, Daoan Zhang, Dezhi YU, Wei Xu, Songtao Jiang, Zuozhu Liu

机构 * Zhejiang University（浙江大学） ； ByteDance（字节跳动） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文提出CLVG-Bench评估框架，通过上下文学习测试视频模型的零样本推理能力，揭示当前SOTA模型在逻辑推理和交互生成任务中表现不足，指出多模态推理和物理基础是关键瓶颈。

Journal ref ECCV 2026

Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling

面向多模态大语言模型的长视频快速有效理解：自适应准高斯采样

Kun Zhang, Chenxin Fang, Tao Chen, Baiyang Song, Yunhang Shen, Yiyi Zhou, Rongrong Ji

机构 * Key Laboratory of Multimedia Trusted Perception and Efficient Computing, Ministry of Education of China, Xiamen University（厦门大学多媒体可信感知与高效计算教育部重点实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出自适应无训练帧采样方法AdaQ，基于高斯分布3-σ规则动态调整采样区间，在仅用64帧下使Qwen3-VL-8B平均超越GPT4o 15.8%，显著提升长视频理解的鲁棒性和效率。

Comments NeurIPS 2026 submission. 15 pages, 8 figures

Modality-Aware Out-of-Distribution Detection for Multi-Modal Action Recognition

面向多模态动作识别的模态感知分布外检测

Lars Doorenbos, Duc Manh Vu, Serdar Ozsoy, Juergen Gall

机构 * University of Bonn（波恩大学） ； Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出一种后处理混合检测器，利用多模态与单模态预测关系及特征空间得分，在推理时显式考虑模态信息，提升多模态分布外检测性能。

Comments Accepted at ECCV '26

M^2C-EvDet: Multi-Domain Multi-Order Cross-Modal Knowledge Distillation for Event-based Object Detection

M^2C-EvDet：面向事件目标检测的多域多阶跨模态知识蒸馏

Wei Bao, Siqi Li, Shouan Pan, Yi Xie, Yue Gao

机构 * BNRist, THUIBCS, BLBCI, School of Software, Tsinghua University（清华大学软件学院、北京信息科学与技术国家研究中心、清华-英特尔先进计算与智能技术联合研究中心、北京国家区块链与物联网技术研究中心） ； Yangtze Delta Region Institute, Tsinghua University（清华大学长三角研究院） ； School of Economics and Management, Beijing Forestry University（北京林业大学经济管理学院） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出M^2C-EvDet框架，通过频率学习和超图计算，结合自适应频率解耦特征蒸馏和多阶关系蒸馏，缩小事件数据与帧数据在目标检测上的性能差距。

Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery

机器人辅助手术中的实时多模态活动感知错误检测

Seyed Hamid Reza Roodabeh, Zongyu Li, Homa Alemzadeh

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出统一框架，利用视频、运动学数据和文本提示等多模态输入，通过活动提示和活动感知视觉嵌入，在JIGSAWS和SAR-RARP50数据集上分别提升F1分数达5%和16.6%。

Comments This work has been submitted to the IEEE for possible publication

FlowMaps: Modeling Long-Term Multimodal Object Dynamics with Flow Matching

FlowMaps: 使用流匹配建模长期多模态物体动态

Francesco Argenziano, Miguel Saavedra-Ruiz, Sacha Morin, Charlie Gauthier, Daniele Nardi, Liam Paull

机构 * Sapienza University of Rome（罗马大学） ； Université de Montréal（蒙特利尔大学） ； Mila - Quebec AI Institute（米拉-魁北克人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出FlowMaps模型，通过潜在流匹配学习物体位置的多模态时空分布，预测动态物体未来位置，提升机器人在变化家庭环境中的导航性能。

Vortex: Multi-Modal Fusion System for Intelligent Video Retrieval

Vortex: 面向智能视频检索的多模态融合系统

Duc-Tho Nguyen, Hieu-Hoc Tran-Minh, Khanh-Hoa Lam, Hoang-Nhut Ly, Huu-Phuc Huynh, Thanh-Tien Tran, Trung-Nghia Le

机构 * University of Science, VNU-HCM（越南国立大学胡志明市理科大学） ； Vietnam National University, Ho Chi Minh City（越南国立大学胡志明市） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 提出Vortex系统，融合自适应关键帧提取、多模态元数据生成及混合检索策略（CLIP与SigLIP2的倒数秩融合），结合Rocchio反馈和多阶段时序搜索，在比赛中取得优异成绩。

Comments SOICT 2025

Multi-Modal Spatio-Temporal Graph Neural Network with Mixture of Experts for Soil Organic Carbon Prediction

基于专家混合的多模态时空图神经网络用于土壤有机碳预测

Daniele Mos, Felipe Drummond, Anton Bossenbroek, Soufiane el Khinifri

机构 * Spatialise B.V. 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出SpTGNN，一种多模态时空图神经网络，通过异构图注意力、微调基础模型特征提取和稀疏专家混合融合，结合异方差回归与深度集成的不确定性量化，在三个区域数据集上优于XGBoost基线。

Comments Paper is 27 pages, 14 figures, 12 tables

Deep Temporal Modeling and Ensemble Fusion for Multimodal Emotion Recognition from Physiological Signals

基于生理信号的深度时间建模与集成融合多模态情感识别

Desta Haileselassie Hagos, Saurav Keshari Aryal, Patrick Ymele-Leki, Anietie Andy, Legand L. Burge

机构 * Howard University（霍华德大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本研究评估LSTM、TCN和Transformer在WESAD数据集上的多模态情感识别性能，通过消融实验和传感器级早期融合，并采用晚期融合集成策略，最终集成方法达到98.91%准确率和98.56%宏F1分数。

Comments Accepted for publication in the 17th ACM International Conference on Bioinformatics, Computational Biology and Health Informatics (ACM BCB 2026). DOI: https://doi.org/10.1145/3807503.3819363

FoleyGenEx: Unified Video-to-Audio Generation with Multi-Modal Control, Temporal Alignment, and Semantic Precision

FoleyGenEx: 统一视频到音频生成，具备多模态控制、时间对齐与语义精度

Shiyao Wang, Xijuan Zeng, Hui Wang, Shiwan Zhao, Feng Deng, Chen Zhang, Yong Qin

机构 * Academy for Advanced Interdisciplinary Studies, Nankai University（南开大学前沿交叉学科研究院） ； Kling Team, Kuaishou Technology（快手科技Kling团队） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出FoleyGenEx统一框架，通过条件注入、多模态动态掩码和副词数据增强，实现视频到音频生成中多模态控制、帧级时间对齐与细粒度语义的同步合成。

Comments Accepted by INTERSPEECH 2026

Journal ref INTERSPEECH 2026

RAMEN: Resolution-Adjustable Multimodal Encoder for Earth Observation

RAMEN: 面向地球观测的分辨率可调多模态编码器

Nicolas Houdré, Diego Marcos, Hugo Riffaud de Turckheim, Dino Ienco, Laurent Wendling, Camille Kurtz, Sylvain Lobry

机构 * Institut National des Sciences de l'Univers (INSU), France（法国国家科学研究院） ； CNRS, France（法国国家科学研究中心） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出RAMEN，一种传感器无关的分辨率可调多模态编码器，通过将分辨率作为可控参数，在统一潜空间中实现多模态地球观测数据的连贯分析，并在PANGAEA基准上优于现有模型。

Journal ref CVPR 2026

InternVideo3: Agentify Foundation Models with Multimodal Contextual Reasoning

InternVideo3: 用多模态上下文推理代理化基础模型

Ziang Yan, Sheng Xia, Jiashuo Yu, Yue Wu, Tianxiang Jiang, Songze Li, Kanghui Tian, Yicheng Xu, Yinan He, Kai Chen, Limin Wang, Yu Qiao, Yi Wang

机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出InternVideo3框架，通过多模态上下文推理（MCR）和高效KV缓存压缩方法M^2LA，增强长视频理解与迭代交互能力，在多个基准上取得强性能。

Decoding Multimodal Cues: Unveiling the Implicit Meaning Behind Hateful Videos

解码多模态线索：揭示仇恨视频背后的隐含意义

Junyu Lu, Deyi Ji, Liqun Liu, Xiaokun Zhang, Youlin Wu, Roy Ka-Wei Lee, Peng Shu, Huan Yu, Jie Jiang, Bo Xu, Liang Yang, Hongfei Lin

机构 * Dalian University of Technology（大连理工大学） ； Tencent（腾讯） ； City University of Hong Kong（香港城市大学） ； Singapore University of Technology and Design（新加坡科技设计大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 提出IARE框架，通过信息增强和推理优化实现可解释的仇恨视频检测，在Ex-HateMM和Ex-ImpliHateVid数据集上达到最优性能。

From Correspondence to Actions: Human-Like Multi-Image Spatial Reasoning in Multi-modal Large Language Models

从对应到动作：多模态大语言模型中类人多图像空间推理

Masanari Oi, Koki Maeda, Ryuto Koike, Daisuke Oba, Nakamasa Inoue, Naoaki Okazaki

机构 * University of Tokyo（东京大学） 纠错

专题命中 视频多模态 ：multi-modal(title)；multimodal(abstract)；分类 cs.CV

AI总结 提出HATCH框架，通过补丁级空间对齐和动作-答案推理两个目标，提升多模态大模型在多图像空间推理中的性能，在三个基准上超越同规模基线。

Comments ICML 2026

LongMoE: Longitudinal Multimodal Learning via Trajectory-Aware Mixture-of-Experts

LongMoE：基于轨迹感知的混合专家模型的纵向多模态学习

Maxx Richard Rahman, Prakhar Kumar, Wolfgang Maass

机构 * German Research Centre for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI）） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出LongMoE框架，通过上下文感知插补、注意力标记化、轨迹感知编码和稀疏MoE路由，联合解决临床多模态学习中模态缺失和纵向动态两大挑战，在ADNI等数据集上验证了鲁棒性。

Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves

Glove2Hand：从多模态传感手套合成自然的手-物体交互

Xinyu Zhang, Ziyi Kou, Chuan Qin, Mia Huang, Ergys Ristani, Ankit Kumar, Lele Chen, Kun He, Abdeslam Boularias, Li Guan

机构 * Meta Reality Labs（Meta现实实验室） ； Rutgers University（罗格斯大学） 纠错

专题命中 视频多模态 ：multi-modal(title,abstract)；分类 cs.CV

AI总结 提出Glove2Hand框架，将多模态传感手套视频转化为逼真的裸手，并保留物理交互动态；引入3D高斯手模型和扩散手恢复器，创建HandSense数据集，提升下游任务性能。

Comments CVPR 2026 Highlight. This version includes the motion retarget process in the appendix

Probing Multimodal Large Language Models on Cognitive Biases in Chinese Short-Video Misinformation

探究多模态大语言模型在中国短视频虚假信息中的认知偏差

Jen-tse Huang, Chang Chen, Shiyang Lai, Wenxuan Wang, Michelle R. Kaufman, Mark Dredze

机构 * Johns Hopkins University（约翰霍普金斯大学） ； Chinese University of Hong Kong（香港中文大学） ； University of Chicago（芝加哥大学） ； Renmin University of China（中国人民大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CL

AI总结 本文通过200个短视频数据集评估8种多模态大语言模型在健康领域虚假信息中的表现，发现Gemini-2.5-Pro表现最佳（信念分数71.5/100），而模型易受权威频道ID等社会线索影响。

Comments Accepted to ACL 2026 (Findings)

Ego-METAS: Egocentric online Multimodal Energy-efficient Temporal Action Segmentation benchmark

Ego-METAS：面向自我中心的在线多模态节能时间动作分割基准

Maria Santos-Villafranca, Jesus Bermudez-cameo, Alejandro Perez-Yus, Giovanni Maria Farinella, Antonino Furnari

机构 * University of Zaragoza - I3A（萨拉戈塔大学 - I3A） ； Department of Mathematics and Computer Science, University of Catania（卡塔尼亚大学数学与计算机科学系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 为解决资源受限设备上的能耗感知问题，提出了首个自我中心在线多模态节能时间动作分割基准Ego-METAS，包含超过100小时未裁剪视频和5种模态，要求模型动态选择传感器并遵守能量预算，评估显示最优路由高度依赖场景，现有方法难以适应连续环境。

Comments Project Page: https://maria-sanvil.github.io/Ego-METAS-website/

Multimodal Action Diffusion for Robust End-to-End Autonomous Driving

多模态动作扩散用于鲁棒的端到端自动驾驶

Jorge Daniel Rodríguez-Vidal, Diego Porres, Gabriel Villalonga Pineda, Antonio M. López Peña

机构 * Computer Vision Center (CVC)（计算机视觉中心） ； Universitat Autònoma de Barcelona (UAB)（巴塞罗那自治大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出动作扩散变换器（ADT），通过多模态动作建模和最近邻匹配，在闭环Bench2Drive基准上超越先前最优方法，同时延迟降低十倍。

Comments Preprint. June 1st, 2026. Corresponding author: Jorge Daniel Rodríguez-Vidal

Advanced Mathematics Learning Behavior Prediction and Academic Early Warning Model Based on Multimodal Data Analysis

基于多模态数据分析的高等数学学习行为预测与学业预警模型

Liu Qiong, Li Zhengbo

机构 * Moutai Institute（莫 tai 院） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 针对高等数学教育中高风险学生早期识别与干预的挑战，提出一种融合知识图谱与多模态时序建模的动态预测框架，通过异构注意力机制和自适应边权重实现精准预警与个性化干预。

Comments 12 pages,5 figures

InPhyRe Discovers: Large Multimodal Models Struggle in Inductive Physical Reasoning

InPhyRe 发现：大型多模态模型在归纳物理推理中表现不佳

Gautam Sreekumar, Vishnu Naresh Boddeti

机构 * Department of Computer Science and Engineering, Michigan State University（密歇根州立大学计算机科学与工程系） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.AI

AI总结 提出 InPhyRe 基准测试，通过合成视频中的碰撞事件预测任务，评估大型多模态模型在未见物理定律下的归纳物理推理能力，发现其依赖有限参数知识、受语言偏差影响且忽略视觉输入。

Comments Accepted to TMLR. 53 pages including appendix

SCL: Towards Domain Generalization via Single-Temporal Multimodal Contrastive Learning for Remote Sensing Change Detection

SCL：面向遥感变化检测的单时相多模态对比学习域泛化方法

Qiangang Du, Jinlong Peng, Xu Chen, Qingdong He, Liren He, Qiang Nie, Mingmin Chi

机构 * Fudan University（复旦大学） ； Tencent YouTu Lab（腾讯YouTu实验室） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 提出基于视觉-语言预训练模型的单时相多模态对比学习（SCL）基础模型，结合动态文本-视觉上下文优化（DTCO）和可控生成与单时相训练策略（SAIN），无需目标数据集训练即可实现遥感变化检测的跨数据集泛化。

Comments CVPRW 2026

Annotations Are Not All You Need: A Cross-modal Knowledge Transfer Network for Unsupervised Temporal Sentence Grounding

注释并非全部所需：面向无监督时间语句定位的跨模态知识迁移网络

Xiang Fang, Daizong Liu, Wanlong Fang, Pan Zhou, Yu Cheng, Keke Tang, Kai Zou

机构 * Hubei Key Laboratory of Distributed System Security（湖北分布式系统安全重点实验室） ； Hubei Engineering Research Center on Big Data Security（湖北大数据安全工程研究中心） ； School of Cyber Science and Engineering（网络安全学院） ； Huazhong University of Science and Technology（华中科技大学） ； Peking University（北京大学） ； Henan University（河南大学） ； The Chinese University of Hong Kong（香港中文大学） ； Guangzhou University（广州大学） ； Protagolabs Inc.（Protagolabs公司） 纠错

专题命中 视频多模态 ：cross-modal(title,abstract)；分类 cs.CV

AI总结 提出跨模态知识迁移网络，通过从图像-名词和视频-动词任务中迁移实体感知和事件感知知识，实现无监督时间语句定位，无需配对视频-查询标注。

Comments Published in Findings of EMNLP 2023

Bounded-Compute Multimodal Regression for Product-Rating Prediction

有界计算多模态回归用于产品评分预测

William Leach, Ru He, Sizhuo Ma, Yizhen Jia, Min Cao, Jian Wang, Rick Cao

机构 * Snap Inc. 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 针对严格延迟预算下的标量回归任务，提出一种有界计算适配方法，通过替换语言模型头为轻量MLP并固定输入，在LoViF 2026挑战赛中实现高效多模态回归。

Comments Accepted to the LoViF Workshop at CVPR 2026. 8 pages, 2 figures

From Affect to Complex Behavior: Advancing Multimodal Human-Centered AI at the 10th ABAW Workshop & Competition

从情感到复杂行为：第十届ABAW研讨会与竞赛推进多模态以人为中心的人工智能

Dimitrios Kollias, Panagiotis Tzirakis, Alan Cowen, Stefanos Zafeiriou, Irene Kotsia, Eric Granger, Marco Pedersoli, Simon Bacon, Jens Madsen, Soufiane Belharbi, Muhammad Haseeb Aslam, Chunchang Shao, Guanyu Hu

机构 * Queen Mary University of London（伦敦皇后玛丽大学） ； Hume AI ； Google Deepmind（谷歌DeepMind） ； Imperial College London（伦敦帝国理工学院） ； Cogitat ； LIVIA ； ILLS ； ETS Montreal（蒙特利尔ETS） ； Concordia University（Concordia大学） ； Xi’an Jiaotong University（西安交通大学） 纠错

专题命中 视频多模态 ：multimodal(title,abstract)；分类 cs.CV

AI总结 本文介绍了第十届ABAW研讨会与竞赛，通过多模态挑战和论文，推动真实环境下人类情感与行为的建模、分析和理解。

Comments accepted at CVPR 2026