多模态大模型

Event-RGB Adaptive Tracking for Nighttime Highway Perception

用于夜间高速公路感知的事件-RGB自适应跟踪

Haidong Wang, Hengxing Cai, Wanlei Li, Xiaogang Xiong, Renxin Zhong

机构 * School of Intelligent Systems Engineering, Sun Yat-sen University（中山大学智能系统工程学院） ； School of Intelligence Science and Engineering, Harbin Institute of Technology（哈尔滨工业大学智能科学与工程学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 针对高速公路夜间低光条件下RGB感知性能差的问题，提出JEAT框架，通过自适应扩展卡尔曼滤波器动态融合事件流与RGB帧，还创建SEHN数据集，为多模态融合研究提供支持。

TreeSoc: Tree-Structured Dynamic Reasoning and Tool Synergy for Soccer Video Understanding

TreeSoc：用于足球视频理解的树状结构动态推理与工具协同

Thanh-Nhan Vo, Thanh-Khoi Nguyen, Trong-Thuan Nguyen, Trung-Hoang Le, Minh-Triet Tran

机构 * University of Science, VNU-HCM（胡志明市越南国立大学科学大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对当代视觉语言模型理解足球视频的挑战，提出TreeSoc框架，通过动态深度优先搜索机制分解查询，支持自适应工具路由，在多个数据集上取得优异成绩，证明其为视频理解的有效范式。

Comments Accepted to ICMV 2026

VINE: Taming Generative Control Policies for Reinforcement Learning

VINE：驯服强化学习中的生成控制策略

Rushuai Yang, Zhuo Han, Houlin Li, Hecheng Wang, Zhichao Wu, Rui Zhang, Zhaowei Zhang, Zihong Chen, Xiaohan Yan, Chiming Liu, Yi Chen, Wei Shan, Maoqing Yao

机构 * AgiBot（未知机构） ； The Hong Kong University of Science and Technology（香港科技大学） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对流匹配策略在值梯度强化学习中训练不稳定的问题，提出VINE方法。该方法通过在去噪步骤重建插值状态，创建稳定可微路径，实现稳定的端到端值梯度优化，在相关基准和任务中表现优于现有方法。

DynaFilter: Cloud-driven Dynamic Filtering for Satellite Edge Intelligence

DynaFilter：用于卫星边缘智能的云驱动动态过滤

Ziyang Zhang, Jie Liu, Luca Mottola

机构 * Politecnico di Milano（米兰理工大学） ； Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳）） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对卫星边缘系统带宽受限等问题，设计DynaFilter动态过滤技术，通过建立云查询语义与压缩域特征的映射，让边缘设备在压缩域直接进行选择性RoI推理，实现减少数据量、节省带宽、降低能耗及加快推理延迟等效果。

Comments 15 pages, 23 figures, accepted by ACM MobiCom 2026

Behavior Foundations for Quadruped Robots: ABot-C0 Technical Report

四足机器人的行为基础：ABot-C0技术报告

Xufeng Zhao, Fuzhi Yang, Jianhui Chen, Li Gao, Zhang Meng, Jie Gao, Yao Zheng, Congyang Zhao, Tianxiong Lv, Menglin Yang, Minqi Gu, Yaru Zhao, Wenyu Liu, Honglin Han, Shihui Su, Zixiao Tang, Liu Liu, Mu Xu, Yang Cai, Wenbin Tang

机构 * Alibaba Group（阿里巴巴集团） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 该研究聚焦四足机器人运动控制，提出ABot-C0通用系统，构建数据金字塔生成运动片段，训练流匹配通用策略展示跟踪缩放定律，采用特定框架推动全地形遍历运动，经实验验证其能让四足机器人迈向产品级行为智能。

Comments Abot-C0 project page will be released soon

Learning to Unify Deformable Shape and Texture Representations for Cardiac Video Classification

学习统一可变形形状和纹理表示用于心脏视频分类

Tonmoy Hossain, Miaomiao Zhang

机构 * University of Virginia（弗吉尼亚大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 针对心脏视频分类，现有方法简单拼接形状与纹理特征未充分利用互补性。本文提出新模型，在综合空间学习时间特征，设计双向交叉注意力融合特征，能动态调整贡献，在CMR视频数据集上达最优性能，提高了可解释性。

Ego-Human Motion Prediction with 3D-Aware LLM

基于3D感知语言模型的自我-人类运动预测

Yujin Bae, Jaewoo Jeong, Hyeonseong Kim, Kuk-Jin Yoon

机构 * Visual Intelligence Lab., KAIST（视觉智能实验室，韩国科学技术院） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 研究从自我中心视角预测人类运动问题，提出Ego3DLM模型，基于准确运动预测需3D环境理解及姿势语言整体预测原则，通过三阶段训练，在相关任务中取得领先性能，实现跨模态和时间一致的运动预测。

Comments Accepted to ECCV 2026

Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild

Video2Reaction：将视频映射到自然环境中的观众反应分布

Trang Nguyen, Sidong Zhang, Shiv Shankar, Gauri Jagatap, Deepak Chandran, Andrea Fanelli, Madalina Fiterau

机构 * University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校） ； Dolby Laboratories（杜比实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究旨在通过Video2Reaction数据集实现视频到观众反应分布预测，开发仅用开源语言模型的两阶段多智能体管道，建立基准，发现预训练模型零样本失败，微调可提升性能，但任务仍具挑战。

SparseCtrl-HOI: Sparse Temporal Control for Human-Object Interaction Video Generation

SparseCtrl-HOI：用于人机交互视频生成的稀疏时间控制

Shenbo Xie, Mingrui Cai, Xu Yang, Yifei Liu, Changxing Ding

机构 * South China University of Technology（华南理工大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 研究针对人机交互视频生成中建模物理动力学及时空协调复杂、现有方法依赖密集指导成本高且影响多样性的问题，提出SparseCtrl-HOI框架，用关键帧结合新机制和模块控制，构建数据集，降低标注开销，提升直播电商视频质量。

Comments ECCV 2026, Project Page: https://mpi-lab.github.io/SparseCtrl-HOI

Unsupervised Anomaly Detection of Information Operations Users via Behavioral and Language Patterns

通过行为和语言模式对信息操作用户进行无监督异常检测

Sishun Liu, Sajal Halder, Ke Deng, Yan Wang, Xiuzhen Zhang

机构 * RMIT University（皇家墨尔本理工大学） ； Macquarie University（麦考瑞大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究针对社交媒体网络信息操作检测难题，提出无监督方法TENSOR，利用多模态数据，通过训练时间点过程捕捉异常行为模式，并引入新证据函数调整输出，在五个真实数据集上表现优于基线。

Comments Accepted at ECML/PKDD 2026

QSVideo: Query-Conditioned Semantic Temporal Retrieval for Video Understanding

QSVideo：用于视频理解的查询条件语义时间检索

Wei Ao, Lan Wang, Vishnu Naresh Boddeti

机构 * Michigan State University（密歇根州立大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 针对视频理解中视觉语言模型性能随视频时长下降问题，提出QSVideo框架，通过查询条件语义排序器、联合优化相关性和多样性及时间对齐策略，提升视频VLM性能。

Comments ECCV 2026

PRISM3D: Probabilistic Refinement and Robust Initialization for Physically Consistent Scene Modeling under Extreme Motion Blur

PRISM3D：极端运动模糊下物理一致场景建模的概率细化与鲁棒初始化

Gopi Raju Matta, Reddypalli Trisha, Vemunuri Divya Madhuri, Kaushik Mitra

机构 * Computational Imaging Lab, Dept. of Electrical Engineering, IIT Madras（印度理工学院马德拉斯分校电气工程系计算成像实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 研究从极端运动模糊图像进行盲3D场景重建问题，提出PRISM3D框架，用鲁棒初始化策略结合概率物理方法，还介绍多模态扩展PRISM3D-E及基准，实验表明其达新的最优性能。

Comments Accepted to ECCV-26

A Cost-Aware, Paired Protocol for Auditing Dynamic Tool Synthesis in Agentic Video Question Answering

一种成本感知的配对协议，用于审计智能视频问答中的动态工具合成

Aseel Mohamed, Rama AlHamidi, Mohamed Rayan Barhdadi, Rasul Khanbayov, Erchin Serpedin, Hasan Kurban

机构 * Texas A&M University（德克萨斯农工大学） ； Hamad Bin Khalifa University（哈马德·本·哈利法大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出成本感知的配对协议，联合评估准确性与成本，揭示动态工具合成在视频问答中的效率与代价。

Learning to Evolve Scenes: Reasoning about Human Activities with Scene Graphs

学习演化场景：用场景图推理人类活动

Francesca Pistilli, Simone Alberto Peirone, Giuseppe Averta

机构 * Politecnico di Torino（托斯托大学） 纠错

专题命中 视频多模态 ：MLLM(abstract_cn)；分类 cs.CV

AI总结 提出SG-Ego标注集和GLEN模型，通过时空场景图显式建模人-环境交互的动态演化，实现活动驱动的场景变化推理与预测。

Comments Project page at https://francescapistilli.github.io/GLEN

Spatio-Temporal and Clinical Conditioning for Fine-Grained Radiology Report Retrieval

细粒度放射学报告检索的时空与临床条件化

P. Sloan, E. Simpson, M. Mirmehdi

机构 * Department of Computer Science University of Bristol（计算机科学系 布里斯托大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出STAR3框架，通过区域级解剖信息与临床指征及纵向变化对齐，实现基于检索的放射学报告生成，在MIMIC-CXR上优于现有方法。

Comments 14 pages, 2 figures, 6 tables

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

先构建图！通过场景图实现长视频第一人称视频推理

Agnese Taluzzi, Riccardo Santambrogio, Simone Mentasti, Chiara Plizzari, Matteo Matteucci

机构 * Politecnico di Milano（米兰理工大学） ； Bocconi University（博科尼大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出利用第一人称场景图（EgoSGs）将长视频压缩为紧凑文本表示，在保持语义丰富性的同时大幅减少输入长度，使多模态大模型能在令牌预算内高效推理，在HD-EPIC VQA上取得最优结果。

MG-RWKV: Multi-Grained Context-Aware RWKV for Temporal Forgery Localization

MG-RWKV：用于时序伪造定位的多粒度上下文感知RWKV

Jingchen Ni, Cangjin Yu, Dan Jiang, Quan Zhang, Keyu Lv, Shannan Yan, Linyue Pan, Ke Zhang, Chun Yuan

机构 * Tsinghua University（清华大学） ； Soochow University（苏州大学） 纠错

专题命中 视频多模态 ：audio-visual(abstract)；分类 cs.CV

AI总结 提出MG-RWKV框架，利用RWKV的数据依赖状态演化实现O(T)复杂度的全序列处理，通过双向RWKV、多粒度专家混合和跨粒度一致性机制，在低计算成本下达到时序伪造定位任务的最优性能。

Comments Accepted to ECCV 2026

Linguistic Relative Policy Optimization for Video Anomaly Reasoning

语言相对策略优化用于视频异常推理

Jiaxu Leng, Jiankang Zheng, Mengjingcheng Mo, Zhanjie Wu, Haosheng Chen, Ji Gan, Xinbo Gao

机构 * Chongqing College of Artificial Intelligence（重庆人工智能学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出语言相对策略优化（LRPO），通过从多个推理轨迹中提取群体相对语义优势，构建语言表达的异常经验先验，无需参数更新即可引导模型输出，在无调参设置下显著超越现有方法。

Comments Accepted at ICML 2026; 18 pages, 8 figures, 9 tables

MindAU: EEG-Conditioned Facial Action Unit Editing via Dual-Stream Manifold Alignment

MindAU: 基于双流流形对齐的脑电条件面部动作单元编辑

Zhenhang Li, Xin Zhou, Hao Deng, Lijun Yin

机构 * Binghamton University（宾汉姆顿大学） ； Massachusetts General Hospital（马萨诸塞综合医院） ； Harvard Medical School（哈佛医学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出MindAU框架，通过双流流形对齐将EEG特征与AU文本语义和视觉位移对齐，实现高保真身份保持的面部动作单元编辑。

Segmenting, Fast and Slow: Real-Time Open-Vocabulary Video Instance Segmentation with Dual-Path Processing

分割，快与慢：双路径处理的实时开放词汇视频实例分割

Luca Barsellotti, Martin Sundermeyer, Mattia Segu, Nikita Araslanov, Muhammad Ferjad Naeem, Marcella Cornia, Yongqin Xian, Maxim Berman

机构 * Google TU Munich（谷歌慕尼黑分校） ； Munich Center for Machine Learning University of Modena（慕尼黑机器学习中心莫德纳大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SegFS双流快慢框架，通过稀疏关键帧的开放词汇对象模型预测实例表示，并在特征空间条件化轻量快速网络，实现高效时域传播，在保持分割性能的同时将延迟降低至MOBIUS的1/14。

Comments ECCV 2026

MIRTH: Mutual-Information Reasoning with Temporal Hubs for Vision-Language-Action Agents

MIRTH：面向视觉-语言-动作智能体的基于互信息推理的时间枢纽

Hao Sun, Yu Song, Shiyu Teng, Ziwei Niu, Yen-Wei Chen

机构 * College of Information Science and Engineering, Ritsumeikan University（立命馆大学信息科学与工程学院） ； College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出MIRTH框架，通过双尺度时间记忆枢纽、互信息优化的潜在推理令牌和并行动作解码，解决VLA模型的时间短视、推理鸿沟和推理低效问题，在LIBERO和真实机器人上达到SOTA并展现错误恢复能力。

Comments Accepted as main conference paper at ACL 2026

Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning

Video-MME-Logical: 面向视频时序逻辑推理的受控诊断基准

Hohin Kwan, Hongyu Li, Ray Zhang, Manyuan Zhang, Xianghao Kong, Anyi Rao, Jiahao Xie, Si Liu

机构 * HKUST（香港科技大学） ； Colab, Beihang University（北京航空航天大学合作实验室） ； CUHK（香港中文大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 为隔离评估多模态大模型在视频中的时序逻辑推理能力，提出包含五种时序逻辑操作和25个细粒度任务类别的受控基准，通过控制时间跨度和推理复杂度进行难度可控评估，并支持中间状态诊断。

TuringViT: Making SOTA Vision Transformers Accessible to All

TuringViT：让最先进的视觉Transformer人人可用

Qiman Wu, Hanlin Chen, Lyujie Chen, Rui Xin, Jianlei Zheng, Mingyuan Wang, Jiahui Hu, Da Zhu, Yuecheng Ma, Yuhua Wei, Yizhao Wang, Hua Zhou, Yuheng Zhang, Anhua Liu, Shaman Tang, Yue He, Pengfei Diao, Shuang Su, Haotong Xin, Weichao Huang, Hang Zhang, Xianming Liu

机构 * Foundation Model Team, Xpeng Inc.（小鹏汽车基础模型团队） 纠错

专题命中 视频多模态 ：image-text(abstract)；分类 cs.CV

AI总结 提出TuringViT，通过图灵线性注意力、VISTA-Curation数据构建和原生动态分辨率预训练，仅用10%数据即可超越开源ViT基线，并显著提升下游VLM性能和高分辨率延迟。

SurgAtlas: A Large-Scale Surgical Video-Language Dataset with 2,391 Hours of Open and Minimally Invasive Surgery

SurgAtlas：一个包含2,391小时开放和微创手术的大规模手术视频-语言数据集

Filippos Bellos, Andre S. Gala-Garza, Miaowei Wang, Alyssa M. Hardin, Ahmad M. Hider, Yayuan Li, Jing Bi, Susan Liang, Chenliang Xu, Donald S. Likosky, Jason J. Corso

机构 * University of Michigan（密歇根大学） ； University of Edinburgh（爱丁堡大学） ； Vanderbilt University Medical Center（范德比尔特大学医学中心） ； University of Colorado（科罗拉多大学） ； University of Rochester（罗切斯特大学） ； Michigan Medicine（密歇根医学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出SurgAtlas，最大手术视频-语言数据集（15,291视频，2,391小时，18专科，5,000+术式），首次大规模纳入开放手术并建立基准，通过多层级自动标注管道生成丰富注释，微调Qwen3-VL-8B在多个基准上达到领先。

UniTeD: Unified Temporal Diffusion for Joint Perception and Planning in Autonomous Driving

UniTeD: 面向自动驾驶联合感知与规划的时域统一扩散模型

Bo Zhao, Xinting Zhao, Naifan Li, Erkang Cheng, Haibin Ling

机构 * Nullmax ； Westlake University（西湖大学） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出UniTeD框架，通过共享生成空间的迭代去噪统一建模感知与规划，引入时域过渡模块和锚点刷新策略，在多个基准上达到最先进性能。

Comments Accept to ECCV 2026

Spatio-Temporal Mixture-of-Modality-Experts Diffusion for Quantitative DCE-MRI Synthesis from Incomplete MR Sequences

时空模态专家混合扩散：从不完整MR序列合成定量DCE-MRI

Junhyeok Lee, Kyu Sung Choi

机构 * Interdisciplinary Program in Cancer Biology, Seoul National University College of Medicine（首尔大学医学院癌症生物学跨学科项目） ； Department of Radiology, Seoul National University Hospital（首尔大学医院放射科） ； Department of Radiology, Seoul National University College of Medicine（首尔大学医学院放射科） ； Healthcare AI Research Institute, Seoul National University Hospital（首尔大学医院医疗人工智能研究所） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 提出时空模态专家混合（ST-MoME）条件扩散框架，通过时空门控网络融合多模态专家特征，从任意子集合成3D DCE参数图，在386例脑肿瘤数据上16种缺失场景下取得最优NMSE。

State Space Models Meet Remote Sensing: A Survey

状态空间模型遇上遥感：综述

Qinzhe Yang, Chenyang Liu, Jia Xu, Zhenwei Shi, Zhengxia Zou

机构 * Shen Yuan Honors College, Beihang University（北航沈元荣誉学院） ； Department of Aerospace Intelligent Science and Technology, School of Astronautics, Beihang University（北京航空航天大学宇航学院航天智能科学与技术系） ； State Key Laboratory of Virtual Reality Technology and Systems, Beihang University（北京航空航天大学虚拟现实技术与系统国家重点实验室） ； Qian Xuesen Laboratory of Space Technology, China Academy of Space Technology（中国空间技术研究院钱学森空间技术实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 本文综述了状态空间模型（SSM）在遥感中的应用，分析了其在密集视觉预测、多模态和时序遥感数据中的优势，并总结了架构设计进展与未来挑战。

Comments 25 pages, 5 figures, has been published in SCIS SCIQ1 IF=8.1 https://doi.org/10.1007/s11432-025-4780-1

AeroCast: Probabilistic 3D Trajectory Prediction for Non-Cooperative Aerial Obstacles via Transformer-MDN Architecture

AeroCast: 基于Transformer-MDN架构的非合作空中障碍物概率3D轨迹预测

Syed Izzat Ullah, Jose Baca

机构 * Department of Engineering, Texas A&M University–Corpus Christi（德克萨斯A&M大学科珀斯克里斯蒂分校工程系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 提出AeroCast框架，结合Transformer编码器和混合密度网络，预测非合作空中障碍物的多模态轨迹，在五秒预测范围内将位移误差降低约50%，并支持实时部署。

When Multi-Sensor Fusion Fails to Generalize: Cattle Posture Classification Under Animal-Level and Temporal Distribution Shift

当多传感器融合无法泛化：动物级别和时间分布偏移下的牛姿势分类

Leutrim Uka, Severino Pinto, Gundula Hoffmann, Marina M. -C. Höhne

机构 * Institute of Computer Science, University of Potsdam（波茨坦大学计算机科学研究所） ； Department of Sensors and Modelling, Leibniz Institute for Agricultural Engineering and Bioeconomy - ATB（莱布尼茨农业工程与生物经济研究所传感器与建模系） ； Department of Data Science in Bioeconomy, Leibniz Institute for Agricultural Engineering and Bioeconomy - ATB（莱布尼茨农业工程与生物经济研究所生物经济数据科学系） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 研究评估多传感器融合在牛姿势分类中的鲁棒性，发现跨年评估性能大幅下降（F1从0.94降至0.49），表明常用评估高估实际性能，融合可能降低而非提升鲁棒性。

Comments 20 pages, 6 figures

Event-Aligned Analysis of Multi-Rater Pain Assessments Using Continuous Wearable Physiology

使用连续可穿戴生理数据进行多评估者疼痛评估的事件对齐分析

Saba A. Farahani, Elahe Khatibi, Thomas D. Hughes, Ariana M. Nelson, Hung Cao, Amir M. Rahmani

机构 * University of California, Irvine（加州大学伊维奇分校） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 提出一种考虑评估者身份的事件对齐框架，将稀疏的疼痛评分转化为离散事件，并对齐连续可穿戴生理信号，揭示评估者间差异及生理模式依赖。

Comments 6 pages, 3 figures. Accepted at IEEE EMBC 2026 (Toronto, Canada, July 26-30, 2026)