多模态大模型

Prompts to Summaries: Zero-Shot Language-Guided Video Summarization with Large Language and Video Models

提示到摘要：基于大语言和视频模型的零样本语言引导视频摘要

Mario Barbara, Alaa Maalouf

机构 * Department of Computer Science, the University of Haifa（哈ifa大学计算机科学系） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 提出一种基于大语言和视频模型的零样本视频摘要方法，通过提示生成用户引导的摘要，无需训练数据，优于现有无监督和监督方法。

Is Information Density Uniform when Utterances are Grounded on Perception and Discourse?

当话语基于感知和话语进行 grounding 时，信息密度是否均匀？

Matteo Gay, Coleman Haley, Mario Giulianelli, Edoardo Ponti

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 本研究首次探讨了基于感知和话语的视觉环境对信息密度均匀性的影响，发现 grounding 能提高信息分布的均匀性，并在话语单元开始处产生最大的惊奇度降低。

Comments Accepted as main paper at EACL 2026

HiVid: LLM-Guided Video Saliency For Content-Aware VOD And Live Streaming

HiVid: 基于大语言模型的视频显著性识别用于内容感知点播与直播

Jiahui Chen, Bo Peng, Lianchen Jia, Zeyu Zhang, Tianchi Huang, Lifeng Sun

机构 * Tsinghua University（清华大学） ； The Australian National University（澳大利亚国立大学） ； Key Laboratory of Pervasive Computing, Ministry of Education（教育部普适计算重点实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 HiVid利用大语言模型生成内容感知的视频显著性权重，提升点播和直播的QoE性能。

Comments ICLR 2026

Future of Edge AI in biodiversity monitoring

边缘AI在生物多样性监测中的未来

Aude Vuilliomenet, Kate E. Jones, Duncan Wilson

机构 * The Bartlett Centre for Advanced Spatial Analysis, Faculty of the Built Environment, University College London（大学学院） ； Centre for Biodiversity and Environment Research, Department of Genetics, Evolution and Environment, University College London（大学学院） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 本文研究了边缘AI在生物多样性监测中的应用，分析了不同系统类型及其权衡，强调了跨学科合作的重要性。

Comments 41 pages, 5 figures, 4 tables

UP-SLAM: Adaptively Structured Gaussian SLAM with Uncertainty Prediction in Dynamic Environments

UP-SLAM：适应性结构高斯SLAM与动态环境中的不确定性预测

Wancai Zheng, Linlin Ou, Jiajie He, Libo Zhou, Xinyi Yu, Yan Wei

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 UP-SLAM通过并行框架解耦跟踪与建图，利用概率八叉树和不确定性估计器提升动态环境中的SLAM性能。

Journal ref ICRA 2026

VideoVeritas: AI-Generated Video Detection via Perception Pretext Reinforcement Learning

VideoVeritas：通过感知预设强化学习实现AI生成视频检测

Hao Tan, Jun Lan, Senyuan Shi, Zichang Tan, Zijian Yu, Huijia Zhu, Weiqiang Wang, Jun Wan, Zhen Lei

机构 * MAIS, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所MAIS部） ； School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院） ； Shenzhen Institute of Advanced Technology (SIAT), Chinese Academy of Sciences（中国科学院深圳先进技术研究所） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 VideoVeritas通过感知预设强化学习提升AI生成视频检测性能，整合细粒度感知与事实推理，采用时空定位和自监督计数提升检测效果。

Comments Project: https://github.com/EricTan7/VideoVeritas

Technosocial risks of ideal emotion recognition technologies: A defense of the (social) value of emotional expressions

理想情感识别技术的科技社会风险：对情感表达（社会）价值的辩护

Alexandra Pregent

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文探讨理想情感识别技术可能带来的科技社会风险，指出其对情感表达的社会功能的误解可能导致社会凝聚力和个体自主性的削弱，主张以功能为导向的监管方法保护社会利益。

Comments 12 pages

Generative Regression for Left Ventricular Ejection Fraction Estimation from Echocardiography Video

基于生成回归的超声心动图视频左室射血分数估计

Jinrong Lv, Xun Gong, Zhaohuan Li, Weili Jiang

机构 * School of Computing and Artificial Intelligence, Southwest Jiaotong University（计算机与人工智能学院，西南交通大学） ； Manufacturing Industry Chain Collaboration Industrial Software Key Laboratory of Sichuan Province（四川省制造业产业链协同工业软件重点实验室） ； School of Medicine, University of Electronic Science and Technology（医学院，电子科技大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出MCSDR模型，通过生成回归方法提升超声心动图视频中左室射血分数估计的准确性与解释性。

Comments 11 pages, 5 tables, 10 figures. Under peer review

MARC: Memory-Augmented RL Token Compression for Efficient Video Understanding

MARC: 用于高效视频理解的记忆增强强化学习令牌压缩

Peiran Wu, Zhuorui Yu, Yunze Liu, Chi-Hao Wu, Enmin Zhou, Junxiao Shen

机构 * University of Bristol（布里斯托大学） ； Memories.ai Research（Memories.ai研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 MARC通过结合结构化检索和强化学习知识蒸馏，实现高效视频理解，显著减少视觉令牌、GPU内存和延迟。

Comments Accepted at ICLR 2026

ST-Raptor: An Agentic System for Semi-Structured Table QA

ST-Raptor：一个用于半结构化表格问答的智能系统

Jinxiu Qu, Zirui Tang, Hongzhang Huang, Boyu Niu, Wei Zhou, Jiannan Wang, Yitong Song, Guoliang Li, Xuanhe Zhou, Fan Wu

机构 * Tsinghua University（清华大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 ST-Raptor通过结合视觉编辑、树形结构建模和代理驱动查询解决，提升半结构化表格问答的准确性和易用性。

Adaptive Temporal Dynamics for Personalized Emotion Recognition: A Liquid Neural Network Approach

自适应时间动态用于个性化情绪识别：一种液态神经网络方法

Anindya Bhattacharjee, Nittya Ananda Biswas, K. A. Shahriar, Adib Rahman

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出了一种基于液态神经网络的多模态框架，用于提升基于EEG的情绪识别准确率，通过结合卷积特征提取、可学习时间常数和注意力引导融合，实现高准确率和可解释性。

Urban Spatio-Temporal Foundation Models for Climate-Resilient Housing: Scaling Diffusion Transformers for Disaster Risk Prediction

城市时空基础模型用于气候韧性住房：扩散变换器的扩展用于灾害风险预测

Olaf Yunus Laitinen Imanov, Derya Umut Kulali, Taner Yilmaz

机构 * Technical University of Denmark（技术大学） ； Eskisehir Technical University（埃斯基谢普大学） ； Afyon Kocatepe University（阿夫yon卡奥塔佩大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.AI

AI总结 本文提出Skjold-DiT模型，通过整合时空城市数据预测建筑气候风险，并结合交通网络结构提升灾害响应能力。

Comments 10 pages, 5 figures. Submitted to IEEE Transactions on Intelligent Vehicles

RRAttention: Dynamic Block Sparse Attention via Per-Head Round-Robin Shifts for Long-Context Inference

RRAttention: 通过每头轮换位移实现动态块稀疏注意力以支持长上下文推理

Siran Liu, Guoxia Wang, Sa Wang, Jinle Zeng, HaoYang Xie, Siyu Lou, JiaBin Yang, DianHai Yu, Haifeng Wang, Chao Yang

机构 * Baidu Inc.（百度公司） ； Peking University（北京大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CL

AI总结 RRAttention通过轮换位移策略实现动态块稀疏注意力，提升长上下文推理效率，实现99%的完整注意力性能和2.4倍加速。

Weaver: End-to-End Agentic System Training for Video Interleaved Reasoning

Weaver：用于视频交织推理的端到端代理系统训练

Yudi Shi, Shangzhe Di, Qirui Chen, Qinian Wang, Jiayin Cai, Xiaolong Jiang, Yao Hu, Weidi Xie

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Weaver通过端到端训练多模态推理代理系统，提升视频推理任务在长视频处理上的性能。

Depth-Guided Metric-Aware Temporal Consistency for Monocular Video Human Mesh Recovery

基于深度的度量感知时序一致性用于单目视频人体网格恢复

Jiaxin Cen, Xudong Mao, Guanghui Yue, Wei Zhou, Ruomei Wang, Fan Zhou, Baoquan Zhao

机构 * Sun Yat-sen University, China（中山大学） ； Shenzhen University, China（深圳大学） ； Cardiff University, UK（卡迪夫大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本文提出深度引导的度量感知时序一致性框架，通过多尺度融合、D-MAPS估计器和MoDAR模块提升单目视频人体网格恢复的鲁棒性和准确性。

Proteus-ID: ID-Consistent and Motion-Coherent Video Customization

Proteus-ID：身份一致且运动协调的视频定制

Guiyu Zhang, Chen Shi, Zijian Jiang, Xunzhi Xiang, Jingjing Qian, Shaoshuai Shi, Li Jiang

机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Nanjing University（南京大学） ； Voyager Research, Didi Chuxing（Voyager Research与滴滴出行） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Proteus-ID通过多模态身份融合、时间感知身份注入和自适应运动学习，实现了身份一致且运动协调的视频定制，提升了视频生成的真实性和流畅度。

Comments SIGGRAPH Asia 2025

Inference-time Stochastic Refinement of GRU-Normalizing Flow for Real-time Video Motion Transfer

推理时GRU归一化流的随机细化用于实时视频运动转移

Tasmiah Haque, Srinjoy Das

机构 * Department of Industrial and Management Systems Engineering（工业与管理系统工程系） ； School of Mathematical and Data Sciences（数学与数据科学学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出一种在推理时结合随机采样和GRU-NF的改进方法，以提升实时视频运动转移中未来预测的多样性和准确性。

VQAThinker: Exploring Generalizable and Explainable Video Quality Assessment via Reinforcement Learning

VQAThinker: 通过强化学习探索通用且可解释的视频质量评估

Linhan Cao, Wei Sun, Weixia Zhang, Xiangyang Zhu, Jun Jia, Kaiwei Zhang, Dandan Zhu, Guangtao Zhai, Xiongkuo Min

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 VQAThinker通过强化学习方法，结合大模型和规则引导算法，提升视频质量评估的泛化能力和可解释性。

Comments Accepted by AAAI2026

SADER: Structure-Aware Diffusion Framework with DEterministic Resampling for Multi-Temporal Remote Sensing Cloud Removal

SADER：一种结构感知扩散框架，用于多时相遥感云去除

Yifan Zhang, Qian Chen, Yi Liu, Wengen Li, Jihong Guan

机构 * College of Literature, Science, and the Arts, University of Michigan（文学、科学与艺术学院，密歇根大学） ； School of Computer Science and Technology, Tongji University（计算机科学与技术学院，同济大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 SADER通过结构感知扩散框架，结合时间融合和混合注意力机制，有效解决多时相遥感云去除问题，提升云去除效果和效率。

DISK: Dynamic Inference SKipping for World Models

DISK：用于世界模型的动态推理跳过

Anugunj Naman, Gaibo Zhang, Ayushman Singh, Yaguang Zhang

机构 * Purdue University, West Lafayette, United States（普渡大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 DISK通过动态推理跳过技术，在无需训练的情况下提升自回归世界模型的视频和轨迹预测效率，同时保持预测精度和视觉质量。

A Real-Time Privacy-Preserving Behavior Recognition System via Edge-Cloud Collaboration

通过边缘-云协作实现实时隐私保护行为识别系统

Huan Song, Shuyu Tian, Junyi Hao, Cheng Yuan, Zhenyu Jia, Jiawei Shao, Xuelong Li

机构 * Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 本文提出基于AI流理论和边缘-云协作架构的隐私保护行为识别系统，通过边缘设备的特征抽象与云平台的联合推断，实现高隐私环境下的行为检测。

Dynamic Reflections: Probing Video Representations with Text Alignment

动态反射：通过文本对齐探测视频表示

Tyler Zhu, Tengda Han, Leonidas Guibas, Viorica Pătrăucean, Maks Ovsjanikov

机构 * Princeton University（普林斯顿大学） ； Google DeepMind（谷歌DeepMind） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 本研究通过视频-文本表示对齐探索现代视频和语言编码器的能力，揭示了跨模态对齐与数据丰富性、语义对齐与性能相关性以及时间推理与对齐的关系。

Comments To appear at ICLR 2026. 27 pages, 12 figures

DynamicVLA: A Vision-Language-Action Model for Dynamic Object Manipulation

DynamicVLA: 一种用于动态物体操控的视觉-语言-动作模型

Haozhe Xie, Beichen Wen, Jiarui Zheng, Zhaoxi Chen, Fangzhou Hong, Haiwen Diao, Ziwei Liu

机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 DynamicVLA通过整合时间推理和闭环适应，提出了一种用于动态物体操控的视觉-语言-动作模型，提升了响应速度和泛化能力。

Comments Project Page: https://www.infinitescript.com/project/dynamic-vla/ GitHub: https://github.com/hzxie/DynamicVLA

Generative Recall, Dense Reranking: Learning Multi-View Semantic IDs for Efficient Text-to-Video Retrieval

生成回忆，密集重排序：学习多视图语义ID以实现高效的文本到视频检索

Zecheng Zhao, Zhi Chen, Zi Huang, Shazia Sadiq, Tong Chen

机构 * The University of Queensland（昆士兰大学） ； The University of Southern Queensland（南部昆士兰大学） 纠错

专题命中 视频多模态 ：cross-modal(abstract)；分类 cs.CV

AI总结 GRDR通过生成回忆和密集重排序方法，提升文本到视频检索的效率和准确性，减少存储并加速检索过程。

Comments 10 pages

EVEREST: An Evidential, Tail-Aware Transformer for Rare-Event Time-Series Forecasting

EVEREST：一种证据感知、尾部意识的Transformer用于稀有事件时间序列预测

Antanas Zilinskas, Robert N. Shorten, Jakub Marecek

机构 * Imperial College London（伦敦帝国学院） ； Czech Technical University in Prague（布拉格捷克技术大学） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.AI

AI总结 EVEREST通过结合证据头和极值头，实现稀有事件时间序列预测的高精度与可解释性，适用于高风险领域。

Comments Updated author affiliation. No changes to technical content

Journal ref 14th International Conference on Learning Representations, 2026

Video-KTR: Reinforcing Video Reasoning via Key Token Attribution

Video-KTR: 通过关键令牌 attribution 增强视频推理

Ziyue Wang, Sheng Jin, Zhongrong Zuo, Jiawei Wu, Han Qiu, Qi She, Hao Zhang, Xudong Jiang

机构 * ByteDance（字节跳动） ； School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院） ； National University of Singapore（国立新加坡大学） ； College of Computing and Data Science, Nanyang Technological University（南洋理工大学计算与数据科学学院） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 Video-KTR通过结合三种attribution信号，提升视频推理的准确性和可解释性，实现状态-of-the-art性能。

Comments Accepted to ICLR 2026

X-LeBench: A Benchmark for Extremely Long Egocentric Video Understanding

X-LeBench：一个用于极长第一人称视频理解的基准数据集

Wenqi Zhou, Kai Cao, Hao Zheng, Yunze Liu, Xinyi Zheng, Miao Liu, Per Ola Kristensson, Walterio Mayol-Cuevas, Fan Zhang, Weizhe Lin, Junxiao Shen

机构 * University of Bristol（布里斯托大学） ； University of Manchester（曼彻斯特大学） ； University of Cambridge（剑桥大学） ； College of AI, Tsinghua University（清华大学人工智能学院） ； Meta ； Memories.ai Research（Memories.ai研究） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 X-LeBench通过模拟真实日常生活场景，构建了首个极长第一人称视频理解基准数据集，揭示了长视频理解中的关键挑战。

Reliable Brain Tumor Segmentation Based on Spiking Neural Networks with Efficient Training

基于高效训练的脉冲神经网络的可靠脑肿瘤分割

Aurora Pia Ghiardelli, Guangzhi Tang, Tao Sun

机构 * Department of Advanced Computing Sciences, Maastricht University, Maastricht, The Netherlands（先进计算科学系，马斯特里赫特大学，马斯特里赫特，荷兰） 纠错

专题命中 视频多模态 ：multimodal(abstract)；分类 cs.CV

AI总结 本文提出基于高效训练的脉冲神经网络框架，用于可靠且节能的3D脑肿瘤分割，实验显示在准确性、不确定性校准和计算成本降低方面均表现优异。

Comments Accepted at ISBI 2026

Masked Modeling for Human Motion Recovery Under Occlusions

遮蔽建模用于遮挡下的人体运动恢复

Zhiyin Qian, Siwei Zhang, Bharat Lal Bhatnagar, Federica Bogo, Siyu Tang

机构 * ETH Zürich（苏黎世联邦理工学院） ； Meta Reality Labs（Meta现实实验室） 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.CV

AI总结 MoRo通过遮蔽建模方法，在遮挡条件下实现高效且鲁棒的人体运动恢复，结合多模态先验提升推理性能。

Comments Project page: https://mikeqzy.github.io/MoRo

LUMOS: Large User MOdels for User Behavior Prediction

LUMOS：大规模用户模型用于用户行为预测

Dhruv Nigam, Naman Agarwal, Krishna Murthy, Susmit Saha

机构 * Dream11 ； Dream Sports 纠错

专题命中 视频多模态 ：multi-modal(abstract)；分类 cs.AI

AI总结 LUMOS通过基于Transformer的架构，利用原始用户活动数据联合学习多个任务，实现用户行为预测的高效与准确，提升业务指标。