AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
HopChain: 多跳数据合成用于通用视觉语言推理
机构 * Qwen Team, Alibaba Inc.（通义实验室，阿里巴巴公司） ； LeapLab, Tsinghua University（清华大学跃迁实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出HopChain框架，通过多跳视觉语言推理数据合成提升VLMs的通用推理能力，实验表明其在多个基准测试中显著提升性能。
Comments 28 pages, 8 figures, 2 tables
VideoAtlas: 在对数计算中导航长视频
机构 * King Abdullah University of Science and Technology (KAUST)（卡斯特大学） ； Department of Computer Science, King Khalid University (KKU)（国王 Khalid 大学计算机科学系） ； Department of Computer Science, Edge Hill University（Edge Hill 大学计算机科学系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 VideoAtlas通过层次化网格结构实现长视频的无损表示，解决视频表示和长上下文问题，提出Video-RLM架构，展示对数计算增长、环境预算和自适应计算分配等贡献。
M2P：通过Mask-to-Point弱监督学习改进视觉基础模型以实现密集点跟踪
机构 * Department of Computer Science, City University of Hong Kong（香港城市大学计算机科学系） ； Department of Electrical and Computer Engineering, Princeton University（普林斯顿大学电气与计算机工程系） ； Meituan, Shenzhen, China（美团（深圳，中国）） ； School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院） ； Department of Electrical and Computer Engineering, Duke University（杜克大学电气与计算机工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出M2P学习方法，利用视频对象分割掩码注解改进视觉基础模型，通过局部结构一致性损失、掩码标签一致性损失和掩码边界约束，提升密集点跟踪性能，实验表明其在TAP-Vid-DAVIS基准上优于DINOv2和DINOv3。
GATS: 基于高斯意识的时间缩放变换器的不变四维时空点云表示
机构 * State Key Laboratory of Human-Machine Hybrid Augmented Intelligence（人机混合增强智能国家重点实验室） ； Institute of Artificial Intelligence and Robotics（人工智能与机器人研究院） ； Xi’an Jiaotong University（西安交通大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Pengcheng Laboratory（鹏城实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出GATS框架，通过不确定性引导的高斯卷积和时间缩放注意力模块，解决四维点云视频中时间尺度偏差和分布不确定性问题，提升鲁棒性和精度。
RieMind：基于几何的场景理解空间智能体
机构 * Riemann Lab, Huawei Technologies（华为技术有限公司里斯曼实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出RieMind，通过显式3D场景图实现空间推理，证明解耦感知与推理能显著提升空间推理能力，实验结果显示比现有方法提升16%-50%。
Edit2Interp：从空间编辑到视频帧插值的图像基础模型适应
机构 * Codeway AI Research Dept. of Electrical \& Electronics Engineering, Ko c University, \. I stanbul, T\" u rkiye
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文通过少量样本学习，将图像编辑模型适应于视频帧插值，揭示了静态场景中物体变换的理解可激活潜在的时间推理能力。
PAS：一种无训练的时序编码稳定器
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视频大语言模型中时序不一致问题，提出PAS机制，通过相位聚合平滑技术减少帧间扰动，提升注意力稳定性，实验表明在不增加计算开销的情况下提升了视频理解性能。
VisionZip: 更长并非必要，但在视觉语言模型中更优
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出VisionZip方法，通过选择信息性视觉token提升效率并保持性能，实验显示在多种设置下性能提升至少5%，同时显著加快推理速度。
Comments Code: https://github.com/dvlab-research/VisionZip
Penguin-VL：探索基于大语言模型的视觉编码器的效率极限
机构 * Tencent AI Lab（腾讯AI实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出Penguin-VL，通过基于大语言模型的视觉编码器替代传统对比预训练，实现更高效的多模态理解，在文档理解、视觉知识和多视角视频理解等任务中超越现有领先VLM。
Comments Penguin-VL demonstrates that text-only initialized vision encoders can achieve superior performance in multimodal understanding tasks; Code: https://github.com/tencent-ailab/Penguin-VL
SPARROW：在像素级视频MLLM中学习空间精度和时间参照一致性
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 SPARROW通过引入目标特定跟踪特征和双提示设计，提升视频像素级理解的空间精度和时间一致性，基于30646个视频和45231对问答对的数据集，实现六个基准测试的显著改进。
Comments Accepted at CVPR 2026; Project page: https://risys-lab.github.io/SPARROW; Repository: https://github.com/RISys-Lab/SPARROW
ODI-Bench: MLLMs能否理解沉浸式全向环境？
机构 * Shanghai Jiao Tong University（上海交通大学） ； Xinjiang University（新疆大学） ； Tianjin University（天津大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 ODI-Bench旨在评估多模态大语言模型对全向图像沉浸环境的理解能力，通过定制基准和Omni-CoT方法提升模型表现。
iLLaVA: 图像的价值少于三分之一的输入标记在大型多模态模型中
机构 * School of Computer Science and Technology, Tianjin University（天津大学计算机科学与技术学院） ； School of Computer Science and Technology, Tiangong University（天津工大学计算机科学与技术学院） ； Key Research Center for Surface Monitoring and Analysis of Relics, State Administration of Cultural Heritage（文物表面监测与分析关键研究中心，国家文物局）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 iLLaVA通过联合优化图像编码器和LLM，减少冗余标记并提升吞吐量，实现更高效的多模态模型性能。
Comments Accepted by ICLR2026,code is released at https://github.com/hulianyuyy/iLLaVA
MultiHaystack：用于40,000张图像、视频和文档的多模态检索和推理的基准测试
机构 * INSAIT ； Lanzhou University（兰州大学） ； King Abdullah University of Science and Technology（国王阿卜杜勒-阿齐兹科学与技术大学） ； Heriot-Watt University（赫瑞-沃德大学） ； Monash University（莫纳什大学） ； University College Dublin（都柏林大学学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 MultiHaystack是首个评估大规模异构多模态检索与推理的基准测试，揭示了MLLMs在异构语料库中检索证据时的性能瓶颈。
Think-as-You-See: 为大视觉-语言模型设计的流式推理链式思维
机构 * Institute of Digital Twin, Eastern Institute of Technology（数字孪生研究院，东技术学院） ； Ocean University of China（中国海洋大学） ； Shanghai Jiao Tong University（上海交通大学） ； The Hong Kong Polytechnic University（香港理工大学） ； Munich Center for Machine Learning, LMU Munich（慕尼黑机器学习中心，慕尼黑大学） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 TaYS为大视觉-语言模型设计了流式推理链式思维框架，通过并行化生成、流约束训练和解耦的KV缓存，提升视频理解的效率和响应性。
TripleSumm: 适应性三模态融合用于视频摘要
机构 * Seoul National University（首尔国立大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 TripleSumm通过适应性三模态融合技术，在视频摘要任务中实现了最先进的性能，首次提出了多模态视频摘要的大型基准MoSu。
Comments Published as a Conference Paper at ICLR 2026
OneVision-Encoder: 编码对齐的稀疏性作为多模态智能的基础原则
机构 * Glint Lab（Glint实验室） ； AIM for Health Lab（健康人工智能实验室） ； MVP Lab（MVP实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 OneVision-Encoder通过编码对齐的稀疏性原则，实现高效的多模态视觉理解。
面向变化的视觉令牌丢弃以加速更大的视觉-语言模型
机构 * Sichuan University（四川大学） ； EPIC Lab, Shanghai Jiao Tong University（上海交通大学EPIC实验室） ； Zhejiang University（浙江大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出V²Drop方法，通过动态令牌变化机制在LVLM推理中减少令牌数量，提升计算效率，同时保持任务性能。
Comments Accepted by CVPR 2026. Code is available at \url{https://github.com/xuyang-liu16/V2Drop}
DataCube: 通过自然语言语义分析实现的视频检索平台
机构 * Beijing Academy of Artificial Intelligence（北京人工智能研究院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 DataCube通过自然语言语义分析实现视频检索，提供高效的视频处理和多维检索功能。
Comments This paper is under review for the IJCAI-ECAI 2026 Demonstrations Track
提示到摘要：基于大语言和视频模型的零样本语言引导视频摘要
机构 * Department of Computer Science, the University of Haifa（哈ifa大学计算机科学系）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出一种基于大语言和视频模型的零样本视频摘要方法，通过提示生成用户引导的摘要，无需训练数据，优于现有无监督和监督方法。
设计多机器人地面视频感知以服务于公共安全专业人员
机构 * George Mason University（乔治·玛森大学） ； University of Maryland（马里兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出了一种多机器人地面视频感知测试平台和MRVS工具，旨在提升公共安全专业人员的情报意识和工作效率，同时关注假警报和隐私问题。
面向具有属性结构和质量验证指令的通用视频MLLMs
机构 * VCIP, School of Computer Science, Nankai University（VCIP，计算机科学学院，南开大学） ； ByteDance Inc.（字节跳动公司） ； Tsinghua University（清华大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本研究提出ASID-1M数据集、ASID-Verify验证流程和ASID-Captioner模型，通过细粒度结构化指令提升视频理解性能，实现高质量描述生成与指令遵循。
Comments Project page: https://asid-caption.github.io/
Fibottention: 基于多头注意力的视觉表征学习
机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校） ； University of Central Florida（佛罗里达大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 Fibottention通过引入稀疏自注意力机制，实现高效视觉表征学习，减少计算复杂度并提升表示多样性。
Comments The complete implementation, including source code and evaluation scripts, is publicly available at: https://github.com/Charlotte-CharMLab/Fibottention
Demo-ICL: 用于过程视频知识获取的上下文学习
机构 * S-Lab, Nanyang Technological University（南洋理工大学S实验室） ； Shanghai AI Lab（上海人工智能实验室） ； CUHK-MMLab（香港大学多媒体实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 Demo-ICL通过两阶段训练策略提升模型从上下文示例中学习的能力，针对视频理解中的新挑战提出Demo-ICL-Bench基准测试。
构建第一人称程序化AI助手：方法、基准和挑战
机构 * Department of EEE（电子工程系） ； The Hong Kong Polytechnic University（香港理工大学） ； RayNeo ； Tsinghua University（清华大学） ； Huazhong University of Science and Technology（华中科技大学） ； Nanyang Technological University（南洋理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出第一人称程序化AI助手，探讨其核心任务、赋能维度及挑战，通过实验评估现有方法并指明未来研究方向。
Comments Under peer-review
EgoLife：迈向以自身为中心的生活助手
机构 * S-Lab, Nanyang Technological University, Singapore（南洋理工大学新加坡分校） ； LMMs-Lab（LMMs实验室） ； IMDEA Networks, Spain（西班牙IMDEA网络） ； University of Brescia, Italy（意大利布雷西亚大学） ； Politecnico di Milano, Italy（意大利米兰理工学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 EgoLife旨在通过AI赋能的可穿戴设备开发以自身为中心的生活助手，通过多模态数据集和EgoButler系统提升日常效率与个性化服务。
Comments This version corrects the author affiliation to reflect the accurate institutional information at the time of publication. No technical content of the paper has been changed
D-ORCA：面向鲁棒音频视觉描述的对话中心优化
机构 * Tsinghua University（清华大学） ； WeChat Vision, Tencent Inc.（腾讯微信视觉实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 D-ORCA通过对话中心优化，提升音频视觉描述的鲁棒性和准确性，填补开源生态关键空白。
SlowFocus: 提升视频大语言模型中的细粒度时间理解
机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Noah’s Ark Lab, Huawei（华为诺亚实验室） ； Yinwang Intelligent Technology Co., Ltd.（亿万象智能科技有限公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 SlowFocus通过提升等效采样频率和引入多频率混合注意力模块，提升视频大语言模型对细粒度时间理解的能力。
Comments NeurIPS 2024
Morphe: 基于视觉基础模型的高保真生成视频流媒体
机构 * School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳）） ； Shenzhen Future Network of Intelligence Institute（深圳未来网络智能研究院） ； Wangxuan Institute of Computer Technology, Peking University（王轩计算机技术研究所，北京大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM
AI总结 Morphe基于视觉基础模型，通过联合训练和智能分组丢弃技术，实现高保真度、低带宽的实时视频流媒体传输。
Comments Accepted by NSDI 2026 Fall
揭示视频混合专家架构的薄弱环节
机构 * Nanjing University（南京大学） ； China Mobile Information Technology Co., Ltd.（中国移动信息科技有限公司） ； Nanjing University of Information Science and Technology（南京信息科技大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出TLGA和J-TLAT方法，揭示视频MoE模型的独立和协作性弱点，并通过联合对抗训练提升其鲁棒性。
少即是多：基于标签的程序性和教学视频摘要
机构 * University of Tübingen（图宾根大学） ； Vellore Institute of Technology（维洛雷理工学院） ； Brown University（布朗大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 PRISM提出了一种基于标签的视频摘要方法，通过集成语义和多模态分析，生成语义准确且上下文连贯的摘要，有效提升摘要质量。
Comments 22 pages, 6 figures
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈