AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
重新思考基于全局码本的视频令牌压缩：一次学习，处处压缩
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 该研究提出即插即用框架ONCE，通过离线学习全局码本实现视频令牌的高效压缩，在保持性能的同时降低推理延迟，提升了视频大语言模型的效率与通用性。
用于手语翻译的注意力引导视觉-语言模型
机构 * Rochester Institute of Technology（罗切斯特理工学院） ； University of Virginia（弗吉尼亚大学） ； National Technical Institute for the Deaf（国家聋人技术学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视觉-语言模型在手语翻译中时空视觉定位差的问题，提出AttnSign框架，通过空间注意力监督和RL运动节奏引导提升性能，在How2Sign和OpenASL基准上表现优于现有方法。
Mage-VL：一种高效的编解码器原生流式多模态基础模型
机构 * Microsoft（微软）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对标准视觉语言模型在流式感知任务的不足，提出Mage-VL。核心方法是用Mage-ViT选择性编码关键区域，减少视觉令牌消耗。该模型在多模态理解和交互上表现出色，推理速度加快，还有多项关键实证发现。
Comments Project page: https://microsoft.github.io/Mage
PCA：用于快速视频大语言模型的持久性感知压缩与聚合
机构 * Institute for Artificial Intelligence, Great Bay University（大湾区大学人工智能研究院） ； Sun Yat-sen University（中山大学） ； Youtu Lab, Tencent（腾讯优图实验室） ； Shenzhen University（深圳大学） ； Dongguan Key Laboratory for Intelligence and Information Technology（东莞市智能信息技术重点实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究视频大语言模型长时帧冗余问题，提出PCA方法，含动态下采样和持久性感知运动增强模块，能在编码前保留视觉信息，提升效率与准确性，优于现有方法，速度有显著提升。
Comments Accepted by ACM MM 2026
ViSTR-Bench：多模态大语言模型能否从动态场景中的连续视觉线索进行推理？
机构 * School of Artificial Intelligence, Beihang University（北京航空航天大学人工智能学院） ； Zhongguancun Academy（中关村科学城） ； School of Engineering, Westlake University（西湖大学工学院） ； School of Transportation Science and Engineering, Beihang University（北京航空航天大学交通科学与工程学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究聚焦多模态大语言模型在动态场景中从连续视觉线索推理的能力，提出ViSTR-Bench评估套件，基于相关原则建立四维评估，含15个子任务和1340个问答对，经评估发现当前模型在复杂时空推理上有瓶颈，远不及人类。
Comments 37 pages, 37 figures
在不断演变的领域上进行连续视频 - MLLM 适应
机构 * School of Software Technology, Zhejiang University（浙江大学软件学院） ； Hong Kong Polytechnic University（香港理工大学） ； The University of Southern Queensland（南昆士兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究视频多模态大语言模型对不断演变领域的适应问题，提出分布感知专家路由框架 DAER，通过保持领域隔离的轻量级专家、引入多种路由和优化机制，在域增量基准上评估，结果优于现有方法。
Comments Accepted to ACM MM 2026
具有稀疏自选择的脑对齐多流视频变换器
机构 * University of Tehran（德黑兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对现代视频变换器忽视灵长类视觉原理及缺乏神经数据评估的问题，提出含稀疏胜者全得令牌选择模块的脑对齐多流视频变换器，经实验其在精度与推理时间上表现优且鲁棒性强，脑模型相关性高，优于基线。
Comments 23 pages, 11 figures
Stitch-Inferencer：通过全景重建增强内窥镜视频分割和跟踪
机构 * Jmees Inc（Jmees公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对内窥镜视频理解中视野受限和遮挡问题，提出Stitch-Inferencer框架，用全景画布取代隐式特征记忆，跨帧拼接观察以扩大视野，让现有模型利用长程上下文，实验证明其能在保持实时性的同时提升分割和跟踪性能。
EgoProceVQA：一种具有自我技能探索代理的新型自我中心程序理解任务
机构 * The Hong Kong Polytechnic University（香港理工大学） ； South China University of Technology（华南理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对现有自我中心视频理解评估忽视程序理解的问题，引入EgoProceVQA任务，开发EgoProceGen数据生成平台并构建基准。通过评估发现模型不足，进而提出EgoProceAgent框架，设计相关工具库，使其在多任务上获最优性能，为该任务奠定统一基础。
自动驾驶视觉问答：以事件为中心的行车记录仪理解视觉语言模型基准测试
机构 * University of Colorado Colorado Springs（科罗拉多大学科罗拉多斯普林斯分校） ； University of Michigan（密歇根大学） ； University of Notre Dame（圣母大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对评估视觉语言模型对安全关键事件推理能力的挑战，提出AUTOPILOT-VQA基准，通过围绕真实驾驶事件的结构化问题评估系统，涵盖多安全相关类别，推动向安全意识推理发展，为自动驾驶系统评估提供标准，助力相关视觉语言系统开发。
Comments CVPR Autopilot Workshop
SoccerNet 2026挑战结果
机构 * University of Liège（列日大学） ； King Abdullah University of Science and Technology（阿卜杜拉国王科技大学） ； Spiideo（斯皮迪奥公司） ； Aalborg University（奥尔堡大学） ； SpAItial（斯帕蒂亚尔公司） ； Center for Robotics, Mines Paris, PSL（巴黎矿业学院机器人中心（巴黎文理研究大学）） ； Footovision（Footovision公司） ； Shanghai Jiao Tong University（上海交通大学） ； Universitat de Barcelona（巴塞罗那大学） ； Computer Vision Center（计算机视觉中心） ； EVS Broadcast Equipment（EVS广播设备公司） ； Pioneer Center for Artificial Intelligence（先锋人工智能中心） ； Lund University（隆德大学） ； TAHAKOM（TAHAKOM公司） ； Mohamed Bin Zayed University for Artificial Intelligence (MBZUAI)（穆罕默德·本·扎耶德人工智能大学） ； Sber AI（Sber人工智能公司） ； Salute For Business（Salute For Business公司） ； Intelligent Perception and Image Understanding Lab, Xidian University（西安电子科技大学智能感知与图像理解实验室） ； South China University of Technology（华南理工大学） ； Hefei University of Technology（合肥工业大学） ； Kyungpook National University（庆北国立大学） ； Leipzig University of Applied Sciences（莱比锡应用科学大学） ； Friedrich-Alexander University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学） ； University of Seoul（首尔大学） ； Shenzhen Institute for Advanced Study, University of Electronic Science and Technology of China（电子科技大学深圳高等研究院） ； Nanjing University（南京大学） ； University of Science, Ho Chi Minh City（胡志明市科技大学） ； Nanyang Technological University（南洋理工大学） ； National University of Singapore（新加坡国立大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 SoccerNet 2026挑战涵盖五项体育视频理解视觉任务，为每项任务提供数据、协议和基线。众多团队参与，本文介绍任务、评估协议，展示排行榜并总结领先提交内容，记录各任务当前状态。
Comments 40 pages
用于自监督视频对象分割的注意力引导跨时间聚类
机构 * Griffith University（格里菲斯大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对视频对象分割任务，现有自监督方法存在问题。本文提出跨时间一致性和聚类框架，结合注意力引导令牌选择与轻量级时间聚类，通过显著性加权目标对齐软部分分配，利用冻结变压器主干实现有效扩展，提升自监督视频对象分割性能。
Comments Accepted for publication in Machine Intelligence Research journal
通过多尺度卷积和动态路由实现下一代网络的语义视频通信
机构 * Graduate School of Fundamental Science and Engineering, Waseda University（早稻田大学基础科学与工程研究生院） ； Generative AI Innovation Center, Amazon Web Services（亚马逊网络服务生成人工智能创新中心） ； Amazon（亚马逊）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 针对视频流量增长需求，提出语义视频通信框架，用多尺度时间卷积编码器捕捉运动模式，基于胶囊的动态路由机制优化关联，多任务学习统一组件，在实验中取得显著改进。
Comments Accepted at the AAAI 2026 Workshop on AI for Time Series (AI4TS)
GuideMe：流视频中的多域任务指导与干预
机构 * City University of Hong Kong（香港城市大学） ； Huawei Research（华为研究院） ； University of Science and Technology of China（中国科学技术大学） ； Chinese University of Hong Kong（香港中文大学） ； City University of Hong Kong (Dongguan)（香港城市大学（东莞））
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 构建流视频多域基准GuideMe，支持训练和评估用于闭环交互任务指导的MLLMs，设计评估框架衡量模型能力，实验发现现有MLLMs虽擅提供指令，但难识别执行错误并反馈。
Comments ECCV 2026
DELTAVID：利用跨视频差异增强细粒度时空感知
机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 研究针对视频多模态大语言模型缺乏精确局部时空感知问题，提出DELTAVID框架，将跨视频找差异转化为可训练感知信号，还引入相关数据集，提升了跨视频差异理解性能并能迁移到通用视频理解基准。
推理大模型提升长篇电视剧中的说话人识别
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出DramaSR-532K大规模基准和基于推理大模型的DramaSR-LRM方法，通过多模态工具使用聚合上下文证据，显著提升长篇电视剧中说话人识别准确率，尤其对短话语效果显著。
Comments Accepted to ICML 2026
学习演化场景：用场景图推理人类活动
机构 * Politecnico di Torino（托斯托大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SG-Ego标注集和GLEN模型，通过时空场景图显式建模人-环境交互的动态演化，实现活动驱动的场景变化推理与预测。
Comments Project page at https://francescapistilli.github.io/GLEN
增强视听视频字幕的时间与跨模态对齐
机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。
Comments ECCV 2026
学习观察：通过交错策略优化的主动视频异常理解
机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Chongqing College of Artificial Intelligence, Chongqing, China（重庆人工智能学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Anom-π闭环框架，将视频异常理解建模为主动序列决策过程，通过交错策略统一内部推理与证据获取，并设计iDPO实现轨迹级策略对齐，仅2B参数即超越大规模模型。
Comments Accepted at ICML 2026; 25 pages, 8 figures, 15 tables
重新思考特征工程与学习策略在少样本隐藏情感识别中的作用
机构 * Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Beihang University（北京航空航天大学） ； The University of New South Wales（新南威尔士大学） ； United Arab Emirates University（阿拉伯联合酋长国大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。
HumanMoveVQA：视频多模态大语言模型能否推理视频中的人类运动？
机构 * CVSSP, University of Surrey, Guildford, UK（萨里大学视觉、语音与信号处理中心，英国吉尔福德） ； Tesco, UK（乐购，英国）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出HumanMoveVQA基准，通过世界坐标系下的3D运动轨迹生成问答对，评估视频MLLM在全局轨迹和方向推理上的能力，发现现有模型存在显著差距。
TRUST：通过图像到超声视频迁移学习实现高效腹部创伤识别
机构 * School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） ； Nanjing Medical University First Affiliated Hospital（南京医科大学第一附属医院） ； Jiangsu Key Laboratory of Biomaterials and Devices, Southeast University（江苏省生物材料与器件重点实验室，东南大学） ； State Key Laboratory of Digital Medical Engineering, Southeast University（数字医学工程国家重点实验室，东南大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出TRUST框架，通过跨频协作适配器、多粒度运动感知模块和视觉查询语义聚合，解决超声视频中时空变化和语义差异问题，在腹部创伤数据集上性能提升9.63%。
Comments Accepted to MICCAI 2026, 11 pages, 5 figures
DnA：用于视觉任务的去噪注意力
机构 * University of Central Florida（中佛罗里达大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出去噪注意力（DnA），通过正负查询分离相关与无关特征，提升多头部注意力的判别性，在ImageNet-1K上提升0.8%，并适用于视频理解任务。
Journal ref European Conference on Computer Vision (ECCV 2026)
点云视频的三效迁移学习
机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； SIGS, Tsinghua University（清华大学深圳国际研究生院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出PoinTriE框架，通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络，实现数据、参数和内存三方面高效的点云视频迁移学习，在动作识别和语义分割任务上取得新最优结果。
LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习
机构 * Kocaeli University（科贾埃利大学）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。
UNIEGO：代理作为中介的统一自我中心视频表示学习
机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出分层多教师蒸馏框架UNIEGO，通过代理模型将异构教师知识转化为同质自我中心空间，并采用选择性代理蒸馏自适应筛选可靠监督，在三个自我中心视频理解任务上达到最优。
流式视频模型应该记住什么？
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对流式视频理解中固定记忆预算下的长程历史利用问题，提出选择性潜在记忆框架SelectStream，通过惊喜驱动自适应窗口、优先级保持合并和查询条件图推理三个机制，实现高效在线推理，在多个基准上取得领先性能。
KeepLoRA++: 基于层级缩放残差梯度适应的持续学习
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。
HYDRA-X: 具有整体视觉分词器的原生统一多模态模型
机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。
MultiToP：学习修补视觉令牌以减轻视频大型多模态模型中的幻觉
机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； East China Normal University（华东师范大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出MultiToP框架，通过轻量级视觉令牌修补器动态替换不可靠视觉令牌，结合信息引导排名校准和稀疏正则化，在不修改原模型情况下减少视频多模态模型幻觉，显著提升F1分数和问答准确率。
Comments Preprint
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈