AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
增强视听视频字幕的时间与跨模态对齐
机构 * Nanjing University, State Key Laboratory for Novel Software Technology（南京大学，计算机软件新技术国家重点实验室） ； Meituan（美团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出TCA-Captioner框架，通过观察-检查-纠正迭代策略和密集交互数据集，解决视听字幕中的模态分离与时间不一致问题，实现精准的视听绑定与因果动态建模。
Comments ECCV 2026
学习观察：通过交错策略优化的主动视频异常理解
机构 * School of Computer Science and Technology, Chongqing University of Posts and Telecommunications, Chongqing, China（重庆邮电大学计算机科学与技术学院） ； School of Computer Science（计算机科学学院） ； Chongqing College of Artificial Intelligence, Chongqing, China（重庆人工智能学院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Anom-π闭环框架，将视频异常理解建模为主动序列决策过程，通过交错策略统一内部推理与证据获取，并设计iDPO实现轨迹级策略对齐，仅2B参数即超越大规模模型。
Comments Accepted at ICML 2026; 25 pages, 8 figures, 15 tables
重新思考特征工程与学习策略在少样本隐藏情感识别中的作用
机构 * Hefei University of Technology（合肥工业大学） ； University College London（伦敦大学学院） ； The University of Sydney（悉尼大学） ； Beijing QBoson Quantum Technology Co., Ltd.（北京量子芯光科技有限公司） ； Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院） ； Beihang University（北京航空航天大学） ； The University of New South Wales（新南威尔士大学） ； United Arab Emirates University（阿拉伯联合酋长国大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 提出跨注意力机制与多实例学习框架，利用多源特征（2D/3D骨架、面部Blendshapes、DINOv2/v3、X-CLIP、Gemini）解决长视频中弱稀疏隐式情感识别，在IJCAI挑战赛Track 3中获第一名。
VisReflect: 用于长视觉上下文中细粒度感知的潜在视觉反射
机构 * King Abdullah University of Science and Technology（卡布斯大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对长视觉上下文中细粒度感知的挑战，提出VisReflect框架，通过潜在空间中的连续视觉反射选择性强调相关区域，无需显式定位或额外前向传播，在图像和视频基准上分别提升4.1%和1.8%，并减少约44%推理时间。
Comments Accepted to ECCV 2026; Project page: https://xiaoqian-shen.github.io/VisReflect
基于二级跟踪和强化学习验证的多模态大模型高效时空定位
机构 * Tsinghua University（清华大学）
专题命中 视频理解 ：long video(abstract)；分类 cs.CV
AI总结 提出一种从帧级到秒级跟踪的流水线，结合跨秒平滑、链式思维轨迹合成和强化学习优化，在长视频中实现高效且准确的时空定位。
SciFlow: 用于自监督光流域泛化的语义交叉干扰
机构 * Qualcomm Technologies, Inc.（高通技术公司） ； Qualcomm AI Research（高通人工智能研究）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SciFlow方法，通过自监督学习在训练时对合成图像施加来自开放世界图像的语义干扰，结合几何一致性，实现合成到真实域的泛化，无需真实标注。
Comments 4 pages
TAR：基于时间锚的视频时间定位推理
机构 * South China University of Technology（华南理工大学） ； Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东人工智能与数字经济实验室（深圳）） ； Bytedance Inc.（字节跳动有限公司）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 TAR通过引入时间锚机制，提升视频时间定位任务中推理过程的可信度和自主性，采用自举方法生成高质量推理轨迹，实现更精确的最终预测。
Comments Accepted by ECCV2026
HumanMoveVQA：视频多模态大语言模型能否推理视频中的人类运动？
机构 * CVSSP, University of Surrey, Guildford, UK（萨里大学视觉、语音与信号处理中心，英国吉尔福德） ； Tesco, UK（乐购，英国）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出HumanMoveVQA基准，通过世界坐标系下的3D运动轨迹生成问答对，评估视频MLLM在全局轨迹和方向推理上的能力，发现现有模型存在显著差距。
TRUST：通过图像到超声视频迁移学习实现高效腹部创伤识别
机构 * School of Biological Science and Medical Engineering, Southeast University（东南大学生物科学与医学工程学院） ； Nanjing Medical University First Affiliated Hospital（南京医科大学第一附属医院） ； Jiangsu Key Laboratory of Biomaterials and Devices, Southeast University（江苏省生物材料与器件重点实验室，东南大学） ； State Key Laboratory of Digital Medical Engineering, Southeast University（数字医学工程国家重点实验室，东南大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出TRUST框架，通过跨频协作适配器、多粒度运动感知模块和视觉查询语义聚合，解决超声视频中时空变化和语义差异问题，在腹部创伤数据集上性能提升9.63%。
Comments Accepted to MICCAI 2026, 11 pages, 5 figures
一种丰富手术视频数据集的方法，用于视觉-语言模型的细粒度时空理解
机构 * Hamburg University of Technology（汉堡理工大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出SurgSTU-Pipeline生成管道，通过时空连续性过滤创建细粒度时空问答数据集SurgSTU，提升视觉-语言模型在手术视频中的时空理解能力。
IWP：大型视觉语言模型中的隐式权重剪枝与令牌剪枝
机构 * KAIST（韩国科学技术院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出基于注意力对偶形式的无训练令牌剪枝框架，通过度量令牌的信息量和冗余度，结合渐进式分块最大边际相关性选择子集，在保持性能的同时提升效率。
DnA：用于视觉任务的去噪注意力
机构 * University of Central Florida（中佛罗里达大学） ； University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出去噪注意力（DnA），通过正负查询分离相关与无关特征，提升多头部注意力的判别性，在ImageNet-1K上提升0.8%，并适用于视频理解任务。
Journal ref European Conference on Computer Vision (ECCV 2026)
点云视频的三效迁移学习
机构 * School of Software Engineering, Xi’an Jiaotong University（西安交通大学软件学院） ； School of Information and Communication Engineering, Xi’an Jiaotong University（西安交通大学信息与通信工程学院） ； SIGS, Tsinghua University（清华大学深圳国际研究生院）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出PoinTriE框架，通过伪运动轨迹合成、几何-运动对偶网络和时空侧网络，实现数据、参数和内存三方面高效的点云视频迁移学习，在动作识别和语义分割任务上取得新最优结果。
LEViL: 通过VLM生成的伪标签空间上的零样本蒸馏实现标签高效视频学习
机构 * Kocaeli University（科贾埃利大学）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出一种无需标注的视频预训练与目标标签集感知微调结合的标签高效视频学习框架，利用VLM生成伪标签空间进行零样本蒸馏，在有限标签下优于半监督方法。
Oracle-RLAIF：一种利用排名反馈强化学习改进多模态视频模型微调框架的方法
机构 * Stanford University（斯坦福大学） ； Lawrence Livermore National Laboratory（劳伦斯利弗莫尔国家实验室） ； Microsoft（微软公司）
专题命中 视频理解 ：video-language(abstract)；分类 cs.CV
AI总结 提出Oracle-RLAIF框架，用通用排序器替代奖励模型，结合基于GRPO的排名损失函数GRPO_rank，实现更高效的多模态视频模型微调，在多个基准上优于现有方法。
Comments Proceedings of the 39th Annual Conference on Neural Information Processing Systems, ARLET Workshop (Aligning Reinforcement Learning Experimentalists and Theorists)
Journal ref Transactions on Machine Learning Research, Vol. 2026, June 2026
缓解多图像理解中大型视觉语言模型的跨图像信息泄露
机构 * Sogang University（ソガン大学） ； Princeton University（普林斯顿大学） ； NAVER AI Lab（NAVER AI实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对大型视觉语言模型在多图像输入时性能下降的问题，提出无需训练且架构无关的FOCUS方法，通过随机噪声掩码和噪声参考输入抑制跨图像信息泄露，显著提升多图像和视频理解性能。
Comments Source code is available at https://github.com/yejipark-m/FOCUS
UNIEGO：代理作为中介的统一自我中心视频表示学习
机构 * University of North Carolina at Charlotte（北卡罗来纳大学夏洛特分校）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出分层多教师蒸馏框架UNIEGO，通过代理模型将异构教师知识转化为同质自我中心空间，并采用选择性代理蒸馏自适应筛选可靠监督，在三个自我中心视频理解任务上达到最优。
E-VAds：面向多模态大语言模型的电商短视频理解基准
机构 * Alimama Tech, Taobao \& Tmail Group of Alibaba ； Huazhong University of Science ； Vin University
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出电商短视频理解基准E-VAds，通过多模态信息密度评估框架量化领域复杂性，并构建多智能体生成的问答数据集，最后开发基于强化学习的推理模型E-VAds-R1，在商业意图推理上实现109.2%的性能提升。
Comments Accepted by ICML2026
MarkIt: 免训练视觉标记用于精确视频时间定位
专题命中 视频理解 ：video understanding(abstract)；分类 cs.MM
AI总结 提出免训练框架MarkIt，通过无标注查询到掩码桥接生成标记视频，增强视频语言大模型的时间定位能力，在多个基准上取得最优结果。
流式视频模型应该记住什么？
机构 * University of California, Santa Barbara（加州大学圣塔芭芭拉分校） ； University of California, Merced（加州大学默塞德分校） ； The University of Queensland（昆士兰大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对流式视频理解中固定记忆预算下的长程历史利用问题，提出选择性潜在记忆框架SelectStream，通过惊喜驱动自适应窗口、优先级保持合并和查询条件图推理三个机制，实现高效在线推理，在多个基准上取得领先性能。
KeepLoRA++: 基于层级缩放残差梯度适应的持续学习
机构 * School of Computer Science and Engineering, Southeast University（东南大学计算机科学与工程学院） ； Key Laboratory of Computer Network and Information Integration, Southeast University, Ministry of Education（东南大学计算机网络和信息集成教育部重点实验室） ； Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 针对预训练视觉语言模型持续学习中保留预训练知识、旧任务知识和学习新知识的冲突，提出KeepLoRA++，通过层级缩放残差梯度适应方法，限制LoRA参数更新到残差子空间并采用浅到深层缩放，平衡三者，在图像分类、视觉问答和视频理解任务上优于基线。
FrameOracle: 学习在视频中看什么以及看多少
机构 * University of Science and Technology of China（中国科学技术大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出FrameOracle轻量模块，预测相关帧及其数量，通过课程学习从弱代理信号到强监督，在多个VLM和基准上以更少帧数保持或提升精度。
Comments ICML 2026. Project page: https://people-robots.github.io/frameoracle/
HYDRA-X: 具有整体视觉分词器的原生统一多模态模型
机构 * Nanjing University（南京大学） ； CASIA（中国科学院自动化研究所） ； Tencent Hunyuan（腾讯混元） ； Zhongguancun Academy（中关村学院） ； Shanghai AI Lab（上海人工智能实验室）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出HYDRA-X，首个在单一ViT中统一图像和视频分词的原生统一多模态模型，通过因果时间注意力和分层时间压缩实现高效重建，并利用轻量化解压缩器注入语义，显著提升编辑一致性和收敛速度。
MultiToP：学习修补视觉令牌以减轻视频大型多模态模型中的幻觉
机构 * Zhejiang University（浙江大学） ； Sun Yat-sen University（中山大学） ； East China Normal University（华东师范大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出MultiToP框架，通过轻量级视觉令牌修补器动态替换不可靠视觉令牌，结合信息引导排名校准和稀疏正则化，在不修改原模型情况下减少视频多模态模型幻觉，显著提升F1分数和问答准确率。
Comments Preprint
InternVideo3: 用多模态上下文推理代理化基础模型
机构 * Shanghai Innovation Institute（上海创新研究院） ； Shanghai AI Laboratory（上海人工智能实验室） ； Nanjing University（南京大学）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出InternVideo3框架，通过多模态上下文推理（MCR）和高效KV缓存压缩方法M^2LA，增强长视频理解与迭代交互能力，在多个基准上取得强性能。
元数据感知的多提示推理用于零样本事故理解
机构 * Netradyne
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出三阶段流水线，通过视觉-语言相似性、元数据驱动的多提示推理和开放词汇检测，实现零样本事故视频的时序定位、语义分类和空间定位，显著提升性能。
Comments Accepted at the AUTOPILOT Workshop, CVPR 2026 (non-archival). Workshop Paper ID 15
Kwai Keye-VL-2.0 技术报告
机构 * Kuaishou Group（快手集团）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出开源MoE多模态基础模型Keye-VL-2.0，首次将DeepSeek稀疏注意力适配到GQA架构，支持无损256K上下文处理，并通过跨模态多教师策略蒸馏和上下文/视频强化学习解决多任务对齐中的灾难性遗忘，在长视频理解和智能体任务上达到同类最优。
Comments 31 pages, 11 figures
利用野外流式视频
机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络空间安全学院） ； JD.COM（京东）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出Streaming Harness系统，通过Streaming-Train-248K数据集和训练目标，使视觉语言模型具备主动交互、长期记忆和实时处理能力，并构建Streaming-Eval基准评估流式视频理解。
OmniCap-IF：全视频字幕遵循指令能力的基准测试与改进
机构 * NJU-LINK Team, Nanjing University（南京大学 NJU-LINK 团队） ； Kling Team, Kuaishou Technology（快手科技 Kling 团队）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出首个全模态字幕指令遵循基准OmniCap-IF，通过格式与内容正确性评估50种约束类型，揭示格式-内容权衡，并构建54K指令微调数据集OmniCap-IF-54K及模型OmniCaptioner-IF。
OmniMem: 面向流式音视频大语言模型的扰动感知记忆压缩
机构 * Tsinghua University（清华大学） ； ByteDance（字节跳动） ； Department of Engineering, University of Cambridge（剑桥大学工程系）
专题命中 视频理解 ：video understanding(abstract)；分类 cs.CV
AI总结 提出OmniMem，一种针对音视频LLM的流式记忆压缩框架，通过模态感知分配和扰动感知选择压缩KV缓存，在保持长视频理解的同时减少内存，在多个基准上提升2-4%准确率。
Comments Code: https://github.com/bytedance/SALMONN/tree/omni_mem
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈