AI 大模型
视频理解、视频生成、视频语言模型和时序视觉推理。
MMOU：面向长且复杂真实世界视频的大规模多任务全模态理解与推理基准
机构 * NVIDIA, USA（NVIDIA美国分公司） ； University of Maryland, College Park, USA（马里兰大学帕克分校）
专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV
AI总结 提出MMOU基准，包含2万个人工标注问题与11877个长视频，覆盖13项技能，评估多模态大模型在长视频中的全模态理解与推理能力，最佳闭源模型仅64.2%准确率，开源模型46.8%。
Comments Project Page: https://huggingface.co/datasets/nvidia/MMOU
EgoCS-400K：面向世界模型的自我中心游戏数据集
机构 * City University of Hong Kong（香港城市大学）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 为支持世界模型研究，构建大规模自我中心游戏数据集EgoCS-400K，包含40万第一人称视频和1万小时游戏轨迹，支持动作条件未来预测、状态事件场景展开等交互式视觉建模任务。
OmniTraffic：面向时空交通推理的可控生成流水线与基准
机构 * The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）） ； Shanghai AI Lab（上海人工智能实验室） ； Beihang University（北京航空航天大学） ； Nanyang Technological University（南洋理工大学） ； The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Chinese University of Hong Kong（香港中文大学）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 提出OmniTraffic，一个基于12个真实路口3D重建的可控生成流水线与基准，通过8M VQA样本和3K人工验证测试集评估11个前沿MLLM，揭示拓扑与时空推理中的显著人机差距，并证明仿真数据微调可提升真实场景性能。
Comments 34 pages, 28 figures
Proact-VL：用于实时AI伴侣的主动式视频大语言模型
机构 * Tsinghua University（清华大学）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出Proact-VL框架，通过游戏场景中的评论和引导任务，解决实时AI伴侣在低延迟推理、自主响应决策和内容质量控制方面的挑战，实现了主动式实时交互。
Comments ICML 2026
M$^3$Eval: 通过认知基础视频任务的多模态记忆评估
机构 * School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学院） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Yuanpei College, Peking University（北京大学元培学院） ； Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院） ； School of Psychological and Cognitive Sciences, Peking University（北京大学心理学与认知科学学院） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 提出首个多模态模型记忆评估框架M$^3$Eval，通过认知心理学设计的视频任务系统评估模型在记忆保持、忠实性和鲁棒性上的表现，发现模型在并行视频流处理、干扰模式、时空记忆和符号记忆方面的显著缺陷。
Comments We present an evaluation designed for multi-modal memory in multi-modal models
SagaQA：面向电视剧长篇叙事理解的多跳推理基准
机构 * IRIT, University of Toulouse, France（法国图卢兹大学IRIT中心） ； Agency for Science, Technology and Research (A*STAR), Singapore（新加坡科技研究局） ； CNRS, IRIT, France（法国CNRS与IRIT）
专题命中 视频数据与评测 ：video reasoning(abstract)；分类 cs.CV
AI总结 提出SagaQA基准，通过跨剧集的多跳推理任务评估模型对完整电视剧多模态叙事的高层次理解，并比较并行、顺序和混合三种规划策略的性能。
CoCoVideo: 基于商业模型的高质量对比基准用于AI生成视频检测
机构 * School of Informatics, Xiamen University（厦门大学信息学院） ； China Academy of Information and Communications Technology（中国信息通信技术研究院） ； AI Transcend Pte. Ltd.（AI Transcend有限公司）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 针对现有数据集依赖低质量开源模型且商业样本带水印的问题，提出包含13个商业生成器的CoCoVideo-26K对比数据集，并设计结合对比学习与置信门控多模态大语言模型的CoCoDetect检测框架，实现高保真AI生成视频的鲁棒检测。
Comments Accepected by CVPR 2026
v-HUB: 从视觉和声音理解视频幽默的基准
机构 * Shanghai Jiao Tong University（上海交通大学） ； Wuhan University（武汉大学） ； Beijing Institute for General Artificial Intelligence（北京一般人工智能研究院） ； Independent Researcher（独立研究者）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 提出v-HUB基准，通过非语言短视频评估多模态大语言模型在仅凭视觉线索理解幽默的能力，并发现音频信息有助于提升幽默理解。
Comments 24 pages, 9 figures
AgenticVBench: AI代理能否完成真实的后期制作任务？
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.MM
AI总结 本文提出AgenticVBench基准，包含100个来自真实后期制作流程的代理任务，评估多模态AI代理的复合能力，发现最佳代理栈性能仅略超30%，远低于人类专家。
Comments 22 pages, 6 figures. Benchmark website: https://agenticvbench.com
扩展以占据为中心的驾驶场景生成：数据集与方法
机构 * Shanghai Jiao Tong University（上海交通大学） ； Eastern Institute of Technology（东部技术研究院） ； School of Electronic Information and Electrical Engineering（电子信息与电气工程学院） ； Li Auto（力汽车） ； National University of Singapore（新加坡国立大学） ； Tsinghua University（清华大学） ； Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生实验室） ； Ningbo Institute of Digital Twin（宁波数字孪生研究院）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 针对占据数据稀缺问题，构建最大语义占据数据集Nuplan-Occ，并提出统一框架联合生成高质量语义占据、多视角视频和LiDAR点云，采用时空解耦架构及高斯泼溅稀疏点图渲染和传感器感知嵌入策略，实现高保真生成。
Comments IEEE TPAMI
StereoGenBench：一种用于受控基线条件下立体生成的合成多相机基准
机构 * Washington University in St. Louis（华盛顿大学圣路易斯分校）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 提出一个合成多相机基准StereoGenBench，通过可控基线、内参、深度和姿态，实现立体生成中基线灵敏度与目标相机一致性的可测量评估。
癫痫半相学套件（S3）：一个临床多模态数据集、基准和模型用于癫痫半相学理解
机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； University of Pittsburgh（匹兹堡大学） ； Fudan University（复旦大学） ； University of California, Riverside（加州大学河滨分校） ； Hong Kong University of Science（香港科学大学） ； Maharishi International University（玛希拉国际大学）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出S3数据集和基准，用于细粒度、结构化的癫痫半相学理解，通过评估多模态大语言模型在低级视觉感知、时间序列处理、叙述报告生成和癫痫诊断中的能力，揭示了现有模型在左右脑推理、时间定位、症状序列和临床忠实报告方面的系统性弱点，并展示了针对癫痫的微调和双阶段神经符号框架在癫痫与非癫痫癫痫分类中的高F1分数。
Comments Accepted to ICML 2026 as a Spotlight presentation
iMiGUE-3K：一种基于自监督学习的微手势分析大规模基准
机构 * CMVS, University of Oulu（奥卢大学CMVS实验室） ； KTH Royal Institute of Technology（皇家理工学院） ； ELLIS Institute Finland（芬兰ELLIS研究所）
专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV
AI总结 本文提出iMiGUE-3K大规模数据集和MG-FMs基础模型，用于微手势情感理解，通过自监督学习提升情绪识别性能。
Hi-GaTA：用于外科视频报告生成的分层门控时间聚合适配器
机构 * School of Engineering, College of Engineering and Physical Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学工程学院） ； School of Computer Science, University of Birmingham, Birmingham, UK（英国伯明翰大学计算机科学学院） ； Department of Applied Health Sciences, University of Birmingham, Birmingham, UK（英国伯明翰大学应用健康科学系）
专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV
AI总结 本文提出Hi-GaTA框架，通过时间聚合压缩长视频序列生成LLM兼容的视觉前缀令牌，结合预训练的外科专用视频编码器和LoRA微调，实现高质量外科报告生成。
Comments 11 pages, 2 figures
Skyra：通过 grounded artifact reasoning 实现 AI 生成视频检测
机构 * Department of Automation, Tsinghua University（清华大学自动化系）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出 Skyra，一种专门用于识别 AI 生成视频中人类可感知的视觉瑕疵的多模态大语言模型，通过这些瑕疵作为基础证据进行检测和解释，同时构建了首个大规模 AI 生成视频瑕疵数据集并提出两阶段训练策略。
Comments Camera Ready Version. Project Page: https://github.com/JoeLeelyf/Skyra
VideoVerse: 你的T2V生成器有世界模型能力来合成视频吗？
机构 * Sun Yat-sen University（中山大学） ； Hong Kong Polytechnic University（香港理工大学） ； Tsinghua University（清华大学） ； OPPO Research Institute（OPPO研究院）
专题命中 视频数据与评测 ：text-to-video(abstract)；分类 cs.CV
AI总结 VideoVerse通过评估T2V模型对复杂时间因果关系和世界知识的理解能力，揭示现有模型与理想世界建模能力的差距。
Comments 26 Pages, 10 Figures, 14 Tables
PanoWorld：几何一致的全景视频世界建模
机构 * Northeastern University（东北大学）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 PanoWorld通过几何和动态一致性建模生成一致的360度视频，提升了空间理解能力，适用于具身AI应用。
几何一致性定量视频世界模型评估
机构 * Tsinghua University - IEI Lab（清华大学-IEI实验室） ； UW-Madison（威斯康星大学麦迪逊分校） ； Adobe Research（Adobe研究院）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出PDI-Bench框架，通过分割与点跟踪获取物体中心观测，利用单目重建获取3D坐标，计算投影几何残差以评估生成视频的几何一致性，揭示视频生成器的特定失败模式。
Comments 12 pages, 5 figures. Project page : https://pdi-bench.github.io/
BARISTA：一种多任务第一人称视角基准，用于组合视觉理解
机构 * Ramblr.ai Research（Ramblr.ai 研究院） ； Technical University of Clausthal（Clausthal 技术大学）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 BARISTA通过185个真实世界咖啡制作视频，提供密集标注的数据集，涵盖全自动、手冲和胶囊式流程，用于评估场景理解中的多任务能力，揭示任务家族间强变化及无主导模型家族。
TOC-Bench：一个用于视频大语言模型的时序物体一致性基准
机构 * Tianjin University（天津大学）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 TOC-Bench旨在评估视频大语言模型的时序物体一致性，通过设计三层时序必要性过滤协议，筛选出17900个时间依赖项，构建了包含2323个高质量问答对的基准，揭示了模型在事件计数、事件排序等任务上的不足。
TraceAV-Bench: 多跳轨迹推理长音频视频基准测试
机构 * University of Electronic Science and Technology of China（电子科学与技术大学） ； Peking University（北京大学） ； Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所） ； Zhongguancun Academy（中关村学院）
专题命中 视频数据与评测 ：long video(abstract)；分类 cs.CV
AI总结 TraceAV-Bench首次评估多跳轨迹推理和多模态幻觉鲁棒性，包含2200道多选题，覆盖4个维度15个子任务，揭示多模态推理与幻觉鲁棒性脱节问题。
AesRM：通过专家级反馈提升视频美学
机构 * The University of Hong Kong（香港大学） ； Fudan University（复旦大学） ； Zhejiang University（浙江大学） ； Hong Kong University of Science and Technology（香港科学与技术大学） ； University of Sydney（悉尼大学） ； Alibaba Group（阿里巴巴集团）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出AesRM框架，通过分解视频美学为视觉美学、视觉保真度和视觉合理性三个维度，构建了专家标注的AesVideo-Bench基准，并开发了AesRM-Base和AesRM-CoT模型，提升了视频美学评估的准确性和可解释性。
Comments 37 pages, 14 figures, 12 tables
OmniVTG：一种大规模数据集和开放世界视频时间定位的训练范式
机构 * Wangxuan Institute of Computer Technology, Peking University（北京大学王轩计算机技术研究所） ； State Key Laboratory of General Artificial Intelligence, Peking University（北京大学通用人工智能国家重点实验室） ； Central Media Technology Institute, Huawei Technologies Ltd.（华为技术有限公司中央媒体技术研究所） ； PKU-WUHAN Institute for Artificial Intelligence, Peking University（北京大学武汉人工智能研究所）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 本文提出OmniVTG数据集和Self-Correction Chain-of-Thought训练范式，通过语义覆盖迭代扩展管道构建大规模数据集，并利用多模态大语言模型的密集描述能力提升视频时间定位性能。
Comments CVPR 2026
QEVA：一种基于多模态问答的无参考视频文本摘要评估指标
机构 * Department of Artificial Intelligence, Chung-Ang University（Chung-Ang大学人工智能系）
专题命中 视频数据与评测 ：video-language(abstract)；分类 cs.CV
AI总结 本文提出QEVA，一种无参考视频摘要评估指标，通过多模态问答直接评估候选摘要与源视频，从覆盖性、事实性和时间顺序三个维度进行评估，引入MLVU(VS)-Eval基准数据集，实验表明QEVA与人类判断的关联性更高。
Comments Accepted to Findings of EMNLP 2025
Long-CODE：将纯长上下文作为视频评估中的一个正交维度
机构 * Hangzhou Institute for Advanced Study, UCAS（浙江大学杭州高等研究院） ； Computer Network Information Center, CAS（中国科学院计算机网络信息中心） ； Department of AI Infrastructure, Bilibili Inc.（B站人工智能基础设施部）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出Long-CODE，通过分离长上下文属性，设计专门的长视频评估框架，解决传统短视频评估指标在长视频中的不足。
MCSC-Bench：多模态情境到脚本创建用于真实视频制作
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.MM
AI总结 本文提出MCSC任务，通过多模态输入和用户指令生成结构化视频脚本，并引入首个大规模MCSC数据集MCSC-Bench，包含11K+标注视频，支持全面评估材料选择、叙事规划和条件脚本生成。
视频推理：评估大语言模型如何提取、整合和重构时空证据
机构 * UNIST（全南大学） ； KAIST（韩国科学技术院）
专题命中 视频数据与评测 ：video understanding(abstract)；分类 cs.CV
AI总结 本文评估大语言模型在视频中的时空推理能力，提出VAEX-BENCH基准，通过合成数据测试抽象推理任务，揭示模型在抽象任务中的局限性。
Comments Project page: https://disl-lab.github.io/VAEX-Bench/
AVID：一种通过代理驱动构建的多模态音频视觉不一致理解基准
专题命中 视频数据与评测 ：long video(abstract)；分类 cs.MM
AI总结 AVID是首个大规模多模态音频视觉不一致理解视频基准，通过可扩展的构建流程和8种细粒度不一致类别，评估检测、时间定位、分类和推理能力，验证了其在可信多模态AI系统中的有效性。
Eevee：迈向基于视频的高分辨率虚拟试衣
机构 * Amap, Alibaba Group（高德，阿里巴巴集团） ； Tianjin University（天津大学） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出高分辨率视频虚拟试衣数据集，解决现有方法在真实纹理细节捕捉和近距离视频生成上的不足，引入VGID指标评估服装一致性，提升虚拟试衣的真实感和细节保真度。
VGA-Bench：一个统一的基准和多模型框架用于视频审美和生成质量评估
机构 * Ant Group（蚂蚁集团） ； Beijing Film Academy（北京电影学院） ； State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，北京通用人工智能研究院）
专题命中 视频数据与评测 ：video generation(abstract)；分类 cs.CV
AI总结 本文提出VGA-Bench，通过三层次分类体系，结合1016个多样化提示生成60000+视频数据集，设计多任务神经评估器，实现视频生成质量与审美质量的系统评估。
Comments CVPR 2026
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈