LENS: Adaptive Spatio-Temporal Zooming for Keyframe Sampling in Long-Form Videos
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
研究针对长视频理解受限于上下文窗口的问题，提出无需训练的关键帧采样框架LENS，它能基于文本查询动态分配帧预算，在时空缩放间平衡，提升关键帧采样效果，优于现有方法，提高了Video-MME准确率。
2026-07-29 cs.CV
ZoomV: Temporal Zoom-in for Efficient Long Video Understanding
ByteDance（字节跳动）；School of Computer Science, Peking University（北京大学计算机科学学院）
TimeSearch通过Spotlight和Reflection机制，提升长视频理解的准确性和效率
2026-08-06 cs.AI cs.CV
No-frills Temporal Video Grounding: Multi-Scale Neighboring Attention and Zoom-in Boundary Detection
Renmin University of China（中国人民大学）
针对时序视频定位中语义噪声比低导致性能下降的问题，提出含多尺度邻域注意力与放大边界检测的轻量化无冗余模型，在基准上取得有竞争力的性能，且推理更快、参数量更少。
2023-07-20 cs.CV
Zoom-VQA: Patches, Frames and Clips Integration for Video Quality Assessment
Kuaishou Technology（快手科技）
本文提出 Zoom-VQA 架构，通过块注意力、帧金字塔对齐和片段集成三个组件在块、帧、片段三个层级感知时空特征，在多个 VQA 基准上取得领先结果。
2023-04-13 cs.CV
Pan-tilt-zoom SLAM for Sports Videos
University of British Columbia（不列颠哥伦比亚大学）；Zhejiang University（浙江大学）
我们提出了一个在线SLAM系统，专门设计用于在篮球和足球比赛等高度动态的运动中跟踪云台（PTZ）摄像机。在这些游戏中，PTZ摄像机旋转非常快，玩家覆盖大的图像区域。为了克服这些挑战，我们建议使用一种新的相机模型进行跟踪，并使用射线作为地标映射。光线克服了纯旋转相机的深度缺失。我们还开发了一个在线的云台森林映射，并引入移动对象（球员）检测，以减轻前景对象的负面影响。我们在合成和真实数据集上测试了我们的方法。实验结果表明，我们的方法优于以前的方法在线PTZ摄像机位姿估计的性能。
2019-07-20 cs.CV
Zoom-In-to-Check: Boosting Video Interpolation via Instance-level Discrimination
University of Pennsylvania（宾夕法尼亚大学）；Tsinghua University（清华大学）
提出了一种轻量级的视频帧内插算法。我们的关键创新是实例级监督，允许从类似对象的高分辨率版本中学习信息。我们的实验表明，该方法可以在不同的数据集上生成最先进的结果，具有竞争方法的计算资源（时间和内存）。给定两个图像帧，级联网络创建中间帧，其中1）流扭曲模块计算粗略的双向光流并通过基于流的扭曲创建内插图像，随后是2）图像合成模块进行精细尺度校正。在学习阶段，在插值图像上生成目标检测建议，放大低分辨率目标，学习算法使用对抗性损失在高分辨率目标上训练，引导系统进行实例级细化，修正目标形状和边界的细节。
2019-04-28 cs.CV
LOVE-R1: Advancing Long Video Understanding with an Adaptive Zoom-in Mechanism via Multi-Step Reasoning
School of Computer Science and Engineering, Sun Yat-sen University, China（中山大学计算机科学与工程学院）；Tongyi Lab, Alibaba Group（阿里巴巴集团 Tongyi 实验室）；Peng Cheng Laboratory, China（鹏城实验室）；Key Laboratory of Machine Intelligence and Advanced Computing, Ministry of Education, China（教育部机器智能与先进计算重点实验室）；Guangdong Province Key Laboratory of Information Security Technology, China（广东省信息安全技术重点实验室）；Pazhou Laboratory (Huangpu), China（琶洲实验室（黄埔））
本文提出 LOVE-R1，通过多步推理自适应放大感兴趣视频片段，并以 38k CoT 数据和解耦强化微调训练，在 4 个长视频基准上平均超越 Qwen2.5-VL 3.1 个百分点。
2025-09-29 cs.CV
EgoExo-Gen: Ego-centric Video Prediction by Watching Exo-centric Videos
Fudan University（复旦大学）；The University of Tokyo（东京大学）；Zhejiang University（浙江大学）；Hong Kong University of Science and Technology（香港科技大学）；Nanjing University（南京大学）；Shanghai Jiao Tong University（上海交通大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
针对跨视角视频预测任务，提出EgoExo-Gen模型，通过明确建模手-物体动态（两阶段：跨视角HOI掩码预测+带结构引导的视频扩散），在Ego-Exo4D和H2O数据集上性能优于现有模型，显著提升内向视角视频中手和交互物体的生成质量。
2025-04-16 cs.CV
Is an Object-Centric Video Representation Beneficial for Transfer?
University of Oxford（牛津大学）；DeepMind（深度思维）
这项工作的目标是学习以对象为中心的视频表示，目的是提高新任务的可转移性，即，任务不同于动作分类的预训练任务。为此，我们引入了一个新的以对象为中心的视频识别模型的基础上的Transformer架构。该模型为视频学习一组以对象为中心的摘要向量，并使用这些向量来融合视频剪辑的视觉和时空轨迹“模态”。我们还引入了一种新的轨迹对比度损失，以进一步增强这些摘要向量中的对象性。通过对四个数据集- SomethingSomething-V2，SomethingElse，Action Genome和EpicKitchen-的实验，我们表明以对象为中心的模型优于先前的视频表示（对象不可知和对象感知），当：（1）对看不见的对象和看不见的环境的动作进行分类;（2）新类的低拍摄学习;（3）对其他下游任务的线性探测;以及（4）用于标准动作分类。
2022-10-08 cs.CV
Zoom on the Keystrokes: Exploiting Video Calls for Keystroke Inference Attacks
University of Texas at San Antonio（得克萨斯大学圣安东尼奥分校）；University of Oklahoma（俄克拉荷马大学）
由于最近的世界事件，视频通话已成为个人和专业远程通信的新规范。然而，如果视频通话中的参与者不小心，他/她可能在通话中向其他人透露他/她的私人信息。在本文中，我们设计并评估了一个攻击框架，以从呼叫的视频流中推断出一种类型的此类隐私信息--匿名，即，在通话中输入的文本。我们使用不同的实验设置和参数，包括不同的网络摄像头，视频分辨率，键盘，服装和背景来评估我们的基于视频的推理框架。我们在常见和现实的设置下相对较高的攻击推理准确度突出了对此类攻击的认识和对策的必要性。因此，我们还提出并评估了有效的缓解技术，可以自动保护用户在视频通话过程中键入。
2020-10-22 cs.CR cs.CV cs.HC
Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions
University of Bonn（波恩大学）
提出OCVP transformer模块解耦时间动态与物体交互，在两个数据集上优于物体无关模型，保持一致准确的物体表示。
2023-07-31 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University（科奇大学）；KUIS AI Center（科奇大学智能系统中心）
提出将 SlotAdapt 扩展至视频的时间对象中心框架，通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
StreamingEffect: Real-Time Human-Centric Video Effect Generation
Show Lab, National University of Singapore（新加坡国立大学Show实验室）
本文提出StreamingEffect框架，通过实时视频到视频编辑技术，在保持人类身份、背景内容和时间一致性的同时添加表现性效果，并构建了最大的以人为中心的视频效果数据集VideoEffect-130K，实现了单块H200 GPU上的实时高质量720p视频编辑。
2026-05-16 cs.CV
ClearText-Video: A Large-Scale Text-Centric Video Dataset Bridging Video Restoration and Scene-Text Enhancement
OPPO US AI Center（OPPO美国人工智能中心）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；University of California San Diego（加利福尼亚大学圣迭戈分校）
研究团队推出ClearText-Video数据集，评估发现视觉增强未必提升文本推理，仅OCR管道远逊于多模态推理，为相关系统提供基础。
2026-09-01 cs.CV
Rethinking Image-to-Video Adaptation: An Object-centric Perspective
The Chinese University of Hong Kong（香港中文大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
该研究从以物体为中心的视角提出高效图像到视频适配策略，通过槽注意力提炼物体token、物体-时间交互层建模时序变化，在动作识别上以更少参数达SOTA，零样本视频分割表现优异。
2024-07-09 cs.CV
AZTR: Aerial Video Action Recognition with Auto Zoom and Temporal Reasoning
University of Maryland, College Park（马里兰大学帕克分校）；DEVCOM U.S. Army Research Laboratory（DEVCOM美国陆军研究实验室）；Purdue University（普渡大学）
本研究提出一种适用于无人机航拍视频、可在边缘设备运行的AZTR方法，通过定制化自动变焦识别人体目标并缩放，结合高效时序推理捕获时空动作信息，在多个航拍动作数据集上准确率显著优于现有最优方法。
2023-03-02 cs.CV cs.RO
Object-centric Video Question Answering with Visual Grounding and Referring
University of Amsterdam（阿姆斯特丹大学）；SAI, Shanghai Jiao Tong University（上海交通大学SAI研究所）；Xiaohongshu Inc（小红书公司）
本文提出支持视觉提示输入与对象定位输出的 VideoLLM，通过 STOM 传播跨帧视觉提示，并构建 VideoInfer 数据集，在12个基准上提升视频问答与分割性能。
2025-07-25 cs.CV
Benchmarking and Learning Object-Centric Procedural Understanding in Instructional Videos
Michigan State University（密歇根州立大学）
本文提出ProcObject-10K，首个评估教学视频中以对象为中心推理和时间证据定位的基准，涵盖137个任务和五种推理类型，揭示模型在对象动态理解上的不足。
2026-10-30 cs.CV
EgoEnv: Human-centric environment representations from egocentric video
FAIR, Meta（Meta FAIR）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
提出EgoEnv方法，通过学习预测佩戴相机者局部环境的表示，将第一视角视频与环境关联，在真实世界视频上超越传统特征，并在Ego4D NLQ挑战中达到最优。
2023-11-09 cs.CV
Object-Centric Representation Learning for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University（迪肯大学应用人工智能研究所）
视频问答（Video QA）为类人智能行为提供了一个强大的测试平台。这项任务需要新的能力来整合视频处理，语言理解，将抽象的语言概念绑定到具体的视觉工件，并在时空上进行审慎推理。神经网络提供了一种很有前途的方法，通过从示例中学习而不是手工制作特征和规则来实现这一潜力。然而，神经网络主要是基于特征的-它们将数据映射到非结构化的向量表示，因此可能会陷入通过表面统计而不是符号系统中真正的系统推理来利用捷径的陷阱。为了解决这个问题，我们提倡以对象为中心的表示作为从视频构建时空结构的基础，基本上弥合了低级模式识别和高级符号代数之间的语义差距。为此，我们提出了一个新的查询引导的表示框架，把一个视频对象，其功能和相互作用的动态和有条件地推断成一个不断发展的关系图。对象的生活，然后总结成简历，贷款自然审慎的关系推理，产生一个答案的查询。该框架在主要的视频QA数据集上进行了评估，证明了以对象为中心的视频推理方法的明显优势。
2021-07-09 cs.CV
EvoVid: Temporal-Centric Self-Evolution for Video Large Language Models
School of Electrical and Electronic Engineering, Nanyang Technological University（南洋理工大学电子与电气工程学院）；ByteDance（字节跳动）
本文提出EvoVid，一种以时间为中心的自我进化框架，使视频大语言模型能够直接从未经标注的视频中改进。通过引入两个互补的时间感知奖励，即时间感知的问题生成奖励和时间基础的求解奖励，EvoVid在四个基础模型和六个基准测试中实现了优于基线模型和现有自我进化基线的改进，展示了时间为中心的自我进化在视频理解和推理中的有效性。
2026-05-21 cs.CV
A Unified Framework for Human-centric Point Cloud Video Understanding
ShanghaiTech University（上海科技大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一个统一框架，利用人体结构语义和运动动态先验，从点云视频中挖掘固有特征，在动作识别和3D姿态估计等任务上实现最先进性能并提升泛化能力。
2024-03-29 cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam（阿姆斯特丹大学）；Qualcomm AI Research（高通AI研究）
针对文本到视频扩散模型运动生成不合理的问题，提出MoAlign框架，从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征，提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System
Fudan University（复旦大学）；Microsoft Cloud + AI（微软云与人工智能部门）；Microsoft Research Asia（微软亚洲研究院）
针对现有深度视频模型任务单一、泛化性差难以落地的问题，提出以轨迹段为中心、结合多种视频基础模型的多模态通用视频理解系统ChatVideo，经真实视频案例验证可有效解答各类视频相关问题。
2023-04-29 cs.CV
TextOCVP: Object-Centric Video Prediction with Language Guidance
University of Bonn（波恩大学）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔人工智能机器学习研究所）；Center for Robotics（机器人中心）
TextOCVP通过文本指导的对象中心模型实现更精确可控的视频预测，优于现有基线。
2026-02-04 cs.CV
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Technologies Ltd.（华为技术有限公司）
针对大视角变化下视频物体表示不稳定的问题，提出Totem框架，通过以物体为中心的三维记忆与双流三维条件架构，实现世界一致性视频生成，在基准测试中表现更优且支持多种应用。
2026-10-14 cs.CV
Objectron: A Large Scale Dataset of Object-Centric Videos in the Wild with Pose Annotations
Google（谷歌）
由于在机器人、增强现实、自主和图像检索中的许多应用，3D目标检测最近变得流行。我们引入Objectron数据集，以推进3D目标检测的最新技术水平，并促进新的研究和应用，如3D对象跟踪，视图合成，并改进3D形状表示。该数据集包含以对象为中心的短视频，具有9个类别的姿势注释，并包括14，819个注释视频中的400万个注释图像。我们还提出了一个新的评价指标，3D交集超过联盟，三维目标检测。我们证明了我们的数据集在3D目标检测任务中的有用性，通过提供在此数据集上训练的基线模型。我们的数据集和评估源代码可在http://www.objectron.dev上在线获得
2020-12-18 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich（慕尼黑技术大学）；TU Darmstadt（达姆施塔特技术大学）；NVIDIA（英伟达）；University of Oxford（牛津大学）；MCML；ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS，利用深度、运动和视觉线索生成伪标签，并通过Video DropLoss训练，在无监督条件下实现准确分割。
2026-06-03 cs.CV
OpenHumanVid: A Large-Scale High-Quality Dataset for Enhancing Human-Centric Video Generation
Fudan University（复旦大学）；Baidu Inc（百度公司）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Shanghai Jiaotong University（上海交通大学）
本文构建大规模高质量以人为中心视频数据集 OpenHumanVid，并通过扩展扩散 Transformer 与进一步预训练验证其可显著提升人物视频生成质量。
2025-01-04 cs.CV
Representation learning from videos in-the-wild: An object-centric approach
Google AI（谷歌人工智能）；Google Research（谷歌研究院）
我们提出了一种从未经策划的视频中学习图像表示的方法。我们结合了监督损失从现成的对象检测器和自我监督的损失，自然产生的视频拍摄帧对象层次存在于每个视频。我们报告了视觉任务适应基准（VTAB）的19个迁移学习任务和8个分布泛化任务的竞争结果，并讨论了所提出的方法的优点和缺点。特别是，它在所有18/19的少样本学习任务和8/8的分布外泛化任务上都比基线有所改善。最后，我们进行了几项消融研究，并分析了预先训练的对象检测器对这套任务性能的影响。
2021-02-09 cs.CV
Object-centric and memory-guided normality reconstruction for video anomaly detection
Université Paris-Saclay（巴黎萨克雷大学）；CEA（法国原子能和替代能源委员会）；CNRS（法国国家科学研究中心）
本文提出一种以对象为中心且记忆引导的正常性建模框架，通过耦合预训练动作特征原型与余弦距离异常估计函数，在主流重建策略中引入额外约束，在多个数据集的时空评估指标上优于现有最先进方法。
2023-05-19 cs.CV
DocVideoQA: Towards Comprehensive Understanding of Document-Centric Videos through Question Answering
Peking University（北京大学）；University of Science and Technology of China（中国科学技术大学）
针对文档类教学视频多模态理解研究不足的问题，本文提出DocVideoQA任务与含1454条视频、15.4万问答对的数据集，并提出DV-LLaMA基线模型，通过指令微调和对比学习提升性能，效果优于现有模型。
2025-03-20 cs.CV
VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding
DAMO Academy, Alibaba Group（达摩院，阿里巴巴集团）；Hupan Lab（虎派实验室）
VideoLLaMA3 提出以视觉为中心的训练范式与框架设计，通过高质量图像-文本数据、四阶段训练及自适应视觉 token 编码，在图像和视频理解任务上取得显著性能提升。
2025-06-03 cs.CV
HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales
针对视频伪造给数字内容取证带来的挑战，引入HumanForge数据集，提出基于LangGraph的Gen2Anno多智能体管道构建并注释数据集，经测试展现了零样本泛化和细粒度推理的重大挑战，代码和数据集将公开。
2026-08-17 cs.CV
HumanSAM: Classifying Human-centric Forgery Videos in Human Spatial, Appearance, and Motion Anomaly
National University of Defense Technology（国防科技大学）；Hunan University（湖南大学）
针对以人为中心的伪造视频细粒度分类需求，该研究提出融合视频理解与空间深度分支、结合排序置信增强的HumanSAM框架，构建了首个HFV基准数据集，在二分类和多分类伪造检测任务上均取得优于现有方法的表现。
2025-08-01 cs.CV
IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation
State University of New York at Buffalo（纽约州立大学布法罗分校）；Microsoft（微软公司）；Advanced Micro Devices（超威半导体公司）
针对以人为中心的视频-深度联合生成研究不足的问题，提出IDOL统一双模态潜在扩散模型，通过统一双模态U-Net和两种一致性损失实现高质量对齐生成，在多个数据集上性能超越现有方法。
2024-07-15 cs.CV
HumanOmni: A Large Vision-Speech Language Model for Human-Centric Video Understanding
Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室）；ISEE, Sun Yat-sen University（中山大学智能工程学院）；VCIP, CS, Nankai University（南开大学计算机科学与通信工程学院）
本研究提出业界首个以人为中心的Omni-multimodal大型语言模型HumanOmni，通过构建超240万视频片段与1400万指令的数据集，采用三分支自适应融合视觉与音频特征，显著提升情感识别等场景理解能力。
2025-01-25 cs.CV
Llama Learns to Direct: DirectorLLM for Human-Centric Video Generation
GenAI at Meta（Meta 人工智能）；Rutgers University（罗格斯大学）
本文提出DirectorLLM，利用LLM生成人体姿态指导信号，辅助视频渲染器生成高保真、遵循提示的以人为中心的视频，实验证明其性能优于现有模型。
2025-09-08 cs.CV
Object-Centric Representation Learning from Unlabeled Videos
University of Texas at Austin（德克萨斯大学奥斯汀分校）
监督（预）训练目前为视觉识别的表示学习提供了最先进的性能，但它的代价是（1）密集的手动注释和（2）与学习相关的数据范围的固有限制。在这项工作中，我们探索了从未标记视频中进行无监督特征学习。我们介绍了一种新的以对象为中心的方法，时间的连贯性，鼓励类似的表示学习对象从附近的帧分割的区域。我们的框架依赖于Siamese-triplet网络来训练深度卷积神经网络（CNN）表示。与现有的时间相干性方法相比，我们的想法具有未标记视频的轻量级预处理（不需要跟踪）的优点，同时仍然能够提取从中学习不变性的对象级区域。此外，正如我们在几个标准数据集上的结果所示，我们的方法通常在图像分类和检索任务的竞争无监督方法上实现了实质性的准确性增益。
2016-12-01 cs.CV
VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation
University of California Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）
VideoPhy-2通过200种动作和人工评估揭示视频生成模型在物理常识上的关键缺陷，并训练自动评估器VideoPhy-AutoEval，为物理一致视频生成提供严格基准。
2025-03-09 cs.CV
Object-centric Video Representation for Long-term Action Anticipation
Brown University（布朗大学）；Honda Research Institute USA（本田美国研究院）；Samsung（三星）
本文提出利用视觉-语言预训练模型和对象提示构建以对象为中心的视频表示，并结合 Transformer 架构在不同时间尺度检索相关对象，以提升长期动作预测性能。
2023-10-31 cs.CV
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley（加州大学伯克利分校）；Panasonic（松下）
在这项工作中，我们提出了基于补丁的以对象为中心的视频Transformer（POVT），一种新的基于区域的视频生成架构，利用以对象为中心的信息，有效地模拟视频中的时间动态。我们建立在以前的工作，通过自回归Transformer在压缩视频的离散潜在空间的视频预测，与添加修改模型对象为中心的信息，通过边界框。由于以对象为中心的表示具有更好的可压缩性，我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时，我们的方法与其他视频生成模型相比具有更好或相同的性能，同时保持计算上更高效和可扩展性。此外，我们表明，我们的方法是能够执行以对象为中心的可控性，通过限界框操纵，这可能有助于下游任务，如视频编辑，或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
SportsSloMo: A New Benchmark and Baselines for Human-centric Video Frame Interpolation
UC San Diego（加州大学圣迭戈分校）；Northeastern University（东北大学）
针对现有视频帧插值基准缺乏以人为中心场景的问题，研究构建了包含13万+体育慢动作视频片段的SportsSloMo基准，提出两种人体感知损失项，在5个现有模型上实现稳定性能提升并建立强基线。
2023-12-12 cs.CV
HuC-VideoMAE: Human-Centric Video Masked Autoencoding from synthetic data
Universidad de Alcalá（阿尔卡拉大学）；Universidad Politécnica de Madrid（马德里理工大学）；Universidad Rey Juan Carlos（胡安卡洛斯国王大学）
针对合成数据上视频Transformer预训练性能不佳的问题，提出以人为中心的掩码方案，利用关键点和边界框，在NTU RGB+D和Toyota-Smarthome上显著优于标准VideoMAE，并缩小与Kinetics预训练差距的49%。
2026-10-07 cs.CV
Semantic Slots for Video Object-Centric Learning
Polytechnique Montréal（蒙特利尔理工学院）；Université TÉLUQ（魁北克大学泰吕克分校）
针对视频以对象为中心学习的解码器瓶颈，提出SemanticSlots方法，通过Transformer解码器使槽与对象位置无关，在YouTube-VIS数据集上实现优于现有方法的分割性能。
2026-08-25 cs.CV
OmniHuman: A Large-scale Dataset and Benchmark for Human-Centric Video Generation
Peking University（北京大学）；WeChat Lab（微信实验室）；Chinese Academy of Sciences（中国科学院）
为解决现有数据集在场景多样性、交互建模和属性对齐方面的结构性缺陷，提出OmniHuman大规模多场景数据集及全自动标注流程，并建立OHBench三级评估体系，实现与人类感知高度一致的诊断。
2026-05-30 cs.CV
Generated Reality: Human-centric World Simulation using Interactive Video Generation with Hand and Camera Control
Stanford University（斯坦福大学）；NYU Shanghai（纽约大学上海分校）；UNC Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出了一种基于交互式视频生成的人本世界模拟系统，通过结合头部和手部姿态控制，提升虚拟环境的交互性和用户控制感。
2026-08-25 cs.CV
Benchmarking Dynamic Affective Reasoning: A Viewer-Centric Video Emotion Dataset
University of Science and Technology of China（中国科学技术大学）；Hefei University of Technology（合肥工业大学）
研究针对视频情感分析常被视为静态分类问题的不足，引入动态情感推理及数据集DAR，定义三项任务，提出DAR - R1框架，经实验验证其在情感定位和推理方面达新的先进水平。
2026-07-14 cs.CV
TIV-Diffusion: Towards Object-Centric Movement for Text-driven Image to Video Generation
University of Science and Technology of China（中国科学技术大学）；The Hong Kong Polytechnic University（香港理工大学）
TIV-Diffusion提出对象中心文本-视觉对齐的扩散框架，通过尺度-偏移调制感知对象运动，解决对象消失与错配，实现文本驱动图像到视频的高质量生成。
2024-12-16 cs.CV
RePerformer: Immersive Human-centric Volumetric Videos from Playback to Photoreal Reperformance
ShanghaiTech University（上海科技大学）；NeuDim；ByteDance（字节跳动）；DGene；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
提出 RePerformer 高斯表示，通过运动与外观解耦、Morton 参数化及语义对齐形变迁移，统一实现人体体积视频的高保真回放与新动作照片级重演。
2025-03-15 cs.CV
VideoChat: Chat-Centric Video Understanding
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；OpenGVLab, Shanghai AI Laboratory（上海人工智能实验室 OpenGVLab）；The University of Hong Kong（香港大学）；Nanjing University（南京大学）
本文提出端到端以对话为中心的视频理解系统 VideoChat，通过可学习神经接口整合视频基础模型与大型语言模型，并构建以视频为中心的指令数据集进行微调，在时空推理、事件定位和因果推断上表现优异，为未来研究提供原型。
2024-01-04 cs.CL cs.CV
Helping Hands: An Object-Aware Ego-Centric Video Recognition Model
University of Oxford（牛津大学）；Google DeepMind（谷歌DeepMind）
本文提出对象感知解码器，借助手部、对象位置与语义标签预测增强自我中心视频表征，在零样本检索分类和长期理解任务上超越现有方法。
2023-08-15 cs.CV
AniCrafter: Customizing Realistic Human-Centric Animation via Avatar-Background Conditioning in Video Diffusion Models
The University of Tokyo（东京大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究提出AniCrafter模型，通过在视频扩散模型中引入化身-背景条件机制，解决现有角色动画方法在开放域场景中效果受限的问题，其性能优于现有最先进方法，可生成通用且可感知遮挡的动画结果。
2026-08-03 cs.CV
Augmented 2D-TAN: A Two-stage Approach for Human-centric Spatio-Temporal Video Grounding
Sun Yat-sen University（中山大学）；Meituan（美团）
提出了一种有效的两阶段方法来解决基于语言的以人为中心的时空视频接地（HC-STVG）任务的问题。在第一阶段，我们提出了一个增强的二维时间相邻网络（增强2D-TAN）的时间接地对应于给定的描述的目标时刻。首先，我们从两个方面改进了原始的2D-TAN：首先，开发了一个时间上下文感知的Bi-LSTM聚合模块来聚合剪辑级表示，取代了原始的max-pooling。其次，我们建议在训练阶段采用随机级联增强（RCA）机制。在第二阶段，我们使用预训练的MDETR模型通过语言查询生成每帧的边界框，并设计一组手工制作的规则来选择最佳匹配的限界框输出MDETR为每帧内的接地时刻。
2022-05-05 cs.CV
