HighlightMe: Detecting Highlights from Human-Centric Videos
University of Maryland(马里兰大学);Adobe Research(奥多比研究院)
本文提出HighlightMe方法,利用时空图卷积自编码器从以人为中心视频的姿态和人脸模态中检测活动和交互,生成逐帧精彩分数并拼接成片段,在四个基准数据集上无需用户偏好或微调即实现4-12%的平均精度提升。
2024-11-22 cs.CV
Human-centric Behavior Description in Videos: New Benchmark and Model
Northwestern Polytechnical University(西北工业大学)
针对视频级字幕缺乏个体细粒度行为描述的问题,本文构建覆盖1,012段视频、7,820名个体的以人为中心监控字幕数据集,并提出人物级视频字幕模型,取得SOTA性能。
2023-10-04 cs.CV
SynthForensics: Benchmarking and Evaluating People-Centric Synthetic Video Deepfakes
iCTLab s.r.l.(iCTLab公司);University of Catania(卡塔尼亚大学)
本文提出SynthForensics基准测试,评估合成视频深度伪造的可检测性,通过20445个视频数据集验证了人类和算法在识别合成视频中的性能差异。
2026-05-08 cs.CV
Self-supervised Object-Centric Learning for Videos
Koç University(科奇大学);Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);KUIS AI Center(KUIS人工智能中心)
提出首个完全无监督的视频多对象分割方法,通过对象中心学习框架在帧内绑定对象到槽并跨帧关联,以重建中间帧特征为目标,采用掩码策略和槽合并,成功分割YouTube视频中的复杂对象。
2023-10-10 cs.CV
Are Synthetic Videos Useful? A Benchmark for Retrieval-Centric Evaluation of Synthetic Videos
The University of Queensland(昆士兰大学);The University of Southern Queensland(南方昆士兰大学)
本文提出 SynTVA 基准,基于 MSRVTT 查询生成合成视频并从四个语义维度标注对齐质量,证明其可用于筛选高效用样本以增强文本到视频检索模型。
2025-07-03 cs.CV
VidEmo: Affective-Tree Reasoning for Emotion-Centric Video Foundation Models
Nankai University(南开大学);Pengcheng Laboratory(鹏城实验室);Kuaishou Technology(快手科技);Nankai International Advanced Research Institute (SHENZHEN·FUTIAN)(南开国际先进研究院(深圳·福田))
本文提出情感线索引导推理框架及视频情感基础模型VidEmo,通过两阶段调整与210万样本数据集Emo-CFG,在15个面部感知任务上取得突破性性能。
2025-11-04 cs.CV
EchoFoley: Event-Centric Hierarchical Control for Video Grounded Creative Sound Generation
ByteDance Intelligent Creation(字节跳动智能创作);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of California, Merced(加州大学默塞德分校);University of California, Los Angeles(加州大学洛杉矶分校)
提出EchoFoley任务,通过事件级局部控制和层次化语义控制实现视频接地声音生成,构建EchoFoley-6k基准并设计EchoVidia框架,在可控性和感知质量上分别提升40.7%和12.5%。
2026-06-24 cs.CV
PANDA: A Gigapixel-level Human-centric Video Dataset
Tsinghua University(清华大学);Duke University(杜克大学)
我们提出了PANDA,第一个千兆像素级的以人为中心的viDeo数据集,用于大规模,长期和多对象的视觉分析。PANDA中的视频是由一个千兆像素的摄像头拍摄的,涵盖了宽视野(约1平方公里的区域)和高分辨率细节(约千兆像素级/帧)的真实场景。场景可能包含4k头数,超过100倍的比例变化。PANDA提供丰富和分层的地面实况注释,包括15,974.6k边界框,111.8k细粒度属性标签,12.7k轨迹,2.2k组和2.9k交互。我们对人类检测和跟踪任务进行基准测试。由于行人姿态、尺度、遮挡和轨迹的巨大差异,现有方法在准确性和效率方面都面临挑战。鉴于PANDA具有宽视场和高分辨率的独特性,引入了交互感知的组检测的新任务。我们设计了一个“全球到本地放大”的框架,全球轨迹和当地的相互作用同时编码,产生有前途的结果。我们相信PANDA将通过理解大规模现实世界场景中的人类行为和互动,为人工智能和人类行为学社区做出贡献。PANDA网站:http://www.panda-dataset.com.
2020-03-10 cs.CV
Score2Instruct: Scaling Up Video Quality-Centric Instructions via Automated Dimension Scoring
Tsinghua University(清华大学);Kuaishou Technology(快手科技)
本文提出Score2Instruct管道,通过自动化生成视频质量指令数据,提升视频大模型的质量评分和解释能力,构建了S2I-Bench基准测试集并验证了方法的有效性。
2026-03-27 cs.CV
Beyond Gloss: A Hand-Centric Framework for Gloss-Free Sign Language Translation
Center for Vision, Speech and Signal Processing (CVSSP) University of Surrey(视觉、语音和信号处理中心(CVSSP)大学学院)
针对手语翻译的模态差距与手部细微动作捕捉难题,提出以手部为中心的无标注手语翻译框架BeyondGloss,通过手部动作描述对齐、特征蒸馏及对比损失等方法,在两个基准上取得最优性能。
2025-09-01 cs.CV
Keep It in Mind: User Centric Continual Spatial Intelligence Reasoning in Egocentric Video Streams
University of Science and Technology of China(中国科学技术大学)
提出UCS-Bench数据集和DirectMe框架,通过增量构建结构化空间记忆,实现自我中心视频流中动态空间推理、长期记忆与用户实时位置对齐,显著提升多模态大模型的空间推理能力。
2026-06-16 cs.CV
WTS: A Pedestrian-Centric Traffic Video Dataset for Fine-grained Spatial-Temporal Understanding
Woven by Toyota(丰田编织公司);The University of Tokyo(东京大学);Santa Clara University(圣克拉拉大学)
本文提出行人中心交通视频数据集WTS,含1200+事件及5000个标注视频,整合多视角与3D视线数据,并引入LLMScorer评估指标及实例感知VideoLLM基线,以推动细粒度视频事件理解,提升交通安全与自动驾驶。
2024-07-22 cs.CV
MovieGraphs: Towards Understanding Human-Centric Situations from Videos
University of Toronto(多伦多大学);Vector Institute(向量研究所);Montreal Institute for Learning Algorithms(蒙特利尔学习算法研究所)
人们对人工智能越来越感兴趣,以建立社会智能机器人。这就要求机器有能力“阅读”人们的情绪、动机和其他影响行为的因素。为了实现这一目标,我们引入了一个新的数据集,称为MovieGraphs,它提供了详细的,基于图形的注释的电影剪辑中描绘的社会情况。每个图由几种类型的节点组成,以捕获剪辑中存在的人、他们的情感和身体属性、他们的关系(即,父母/孩子),以及他们之间的互动。大多数交互都与提供额外细节的主题以及提供行动动机的原因相关联。此外,大多数交互和许多属性都基于带有时间戳的视频。我们对数据集进行了全面的分析,展示了场景的不同社交方面之间以及随着时间的推移跨场景之间有趣的常识相关性。我们提出了一种用图查询视频和文本的方法,并表明:1)我们的图包含丰富和足够的信息来总结和定位每个场景; 2)子图允许我们在抽象层次上描述情况,并检索多个语义相关的情况。我们还提出了通过排序和原因理解来理解交互的方法。MovieGraphs是第一个专注于以人为中心的情况的推断属性的基准,并为社会智能人工智能智能体开辟了一条令人兴奋的道路。
2018-04-15 cs.CV
MultiVENT 2.0: A Massive Multilingual Benchmark for Event-Centric Video Retrieval
Human Language Technology Center of Excellence(语言技术卓越中心);Johns Hopkins University(约翰斯·霍普金斯大学);Virginia Tech University(弗吉尼亚理工大学)
针对现有视频检索数据集范围有限、以英语为中心的问题,本文提出大规模多语言事件中心视频检索基准MultiVENT 2.0,包含超21.8万条新闻视频和3906条特定事件查询,初步结果表明现有模型表现不佳,凸显对更强大多模态检索系统的需求。
2025-02-10 cs.CL cs.CV
Towards Adaptive Human-centric Video Anomaly Detection: A Comprehensive Framework and A New Benchmark
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对以人为中心的视频异常检测面临的行为复杂、异常稀缺、伦理约束等挑战,提出HuVAD隐私增强数据集与UCAL无监督持续学习框架,在多数场景下刷新SOTA。
2025-03-19 cs.AI cs.CV
K9-Bench: Evaluating Multimodal LLMs on Canine-Centric Videos
Ogmen Robotics Inc.(Ogmen机器人公司);Georgia Institute of Technology(佐治亚理工学院)
介绍K9-Bench基准,通过约5000个问答对测试多模态大语言模型对犬类动作和互动理解。提出数据生成管道创建数据集,发现前沿模型在犬类任务上零样本性能有限,还提供通用数据集构建管道。
2026-07-07 cs.AI cs.CV
I Seek You in Videos: Identity-Conditioned Queries for Person-Centric Video Reasoning
Beijing Jiaotong University(北京交通大学);HUJING Digital Media & Entertainment Group(汇晶数字媒体与娱乐集团);MAIS Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所MAIS)
该研究提出了身份条件查询(ICQ)任务,构建了ISYV基准、训练集与框架,实验显示主流多模态大语言模型在该任务上表现不佳,ISYV模型性能优于强基线且接近闭源模型。
2026-08-10 cs.AI cs.CV
SlotMatch: Distilling Object-Centric Representations for Unsupervised Video Segmentation
University of Bucharest(布加勒斯特大学);Aalborg University(奥尔堡大学)
针对无监督视频分割中基于槽注意力的模型计算成本高的问题,提出SlotMatch知识蒸馏框架,将以对象为中心的表示迁移到轻量级学生模型,该学生模型参数减少3.6倍、速度快2.7倍,性能优于教师模型及其他最先进模型。
2026-10-20 cs.AI cs.CV
KnowVis: Knowledge-Centric Visual Summarization for Video Lectures
City University of Hong Kong(香港城市大学);ETH Zürich(苏黎世联邦理工学院)
针对视频讲座线性信息传递与人类学习需构建认知网络的不匹配问题,提出KnowVis框架,生成精准清晰的视觉摘要,降低认知负荷并提升学习效果,还发布了配套教育视频数据集。
2026-09-09 cs.CL cs.CV
EventFormer: A Node-graph Hierarchical Attention Transformer for Action-centric Video Event Prediction
Beihang University(北京航空航天大学);University of Science and Technology Beijing(北京科技大学);School of Computer Science and Engineering(计算机科学与工程学院);State Key Laboratory of Virtual Reality Technology and Systems(虚拟现实技术与系统国家重点实验室)
针对视频事件预测任务AVEP,提出结构化数据集和基于节点图层次注意力的EventFormer模型,有效捕捉事件与参数关系,性能优于现有模型。
2025-10-19 cs.AI cs.CV cs.MM
EgoExo-Gen: Ego-centric Video Prediction by Watching Exo-centric Videos
Fudan University(复旦大学);The University of Tokyo(东京大学);Zhejiang University(浙江大学);Hong Kong University of Science and Technology(香港科技大学);Nanjing University(南京大学);Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对跨视角视频预测任务,提出EgoExo-Gen模型,通过明确建模手-物体动态(两阶段:跨视角HOI掩码预测+带结构引导的视频扩散),在Ego-Exo4D和H2O数据集上性能优于现有模型,显著提升内向视角视频中手和交互物体的生成质量。
2025-04-16 cs.CV
Is an Object-Centric Video Representation Beneficial for Transfer?
University of Oxford(牛津大学);DeepMind(深度思维)
这项工作的目标是学习以对象为中心的视频表示,目的是提高新任务的可转移性,即,任务不同于动作分类的预训练任务。为此,我们引入了一个新的以对象为中心的视频识别模型的基础上的Transformer架构。该模型为视频学习一组以对象为中心的摘要向量,并使用这些向量来融合视频剪辑的视觉和时空轨迹“模态”。我们还引入了一种新的轨迹对比度损失,以进一步增强这些摘要向量中的对象性。通过对四个数据集- SomethingSomething-V2,SomethingElse,Action Genome和EpicKitchen-的实验,我们表明以对象为中心的模型优于先前的视频表示(对象不可知和对象感知),当:(1)对看不见的对象和看不见的环境的动作进行分类;(2)新类的低拍摄学习;(3)对其他下游任务的线性探测;以及(4)用于标准动作分类。
2022-10-08 cs.CV
Object-Centric Video Prediction via Decoupling of Object Dynamics and Interactions
University of Bonn(波恩大学)
提出OCVP transformer模块解耦时间动态与物体交互,在两个数据集上优于物体无关模型,保持一致准确的物体表示。
2023-07-31 cs.CV
Compositional Video Synthesis by Temporal Object-Centric Learning
Koc University(科奇大学);KUIS AI Center(科奇大学智能系统中心)
提出将 SlotAdapt 扩展至视频的时间对象中心框架,通过姿态不变槽位与预训练扩散模型实现高质量、连贯且可组合编辑的视频生成。
2025-07-28 cs.CV
StreamingEffect: Real-Time Human-Centric Video Effect Generation
Show Lab, National University of Singapore(新加坡国立大学Show实验室)
本文提出StreamingEffect框架,通过实时视频到视频编辑技术,在保持人类身份、背景内容和时间一致性的同时添加表现性效果,并构建了最大的以人为中心的视频效果数据集VideoEffect-130K,实现了单块H200 GPU上的实时高质量720p视频编辑。
2026-05-16 cs.CV
Rethinking Image-to-Video Adaptation: An Object-centric Perspective
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
该研究从以物体为中心的视角提出高效图像到视频适配策略,通过槽注意力提炼物体token、物体-时间交互层建模时序变化,在动作识别上以更少参数达SOTA,零样本视频分割表现优异。
2024-07-09 cs.CV
Object-centric Video Question Answering with Visual Grounding and Referring
University of Amsterdam(阿姆斯特丹大学);SAI, Shanghai Jiao Tong University(上海交通大学SAI研究所);Xiaohongshu Inc(小红书公司)
本文提出支持视觉提示输入与对象定位输出的 VideoLLM,通过 STOM 传播跨帧视觉提示,并构建 VideoInfer 数据集,在12个基准上提升视频问答与分割性能。
2025-07-25 cs.CV
EgoEnv: Human-centric environment representations from egocentric video
FAIR, Meta(Meta FAIR);University of Texas at Austin(德克萨斯大学奥斯汀分校)
提出EgoEnv方法,通过学习预测佩戴相机者局部环境的表示,将第一视角视频与环境关联,在真实世界视频上超越传统特征,并在Ego4D NLQ挑战中达到最优。
2023-11-09 cs.CV
Object-Centric Representation Learning for Video Question Answering
Applied Artificial Intelligence Institute, Deakin University(迪肯大学应用人工智能研究所)
视频问答(Video QA)为类人智能行为提供了一个强大的测试平台。这项任务需要新的能力来整合视频处理,语言理解,将抽象的语言概念绑定到具体的视觉工件,并在时空上进行审慎推理。神经网络提供了一种很有前途的方法,通过从示例中学习而不是手工制作特征和规则来实现这一潜力。然而,神经网络主要是基于特征的-它们将数据映射到非结构化的向量表示,因此可能会陷入通过表面统计而不是符号系统中真正的系统推理来利用捷径的陷阱。为了解决这个问题,我们提倡以对象为中心的表示作为从视频构建时空结构的基础,基本上弥合了低级模式识别和高级符号代数之间的语义差距。为此,我们提出了一个新的查询引导的表示框架,把一个视频对象,其功能和相互作用的动态和有条件地推断成一个不断发展的关系图。对象的生活,然后总结成简历,贷款自然审慎的关系推理,产生一个答案的查询。该框架在主要的视频QA数据集上进行了评估,证明了以对象为中心的视频推理方法的明显优势。
2021-07-09 cs.CV
EvoVid: Temporal-Centric Self-Evolution for Video Large Language Models
School of Electrical and Electronic Engineering, Nanyang Technological University(南洋理工大学电子与电气工程学院);ByteDance(字节跳动)
本文提出EvoVid,一种以时间为中心的自我进化框架,使视频大语言模型能够直接从未经标注的视频中改进。通过引入两个互补的时间感知奖励,即时间感知的问题生成奖励和时间基础的求解奖励,EvoVid在四个基础模型和六个基准测试中实现了优于基线模型和现有自我进化基线的改进,展示了时间为中心的自我进化在视频理解和推理中的有效性。
2026-05-21 cs.CV
A Unified Framework for Human-centric Point Cloud Video Understanding
ShanghaiTech University(上海科技大学);The Chinese University of Hong Kong(香港中文大学)
本文提出一个统一框架,利用人体结构语义和运动动态先验,从点云视频中挖掘固有特征,在动作识别和3D姿态估计等任务上实现最先进性能并提升泛化能力。
2024-03-29 cs.CV
MoAlign: Motion-Centric Representation Alignment for Video Diffusion Models
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通AI研究)
针对文本到视频扩散模型运动生成不合理的问题,提出MoAlign框架,从预训练视频编码器学习解耦运动子空间并对齐扩散模型潜特征,提升生成视频的物理合理性且保留文本遵循度。
2025-10-21 cs.CV
ChatVideo: A Tracklet-centric Multimodal and Versatile Video Understanding System
Fudan University(复旦大学);Microsoft Cloud + AI(微软云与人工智能部门);Microsoft Research Asia(微软亚洲研究院)
针对现有深度视频模型任务单一、泛化性差难以落地的问题,提出以轨迹段为中心、结合多种视频基础模型的多模态通用视频理解系统ChatVideo,经真实视频案例验证可有效解答各类视频相关问题。
2023-04-29 cs.CV
TextOCVP: Object-Centric Video Prediction with Language Guidance
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔人工智能机器学习研究所);Center for Robotics(机器人中心)
TextOCVP通过文本指导的对象中心模型实现更精确可控的视频预测,优于现有基线。
2026-02-04 cs.CV
Totem: Object-Centric 3D Memory for World-Consistent Video Generation
Harbin Institute of Technology(哈尔滨工业大学);Huawei Technologies Ltd.(华为技术有限公司)
针对大视角变化下视频物体表示不稳定的问题,提出Totem框架,通过以物体为中心的三维记忆与双流三维条件架构,实现世界一致性视频生成,在基准测试中表现更优且支持多种应用。
2026-10-14 cs.CV
Scene-Centric Unsupervised Video Panoptic Segmentation
TU Munich(慕尼黑技术大学);TU Darmstadt(达姆施塔特技术大学);NVIDIA(英伟达);University of Oxford(牛津大学);MCML;ELIZA
提出无监督视频全景分割任务及首个方法VideoCUPS,利用深度、运动和视觉线索生成伪标签,并通过Video DropLoss训练,在无监督条件下实现准确分割。
2026-06-03 cs.CV
Patch-based Object-centric Transformers for Efficient Video Generation
UC Berkeley(加州大学伯克利分校);Panasonic(松下)
在这项工作中,我们提出了基于补丁的以对象为中心的视频Transformer(POVT),一种新的基于区域的视频生成架构,利用以对象为中心的信息,有效地模拟视频中的时间动态。我们建立在以前的工作,通过自回归Transformer在压缩视频的离散潜在空间的视频预测,与添加修改模型对象为中心的信息,通过边界框。由于以对象为中心的表示具有更好的可压缩性,我们可以通过允许模型仅访问对象信息以获取更长时间范围的时间信息来提高训练效率。当在各种困难的以对象为中心的数据集上进行评估时,我们的方法与其他视频生成模型相比具有更好或相同的性能,同时保持计算上更高效和可扩展性。此外,我们表明,我们的方法是能够执行以对象为中心的可控性,通过限界框操纵,这可能有助于下游任务,如视频编辑,或视觉规划。样品可在https://sites.google.com/view/povt-public上获得
2022-06-19 cs.CV cs.LG
OpenHumanVid: A Large-Scale High-Quality Dataset for Enhancing Human-Centric Video Generation
Fudan University(复旦大学);Baidu Inc(百度公司);Shanghai Academy of AI for Science(上海人工智能科学研究院);Shanghai Jiaotong University(上海交通大学)
本文构建大规模高质量以人为中心视频数据集 OpenHumanVid,并通过扩展扩散 Transformer 与进一步预训练验证其可显著提升人物视频生成质量。
2025-01-04 cs.CV
Representation learning from videos in-the-wild: An object-centric approach
Google AI(谷歌人工智能);Google Research(谷歌研究院)
我们提出了一种从未经策划的视频中学习图像表示的方法。我们结合了监督损失从现成的对象检测器和自我监督的损失,自然产生的视频拍摄帧对象层次存在于每个视频。我们报告了视觉任务适应基准(VTAB)的19个迁移学习任务和8个分布泛化任务的竞争结果,并讨论了所提出的方法的优点和缺点。特别是,它在所有18/19的少样本学习任务和8/8的分布外泛化任务上都比基线有所改善。最后,我们进行了几项消融研究,并分析了预先训练的对象检测器对这套任务性能的影响。
2021-02-09 cs.CV
Object-centric and memory-guided normality reconstruction for video anomaly detection
Université Paris-Saclay(巴黎萨克雷大学);CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心)
本文提出一种以对象为中心且记忆引导的正常性建模框架,通过耦合预训练动作特征原型与余弦距离异常估计函数,在主流重建策略中引入额外约束,在多个数据集的时空评估指标上优于现有最先进方法。
2023-05-19 cs.CV
DocVideoQA: Towards Comprehensive Understanding of Document-Centric Videos through Question Answering
Peking University(北京大学);University of Science and Technology of China(中国科学技术大学)
针对文档类教学视频多模态理解研究不足的问题,本文提出DocVideoQA任务与含1454条视频、15.4万问答对的数据集,并提出DV-LLaMA基线模型,通过指令微调和对比学习提升性能,效果优于现有模型。
2025-03-20 cs.CV
VideoLLaMA 3: Frontier Multimodal Foundation Models for Image and Video Understanding
DAMO Academy, Alibaba Group(达摩院,阿里巴巴集团);Hupan Lab(虎派实验室)
VideoLLaMA3 提出以视觉为中心的训练范式与框架设计,通过高质量图像-文本数据、四阶段训练及自适应视觉 token 编码,在图像和视频理解任务上取得显著性能提升。
2025-06-03 cs.CV
HumanForge: A Human-Centric Deepfake Video Benchmark with Multi-Agent Forgery Rationales
针对视频伪造给数字内容取证带来的挑战,引入HumanForge数据集,提出基于LangGraph的Gen2Anno多智能体管道构建并注释数据集,经测试展现了零样本泛化和细粒度推理的重大挑战,代码和数据集将公开。
2026-08-17 cs.CV
HumanSAM: Classifying Human-centric Forgery Videos in Human Spatial, Appearance, and Motion Anomaly
National University of Defense Technology(国防科技大学);Hunan University(湖南大学)
针对以人为中心的伪造视频细粒度分类需求,该研究提出融合视频理解与空间深度分支、结合排序置信增强的HumanSAM框架,构建了首个HFV基准数据集,在二分类和多分类伪造检测任务上均取得优于现有方法的表现。
2025-08-01 cs.CV
IDOL: Unified Dual-Modal Latent Diffusion for Human-Centric Joint Video-Depth Generation
State University of New York at Buffalo(纽约州立大学布法罗分校);Microsoft(微软公司);Advanced Micro Devices(超威半导体公司)
针对以人为中心的视频-深度联合生成研究不足的问题,提出IDOL统一双模态潜在扩散模型,通过统一双模态U-Net和两种一致性损失实现高质量对齐生成,在多个数据集上性能超越现有方法。
2024-07-15 cs.CV
VideoChat: Chat-Centric Video Understanding
Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室 OpenGVLab);The University of Hong Kong(香港大学);Nanjing University(南京大学)
本文提出端到端以对话为中心的视频理解系统 VideoChat,通过可学习神经接口整合视频基础模型与大型语言模型,并构建以视频为中心的指令数据集进行微调,在时空推理、事件定位和因果推断上表现优异,为未来研究提供原型。
2024-01-04 cs.CL cs.CV
Zoom in to the details of human-centric videos
Tsinghua University(清华大学);The Hong Kong University of Science and Technology(香港科技大学)
对于以人为中心的视频,呈现高分辨率(HR)的人类外观始终是至关重要的。然而,现有的成像设备很难始终捕捉到HR细节。现有的超分辨率算法仅仅考虑图像块的普遍和低层先验,几乎不能缓解这个问题。相比之下,我们的算法通过利用由HR人类外观定义的高级先验来偏向于人体超分辨率。首先,运动分析模块从HR参考视频中提取固有的运动模式以细化低分辨率(LR)序列的姿态估计。此外,人体重建模块将参考帧中的HR纹理映射到3D网格模型上。因此,输入的LR视频得到超分辨率的HR人类序列是在原始LR视频以及很少的HR参考帧的条件下生成的。在现有数据集和混合摄像机采集的真实数据集上的实验表明,与传统方法相比,该方法生成的人体视觉质量更好。
2020-05-27 cs.CV
HumanOmni: A Large Vision-Speech Language Model for Human-Centric Video Understanding
Tongyi Lab, Alibaba Group(阿里巴巴集团通义实验室);ISEE, Sun Yat-sen University(中山大学智能工程学院);VCIP, CS, Nankai University(南开大学计算机科学与通信工程学院)
本研究提出业界首个以人为中心的Omni-multimodal大型语言模型HumanOmni,通过构建超240万视频片段与1400万指令的数据集,采用三分支自适应融合视觉与音频特征,显著提升情感识别等场景理解能力。
2025-01-25 cs.CV
Object-centric Video Prediction without Annotation
为了与世界互动,智能体必须能够预测世界动态的结果。了解这些动态的一种自然方法是通过视频预测,因为相机是无处不在的强大传感器。直接的像素到像素视频预测是困难的,不利用已知的先验知识,并且不提供简单的接口来利用所学习的动态。以对象为中心的视频预测通过利用世界由对象组成的简单先验并通过提供更自然的控制界面来解决这些问题。然而,现有的以对象为中心的视频预测流水线在训练视频序列中需要密集的对象注释。在这项工作中,我们提出了以对象为中心的预测无注释(OPA),以对象为中心的视频预测方法,利用强大的计算机视觉模型的先验。我们在由堆叠物体下落的视频序列组成的数据集上验证了我们的方法,并演示了如何通过端到端视频预测训练来适应环境中的感知模型。
2021-05-06 cs.CV cs.RO
Llama Learns to Direct: DirectorLLM for Human-Centric Video Generation
GenAI at Meta(Meta 人工智能);Rutgers University(罗格斯大学)
本文提出DirectorLLM,利用LLM生成人体姿态指导信号,辅助视频渲染器生成高保真、遵循提示的以人为中心的视频,实验证明其性能优于现有模型。
2025-09-08 cs.CV
Object-Centric Representation Learning from Unlabeled Videos
University of Texas at Austin(德克萨斯大学奥斯汀分校)
监督(预)训练目前为视觉识别的表示学习提供了最先进的性能,但它的代价是(1)密集的手动注释和(2)与学习相关的数据范围的固有限制。在这项工作中,我们探索了从未标记视频中进行无监督特征学习。我们介绍了一种新的以对象为中心的方法,时间的连贯性,鼓励类似的表示学习对象从附近的帧分割的区域。我们的框架依赖于Siamese-triplet网络来训练深度卷积神经网络(CNN)表示。与现有的时间相干性方法相比,我们的想法具有未标记视频的轻量级预处理(不需要跟踪)的优点,同时仍然能够提取从中学习不变性的对象级区域。此外,正如我们在几个标准数据集上的结果所示,我们的方法通常在图像分类和检索任务的竞争无监督方法上实现了实质性的准确性增益。
2016-12-01 cs.CV
VideoPhy-2: A Challenging Action-Centric Physical Commonsense Evaluation in Video Generation
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Google Research(谷歌研究院)
VideoPhy-2通过200种动作和人工评估揭示视频生成模型在物理常识上的关键缺陷,并训练自动评估器VideoPhy-AutoEval,为物理一致视频生成提供严格基准。
2025-03-09 cs.CV
Object-centric Video Representation for Long-term Action Anticipation
Brown University(布朗大学);Honda Research Institute USA(本田美国研究院);Samsung(三星)
本文提出利用视觉-语言预训练模型和对象提示构建以对象为中心的视频表示,并结合 Transformer 架构在不同时间尺度检索相关对象,以提升长期动作预测性能。
2023-10-31 cs.CV
Semantic Slots for Video Object-Centric Learning
Polytechnique Montréal(蒙特利尔理工学院);Université TÉLUQ(魁北克大学泰吕克分校)
针对视频以对象为中心学习的解码器瓶颈,提出SemanticSlots方法,通过Transformer解码器使槽与对象位置无关,在YouTube-VIS数据集上实现优于现有方法的分割性能。
2026-08-25 cs.CV