PREGO: online mistake detection in PRocedural EGOcentric videos
Sapienza University of Rome(罗马第一大学);ItalAI;University of Catania(卡塔尼亚大学)
针对在线开放集第一人称过程视频错误检测的空白,提出基于在线动作识别与符号推理对比的PREGO模型,并适配构建两个在线基准数据集开展评估。
2024-05-17 cs.CV
Procedural Generation of Videos to Train Deep Action Recognition Networks
NAVER LABS Europe(NAVER欧洲实验室);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Toyota Research Institute(丰田研究院)
用于视频中人类动作识别的深度学习正在取得重大进展,但由于依赖于对大型视频集合进行昂贵的手动标记,因此进展缓慢。在这项工作中,我们研究了动作识别的合成训练数据的生成,因为它最近在各种其他计算机视觉任务中显示出了有希望的结果。我们提出了一个可解释的参数生成模型,依赖于现代游戏引擎的程序生成和其他计算机图形技术的人类动作视频。我们生成了一个多样化的,现实的,物理上合理的人类动作视频数据集,称为PHAV的“程序人类动作视频”。它总共包含39,982个视频,35个类别的每个动作有1,000多个示例。我们的方法不限于现有的运动捕捉序列,我们程序定义14个合成动作。我们引入了一个深度的多任务表示学习架构来混合合成和真实视频,即使动作类别不同。我们在UCF101和HMDB51基准测试上的实验表明,将我们的大量合成视频与小型真实世界数据集相结合可以提高识别性能,显著优于最先进的无监督视频生成模型。
2017-07-19 cs.CV
Less is More: Label-Guided Efficient Summarization of Procedural and Instructional Videos
University of Tübingen(图宾根大学);Vellore Institute of Technology(维洛雷理工学院);Brown University(布朗大学)
PRISM提出了一种基于标签的视频摘要方法,通过集成语义和多模态分析,生成语义准确且上下文连贯的摘要,有效提升摘要质量。
2026-10-14 cs.AI cs.CV
Memory-efficient Streaming VideoLLMs for Real-time Procedural Video Understanding
Meta Reality Labs(Meta现实实验室);FAIR, Meta(Meta人工智能研究机构);National University of Singapore(新加坡国立大学)
提出ProVideLLM,一种内存高效的流式视频LLM,通过多模态缓存减少令牌数22倍,实现10FPS推理和25FPS对话,并在六个程序性任务上达到SOTA。
2025-04-10 cs.CV
MistExit: Learning to Exit for Early Mistake Detection in Procedural Videos
MistExit通过结合错误检测器和强化学习策略,在最小化视频观察量的前提下实现高精度的早期错误检测。
2026-03-15 cs.CV
How to Correctly Make Mistakes: A Framework for Constructing and Benchmarking Mistake Aware Egocentric Procedural Videos
University of Trento(特伦托大学);University of Edinburgh(爱丁堡大学);Italy(意大利);United Kingdom(大不列颠岛)
本文提出PIE-V框架,通过引入可控的人类合理偏差来构建和评估错误感知的第一人称视频,结合心理学启发的错误计划、纠正计划、LLM作家和评委,提升视频的合理性和一致性。
2026-04-16 cs.CV
GePSAn: Generative Procedure Step Anticipation in Cooking Videos
Samsung AI Centre(三星人工智能中心);Waabi(Waabi公司);York University(约克大学)
针对程序性视频中未来步骤预测的多样性问题,提出生成模型GePSAn,通过文本预训练迁移至视频领域,在YouCookII上取得最先进结果并支持零样本迁移。
2023-10-12 cs.CV cs.LG
ACE: Action Concept Enhancement of Video-Language Models in Procedural Videos
Honda Research Institute(本田研究所)
本文提出动作概念增强(ACE)微调技术,通过随机替换标签并引入同义词与负样本,提升视频-语言模型对程序性动作的概念理解与零样本分类鲁棒性。
2024-11-23 cs.CV
WorldGuide: Goal-Directed Video World Model for Procedural Task Execution
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出WorldGuide模型,通过联合训练规划器与执行器实现闭环流程任务执行,在WorldGuide-Bench和VideoCraft-Bench上的任务成功率均优于对比模型MiniMax-H3,验证了规划与执行耦合的重要性。
2026-10-09 cs.CV
Benchmarking and Learning Object-Centric Procedural Understanding in Instructional Videos
Michigan State University(密歇根州立大学)
本文提出ProcObject-10K,首个评估教学视频中以对象为中心推理和时间证据定位的基准,涵盖137个任务和五种推理类型,揭示模型在对象动态理解上的不足。
2026-10-30 cs.CV
Transferring Knowledge from Text to Video: Zero-Shot Anticipation for Procedural Actions
University of Bonn(波恩大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);National University of Singapore(新加坡国立大学)
我们能教会机器人识别和预测它以前从未见过的活动吗?我们通过从文本中学习视频模型来解决这个问题。本文提出了一种分层模型,从大规模的文本语料库中概括教学知识,并将知识转移到视频。给定教学视频的一部分,我们的模型识别并预测未来多个步骤的连贯和合理的动作,所有这些都是丰富的自然语言。为了证明我们的模型的能力,我们介绍了\emph{Tasty Videos Dataset V2},一个集合的4022食谱零样本学习,识别和预测。各种评估指标的广泛实验证明了我们的方法的泛化潜力,给定有限的视频数据的训练模型。
2022-11-05 cs.CV
VG-TVP: Multimodal Procedural Planning via Visually Grounded Text-Video Prompting
National University of Singapore(新加坡国立大学);Institute for Infocomm Research, Agency for Science, Technology, and Research (A*STAR)(新加坡科技研究局(A*STAR)信息通信研究院)
提出VG-TVP框架,利用LLM、视频字幕和扩散模型,通过FoC及双向桥接生成多模态程序计划,并在新数据集Daily-PP上超越单模态基线。
2024-12-16 cs.CV cs.MM
Task Graph Maximum Likelihood Estimation for Procedural Activity Understanding in Egocentric Videos
University of Catania(卡塔尼亚大学)
提出基于梯度的任务图最大似然学习方法,直接优化边权重,在多个基准上显著提升F1分数,并改进在线错误检测。
2025-02-26 cs.CV
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania(卡塔尼亚大学)
本文提出可微任务图学习框架,通过边权重最大似然优化实现梯度学习,提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
ProSkill: Segment-Level Skill Assessment in Procedural Videos
University of Catania(卡塔尼亚大学);Next Vision s.r.l.(Next Vision公司);Toyota Motor Europe(丰田欧洲公司)
ProSkill是首个针对程序化任务动作级技能评估的基准数据集,通过新颖的注释协议提供绝对和成对的技能评估,用于评估最新技能评估算法。
2026-01-28 cs.CV
P-JEPA: Procedural Video Representation Learning via Joint Embedding Predictive Architecture
Technical University of Munich(慕尼黑工业大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Carl Zeiss AG(卡尔蔡司股份公司)
提出P-JEPA,一种与骨干网络无关的方法,通过将长视频映射到密集帧对齐动作空间并预测池化掩码潜在向量,实现对超过30分钟程序性视频的长时理解,在EgoExo4D等数据集上达到细粒度动作分类SOTA,参数比基于LLM的方法少一个数量级。
2026-06-23 cs.AI cs.CV
EgoOops: A Dataset for Mistake Action Detection from Egocentric Videos referring to Procedural Texts
Kyoto University(京都大学);Sony Interactive Entertainment(索尼互动娱乐)
针对现有错误检测研究缺乏流程文本支撑、相关数据集覆盖领域有限的问题,本文提出跨领域第一人称错误动作检测数据集EgoOops及结合视频文本对齐与标签分类的检测方法,验证了流程文本对错误检测的重要性。
2025-07-31 cs.AI cs.CL cs.CV
A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学);University of Southern California(南加利福尼亚大学)
观看教学视频通常用于了解程序。视频描述是自动收集这些知识的一种方式。然而,它只提供了一个间接的,多模态模型的整体评估,没有更细粒度的量化措施,他们学到了什么。相反,我们建议,从烹饪视频中提取的结构化程序知识的基准。这项工作是对现有任务的补充,但需要模型以动词-参数元组的形式产生可解释的结构化知识。我们的手动注释开放词汇资源包括356个教学烹饪视频和15,523个视频剪辑/烹饪级注释。我们的分析表明,所提出的任务是具有挑战性的和标准的建模方法,如无监督分割,语义角色标注,和视觉动作检测时,被迫预测每一个动作的程序在一个结构化的形式表现不佳。
2020-10-09 cs.CL cs.CV
Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities
Meta Reality Labs Research(Meta现实实验室);National University of Singapore(新加坡国立大学)
Assembly101是一个新的程序性活动数据集,包含4321个视频,这些视频是人们组装和拆卸101个“可拆卸”玩具车的视频。参与者在没有固定指令的情况下工作,序列在动作顺序、错误和纠正方面具有丰富而自然的变化。Assembly101是第一个多视图动作数据集,同时具有静态(8)和自我中心(4)记录。序列注释有超过100K的粗粒度和1M的细粒度动作段,以及18M的3D手部姿势。我们基准三个动作理解任务:识别,预测和时间分割。此外,我们提出了一个新的任务检测错误。独特的记录格式和丰富的注释集使我们能够研究新玩具的泛化,跨视图传输,长尾分布以及姿势与外观。我们设想Assembly101将作为一个新的挑战,调查各种活动的理解问题。
2022-05-01 cs.CV
Scene Co-pilot: Procedural Text to Video Generation with Human in the Loop
University of Central Florida(中佛罗里达大学);University of Kashan(卡尚大学)
针对视频生成存在的时间不一致等伪影问题,提出结合LLMs与过程式3D生成器的Scene Copilot框架,通过多组件协作及定制数据集提升场景与视频生成能力,实验验证其有效性。
2024-11-26 cs.CV
Leveraging Procedural Knowledge and Task Hierarchies for Efficient Instructional Video Pre-training
Georgia Insitute of Technology(佐治亚理工学院);Google DeepMind(谷歌DeepMind)
该论文提出利用任务层级和程序性步骤作为先验知识,预训练模型Pivot以高效识别和预测教学视频中的任务与步骤,在数据与计算受限时优于基线,实现高效视频推荐。
2025-02-24 cs.CV
Neuro Symbolic Knowledge Reasoning for Procedural Video Question Answering
Centre for Frontier AI Research, A*STAR, Singapore(前沿人工智能研究所以(A*STAR));Institute of High-Performance Computing, A*STAR, Singapore(高性能计算研究所(A*STAR));College of Computing and Data Science, NTU, Singapore(计算与数据科学学院(NTU))
本文提出KML框架,通过神经符号方法提升过程视频问答的推理能力,结合知识图谱实现可解释的多步骤推理。
2026-01-28 cs.CV
STEPs: Self-Supervised Key Step Extraction and Localization from Unlabeled Procedural Videos
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Mixed Reality(微软混合现实部门)
针对无标签过程视频的关键步骤提取问题,提出 BMC2 损失进行无监督表示学习,并训练轻量级时间模块融合多线索特征,在关键步骤定位和阶段分类任务上取得显著提升。
2023-09-09 cs.CV
LCrowdV: Generating Labeled Videos for Simulation-based Crowd Behavior Learning
The University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了一种新的程序框架,以生成任意数量的标记人群视频(LCrowdV)。所得到的人群视频数据集用于设计用于拥挤场景理解的精确算法或训练模型。我们的整体方法由两个部分组成:一个程序模拟框架,用于生成人群运动和行为,以及一个程序渲染框架,用于生成不同的视频或图像。每个视频或图像都会根据环境、行人数量、密度、行为、流量、照明条件、视点、噪音等自动标记。此外,我们还可以通过将合成生成的行为与真实世界的背景视频相结合来增加真实感。我们通过提高行人检测和人群行为分类算法的准确性,证明了LCrowdV在先前标记人群数据集上的优势。LCrowdV将在WWW上发布。
2016-07-04 cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University(哥伦比亚大学);Facebook AI Research(脸书人工智能研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Dartmouth(达特茅斯学院)
在本文中,我们考虑分类细粒度的多步骤活动(例如,烹饪不同的食谱,进行不同的家居装修,创造各种形式的艺术和手工艺品)从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤,还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同,传统的动作分类模型通常是在视频上优化的,这些视频只有几秒钟的时间,并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤,但由于在长视频中手动注释时间边界的成本过高,该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题,我们建议自动识别教学视频中的步骤,利用远程监督的文本知识库(wikiHow),其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的,自动转录的语音从视频中的知识库中的步骤描述。我们证明,经过训练以识别这些自动标记的步骤(无需人工监督)的视频模型产生了一种表示,该表示在四个下游任务上实现了卓越的泛化性能:程序活动识别,步骤分类,步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
SiMing-Bench: Evaluating Procedural Correctness from Continuous Interactions in Clinical Skill Videos
School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);Center for Language and Information Research, Wuhan University(武汉大学语言与信息研究中心);Southwest Jiaotong University(西南交通大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of Manchester(曼彻斯特大学);Zhongnan Hospital of Wuhan University(武汉大学中南医院)
SiMing-Bench旨在评估多模态大语言模型在临床技能视频中通过连续交互更新过程状态的能力,通过医师标注的数据集和标准化评分标准,揭示模型在过程级判断上的不足。
2026-04-10 cs.CL cs.CV cs.HC
ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos
University of Catania(卡塔尼亚大学);University of Bath(巴斯大学)
ViterbiPlanNet通过可微Viterbi层整合过程性知识,实现高效的教学视频规划,提升样本效率和鲁棒性。
2026-03-04 cs.CV
Spacewalk-18: A Benchmark for Multimodal and Long-form Procedural Video Understanding in Novel Domains
Brown University(布朗大学)
Spacewalk-18是一个用于多模态和长形式程序视频理解的新领域基准测试,通过步骤识别和视频问答任务评估模型在新领域和长时序上下文中的泛化能力。
2025-11-26 cs.CV
RECIPE: Procedural Planning via Grounding in Instructional Video
Khoury College of Computer Sciences, Northeastern University, Boston(东北大学北斯托顿学院计算机科学学院);Department of Mathematics and Computer Science, University of Catania, Italy(卡塔尼亚大学数学与计算机科学系)
该研究提出RECIPE方法,通过利用指令视频中的grounding信息来改进过程规划任务,通过利用预计算的文本嵌入实现大规模视频数据的验证,从而提升规划的准确性和鲁棒性。
2026-05-19 cs.CV
Action Dynamics Task Graphs for Learning Plannable Representations of Procedural Tasks
Reality Labs Research, Meta(Meta现实实验室研究部)
鉴于视频演示和配对的叙述,在家里的程序性任务,如更换轮胎,我们提出了一种方法来提取底层的任务结构-相关的动作和它们的时间依赖性-通过以动作为中心的任务图。从我们的方法中学习到的结构化表示,动作动态任务图(ADTG),然后可以用于理解人类执行这些任务的看不见的视频。此外,ADTG可以在这些任务中为人类提供以用户为中心的指导,以便更好地执行这些任务或学习新任务。具体来说,我们展示了ADTG如何用于:(1)跟踪正在进行的任务,(2)建议下一步行动,(3)计划一系列行动来完成程序任务。我们与最先进的神经任务图方法进行了比较,并在CrossTask数据集的18个程序任务上取得了实质性的进步,包括任务跟踪准确性提高了30.1%,下一个动作预测的准确性提高了20.3%。
2023-01-11 cs.AI cs.CV cs.LG
Demo-ICL: In-Context Learning for Procedural Video Knowledge Acquisition
S-Lab, Nanyang Technological University(南洋理工大学S实验室);Shanghai AI Lab(上海人工智能实验室);CUHK-MMLab(香港大学多媒体实验室)
Demo-ICL通过两阶段训练策略提升模型从上下文示例中学习的能力,针对视频理解中的新挑战提出Demo-ICL-Bench基准测试。
2026-02-09 cs.CV
Learning Procedural-aware Video Representations through State-Grounded Hierarchy Unfolding
本文提出TSS框架,通过基于状态的层次解折叠学习过程感知的视频表示,提升任务识别和步骤预测性能。
2025-11-25 cs.CV
TI-PREGO: Chain of Thought and In-Context Learning for Online Mistake Detection in PRocedural EGOcentric Videos
Sapienza University of Rome(萨皮恩扎罗马大学);ItalAI;University of Catania(卡塔尼亚大学);National Institute of Nuclear Physics - LNF(国家核物理研究所 - LNF)
TI-PREGO通过双分支架构结合思维链和上下文学习,实现对第一人称视频中开放集程序错误的在线检测,展现方法在动态场景中的鲁棒性和有效性。
2026-01-05 cs.CV
Anticipating Object State Changes in Long Procedural Videos
Institute of Computer Science, FORTH(FORTH计算机科学研究所);Hellenic Mediterranean University(希腊地中海大学);University of Crete(克里特大学)
本研究提出流程视频中物体状态变化预测新问题,构建Ego4D-OSCA扩展数据集,提出整合视觉与NLP特征的预测框架,实验验证其有效性并为相关研究奠定基础。
2024-12-02 cs.CV
Analysing the Memorability of a Procedural Crime-Drama TV Series, CSI
Insight SFI Research Centre for Data Analytics(Insight SFI数据数据分析研究中心);Dublin City University(都柏林城市大学)
我们调查了5个赛季跨度的流行犯罪剧电视连续剧,CSI,通过应用程序的视觉Transformer微调预测视频记忆的任务的记忆性。通过调查的流行类型的犯罪电视剧,通过使用一个详细的注释语料库结合视频的记忆力分数,我们展示了如何推断的意义,从视频镜头上产生的记忆力分数。我们进行了定量分析,涉及视频镜头的记忆力的各个方面的节目。我们在本文中提出的见解说明了视频记忆的重要性,在应用程序中使用多媒体领域,如教育,营销,索引,以及在这里的情况下,即电视和电影制作。
2022-08-06 cs.AI cs.CV cs.MM
Box2Flow: Instance-based Action Flow Graphs from Videos
Rutgers University(罗格斯大学)
Box2Flow提出一种基于单视频实例的步骤流图预测方法,通过提取边界框、预测步骤对边概率并用生成树算法构建流图,在MM-ReS和YouCookII上有效提取更准确的流图。
2024-08-30 cs.CV cs.LG
Predicting Implicit Arguments in Procedural Video Instructions
University of Edinburgh(爱丁堡大学);TU Darmstadt(德累斯顿理工大学)
针对过程性视频指令中隐式论元预测问题,提出Implicit-VidSRL数据集和iSRL-Qwen2-VL模型,显著提升多模态上下文推理和隐式语义角色标注性能。
2025-05-27 cs.CL cs.CV
A step towards procedural terrain generation with GANs
Montréal Institute of Learning Algorithms(蒙特利尔学习算法研究所)
传统上,视频游戏的程序地形生成是通过巧妙设计但手工制作的算法来生成高度图的。我们提出了学习和综合这些的第一步,使用深度生成建模的最新进展,以及NASA公开提供的卫星图像。
2017-07-11 cs.CV stat.ML
Multimodal Language Models for Domain-Specific Procedural Video Summarization
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文针对烹饪和医疗等领域的长篇教学视频,提出微调 TimeChat 并利用 Tasty、MedVidQA 构建视频中心指令数据,以提升关键步骤提取与摘要能力。
2024-07-07 cs.CV cs.IR
DenseStep2M: A Scalable, Training-Free Pipeline for Dense Instructional Video Annotation
SAI, Shanghai Jiao Tong University(上海交通大学人工智能研究院)
本文提出无需训练的DenseStep2M流水线,通过分割视频、过滤对齐不佳内容并利用先进多模态模型生成高质量步骤注释,构建了包含10万视频和200万步骤的大型数据集,支持长期视频理解。
2026-04-29 cs.CV
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
University of Exeter(埃克塞特大学)
本研究审计程序性视频评估协议,发现即使无时间泄漏也可能存在特权信息差距,导致能力声明与实测构念不符,并提出可复用的四条件审计方法。
2026-10-06 cs.CV
Exo2EgoDVC: Dense Video Captioning of Egocentric Procedural Activities Using Web Instructional Videos
The University of Tokyo(东京大学);OMRON SINIC X Corp.(欧姆龙SINIC X公司);National Institute of Advanced Industrial Science and Technology (AIST)(日本产业技术综合研究所);LY Corporation(LY公司)
针对第一视角密集视频字幕数据稀缺问题,提出Exo2EgoDVC跨视角迁移基准,构建EgoYC2数据集,提出基于对抗训练的视角不变学习方法,实现外中心网络教学视频到第一视角的知识迁移。
2024-12-09 cs.CL cs.CV
Joint Level Generation and Translation Using Gameplay Videos
University of Alberta(阿尔伯塔大学)
针对PCGML标注数据有限且辅助表示获取耗时的问题,提出利用游戏视频开发多尾框架同时进行关卡翻译与生成,结合两任务提升整体性能并展现泛化潜力。
2023-06-29 cs.CV cs.LG
Tile Embedding: A General Representation for Procedural Level Generation via Machine Learning
近年来,通过机器学习的过程级生成(PLGML)技术已经被应用于利用机器学习生成游戏级。这些方法依赖于人类注释的游戏水平表示。为游戏创建带注释的数据集需要领域知识,并且非常耗时。因此,尽管存在大量的视频游戏,但注释数据集只针对少数几个。因此,目前的PLGML技术已经在有限的领域进行了探索,超级马里奥兄弟是最常见的例子。为了解决这个问题,我们提出了瓷砖嵌入,一个统一的,负担得起的表示为基于瓷砖的2D游戏。为了学习这种嵌入,我们使用了自动编码器,这些编码器是根据一组现有的人类注释游戏中的瓦片的视觉和语义信息进行训练的。我们评估这种表示的能力,预测启示看不见的瓷砖,并作为一个PLGML表示注释和未注释的游戏。
2021-10-07 cs.CV cs.LG
ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency
Honda Research Institute, USA(本田研究所(美国));Northeastern University(东北大学)
提出ESTANet轻量框架,利用多个动作检测器在正确与错误执行时的预测不一致性,通过多数投票实现实时在线错误检测,在三个数据集上达到最优性能。
2026-06-25 cs.AI cs.CV
How Does India Cook Biryani?
IIIT Hyderabad
本文提出首个大规模饭团制作视频数据集及多阶段框架,用于研究烹饪视频中细粒度步骤差异及文化关联性。
2026-01-08 cs.CV
Procedure-Aware Pretraining for Instructional Video Understanding
Salesforce Research(赛富时研究院);Rutgers University(罗格斯大学);UT Austin(德克萨斯大学奥斯汀分校)
本文提出基于过程知识图(PKG)的预训练模型 Paprika,利用未标注视频和文本知识库生成伪标签进行预训练,在 COIN 和 CrossTask 的多项过程理解任务中准确率最高提升 11.23%。
2023-03-31 cs.CV
Video Probabilistic Diffusion Models in Projected Latent Space
KAIST(韩国科学技术院);Google Research(谷歌研究院)
尽管在深度生成模型方面取得了显着进展,但由于其高维性和复杂的时间动态以及大的空间变化,合成高分辨率和时间相干的视频仍然是一个挑战。最近的工作扩散模型已经显示出他们的潜力,以解决这一挑战,但他们遭受严重的计算和内存效率低下,限制了可扩展性。为了解决这个问题,我们提出了一种新的生成模型的视频,创造投影潜在视频扩散模型(PVDM),概率扩散模型,学习视频分布在一个低维的潜在空间,从而可以有效地训练与高分辨率的视频在有限的资源。具体来说,PVDM由两个组件组成:(a)一个自动编码器,它将给定的视频投影为2D形状的潜在向量,这些潜在向量对视频像素的复杂立方结构进行因式分解;以及(b)一个扩散模型架构,专门用于我们新的因式分解潜在空间和训练/采样过程,以便用单个模型合成任意长度的视频。在流行的视频生成数据集上的实验证明了PVDM与以前的视频合成方法相比的优越性;例如,PVDM在UCF-101长视频(128帧)生成基准上获得639.7的FVD分数,这提高了现有技术的1773.4。
2023-03-30 cs.CV cs.LG
EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World
OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室OpenGVLab);The University of Tokyo(东京大学);Nanjing University(南京大学);Fudan University(复旦大学);Zhejiang University(浙江大学);USTC(中国科学技术大学);SIAT, CAS(中国科学院深圳先进技术研究院)
本文提出EgoExoLearn数据集,通过模拟人类示范跟随过程,提供120小时的自我中心与示范视频、注视数据及多模态标注,并建立跨视角关联、动作规划和技能评估基准,以促进AI智能体在真实世界中通过观察人类进行学习。
2025-03-06 cs.CV
Anomaly Detection in Video Data Based on Probabilistic Latent Space Models
University of Genova(热那亚大学);University Carlos III de Madrid(马德里卡洛斯三世大学)
提出了一种视频数据异常检测方法。变分自编码器(VAE)用于降低视频帧的维度,生成与低维传感数据(例如,定位、转向角度),使得为自动驾驶车辆开发一致的多模式架构成为可能。一个自适应马尔可夫跳粒子滤波定义的离散和连续的推理水平被用来预测后续帧和检测新的视频序列中的异常。我们的方法在不同的视频场景中进行评估,其中半自动驾驶车辆在封闭环境中执行一组任务。
2020-03-17 cs.CV cs.LG
MoTE: Mixture of Task Experts for Multi-Task Video Understanding
University of Kaiserslautern-Landau (RPTU)(凯泽斯劳滕-兰道大学(RPTU));German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
针对多任务视频理解中现有解码器的任务行为纠缠、能力扩展难等问题,提出MoTE架构,实例化为VideoLLM-MoTE,在COIN基准上表现优于基线,实现了可解释且计算高效的多任务视频-语言学习。
2026-11-13 cs.CV cs.LG
Align your Latents: High-Resolution Video Synthesis with Latent Diffusion Models
LMU Munich(慕尼黑大学);NVIDIA(英伟达);Vector Institute(向量研究所);University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
本文提出视频潜在扩散模型,通过引入时间维度并对齐上采样器,将图像LDM扩展为高分辨率视频生成器,在驾驶模拟和文本到视频任务上取得最先进性能,并支持个性化生成。
2023-12-28 cs.CV cs.LG
Efficient Video Diffusion Models via Content-Frame Motion-Latent Decomposition
KAIST(韩国科学技术院);NVIDIA Corporation(英伟达公司);UC Berkeley(加州大学伯克利分校);Caltech(加州理工学院)
提出内容-运动潜变量扩散模型CMD,通过将视频分解为内容帧与低维运动潜变量表示,利用预训练图像扩散模型生成内容帧并训练轻量级模型生成运动潜变量,显著提升了视频生成质量并大幅降低了计算成本。
2024-03-21 cs.CV cs.LG
Diverse Video Captioning Through Latent Variable Expansion
利用文本描述自动描述视频内容是一项具有挑战性的重要任务,一直是计算机视觉领域的研究热点。以往的工作主要追求生成句子的准确性,而忽略了句子的多样性,这与人类的行为是不一致的。在本文中,我们的目标是为每个视频添加多个描述,并提出了一个新的框架。具体地说,对于一个给定的视频,传统的编码-解码过程的中间潜变量被用作输入到条件生成对抗网络(CGAN)的目的是生成不同的句子。我们采用不同的卷积神经网络(CNN)作为我们的生成器,生成以潜在变量为条件的描述,并评估生成句子的质量。同时,设计了一种新的DCE指标来评估不同的字幕。我们在基准数据集上评估了我们的方法,在那里它展示了它生成不同描述的能力,并与其他最先进的方法相比取得了优异的结果。
2021-06-15 cs.CV cs.LG