PREGO: online mistake detection in PRocedural EGOcentric videos
Sapienza University of Rome(罗马第一大学);ItalAI;University of Catania(卡塔尼亚大学)
针对在线开放集第一人称过程视频错误检测的空白,提出基于在线动作识别与符号推理对比的PREGO模型,并适配构建两个在线基准数据集开展评估。
2024-05-17 cs.CV
ESTANet: Efficient Online Error Detection in Procedural Videos via Prediction Inconsistency
Honda Research Institute, USA(本田研究所(美国));Northeastern University(东北大学)
提出ESTANet轻量框架,利用多个动作检测器在正确与错误执行时的预测不一致性,通过多数投票实现实时在线错误检测,在三个数据集上达到最优性能。
2026-06-25 cs.AI cs.CV
Decoupling the Declarative from the Procedural in Vision-Language-Action Models
University of Edinburgh(爱丁堡大学);UCL(伦敦大学学院);Samsung AI Center - Cambridge, UK(三星人工智能中心 - 英国剑桥)
针对现有VLA模型无法解耦声明性与程序性知识导致零样本技能迁移脆弱的问题,提出w$^{2}$VLA模型,通过重构信息流实现模块化、可解释的知识解耦,显著提升对未见物体的零样本技能迁移能力。
2026-10-12 cs.AI cs.CV cs.LG
IMPACT: A Dataset for Multi-Granularity Human Procedural Action Understanding in Industrial Assembly
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);ETH Zurich(苏黎世联邦理工学院);Italian Institute of Technology(意大利理工学院);INSAIT, Sofia University(索非亚大学INSAIT研究所)
IMPACT数据集通过同步五视角RGB-D数据,提供真实工业装配场景下的多粒度人类过程动作理解,包含112次试验,结合部分序优先级图、六类异常分类和NASA-TLX测量,揭示了单任务基准无法捕捉的真实部署条件下的局限性。
2026-04-12 cs.AI cs.CV
WorldGuide: Goal-Directed Video World Model for Procedural Task Execution
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出WorldGuide模型,通过联合训练规划器与执行器实现闭环流程任务执行,在WorldGuide-Bench和VideoCraft-Bench上的任务成功率均优于对比模型MiniMax-H3,验证了规划与执行耦合的重要性。
2026-10-09 cs.CV
Modeling Multiple Normal Action Representations for Error Detection in Procedural Tasks
School of Computer Science and Engineering, Sun Yat-sen University(中山大学计算机科学与工程学院);Peng Cheng Laboratory(鹏城实验室)
针对程序化任务中因存在多种有效后续动作导致静态原型错误检测失效的问题,提出AMNAR框架,通过预测所有有效后续动作并重构其正常动作表示与当前动作对比来检测错误,达到了最先进的性能。
2025-04-02 cs.CV
The Unreasonable Effectiveness of VLMs for Zero-shot Procedural Mistake Detection
University of Bonn(波恩大学);Toyota Motor Europe(丰田欧洲公司);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习和人工智能研究所)
提出ZeProM框架,利用单个预训练VLM同时解决零样本程序性错误检测和时间动作分割,在EgoPER和CaptainCook4D基准上接近或超越全监督方法。
2026-06-23 cs.AI cs.CV
Assembly101: A Large-Scale Multi-View Video Dataset for Understanding Procedural Activities
Meta Reality Labs Research(Meta现实实验室);National University of Singapore(新加坡国立大学)
Assembly101是一个新的程序性活动数据集,包含4321个视频,这些视频是人们组装和拆卸101个“可拆卸”玩具车的视频。参与者在没有固定指令的情况下工作,序列在动作顺序、错误和纠正方面具有丰富而自然的变化。Assembly101是第一个多视图动作数据集,同时具有静态(8)和自我中心(4)记录。序列注释有超过100K的粗粒度和1M的细粒度动作段,以及18M的3D手部姿势。我们基准三个动作理解任务:识别,预测和时间分割。此外,我们提出了一个新的任务检测错误。独特的记录格式和丰富的注释集使我们能够研究新玩具的泛化,跨视图传输,长尾分布以及姿势与外观。我们设想Assembly101将作为一个新的挑战,调查各种活动的理解问题。
2022-05-01 cs.CV
Procedural Mistake Detection via Action Effect Modeling
Michigan State University(密歇根州立大学)
本文提出通过动作效果建模实现过程性错误检测,结合语义和视觉信息,在单类分类任务中取得最佳性能。
2026-02-14 cs.CV
Transferring Knowledge from Text to Video: Zero-Shot Anticipation for Procedural Actions
University of Bonn(波恩大学);Indian Institute of Technology (ISM) Dhanbad(印度理工学院(印度矿业学院)丹巴德分校);National University of Singapore(新加坡国立大学)
我们能教会机器人识别和预测它以前从未见过的活动吗?我们通过从文本中学习视频模型来解决这个问题。本文提出了一种分层模型,从大规模的文本语料库中概括教学知识,并将知识转移到视频。给定教学视频的一部分,我们的模型识别并预测未来多个步骤的连贯和合理的动作,所有这些都是丰富的自然语言。为了证明我们的模型的能力,我们介绍了\emph{Tasty Videos Dataset V2},一个集合的4022食谱零样本学习,识别和预测。各种评估指标的广泛实验证明了我们的方法的泛化潜力,给定有限的视频数据的训练模型。
2022-11-05 cs.CV
WorldPrediction: A Benchmark for High-level World Modeling and Long-horizon Procedural Planning
Meta FAIR Paris(Meta FAIR巴黎);The Hong Kong University of Science and Technology(香港科技大学);ISIR Sorbonne Université(索邦大学ISIR)
本文提出WorldPrediction基准,通过区分正确动作或动作序列来评估AI模型的高层世界建模与长时程程序化规划能力,并发现当前前沿模型准确率远低于人类。
2025-06-04 cs.CV
Towards Neuro-Symbolic Procedural Reasoning for Long-Horizon Vision-Language-Action Manipulation
Fraunhofer IPK(弗劳恩霍夫生产系统与设计技术研究所);Technische Universität Berlin(柏林工业大学)
该研究针对长视距VLA操作的脆弱性,提出结合VLA控制、任务图与多模态过程记忆的神经符号框架,利用伪注视指导微调,在两操作领域验证了结构化推理与视觉指导的互补作用。
2026-09-07 cs.CV cs.RO
TI-PREGO: Chain of Thought and In-Context Learning for Online Mistake Detection in PRocedural EGOcentric Videos
Sapienza University of Rome(萨皮恩扎罗马大学);ItalAI;University of Catania(卡塔尼亚大学);National Institute of Nuclear Physics - LNF(国家核物理研究所 - LNF)
TI-PREGO通过双分支架构结合思维链和上下文学习,实现对第一人称视频中开放集程序错误的在线检测,展现方法在动态场景中的鲁棒性和有效性。
2026-01-05 cs.CV
Less is More: Label-Guided Efficient Summarization of Procedural and Instructional Videos
University of Tübingen(图宾根大学);Vellore Institute of Technology(维洛雷理工学院);Brown University(布朗大学)
PRISM提出了一种基于标签的视频摘要方法,通过集成语义和多模态分析,生成语义准确且上下文连贯的摘要,有效提升摘要质量。
2026-10-14 cs.AI cs.CV
MemVLN: Episodic and Procedural Memory for Vision-and-Language Navigation
The Chinese University of Hong Kong(香港中文大学);LIGHTSPEED(光速);The University of Hong Kong(香港大学);The Hong Kong University of Science and Technology(香港科技大学)
研究连续环境中视觉与语言导航问题,提出MemVLN框架,利用视觉编码器、大语言模型,通过情景记忆管理和程序记忆,实现实时推理,提升导航成功率并降低推理延迟。
2026-07-28 cs.CV
Hand-Aware Transition Modeling for Bimanual Procedural Anomaly Detection
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Hunan University(湖南大学)
提出HACT过渡模型,通过角色保持历史和标记时间点过程建模双手事件,实现程序性异常检测,在双手电动工具程序上取得最优AUPRC和F1,且无需重训即可泛化。
2026-09-21 cs.CV
ProSkill: Segment-Level Skill Assessment in Procedural Videos
University of Catania(卡塔尼亚大学);Next Vision s.r.l.(Next Vision公司);Toyota Motor Europe(丰田欧洲公司)
ProSkill是首个针对程序化任务动作级技能评估的基准数据集,通过新颖的注释协议提供绝对和成对的技能评估,用于评估最新技能评估算法。
2026-01-28 cs.CV
VEDIT: Latent Prediction Architecture For Procedural Video Representation Learning
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta FAIR
本文提出VEDIT,利用冻结视觉编码器的潜在嵌入和扩散Transformer,在不预训练预测模型且无需语言或ASR监督的情况下,显著提升程序性视频的长时程动作预期、步骤预测、任务分类与程序规划性能。
2024-10-04 cs.CV cs.LG
A Benchmark for Structured Procedural Knowledge Extraction from Cooking Videos
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research Asia(微软亚洲研究院);Beijing Institute of Technology(北京理工大学);University of Southern California(南加利福尼亚大学)
观看教学视频通常用于了解程序。视频描述是自动收集这些知识的一种方式。然而,它只提供了一个间接的,多模态模型的整体评估,没有更细粒度的量化措施,他们学到了什么。相反,我们建议,从烹饪视频中提取的结构化程序知识的基准。这项工作是对现有任务的补充,但需要模型以动词-参数元组的形式产生可解释的结构化知识。我们的手动注释开放词汇资源包括356个教学烹饪视频和15,523个视频剪辑/烹饪级注释。我们的分析表明,所提出的任务是具有挑战性的和标准的建模方法,如无监督分割,语义角色标注,和视觉动作检测时,被迫预测每一个动作的程序在一个结构化的形式表现不佳。
2020-10-09 cs.CL cs.CV
EgoExoLearn: A Dataset for Bridging Asynchronous Ego- and Exo-centric View of Procedural Activities in Real World
OpenGVLab, Shanghai AI Laboratory(上海人工智能实验室OpenGVLab);The University of Tokyo(东京大学);Nanjing University(南京大学);Fudan University(复旦大学);Zhejiang University(浙江大学);USTC(中国科学技术大学);SIAT, CAS(中国科学院深圳先进技术研究院)
本文提出EgoExoLearn数据集,通过模拟人类示范跟随过程,提供120小时的自我中心与示范视频、注视数据及多模态标注,并建立跨视角关联、动作规划和技能评估基准,以促进AI智能体在真实世界中通过观察人类进行学习。
2025-03-06 cs.CV
Generating Human Action Videos by Coupling 3D Game Engines and Probabilistic Graphical Models
Toyota Research Institute(丰田研究院);Centre de Visió per Computador(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);NAVER LABS Europe(NAVER实验室欧洲)
近年来,深度视频动作识别模型非常成功,但需要大量手动注释的数据,这些数据既昂贵又费力。在这项工作中,我们研究了视频动作识别的合成训练数据的生成,因为合成数据已成功地用于监督各种其他计算机视觉任务的模型。我们提出了一个可解释的参数生成模型的人类动作视频,依赖于程序生成,物理模型和现代游戏引擎的其他组件。有了这个模型,我们生成了一个多样化的,现实的,物理上合理的人类动作视频数据集,称为PHAV的“程序人类动作视频”。PHAV总共包含39,982个视频,35个动作类别中的每个类别都有1,000多个示例。我们的视频生成方法不仅限于现有的运动捕捉序列:这35个类别中有14个是程序定义的合成动作。此外,每个视频都用6种不同的数据形式表示,包括RGB,光流和像素级语义标签。这些模态几乎同时使用现代GPU的多渲染目标功能生成。为了利用PHAV,我们引入了一个深度多任务(即考虑来自多个数据集的动作类)表示学习架构,该架构能够同时从合成和真实视频数据集学习,即使它们的动作类别不同。我们在UCF-101和HMDB-51基准测试上的实验表明,将我们的大型合成视频集与小型真实世界数据集相结合可以提高识别性能。我们的方法也显著优于通过微调最先进的无监督视频生成模型产生的视频表示。
2019-10-12 cs.CV cs.LG cs.MM
Anticipating Object State Changes in Long Procedural Videos
Institute of Computer Science, FORTH(FORTH计算机科学研究所);Hellenic Mediterranean University(希腊地中海大学);University of Crete(克里特大学)
本研究提出流程视频中物体状态变化预测新问题,构建Ego4D-OSCA扩展数据集,提出整合视觉与NLP特征的预测框架,实验验证其有效性并为相关研究奠定基础。
2024-12-02 cs.CV
Learning To Recognize Procedural Activities with Distant Supervision
Columbia University(哥伦比亚大学);Facebook AI Research(脸书人工智能研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);Dartmouth(达特茅斯学院)
在本文中,我们考虑分类细粒度的多步骤活动(例如,烹饪不同的食谱,进行不同的家居装修,创造各种形式的艺术和手工艺品)从长达几分钟的视频。准确地对这些活动进行分类不仅需要识别组成任务的各个步骤,还需要捕获它们的时间依赖性。这个问题与传统的动作分类有很大的不同,传统的动作分类模型通常是在视频上优化的,这些视频只有几秒钟的时间,并且被手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的训练能够识别程序活动的各个步骤,但由于在长视频中手动注释时间边界的成本过高,该领域现有的大规模数据集不包括此类片段标签。为了解决这个问题,我们建议自动识别教学视频中的步骤,利用远程监督的文本知识库(wikiHow),其中包括执行各种复杂的活动所需的步骤的详细描述。我们的方法使用一个语言模型来匹配嘈杂的,自动转录的语音从视频中的知识库中的步骤描述。我们证明,经过训练以识别这些自动标记的步骤(无需人工监督)的视频模型产生了一种表示,该表示在四个下游任务上实现了卓越的泛化性能:程序活动识别,步骤分类,步骤预测和以自我为中心的视频分类。
2022-06-16 cs.CV
Box2Flow: Instance-based Action Flow Graphs from Videos
Rutgers University(罗格斯大学)
Box2Flow提出一种基于单视频实例的步骤流图预测方法,通过提取边界框、预测步骤对边概率并用生成树算法构建流图,在MM-ReS和YouCookII上有效提取更准确的流图。
2024-08-30 cs.CV cs.LG
IndustReal: A Dataset for Procedure Step Recognition Handling Execution Errors in Egocentric Videos in an Industrial-Like Setting
Eindhoven University of Technology(埃因霍温理工大学);ASML Research(ASML研究院)
针对工业场景中程序性动作缺乏成功度量的问题,提出程序步骤识别(PSR)任务,并发布包含程序性错误和执行错误的多模态 IndustReal 数据集,同时提供动作识别、装配状态检测及 PSR 的基准。
2023-10-26 cs.CV
ViterbiPlanNet: Injecting Procedural Knowledge via Differentiable Viterbi for Planning in Instructional Videos
University of Catania(卡塔尼亚大学);University of Bath(巴斯大学)
ViterbiPlanNet通过可微Viterbi层整合过程性知识,实现高效的教学视频规划,提升样本效率和鲁棒性。
2026-03-04 cs.CV
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
University of Exeter(埃克塞特大学)
本研究审计程序性视频评估协议,发现即使无时间泄漏也可能存在特权信息差距,导致能力声明与实测构念不符,并提出可复用的四条件审计方法。
2026-10-06 cs.CV
Predicting Implicit Arguments in Procedural Video Instructions
University of Edinburgh(爱丁堡大学);TU Darmstadt(德累斯顿理工大学)
针对过程性视频指令中隐式论元预测问题,提出Implicit-VidSRL数据集和iSRL-Qwen2-VL模型,显著提升多模态上下文推理和隐式语义角色标注性能。
2025-05-27 cs.CL cs.CV
Benchmarking and Learning Object-Centric Procedural Understanding in Instructional Videos
Michigan State University(密歇根州立大学)
本文提出ProcObject-10K,首个评估教学视频中以对象为中心推理和时间证据定位的基准,涵盖137个任务和五种推理类型,揭示模型在对象动态理解上的不足。
2026-10-30 cs.CV
KINet: Unsupervised Forward Models for Robotic Pushing Manipulation
University of Minnesota(明尼苏达大学)
本文提出无监督关键点交互网络KINet,利用视觉观测学习对象关键点图表示和动作条件前向模型,实现机器人推动操作中的可规划对象中心表示与准确前向预测。
2023-08-05 cs.CV cs.LG cs.RO
Differentiable Task Graph Learning: Procedural Activity Representation and Online Mistake Detection from Egocentric Videos
University of Catania(卡塔尼亚大学)
本文提出可微任务图学习框架,通过边权重最大似然优化实现梯度学习,提升任务图预测与第一人称视频在线错误检测性能。
2025-01-09 cs.CV
SiMing-Bench: Evaluating Procedural Correctness from Continuous Interactions in Clinical Skill Videos
School of Artificial Intelligence, Wuhan University(武汉大学人工智能学院);Center for Language and Information Research, Wuhan University(武汉大学语言与信息研究中心);Southwest Jiaotong University(西南交通大学);MBZUAI(穆罕默德·本·扎耶德人工智能大学);The University of Manchester(曼彻斯特大学);Zhongnan Hospital of Wuhan University(武汉大学中南医院)
SiMing-Bench旨在评估多模态大语言模型在临床技能视频中通过连续交互更新过程状态的能力,通过医师标注的数据集和标准化评分标准,揭示模型在过程级判断上的不足。
2026-04-10 cs.CL cs.CV cs.HC
Generating 3D models from sketches of human faces using a combined approach of Convolutional Neural Networks, Procedural Modeling, and Contour Mapping
Behaviour Digital
提出一种结合卷积神经网络、参数化3D人脸模型和主动蛇形轮廓的新方法,首次通过训练CNN检测素描中的表情并生成对应3D模型。
2026-05-25 cs.CV cs.GR cs.LG
VidParse: Online Parsing of Egocentric Procedures Like a Pro
University of Maryland(马里兰大学)
VidParse是一种无需训练的在线框架,通过图约束推理处理第一人称视角视频的流程解析,在复杂多步骤解析精度上较基线提升最高达10倍。
2026-10-30 cs.CV
Leveraging Action Affinity and Continuity for Semi-supervised Temporal Action Segmentation
National University of Singapore(新加坡国立大学)
我们提出了一个半监督学习的时间动作分割任务的方法。该任务的目标是在时间上检测和分割动作长,未修剪的程序视频,其中只有一小部分视频是密集标记的,和大量的视频未标记。为此,我们提出了两个新的损失函数的未标记的数据:一个行动的亲和力损失和行动的连续性损失。动作亲和损失通过施加从标记集合诱导的动作先验来引导未标记样本学习。动作连续性损失加强了动作的时间连续性,这也提供了逐帧分类监督。此外,我们提出了一种自适应边界平滑(ABS)方法来构建更粗糙的动作边界,以实现更强大和可靠的学习。建议的损失函数和ABS进行了评估的三个基准。结果表明,他们显着提高了动作分割性能与少量(5%和10%)的标记数据,并取得了可比的结果与50%的标记数据的全面监督。此外,ABS成功地提高了性能时,集成到全监督学习。
2022-07-21 cs.AI cs.CV
Spacewalk-18: A Benchmark for Multimodal and Long-form Procedural Video Understanding in Novel Domains
Brown University(布朗大学)
Spacewalk-18是一个用于多模态和长形式程序视频理解的新领域基准测试,通过步骤识别和视频问答任务评估模型在新领域和长时序上下文中的泛化能力。
2025-11-26 cs.CV
NitroGen: An Open Foundation Model for Generalist Gaming Agents
NVIDIA;Stanford(斯坦福大学);Caltech(加州理工学院);UChicago(芝加哥大学);UT Austin(得克萨斯大学奥斯汀分校)
NitroGen通过大规模行为克隆训练,实现跨游戏泛化能力,提升任务成功率达52%
2026-01-04 cs.AI cs.CV cs.LG
ProMQA-Assembly: Multimodal Procedural QA Dataset on Assembly
Language Technologies Institute, Carnegie Mellon University(卡内基梅隆大学语言技术研究所);National Institute of Advanced Industrial Science and Technology (AIST)(国立研究开发法人产业技术综合研究所(AIST))
本文提出ProMQA-Assembly数据集,包含646个多模态问答对,用于评估装配任务中的人机交互系统,通过半自动化标注方法生成问题并结合细粒度动作标签提升多样性,验证了推理模型在复杂多模态任务中的表现。
2026-04-06 cs.CL cs.CV
Propose, Assess, Search: Harnessing LLMs for Goal-Oriented Planning in Instructional Videos
FAIR, Meta(Meta FAIR研究院);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
本文提出VidAssist框架,利用大语言模型作为知识库和评估工具,结合广度优先搜索算法,在零样本和少样本条件下实现教学视频中的目标导向规划,并在COIN数据集上超越全监督方法。
2024-09-30 cs.CV
InstrAct: Towards Action-Centric Understanding in Instructional Videos
Pennsylvania State University(宾夕法尼亚州立大学);Microsoft Research(微软研究院);Nanyang Technological University(南洋理工大学)
本文提出InstrAction框架,通过数据驱动策略和辅助目标提升指令视频中动作识别与建模,建立InstrAct基准测试集,优于现有视频基础模型。
2026-04-09 cs.AI cs.CV
ReXSonoVQA: A Video QA Benchmark for Procedure-Centric Ultrasound Understanding
Harvard Medical School(哈佛医学院)
ReXSonoVQA是一个包含514个视频片段和514个问题的视频问答基准,旨在评估动作-目标推理、artifact解决与优化及过程上下文与规划能力,测试VLMs在动态过程理解中的表现。
2026-04-17 cs.AI cs.CV
OphBiWSSD: Scaling Temporal Action Localization in Ophthalmic Surgeries with Bidirectional Weight-tied State Space Duality
Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
针对眼科手术时间动作定位中长程依赖建模的计算瓶颈,提出基于双向状态空间对偶性与权重共享扫描的OphBiWSSD框架,以线性复杂度实现高精度定位,在OphNet上超越基线6.8%和6.66%。
2026-09-14 cs.CV
VIFSS: View-Invariant and Figure Skating-Specific Pose Representation Learning for Temporal Action Segmentation
Graduate School of Informatics, Nagoya University(名古屋大学信息学研究科);RIKEN Center for Advanced Intelligence Project(理化学研究所先进情报项目中心)
本文针对花样滑冰跳跃动作分割中数据不足和忽视三维程序结构的问题,提出视角不变的专用姿态表示学习方法VIFSS及FS-Jump3D数据集,并引入细粒度阶段标注,在元素级TAS上取得超92% F1@50。
2025-08-14 cs.CV
Multimodal Language Models for Domain-Specific Procedural Video Summarization
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文针对烹饪和医疗等领域的长篇教学视频,提出微调 TimeChat 并利用 Tasty、MedVidQA 构建视频中心指令数据,以提升关键步骤提取与摘要能力。
2024-07-07 cs.CV cs.IR
Enhancing Visual Planning with Auxiliary Tasks and Multi-token Prediction
UNC Chapel Hill(北卡罗来纳大学教堂山分校);Meta
本文提出VideoPlan,通过辅助任务增强和多token预测解决长时程视觉规划中的数据稀缺与动作空间建模不足问题,在COIN和CrossTask上取得领先性能。
2025-07-20 cs.CV
Condensing Action Segmentation Datasets via Generative Network Inversion
National University of Singapore(新加坡国立大学)
本文提出首个面向时序动作分割数据集的压缩框架,结合生成先验、网络反演与代表性动作序列采样,在 Breakfast 上实现逾500倍存储压缩并保留83%性能。
2025-03-18 cs.CV
Why Not Use Your Textbook? Knowledge-Enhanced Procedure Planning of Instructional Videos
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);NEC Laboratories(NEC实验室);University of Auckland(奥克兰大学);Weizmann Institute of Science(魏茨曼科学研究所)
针对教学视频过程规划中的因果约束与多方案变化问题,本文提出 KEPP,利用从训练数据构建的概率性过程知识图谱增强智能体,并在三个数据集上以最少监督达到最优性能。
2024-06-15 cs.CV
YETI (YET to Intervene) Proactive Interventions by Multimodal AI Agents in Augmented Reality Tasks
University of Maryland(马里兰大学);Google(谷歌公司)
针对现有多模态AI智能体被动响应的局限,研究提出YETI智能体,基于SSIM场景理解信号与对齐信号判断主动干预时机,在AR任务辅助场景的HoloAssist基准上验证了效果。
2025-01-16 cs.AI cs.CV cs.ET
DeltaWAM: Change-Centric Visual Foresight via Delta Tokens for an Efficient World-Action Model
针对像素空间世界模型重建整个未来场景的高计算成本问题,DeltaWAM以紧凑的delta令牌为预测单元,基于DeltaWorld自回归预测帧间变化,并由流匹配动作专家生成动作,在LIBERO上取得92.8%成功率,且推理高效。
2026-09-29 cs.CV cs.RO
ExAct: A Video-Language Benchmark for Expert Action Analysis
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
ExAct是一个用于专家级物理活动理解的视频-语言基准,通过专家整理的视频问题-答案对评估VLMs的精准理解能力。
2025-12-11 cs.CV
What Changed and What Could Have Changed? State-Change Counterfactuals for Procedure-Aware Video Representation Learning
Indiana University(印第安纳大学);National Yang-Ming Chiao-Tung University(国家阳明交通大学);Atmanity Inc.(Atmanity公司)
本文提出利用LLM生成的状态改变描述及其模拟失败的反事实作为监督信号,学习过程感知视频表示,显著提升了时序动作分割、错误检测等多项任务的性能。
2025-08-12 cs.CV
HA-ViD: A Human Assembly Video Dataset for Comprehensive Assembly Knowledge Understanding
The University of Auckland(奥克兰大学)
该研究发布首个面向工业装配知识理解的人类装配视频数据集 HA-ViD,提供多视角多模态视频与丰富时空标注,并评测四类基础视频理解任务。
2023-07-09 cs.CV