Cross-task weakly supervised learning from instructional videos
Inria(法国国家信息与自动化研究所);DeepMind(深度思维);Middle East Technical University(中东技术大学);University of Michigan(密歇根大学)
在本文中,我们研究学习视觉模型的步骤,普通的任务,使用弱监督通过教学叙述和有序的步骤列表,而不是强监督通过时间注释。我们方法的核心是观察到,如果模型在学习不同步骤时共享组件,弱监督学习可能会更容易:“pour egg”应该与其他涉及“pour”和“egg”的任务联合训练。我们形式化的组件模型识别步骤和弱监督学习框架,可以学习这个模型的时间限制下,从叙述和步骤列表。过去的数据不允许系统地研究共享,因此我们还收集了一个新的数据集CrossTask,旨在评估跨任务共享。我们的实验表明,跨任务的共享提高了性能,特别是在组件级完成时,我们的组件模型可以解析以前看不见的任务,凭借其组合性。
2019-04-29 cs.CV
Reconstructing and grounding narrated instructional videos in 3D
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学);CIIRC – Czech Institute of Informatics, Robotics and Cybernetics at the Czech Technical University in Prague(布拉格捷克技术大学信息学、机器人与控制论研究所);Microsoft(微软);ETH Zurich(苏黎世联邦理工学院);Facebook AI Research(Facebook人工智能研究院)
叙述式教学视频通常显示和描述类似物体的操作,例如,修理某款汽车或笔记本电脑。在这项工作中,我们的目标是重建这样的对象,并在3D中本地化相关的叙述。与实例级3D重建的标准场景相反,其中相同的对象或场景存在于所有视图中,不同教学视频中的对象在给定相同产品的不同条件和版本的情况下可能具有较大的外观变化。叙述还可以在自然语言表达中具有大的变化。我们通过三个贡献来应对这些挑战。首先,我们提出了一种方法的对应关系估计相结合的学习局部特征和稠密流。其次,我们设计了一个两步分治重建方法,其中单个视频的初始3D重建被组合成一个3D对齐图。最后,我们提出了一种无监督的方法,地面自然语言在获得的三维重建。我们证明了我们的方法在汽车维修领域的有效性。在没有人工监督的情况下,我们的方法成功地重建了不同汽车模型的发动机,并将文本描述与3D中的相应对象相关联。
2021-09-10 cs.CV
Movie101v2: Improved Movie Narration Benchmark
Renmin University of China(中国人民大学)
本文提出Movie101v2双语电影叙述基准,将自动电影叙述任务分解为三个递进阶段,并基于GPT-4V等大型视觉语言模型进行基线评测,揭示了该任务面临的挑战。
2024-10-18 cs.CL cs.CV cs.MM
Action Modifiers: Learning from Adverbs in Instructional Videos
University of Bristol(布里斯托大学);Inria(法国国家信息与自动化研究所);École Normale Supérieure(高等师范学校);Amazon(亚马逊)
我们提出了一种方法来学习表示副词从教学视频使用弱监督从伴随的叙述。我们的方法的关键是这样一个事实,即副词的视觉表示高度依赖于它所适用的动作,尽管同一个副词会以类似的方式修饰多个动作。例如,虽然“快速传播”和“快速混合”看起来不一样,但我们可以学习一个共同的表示,使我们能够识别两者以及其他动作。我们将其表述为嵌入问题,并使用缩放的点积注意力来从弱监督视频叙事中学习。我们共同学习副词作为在嵌入空间上操作的可逆变换,以便添加或删除副词的效果。由于之前没有关于副词弱监督学习的工作,我们从HowTo 100 M数据集的一个子集中收集了6个副词的成对动作副词注释:快速/缓慢,精细/粗略,部分/完全。我们的方法优于所有基线的视频到副词检索的性能为0.719 mAP。我们还展示了我们的模型的能力,参加相关的视频部分,以确定一个给定的动作的副词。
2020-03-24 cs.CV
Learning and Verification of Task Structure in Instructional Videos
UC Berkeley(加州大学伯克利分校);Meta AI
考虑到在线提供的大量教学视频,从视频中学习各种多步骤任务模型是一个有吸引力的目标。我们引入了一个新的预训练视频模型VideoTaskformer,专注于表示教学视频的语义和结构。我们使用一个简单而有效的目标对VideoTaskformer进行预训练:预测从教学视频中随机屏蔽的步骤的弱监督文本标签(屏蔽步骤建模)。与在本地学习步骤表示的先前工作相比,我们的方法涉及全局学习它们,利用整个周围任务的视频作为上下文。从这些学习的表示中,我们可以验证看不见的视频是否正确执行给定的任务,以及预测在给定的步骤之后可能会采取哪些步骤。我们介绍了两个新的基准检测教学视频中的错误,以验证是否有一个异常的步骤,如果步骤执行正确的顺序。我们还引入了一个长期的预测基准,其目标是从给定的步骤预测长期的未来步骤。我们的方法在这些任务上优于以前的基线,我们相信这些任务将成为社区衡量步骤表示质量的有价值的方法。此外,我们在3个现有的基准上评估了VideoTaskformer-程序活动识别,步骤分类和步骤预测-并在每个基准上证明我们的方法优于现有的基线,并实现了新的最先进的性能。
2023-03-23 cs.AI cs.CL cs.CV
Toward Scalable Video Narration: A Training-free Approach Using Multimodal Large Language Models
Intel(英特尔)
针对 MLLM 视频叙述时间对齐差且易幻觉的问题,论文提出免训练流水线 VideoNarrator,通过多模型协同生成、补充上下文并验证字幕,显著提升叙述准确性。
2025-07-22 cs.CV
VLog: Video-Language Models by Generative Retrieval of Narration Vocabulary
Show Lab, National University of Singapore(新加坡国立大学展示实验室)
本文提出 VLog 框架,将视频叙述组织为可生成式检索和动态更新的分层事件词汇,并在多个视频基准上验证其简洁准确叙述能力。
2025-06-09 cs.CV
Multimodal Subtask Graph Generation from Instructional Videos
University of Michigan, Ann Arbor(密歇根大学安娜堡分校);LG AI Research(LG人工智能研究院)
真实世界的任务由多个相互依赖的子任务组成(例如,脏的平底锅在用于烹饪之前需要清洗)。在这项工作中,我们的目标是从教学视频描述的任务,这样的子任务之间的因果依赖关系建模。这是一个具有挑战性的问题,因为关于世界的完整信息通常无法从视频中获取,这需要强大的学习机制来理解事件的因果结构。我们提出了多模态子任务图生成(MSG 2),一种方法,构建一个子任务图定义一个任务的子任务之间的依赖关系相关的任务从嘈杂的网络视频。与以前的方法相比,我们的多模态方法生成的图形更接近人类注释的图形。MSG 2进一步执行下一子任务预测的下游任务,比ProceL和CrossTask数据集中的最近视频Transformer模型分别准确85%和30%。
2023-02-17 cs.AI cs.CL cs.CV
FlowNar: Scalable Streaming Narration for Long-Form Videos
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Lamarr Institute for Machine Learning(拉马尔机器学习研究所);University of Bonn(波恩大学)
提出FlowNar框架,通过动态上下文管理和CLAM模块实现有界视觉记忆与计算复杂度,在流式视频叙述中兼顾高质量与高效率。
2026-05-30 cs.CV
EduStory: A Unified Framework for Pedagogically-Consistent Multi-Shot STEM Instructional Video Generation
Nanyang Technological University(南洋理工大学);Shanghai Jiao Tong University(上海交通大学)
本文提出EduStory框架,通过整合教学状态建模、脚本引导的结构控制和学习导向评估指标,解决多镜头STEM教学视频中知识一致性与教学叙事连贯性的问题,并引入EduVideoBench基准测试以评估生成视频的质量。
2026-05-10 cs.AI cs.CL cs.CV
VEGGIE: Instructional Editing and Reasoning Video Concepts with Grounded Generation
Adobe Research(Adobe研究机构);University of Michigan(密歇根大学);UNC Chapel Hill(北卡罗来纳大学教堂山分校)
VEGGIE提出端到端框架,统一教学视频编辑、接地与推理,通过MLLM和扩散模型结合课程学习及数据合成,在多项任务上超越基线。
2025-10-25 cs.AI cs.CL cs.CV
QuerYD: A video dataset with high-quality text and audio narrations
Visual Geometry Group, University of Oxford(牛津大学视觉几何组)
我们介绍了QuerYD,一个新的大规模数据集的检索和事件定位的视频。我们的数据集的一个独特功能是每个视频都有两个音轨:原始音频和视觉内容的高质量口头描述。该数据集基于YouDescribe,这是一个志愿者项目,通过将语音叙述附加到现有的YouTube视频来帮助视障人士。这个不断增长的视频集合包含高度详细的,时间对齐的音频和文本注释。内容描述比对话更相关,并且比先前的描述尝试更详细,可以观察到包含许多肤浅或无信息的描述。为了证明实用的QuerYD数据集,我们表明,它可以用来训练和基准强大的模型检索和事件本地化。数据、代码和模型都是公开的,我们希望QuerYD能激发人们对使用书面和口头自然语言理解视频理解的进一步研究。
2021-02-17 cs.CV
MS4UI: A Dataset for Multi-modal Summarization of User Interface Instructional Videos
Brown University(布朗大学);Adobe Research(Adobe研究院)
针对现有视频摘要基准无法提供UI教学视频所需逐步可执行指令与图示的问题,该研究提出新型基准MS4UI,构建含2413个视频、超167小时的多标注数据集,实验表明现有SOTA多模态摘要方法在该任务上表现不佳,凸显研发新方法的必要性。
2025-06-14 cs.CL cs.CV
TL;DW? Summarizing Instructional Videos with Task Relevance & Cross-Modal Saliency
UC Berkeley(加州大学伯克利分校);Google Research(谷歌研究院);Brown University(布朗大学)
寻找特定任务说明的YouTube用户可能会花很长时间浏览内容,试图找到符合他们需求的正确视频。创建可视化摘要(视频的删节版)为观众提供了快速的概览,并大大减少了搜索时间。在这项工作中,我们专注于总结教学视频,一个未充分开发的视频摘要领域。与通用视频相比,教学视频可以被解析成与所演示任务的重要步骤相对应的语义上有意义的片段。现有的视频摘要数据集依赖于手动帧级注释,使其主观且大小有限。为了克服这一点,我们首先利用两个关键假设为教学视频语料库自动生成伪摘要:(i)相关步骤可能出现在同一任务的多个视频中(任务相关性),以及(ii)它们更可能被演示者口头描述(跨模态显着性)。我们提出了一个教学视频摘要网络,结合了上下文感知的时间视频编码器和分段评分Transformer。使用伪摘要作为弱监督,我们的网络为仅提供视频和转录语音的教学视频构建了视觉摘要。为了评估我们的模型,我们收集了一个高质量的测试集,WikiHow摘要,通过抓取WikiHow文章,这些文章包含视频演示和步骤的视觉说明,使我们能够获得地面事实摘要。在这个新的基准测试中,我们的表现超过了几个基准和最先进的视频摘要模型。
2022-08-14 cs.CV cs.IR cs.LG
COBE: Contextualized Object Embeddings from Narrated Instructional Video
Facebook AI;Dartmouth College(达特茅斯学院)
现实世界中的许多对象在视觉外观上经历了戏剧性的变化。例如,番茄可以是红色或绿色的,切片或切碎的,新鲜或油炸的,液体或固体。训练一个检测器来准确识别所有这些不同状态的西红柿是一项挑战。另一方面,上下文线索(例如,刀、切菜板、滤网或平底锅的存在)通常强烈地指示对象在场景中出现的方式。识别这样的上下文线索不仅对于提高目标检测的准确性或确定对象的状态是有用的,而且对于理解其功能属性并推断正在进行的或即将到来的人-对象交互也是有用的。不幸的是,在现实世界中识别对象状态及其上下文的完全监督方法被数据的长尾开放式分布所破坏,这实际上需要大量的注释来捕获对象的所有不同形式的外观。我们提出了一个新的框架,从自动转录的教学视频的叙述中学习情境化对象嵌入(COBE),而不是依赖于手动标记的数据来完成这项任务。我们通过训练视觉检测器来预测对象及其相关叙述的上下文化词嵌入,从而利用语言的语义和组成结构。这使得能够学习对象表示,其中概念根据语义语言度量相关。我们的实验表明,我们的检测器学习预测丰富多样的上下文对象信息,它是非常有效的设置中的Few-Shot和零样本学习。
2020-10-29 cs.CV
Learning to Generate Long-term Future Narrations Describing Activities of Daily Living
Centre for Frontier AI Research, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局前沿人工智能研究中心);Institute of High Performance Computing, Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局高性能计算研究所)
提出长期未来叙述生成任务及视觉语言模型ViNa,通过整合长视频与叙述预测未来日常活动,并在Ego4D数据集上验证,还引入未来视频检索应用以辅助任务规划。
2025-03-03 cs.CV
Beyond Instructional Videos: Probing for More Diverse Visual-Textual Grounding on YouTube
Allen Institute for AI(艾伦人工智能研究所);Google Research(谷歌研究院)
从未标记的网络视频进行预训练已迅速成为在许多视频理解任务上实现高性能的事实手段。通过预测视觉内容和自动语音识别(ASR)标记之间的基础关系来学习特征。然而,之前的预训练工作仅限于教学视频;先验地,我们期望这个领域相对“容易“:教学视频中的说话者通常会引用所描述的文字对象/动作。我们问:类似的模型可以在更多样化的视频语料库上训练吗?如果是,什么类型的视频是“接地”的,什么类型的不是?我们将一个具有代表性的预训练模型与不同的YouTube 8 M数据集相匹配,并研究了其成功和失败的案例。我们发现,视觉文本接地确实是可能的,在以前未探索的视频类别,并在一个更多样化的集合上的预训练结果的表示,概括到非教学和教学领域。
2020-10-16 cs.CL cs.CV
Collaborative Weakly Supervised Video Correlation Learning for Procedure-Aware Instructional Video Analysis
Shanghai Jiao Tong University(上海交通大学);Lenovo Research(联想研究院)
针对教学视频相关性分析依赖昂贵步骤级标注的问题,提出含协同步骤挖掘与帧-步对齐模块的CPA弱监督框架,在序列验证等任务中验证了其准确可解释的分析效果。
2023-12-18 cs.AI cs.CV
Weakly-Supervised Action Detection Guided by Audio Narration
Cruise(Cruise公司);University of Pittsburgh(匹兹堡大学)
视频是比图像更有组织的视觉概念学习数据源。与仅涉及空间信息的2维图像不同,附加的时间维度桥接和覆盖多个模态。然而,在大多数视频检测基准测试中,这些额外的模态没有得到充分利用。例如,EPIC Kitchens是第一人称(以自我为中心)视觉中最大的数据集,但它仍然依赖众包信息来细化动作边界以提供实例级动作注释。我们探讨了如何消除视频检测数据中提供精细边界的昂贵注释。我们提出了一个模型来学习的叙述监督和利用多模态功能,包括RGB,运动流,和环境声音。我们的模型学习关注与叙述标签相关的帧,同时抑制不相关的帧被使用。我们的实验表明,嘈杂的音频叙述足以学习一个好的动作检测模型,从而减少注释费用。
2022-05-12 cs.CV
Content Based Video Narration of Gameplay with Vision Language Models
University of Washington(华盛顿大学)
该研究提出一种基于内容的游戏玩法视频旁白系统,利用视觉语言模型等技术生成电竞风格解说,无需游戏专用工具,支持本地化语音,还发布了可复现基线。
2026-08-17 cs.AI cs.CV cs.GR
Exploring Ordinal Bias in Action Recognition for Instructional Videos
Korea Institute of Science and Technology(韩国科学技术院);Seoul National University(首尔国立大学)
本文提出两种方法探索教学视频中动作识别的序数偏差问题,通过实验揭示模型在面对非常规动作序列时的脆弱性,强调了重新设计评估策略和开发更通用模型的必要性。
2025-12-05 cs.AI cs.CV
TeaserGen: Generating Teasers for Long Documentaries
Duke University(杜克大学);Massachusetts Institute of Technology(麻省理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校);University of Michigan(密歇根大学)
本文提出TeaserGen,一种两阶段系统,利用大型语言模型生成旁白并通过语言-视觉模型匹配视觉内容,为长篇纪录片自动生成预告片,并引入DocumentaryNet数据集,实验证明预训练方法优于深度自回归模型。
2024-11-10 cs.AI cs.CV
Step Differences in Instructional Video
FAIR, Meta(FAIR、Meta)
本文提出利用HowTo100M自动生成视频对指令数据并训练视频条件语言模型,实现跨视频联合推理,在识别教学视频步骤差异和严重程度排序上达到最先进水平。
2024-06-27 cs.CV
Unsupervised Discovery of Actions in Instructional Videos
Robotics at Google(谷歌机器人部门);Google Research(谷歌研究院)
在本文中,我们解决的问题,自动发现原子的行动在无监督的方式从教学视频。教学视频包含复杂的活动,是智能代理的丰富信息源,例如,自主机器人或虚拟助手,它们可以自动“读取”教学视频中的步骤并执行它们。然而,视频很少用原子活动、它们的边界或持续时间来注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务,从各种教学视频。我们提出了一个序列随机自回归模型的时间分割的视频,学习表示和发现的顺序关系的任务的不同原子动作,并提供自动和无监督的自标记的视频。我们的方法优于最先进的无监督方法,具有很大的利润率。我们将开放源代码。
2021-06-28 cs.CV
SCHEMA: State CHangEs MAtter for Procedure Planning in Instructional Videos
Columbia University(哥伦比亚大学);The Hong Kong University of Science and Technology(香港科技大学)
针对教学视频过程规划忽视状态作用的问题,本文提出 SCHEMA,将步骤表示为状态变化并结合 LLM 与跨模态对比学习追踪中间状态,在多个基准上达到 SOTA。
2024-03-03 cs.AI cs.CL cs.CV
Learning a Grammar Inducer from Massive Uncurated Instructional Videos
University of Rochester(罗切斯特大学);Tencent AI Lab(腾讯人工智能实验室)
视频辅助语法归纳旨在利用视频信息为伴随文本找到更准确的语法。虽然以前的工作重点是建立系统,诱导语法的文本,以及与视频内容一致,我们调查的情况下,文本和视频只是在松散的对应关系。此类数据在网上可以找到大量,弱对应性类似于语言习得中研究的不确定性问题。此外,我们建立了一个新的模型,可以更好地学习视频跨度的相关性,而无需手动设计的功能采用以前的工作。实验表明,我们的模型只在大规模YouTube数据上训练,没有文本视频对齐,尽管存在域偏移和噪声标签问题,但在三个看不见的数据集上表现出强大而稳健的性能。此外,我们的模型比以前在域内数据上训练的最先进的系统产生更高的F1分数。
2022-10-22 cs.CL cs.CV cs.MM
Overview of the NLPCC 2025 Shared Task 4: Multi-modal, Multilingual, and Multi-hop Medical Instructional Video Question Answering Challenge
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院);School of Computer Science and Technology, Beijing Institute of Technology(计算机科学与技术学院,北京理工大学);School of Engineering, Westlake University(工程学院,西湖大学)
本文介绍NLPCC 2025 M4IVQA挑战赛,设置单视频定位、视频语料检索和语料库定位三个赛道,推动面向医学教学视频的多模态、多语言、多跳问答研究。
2025-05-11 cs.AI cs.CL cs.CV
Unsupervised Action Segmentation for Instructional Videos
Google(谷歌);Google Research(谷歌研究院)
在本文中,我们解决的问题,自动发现原子动作在无监督的方式从教学视频,这是很少与原子动作注释。我们提出了一种无监督的方法来学习原子动作的结构化的人类任务,从各种教学视频的基础上顺序随机自回归模型的时间分割的视频。它学习表示和发现任务的不同原子动作之间的顺序关系,并提供自动和无监督的自标记。
2021-06-07 cs.CV
Narrating the Video: Boosting Text-Video Retrieval via Comprehensive Utilization of Frame-Level Captions
School of Computer Science and Engineering, Kyungpook National University(庆北国立大学计算机科学与工程学院)
针对文本-视频检索中附加字幕利用不足与生成错误问题,提出NarVid框架,通过跨模态特征增强、自适应过滤、双模态匹配及难负样本损失,在多个基准上达到最优性能。
2025-03-26 cs.CV
Multimodal Shared Latent Representation of Narration, Microscope and iOCT Images for Phase Recognition in Vitreoretinal Surgery
Technical University of Munich(慕尼黑工业大学);SynthesEyes GmbH(SynthesEyes公司);LMU University Hospital(慕尼黑大学附属医院)
该研究提出以显微镜视图为共享锚点的多模态框架,结合手术叙事与iOCT,用双路MS-TCN++实现玻璃体视网膜手术的宏观与微观阶段识别,提升了宏观阶段识别性能,为细粒度测量提供了探索途径。
2026-09-01 cs.CV
GUIDE: A Guideline-Guided Dataset for Instructional Video Comprehension
Harbin Institute of Technology(哈尔滨工业大学);Kuaishou Technology(快手科技);Peng Cheng Laboratory(鹏城实验室)
针对现有教学视频数据集缺乏任务级经验大纲的问题,提出GUIDE数据集,包含560个任务的3.5K视频,并设计三个子任务评估模型理解能力,作为更优基准。
2024-06-26 cs.CL cs.CV
NaQ: Leveraging Narrations as Queries to Supervise Episodic Memory
UT Austin(德克萨斯大学奥斯汀分校);University of Utah(犹他大学);FAIR, Meta AI(Meta人工智能基础研究实验室)
使用自然语言查询(NLQ)搜索以自我为中心的长视频在增强现实和机器人技术中有着引人注目的应用,其中一个人(代理人)之前看到的所有内容的流体索引可以增强人类记忆并按需显示相关信息。然而,学习问题的结构化性质(自由形式的文本查询输入,本地化的视频时间窗口输出)及其大海捞针的性质使得它在技术上具有挑战性,并且监督成本高昂。我们介绍的叙述,作为广告(NaQ),一个数据增强战略,将标准的视频文本的叙述到训练数据的视频查询本地化模型。在Ego 4D基准测试中验证我们的想法,我们发现它在实践中有巨大的影响。NaQ大幅提高了多个顶级模型的准确性(甚至使其准确性提高了一倍),并在Ego 4D NLQ挑战赛中取得了迄今为止最好的成绩,在CVPR和ECCV 2022比赛中表现出色,超过了所有挑战赛获胜者,并在当前的公开排行榜上名列前茅。除了实现国家的最先进的NLQ,我们还展示了我们的方法,如执行zero-shot和Few-Shot NLQ的能力,并提高查询长尾对象类别的性能独特的属性。代码和型号:{ \small \url{http://vision.cs.utexas.edu/projects/naq} }。
2023-03-25 cs.CV
COIN: A Large-scale Dataset for Comprehensive Instructional Video Analysis
Tsinghua University(清华大学);Meitu Inc.(美图公司)
互联网上有大量的教学视频,使我们能够获得完成各种任务的知识。然而,大多数现有的教学视频分析数据集的多样性和规模的限制,这使得他们远离许多现实世界中的应用程序,更多样化的活动发生。此外,组织和利用这些数据仍然是一个巨大的挑战。为了解决这些问题,我们引入了一个名为“COIN”的大规模数据集,用于综合教学视频分析。COIN数据集以分层结构组织,包含12个领域中180个任务的11,827个视频(例如,车辆、小工具等)与我们的日常生活有关。通过一个新开发的工具箱,所有的视频都有效地注释了一系列的步骤描述和相应的时间边界。此外,我们提出了一个简单而有效的方法来捕捉不同步骤之间的依赖关系,它可以很容易地插入到传统的基于提议的动作检测方法,用于定位教学视频中的重要步骤。为了给教学视频分析提供一个基准,我们在COIN数据集上根据不同的评估标准评估了大量的方法。我们期望COIN数据集的引入将促进社区未来对教学视频分析的深入研究。
2019-03-07 cs.CV
Bridge-Prompt: Towards Ordinal Action Understanding in Instructional Videos
Tsinghua University(清华大学);Huawei Technologies Co., Ltd.(华为技术有限公司)
动作识别模型已经显示出对短视频片段中的人类动作进行分类的有希望的能力。在真实场景中,多个相关的人类行为通常以特定的顺序发生,形成语义上有意义的人类活动。传统的动作识别方法集中于分析单个动作。然而,它们未能充分推理相邻动作之间的上下文关系,这为理解长视频提供了潜在的时间逻辑。在本文中,我们提出了一个基于语义的框架,桥提示(BR提示),相邻的动作之间的语义建模,使它同时利用了一系列的顺序动作在教学视频的上下文和上下文信息。更具体地说,我们重新制定的个人行动标签作为综合文本提示监督,个人行动语义之间的桥梁。生成的文本提示与相应的视频剪辑配对,并通过对比方法共同训练文本编码器和视频编码器。学习的视觉编码器具有更强的顺序动作相关下游任务的能力,例如动作分割和人类活动识别。我们评估了我们的方法在几个视频数据集上的性能:佐治亚理工学院的自我中心活动(GTEA),50沙拉和早餐数据集。Br-Prompt在多个基准测试中达到了最先进的水平。代码可在https://github.com/ttlmh/Bridge-Prompt上获得
2022-03-26 cs.AI cs.CV cs.LG
How to Make a BLT Sandwich? Learning to Reason towards Understanding Web Instructional Videos
University of Rochester(罗切斯特大学)
网络教学视频理解是视频理解的一个重要分支。首先,大多数现有的视频方法集中在几秒钟长的视频剪辑的短期动作;这些方法不直接适用于长视频。其次,与不受约束的长视频不同,例如,电影、教学视频更有结构性,因为它们具有限制理解任务的逐步过程。在本文中,我们通过问答(QA)研究教学视频推理。令人惊讶的是,尽管它有丰富的应用程序,但它并没有成为视频社区的重点。因此,我们介绍了YouQuek,一个基于最近YouCook 2的教学视频注释QA数据集。YouQuek中的问题并不局限于一个框架上的线索,而是与时间维度上的逻辑推理有关。观察缺乏有效的表示建模长视频,我们提出了一套精心设计的模型,包括一个新的递归图卷积网络(RGCN),捕捉时间顺序和关系信息。此外,我们研究了多种形式,包括描述和成绩单的目的,以提高视频理解。在YouQuek上的大量实验表明,RGCN在QA准确性方面表现最好,并且通过引入人工注释描述获得了更好的性能。
2018-12-06 cs.CV
InstructionBench: An Instructional Video Understanding Benchmark
针对教学视频理解研究不足,提出InstructionBench基准,通过5k问答对评估Video-LLMs的时间推理能力,发现最佳模型GPT-4o准确率仅53.42%,并构建了含19k问答对的数据集以推动研究。
2025-06-30 cs.CV
Multimodal Pretraining for Dense Video Captioning
Mila;University of Montreal(蒙特利尔大学);Google Research(谷歌研究院)
学习具体的动手技能,如烹饪,汽车维修和家庭维修越来越多地通过教学视频发生。已知通过元信息(诸如针对所涉及的主要步骤的带时间戳的注释)来改善这种视频的用户体验。自动生成这样的注释是具有挑战性的,我们在这里描述两个相关的贡献。首先,我们构建并发布了一个新的密集视频描述数据集,视频时间轴标签(ViTT),具有各种教学视频连同时间戳注释。其次,我们探索了几种多模态序列到序列预训练策略,这些策略利用了大型无监督视频和标题类文本数据集。我们使用YouCook2和ViTT预训练并随后微调密集视频描述模型。我们表明,这样的模型推广良好,并在各种各样的教学视频是强大的。
2020-11-10 cs.CL cs.CV cs.LG
Induce, Edit, Retrieve: Language Grounded Multimodal Schema for Instructional Video Retrieval
University of Pennsylvania(宾夕法尼亚大学)
模式是复杂任务的结构化表示,可以通过允许模型将复杂任务分解为中间步骤来帮助人工智能。我们提出了一种新的系统,诱导图式从网络视频和概括他们捕捉看不见的任务,以提高视频检索性能的目标。我们的系统分为三个主要阶段:(1)给定一个具有相关视频的任务,我们使用联合视频-文本模型为任务构建一个初始模式,以将视频片段与wikiHow中的文本表示步骤相匹配;(2)我们通过利用语言模型编辑现有模式中的文本,将模式推广到看不见的任务。通过泛化,我们可以让我们的模式,以少量的学习数据,以涵盖更广泛的任务;(3)我们进行zero-shot教学视频检索与看不见的任务名称作为查询。我们的模式引导的方法优于现有的方法进行视频检索,我们证明了我们的系统诱导的模式比其他模型产生的更好。
2021-11-17 cs.CL cs.CV
Comprehensive Instructional Video Analysis: The COIN Dataset and Performance Evaluation
Tsinghua University(清华大学);Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学清华深圳国际研究生院)
由于互联网上大量的爆炸性的教学视频,新手能够获得完成各种任务的知识。在过去的十年里,越来越多的人致力于研究教学视频分析问题。然而,这一领域现有的大多数数据集在多样性和规模上都有局限性,这使得它们与许多发生更多样化活动的现实世界应用相距甚远。为了解决这个问题,我们提出了一个名为“COIN”的大规模数据集,用于综合性教学视频分析。COIN数据集以分层结构组织,包含12个领域中180个任务的11,827个视频(例如,车辆、小工具等)与我们的日常生活有关。使用新开发的工具箱,所有视频都使用一系列步骤标签和相应的时间边界进行有效注释。为了提供教学视频分析的基准,我们在五种不同的设置下评估了COIN数据集上的大量方法。此外,我们利用两个重要特征(即,任务一致性和顺序依赖性)来定位教学视频中的重要步骤。因此,我们提出了两个简单而有效的方法,可以很容易地插入到传统的基于提议的动作检测模型。我们相信,COIN数据集的引入将推动社区未来对教学视频分析的深入研究。我们的数据集,注释工具箱和源代码可在http://coin-dataset.github.io上获得。
2020-03-20 cs.CV
SportSkills: Physical Skill Learning from Sports Instructional Videos
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SportSkills,首个针对身体技能学习的体育大规模数据集,包含36万+教学视频和63万+视觉演示,通过实验展示其在细粒度动作差异理解上的优势,并引入首个大规模错误条件教学视频检索任务。
2026-03-26 cs.CV
VIGiA: Instructional Video Guidance via Dialogue Reasoning and Retrieval
NOVA LINCS, NOVA School of Science and Technology, Portugal(新大学信息学与计算机科学研究中心,新大学科技学院,葡萄牙)
VIGiA是一种多模态对话模型,通过对话推理和检索处理复杂的教学视频行动计划,实现基于视觉输入和计划的对话理解,优于现有方法,在计划感知的VQA任务中达到90%以上准确率。
2026-03-31 cs.CL cs.CV
Procedure Planning in Instructional Videos via Contextual Modeling and Model-based Policy Learning
University of Rochester(罗切斯特大学)
通过观察人类的行为来学习新技能是人工智能的一项基本能力。在这项工作中,我们利用教学视频来研究人类的决策过程,重点是学习一个模型来计划现实生活中的视频目标导向的行动。与传统的行动识别不同,目标导向的行动是基于对行动结果的预期,需要对行动的潜在后果有因果关系的知识。因此,将环境结构与目标相结合是解决这一任务的关键。以前的工作学习一个单一的世界模型将无法区分不同的任务,导致一个模糊的潜在空间;通过它进行规划将逐渐忽视预期的结果,因为未来目标的全局信息随着程序的发展而迅速退化。我们解决了这些限制与新制定的程序规划,并提出了新的算法,通过贝叶斯推理和基于模型的模仿学习来模拟人类行为。在真实教学视频上进行的实验表明,我们的方法可以达到最先进的性能,达到指定的目标。此外,所学习的上下文信息呈现了用于在潜在空间中进行规划的有趣特征。
2021-10-08 cs.AI cs.CV
InstrAct: Towards Action-Centric Understanding in Instructional Videos
Pennsylvania State University(宾夕法尼亚州立大学);Microsoft Research(微软研究院);Nanyang Technological University(南洋理工大学)
本文提出InstrAction框架,通过数据驱动策略和辅助目标提升指令视频中动作识别与建模,建立InstrAct基准测试集,优于现有视频基础模型。
2026-04-09 cs.AI cs.CV
AVLnet: Learning Audio-Visual Language Representations from Instructional Videos
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);UT Austin(得克萨斯大学奥斯汀分校);Columbia University(哥伦比亚大学);IBM Research AI(IBM人工智能研究院);Google(谷歌);NYU(纽约大学)
用于从视频学习视觉基础语言的当前方法通常依赖于文本注释,诸如人类生成的字幕或机器生成的自动语音识别(ASR)转录。在这项工作中,我们介绍了音频视频语言网络(AVLnet),这是一种自监督网络,可以直接从原始视频输入中学习共享的视听嵌入空间。为了避免文本注释的需要,我们从随机分割的视频片段及其原始音频波形中学习视听表示。我们训练AVLnet上HowTo100 M,一个大型的语料库的公开可用的教学视频,并评估图像检索和视频检索任务,达到最先进的性能。我们对AVLnet的学习表示进行了分析,表明我们的模型利用语音和自然声音来学习视听概念。此外,我们提出了一个三模态模型,联合处理原始音频,视频和文本字幕从视频学习多模态语义嵌入空间有用的文本视频检索。我们的代码、数据和训练模型将在avlnet.csail.mit.edu上发布
2021-06-29 cs.CL cs.CV cs.MM
YTCommentQA: Video Question Answerability in Instructional Videos
LG AI Research(LG AI研究院)
针对现有视频问答模型未考虑真实用户问题可能超出视频信息边界的问题,研究者提出包含YouTube自然生成问题、按可回答性及所需模态分类的YTCommentQA数据集,实验验证了其复杂性及多模态协同理解的重要性。
2024-01-30 cs.AI cs.CV
Overview of the NLPCC 2026 Shared Task 1: Difficulty-Aware Multilingual and Multimodal Medical Instructional Video Understanding Evaluation
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与工程学院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算学系);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
NLPCC 2026的DA - MIVQA共享任务,通过区分问题难度扩展多语言多模态医学视频基准,含三个赛道。其数据集来自公共医学教学渠道,涵盖多种场景并经人工标注难度。该任务为评估医学教学视频问答系统提供实用基准。
2026-07-21 cs.AI cs.CV
What to Do Next? Memorizing skills from Egocentric Instructional Video
University of Rochester(罗切斯特大学)
本文研究第一人称仿真环境中的交互式动作规划,提出结合拓扑可供性记忆与Transformer的方法,以学习环境表示、选择动作并检测偏差,实验证明其性能提升且对动作偏差具有鲁棒性。
2025-07-01 cs.AI cs.CV cs.LG
Unsupervised Visual-Linguistic Reference Resolution in Instructional Videos
Stanford University(斯坦福大学);University of Southern California(南加州大学)
我们提出了一种用于教学视频中的参考分辨率的无监督方法,其中目标是在时间上链接实体(例如,“穿衣”)到动作(例如,“混合酸奶”)。关键的挑战是视频中实体的视觉外观和指称表达的变化不可避免地产生视觉语言模糊性。我们的目标是在没有监督的情况下解决引用,这一事实加剧了这一挑战。我们通过学习联合视觉语言模型来解决这些挑战,其中语言线索可以帮助解决视觉歧义,反之亦然。我们通过使用YouTube上的2000多个非结构化烹饪视频无监督地学习我们的模型来验证我们的方法,并表明我们的视觉语言模型可以大大提高教学视频中最先进的语言模型的参考分辨率。
2017-05-20 cs.CV
Learning Video Representations from Large Language Models
Meta AI;University of Texas, Austin(德克萨斯大学奥斯汀分校)
我们介绍LaViLa,一种利用大语言模型(LLM)学习视频语言表示的新方法。我们重新利用预先训练的LLM以视觉输入为条件,并对其进行微调以创建自动视频叙述者。我们自动生成的叙述提供了许多优势,包括长视频的密集覆盖,视觉信息和文本的更好的时间同步,以及更高的文本多样性。与这些额外的自动生成的叙述相比,学习的视频-文本嵌入在多个第一人称和第三人称视频任务中的表现优于先前的最先进技术,无论是在zero-shot还是微调设置中。最值得注意的是,LaViLa在EGTEA分类上获得了10.1%的绝对增益,在Epic-Kitchen-100多实例检索基准测试中获得了5.9%的绝对增益。此外,LaViLa仅使用Ego 4D数据集一半的叙述进行训练,优于在完整集合上训练的基线模型,并且在增加预训练数据和模型大小时显示出积极的缩放行为。
2022-12-08 cs.CV
Video-Mined Task Graphs for Keystep Recognition in Instructional Videos
UT Austin(德克萨斯大学奥斯汀分校);FAIR, Meta(Meta 基础人工智能研究实验室)
本文提出从教学视频中自动挖掘任务图以建模关键步骤间的概率关系,并利用该图正则化新视频中的关键步骤识别,在多个数据集上实现了超越现有方法的零样本定位与视频表示学习性能。
2023-10-29 cs.CV
Leveraging Procedural Knowledge and Task Hierarchies for Efficient Instructional Video Pre-training
Georgia Insitute of Technology(佐治亚理工学院);Google DeepMind(谷歌DeepMind)
该论文提出利用任务层级和程序性步骤作为先验知识,预训练模型Pivot以高效识别和预测教学视频中的任务与步骤,在数据与计算受限时优于基线,实现高效视频推荐。
2025-02-24 cs.CV
Hierarchical Modeling for Task Recognition and Action Segmentation in Weakly-Labeled Instructional Videos
University of Texas at Arlington(德克萨斯大学阿灵顿分校)
本文重点关注弱标记教学视频中的任务识别和动作分割,其中在训练期间仅提供视频级动作的有序序列。我们提出了一个双流框架,它利用语义和时间层次结构来识别教学视频中的顶级任务。此外,我们提出了一种新的自上而下的弱监督动作分割方法,其中预测任务用于约束细粒度动作序列的推理。在流行的Breakfast and Cooking 2数据集上的实验结果表明,我们的双流分层任务建模在所有数据集和指标的顶级任务识别中显着优于现有方法。此外,在所提出的自上而下的动作分割方法中使用我们的任务识别框架,始终提高了最新技术水平,同时还将分割推理时间减少了80- 90%。
2021-10-12 cs.CV
Analysis and Interface for Instructional Video
我们提出了一种新的分割方法,和一个新的用户界面的索引和可视化,扩展的教学视频的语义内容。使用各种视觉过滤器,关键帧首先被分配一个媒体类型(板,类,计算机,插图,讲台和工作表)。然后,通过具有近线性成本的算法基于内容对媒体类型板和片材的关键帧进行聚类。一个新颖的用户界面,两个用户研究的结果,显示相关的主题使用图标链接拓扑,允许用户快速定位语义相关的视频部分。我们在17个教学视频上分析了分割工具的准确性,每个视频的持续时间从75分钟到150分钟(总共40小时);它超过了96%。
2003-08-30 cs.CV cs.IR
SneakPeek: Future-Guided Instructional Streaming Video Generation
Meta Superintelligence Labs(Meta超智能实验室);Seoul National University(首尔国立大学)
SneakPeek通过预测因果适应、未来引导自我强制和多提示条件,实现了基于未来的指导性视频生成,提高了时间一致性和可控性。
2025-12-15 cs.CV