AGQA: A Benchmark for Compositional Spatio-Temporal Reasoning
University of Pennsylvania(宾夕法尼亚大学);Stanford University(斯坦福大学)
视觉事件是一个时间动作的组合,涉及空间上与对象交互的演员。在开发能够推理组合时空事件的计算机视觉模型时,我们需要能够分析进展并发现缺点的基准。现有的视频问答基准测试是有用的,但它们往往将多个错误来源合并到一个准确性度量中,并且具有模型可以利用的强烈偏见,因此很难查明模型的弱点。我们提出了行动基因组问答(AGQA),一个新的基准组合时空推理。AGQA包含$9.6K$视频的$192M$不平衡问题答案对。我们还提供了一个平衡的子集的$3.9M$问题答案对,$3$数量级大于现有的基准,最大限度地减少偏见,通过平衡的答案分布和类型的问题结构。虽然人类评估者将我们的问题-答案对中的$86.02\%$标记为正确,但最好的模型只能达到$47.74\%$的准确性。此外,AGQA还引入了多个训练/测试分割来测试各种推理能力,包括对新组合、间接引用和更多组合步骤的概括。使用AGQA,我们评估了现代视觉推理系统,证明了最好的模型几乎没有比利用语言偏见的非视觉基线更好的表现,并且现有的模型都没有推广到训练过程中看不到的新成分。
2021-03-30 cs.CL cs.CV
STEP: Enhancing Video-LLMs' Compositional Reasoning by Spatio-Temporal Graph-guided Self-Training
Zhejiang University(浙江大学);National University of Singapore(新加坡国立大学)
本文提出STEP方法,利用时空场景图引导视频大语言模型自生成推理数据,通过思维链监督提升多步组合推理能力,实验显示在复杂推理任务上提升21.3%。
2025-03-30 cs.CV cs.LG
STPro: Spatial and Temporal Progressive Learning for Weakly Supervised Spatio-Temporal Grounding
BITS Pilani(毕拉尼理工学院);University of Central Florida(中佛罗里达大学)
本文针对弱监督时空视频定位任务提出STPro渐进式学习框架,通过子动作时间课程学习与拥挤度引导空间课程学习两个模块,有效解决了组合动作理解与复杂场景适应问题,在多个基准数据集上取得最优性能。
2025-04-05 cs.CV
Unified Graph Structured Models for Video Understanding
Google Research(谷歌研究院)
准确的视频理解涉及对演员、对象及其环境之间的关系的推理,通常是在长时间间隔内。在本文中,我们提出了一个消息传递图神经网络,明确地模拟这些时空关系,并可以使用显式表示的对象,当监督可用,否则隐式表示。我们的配方概括了以前的结构化模型的视频理解,并允许我们研究不同的设计选择图结构和表示影响模型的性能。我们在两个不同的任务上展示了我们的方法,这些任务需要在视频中进行关系推理-AVA和UCF 101 -24上的时空动作检测,以及最近的Action Genome数据集上的视频场景图分类-并在所有三个数据集上获得了最先进的结果。此外,我们定量和定性地展示了我们的方法是如何能够更有效地建模场景中的相关实体之间的关系。
2021-03-29 cs.CV
Guess Where? Actor-Supervision for Spatiotemporal Action Localization
KAUST(沙特阿拉伯阿卜杜拉国王科技大学);University of Amsterdam(阿姆斯特丹大学);Qualcomm Technologies Inc(高通技术公司)
本文研究了视频中动作的时空定位问题。与领先的方法相比,这些方法都是基于训练视频帧上仔细注释的框来学习本地化的,我们坚持弱监督的解决方案,只需要一个视频类标签。我们引入了一个演员监督的架构,利用演员转换方面的行动的固有组合性,本地化的行动。我们做了两个贡献。首先,我们提出了演员的建议,来自人类和非人类演员的图像,这是随着时间的推移,暹罗相似性匹配考虑演员变形的检测器。其次,我们提出了一个基于演员的注意力机制,使本地化的动作从动作类标签和演员的建议,是端到端的训练。在三个人类和非人类动作数据集上的实验表明,演员监督对于弱监督动作定位是最先进的,甚至与一些完全监督的替代方案相比具有竞争力。
2018-04-05 cs.CV
UniSTFormer: Unified Spatio-Temporal Lightweight Transformer for Efficient Skeleton-Based Action Recognition
提出统一时空轻量级Transformer框架UniSTFormer,通过单一注意力模块集成时空建模并引入多尺度池化融合模块,在保持识别性能的同时大幅降低参数量和计算成本。
2025-08-12 cs.CV
Something-Else: Compositional Action Recognition with Spatial-Temporal Interaction Networks
University of Oxford(牛津大学);TwentyBN;UC Berkeley(加州大学伯克利分校);Tel Aviv University(特拉维夫大学)
人类的动作是自然合成的:人类可以很容易地识别和执行与训练演示中使用的对象不同的动作。在本文中,我们通过观察主体与客体之间的相互作用来研究动作的组合性。我们提出了一个新的模型,可以明确的原因组成对象和代理执行一个动作之间的几何关系。为了训练我们的模型,我们在Something-Something数据集上收集密集的对象框注释。我们提出了一种新的成分动作识别任务,其中动词和名词的训练组合不与测试集重叠。我们的模型的新颖的方面是适用于活动与突出的对象交互动态和对象,可以跟踪使用国家的最先进的方法;对于活动没有明确定义的空间对象代理的相互作用,我们依赖于基线场景级的时空表示。我们表明,我们的方法的有效性,不仅在建议的组成动作识别任务,但也在一个Few-Shot组成设置,需要模型概括在对象外观和动作类别。
2020-09-12 cs.CV
AGQA 2.0: An Updated Benchmark for Compositional Spatio-Temporal Reasoning
University of Washington(华盛顿大学);Stanford University(斯坦福大学)
之前的基准测试分析了模型对视频问题的回答,以衡量视觉组合推理。行动基因组问答(AGQA)就是这样一个基准。AGQA提供了一个训练/测试分裂与平衡的答案分布,以减少语言偏见的影响。然而,在《澳大利亚质量评估》的几个类别中仍然存在一些偏见。我们引入AGQA 2.0,这个基准测试的一个版本,有几个改进,最重要的是一个更严格的平衡过程。然后,我们报告所有实验的更新基准的结果。
2022-04-12 cs.CV
Learning Compositional Spatio-Temporal Video Grounding with Synthetic Curriculum
Monash University(莫纳什大学);Southeast University(东南大学);Shanghai University of Electric Power(上海电力大学)
本文针对现有时空视频定位模型忽略组合式查询的问题,提出CompSTVG任务,构建合成数据引擎与STVG-CompBench基准,引入CurrSTVG框架提升模型在组合式查询上的性能。
2026-09-01 cs.CV
RAVU: Retrieval Augmented Video Understanding with Compositional Reasoning over Graph
Fujitsu Research of India Private Limited(日本富士通印度研究私有限公司)
RAVU提出通过时空图构建视频长期记忆,并将查询分解为组合推理步骤进行检索增强,从而在仅使用5-10帧的情况下显著提升长视频多跳推理与对象跟踪的问答性能。
2025-05-06 cs.AI cs.CV
CATER: A diagnostic dataset for Compositional Actions and TEmporal Reasoning
Carnegie Mellon University(卡内基梅隆大学);Argo AI
计算机视觉在性能上经历了一场戏剧性的革命,这在很大程度上是由在大规模监督数据集上训练的深度特征驱动的。然而,这些改进大多集中在静态图像分析上;视频理解的改进相当有限。即使已经提出了新的数据集和时空模型,简单的逐帧分类方法通常仍然具有竞争力。我们认为,目前的视频数据集受到场景和对象结构的隐含偏见的困扰,这可能会使时间结构的变化相形见绌。在这项工作中,我们建立了一个视频数据集,具有完全可观察和可控的对象和场景偏差,并且真正需要时空理解才能解决。我们的数据集,名为CATER,综合使用标准的3D对象库,并测试识别需要长期推理的对象运动组合的能力。除了是一个具有挑战性的数据集,CATER还提供了大量的诊断工具,通过完全可观察和可控制来分析现代时空视频架构。使用CATER,我们可以深入了解一些最新的最先进的深度视频架构。
2020-04-05 cs.CV
Towards Unbiased and Robust Spatio-Temporal Scene Graph Generation and Anticipation
UT Dallas(德克萨斯大学达拉斯分校);IIT Delhi(印度理工学院德里分校)
针对时空场景图生成与预测中的长尾偏差问题,提出ImparTail训练框架,通过损失掩蔽与课程学习实现无偏且鲁棒的估计,并在Action Genome数据集上验证了其优越性。
2025-03-25 cs.CV
Recognition of Visually Perceived Compositional Human Actions by Multiple Spatio-Temporal Scales Recurrent Neural Networks
Korea Institute of Science and Technology(韩国科学技术院);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出了一种新的神经网络模型,用于识别视觉感知的人类行为。在传统的卷积神经网络模型基础上引入多时间尺度递归动力学,提出了多时空尺度递归神经网络(MSTRNN)模型。MSTRNN的一个基本特征是其结构同时对不同层之间在多个尺度上变化的神经活动施加空间和时间约束。根据向上和向下因果关系原理,假设网络在学习过程中可以利用这些约束来发展有意义的结构,如功能层次结构。为了评估模型的特性,本研究使用了三种类型的人类动作视频数据集,包括不同类型的原始动作和不同层次的组合性。将MSTRNN在使用这些数据集进行测试时的性能与该领域使用的其他代表性深度学习模型的性能进行比较。通过对数据集的学习获得的内部表示的分析阐明了通过提取数据集底层的基本组成性可以开发什么样的功能层次结构。
2017-02-22 cs.AI cs.CV cs.LG
TimeBlind: A Spatio-Temporal Compositionality Benchmark for Video LLMs
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
TimeBlind通过细粒度时空理解基准揭示视频大语言模型对时间动态理解的不足,展示其在实例准确率上的显著劣势,强调对静态视觉捷径的依赖。
2026-09-09 cs.AI cs.CV
FineMoGen: Fine-Grained Spatio-Temporal Motion Generation and Editing
S-Lab, Nanyang Technological University(南洋理工大学S-Lab);SenseTime Research(商汤科技研究院)
针对文本驱动运动生成中细粒度控制不足的问题,提出基于扩散模型与时空混合注意力(SAMI)的FineMoGen框架,实现高质量细粒度运动生成与零样本编辑,并构建了HuMMan-MoGen数据集。
2023-12-22 cs.CV
A Deep Ranking Model for Spatio-Temporal Highlight Detection from a 360 Video
Seoul National University(首尔国立大学)
我们解决的问题,从360度视频的亮点检测,总结它在空间和时间。给定长的360度视频,我们从360度视频的无限视场(FOV)中在空间上选择看起来令人愉快的正常视场(NFOV)片段,并且在时间上将其概括为简洁且信息丰富的突出部分作为子镜头的所选子集。我们提出了一种新的深度排名模型命名为组成视图得分(CVS)模型,它产生一个球形得分地图的组成每个视频段,并确定哪个视图是适合通过滑动窗口内核在推理的亮点。为了评估所提出的框架,我们在Pano2Vid基准数据集和我们从YouTube和Vimeo新收集的360度视频亮点数据集上进行了实验。通过使用定量摘要指标和Amazon Mechanical Turk的用户研究进行评估,我们证明了我们的方法优于几种最先进的亮点检测方法。我们还表明,我们的模型在推理方面比AutoCam快16倍,AutoCam是360度视频的第一个摘要算法之一
2018-01-31 cs.CV
Semantic Compositional Learning for Low-shot Scene Graph Generation
Monash University(莫纳什大学);University of Electronic Science and Technology of China(电子科技大学)
场景图为许多下游任务提供了有价值的信息。许多场景图生成(SGG)模型仅使用有限的注释关系三元组进行训练,导致其在低拍摄(少数和零)场景中表现不佳,特别是在罕见的谓词上。为了解决这个问题,我们提出了一种新的语义组合学习策略,使其能够构建额外的,现实的关系三元组与来自不同图像的对象。具体来说,我们的策略分解的关系三元组识别和删除不必要的组件,并组成一个新的关系三元组融合语义或视觉上相似的对象从视觉组件字典,同时确保现实的新组成的三元组。值得注意的是,我们的策略是通用的,可以与现有的SGG模型相结合,以显着提高其性能。我们对基准数据集Visual Genome进行了全面评估。对于最近的三个SGG模型,添加我们的策略将其性能提高了近50%,并且它们都大大超过了当前的最先进水平。
2021-08-19 cs.CV
Inferring Compositional 4D Scenes without Ever Seeing One
INSAIT, Sofia University “St. Kliment Ohridski”(INSAIT,索非亚大学“圣克莱门特·奥赫里德斯基”)
COM4D通过设计空间和时间注意力训练,仅用静态多物体或动态单物体监督,一致预测4D/3D对象的结构和时空配置,无需4D组合训练数据,实现从单目视频重建完整持久的4D场景。
2026-03-25 cs.CV
VOST-SGG: VLM-Aided One-Stage Spatio-Temporal Scene Graph Generation
College of Computing and Data Science, Nanyang Technological University, Singapore(南洋理工大学计算与数据科学学院);Institute of High-Performance Computing, Agency for Science, Technology and Research, Singapore(科学、技术与研究局高性能计算研究所);Centre for Frontier AI Research, Agency for Science, Technology and Research, Singapore(科学、技术与研究局前沿人工智能研究中心)
VOST-SGG通过整合视觉语言模型的常识推理能力,提出了一种基于多模态特征和双源查询初始化的一阶段时空场景图生成方法,实现了对视频中对象及其关系的高效建模。
2025-12-08 cs.CV
Towards Spatio-Temporal World Scene Graph Generation from Monocular Videos
The University of Texas at Dallas(德克萨斯大学达拉斯分校);Indian Institute of Technology Delhi(印度理工学院德里)
本文提出World Scene Graph Generation任务,通过ActionGenome4D数据集,引入三种方法解决未观测物体推理问题,推动视频场景理解向世界中心、时间持久和可解释的方向发展。
2026-03-13 cs.CV
Rekall: Specifying Video Events using Compositions of Spatiotemporal Labels
Stanford University(斯坦福大学)
许多现实世界的视频分析应用程序需要能够识别视频中的特定领域事件,例如电视新闻广播中的采访和广告,或电影中的动作序列。不幸的是,用于检测视频中所有感兴趣事件的预训练模型可能不存在,并且从头开始训练新模型可能成本高昂且劳动密集型。在本文中,我们探索了以更传统的方式在视频中指定新事件的实用性:通过编写组成现有预训练模型输出的查询。为了编写这些查询,我们开发了Rekall,这是一个库,它公开了一个数据模型和编程模型,用于组合视频事件规范。Rekall表示来自不同来源的视频注释(对象检测器,转录等)。作为与视频中的连续时空体积相关联的时空标签,并提供用于将标签组成对新视频事件建模的查询的运算符。我们演示了如何使用Rekall分析来自有线电视新闻广播,电影,静态摄像机车辆视频流和商业自动驾驶车辆日志的视频。在这些努力中,领域专家能够快速(在几个小时到一天内)编写查询,从而能够准确检测新事件(与学习方法相当,并且在某些情况下比学习方法更准确),并快速检索视频剪辑,用于视频内容策展和训练数据策展等人工参与任务。最后,在一项用户研究中,Rekall的新手用户能够在一个小时的查询开发时间内编写查询以检索视频中的新事件。
2019-10-07 cs.CL cs.CV cs.DB
Know-Show: Benchmarking Video-Language Models on Spatio-Temporal Grounded Reasoning
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);Institute of High-Performance Computing, Agency for Science, Technology and Research(新加坡科技研究局高性能计算研究所);Centre for Frontier AI Research, Agency for Science, Technology and Research(新加坡科技研究局前沿人工智能研究中心)
Know-Show基准测试评估视频语言模型在时空 grounded 推理能力,通过五个互补场景揭示现有模型与人类推理的差距,并提出GRAM方法提升模型的细粒度 grounded 推理能力。
2026-03-31 cs.CV
Plan-and-Verify Video Reward Reasoning with Spatio-Temporal Scene Graph Grounding
Korea University(高丽大学)
提出SG-PVR视频奖励模型,通过计划-验证推理和时空场景图,系统验证提示中的每个条件,实现细粒度语义对齐,提升文本到视频生成的组合对齐。
2026-09-29 cs.CV
B4DL: A Benchmark for 4D LiDAR LLM in Spatio-Temporal Understanding
Korea Advanced Institute of Science and Technology(韩国科学技术院)
本文提出B4DL基准,用于训练和评估多模态大语言模型对4D激光雷达数据的理解,结合可扩展的数据生成管道和新模型,实现动态户外环境的空间时间推理。
2026-05-12 cs.CV
Target Adaptive Context Aggregation for Video Scene Graph Generation
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Tencent AI Lab(腾讯AI实验室)
本文讨论了一个具有挑战性的任务,视频场景图生成(VidSGG),它可以作为一个结构化的视频表示高层次的理解任务。我们提出了一个新的{ \em检测到跟踪}范式,通过解耦的上下文建模的关系预测从复杂的低层次实体跟踪。具体来说,我们设计了一个有效的方法帧级VidSGG,称为{ \em目标自适应上下文聚合网络}(TRACE),重点是捕捉时空上下文信息的关系识别。我们的TRACE框架简化了VidSGG管道与模块化设计,并提出了两个独特的块层次关系树(HRTree)的建设和目标自适应上下文聚合。更具体地说,我们的HRTree首先提供了一个自适应结构,有效地组织可能的关系候选人,并指导上下文聚合模块,以有效地捕捉时空结构信息。然后,我们获得一个上下文的特征表示为每个关系候选人,并建立一个分类头来识别其关系类别。最后,我们提供了一个简单的时间关联策略来跟踪TRACE检测结果,以产生视频级的VidSGG。我们在两个VidSGG基准测试:ImageNet-VidVRD和Action Genome上进行了实验,结果表明我们的TRACE达到了最先进的性能。代码和型号可在\url{https://github.com/MCG-NJU/TRACE}上获得。
2021-08-18 cs.CV
Transformer-based Image Generation from Scene Graphs
PeRCeiVe Lab(PeRCeiVe实验室);University of Catania(卡塔尼亚大学)
图形结构的场景描述可以有效地用于生成模型,以控制生成的图像的组成。以前的方法是基于图卷积网络和对抗方法的组合,分别用于布局预测和图像生成。在这项工作中,我们展示了如何采用多头注意力来编码图形信息,以及在潜在空间中使用基于变换的模型来生成图像,可以提高采样数据的质量,而不需要采用具有训练稳定性方面的后续优势的对抗模型。具体地,所提出的方法完全基于Transformer架构,用于将场景图编码成中间对象布局并用于将这些布局解码成图像,通过由矢量量化的变分自编码器学习的较低维度空间。我们的方法相对于最先进的方法显示出更高的图像质量,并且同一场景图的多代之间具有更高程度的多样性。我们在三个公共数据集上评估了我们的方法:Visual Genome,COCO和CLEVR。我们在COCO和Visual Genome上分别获得了13.7和12.8的初始得分以及52.3和60.3的FID。我们对我们的贡献进行消融研究,以评估每个组件的影响。代码可在https://github.com/perceivelab/trf-sg2im上获得
2023-03-08 cs.CV
STARCaster: Spatio-Temporal AutoRegressive Video Diffusion for Identity- and View-Aware Talking Portraits
Imperial College London, UK(伦敦帝国理工学院);FAU Erlangen–Nürnberg, Germany(埃朗根-纽伦堡大学)
研究提出STARCaster模型,通过重新思考参考和几何范式,采用组合方法及解耦学习,解决语音驱动肖像动画和动态视点控制问题,能有效泛化,超越先前方法。
2026-07-21 cs.CV
VGIF-Score: Interpretable and Diagnostic Evaluation of Spatio-Temporal Instruction Following in Video Generation
Beijing University of Posts and Telecommunications(北京邮电大学);China Telecommunications Group Co., Ltd.(中国电信集团有限公司)
研究视频生成模型遵循长指令能力评估不足问题,提出VGIF-Score框架,含客观完成和主观满意度分支,能生成统一分数,在VGIF-Bench基准实验中对视频生成指令跟随提供可靠、可解释及有诊断作用的评估。
2026-07-16 cs.CV
Social Fabric: Tubelet Compositions for Video Relation Detection
University of Amsterdam(阿姆斯特丹大学)
本文致力于分类和检测对象tubelets之间的关系出现在视频作为一个<subject-predicate-object>三元组。现有的作品处理对象的建议或tubelets作为单一的实体和模型的关系后验,我们建议分类和检测谓词对对象tubelets先验。我们还提出了社会织物:一个编码,表示一对对象tubelets作为一个组成的互动原语。这些基元在所有关系上学习,从而产生能够在视频中的所有时间跨度上对来自共现对象tubelet池的关系进行定位和分类的紧凑表示。编码使我们的两阶段网络。在第一阶段,我们训练Social Fabric提出可能相互作用的建议。我们在第二阶段使用Social Fabric来同时微调和预测tubelets的谓词标签。实验证明了早期的视频关系建模的好处,我们的编码和两个阶段的架构,导致一个新的国家的最先进的两个基准。我们还展示了如何编码,使查询的连续的例子,以搜索时空视频关系。代码:https://github.com/shanshuo/Social-Fabric.
2021-08-18 cs.CV
Dynamic LIBRAS Gesture Recognition via CNN over Spatiotemporal Matrix Representation
本文提出一种基于MediaPipe手部关键点检测和CNN的动态手势识别方法,用于LIBRAS手势识别,实现95%的低光条件下准确率。
2026-03-26 cs.AI cs.CV
Is an Object-Centric Video Representation Beneficial for Transfer?
University of Oxford(牛津大学);DeepMind(深度思维)
这项工作的目标是学习以对象为中心的视频表示,目的是提高新任务的可转移性,即,任务不同于动作分类的预训练任务。为此,我们引入了一个新的以对象为中心的视频识别模型的基础上的Transformer架构。该模型为视频学习一组以对象为中心的摘要向量,并使用这些向量来融合视频剪辑的视觉和时空轨迹“模态”。我们还引入了一种新的轨迹对比度损失,以进一步增强这些摘要向量中的对象性。通过对四个数据集- SomethingSomething-V2,SomethingElse,Action Genome和EpicKitchen-的实验,我们表明以对象为中心的模型优于先前的视频表示(对象不可知和对象感知),当:(1)对看不见的对象和看不见的环境的动作进行分类;(2)新类的低拍摄学习;(3)对其他下游任务的线性探测;以及(4)用于标准动作分类。
2022-10-08 cs.CV
Unified theory for joint covariance properties under geometric image transformations for spatio-temporal receptive fields according to the generalized Gaussian derivative model for visual receptive fields
Computational Brain Science Lab(计算脑科学实验室);Division of Computational Science and Technology(计算科学与技术系);KTH Royal Institute of Technology(皇家理工学院)
本文针对视觉感受野模型,证明了一组在空间缩放、仿射、伽利略和时间缩放变换组合下的时空感受野联合协方差性质,并将尺度归一化导数扩展为仿射归一化导数,为不同视角和速度下的时空感受野响应匹配提供了理论基础。
2025-06-17 cs.CV q-bio.NC
Generative Compositional Augmentations for Scene Graph Prediction
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(人工智能向量研究所);Element AI(元素人工智能公司);University of Cambridge(剑桥大学);Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);Concordia University(康考迪亚大学)
从场景图形式的图像中推断对象及其关系在视觉和语言交叉的许多应用中是有用的。我们考虑一个具有挑战性的问题,在这项任务中出现的合成泛化,由于长尾数据分布。当前的场景图生成模型是在与最频繁的组成相对应的分布的一小部分上训练的,例如<cup,on,table>。然而,测试图像可能包含对象和关系的零镜头和Few-Shot组合,例如<cup,on,surfboard>。尽管每个对象类别和谓词(例如“on”)在训练数据中是频繁的,但是模型通常不能正确地理解这种看不见的或罕见的成分。为了提高泛化能力,自然会尝试增加训练分布的多样性。然而,在图域中,这是不平凡的。为此,我们提出了一种方法来合成罕见的但似是而非的场景图,通过扰动真实的。然后,我们提出并实证研究了一个基于条件生成对抗网络(GANs)的模型,该模型允许我们生成扰动场景图的视觉特征,并以联合方式从中学习。在Visual Genome数据集上进行评估时,我们的方法在零拍摄和Few-Shot指标方面产生了边际但一致的改进。我们分析了我们的方法的局限性,为未来的研究指明了方向。
2021-10-01 cs.CV cs.LG stat.ML
Graph Density-Aware Losses for Novel Compositions in Scene Graph Generation
University of Guelph(圭尔夫大学);Vector Institute for Artificial Intelligence(人工智能向量研究所);Element AI(Element AI 公司);University of Cambridge(剑桥大学);Mila, Université de Montréal(蒙特利尔大学 Mila 研究院);CIFAR(加拿大高等研究院)
场景图生成(SGG)的目的是预测输入图像的图形结构的描述,在对象和它们之间的关系的形式。这项任务对于视觉和语言界面的进步越来越有用。在这里,重要的是-但具有挑战性的-表现在新的(zero-shot)或罕见的(Few-Shot)对象和关系的组成。在本文中,我们确定了两个关键问题,限制这种推广。首先,我们表明,在这项任务中使用的标准损失是无意中场景图密度的函数。这导致在训练过程中忽略大型稀疏图中的单个边缘,即使这些包含对泛化很重要的各种Few-Shot示例。其次,关系的频率可以在该任务中产生强烈的偏差,使得预测最频繁关系的盲模型实现良好的性能。因此,一些最先进的模型利用这种偏差来改善结果。我们发现,这些模型在推广到稀有成分的能力方面受到的影响最大,在Visual Genome数据集及其更新的改进版本GQA上评估了两种不同的模型。为了解决这些问题,我们引入了一个密度归一化的边缘损失,它提供了超过两倍的改进,在某些泛化指标。相比其他作品在这个方向上,我们的增强只需要几行代码,没有增加计算成本。我们还强调了使用现有指标准确评估模型的困难,特别是在零/少数镜头上,并引入了一种新的加权指标。
2020-08-18 cs.CV cs.LG
SceneLLM: Implicit Language Reasoning in LLM for Dynamic Scene Graph Generation
Singapore University of Technology and Design(新加坡科技设计大学);Lancaster University(兰卡斯特大学)
本文提出 SceneLLM 框架,通过视频到语言映射、空间信息聚合、最优传输和 LoRA 微调,将 LLM 用作动态场景图生成的隐式场景分析器,并在 Action Genome 基准上取得领先结果。
2025-05-07 cs.AI cs.CV
Imagine This! Scripts to Compositions to Videos
University of Washington(华盛顿大学);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
想象一个用自然语言描述的场景,具有实体的现实布局和外观,是对空间、视觉和语义世界知识的最终考验。为了实现这一目标,我们提出了组成,检索和融合网络(CRAFT),一个模型能够学习这些知识,从视频字幕数据和应用它,同时从新的字幕生成视频。CRAFT显式地预测所提到的实体(人物和对象)的时间布局,从视频数据库中检索时空实体片段并将它们融合以生成场景视频。我们的贡献包括CRAFT组件的顺序训练,同时联合建模布局和外观,以及鼓励学习组合表示检索的损失。我们评估CRAFT对标题的语义保真度,构图一致性和视觉质量。CRAFT优于直接像素生成方法,并且可以很好地推广到看不见的字幕和没有文本注释的看不见的视频数据库。我们展示了工艺上火石,一个新的丰富的注释视频字幕数据集超过25000个视频。有关CRAFT生成的视频的一瞥,请参见https://youtu.be/688Vv86n0z8。
2018-04-10 cs.CL cs.CV cs.IR
Towards Spatio-Temporal Extrapolation of Phase-Field Simulations with Convolution-Only Neural Networks
Sandia National Laboratories(桑迪亚国家实验室);Lawrence Berkeley National Laboratory(伯克利劳伦斯国家实验室);University of California, Berkeley(加州大学伯克利分校);Los Alamos National Laboratory(洛斯阿拉莫斯国家实验室)
本文提出基于卷积神经网络的相场模拟时空外推方法,通过条件参数化U-Net和扩散模型实现高精度模拟与加速计算。
2026-02-08 cs.AI cs.CE cs.CV