Revisiting spatio-temporal layouts for compositional action recognition
KU Leuven(鲁汶大学)
识别人类行为从根本上说是一个时空推理问题,并且至少在某种程度上应该对所涉及的人类和对象的外观保持不变。出于这个假设,在这项工作中,我们采取以对象为中心的方法来识别动作。之前有多项工作研究了这种设置,但仍不清楚(i)精心制作的基于时空布局的方法可以识别人类行为的程度,以及(ii)如何以及何时融合来自布局和外观模型的信息。本文的主要焦点是组合/Few-Shot动作识别,其中我们提倡在时空布局上使用多头注意力(已被证明对空间推理有效),即,对象边界框的配置。我们评估不同的方案,以注入视频外观信息的系统,并基准我们的方法对背景杂乱的动作识别。在Something-Else和Action Genome数据集上,我们演示了(i)如何扩展多头注意力用于基于时空布局的动作识别,(ii)如何通过与基于布局的模型融合来提高基于外观的模型的性能,(iii)即使在非合成背景杂乱的视频数据集上,基于布局和基于外观的模型之间的融合也提高了性能。
2021-11-02 cs.CV
Pose from Action: Unsupervised Learning of Pose Features based on Motion
Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
人类的动作是由一系列姿势组成的。这使得人类的视频成为人类姿势的丰富而密集的来源。我们提出了一种无监督的方法来学习姿势特征的视频,利用信号,这是补充的外观,并可用作监督:运动。关键的想法是,人类在执行动作时以可预测的方式完成姿势。因此,给定两个姿势,应该可以对引起它们之间变化的运动进行建模。我们将每个姿势表示为CNN(外观ConvNet)中的特征,并使用单独的CNN(运动ConvNet)从光流图生成运动编码。该任务的数据是自动生成的,允许我们在没有人工监督的情况下进行训练。我们通过对FLIC数据集上的姿势估计、PASCAL上的静态图像动作识别以及UCF 101和HMDB 51上的视频动作识别的训练模型进行微调,展示了学习表示的强度。
2016-09-18 cs.CV
View-invariant action recognition
CRCV University of Central Florida(中佛罗里达大学计算机视觉研究中心)
人体动作识别是计算机视觉中的一个重要问题。它在监控、人机交互、增强现实、视频索引和检索等方面有着广泛的应用。由人类动作产生的时空外观的变化模式是识别所执行动作的关键。我们已经看到很多研究探索这种时空外观的动态,以学习人类行为的视觉表示。然而,大多数动作识别的研究都集中在一些共同的观点,这些方法并没有表现出良好的时,有一个改变的观点。人类动作在三维环境中执行,并且当从给定视点捕获为视频时被投影到二维空间。因此,一个动作从不同的视角看会有不同的时空表现。视点不变动作识别的研究就是为了解决这个问题,主要从看不见的视点来识别人的动作。
2020-09-01 cs.CV
Robust 3D Action Recognition through Sampling Local Appearances and Global Distributions
Peking University(北京大学);Nanyang Technological University(南洋理工大学);University of Central Florida(中佛罗里达大学)
三维动作识别在人机交互、智能监控等领域有着广泛的应用。然而,识别类似的动作仍然具有挑战性,因为以前的文献未能有效地从嘈杂的深度数据中捕获运动和形状线索。在本文中,我们提出了一种新的两层视觉词袋(BoVW)模型,它抑制了噪声干扰,并联合编码的运动和形状线索。首先,通过针对深度数据设计的背景建模方法来去除背景杂波。然后,运动和形状线索联合使用,以产生强大的和独特的时空兴趣点(STIP):基于运动的STIP和基于形状的STIP。在模型的第一层,提出了一个多尺度3D局部导向核(M3DLSK)描述子来描述基于运动的STIP周围长方体的局部外观。在第二层中,提出了一个时空矢量(STV)描述符来描述基于形状的STIP的时空分布。使用视觉词袋(BoVW)模型,运动和形状线索相结合,形成一个融合的动作表示。与常用的STIP检测和描述方法相比,我们的模型表现良好。实验结果表明,该模型能有效区分相似动作,对背景杂波、局部遮挡和胡椒噪声具有较好的鲁棒性。
2017-12-07 cs.CV
PAN: Towards Fast Action Recognition via Learning Persistence of Appearance
Peking University(北京大学)
有效地建模视频中的动态运动信息是动作识别任务的关键。大多数最先进的方法严重依赖于密集的光流作为运动表示。虽然将光流与RGB帧组合作为输入可以实现优异的识别性能,但是光流提取非常耗时。这无疑将不利于实时动作识别。在本文中,我们揭示了快速动作识别解除依赖光流。我们的动机在于观察到运动边界的小位移是区分动作的最关键因素,因此我们设计了一种新的运动提示,称为外观持久性(PA)。与光流相比,我们的PA更侧重于提取边界处的运动信息。此外,它是更有效的,只积累像素的差异,在特征空间,而不是使用穷举补丁式搜索的所有可能的运动矢量。我们的PA在运动建模速度方面比传统的光流快1000倍以上(8196 fps vs. 8 fps)。为了进一步聚合PA中的短期动态到长期动态,我们还设计了一个全局时间融合策略,称为多时间尺度聚合池(VAP),可以自适应地建模跨各种时间尺度的长期时间关系。最后,我们将拟议的PA和VAP形成一个统一的框架,称为持久外观网络(PAN)具有强大的时间建模能力。在六个具有挑战性的动作识别基准上进行的广泛实验验证了我们的PAN在低FLOP下优于最近的最先进方法。代码和模型可在https://github.com/zhang-can/PAN-PyTorch上获得。
2020-08-08 cs.CV
Unsupervised Few-Shot Action Recognition via Action-Appearance Aligned Meta-Adaptation
Microsoft(微软);Oregon State University(俄勒冈州立大学)
我们提出MetaUVFS作为第一个无监督Meta学习算法的视频Few-Shot动作识别。MetaUVFS利用超过55万个未标记的视频,通过对比学习来训练双流2D和3D CNN架构,以分别捕获特定于外观的空间和特定于动作的时空视频特征。MetaUVFS包括一个新的视频-外观对齐元自适应(A3 M)模块,该模块通过在无监督的硬挖掘剧集上的显式Few-Shot情节元学习来学习关注与外观特征相关的面向动作的视频特征。我们的动作外观对齐和显式的Few-Shot学习器使无监督训练能够模仿下游的Few-Shot任务,使MetaUVFS在Few-Shot基准测试中显著优于所有无监督方法。此外,与以前的有监督的Few-Shot动作识别方法不同,MetaUVFS既不需要基类标签,也不需要有监督的预训练骨干。因此,我们只需要训练MetaUVFS一次,就可以在流行的HMDB 51、UCF 101和Kinetics 100 Few-Shot数据集上与最先进的监督方法竞争,有时甚至优于它们。
2021-10-11 cs.AI cs.CV cs.LG
A Hierarchical Pose-Based Approach to Complex Action Understanding Using Dictionaries of Actionlets and Motion Poselets
P. Universidad Catolica de Chile(智利天主教大学);Stanford University(斯坦福大学);Universidad del Norte(北方大学)
在本文中,我们介绍了一个新的层次模型,人体动作识别使用身体关节位置。我们的模型可以对视频中的复杂动作进行分类,并对组成正在执行的复杂动作的原子动作执行时空注释。也就是说,对于每个原子动作,模型通过估计其开始和结束时间来生成时间动作注释,以及通过推断执行动作所涉及的人体部位来生成空间注释。我们的模型包括三个关键的新特性:(i)它可以在没有空间监督的情况下进行训练,因为它可以仅从时间动作注释中自动发现活动的身体部位;(ii)它联合学习对身体部位和原子动作的视觉可变性进行编码的运动possible和actionlet的灵活表示;(iii)丢弃空闲或无信息的身体部位的机制,这增加了其对常见姿态估计误差的鲁棒性。我们使用多个动作识别基准评估我们的方法的性能。我们的模型始终优于基线和最先进的动作识别方法。
2016-06-15 cs.CV
Temporal Hockey Action Recognition via Pose and Optical Flows
Tsinghua University(清华大学);University of Waterloo(滑铁卢大学)
由于设备庞大和图像质量不足,使用计算机视觉识别冰球中的动作带来了挑战。一种新的双流框架已被设计为使用三个主要组件来提高曲棍球动作识别的准确性。首先,姿态估计通过部分亲和场模型从球员中提取有意义的线索。其次,光流(使用LiteFlowNet)用于提取时间特征。第三,姿势和光流流被融合并传递到完全连接的层以估计曲棍球运动员的动作。创建了一个名为HARPET(曲棍球动作识别姿势估计,时间)的新型公开数据集,由曲棍球运动员的注释动作和姿势序列组成,包括他们的曲棍球棒作为人体姿势的扩展。三个贡献得到认可。(1)新的双流架构实现了85%的动作识别准确率,包括光流提高精度约10%。(2)手持物体的独特定位(例如,曲棍球棒)作为姿势的一部分增加了大约13%的准确性。(3)对于姿态估计,一个更大和更一般的数据集,MSCOCO,成功地用于迁移学习到一个更小和更具体的数据集,HARPET,实现了87%的PCKh。
2018-12-22 cs.CV
Skeleton based Zero Shot Action Recognition in Joint Pose-Language Semantic Space
Carnegie Mellon University(卡内基梅隆大学)
如何表现一个动作?如何描述一个我们从未见过的行为?这些问题通过零样本学习范式来解决,其中模型仅在类的子集上进行训练,并根据其正确分类以前从未见过的类中的示例的能力进行评估。在这项工作中,我们提出了一个基于身体姿势的zero shot动作识别网络,并在NTU RGB-D数据集上展示了其性能。我们的模型学习共同封装视觉相似性的基础上的姿势功能的动作表演者,以及相似性的自然语言描述的看不见的动作类名称。我们演示了这个姿势语言语义空间如何编码知识,使我们的模型能够正确预测训练过程中看不到的动作。
2019-11-26 cs.CV
Learning a Pose Lexicon for Semantic Action Recognition
University of Wollongong(伍伦贡大学)
本文提出了一种新的方法来学习的姿势词典,包括语义的文本指令定义的姿势和视觉特征定义的相关视觉姿势。该方法同时采用两个输入流,语义姿势和视觉姿势候选人,并统计学习它们之间的映射来构建词典。有了学习的词典,动作识别可以被视为在给定视觉姿势候选者流的情况下找到语义姿势序列的最大翻译概率的问题。在MSRC-12手势和WorkoutSu-10运动数据集上进行的预训练和zero-shot动作识别实验验证了该方法的有效性。
2016-04-01 cs.CV
Pose-Based Two-Stream Relational Networks for Action Recognition in Videos
Center for Research on Intelligent Perception and Computing(智能感知与计算研究中心);National Laboratory of Pattern Recognition(模式识别国家重点实验室);Center for Excellence in Brain Science and Intelligence Technology(脑科学与智能技术卓越创新中心);Institute of Automation Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
近年来,基于姿态的动作识别由于其较传统的基于外观的方法具有更好的性能而受到越来越多的关注。但是,还存在两个问题需要进一步解决。首先,现有的基于姿态的方法通常识别具有捕获的3D人体姿态的人体动作,这在真实场景中是非常难以获得的。其次,在识别对象扮演重要角色的人-对象交互动作时,很少有基于姿势的方法对动作相关对象进行建模。为了解决上述问题,我们提出了一个基于姿态的双流关系网络(PSRN)的动作识别。在PSRN中,一个流对直接从原始视频中提取的目标2D人体姿势序列的时间动态进行建模,另一个流对来自随机采样视频帧的动作相关对象进行建模。最重要的是,我们提出了一个姿势-对象关系网络来建模人体姿势和动作相关对象之间的关系,而不是像以前那样在类得分层中融合两个流。我们在两个具有挑战性的基准上评估拟议的PSRN,即,Sub-JHMDB和PennAction。实验结果表明,我们的PSRN获得了最先进的性能Sub-JHMDB(80.2%)和PennAction(98.1%)。我们的工作打开了一扇新的大门,动作识别相结合的2D人体姿势提取的原始视频和图像外观。
2018-05-22 cs.CV
Video Pose Distillation for Few-Shot, Fine-Grained Sports Action Recognition
Stanford University(斯坦福大学);Adobe Research(Adobe研究院)
人体姿态是精细运动动作理解的一个有用特征。然而,姿态估计往往是不可靠的,当运行在体育视频由于域移位和因素,如运动模糊和遮挡。当下游任务(例如动作识别)依赖于姿势时,这导致准确性差。端到端学习绕过了pose,但需要更多的标签来泛化。我们介绍了视频姿态蒸馏(VPD),这是一种弱监督技术,用于学习新视频领域的特征,例如挑战姿态估计的个人运动。在VPD下,学生网络学习从体育视频中的RGB帧中提取鲁棒的姿势特征,这样,只要姿势被认为是可靠的,这些特征就会与预先训练的教师姿势检测器的输出相匹配。我们的策略保留了姿势和端到端世界的最佳部分,利用原始视频帧中丰富的视觉模式,同时学习与运动员在目标视频域中的姿势和运动一致的特征,以避免过度拟合与运动员运动无关的模式。VPD功能提高了四个真实世界体育视频数据集中的Few-Shot、细粒度动作识别、检索和检测任务的性能,而不需要额外的地面实况姿势注释。
2021-09-03 cs.CV
Fusing Visual Appearance and Geometry for Multi-modality 6DoF Object Tracking
German Aerospace Center(德国航空航天中心);Technical University of Munich(慕尼黑工业大学);Vienna University of Technology(维也纳技术大学)
在先进机器人操作的许多应用中,连续需要六个自由度(6DoF)对象位姿估计。在这项工作中,我们开发了一个多模态跟踪器,融合信息的视觉外观和几何形状来估计对象的姿态。该算法扩展了我们以前的方法ICG,它使用几何,另外考虑表面外观。通常,对象表面包含来自文本、图形和图案的局部特征,以及来自不同材料和颜色的全局差异。为了整合这种视觉信息,开发了两种模式。对于局部特征,关键点特征用于最小化来自关键帧的点与当前图像之间的距离。对于全局差异,一个新的区域的方法被开发出来,考虑对象表面上的多个区域。此外,它还允许外部几何形状的建模。在YCB-Video和OPT数据集上的实验表明,我们的方法ICG+在这两个数据集上表现最好,优于传统方法和基于深度学习的方法。同时,该算法效率高,运行频率超过300 Hz。我们的跟踪器的源代码是公开的。
2023-02-22 cs.CV
Unsupervised Feature Learning of Human Actions as Trajectories in Pose Embedding Manifold
Indian Institute of Science(印度科学学院)
无监督的人类动作建模框架可以提供有用的姿势序列表示,其可以用于各种姿势分析应用中。在这项工作中,我们提出了一种新的时间姿态序列建模框架,它可以嵌入到一个连续的潜在空间,在一个有效的方式三维人体骨骼关节的动态。与以前的作品探索的端到端框架相比,我们将个体姿势表示学习的任务从学习动作的任务中分离出来,作为姿势嵌入空间中的轨迹。为了实现具有改进重建的连续姿态嵌入流形,我们提出了一种无监督的流形学习过程,称为编码器GAN(或EnGAN)。此外,我们使用EnGAN生成的姿势嵌入来使用双向RNN自动编码器架构PoseRNN来建模人类动作。我们引入一阶梯度损失,明确执行预测的运动序列的时间规律性。一个层次的特征融合技术也研究了同时建模的局部骨骼关节以及全球的姿态变化。我们展示了最先进的可移植性的学习表示对其他监督和无监督学习的运动嵌入的细粒度动作识别SBU交互数据集的任务。此外,我们通过可视化骨架姿态重建和插值的姿态嵌入空间,以及重建的姿态轨迹的低维主成分投影,展示了所提出的框架的定性优势。
2018-12-06 cs.CV
P-CNN: Pose-based CNN Features for Action Recognition
École Normale Supérieure(巴黎高等师范学院);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
这项工作的目标是视频中的人类动作识别。虽然最近的方法通常表示本地视频特征的统计动作,在这里,我们认为来自人类姿势的表示的重要性。为此,我们提出了一种新的基于姿态的卷积神经网络描述符(P-CNN)的动作识别。描述符沿着人体部位的轨迹聚集运动和外观信息。我们研究了不同的时间聚合方案,并对自动估计和手动注释的人类姿势获得的P-CNN特征进行了实验。我们评估我们的方法对最近的和具有挑战性的JHMDB和MPII烹饪数据集。对于这两个数据集,我们的方法显示出对现有技术的一致改进。
2015-09-23 cs.CV
ARTiS: Appearance-based Action Recognition in Task Space for Real-Time Human-Robot Collaboration
ARC Centre of Excellence for Robotic Vision(澳大利亚研究理事会机器人视觉卓越中心);Queensland University of Technology(昆士兰科技大学)
为了让机器人在协作任务中积极支持人类,机器人能够识别当前动作以预测下一个动作至关重要。常见的方法利用高层次的知识,如对象的启示,语义或对行动的理解的前提和后条件。这些方法通常需要手工编码的先验知识,时间和资源密集型或监督学习技术。我们建议将这个问题重新定义为一个基于外观的位置识别问题。在我们的框架中,我们把人类行为的视觉图像序列看作是一个类似于视觉位置识别问题的地图。观察任务的第二次,我们的方法是能够识别预先观察到的动作在一个一次性的学习方法,从而能够识别当前的观察任务空间。我们提出了两种新的方法来创建和调整行动观察任务地图。我们比较和验证我们的方法与人类组装几种类型的宜家扁平包装的真实数据。
2017-03-07 cs.CV cs.RO
Human Pose-based Estimation, Tracking and Action Recognition with Deep Learning: A Survey
Zhengzhou University(郑州大学);Amazon Prime Video(亚马逊Prime Video)
本文全面综述了基于深度学习的人体姿态估计、跟踪与动作识别技术,探讨了现有方法的优势与局限,并强调了将三者整合至视频统一框架的方法及未来研究方向。
2023-10-19 cs.CV
GPRAR: Graph Convolutional Network based Pose Reconstruction and Action Recognition for Human Trajectory Prediction
University of Colorado Denver(科罗拉多大学丹佛分校)
高精度预测对于自动驾驶等各种应用至关重要。现有的预测模型很容易在现实世界的环境中出现错误,其中观察(例如人类姿势和位置)通常是嘈杂的。为了解决这个问题,我们引入了GPRAR,一个基于图卷积网络的姿态重建和动作识别的人体轨迹预测。GPRAR的核心思想是在噪声场景下生成鲁棒的特征:人体姿势和动作。为此,我们设计了GPRAR使用两个新的子网络:PRAR(姿态重建和动作识别)和FA(特征聚合器)。PRAR的目标是同时重建人体姿态和动作特征的连贯性和结构特性的人体骨骼。它是一个编码器和两个解码器的网络,每个解码器包括多层时空图卷积网络。此外,我们提出了一个功能聚合器(FA)通道聚合学习的功能:人体姿势,动作,位置和相机运动使用基于编码器-解码器的时间卷积神经网络预测未来的位置。在常用数据集上进行的广泛实验:JAAD [13]和TITAN [19]显示GPRAR的准确性优于最先进的模型。具体而言,GPRAR在JAAD和TITAN数据集上的噪声观测下分别将预测精度提高了22%和50
2021-03-25 cs.CV
Chained Multi-stream Networks Exploiting Pose, Motion, and Appearance for Action Classification and Detection
University of Freiburg(弗莱堡大学)
一般的人类动作识别需要理解各种视觉线索。在本文中,我们提出了一个网络架构,计算和集成最重要的视觉线索的动作识别:姿势,运动和原始图像。对于整合,我们引入了一个马尔可夫链模型,依次添加线索。所得到的方法是有效的,适用于动作分类以及空间和时间的动作定位。这两项贡献明显改善了各自基线的业绩。整体方法在HMDB 51、J-HMDB和NTU RGB+D数据集上实现了最先进的动作分类性能。此外,它产生了最先进的时空动作定位结果UCF 101和J-HMDB。
2017-05-26 cs.AI cs.CV cs.HC
On the Benefits of 3D Pose and Tracking for Human Action Recognition
UC Berkeley(加州大学伯克利分校);Meta AI FAIR(Meta人工智能基础研究实验室)
本文提出拉格朗日动作识别模型,通过融合轨迹片段上的3D姿态与上下文外观信息,在AVA v2.2数据集上取得最先进性能,姿态模型和融合模型分别提升+10.0和+2.8 mAP。
2023-08-07 cs.CV
Is Appearance Free Action Recognition Possible?
TU Graz(格拉茨工业大学);York University(约克大学)
直觉可能表明,运动和动态信息是基于视频的动作识别的关键。相比之下,有证据表明,最先进的深度学习视频理解架构偏向于单帧中可用的静态信息。目前,缺乏一种方法和相应的数据集来隔离视频中的动态信息的影响。它们的缺失使得我们很难理解当代建筑如何利用动态信息和静态信息。我们响应一个新的外观免费数据集(AFD)的动作识别。AFD在单个帧中缺乏与动作识别相关的静态信息。动态建模对于解决任务是必要的,因为动作只有通过考虑时间维度才是明显的。我们评估了AFD及其相关RGB视频上的11个当代动作识别架构。我们的研究结果表明,AFD上的所有架构的性能显着下降相比,RGB。我们还对人类进行了一项免费研究,结果表明他们在AFD和RGB上的识别准确率非常相似,并且比AFD上的评估架构要好得多。我们的研究结果激发了一种新的架构,恢复显式恢复光流,在当代设计AFD和RGB的最佳性能。
2022-07-13 cs.CV cs.LG
A Grid-based Representation for Human Action Recognition
Polytechnique Montreal(蒙特利尔综合理工学院)
视频中的人体动作识别是计算机视觉的一个基础研究课题。它主要是基于一系列视觉观察来理解人类的行为。近年来,HAR取得了重大进展,特别是随着深度学习模型的出现。然而,大多数现有的方法动作识别依赖于信息,并不总是相关的这项任务,并限制了他们融合的时间信息的方式。在本文中,我们提出了一种新的人类动作识别方法,有效地编码的最具歧视性的外观信息的行动与明确的关注代表姿态功能,到一个新的紧凑的网格表示。我们的GRAR(基于网格的动作识别表示)方法在几个基准数据集上进行了测试,证明我们的模型可以准确地识别人类动作,尽管存在类内外观变化和遮挡挑战。
2020-10-29 cs.CV
PoseBridge: Bridging the Skeletonization Gap for Zero-Shot Skeleton-Based Action Recognition
School of Computer Science and Engineering(计算机科学与工程学院)
PoseBridge通过整合姿态估计表示与骨架-文本对齐,提升零样本骨架基动作识别性能,在多个数据集上取得显著改进,尤其在野外视频数据集上表现突出。
2026-09-29 cs.CV
Sparse Dictionary-based Attributes for Action Recognition and Summarization
Center for Automation Research(自动化研究中心);UMIACS(马里兰大学高级计算机研究所);University of Maryland(马里兰大学)
提出了一种基于信息最大化的动作属性字典学习方法。我们将类分布和外观信息统一到一个目标函数中,用于学习动作属性的稀疏字典。目标函数最大化在每个字典原子的外观信息和类分布方面已经学习的内容和仍然要学习的内容之间的互信息。我们提出了一个高斯过程(GP)模型的稀疏表示优化字典的目标函数。稀疏编码属性允许GP中具有紧凑支持的内核实现非常有效的字典学习过程。因此,我们可以描述一个动作视频由一组紧凑和歧视性的动作属性。更重要的是,我们可以在稀疏特征空间中识别建模的动作类别,这可以推广到看不见的和未建模的动作类别。实验结果表明,我们的方法在动作识别和摘要的有效性。
2013-08-01 cs.CV
A Unified Deep Framework for Joint 3D Pose Estimation and Action Recognition from a Single RGB Camera
Cerema Research Center(Cerema研究中心);Aparnix;Cortexica Vision Systems Ltd.(Cortexica视觉系统有限公司);Vingroup Big Data Institute (VinBDI)(Vingroup大数据研究所(VinBDI))
我们提出了一个基于深度学习的多任务框架,用于从RGB视频序列中进行联合3D人体姿势估计和动作识别。我们的方法分为两个阶段。首先,我们运行实时2D姿态检测器来确定身体重要关键点的精确像素位置。然后设计并训练双流神经网络以将检测到的2D关键点映射到3D姿态。在第二,我们部署的高效神经架构搜索(ENAS)算法,以找到一个最佳的网络架构,用于通过基于图像的中间表示和执行动作识别的估计3D姿态的时空演变建模。在Human3.6M、MSR 3D和SBU Kinect Interaction数据集上的实验验证了该方法在目标任务上的有效性。此外,我们表明,我们的方法需要一个低的计算预算的培训和推理。
2019-07-16 cs.CV
Attend What You Need: Motion-Appearance Synergistic Networks for Video Question Answering
Seoul National University(首尔国立大学);AI Institute for Seoul National University (AIIS)(首尔国立大学人工智能研究院);Hanyang University(汉阳大学)
视频问答是一项需要人工智能智能体回答基于视频的问题的任务。这项任务需要三个关键挑战:(1)理解各种问题的意图,(2)捕捉输入视频的各种元素(例如,对象,行动,因果关系),和(3)语言和视觉信息之间的跨模态接地。我们提出了运动-外观协同网络(MASN),它嵌入了两个基于运动和外观信息的跨模态特征,并根据问题的意图选择性地利用它们。MASN由运动模块、外观模块和运动外观融合模块组成。运动模块计算面向动作的跨模态关节表示,而外观模块则关注输入视频的外观方面。最后,运动-外观融合模块将运动模块和外观模块的每个输出作为输入,并执行问题引导的融合。因此,MASN在TGIF-QA和MSVD-QA数据集上实现了新的最先进性能。我们还进行定性分析,可视化的推理结果的MASN。该代码可在https://github.com/ahjeongseo/MASN-pytorch上获得。
2021-06-19 cs.AI cs.CV
ActionXPose: A Novel 2D Multi-view Pose-based Algorithm for Real-time Human Action Recognition
我们提出了一种新的基于姿态的二维人体动作识别(HAR)算法--XPose。该方法利用OpenPose检测器从RGB视频中提供的2D人体姿势。XPose旨在处理姿势数据,以提供给长短期记忆神经网络和一维卷积神经网络,从而解决分类问题。XPose是最早利用2D人体姿势进行HAR的算法之一。该算法具有实时性,对摄像机运动、被摄体邻近度变化、视点变化、被摄体外观变化等具有较强的鲁棒性,泛化能力强。事实上,大量的模拟表明,可以使用不同的数据集一次成功地训练XPose。最先进的性能流行的数据集上的姿势相关的HAR问题(i3 DPost,KTH),并与其他方法获得的结果进行比较,包括选定的XPose基线。此外,我们还提出了两个新的数据集,称为MPOSE和ISLD,记录在我们的智能传感实验室,以显示XPose的泛化性能。
2018-10-29 cs.CV eess.IV
2D Pose Estimation based Child Action Recognition
Sri Lanka Institute of Information Technology(斯里兰卡信息技术学院);University of Sheffield(谢菲尔德大学)
我们提出了一个图卷积网络与2D姿态估计的儿童动作识别任务的第一次实现了与一个新的基准数据集,包含无约束的环境为基础的视频的RGB模态为基础的模型的同等结果。
2022-12-18 cs.CV cs.LG
Simple yet efficient real-time pose-based action recognition
Reutlingen University(罗伊特林根大学)
识别人类行为是自主系统的核心挑战,因为它们直接与人类共享同一空间。系统必须能够实时的【形】识别和评估人类的行为。为了训练相应的数据驱动算法,需要大量带注释的训练数据。我们展示了一个管道来检测人类,估计他们的姿势,随着时间的推移跟踪他们,并通过标准的单目摄像头传感器实时的【形】识别他们的动作。对于动作识别,我们将人体姿势编码为一种新的数据格式,称为编码人体姿势图像(EHPI),然后可以使用计算机视觉社区的标准方法对其进行分类。通过这个简单的过程,我们在基于姿态的动作检测中实现了具有竞争力的最先进性能,并且可以确保实时的【形】性能。此外,我们还展示了自动驾驶环境中的一个用例,以演示如何训练这样的系统使用模拟数据识别人类行为。
2019-04-19 cs.CV cs.LG
On the Utility of 3D Hand Poses for Action Recognition
National University of Singapore(新加坡国立大学);Meta Reality Labs(元宇宙实验室)
针对3D手部姿态单独用于动作识别存在信息不完整的问题,提出多模态Transformer模型HandFormer,通过时间分解手部姿态建模结合稀疏RGB帧,在更低计算量下实现了更优的动作识别性能。
2024-08-14 cs.CV cs.LG
Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos
The University of Hong Kong(香港大学);Microsoft Research Asia(微软亚洲研究院);TransGP;Texas A&M University(德克萨斯农工大学)
从以自我为中心的RGB视频中理解动态手部运动和动作是一项基本但具有挑战性的任务,因为自遮挡和模糊性。为了解决遮挡和模糊性,我们开发了一个基于变换的框架,利用时间信息进行鲁棒估计。注意到不同的时间粒度和手势估计和动作识别之间的语义相关性,我们建立了一个网络层次结构与两个级联的Transformer编码器,其中第一个利用短期的时间线索的手势估计,后者聚合每帧的姿势和对象信息在一个较长的时间跨度来识别的动作。我们的方法在两个第一人称手部动作基准上取得了有竞争力的结果,即FPHA和H2O。广泛的消融研究验证了我们的设计选择。
2023-03-29 cs.CV cs.RO
Depth-Aware Action Recognition: Pose-Motion Encoding through Temporal Heatmaps
ETH Zurich(苏黎世联邦理工学院)
大多数最先进的动作识别方法仅依赖于对外观、运动或姿势进行编码的2D空间特征。然而,2D数据缺乏深度信息,这对于识别细粒度动作至关重要。在本文中,我们提出了一个深度感知的体积描述符,编码姿势和运动信息在一个统一的表示动作分类在野外。我们的框架是强大的动作识别固有的许多挑战,例如,在视点,场景,服装和身体形状的变化。我们的方法的关键组成部分是深度感知姿态运动表示(DA-PoTion),一个新的视频描述符,编码的三维运动的语义关键点的人体。给定一个视频,我们使用最先进的3D人体姿势回归器为每帧生成人体关节热图,并根据剪辑中的相对时间为每个热图提供唯一的颜色代码。然后,我们将所有人体关节的3D时间编码热图聚合起来,以获得一个固定大小的描述符(DA-PoTion),该描述符适用于使用浅层3D卷积神经网络(CNN)对动作进行分类。DA-PoTion单独定义了Penn Action Dataset上的新技术水平。此外,我们利用我们的姿势运动描述符与基于外观的方法的内在互补性,将其与充气3D ConvNet(I3 D)相结合,在JHMDB数据集上定义一个新的最先进的技术。
2020-11-26 cs.CV cs.LG
Adaptive Appearance Rendering
Simon Fraser University(西蒙菲莎大学)
我们提出了一种方法来生成所需的外观和姿势的人的图像。姿态和外观的分解表示对于处理所生成的图像中的复合可变性是必要的。因此,我们开发了一种基于姿态和外观的中间表示的方法:我们的姿态引导外观渲染网络首先使用编码器-解码器神经网络对目标的姿态进行编码。然后,通过使用全卷积网络学习自适应外观滤波器来编码目标的外观。最后,将这些滤波器放置在编码器-解码器神经网络中完成渲染。我们证明了我们的模型可以生成优于最先进方法的图像和视频,并且可以在图像和视频生成中处理姿势引导的外观渲染。
2021-04-24 cs.CV
Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation
EPFL(洛桑联邦理工学院);ClearSpace SA(ClearSpace公司)
本文通过图像合成实验和对抗攻击策略,系统分析了自监督三维人体姿态估计中三种最先进解耦表示学习框架,发现其姿态编码仍包含显著外观信息,解耦远未完成,并提出了评估解耦程度的测试方法。
2023-09-20 cs.CV
Dense Intrinsic Appearance Flow for Human Pose Transfer
The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Nanyang Technological University(南洋理工大学)
我们提出了一种新的方法的任务,人体姿势转移,其目的是在合成一个新的图像的人从输入图像的人和目标姿势。我们解决了仅在关键点和由于自遮挡而不可见的像素之间识别的有限对应关系的问题。与现有的方法不同,我们建议估计密集和内在的3D外观流,以更好地引导像素之间的姿势转移。特别是,我们希望仅从参考和目标姿势生成3D流。为此目的训练网络是不平凡的,特别是当3D外观流的注释本质上是稀缺的时。我们解决这个问题,通过流合成阶段。这是通过将3D模型拟合到给定的姿势对并将它们投影回2D平面以计算用于训练的密集外观流来实现的。然后,使用合成的地面实况来训练前馈网络,用于从输入和目标骨架姿势到3D外观流的有效映射。通过外观流程,我们对输入图像执行特征扭曲,并生成目标姿势的照片级真实感图像。在DeepFashion和Market-1501数据集上的广泛结果证明了我们的方法优于现有方法的有效性。我们的代码可在http://mmlab.ie.cuhk.edu.hk/projects/pose-transfer上获得
2019-03-27 cs.CV
Pose-Guided High-Resolution Appearance Transfer via Progressive Training
Carnegie Mellon University(卡内基梅隆大学);UIUC(伊利诺伊大学厄巴纳-香槟分校);Tencent(腾讯);HKUST(香港科技大学)
我们提出了一种新型的姿势引导外观转移网络,用于以前所未有的图像分辨率(1024 * 1024)将给定的参考外观转移到目标姿势,分别给出参考人和目标人的图像。没有使用3D模型。相反,我们的网络利用密集的局部描述符,包括局部感知损失和局部判别器来细化细节,以从粗到细的方式逐步训练,以产生高分辨率输出,忠实地保留服装纹理和几何形状的复杂外观,同时无缝地产生幻觉,包括那些具有非遮挡的外观。我们的渐进式编码器-解码器架构可以在多个尺度上学习输入图像中固有的参考外观。在Human3.6M数据集、DeepFashion数据集和我们从YouTube收集的数据集上进行的大量实验结果表明,我们的模型可以生成高质量的图像,这些图像可以进一步用于有用的应用,例如人与人之间的服装转移和姿势引导的人类视频生成。
2022-11-25 cs.CV
Robust pose tracking with a joint model of appearance and shape
Brown University(布朗大学)
我们提出了一种新的方法,用于估计的二维姿态的铰接对象的应用程序自动视频分析的小实验室动物。我们已经发现,为人类开发的可变形部件模型,例如柔性混合部件(FMP)模型,通常在挑战动物姿势时失败。我们认为,除了编码外观和空间关系,形状是需要克服缺乏独特的地标实验室动物的身体。在我们的方法中,形状一致的FMP(scFMP)模型计算有前途的姿势候选人后,一个标准的FMP模型被用来快速丢弃错误的部分检测。这种“级联”方法结合了空间关系、外观和形状表示的相对优势,并显示出比原始FMP模型以及具有代表性的深度神经网络基线有显著改进。
2018-06-28 cs.CV
AESplat: Advancing Pose-Free Feed-Forward 3D Gaussian Splatting via Decoupled Appearance Modeling
Nankai University(南开大学)
AESplat提出解耦外观建模策略,直接推导零阶SH系数并预测高阶系数,在无姿态前馈3DGS中显著提升渲染质量,PSNR较NAS3R提升0.8dB,较DepthSplat提升1.1dB。
2026-09-30 cs.CV
Sub-frame Appearance and 6D Pose Estimation of Fast Moving Objects
Czech Technical University in Prague(布拉格捷克理工大学);ETH Zurich(苏黎世联邦理工学院);Czech Academy of Sciences(捷克科学院)
我们提出了一种新的方法,跟踪快速移动的对象,主要是非均匀的球形,在全6自由度,同时估计他们的3D运动轨迹,3D姿态和对象外观变化的时间步长,这是一个分数的视频帧曝光时间。子帧目标定位和外观估计允许现实的时间超分辨率和精确的形状估计。该方法被称为TbD-3D(3D中的Debatting跟踪),它依赖于一种新的重建算法,该算法解决了分段去模糊和抠图问题。通过最小化重投影误差来估计3D旋转。作为第二个贡献,我们提出了一个新的具有挑战性的数据集与快速移动的对象,改变他们的外观和距离相机。使用帧曝光之间具有零滞后的高速相机记录来生成具有不同帧速率的视频,所述不同帧速率用地面实况轨迹和姿态注释。
2019-11-25 cs.CV
Combining Local Appearance and Holistic View: Dual-Source Deep Neural Networks for Human Pose Estimation
University of South Carolina(南卡罗来纳大学)
我们提出了一种新的基于学习的方法,从一个单一的图像估计二维人体姿势,使用双源深度卷积神经网络(DS-CNN)。最近,已经开发了许多方法来估计人体姿势,通过使用姿势先验,估计从生理启发的图形模型或从整体的角度来看,学习。在本文中,我们建议将局部(身体)部分外观和每个局部部分的整体视图整合在一起,以获得更准确的人体姿势估计。具体来说,所提出的DS-CNN采用一组图像补丁(用于训练的类别独立对象建议和用于测试的多尺度滑动窗口)作为输入,然后通过考虑它们在全身的整体视图来学习每个局部部分的外观。使用DS-CNN,我们实现了关节检测和关节定位,关节检测确定图像补丁是否包含身体关节,关节定位找到图像补丁中关节的确切位置。最后,我们开发了一种算法,结合这些联合检测/定位结果,从所有的图像补丁估计的人的姿态。实验结果表明,所提出的方法的有效性,通过比较国家的最先进的人体姿态估计方法的基础上的姿势先验估计从生理启发的图形模型或从整体的角度来看。
2015-04-27 cs.CV
Pose Estimation using Local Structure-Specific Shape and Appearance Context
University of Southern Denmark(南丹麦大学);Tampere University of Technology(坦佩雷理工大学)
我们解决的问题,估计两个模型之间的对齐姿势使用特定于结构的局部描述符。我们的描述符生成使用的2D图像数据和3D上下文形状数据的组合,从而在一组半本地描述符包含丰富的外观和形状信息的边缘和纹理结构。这是通过定义描述描述符的邻域的特征空间关系来实现的。通过定量评估,我们表明,我们的描述符提供了较高的判别力相比,最先进的方法。此外,我们展示了如何利用这两个点集之间的对齐姿势的估计。我们目前的实验在控制和现实生活中的场景,以验证我们的方法。
2017-08-23 cs.CV
Tracking People by Predicting 3D Appearance, Location & Pose
UC Berkeley(加州大学伯克利分校)
在本文中,我们提出了一种方法来跟踪人在单目视频中,通过预测他们未来的3D表示。为了实现这一目标,我们首先以稳健的方式将人从单个帧提升到3D。该提升包括关于人的3D姿势、他或她在3D空间中的位置以及3D外观的信息。当我们跟踪一个人时,我们会在tracklet表示中收集随时间变化的3D观察结果。考虑到我们观察的3D性质,我们为前面的每个属性构建时间模型。我们使用这些模型来预测轨迹的未来状态,包括3D位置,3D外观和3D姿态。对于未来的帧,我们以概率的方式计算轨迹片段的预测状态与单帧观测之间的相似性。关联通过简单的匈牙利匹配来解决,匹配用于更新相应的tracklet。我们根据各种基准评估我们的方法,并报告最先进的结果。
2021-12-08 cs.CV
Unsupervised Disentanglement of Pose, Appearance and Background from Images and Videos
NVIDIA(英伟达);University of Toronto(多伦多大学)
无监督地标学习是在不使用昂贵的输入关键点级别注释的情况下学习语义关键点表示的任务。一种流行的方法是将图像分解为姿态和外观数据流,然后从分解的分量重建图像。姿态表示应捕获一组一致且紧密定位的界标,以便于重建输入图像。最终,我们希望我们学习的地标集中在感兴趣的前景对象上。然而,整个图像的重建任务迫使模型分配地标来对背景进行建模。这项工作探讨了将重建任务分解为单独的前景和背景重建的影响,仅对无监督地标进行前景重建。我们的实验表明,所提出的因子分解结果的地标,集中在感兴趣的前景对象。此外,渲染的背景质量也得到了改善,因为背景渲染流水线不再需要不合适的地标来对其姿势和外观进行建模。我们在视频预测任务的背景下证明了这种改进。
2020-01-26 cs.CV
Model-based Hand Pose Estimation for Generalized Hand Shape with Appearance Normalization
Technical University of Munich(慕尼黑工业大学);German Aerospace Center(德国航空航天中心)
自从大型注释数据集出现以来,最先进的手部姿势估计方法大多基于判别学习。最近,一种混合方法将运动层嵌入到深度学习结构中,使得姿势估计服从人手运动学的物理约束。然而,现有的方法依赖于单个人的手形参数,这是固定的常数。因此,现有的混合方法有问题,以推广到新的,看不见的手。在这项工作中,我们扩展了运动层,使手形参数可学习。通过这种方式,学习后的网络可以推广到任意的手形。此外,受空间Transformer网络思想的启发,我们应用了一系列外观归一化网络来减少输入数据的方差。输入图像将被移动、旋转和全局缩放到类似的外观。我们提出的方法的有效性和局限性在Hands 2017挑战数据集和纽约大学数据集上进行了广泛的评估。
2018-07-02 cs.CV
Style and Pose Control for Image Synthesis of Humans from a Single Monocular View
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所)
通过对人体姿态、形状和外观的显式控制,从单个图像中对人体进行照片级真实感的重新渲染使得能够实现广泛的应用,诸如人体外观转移、虚拟试穿、运动模仿和新颖的视图合成。虽然使用基于学习的图像生成工具(如GANs)在这方面取得了重大进展,但现有方法会产生明显的伪像,如细节模糊,身体部位和服装的不切实际的扭曲以及纹理的严重变化。因此,我们提出了一种新的方法,用于合成照片级逼真的人类图像,并对姿势和基于部分的外观进行显式控制,即,StylePoseGAN,我们扩展了一个不可控的生成器来分别接受姿势和外观的调节。我们的网络可以用人类图像以完全监督的方式进行训练,以解开姿势,外观和身体部位,并且它显着优于现有的单一图像重新渲染方法。我们的解纠缠表示开辟了进一步的应用,如服装转移,运动转移,虚拟试穿,头部(身份)交换和外观插值。与当前性能最佳的方法相比,StylePoseGAN在常见感知指标上实现了最先进的图像生成保真度,并在全面的用户研究中令人信服。
2021-02-22 cs.CV
Disentangling Pose from Appearance in Monochrome Hand Images
The Chinese University of Hong Kong(香港中文大学);Facebook Reality Labs(Facebook现实实验室)
由于光照、外观和背景的变化,从单目2D图像中估计手部姿势是具有挑战性的。虽然使用深度神经网络已经取得了一些成功,但它们通常需要收集足够采样手部图像的所有变化轴的大型数据集。因此,找到一种独立于图像外观(如手的纹理,照明,背景)的手部姿势表示是有用的,这样我们就可以通过混合姿势外观组合来合成看不见的图像。在本文中,我们提出了一种新的技术,解开的姿态表示从一个互补的外观因素在2D单色图像。我们使用一个网络来监督这个解缠过程,该网络学习使用指定的姿势+外观特征生成手部图像。与以前的工作不同,我们不需要具有匹配姿势的图像对;相反,我们使用已经可用的姿势注释,并引入循环一致性的新用途,以确保因素之间的正交性。实验结果表明,我们的自解缠方案成功地分解成的姿势和互补的外观特征的可比质量的方法,使用成对的数据的手图像。此外,通过重新混合来自不同图像的姿势和外观因子,用具有不可见的手外观组合的额外合成图像训练模型可以提高2D姿势估计性能。
2019-04-16 cs.AI cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University(清华大学);NNKosmos Technology(NNKosmos科技)
本文提出 PoseVocab,一种用于人体化身建模的关节结构化姿态编码方法,通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略,实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The University of Tokyo(东京大学)
针对单一姿态输入导致外观歧义的问题,提出Dyco方法,利用增量姿态序列与低维全局上下文建模惯性引起的外观变化,并构建I3D-Human数据集验证其有效性。
2024-07-16 cs.CV
Unsupervised Pose Flow Learning for Pose Guided Synthesis
姿态引导合成的目标是在任意目标姿态下生成新图像,同时保留源图像的外观细节。现有的方法依赖于硬编码的空间变换或3D身体建模。它们往往忽略了复杂的非刚性姿态变形或不匹配的遮挡区域,从而无法有效地保持外观信息。在本文中,我们提出了一个无监督的姿势流学习计划,学习从源图像中转移的外观细节。基于这种学习的姿势流,我们提出了GarmentNet和SynthesisNet,它们都使用多尺度特征域对齐进行粗到精的合成。在DeepFashion,MVC数据集和其他真实世界数据集上的实验表明,我们的方法与最先进的方法相比毫不逊色,并且可以推广到看不见的姿势和服装风格。
2019-09-30 cs.CV
Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network
Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Chongqing Normal University(重庆师范大学);National Center for Applied Mathematics in Chongqing(重庆国家应用数学中心);Northeast Forestry University(东北林业大学);Inner Mongolia University(内蒙古大学);Southern University of Science and Technology(南方科技大学)
现有的基于视频的行人再识别方法主要通过特征提取器和特征聚合器学习行人的外观特征。然而,当不同的行人具有相似的外观时,外观模型会失败。考虑到不同的行人有不同的行走姿势和身体比例,我们建议学习的区别性的姿态特征以外的外观特征的视频检索。具体来说,我们实现了一个两分支架构,分别学习外观特征和姿势特征,然后将它们连接在一起进行推理。为了学习姿势特征,我们首先通过现成的姿势检测器检测每帧中的行人姿势,并使用姿势序列构建时间图。然后利用递归图卷积网络(RGCN)学习时间姿态图的节点嵌入,设计全局信息传播机制,同时实现帧内节点的邻域聚合和帧间图的消息传递.最后,提出了一种由节点注意力和时间注意力组成的双注意力方法,利用自注意力机制学习每个节点和每个帧的重要性,从节点嵌入中获得时间图表示。我们在三个基于视频的ReID数据集上验证了所提出的方法,即,Mars、DukeMTMC和iLIDS-VID的实验结果表明,学习的姿态特征可以有效地提高现有外观模型的性能。
2022-09-23 cs.CV
3-D Hand Pose Estimation from Kinect's Point Cloud Using Appearance Matching
Seconda Universitá di Napoli (SUN)(那不勒斯第二大学)
我们提出了一种新的外观为基础的方法,使用点云提供的低成本微软Kinect传感器的人手姿态估计。无论是徒手的情况下,其中的手是从周围环境中隔离,和手对象的情况下,其中的不同类型的相互作用进行了分类,已被认为是。手物体的情况下,显然是最具挑战性的任务,必须处理多个轨道。这里提出的方法属于部分姿态估计类,其中帧中的估计姿态用于下一帧的初始化。通过将迭代最近点(ICP)算法的修改版本应用于合成模型以获得刚性变换来获得姿态估计,所述刚性变换将每个模型相对于输入数据对准。所提出的框架使用Kinect传感器提供的“纯”点云,而没有任何其他信息,如RGB值或法向量分量。出于这个原因,所提出的方法也可以应用于从其他类型的深度传感器或RGB-D相机获得的数据。
2016-04-07 cs.CV
Aligned to the Object, not to the Image: A Unified Pose-aligned Representation for Fine-grained Recognition
Brigham Young University(杨百翰大学)
由于姿势引起的显著外观变化构成了细粒度识别中的巨大挑战,最近使用注意力机制或二阶统计的方法未能充分解决这一挑战。现代CNN通常缺乏对对象姿态的明确理解,而是被纠缠的姿态和外观所迷惑。在本文中,我们提出了一个统一的对象表示从层次结构的姿势对齐的区域。而不是表示一个对象的区域对齐的图像轴,所提出的表示特征的外观相对于对象的姿态使用姿态对齐补丁的功能是强大的姿态,比例和旋转的变化。我们提出了一种算法,执行姿态估计,并形成统一的对象表示为级联的层次姿态对齐的区域功能,然后送入一个分类网络。该算法超越了其他方法的性能,在广泛使用的CUB-200数据集上将最先进的性能提高了近2%,在更大的NABIrds数据集上提高了8%以上。这种模式相对于竞争方法的有效性表明,解开姿势和外观的细粒度识别的持续进展至关重要。
2018-09-11 cs.CV
Dual Recursive Feedback on Generation and Appearance Latents for Pose-Robust Text-to-Image Diffusion
Korea University(韩国大学);Sookmyung Women’s University(肃明女子大学)
本文提出一种无需训练的双重递归反馈(DRF)系统,通过外观反馈和生成反馈递归细化中间潜在变量,有效整合结构与外观属性,解决了可控T2I扩散模型难以保留空间结构及捕捉细粒度姿态条件的问题,实现了高质量且结构一致的图像生成。
2025-08-13 cs.CV
Uncertainty-Guided Appearance-Motion Association Network for Out-of-Distribution Action Detection
College of Computing and Data Science(计算与数据科学学院);Nanyang Technological University(南洋理工大学)
针对分布外动作检测任务,提出不确定性引导的外观-运动关联网络(UAAN),通过融合外观与运动特征并推理时空物体交互,显著优于现有方法。
2026-05-25 cs.CV