AESplat: Advancing Pose-Free Feed-Forward 3D Gaussian Splatting via Decoupled Appearance Modeling
Nankai University（南开大学）
AESplat提出解耦外观建模策略，直接推导零阶SH系数并预测高阶系数，在无姿态前馈3DGS中显著提升渲染质量，PSNR较NAS3R提升0.8dB，较DepthSplat提升1.1dB。
2026-09-30 cs.CV
IntegralAction: Pose-driven Feature Integration for Robust Human Action Recognition in Videos
SNU ECE & ASRI（首尔国立大学电子与计算机工程系及ASRI）；POSTECH CSE & AIGS（浦项科技大学计算机科学与工程系及AIGS）
目前大多数动作识别方法严重依赖于外观信息，将整个图像区域的RGB序列作为输入。虽然在利用人类周围的上下文信息方面是有效的，人类外观和场景类别，他们很容易被上下文与目标动作不完全匹配的上下文外动作视频所欺骗。相比之下，基于姿态的方法，它采取的一系列人类骨架作为输入，遭受不准确的姿态估计或模糊的人类姿态本身。事实证明，将这两种方法结合起来并不容易;同时训练外观和姿势的模型最终会对外观产生强烈的偏见，并且不能很好地推广到看不见的视频。为了解决这个问题，我们建议学习姿势驱动的功能集成，动态地结合外观和姿势流，通过观察姿势功能的飞行。其主要思想是让姿态流根据给定的姿态信息是否可靠来决定在集成中使用多少和哪些外观信息。我们表明，建议的IntegralAction在上下文和上下文外的动作视频数据集上实现了高度鲁棒的性能。这些代码可在https://github.com/mks0601/IntegralAction_RELEASE上获得。
2021-04-15 cs.CV
Sub-frame Appearance and 6D Pose Estimation of Fast Moving Objects
Czech Technical University in Prague（布拉格捷克理工大学）；ETH Zurich（苏黎世联邦理工学院）；Czech Academy of Sciences（捷克科学院）
我们提出了一种新的方法，跟踪快速移动的对象，主要是非均匀的球形，在全6自由度，同时估计他们的3D运动轨迹，3D姿态和对象外观变化的时间步长，这是一个分数的视频帧曝光时间。子帧目标定位和外观估计允许现实的时间超分辨率和精确的形状估计。该方法被称为TbD-3D（3D中的Debatting跟踪），它依赖于一种新的重建算法，该算法解决了分段去模糊和抠图问题。通过最小化重投影误差来估计3D旋转。作为第二个贡献，我们提出了一个新的具有挑战性的数据集与快速移动的对象，改变他们的外观和距离相机。使用帧曝光之间具有零滞后的高速相机记录来生成具有不同帧速率的视频，所述不同帧速率用地面实况轨迹和姿态注释。
2019-11-25 cs.CV
Pose Splatter: A 3D Gaussian Splatting Model for Quantifying Animal Pose and Appearance
Duke University（杜克大学）
Pose Splatter通过3D高斯泼洒和形状雕刻技术，无需标注和优化即可准确建模动物姿态和外观，提升大规模行为分析能力。
2026-01-30 cs.CV cs.LG
Combining Local Appearance and Holistic View: Dual-Source Deep Neural Networks for Human Pose Estimation
University of South Carolina（南卡罗来纳大学）
我们提出了一种新的基于学习的方法，从一个单一的图像估计二维人体姿势，使用双源深度卷积神经网络（DS-CNN）。最近，已经开发了许多方法来估计人体姿势，通过使用姿势先验，估计从生理启发的图形模型或从整体的角度来看，学习。在本文中，我们建议将局部（身体）部分外观和每个局部部分的整体视图整合在一起，以获得更准确的人体姿势估计。具体来说，所提出的DS-CNN采用一组图像补丁（用于训练的类别独立对象建议和用于测试的多尺度滑动窗口）作为输入，然后通过考虑它们在全身的整体视图来学习每个局部部分的外观。使用DS-CNN，我们实现了关节检测和关节定位，关节检测确定图像补丁是否包含身体关节，关节定位找到图像补丁中关节的确切位置。最后，我们开发了一种算法，结合这些联合检测/定位结果，从所有的图像补丁估计的人的姿态。实验结果表明，所提出的方法的有效性，通过比较国家的最先进的人体姿态估计方法的基础上的姿势先验估计从生理启发的图形模型或从整体的角度来看。
2015-04-27 cs.CV
Pose Estimation using Local Structure-Specific Shape and Appearance Context
University of Southern Denmark（南丹麦大学）；Tampere University of Technology（坦佩雷理工大学）
我们解决的问题，估计两个模型之间的对齐姿势使用特定于结构的局部描述符。我们的描述符生成使用的2D图像数据和3D上下文形状数据的组合，从而在一组半本地描述符包含丰富的外观和形状信息的边缘和纹理结构。这是通过定义描述描述符的邻域的特征空间关系来实现的。通过定量评估，我们表明，我们的描述符提供了较高的判别力相比，最先进的方法。此外，我们展示了如何利用这两个点集之间的对齐姿势的估计。我们目前的实验在控制和现实生活中的场景，以验证我们的方法。
2017-08-23 cs.CV
Tracking People by Predicting 3D Appearance, Location & Pose
UC Berkeley（加州大学伯克利分校）
在本文中，我们提出了一种方法来跟踪人在单目视频中，通过预测他们未来的3D表示。为了实现这一目标，我们首先以稳健的方式将人从单个帧提升到3D。该提升包括关于人的3D姿势、他或她在3D空间中的位置以及3D外观的信息。当我们跟踪一个人时，我们会在tracklet表示中收集随时间变化的3D观察结果。考虑到我们观察的3D性质，我们为前面的每个属性构建时间模型。我们使用这些模型来预测轨迹的未来状态，包括3D位置，3D外观和3D姿态。对于未来的帧，我们以概率的方式计算轨迹片段的预测状态与单帧观测之间的相似性。关联通过简单的匈牙利匹配来解决，匹配用于更新相应的tracklet。我们根据各种基准评估我们的方法，并报告最先进的结果。
2021-12-08 cs.CV
Unsupervised Disentanglement of Pose, Appearance and Background from Images and Videos
NVIDIA（英伟达）；University of Toronto（多伦多大学）
无监督地标学习是在不使用昂贵的输入关键点级别注释的情况下学习语义关键点表示的任务。一种流行的方法是将图像分解为姿态和外观数据流，然后从分解的分量重建图像。姿态表示应捕获一组一致且紧密定位的界标，以便于重建输入图像。最终，我们希望我们学习的地标集中在感兴趣的前景对象上。然而，整个图像的重建任务迫使模型分配地标来对背景进行建模。这项工作探讨了将重建任务分解为单独的前景和背景重建的影响，仅对无监督地标进行前景重建。我们的实验表明，所提出的因子分解结果的地标，集中在感兴趣的前景对象。此外，渲染的背景质量也得到了改善，因为背景渲染流水线不再需要不合适的地标来对其姿势和外观进行建模。我们在视频预测任务的背景下证明了这种改进。
2020-01-26 cs.CV
Model-based Hand Pose Estimation for Generalized Hand Shape with Appearance Normalization
Technical University of Munich（慕尼黑工业大学）；German Aerospace Center（德国航空航天中心）
自从大型注释数据集出现以来，最先进的手部姿势估计方法大多基于判别学习。最近，一种混合方法将运动层嵌入到深度学习结构中，使得姿势估计服从人手运动学的物理约束。然而，现有的方法依赖于单个人的手形参数，这是固定的常数。因此，现有的混合方法有问题，以推广到新的，看不见的手。在这项工作中，我们扩展了运动层，使手形参数可学习。通过这种方式，学习后的网络可以推广到任意的手形。此外，受空间Transformer网络思想的启发，我们应用了一系列外观归一化网络来减少输入数据的方差。输入图像将被移动、旋转和全局缩放到类似的外观。我们提出的方法的有效性和局限性在Hands 2017挑战数据集和纽约大学数据集上进行了广泛的评估。
2018-07-02 cs.CV
Style and Pose Control for Image Synthesis of Humans from a Single Monocular View
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
通过对人体姿态、形状和外观的显式控制，从单个图像中对人体进行照片级真实感的重新渲染使得能够实现广泛的应用，诸如人体外观转移、虚拟试穿、运动模仿和新颖的视图合成。虽然使用基于学习的图像生成工具（如GANs）在这方面取得了重大进展，但现有方法会产生明显的伪像，如细节模糊，身体部位和服装的不切实际的扭曲以及纹理的严重变化。因此，我们提出了一种新的方法，用于合成照片级逼真的人类图像，并对姿势和基于部分的外观进行显式控制，即，StylePoseGAN，我们扩展了一个不可控的生成器来分别接受姿势和外观的调节。我们的网络可以用人类图像以完全监督的方式进行训练，以解开姿势，外观和身体部位，并且它显着优于现有的单一图像重新渲染方法。我们的解纠缠表示开辟了进一步的应用，如服装转移，运动转移，虚拟试穿，头部（身份）交换和外观插值。与当前性能最佳的方法相比，StylePoseGAN在常见感知指标上实现了最先进的图像生成保真度，并在全面的用户研究中令人信服。
2021-02-22 cs.CV
PoseVocab: Learning Joint-structured Pose Embeddings for Human Avatar Modeling
Tsinghua University（清华大学）；NNKosmos Technology（NNKosmos科技）
本文提出 PoseVocab，一种用于人体化身建模的关节结构化姿态编码方法，通过在 $so(3)$ 中采样关键旋转并引入特征线和分层查询策略，实现了高保真、具泛化性且时间一致的动态人体外观合成。
2023-05-14 cs.CV
Within the Dynamic Context: Inertia-aware 3D Human Modeling with Pose Sequence
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）
针对单一姿态输入导致外观歧义的问题，提出Dyco方法，利用增量姿态序列与低维全局上下文建模惯性引起的外观变化，并构建I3D-Human数据集验证其有效性。
2024-07-16 cs.CV
Unsupervised Pose Flow Learning for Pose Guided Synthesis
姿态引导合成的目标是在任意目标姿态下生成新图像，同时保留源图像的外观细节。现有的方法依赖于硬编码的空间变换或3D身体建模。它们往往忽略了复杂的非刚性姿态变形或不匹配的遮挡区域，从而无法有效地保持外观信息。在本文中，我们提出了一个无监督的姿势流学习计划，学习从源图像中转移的外观细节。基于这种学习的姿势流，我们提出了GarmentNet和SynthesisNet，它们都使用多尺度特征域对齐进行粗到精的合成。在DeepFashion，MVC数据集和其他真实世界数据集上的实验表明，我们的方法与最先进的方法相比毫不逊色，并且可以推广到看不见的姿势和服装风格。
2019-09-30 cs.CV
Handgun detection using combined human pose and weapon appearance
University of Castilla-La Mancha（卡斯蒂利亚拉曼查大学）；University of Seville（塞维利亚大学）
闭路电视（CCTV）系统是必不可少的，以防止安全威胁或危险的情况下，其中早期检测是至关重要的。基于深度学习的新方法已经允许开发自动武器探测器，并取得了可喜的成果。然而，这些方法主要是基于视觉武器的外观。对于手枪，身体姿势可能是一个有用的提示，特别是在枪几乎看不见的情况下。在这项工作中，提出了一种新的方法相结合，在一个单一的架构，武器外观和人体姿态信息。首先，姿态关键点估计提取手区域，并生成二值姿态图像，这是模型的输入。然后，在不同的子网络中处理每个输入，并将其组合以产生手枪限界框。所获得的结果表明，组合模型提高了手枪检测的最新技术水平，实现了从4.23到18.9 AP点比以前最好的方法。
2021-07-23 cs.AI cs.CV
ShAPO: Implicit Representations for Multi-Object Shape, Appearance, and Pose Optimization
Georgia Institute of Technology（佐治亚理工学院）；Toyota Research Institute（丰田研究院）
我们的方法从单个RGB-D观察研究了以对象为中心的3D理解的复杂任务。由于这是一个不适定问题，现有的方法遭受低性能的3D形状和6D姿态和尺寸估计在复杂的多对象场景中的闭塞。我们提出了ShAPO，联合多目标检测，三维纹理重建，6D目标姿态和大小估计的方法。ShAPO的关键是一个单镜头管道，用于回归形状，外观和姿势潜在代码以及每个对象实例的掩码，然后以稀疏到密集的方式进一步细化。一种新的解开的形状和外观的先验数据库，首先学习嵌入对象在各自的形状和外观空间。我们还提出了一种新的基于八叉树的可微优化步骤，使我们能够以综合分析的方式在学习的潜在空间下同时进一步改善对象的形状，姿势和外观。我们新的联合隐式纹理对象表示使我们能够准确地识别和重建新的看不见的对象，而无需访问其3D网格。通过大量的实验，我们证明了我们的方法，在模拟的室内场景上训练，可以准确地回归现实世界中新物体的形状，外观和姿态，并且微调最少。我们的方法显着优于NOCS数据集上的所有基线，6D姿态估计的mAP绝对提高了8%。项目页面：https://zubair-irshad.github.io/projects/ShAPO.html
2022-07-27 cs.CV cs.LG cs.RO
Pose-Aided Video-based Person Re-Identification via Recurrent Graph Convolutional Network
Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Chongqing Normal University（重庆师范大学）；National Center for Applied Mathematics in Chongqing（重庆国家应用数学中心）；Northeast Forestry University（东北林业大学）；Inner Mongolia University（内蒙古大学）；Southern University of Science and Technology（南方科技大学）
现有的基于视频的行人再识别方法主要通过特征提取器和特征聚合器学习行人的外观特征。然而，当不同的行人具有相似的外观时，外观模型会失败。考虑到不同的行人有不同的行走姿势和身体比例，我们建议学习的区别性的姿态特征以外的外观特征的视频检索。具体来说，我们实现了一个两分支架构，分别学习外观特征和姿势特征，然后将它们连接在一起进行推理。为了学习姿势特征，我们首先通过现成的姿势检测器检测每帧中的行人姿势，并使用姿势序列构建时间图。然后利用递归图卷积网络（RGCN）学习时间姿态图的节点嵌入，设计全局信息传播机制，同时实现帧内节点的邻域聚合和帧间图的消息传递.最后，提出了一种由节点注意力和时间注意力组成的双注意力方法，利用自注意力机制学习每个节点和每个帧的重要性，从节点嵌入中获得时间图表示。我们在三个基于视频的ReID数据集上验证了所提出的方法，即，Mars、DukeMTMC和iLIDS-VID的实验结果表明，学习的姿态特征可以有效地提高现有外观模型的性能。
2022-09-23 cs.CV
PersonNeRF: Personalized Reconstruction from Photo Collections
University of Washington（华盛顿大学）；Google Research（谷歌研究院）
我们提出了PersonNeRF，一种方法，它收集了一个主题（例如罗杰·费德勒）的照片，这些照片是多年来以任意的身体姿势和外观拍摄的，并能够以任意新颖的视点、身体姿势和外观组合来渲染主题。PersonNeRF构建了一个定制的神经体积3D模型，能够渲染由相机视点，身体姿势和外观跨越的整个空间。这项任务的一个核心挑战是处理稀疏的观察;一个给定的身体姿势可能只被一个具有单一外观的单一视点观察到，并且一个给定的外观只在少数不同的身体姿势下观察到。我们通过恢复受试者的规范T姿势神经体积表示来解决这个问题，该表示允许在不同的观察中改变外观，但在所有观察中使用共享的姿势相关运动场。我们证明，这种方法，随着恢复的体积几何形状的正则化，以鼓励平滑，是能够恢复一个模型，使引人注目的图像从新颖的组合的观点，姿势和外观从这些具有挑战性的非结构化的照片集，优于以前的工作自由视点人类渲染。
2023-02-16 cs.CV cs.GR
3-D Hand Pose Estimation from Kinect's Point Cloud Using Appearance Matching
Seconda Universitá di Napoli (SUN)（那不勒斯第二大学）
我们提出了一种新的外观为基础的方法，使用点云提供的低成本微软Kinect传感器的人手姿态估计。无论是徒手的情况下，其中的手是从周围环境中隔离，和手对象的情况下，其中的不同类型的相互作用进行了分类，已被认为是。手物体的情况下，显然是最具挑战性的任务，必须处理多个轨道。这里提出的方法属于部分姿态估计类，其中帧中的估计姿态用于下一帧的初始化。通过将迭代最近点（ICP）算法的修改版本应用于合成模型以获得刚性变换来获得姿态估计，所述刚性变换将每个模型相对于输入数据对准。所提出的框架使用Kinect传感器提供的“纯”点云，而没有任何其他信息，如RGB值或法向量分量。出于这个原因，所提出的方法也可以应用于从其他类型的深度传感器或RGB-D相机获得的数据。
2016-04-07 cs.CV
Generating Person Images with Appearance-aware Pose Stylizer
Baidu Research（百度研究院）；Carnegie Mellon University（卡内基梅隆大学）；City University of Hong Kong（香港城市大学）；Zhejiang University（浙江大学）；Nanyang Technological University（南洋理工大学）；Styling AI
由于图像因素之间的复杂纠缠，高质量人物图像的生成是具有挑战性的，例如，在本文中，我们提出了一种新的端到端的框架来生成逼真的人的图像的基础上给定的人的姿势和外观。我们的框架的核心是一种新的生成器称为外观感知姿态风格（APS），它通过耦合目标姿势与条件的人的外观逐步产生人类图像。该框架是高度灵活和可控的，有效地解耦各种复杂的人的形象因素在编码阶段，然后重新耦合他们在解码阶段。此外，我们提出了一种新的归一化方法，自适应补丁归一化，使特定区域的归一化，并表现出良好的性能时，采用的人的图像生成模型。在两个基准数据集上的实验表明，我们的方法能够使用任意图像和姿势输入生成视觉上吸引人和逼真的结果。
2020-07-17 cs.CV cs.GR cs.LG
Aligned to the Object, not to the Image: A Unified Pose-aligned Representation for Fine-grained Recognition
Brigham Young University（杨百翰大学）
由于姿势引起的显著外观变化构成了细粒度识别中的巨大挑战，最近使用注意力机制或二阶统计的方法未能充分解决这一挑战。现代CNN通常缺乏对对象姿态的明确理解，而是被纠缠的姿态和外观所迷惑。在本文中，我们提出了一个统一的对象表示从层次结构的姿势对齐的区域。而不是表示一个对象的区域对齐的图像轴，所提出的表示特征的外观相对于对象的姿态使用姿态对齐补丁的功能是强大的姿态，比例和旋转的变化。我们提出了一种算法，执行姿态估计，并形成统一的对象表示为级联的层次姿态对齐的区域功能，然后送入一个分类网络。该算法超越了其他方法的性能，在广泛使用的CUB-200数据集上将最先进的性能提高了近2%，在更大的NABIrds数据集上提高了8%以上。这种模式相对于竞争方法的有效性表明，解开姿势和外观的细粒度识别的持续进展至关重要。
2018-09-11 cs.CV
Dual Recursive Feedback on Generation and Appearance Latents for Pose-Robust Text-to-Image Diffusion
Korea University（韩国大学）；Sookmyung Women’s University（肃明女子大学）
本文提出一种无需训练的双重递归反馈（DRF）系统，通过外观反馈和生成反馈递归细化中间潜在变量，有效整合结构与外观属性，解决了可控T2I扩散模型难以保留空间结构及捕捉细粒度姿态条件的问题，实现了高质量且结构一致的图像生成。
2025-08-13 cs.CV
A-NeRF: Articulated Neural Radiance Fields for Learning Human Shape, Appearance, and Pose
University of British Columbia（不列颠哥伦比亚大学）；Facebook Reality Labs（Facebook现实实验室）
虽然深度学习通过前馈网络重塑了经典的运动捕捉流水线，但需要生成模型通过迭代细化来恢复精细对齐。不幸的是，现有的模型通常是手工制作的或在受控条件下学习的，仅适用于有限的领域。提出了一种通过扩展神经辐射场（NeRFs）从未标记的单目视频中学习生成神经体模型的方法。我们为它们配备了一个骨架，以应用于时变和关节运动。一个关键的见解是，隐式模型需要显式表面模型中使用的正运动学的逆。我们的reparameterization定义的空间潜变量相对于身体部位的姿势，从而克服了不适定的逆运算与overparameterization。这使得能够从头开始学习体积体型和外观，同时联合细化关节姿势;所有这些都没有输入视频上的外观，姿势或3D形状的地面真实标签。当用于新视图合成和运动捕捉时，我们的神经模型提高了不同数据集的准确性。项目网址：https://lemonatsu.github.io/anerf/。
2021-10-29 cs.CV cs.GR
2Xplat: Decoupling Geometry and Appearance Modeling for Feed-Forward 3D Gaussian Splatting
Yonsei University（延世大学）；Sungkyunkwan University（成均馆大学）
本文提出2Xplat框架，通过分离几何估计与高斯生成，改进3DGS生成效果，证明模块化设计在复杂3D建模中的优势。
2026-08-20 cs.CV
MUST-GAN: Multi-level Statistics Transfer for Self-driven Person Image Generation
University of Chinese Academy of Sciences（中国科学院大学）
姿态引导的人物图像生成通常涉及使用成对的源-目标图像来监督训练，这显著增加了数据准备工作并限制了模型的应用。为了解决这个问题，我们提出了一种新的多级统计传输模型，该模型将多层次的外观特征从人的图像中分离出来，并将其与姿势特征合并，以重建源人图像本身。因此，源图像可以被用作自驱动的人的图像生成的监督。具体来说，我们的模型从外观编码器中提取多层次的特征，并通过注意力机制和属性统计来学习最佳的外观表示。然后，我们将它们转移到姿势引导的生成器中进行外观和姿势的重新融合。我们的方法允许灵活的操作的人的外观和构成属性，以执行姿势转移和服装风格转移任务。在DeepFashion数据集上的实验结果表明，与最先进的监督和无监督方法相比，我们的方法具有优越性。此外，我们的方法在野外也表现良好。
2021-04-09 cs.CV
Appearance Consensus Driven Self-Supervised Human Mesh Recovery
Indian Institute of Science, Bangalore（印度科学理工学院）；Google Research（谷歌研究院）
我们提出了一个自我监督的人体网格恢复框架，在没有任何配对监督的情况下，从单目图像中推断人体姿势和形状。最近的进展已经转移到直接回归参数化人体模型的参数的兴趣，通过监督他们的大规模数据集与2D地标注释。这限制了这种方法在来自未标记的野生环境的图像上操作的普遍性。认识到这一点，我们提出了一个新的外观共识驱动的自我监督的目标。为了有效地解开前景（FG）的人，我们依赖于图像对描绘同一个人（一致的FG）在不同的姿势和背景（BG），这是从未标记的野生视频。建议FG外观一致性目标使用一种新的，可微分的颜色恢复模块，以获得顶点颜色，而不需要任何外观网络，通过有效实现颜色拾取和反射对称。我们实现了国家的最先进的结果，基于标准模型的3D姿态估计基准在可比的监督水平。此外，由此产生的彩色网格预测打开了我们的框架用于各种外观相关的任务以外的姿势和形状估计，从而建立我们优越的泛化能力。
2020-08-04 cs.CV
PAM: A Pose-Appearance-Motion Engine for Sim-to-Real HOI Video Generation
Peking University（北京大学）；Tsinghua University（清华大学）；BAAI（北京智源人工智能研究院）；SJTU（上海交通大学）；Eastern Institute of Technology（东方理工高等研究院）；University of Cambridge（剑桥大学）
本文提出PAM引擎，整合姿态、外观和运动生成可控的HOI视频，通过实验验证其在DexYCB和OAKINK2数据集上的性能优势。
2026-04-02 cs.CV
Learning Motion-Dependent Appearance for High-Fidelity Rendering of Dynamic Humans from a Single Camera
University of Minnesota（明尼苏达大学）；Adobe Research（Adobe研究院）
穿着的人的外观经历了复杂的几何变换，不仅由静态姿势引起，而且由其动态引起，即，存在多种布料几何构型，其根据其移动的方式给出姿态。这种基于运动的外观建模在现有的人体绘制方法中被很大程度上忽略了，导致绘制出物理上不真实的运动。学习外观动态的一个关键挑战在于需要大量的观察。在本文中，我们提出了一个紧凑的运动表示，通过强制执行等方差-表示预计将被转换的方式，姿势被转换。我们建立了一个等变编码器模型，它可以从3D身体表面的空间和时间导数中生成可推广的表示。这种学习的表示是由一个组成的多任务解码器，呈现高保真度随时间变化的外观解码。我们的实验表明，我们的方法可以生成一个时间上连贯的视频的动态人类看不见的身体姿势和新颖的意见，给定一个单一的视图视频。
2022-03-24 cs.CV
Learning Realistic Human Reposing using Cyclic Self-Supervision with 3D Shape, Pose, and Appearance Consistency
Amazon（亚马逊）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
从单个图像合成一个人的新姿势的图像是一个高度模糊的任务。大多数现有的方法需要成对的训练图像;即，具有相同服装的同一个人以不同姿势的图像。然而，获得具有配对数据的足够大的数据集是具有挑战性和昂贵的。以前的方法，放弃配对监督缺乏现实意义。我们提出了一个名为SPICE（自我监督的人的图像CrEation）的自监督框架，它关闭了监督方法的图像质量差距。实现自我监督的关键见解是以多种方式利用关于人体的3D信息。首先，3D身体形状必须在静止时保持不变。其次，在3D中表示身体姿势使得能够推理自遮挡。第三，在静止之前和之后可见的3D身体部分应该具有相似的外观特征。经过训练后，SPICE会拍摄一个人的图像，并以新的目标姿势生成该人的新图像。SPICE在DeepFashion数据集上实现了最先进的性能，与以前的无监督方法相比，FID得分从29.9提高到7.8，性能与最先进的监督方法（6.4）相似。SPICE还生成给定输入图像和姿势序列的时间相干视频，尽管仅在静态图像上训练。
2021-10-11 cs.CV
Appearance and Pose-Conditioned Human Image Generation using Deformable GANs
University of Trento（特伦托大学）；Télécom Paris（巴黎高等电信学院）；Institut polytechnique de Paris（巴黎理工学院）
在本文中，我们解决的问题，产生的姿态和外观信息的条件下的人的图像。具体地，给定人的图像xa和从不同图像xb提取的目标姿势P（xb），我们合成姿势P（xb）中的那个人的新图像，同时保留xa中的视觉细节。为了处理由P（xa）和P（xb）之间的姿态差异引起的像素到像素的错位，我们在我们的生成对抗网络的生成器中引入了可变形的跳跃连接。此外，提出了一个最近邻损失，而不是共同的L1和L2损失，以匹配的细节生成的图像与目标图像。定量和定性的结果，使用常见的数据集和协议最近提出的这项任务，表明我们的方法是有竞争力的最先进的。此外，我们进行了广泛的评估，使用现成的壳人重新识别（Re-ID）系统训练的人生成的增强数据，这是这项任务的主要重要应用之一。我们的实验表明，我们的可变形GANs可以显着提高Re-ID的准确性，甚至比专门使用Re-ID损失训练的数据增强方法更好。
2019-10-14 cs.CV
Gun Detection Using Combined Human Pose and Weapon Appearance
Rochester Institute of technology（罗切斯特理工学院）
针对传统枪支检测误漏报高的问题，提出融合人体姿态估计与武器外观识别的深度学习方法，并构建多源数据集以提升真实监控场景下的检测精度与可靠性。
2025-03-15 cs.CV
Category Level Object Pose Estimation via Neural Analysis-by-Synthesis
ETH Zürich（苏黎世联邦理工学院）；Max Planck ETH Center for Learning Systems（马克斯·普朗克学习系统中心）；University of Tübingen（蒂宾根大学）；Max Planck Institute for Intelligent Systems, Tübingen（马克斯·普朗克智能系统研究所（蒂宾根））
许多对象姿态估计算法依赖于分析合成框架，需要明确表示的个别对象实例。在本文中，我们结合了基于梯度的拟合过程与参数神经图像合成模块，该模块能够隐式地表示整个对象类别的外观，形状和姿态，从而使每个对象实例不需要显式CAD模型。图像合成网络被设计为有效地跨越姿态配置空间，使得模型容量可以用于捕获形状和局部外观（即，纹理）共同变化。在推理时，通过基于外观的损失将合成图像与目标进行比较，并且通过网络将误差信号反向传播到输入参数。保持网络参数固定，这允许以联合方式迭代优化对象的姿态，形状和外观，我们的实验表明，该方法可以单独从2D图像中以高精度恢复对象的方向。当提供深度测量时，为了克服尺度模糊性，该方法可以成功地精确地恢复完整的6DOF位姿。
2020-08-18 cs.CV
Autoregressive Appearance Prediction for 3D Gaussian Avatars
Graz University of Technology, Austria（格拉茨技术大学）；Meta Reality Labs, Pittsburgh, USA（Meta现实实验室（匹兹堡））
本文提出一种基于3D高斯点划法的avatar模型，通过自回归方法预测外观潜变量，提高渲染稳定性和细节重建质量。
2026-04-01 cs.CV cs.GR
Two-Stream Appearance Transfer Network for Person Image Generation
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Purdue University（普渡大学）
姿势引导人物图像生成装置，用于以输入人物图像和期望姿势为条件来生成照片真实感人物图像。该任务需要根据目标姿态对源图像进行空间操纵。然而，广泛用于图像生成和翻译的生成对抗网络（GANs）依赖于空间局部和翻译等变算子，即，卷积、池化和解池化，无法处理大的图像变形。本文介绍了一种新的双流外观传输网络（2s-ATN），以应对这一挑战。它是一个多级体系结构，由源流和目标流组成。每一级都有一个外观转换模块和多个双流特征融合模块。前者先找到两个流特征图之间的密集对应关系，然后将表观信息从源流传递到目标流。后者在两个流之间交换本地信息，并补充非本地外观传输。定量和定性的实验结果表明，该算法能够有效地处理大的空间变形和遮挡，同时保持图像的外观细节。它在两个广泛使用的基准测试中优于现有技术。
2020-11-09 cs.CV
HumanGAN: A Generative Model of Humans Images
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
生成对抗网络在包括人类图像在内的各个领域的真实感图像合成中取得了很好的性能。然而，它们通常采用对采样输出进行全局编码的潜在向量。这不允许方便地控制图像的语义相关的各个部分，并且不能绘制仅在部分方面（例如服装风格）不同的样本。我们解决了这些限制，并提出了一个生成模型的服装人类提供控制姿势，局部身体部位的外观和服装风格的图像。这是第一个方法，以解决各个方面的人体图像生成，如全球外观采样，姿势转移，零件和服装转移，并在一个统一的框架部分采样联合。由于我们的模型在标准化的姿势无关空间中编码基于部分的潜在外观向量，并将其扭曲为不同的姿势，因此它在不同的姿势下保留了身体和服装外观。实验表明，我们的灵活和通用的生成方法优于任务特定的基线的姿态条件下的图像生成，姿态转移和部分采样的真实感和输出分辨率。
2021-03-11 cs.CV
Pose-Guided Human Animation from a Single Image in the Wild
University of Minnesota（明尼苏达大学）；Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）
我们提出了一种新的姿势转移方法，从一个单一的图像控制的身体姿势序列的人合成的人类动画。现有的姿势转移方法表现出显着的视觉伪影时，适用于一个新的场景，导致在时间上的不一致性和失败，在保留的身份和纹理的人。为了解决这些限制，我们设计了一个组合神经网络，预测的轮廓，服装标签，和纹理。每个模块化网络明确专用于可以从合成数据学习的子任务。在推理时，我们利用经过训练的网络在UV坐标中生成外观及其标签的统一表示，该表示在各个姿势中保持不变。统一表示提供了不完整但强有力的指导，以响应于姿势变化生成外观。我们使用经过训练的网络来完成外观并将其与背景一起渲染。通过这些策略，我们能够合成人类动画，这些动画可以以时间连贯的方式保留人的身份和外观，而无需对测试场景中的网络进行任何微调。实验表明，我们的方法优于国家的最先进的合成质量，时间一致性，和泛化能力。
2021-11-22 cs.CV
Pose Guided Human Video Generation
CUHK-SenseTime Joint Lab（香港中文大学-商汤联合实验室）；SenseTime Research（商汤科技研究院）；Carnegie Mellon University（卡内基梅隆大学）
由于生成对抗网络的出现，视频合成技术取得了突破性的进展。然而，现有的方法缺乏一个适当的表示来显式地控制视频中的动态。另一方面，人体姿态可以内在地和可解释地表示运动模式，并且施加几何约束而不管外观如何。在本文中，我们提出了一种姿势指导的方法来合成人类视频在一个解开的方式：合理的运动预测和连贯的外观生成。在第一阶段中，姿态序列生成对抗网络（PSGAN）以对抗方式学习以产生以类别标签为条件的姿态序列。在第二阶段中，语义一致的生成对抗网络（SCGAN）从姿势生成视频帧，同时保留输入图像中的连贯外观。通过在高特征级别上执行生成的姿势和地面真实姿势之间的语义一致性，我们的SCGAN对噪声或异常姿势具有鲁棒性。在人体动作和人脸数据集上的大量实验表明，该方法优于其他国家的艺术。
2018-07-30 cs.CV
Detailed Geometry and Appearance from Opportunistic Motion
Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）
本文提出利用物体偶然运动获取更多准确的3D几何与外观，通过联合姿态与形状优化和新型外观模型提升重建精度。
2026-03-27 cs.CV
Event-based Motion & Appearance Fusion for 6D Object Pose Tracking
Event-driven Perception for Robotics, Istituto Italiano di Tecnologia, Italy（事件驱动感知机器人实验室，意大利理工学院）；Humanoid Sensing and Perception, Istituto Italiano di Tecnologia, Italy（人形感知与感知，意大利理工学院）；University of Genoa, Genoa, Italy（热那亚大学，意大利）
提出一种结合事件相机高时间分辨率优势的无学习方法，通过事件光流传播姿态并利用模板匹配校正，在高速运动物体上达到或超越现有算法性能。
2026-05-26 cs.CV
QuerySplat: Decoupling Geometry and Appearance Representations in 3DGS Prediction
Inspatio
QuerySplat是解耦3DGS几何与外观表示的前馈框架，通过双分支解码器缓解模糊问题，在DL3DV基准上实现SOTA新视图合成，PSNR较基线显著提升。
2026-08-04 cs.CV
Pose for Action - Action for Pose
University of Bonn（波恩大学）
在这项工作中，我们建议利用人类行动的信息，以提高单目视频的姿态估计。为此，我们提出了一个图形结构模型，利用高层次的活动信息，将高阶部分的依赖关系，通过建模动作特定的外观模型和构成先验。然而，我们的姿势估计框架有效地估计了动作先验，而不是使用额外的昂贵的动作识别框架。这是通过从统一的动作先验开始并在姿态估计期间更新动作先验来实现的。我们还表明，学习适量的动作类之间的外观共享提高了姿态估计。我们在两个具有挑战性的数据集上证明了所提出的方法的有效性，这些数据集用于姿势估计和动作识别，具有超过80，000张测试图像。
2017-02-10 cs.CV
Shape, Pose, and Appearance from a Single Image via Bootstrapped Radiance Field Inversion
ETH Zurich（苏黎世联邦理工学院）；Google（谷歌）；TU Munich（慕尼黑工业大学）
神经辐射场（NeRF）与GANs耦合代表了从单个视图进行3D重建领域的一个有前途的方向，因为它们能够有效地对任意拓扑结构进行建模。然而，该领域最近的工作主要集中在合成数据集上，其中精确的地面真实姿态是已知的，并且忽略了姿态估计，这对于某些下游应用（例如增强现实（AR）和机器人）是重要的。我们介绍了一个原则性的端到端的自然图像重建框架，准确的地面实况构成不可用。我们的方法从对象的单个图像中恢复SDF参数化的3D形状，姿势和外观，而无需在训练期间利用多个视图。更具体地说，我们利用了一个无条件的3D感知生成器，我们应用了一个混合反演方案，其中一个模型产生了解决方案的第一个猜测，然后通过优化进行了细化。我们的框架可以在短短10个步骤中对图像进行反渲染，使其能够在实际场景中使用。我们在各种真实和合成基准上展示了最先进的结果。
2023-03-20 cs.AI cs.CV cs.GR
Pose and Shape Estimation with Discriminatively Learned Parts
University of Pennsylvania（宾夕法尼亚大学）
我们介绍了一种新的方法来估计的3D姿态和3D形状的对象从一个单一的图像。给定视图样本的训练集，我们学习并选择基于外观的区分部分，这些区分部分通过设施位置优化从训练集中映射到3D模型上。3D模型的训练集被概括为一组稀疏的形状，我们可以通过线性组合来概括。给定一个测试图片，我们检测每个部分的假设。主要的挑战是从这些假设中进行选择，并同时计算3D姿态和形状系数。为了实现这一点，我们优化的功能，同时最大限度地减少几何重投影误差以及外观匹配的零件。我们应用交替方向乘法（ADMM），以最小化所得的凸函数。我们在细粒度3D汽车数据集上评估了我们的方法，该数据集在形状和姿态误差方面具有优异的性能。我们的主要和新颖的贡献是通过最大限度地提高几何和外观的兼容性，同时解决局部化，三维姿态和形状。
2015-02-01 cs.CV
MagicPose: Realistic Human Poses and Facial Expressions Retargeting with Identity-aware Diffusion
University of Southern California（南加州大学）；ByteDance Inc（字节跳动公司）
本文提出MagicPose，一种基于扩散模型的两阶段训练方法，通过解耦外观与姿态实现身份保持的人体姿态和面部表情重定向，并可即插即用地扩展Stable Diffusion。
2024-05-05 cs.CV
FLARE: Feed-forward Geometry, Appearance and Camera Estimation from Uncalibrated Sparse Views
Zhejiang University（浙江大学）；Ant Group（蚂蚁集团）；University of Oxford（牛津大学）；Stanford University（斯坦福大学）
FLARE通过前馈模型从少量未校准稀疏视角图像中高效推断出高质量的相机姿态、3D几何和新视角合成。
2026-01-25 cs.CV
Neural Actor: Neural Free-view Synthesis of Human Actors with Pose Control
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Facebook AI Research（Facebook 人工智能研究院）
我们提出了神经演员（NA），一种新的方法，高品质的合成人类从任意的观点和任意可控的姿态。我们的方法是建立在最近的神经场景表示和渲染工作，学习表示的几何形状和外观，只有2D图像。虽然现有的作品展示了令人信服的静态场景的渲染和动态场景的回放，但使用神经隐式方法，特别是在用户控制的新颖姿势下，对人类进行照片般逼真的重建和渲染仍然很困难。为了解决这个问题，我们利用一个粗略的身体模型作为代理，将周围的3D空间展开成一个规范的姿势。神经辐射场从多视图视频输入学习规范空间中的姿势相关的几何变形以及姿势和视图相关的外观效果。为了合成高保真动态几何形状和外观的新视图，我们利用身体模型上定义的2D纹理图作为预测残余变形和动态外观的潜在变量。实验表明，我们的方法在回放和新颖的姿势合成方面比最先进的方法具有更好的质量，甚至可以很好地推广到与训练姿势截然不同的新姿势。此外，我们的方法还支持合成结果的体型控制。
2022-01-04 cs.CV cs.GR cs.LG
Chained Multi-stream Networks Exploiting Pose, Motion, and Appearance for Action Classification and Detection
University of Freiburg（弗莱堡大学）
一般的人类动作识别需要理解各种视觉线索。在本文中，我们提出了一个网络架构，计算和集成最重要的视觉线索的动作识别：姿势，运动和原始图像。对于整合，我们引入了一个马尔可夫链模型，依次添加线索。所得到的方法是有效的，适用于动作分类以及空间和时间的动作定位。这两项贡献明显改善了各自基线的业绩。整体方法在HMDB 51、J-HMDB和NTU RGB+D数据集上实现了最先进的动作分类性能。此外，它产生了最先进的时空动作定位结果UCF 101和J-HMDB。
2017-05-26 cs.AI cs.CV cs.HC
GloSplat: Joint Pose-Appearance Optimization for Faster and More Accurate 3D Reconstruction
Department of Computer Science, Northwestern Polytechnical University, Shanxi, China（计算机科学系，西北工业大学，山西，中国）
GloSplat通过联合姿态-外观优化提升3D重建速度和精度，提供无COLMAP和详尽匹配两种变体，实现高效且高质量的重建效果。
2026-03-05 cs.CV cs.GR
UPGPT: Universal Diffusion Model for Person Image Generation, Editing and Pose Transfer
University of Surrey（萨里大学）
针对 T2I 人物外观不一致问题，本文提出融合文本、姿态与视觉提示的多模态扩散模型 UPGPT，统一支持人物生成、姿态迁移、无遮罩编辑及姿态与相机视角同步插值。
2023-07-26 cs.AI cs.CV
FSRT: Facial Scene Representation Transformer for Face Reenactment from Factorized Appearance, Head-pose, and Facial Expression Features
Autonomous Intelligent Systems - Computer Science Institute VI and Center for Robotics, University of Bonn（波恩大学自主智能系统 - 计算机科学第六研究所与机器人中心）；Lamarr Institute for Machine Learning and Artificial Intelligence（拉马尔机器学习和人工智能研究所）
本文提出FSRT，一种基于Transformer的人脸重现方法，通过自监督分解外观、头部姿态和表情特征，支持跨人重现和多源图像适应，实验表明其在运动迁移质量和时间一致性上优于现有方法。
2024-06-10 cs.CV
Pose from Action: Unsupervised Learning of Pose Features based on Motion
Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所）
人类的动作是由一系列姿势组成的。这使得人类的视频成为人类姿势的丰富而密集的来源。我们提出了一种无监督的方法来学习姿势特征的视频，利用信号，这是补充的外观，并可用作监督：运动。关键的想法是，人类在执行动作时以可预测的方式完成姿势。因此，给定两个姿势，应该可以对引起它们之间变化的运动进行建模。我们将每个姿势表示为CNN（外观ConvNet）中的特征，并使用单独的CNN（运动ConvNet）从光流图生成运动编码。该任务的数据是自动生成的，允许我们在没有人工监督的情况下进行训练。我们通过对FLIC数据集上的姿势估计、PASCAL上的静态图像动作识别以及UCF 101和HMDB 51上的视频动作识别的训练模型进行微调，展示了学习表示的强度。
2016-09-18 cs.CV
Fusion Embedding for Pose-Guided Person Image Synthesis with Diffusion Model
Department of Industrial Engineering（工业工程系）
提出FPDM框架，通过对比学习显式对齐融合源-姿态嵌入与目标图像嵌入，并作为条件信号生成，解决姿态引导人物图像合成中纹理保真度和一致性问题。
2026-05-23 cs.AI cs.CV
Semantic Part Segmentation using Compositional Model combining Shape and Appearance
University of California, Los Angeles（加州大学洛杉矶分校）
在本文中，我们研究的问题，语义部分分割的动物。这比标准的目标检测、目标分割和姿态估计任务更具挑战性，因为动物的语义部分通常具有相似的外观和高度变化的形状。为了应对这些挑战，我们建立了一个混合的组合模型来表示对象边界和语义部分的边界。我们将边缘，外观和语义部分线索到组成模型。鉴于部分级别的分割注释，我们开发了一种新的算法来学习的组合模型的各种姿势和观点的某些动物类的混合物。此外，一个线性复杂性算法提供了有效的推理组合模型使用动态规划。我们使用Pascal VOC 2010上新注释的数据集评估我们的方法，该数据集具有像素部分标签。实验结果证明了该方法的有效性。
2014-12-18 cs.CV
Animal Avatars: Reconstructing Animatable 3D Animals from Casual Videos
Meta；University College London（伦敦大学学院）
提出一种从单目视频构建可动画化狗虚拟形象的方法，通过4D联合求解姿态与外观，利用连续表面嵌入改进SMAL模型拟合，并设计隐式双面网格纹理，在CoP3D和APTv2数据集上优于现有方法。
2024-03-25 cs.CV
Unsupervised Landmark Learning from Unpaired Data
The Chinese University of Hong Kong（香港中文大学）
最近的无监督地标学习尝试利用外观相似但姿势不同的合成图像对。这些方法通过鼓励原始图像和从交换的外观和姿势重建的图像之间的一致性来学习地标。虽然合成图像对是通过应用预定义的变换来创建的，但它们不能完全反映外观和姿势的真实变化。在本文中，我们的目标是打开学习地标的可能性对未配对的数据（即未对齐的图像对）从一个自然的图像集合中采样，使他们可以在外观和姿势不同。为此，我们提出了一个跨图像周期一致性框架（$C^3$），它适用于交换重建策略两次，以获得最终的监督。此外，还引入了跨图像流模块，以在跨图像的估计地标之间施加等方差。通过全面的实验，我们提出的框架被证明优于强基线的大幅度。除了定量结果外，我们还提供了对学习模型的可视化和解释，这不仅验证了学习地标的有效性，而且还为未来的研究提供了重要的见解。
2020-06-29 cs.CV
