hYOLO Model: Enhancing Object Classification with Hierarchical Context in YOLOv8
本文提出基于YOLOv8的端到端层次模型hYOLO，通过层次架构、改进损失函数和定制指标，利用对象间层次关系增强图像分类，在两种层次分类上验证了其优于传统平面分类方法。
2025-10-27 cs.CV
Local-HDP: Interactive Open-Ended 3D Object Categorization in Real-Time Robotic Scenarios
Bernoulli Institute, University of Groningen（格罗宁根大学伯努利研究所）
我们介绍了一个非参数的分层贝叶斯方法的开放式3D对象分类，命名为本地分层狄利克雷过程（本地HDP）。该方法允许智能体增量地学习每个类别的独立主题，并及时适应环境。分层贝叶斯方法，如潜在狄利克雷分配（LDA）可以将低级别的功能转换为高级别的概念主题，用于3D对象分类。然而，基于LDA的方法的效率和准确性取决于手动选择的主题的数量。此外，固定所有类别的主题数量可能会导致模型的过度拟合或欠拟合。相比之下，建议的本地HDP可以自主地确定每个类别的主题的数量。此外，在线变分推理方法已被改编为快速后验近似的局部HDP模型。实验表明，所提出的本地HDP方法优于其他国家的最先进的方法，在准确性，可扩展性和内存效率的大幅度提高。此外，两个机器人实验已经进行了实时的【形】应用程序中所提出的方法的适用性。
2021-04-11 cs.CV stat.ML
Fine-Grained Categorization via CNN-Based Automatic Extraction and Integration of Object-Level and Part-Level Features
Hong Kong University of Science and Technology（香港科技大学）
细粒度分类可以受益于基于部件的特征，这些特征揭示了对象类别之间的细微视觉差异。手工特征已广泛用于零件检测和分类。虽然最近的趋势是使用强大的深度学习模型（如卷积神经网络（CNN））自动学习这些特征，但它们的训练和测试可能需要手动提供注释，这是昂贵的。为了放松这些要求，我们在这项研究中假设一个一般的问题设置，其中原始图像只提供对象级别的类标签用于模型训练，不需要其他辅助信息。具体来说，通过提取和解释由CNN学习的分层隐藏层特征，我们提出了一个精细的基于CNN的细粒度分类系统。当在Caltech-UCSD Birds-200-2011，FGVC-Aircraft，Cars和Stanford dogs数据集上进行评估时，在仅使用对象级别的类标签进行训练并且没有其他注释可用于训练和测试的设置下，我们的方法实现了优于或可与现有技术相比的令人印象深刻的性能。它揭示了CNN学习的层次特征的巧妙使用，其具有广泛的适用性，远远超出了当前的细粒度分类任务。
2017-06-22 cs.CV
Convolutional Networks for Object Category and 3D Pose Estimation from 2D Images
Johns Hopkins University（约翰斯·霍普金斯大学）
当前用于恢复图像中的对象的3D姿态的基于CNN的算法假定关于对象类别及其在图像中的2D定位的知识。在本文中，我们放松这些约束之一，并提出解决任务的联合对象类别和3D姿态估计的图像假设已知的2D本地化。我们设计了一个新的架构，由一个功能网络，子任务之间共享，对象分类网络上的功能网络，和类别相关的姿态回归网络的集合。我们还介绍了合适的损失函数和新的体系结构的训练方法。在具有挑战性的PASCAL3D+数据集上的实验显示了联合分类和姿态估计任务的最新性能。此外，我们在联合任务上的性能与已知对象类别任务的更简单的3D姿态估计上的最新方法的性能相当。
2018-07-20 cs.CV
Part-based R-CNNs for Fine-grained Category Detection
University of California, Berkeley（加州大学伯克利分校）
语义部分本地化可以通过显式隔离与特定对象部分相关联的细微外观差异来促进细粒度分类。已经提出了用于姿势归一化表示的方法，但是由于目标检测的困难，通常在测试时假定限界框注释。我们提出了一个细粒度分类模型，通过利用自下而上区域建议计算的深度卷积特征来克服这些限制。我们的方法学习整个对象和部分检测器，在它们之间强制执行学习的几何约束，并从姿势规范化表示中预测细粒度的类别。加州理工大学-加州大学圣地亚哥分校的鸟类数据集上的实验证实，我们的方法优于国家的最先进的细粒度分类方法在端到端的评估，而不需要在测试时的限界框。
2014-07-15 cs.CV
Hierarchical Temporal Transformer for 3D Hand Pose Estimation and Action Recognition from Egocentric RGB Videos
The University of Hong Kong（香港大学）；Microsoft Research Asia（微软亚洲研究院）；TransGP；Texas A&M University（德克萨斯农工大学）
从以自我为中心的RGB视频中理解动态手部运动和动作是一项基本但具有挑战性的任务，因为自遮挡和模糊性。为了解决遮挡和模糊性，我们开发了一个基于变换的框架，利用时间信息进行鲁棒估计。注意到不同的时间粒度和手势估计和动作识别之间的语义相关性，我们建立了一个网络层次结构与两个级联的Transformer编码器，其中第一个利用短期的时间线索的手势估计，后者聚合每帧的姿势和对象信息在一个较长的时间跨度来识别的动作。我们的方法在两个第一人称手部动作基准上取得了有竞争力的结果，即FPHA和H2O。广泛的消融研究验证了我们的设计选择。
2023-03-29 cs.CV cs.RO
Open-Ended Fine-Grained 3D Object Categorization by Combining Shape and Texture Features in Multiple Colorspaces
University of Groningen（格罗宁根大学）
随着服务机器人数量的不断增加，对高精度实时3D物体识别的需求也在不断增长。考虑到机器人应用在更复杂和动态环境中的扩展，很明显，不可能预先编程所有对象类别并提前预测所有异常。因此，机器人应该有一个开放式的方式学习新的对象类别的功能，而在环境中working.Towards这个目标，我们提出了一个深迁移学习方法来生成一个尺度和姿态不变的对象表示，考虑在多个颜色空间的形状和纹理信息。然后将获得的全局对象表示馈送到基于实例的对象类别学习和识别，其中非专家人类用户存在于学习循环中，并且可以通过教导新的对象类别或通过校正不足或错误的类别来交互地指导经验获取的过程。在这项工作中，形状信息编码的所有类别的共同模式，而纹理信息被用来描述每个实例的外观细节。多个颜色空间组合和网络架构进行评估，以找到最具描述性的系统。实验结果表明，所提出的网络架构优于选定的国家的最先进的方法在对象分类的准确性和可扩展性。此外，我们进行了一个真正的机器人实验的背景下，服务一个啤酒的情况下，显示所提出的方法的实时性能。
2021-05-28 cs.CV cs.RO
MNIST-Gen: A Modular MNIST-Style Dataset Generation Using Hierarchical Semantics, Reinforcement Learning, and Category Theory
School of Computing and Augmented Intelligence（计算与增强智能学院）；Arizona State University（亚利桑那州立大学）；Department of Mathematics（数学系）；Florida State University（佛罗里达州立大学）；School of Arts, Media and Engineering（艺术、媒体与工程学院）
MNIST-Gen通过结合CLIP语义理解、强化学习和人类反馈，实现自动生成MNIST风格数据集，支持复杂分类结构，生成Tree-MNIST和Food-MNIST等任务专用数据集，实现85%自动分类准确率和80%时间节省。
2025-07-16 cs.AI cs.CV cs.HC
Object categorization in finer levels requires higher spatial frequencies, and therefore takes longer
University of Tehran（德黑兰大学）；Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM））；CNRS – Université de Toulouse 3（法国国家科学研究中心-图卢兹第三大学）
人类视觉系统包含在不同抽象层次参与视觉感知的模块的分层序列，即，上级、基层和下级。一个重要的问题是要确定的“入口”的水平，在视觉表示开始在对象识别的过程中。长期以来，人们认为基本水平优于其他两个水平;最近这一说法受到质疑。在这里，我们使用了一系列的心理物理学实验，快速呈现范式的基础上，以及两个计算模型，带通滤波图像研究的处理顺序的分类水平。在这些实验中，我们研究了通过改变输入图像的空间频带来对每个级别中的对象进行分类所需的视觉信息的类型。我们的心理物理学实验和计算模型的结果是一致的。结果表明，不同的空间频率信息对不同层次的物体分类有不同的影响。在缺乏高频信息的情况下，下级和基本级别的分类是不准确的，而上级级别的分类是正确的。这意味着，低频信息对于上级层是足够的，但对于基本层和下级层是不够的。这些更精细的水平需要高频信息，这似乎需要更长的时间来处理，导致更长的反应时间。最后，为了避免天花板效应，我们通过向输入图像添加不同量的噪声并重复实验来评估结果的鲁棒性。正如预期的那样，分类准确率下降，反应时显著增加，但趋势是相同的，这表明我们的结果不是由于天花板效应。
2017-03-29 cs.CV q-bio.NC
Context-Semantic Quality Awareness Network for Fine-Grained Visual Categorization
提出CSQA-Net，通过多部位多尺度交叉注意力与多层级语义质量评估模块，提升细粒度视觉分类中特征表示的判别能力，在四个数据集上超越现有方法。
2024-03-15 cs.CV
Hierarchical Attention and Graph Neural Networks: Toward Drift-Free Pose Estimation
The National Institute for Research in Digital Science and Technology (Inria)（法国国家数字科学与技术研究院（Inria））
本文提出用层次化注意力与图神经网络替代传统几何配准和位姿图优化，通过压缩数据流保留刚体位姿估计关键信息，在KITTI Odometry数据集上显著提升位姿估计精度，尤其改善了旋转分量估计。
2023-09-18 cs.CV cs.LG cs.RO
Learning Hierarchical Visual Representations in Deep Neural Networks Using Hierarchical Linguistic Labels
University of California, Berkeley（加利福尼亚大学伯克利分校）
现代卷积神经网络（CNN）能够在特定任务上实现人类水平的对象分类准确性，并且目前在解释复杂的人类视觉表示方面优于竞争模型。然而，这些网络的分类问题与人类不同：这些网络的准确性是通过识别分配给每个图像的单个标签的能力来评估的。这些标签通常任意地跨越自然心理分类（例如，狗被分成不同的品种，但从来没有共同归类为“狗”），并使结果表示有偏差。相比之下，儿童通常会听到“狗”和“达尔马提亚”来描述相同的刺激，这有助于将感知上不同的物体分组（例如，#21453;成一个共同的心理类。在这项工作中，我们训练CNN分类器，每个图像都有多个标签，对应于不同的抽象层次，并使用这个框架来重现人类泛化行为中出现的经典模式。
2018-05-19 cs.CV
Pose-adaptive Hierarchical Attention Network for Facial Expression Recognition
China University of Geosciences（中国地质大学）；Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
多视角面部表情识别（FER）是一项具有挑战性的任务，因为表情的外观在姿势上是不同的。为了减轻姿势的影响，最近的方法要么执行姿势归一化，要么为每个姿势学习单独的FER分类器。然而，这些方法通常有两个阶段，并依赖于姿态估计器的良好性能。与现有的方法不同，我们提出了一个姿态自适应层次注意力网络（PhaNet），可以联合识别的面部表情和姿态在无约束的环境。具体而言，PhaNet发现最相关的区域的面部表情的注意力机制在分层尺度，和最具信息量的尺度，然后选择学习的姿态不变和表情歧视表示。PhaNet是端到端可训练的，通过动态学习的损失权重最小化分层注意力损失、FER损失和姿势损失。我们在三个多视图数据集（BU-3DFE，Multi-pie和KDEF）和两个野外FER数据集（AffectNet和SFEW）上验证了所提出的PhaNet的有效性。大量的实验表明，该框架在数据集内和跨数据集的情况下都优于现有的框架，平均准确率分别达到84.92%、93.53%、88.5%、54.82%和31.25%。
2019-05-24 cs.CV
HiPART: Hierarchical Pose AutoRegressive Transformer for Occluded 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）
针对二维到三维人体姿态估计中遮挡问题，提出HiPART，通过两阶段生成式致密化生成分层二维密集姿态，提升鲁棒性，在单帧任务上达最优，并优于多帧方法且降低复杂度。
2025-03-30 cs.CV cs.LG
Disentangled Diffusion-Based 3D Human Pose Estimation with Hierarchical Spatial and Temporal Denoiser
提出DDHPose，一种基于解耦扩散的3D人体姿态估计方法，通过在扩散过程中解耦骨骼长度与方向并引入分层时空去噪器（HSTDenoiser），有效缓解层级误差累积，提升了单目3D姿态估计的精度。
2025-06-30 cs.CV
Kinematic-aware Hierarchical Attention Network for Human Pose Estimation in Videos
Korea University（高丽大学）
先前基于视频的人体姿态估计方法已经通过利用连续帧的聚合特征显示出有希望的结果。然而，大多数方法妥协的准确性，以减轻抖动或不充分理解人类运动的时间方面。此外，遮挡增加了连续帧之间的不确定性，这导致不平滑的结果。为了解决这些问题，我们设计了一个架构，利用关键点运动学功能与以下组件。首先，我们有效地捕捉时间特征，利用个别关键点的速度和加速度。其次，所提出的分层Transformer编码器聚合时空依赖性，并细化从现有估计器估计的2D或3D输入姿态。最后，我们在编码器生成的精确输入姿势和解码器的最终姿势之间提供在线交叉监督，以实现联合优化。我们展示了全面的结果，并验证了我们的模型在各种任务中的有效性：2D姿态估计，3D姿态估计，人体网格恢复，稀疏注释的多人姿态估计。我们的代码可在https://github.com/KyungMinJin/HANet上获得。
2022-11-29 cs.CV
Unsupervised 3D Pose Estimation for Hierarchical Dance Video Recognition
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
舞蹈专家通常将舞蹈视为信息的层次结构，跨越低层次（原始图像，图像序列），中级（人体姿势和身体部位运动）和高级（舞蹈类型）。我们提出了一个层次化的舞蹈视频识别框架（HDVR）。HDVR估计2D姿势序列、跟踪舞者，然后同时估计相应的3D姿势和3D到2D成像参数，而不需要3D姿势的地面实况。与大多数对单个人起作用的方法不同，我们的跟踪在遮挡下对多个舞者起作用。从估计的3D姿态序列中，HDVR提取身体部位运动，并从中提取舞蹈类型。由此产生的分层舞蹈表示是可以解释的专家。为了克服噪声和帧间对应的模糊性，我们强制执行空间和时间的运动平滑度和光度连续性随着时间的推移。我们使用LSTM网络来提取3D运动序列，从中识别舞蹈类型。对于实验，我们已经确定了154个运动类型，16个身体部位，并组装了一个新的伊利诺伊大学舞蹈（UID）数据集，包含1143个视频剪辑的9个流派，涵盖30小时，注释运动和流派标签。我们的实验结果表明，我们的算法优于国家的最先进的3D姿态估计方法，这也提高了我们的舞蹈识别性能。
2021-09-19 cs.CV
Spatial Attention Deep Net with Partial PSO for Hierarchical Hybrid Hand Pose Estimation
Imperial College London（帝国理工学院）
判别式方法通常生成运动学上不可信的手部姿势，然后在混合方法中使用生成式方法来校正（或验证）这些结果。在层次结构中估计3D手部姿态，其中高维输出空间被分解成较小的空间，已被证明是有效的。现有的分层方法主要集中在输出空间的分解，而输入空间保持几乎相同的沿层次。在本文中，提出了一种混合的手姿态估计方法，应用运动层次策略的输入空间（以及输出空间）的判别方法的空间注意力机制和优化的生成方法的分层粒子群优化（PSO）。空间注意力机制通过变换输入（和特征空间）和输出空间将级联和分层回归集成到CNN框架中，这大大减少了视点和清晰度变化。在层次结构中的级别之间，分层PSO将运动学约束强加给CNN的结果。实验结果表明，我们的方法显着优于四个国家的最先进的方法和三个基线上的三个公共基准。
2016-10-20 cs.CV
Learning Visual Symbols for Parsing Human Poses in Images
Nanjing University of Science and Technology（南京理工大学）；NICTA
解析图像中的人体姿态是人工智能主体提取关键视觉信息的基础。我们的目标是从图像中学习自包含的身体部位表示，我们称之为视觉符号，以及在此解析过程中的符号几何上下文。每个符号都是通过对几何信息所利用的视觉特征进行分类来单独学习的。在分类中，我们使用潜在的支持向量机，其次是一个有效的交叉验证过程来学习视觉符号。然后，这些符号自然地以细粒度定义身体部位的几何上下文。当组成部分的结构是一棵树，我们得出一个有效的方法来估计图像中的人体姿势。在两个大型数据集上的实验表明，我们的方法优于最先进的方法。
2013-04-23 cs.CV
HMOR: Hierarchical Multi-Person Ordinal Relations for Monocular Multi-Person 3D Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；SenseTime Research（商汤科技研究院）
单目RGB摄像机的三维人体姿态估计取得了显著的进展。然而，只有少数研究探讨了3D多人病例。在本文中，我们试图通过引入一种新的监督形式-层次多人顺序关系（HMOR）来解决自上而下方法缺乏全局视角的问题。HMOR将交互信息分层编码为深度和角度的顺序关系，在保持全局一致性的同时，捕获了身体部位和关节级别的语义。在我们的方法中，一个集成的自上而下的模型，旨在利用这些顺序关系的学习过程中。该集成模型同时估计人体边界框、人体深度和根相关3D姿态，具有由粗到细的架构以提高深度估计的准确性。所提出的方法显着优于国家的最先进的方法公开可用的多人3D姿态数据集。除了优越的性能，我们的方法成本较低的计算复杂度和较少的模型参数。
2020-08-10 cs.CV
Articulated Pose Estimation Using Hierarchical Exemplar-Based Models
Columbia University in the City of New York（纽约市哥伦比亚大学）
基于范例的模型在半刚性物体的局部定位方面取得了巨大的成功。然而，它们对人类等高度铰接的物体的功效还有待探索。受分层对象表示和深度卷积神经网络（DCNN）在人体姿态估计上的最新应用的启发，我们提出了一种新的配方，该配方在空间方面结合了基于分层样本的模型和DCNN。具体来说，我们获得更有表现力的空间模型，通过假设在不同层次的样本之间的独立性，我们也获得了更强的空间约束，通过推断在同一级别的部分之间的空间关系。由于我们的方法在空间模型的表现力和强度之间取得了很好的平衡，因此它既有效又可推广，在不同的基准上实现了最先进的结果：利兹体育数据集和CUB-200-2011。
2015-12-13 cs.CV
Hierarchical Kinematic Probability Distributions for 3D Human Shape and Pose Estimation from Images in the Wild
University of Cambridge（剑桥大学）
本文讨论了从RGB图像中估计三维人体形状和姿态的问题。这通常是一个不适定的问题，因为多个看似合理的3D物体可能匹配输入中存在的视觉证据-特别是当主体被遮挡时。因此，期望估计以输入图像而不是单个3D重建为条件的3D身体形状和姿势上的分布。我们训练深度神经网络来估计相对3D关节旋转矩阵（即身体姿势）上的分层矩阵Fisher分布，其利用人体的运动学树结构以及SMPL体形参数上的高斯分布。为了进一步确保预测的形状和姿态分布与输入图像中的视觉证据相匹配，我们实现了可微分拒绝采样器，以在地面真实2D联合坐标和投影到图像平面上的预测分布的样本之间施加重投影损失。我们表明，我们的方法在SSP-3D和3DPW数据集上的3D形状和姿势度量方面与最先进的方法具有竞争力，同时还产生了3D身体形状和姿势的结构化概率分布，我们可以有意义地量化预测不确定性并对多个合理的3D重建进行采样以解释给定的输入图像。代码可在https://github.com/akashsengupta1997/HierarchicalProbabilistic3DHuman上获得。
2022-11-23 cs.CV
3D Hierarchical Refinement and Augmentation for Unsupervised Learning of Depth and Pose from Monocular Video
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
深度和自我运动估计对于自主机器人和自主驾驶的定位和导航至关重要。最近的研究使得从未标记的单目视频中学习每个像素的深度和自我运动成为可能。提出了一种新的无监督训练框架，使用显式3D几何进行3D分层细化和增强。在这个框架中，深度和姿态估计是分层和相互耦合，以细化估计的姿态逐层。提出中间视图图像，并通过利用估计的深度和粗略姿态扭曲图像中的像素来合成中间视图图像。然后，可以从新视图图像和相邻帧的图像估计残余姿态变换以细化粗略姿态。本文以可微的方式实现迭代求精，使整个框架得到一致优化。同时，提出了一种新的图像增强方法，通过合成一个新的视图图像来进行姿态估计，该方法创造性地在3D空间中对姿态进行了增强，但得到了一个新的增强的2D图像。KITTI上的实验表明，我们的深度估计达到了最先进的性能，甚至超过了最近的方法，利用其他辅助任务。我们的视觉里程计优于所有最近的无监督单目学习的方法，并实现竞争力的性能，以几何为基础的方法，ORB-SLAM 2与后端优化。
2022-06-08 cs.CV
Probabilistic Visual Place Recognition for Hierarchical Localization
Queensland University of Technology（昆士兰科技大学）
视觉定位技术通常包括分层定位流水线，其中视觉位置识别模块用作粗略定位器以初始化姿态细化阶段。虽然改进姿态细化步骤一直是最近许多研究的焦点，但粗定位阶段的大多数工作都集中在改进上，例如增加对外观变化的不变性，而没有改进可能是松散的误差容限。在这封信中，我们提出了两种方法，适应图像检索技术用于视觉识别的贝叶斯状态估计制定本地化。我们展示了显着的改进，使用我们的方法的粗定位阶段的定位精度，同时保留国家的最先进的性能在严重的外观变化。在Oxford RobotCar数据集上进行了广泛的实验，结果表明，我们的方法在定位图像序列的精确召回性能方面优于同类最先进的方法。此外，我们提出的方法提供了灵活性，以上下文规模的本地化延迟，以实现这些改进。改进的初始定位估计开启了利用该改进的空间先验的改进的整体定位性能和修改的姿态细化技术两者的可能性。
2021-05-07 cs.CV cs.RO
Human Pose Transfer by Adaptive Hierarchical Deformation
Tianjin University（天津大学）
人体姿态转换作为一种错位图像生成任务，具有很大的挑战性。现有的方法不能有效地利用输入的信息，往往不能保持头发和衣服的风格和形状。在本文中，我们提出了一个自适应的人体姿势转移网络与两个层次的变形水平。第一级生成与目标姿态对准的人类语义解析，并且第二级生成具有语义指导的目标姿态中的最终纹理化的人图像。为了避免香草卷积的缺点，把所有的像素作为有效信息，我们使用门卷积在这两个级别的动态选择的重要功能和自适应变形的图像逐层。我们的模型具有非常少的参数，收敛速度快。实验结果表明，我们的模型实现了更好的性能与更一致的头发，脸和衣服，更少的参数比国家的最先进的方法。此外，我们的方法可以应用到服装纹理转移。
2020-12-13 cs.CV
A Hierarchical Pose-Based Approach to Complex Action Understanding Using Dictionaries of Actionlets and Motion Poselets
P. Universidad Catolica de Chile（智利天主教大学）；Stanford University（斯坦福大学）；Universidad del Norte（北方大学）
在本文中，我们介绍了一个新的层次模型，人体动作识别使用身体关节位置。我们的模型可以对视频中的复杂动作进行分类，并对组成正在执行的复杂动作的原子动作执行时空注释。也就是说，对于每个原子动作，模型通过估计其开始和结束时间来生成时间动作注释，以及通过推断执行动作所涉及的人体部位来生成空间注释。我们的模型包括三个关键的新特性：（i）它可以在没有空间监督的情况下进行训练，因为它可以仅从时间动作注释中自动发现活动的身体部位;（ii）它联合学习对身体部位和原子动作的视觉可变性进行编码的运动possible和actionlet的灵活表示;（iii）丢弃空闲或无信息的身体部位的机制，这增加了其对常见姿态估计误差的鲁棒性。我们使用多个动作识别基准评估我们的方法的性能。我们的模型始终优于基线和最先进的动作识别方法。
2016-06-15 cs.CV
Yoga-82: A New Dataset for Fine-grained Classification of Human Poses
Osaka University（大阪大学）；Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
人体姿态估计是计算机视觉中用于定位关节位置的众所周知的问题。现有的姿势学习数据集被认为在姿势多样性、对象遮挡和视角方面不够具有挑战性。这使得姿势注释过程相对简单，并限制了已在其上训练的模型的应用。为了处理更多种类的人体姿势，我们提出了细粒度分层姿势分类的概念，其中我们制定的姿势估计作为一个分类任务，并提出了一个数据集，瑜伽-82，大规模瑜伽姿势识别与82类。瑜伽-82由复杂的姿势组成，可能无法进行精细的注释。为了解决这个问题，我们提供了层次标签瑜伽姿势的基础上的身体配置的姿势。该数据集包含一个三级层次结构，包括身体位置，身体位置的变化，和实际的姿势名称。我们在Yoga-82上展示了最先进的卷积神经网络架构的分类精度。我们还提出了DenseNet的几个分层变体，以利用分层标签。
2020-04-22 cs.CV
Deep Neural Networks predict Hierarchical Spatio-temporal Cortical Dynamics of Human Visual Object Recognition
Massachusetts Institute of Technology（麻省理工学院）；Free University Berlin（柏林自由大学）
皮层视觉通路复杂的多阶段结构为人类有效的视觉物体识别提供了神经基础。然而，其中的阶段式计算仍然知之甚少。在这里，我们比较了时间（脑磁图）和空间（功能性MRI）视觉大脑表征与人工深层神经网络（DNN）中的表征，该网络调整到现实世界视觉识别的统计数据。我们发现DNN在时间和空间上捕捉了人类视觉处理的阶段，从早期视觉区域到背侧和腹侧流。对关键DNN参数的进一步研究表明，虽然模型架构很重要，但对真实世界分类的训练对于加强与大脑的时空层次关系是必要的。我们的研究结果一起提供了一个算法知情的视图在人类视觉大脑中的视觉对象识别的时空动态。
2016-01-12 cs.CV q-bio.NC
HPRNet: Hierarchical Point Regression for Whole-Body Human Pose Estimation
METU（中东技术大学）
在本文中，我们提出了一种新的自底向上的一阶段全身姿态估计方法，我们称之为“分层点回归”，或简称HPRNet。在标准身体姿势估计中，估计人体上的$\sim 17$主要关节的位置。相应地，在全身姿势估计中，也估计细粒度关键点（脸部68个，每只手21个，每只脚3个）的位置，这产生了需要解决的尺度方差问题。为了处理不同身体部位之间的尺度差异，我们建立了身体部位的分层点表示，并联合回归它们。每个部分（例如面部）中的细粒度关键点的相对位置参考该部分的中心进行回归，该部分的位置本身相对于人中心进行估计。此外，与现有的两阶段方法不同，我们的方法在恒定的时间内预测全身姿势，与图像中的人数无关。在COCO WholeBody数据集上，HPRNet在所有全身部位（即身体、脚、脸和手）的关键点检测上明显优于所有以前的自下而上方法;它还在脸（75.4 AP）和手（50.4 AP）关键点检测上取得了最先进的结果。代码和型号可在\url{https://github.com/nerminsamet/HPRNet}上找到。
2021-08-23 cs.CV
HSTFormer: Hierarchical Spatial-Temporal Transformers for 3D Human Pose Estimation
Case Western Reserve University（凯斯西储大学）；PAII Inc.（平安智能信息有限公司）；Ping An Technology（平安科技）；Duke Kunshan University（昆山杜克大学）
基于变换器的方法已经被成功地提出用于从2D姿态序列估计3D人体姿态（HPE），并且实现了最先进的（SOTA）性能。然而，当前的SOTA很难同时对不同级别的关节的时空相关性进行建模。这是由于姿势的时空复杂性。姿势以不同的速度暂时移动，不同的关节和身体部位在空间上移动。因此，千篇一律的Transformer是不适应的，并且难以满足“野外”要求。为了解决这个问题，我们提出了分层时空变换器（HSTFormer），以捕获多级关节的时空相关性从局部到全局逐渐准确的三维HPE。HSTFormer由四个Transformer编码器（TE）和一个融合模块组成。据我们所知，HSTFormer是第一个研究多级融合的层次TE。在三个数据集上进行了广泛的实验（即，Human3.6M、MPI-INF-3DHP和HumanEva）证明，HSTFormer在各种规模和难度的基准测试中实现了具有竞争力和一致性的性能。具体而言，它超越了具有挑战性的MPI-INF-3DHP数据集和小规模HumanEva数据集的最新SOTA，具有高度通用的系统方法。该代码可从以下网址获得：https://github.com/qianxiaoye825/HSTFormer。
2023-01-18 cs.CV
HR-APR: APR-agnostic Framework with Uncertainty Estimation and Hierarchical Refinement for Camera Relocalisation
The Hong Kong University of Science and Technology（香港科技大学）；University of Oxford（牛津大学）
提出APR无关框架HR-APR，通过余弦相似度估计不确定性并用于位姿精修，在保持SOTA精度的同时显著降低计算开销。
2024-04-18 cs.CV cs.RO
Unsupervised Domain Adaptation Learning for Hierarchical Infant Pose Recognition with Synthetic Data
University of Washington（华盛顿大学）；Electronics and Telecommunications Research Institute（电子与电信研究所）
阿尔伯塔省婴儿运动量表（AIMS）是一个众所周知的评估方案，通过记录实现的特定姿势的数量来评估婴儿的大运动发育。借助基于图像的姿势识别模型，AIMS评估程序可以缩短和自动化，提供潜在发育障碍的早期诊断或指标。由于有限的公共婴儿相关的数据集，许多作品使用基于SMIL的方法来生成合成的婴儿图像进行训练。然而，真实训练样本和合成训练样本之间的这种域不匹配通常会导致推理过程中的性能下降。在本文中，我们提出了一个基于CNN的模型，该模型以任何婴儿图像作为输入，并预测粗和细级别的姿势标签。该模型由图像分支和姿态分支组成，分别通过无监督领域自适应和使用具有SMPLify优化的HRNet生成3D关键点来生成粗级logits。然后，这些分支的输出将被发送到分层姿态识别模块，以估计精细级别的姿态标签。我们还收集并标记了一个新的AIMS数据集，其中包含750个真实和4000个合成婴儿图像与AIMS姿势标签。我们的实验结果表明，该方法可以显着对齐合成和真实世界的数据集的分布，从而实现细粒度的婴儿姿势识别的准确性能。
2022-05-04 cs.CV
Occlusion-aware Hand Pose Estimation Using Hierarchical Mixture Density Network
学习和预测给定图像的3D手模型的姿态参数，例如手关节的位置，是具有挑战性的，这是由于大的视点变化和关节运动，以及特别是在自我中心视图中表现出的严重自遮挡。特征学习和预测建模都被研究来解决这个问题。虽然有效，大多数现有的判别方法产生一个单一的确定性估计的目标位姿。由于其单值映射固有，它们无法充分处理自遮挡问题，其中遮挡关节呈现多种模式。在本文中，我们解决了自遮挡问题，并提供了一个完整的描述所观察到的构成给定的输入深度图像的分层混合密度网络（HMDN）的一种新方法。所提出的方法利用基于卷积神经网络的最先进的手部姿态估计器来促进特征学习，同时在两级层次结构中对多个模式进行建模，以协调其输出中的单值和多值映射。具有两个可微密度函数的混合的整个框架自然是端到端可训练的。在实验中，HMDN产生可解释的和多样化的候选样本，并显着优于国家的最先进的方法上的两个基准与闭塞，并执行另一个基准的闭塞。
2018-05-21 cs.CV
Fine-Grained Visual Categorization via Multi-stage Metric Learning
Michigan State University（密歇根州立大学）；Alibaba Group（阿里巴巴集团）；NEC Laboratories America（美国NEC实验室）
细粒度视觉分类（FGVC）是将对象分类为从属类而不是基本类。FGVC中的一个主要挑战是两个问题的共同出现：1）许多从属类高度相关并且难以区分，以及2）存在大的类内变化（例如，由于对象姿态）。本文提出通过距离度量学习（DML）明确解决上述两个问题。DML通过学习嵌入来解决第一个问题，这样来自同一个类的数据点将被拉到一起，而来自不同类的数据点应该被彼此推开;它通过允许只有一部分邻居（而不是所有数据点）需要被拉到一起的灵活性来解决第二个问题。然而，图像的特征表示通常是高维的，并且已知DML难以处理高维特征向量，因为它将需要$\mathcal{O}(d^2)$用于存储并且需要$\mathcal{O}(d^3)$用于优化。为此，我们提出了一个多阶段度量学习框架，将大规模高维学习问题分解为一系列简单的子问题，实现了$\mathcal{O}(d)$计算复杂性.通过对FVGC基准数据集的实证研究，验证了该方法与现有FGVC方法相比的有效性和高效性。
2015-06-04 cs.CV cs.LG stat.ML
3DYoga90: A Hierarchical Video Dataset for Yoga Pose Understanding
Korea University（高丽大学）
针对瑜伽动作识别需求，构建了包含90个姿势、三级标签层级及RGB视频和3D骨骼序列的3DYoga90数据集，并通过三种模型验证其有效性。
2023-10-16 cs.CV
Hierarchical Graph Networks for 3D Human Pose Estimation
Shanghai Jiao Tong University（上海交通大学）；Qualcomm AI Research（高通人工智能研究）
针对骨架拓扑稀疏和2D到3D歧义问题，提出分层图网络（HGN），通过多尺度图结构构建策略生成密集拓扑，结合并行子网络和特征融合策略，在减少参数的同时实现了最先进的3D人体姿态估计性能。
2023-04-04 cs.CV
PWCLO-Net: Deep LiDAR Odometry in 3D Point Clouds Using Hierarchical Embedding Mask Optimization
Shanghai Jiao Tong University（上海交通大学）；University of Cambridge（剑桥大学）
本文提出了一种新的用于深度LiDAR测距的3D点云学习模型PWCLO-Net，该模型使用分层嵌入掩模优化。在这个模型中，金字塔，翘曲，和成本体积（PWC）结构的激光雷达里程计任务的建立，以细化估计的姿态在一个粗略的到精细的方法分层。建立一个关注的成本卷，以关联两个点云，并获得嵌入的运动模式。然后，提出了一种新的可训练的嵌入掩模来加权所有点的局部运动模式，以回归整体姿态并过滤离群点。利用估计的当前位姿对第一点云进行变形，以桥接到第二点云的距离，然后建立剩余运动的代价体。同时，对嵌入模板进行了由粗到细的分层优化，以获得更准确的滤波信息用于姿态细化。迭代地使用可训练的姿态扭曲细化过程以使姿态估计对于离群值更鲁棒。我们的LiDAR里程模型的卓越性能和有效性在KITTI里程数据集上得到了证明。我们的方法优于所有最近的基于学习的方法，并优于基于几何的方法，LOAM与映射优化，在大多数序列的KITTI里程数据集。我们的源代码将在https://github.com/IRMVLab/PWCLONet上发布。
2021-04-02 cs.CV
SR-GNN: Spatial Relation-aware Graph Neural Network for Fine-Grained Image Categorization
Edge Hill University（边山大学）
在过去的几年中，基于深度卷积神经网络（CNN）的图像识别取得了重大进展。这主要是由于这种网络在从纹理和形状中挖掘有区别的对象姿态和部件信息方面的强大能力。这往往是不适当的细粒度视觉分类（FGVC），因为它表现出高的类内和低的类间方差，由于闭塞，变形，照明等，因此，一个富有表现力的特征表示描述全局结构信息是一个关键的对象/场景的特征。为此，我们提出了一种方法，有效地捕捉微妙的变化，通过聚合上下文感知功能，从最相关的图像区域和它们的重要性，在区分细粒度的类别，避免边界框和/或可区分的部分注释。我们的方法受到自注意和图神经网络（GNNs）方法的最新进展的启发，包括一个简单而有效的关系感知特征转换及其改进，使用上下文感知的注意力机制来提高转换后的特征在端到端学习过程中的可辨别性。我们的模型在八个基准数据集上进行了评估，这些数据集包括细粒度对象和人与对象的交互。它优于国家的最先进的方法，在识别精度的显着保证金。
2022-09-05 cs.AI cs.CV
On the Use of Hierarchical Vision Foundation Models for Low-Cost Human Mesh Recovery and Pose Estimation
NTT DOCOMO Business（NTT DOCOMO公司）；Tokyo Metropolitan University（东京 Metropolitan大学）
针对人体网格恢复与姿态估计任务，本研究提出采用分层视觉基础模型的早期阶段作为编码器，构建的轻量截断模型可在精度与计算效率间实现更优权衡。
2025-11-15 cs.CV
Pose-Controllable 3D Facial Animation Synthesis using Hierarchical Audio-Vertex Attention
Nanchang Hangkong University（南昌航空大学）；Dalian University of Technology（大连理工大学）；Cardiff University（卡迪夫大学）
现有的音频驱动的三维人脸动画方法大多缺乏对人脸表情和头部姿态的详细描述，导致人机交互效果不理想。提出了一种基于层次化音频-顶点注意力的姿态可控的三维人脸动画合成方法。为了合成真实和详细的表达，提出了一种分层分解策略，将音频信号编码为全局潜在特征和局部顶点控制特征。然后利用局部和全局音频特征结合顶点空间特征，通过图卷积神经网络融合人脸模型的内在空间拓扑结构和音频对应的语义特征，预测最终的一致性人脸动画。为了实现姿态可控的动画，我们介绍了一种新的姿态属性增强方法，利用二维说话脸技术。实验结果表明，该方法可以产生更真实的面部表情和头部姿态运动。定性和定量的实验表明，该方法实现了竞争力的性能对国家的最先进的方法。
2023-02-24 cs.CV cs.GR
Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation
The Chinese University of Hong Kong（香港中文大学）；Monash University（莫纳什大学）；Zhejiang University（浙江大学）；SenseTime Research（商汤科技研究院）；Nanyang Technological University（南洋理工大学）
生成语音一致的身体和手势运动是虚拟化身创建中的长期问题。以往的研究往往综合姿态运动在一个整体的方式，其中所有关节的姿势是同时产生的。这种简单的流水线无法生成细粒度的协同语音手势。一个观察是，语音中的分层语义和人类手势的分层结构可以自然地描述成多个粒度并关联在一起。为了充分利用语音音频和手势之间的丰富联系，我们提出了一种新的框架命名为分层音频手势（HA2G）的协同语音手势生成。在HA2G中，分层音频学习器跨语义粒度提取音频表示。分层姿态推断器随后以分层方式逐渐渲染整个人类姿态。为了提高合成手势的质量，我们开发了一种基于音频文本对齐的对比学习策略，以获得更好的音频表示。大量的实验和人工评估表明，该方法呈现逼真的语音手势，并在一个明确的利润率优于以前的方法。项目页面：https://alvinliu0.github.io/projects/HA2G
2022-03-24 cs.CV
Predicting Long-Term Skeletal Motions by a Spatio-Temporal Hierarchical Recurrent Network
School of Big Data & Software Engineering, Chongqing University（重庆大学大数据与软件工程学院）；Chongqing University（重庆大学）
骨骼运动预测的主要目标是通过观察一系列3D骨骼来生成未来的运动。运动预测中的一个关键挑战是，运动通常可以以几种不同的方式执行，每种方式都由其自身的姿势配置及其时空依赖性组成，因此，预测的姿势通常会收敛到长期预测中的静止姿势或非人类运动。这导致我们定义一个层次递归网络模型，明确表征这些内部配置的姿势和他们的本地和全球的时空依赖性。该模型从李代数中引入了一个隐向量变量来同时表示空间和时间关系。此外，一个结构化的堆栈LSTM为基础的解码器被设计来解码的预测姿态与一个新的损失函数定义估计的量化权重的每个身体部位的姿态。对基准数据集的实证评估表明，我们的方法在短期和长期运动预测方面都显着优于最先进的方法。
2020-02-17 cs.CV
First and Second Order Dynamics in a Hierarchical SOM system for Action Recognition
Lund University（隆德大学）
人类对其他人的动作的识别是非常有效的，并且基于运动模式。我们的理论出发点是，关节运动的动力学是很重要的动作分类。在此理论的基础上，我们提出了一种新的动作识别系统，采用了层次结构的自组织映射与自定义监督神经网络，学习分类的行动。该系统预处理来自Kinect等3D摄像头的输入，不仅利用有关关节位置的信息，还利用它们的一阶和二阶动力学信息。我们评估我们的系统在两个实验中公开可用的数据集，并比较其性能与不太复杂的输入预处理的性能。结果表明，包括动作的动态提高了性能。我们还应用了一种注意力机制，专注于身体上最参与执行动作的部位。
2021-04-13 cs.CV cs.HC
VioPose: Violin Performance 4D Pose Estimation by Hierarchical Audiovisual Inference
University of Maryland, College Park（马里兰大学帕克分校）
针对单目4D姿态估计在小提琴演奏动作分析中因遮挡等问题导致的精度不足，提出VioPose分层视听推理多模态网络，结合音乐与动作的因果关系，性能优于SoTA，并构建了最大且多样化的校准小提琴演奏数据集。
2024-11-25 cs.CV
Hierarchical Neural Implicit Pose Network for Animation and Motion Retargeting
NVIDIA（英伟达）；University of Waterloo（滑铁卢大学）；University of Toronto（多伦多大学）；Vector Institute（矢量研究所）
我们提出了HIPNet，这是一种神经隐式姿势网络，在多个姿势的多个主题上进行训练。HIPNet可以将特定于主体的细节与特定于姿势的细节分开，有效地使我们能够将运动从一个主体重定向到另一个主体，或者通过潜在空间插值在关键帧之间进行动画。为此，我们采用基于骨架的分层表示来学习规范不定置空间上的符号距离函数。这种基于关节的分解使我们能够表示身体关节周围空间局部的细微细节。与以前需要地面实况SDF进行训练的神经隐式方法不同，我们的模型只需要一个姿势骨架和点云进行训练，并且我们不依赖于传统的参数模型或传统的蒙皮方法。我们在各种单一主题和多主题基准上取得了最先进的结果。
2021-12-02 cs.CV cs.GR cs.LG
HeRO: Hierarchical 3D Semantic Representation for Pose-aware Object Manipulation
College of Computer Science, Sichuan University（四川大学计算机学院）；School of Information and Communication Engineering, University of Electronic Science and Technology of China（电子科技大学信息与通信工程学院）；Dexmal
HeRO通过分层语义场结合几何与语义，提升姿态感知操作的控制策略，实现多个任务的成功率提升。
2026-02-21 cs.CV
Differentiable Hierarchical Graph Grouping for Multi-Person Pose Estimation
The University of Hong Kong（香港大学）；SenseTime Research（商汤科技研究院）；Nanjing University（南京大学）；The University of Sydney（悉尼大学）
多人姿态估计是具有挑战性的，因为它同时定位多个人的身体关键点。以前的方法可以分为两个流，即自上而下和自下而上的方法。自上而下的方法在人体检测之后定位关键点，而自下而上的方法直接定位关键点，然后针对不同的人对它们进行聚类/分组，这通常比自上而下的方法更有效。然而，在现有的自下而上的方法中，关键点分组通常独立于关键点检测来解决，使得它们不是端到端可训练的并且具有次优性能。在本文中，我们研究了一个新的角度，人体部分分组和重新制定它作为一个图聚类任务。特别是，我们提出了一种新的可微层次图学习（HGG）方法来学习自底向上的多人姿态估计任务中的图分组。此外，HGG很容易嵌入到主流的自底向上方法中。该算法将人类关键点候选者作为图节点，在多层图神经网络模型中对关键点进行聚类。HGG的模块可以与关键点检测网络进行端到端的训练，并且能够以分层的方式监督分组过程。为了提高聚类的区分度，我们增加了一组边缘鉴别器和宏节点鉴别器。在COCO和OCHuman数据集上的大量实验表明，该方法提高了自底向上姿态估计方法的性能。
2020-07-23 cs.CV
Learning 3D Semantics from Pose-Noisy 2D Images with Hierarchical Full Attention Network
University of Oxford（牛津大学）；Leibniz University Hannover（莱布尼茨汉诺威大学）；Sun Yat-Sen University（中山大学）
我们提出了一个新的框架，学习三维点云语义从二维多视角图像观测包含姿态误差。一方面，直接从大量的、非结构化的和无序的3D点云中学习在计算和算法上比从紧凑组织的和上下文丰富的2D RGB图像中学习更困难。另一方面，LiDAR点云和RGB图像都是在标准的自动驾驶数据集中捕获的。这促使我们进行“任务转移”的范例，使3D语义分割的好处，从聚合2D语义线索，虽然姿态噪声包含在2D图像观察。在所有困难中，姿势噪声和错误的预测从二维语义分割方法是任务转移的主要挑战。为了减轻这些因素的影响，我们使用多视图图像感知每个3D点，并且对于每个单个图像，关联一个补丁观察。此外，同时预测相邻3D点块的语义标签，使我们能够在进一步提高性能之前利用点结构。设计了一个层次化的完全注意力网络（HiFANet），依次聚合图像块、帧袋和点间语义线索，并针对不同层次的语义线索设计了层次化的注意力机制。此外，每个前面的注意力块在馈送到下一个注意力块之前大大减少了特征大小，使我们的框架变得苗条。在Semantic-KITTI平台上的实验结果表明，该框架显著优于现有的基于三维点云的方法，所需的训练数据更少，并且对姿态噪声具有较好的容忍度。该代码可在https://github.com/yuhanghe01/HiFANet上获得。
2022-04-27 cs.CV
Hierarchical Graph Neural Networks for Proprioceptive 6D Pose Estimation of In-hand Objects
Honda Research Institute USA, Inc.（美国本田研究院有限公司）；University of Minnesota（明尼苏达大学）
提出一种层次图神经网络架构，结合多模态数据与手指本体感知信息，学习基于图的物体表示以实现几何感知的6D位姿估计，在准确性和遮挡鲁棒性上显著优于现有方法并成功迁移至真实机器人。
2023-06-28 cs.AI cs.CV cs.LG
A Coarse-to-Fine Model for 3D Pose Estimation and Sub-category Recognition
Allen Institute for AI（艾伦人工智能研究所）；University of Michigan-Ann Arbor（密歇根大学安娜堡分校）；Stanford University（斯坦福大学）
尽管目标检测、3D姿态估计和子类别识别是高度相关的任务，但是由于参数的巨大空间，它们通常彼此独立地被解决。为了联合建模所有这些任务，我们提出了一个由粗到细的分层表示，其中层次结构的每个级别表示不同粒度级别的对象。分层表示防止了性能损失，这通常是由参数数量的增加引起的（因为我们考虑了更多的任务来建模），并且联合建模能够解决这些任务的独立建模中存在的模糊性。我们增加了PASCAL 3D+数据集的注释，这些任务，并表明我们的分层模型是有效的联合建模的目标检测，三维姿态估计，子类识别。
2015-04-10 cs.CV
DHRNet: A Dual-Path Hierarchical Relation Network for Multi-Person Pose Estimation
School of Artificial Intelligence, Beijing University of Posts and Telecommunications（北京邮电大学人工智能学院）；School of Engineering, Westlake University（西湖大学工程学院）；School of Electronic Engineering, Beijing University of Posts and Telecommunications（北京邮电大学电子工程学院）；School of Modern Post (School of Automation), Beijing University of Posts and Telecommunications（北京邮电大学现代邮政学院（自动化学院））
本文提出DHRNet，一种基于CNN的单阶段多人姿态估计方法，通过双路径交互建模模块同时提取实例与关节间的双向交互，在COCO等数据集上达到最先进性能。
2024-04-27 cs.CV
Fast Single Shot Detection and Pose Estimation
UNC Chapel Hill（北卡罗来纳大学教堂山分校）；George Mason University（乔治梅森大学）
对于导航和机器人应用，估计物体的3D姿态与检测一样重要。姿态估计的许多方法依赖于检测或跟踪部件或关键点[11，21]。在本文中，我们构建了一个最新的用于滑动窗口检测的卷积网络[10]，以在Single Shot中提供检测和粗略的姿态估计，而无需检测部件或初始边界框的中间阶段。虽然不是第一个将姿态估计视为分类问题的系统，但这是第一次尝试使用深度学习方法在同一级别上组合检测和姿态估计。该架构的关键是一个深度卷积网络，其中对象类别的存在分数，其位置的偏移量以及近似姿态都是在图像中的规则网格位置上估计的。由此产生的系统与最近的姿态估计工作一样准确（Pascal 3D+上的42.4% 8 View mAVP [21]），并且速度更快（TITAN X GPU上的每秒46帧（FPS））。这种检测和粗略姿态估计的方法足够快速和准确，可以广泛应用于包括高精度姿态估计、对象跟踪和定位以及vSLAM在内的任务的预处理步骤。
2016-09-19 cs.CV
HiPose: Hierarchical Binary Surface Encoding and Correspondence Pruning for RGB-D 6DoF Object Pose Estimation
Zhejiang University（浙江大学）；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心）；RPTU Kaiserslautern-Landau（凯撒斯劳滕-兰道工业大学）；Technische Universität München（慕尼黑工业大学）；Google（谷歌公司）
HiPose提出一种基于分层二值表面编码和由粗到精3D-3D对应关系剪枝的RGB-D 6DoF姿态估计方法，在多个基准上超越所有免优化方法并达到实时高精度。
2024-04-07 cs.CV
Efficient Diffusion-Based 3D Human Pose Estimation with Hierarchical Temporal Pruning
School of Cyber Science and Engineering, Southeast University（东南大学计算机科学与工程学院）；School of Computer Science and Engineering, Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications, Ministry of Education, Southeast University（东南大学计算机科学与工程学院、新一代人工智能技术及其交叉应用国家重点实验室）；National Center for Applied Mathematics, Southeast University（东南大学应用数学国家中心）；Purple Mountain Laboratories, Nanjing（紫金山实验室）；Engineering Research Center of Blockchain Application, Supervision and Management (Southeast University), Ministry of Education（区块链应用、监督与管理工程研究中心（东南大学））；Department of Computer and Information Science, University of Macau（澳门大学计算机与信息科学系）；Faculty of Science and Technology, UOW College Hong Kong（香港大学学院科技学院）
本文提出一种高效扩散模型基于层次时间剪枝的3D人体姿态估计方法，通过分阶段剪枝策略显著降低计算成本并提升推理效率。
2026-03-07 cs.CV
