Composite Localization for Human Pose Estimation
现有的人体姿态估计方法由于学习目标的复杂性而面临着长距离回归不准确或计算代价高的问题。这项工作提出了一种新的深度学习框架，用于人体姿态估计，称为复合定位，将复杂的学习目标分为两个简单的目标：一个稀疏的热图，以找到关键点的近似位置和两个短距离的offsetmaps，以获得其最终的精确坐标。为了实现该框架，我们构建了两种类型的复合定位网络：CLNet-ResNet和CLNet-Hourglass。我们在三个基准数据集上评估了网络，包括Leeds Sports Pose数据集、MPII Human Pose数据集和COCO关键点检测数据集。实验结果表明，我们的CLNet-ResNet 50优于SimpleBaseline的1.14%，约1/2 GFLOPs。我们的CLNet-Hourglass在COCO上的性能比原来的堆叠沙漏高出4.45%。
2021-05-15 cs.AI cs.CV
Atypical Facial Landmark Localisation with Stacked Hourglass Networks: A Study on 3D Facial Modelling for Medical Diagnosis
Northumbria University（诺森比亚大学）；Lancaster University（兰卡斯特大学）；Deakin University（迪肯大学）
虽然面部生物识别技术已被广泛用于身份识别目的，但它最近已被研究为一系列疾病的医疗生物识别技术。在这一章中，我们研究了面部标志检测的非典型的3D面部建模面瘫的情况下，而潜在的这种建模可以帮助使用非典型的面部特征的医疗诊断。在我们的工作中，地标定位方法，如堆叠沙漏网络的研究进行和评估，以确定其准确性时，与看不见的非典型面孔。评估强调，最先进的堆叠沙漏架构优于其他传统方法。
2019-09-05 cs.CV cs.LG eess.IV
Contextual Hourglass Network for Semantic Segmentation of High Resolution Aerial Imagery
University of Michigan（密歇根大学）；Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）
针对航空图像语义分割中目标尺寸多变和类别不平衡的挑战，提出Contextual Hourglass Network，通过结合注意力机制的上下文沙漏模块和堆叠编码器-解码器结构提取多尺度特征，在Potsdam和Vaihingen数据集上取得最佳总体性能。
2024-06-05 cs.AI cs.CV cs.LG
Automatic segmentation of vertebral features on ultrasound spine images using Stacked Hourglass Network
ShanghaiTech University（上海科技大学）；University of Chinese Academy of Sciences（中国科学院大学）；University of Alberta（阿尔伯塔大学）
目的：棘突角是表征脊柱三维畸形的重要参数之一。我们提出了一种基于堆叠沙漏网络（SHN）的自动分割方法，用于检测超声（US）脊柱图像上的棘突（SP），并测量临床脊柱侧凸受试者的SPAs。研究方法：该网络经过训练，在1200张超声横向图像上检测椎体SP和椎板作为5个标志，并在100张图像上进行验证。所有处理后的横断面图像，SP和椎板被突出显示，重建成3D图像体积，并在投影冠状面图像上测量SPAs。通过计算正确关键点的百分比（PCK），在400张图像上对训练好的网络进行了测试;通过比较US图像和X线片的结果，对50名脊柱侧凸受试者的SPA测量结果进行了评估。结果：训练后的网络在测试数据集上获得了较高的平均PCK（86.8%），特别是SP检测的PCK为90.3%。两种方法测量的SPAs具有良好的相关性（r>0.85），平均绝对差（MAD）为3.3°，小于临床可接受误差（5°）。结论：利用SHN可以在US脊柱图像上准确地分割椎体特征，并且US数据的SPA测量结果与X线摄影的金标准相当。
2021-05-24 cs.CV eess.IV
Multi-Context Attention for Human Pose Estimation
The Chinese University of Hong Kong（香港中文大学）；Tsinghua University（清华大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
在本文中，我们建议将具有多上下文注意力机制的卷积神经网络整合到用于人体姿势估计的端到端框架中。我们采用堆叠沙漏网络，以不同的语义在多个分辨率的功能生成注意力地图。使用条件随机场（CRF）来模拟注意力图中相邻区域之间的相关性。我们进一步结合整体注意力模型，它侧重于整个人体的全局一致性，和身体部位注意力模型，它侧重于对不同的身体部位的详细描述。因此，我们的模型有能力专注于不同的粒度从局部显着区域到全局语义一致的空间。此外，我们设计了新的沙漏残差单元（HRU），以增加网络的感受野。这些单元是残余单元的扩展，其具有包含具有较大感受野的滤波器的侧分支，因此具有各种尺度的特征被学习并在HRU内组合。多上下文注意力机制和沙漏残差单元的有效性进行了评估两个广泛使用的人体姿态估计基准。我们的方法优于所有现有的方法在这两个基准的所有身体部位。
2017-02-24 cs.CV
SRH-Net: Stacked Recurrent Hourglass Network for Stereo Matching
Tianjin University（天津大学）；Technical University of Munich（慕尼黑工业大学）；Google Inc.（谷歌公司）
成本聚合策略在基于学习的立体匹配任务中发挥了至关重要的作用，其中3D卷积滤波器获得了最先进的技术，但需要密集的计算资源，而2D操作需要较少的GPU内存，但对域偏移敏感。在本文中，我们将3D卷积滤波器使用的4D立方成本体积解耦为沿着视差方向的顺序成本图，而不是通过利用经常性成本聚合策略立即处理它。此外，一个新的递归模块，堆叠递归沙漏（SRH），提出了处理每个成本图。我们的沙漏网络是基于门控递归单元（GRU）和下/上采样层构建的，这为GRU提供了更大的感受野。然后将两个沙漏网络堆叠在一起，同时通过跳跃连接来处理多尺度信息，以提高无纹理区域的管道性能。所提出的架构在端到端管道中实现，并在公共数据集上进行评估，与使用堆叠沙漏3D CNN的PSMNet相比，它将GPU内存消耗降低了56.1%，而不会降低精度。然后，我们进一步证明了所提出的方法在几个高分辨率对上的可扩展性，而以前学习的方法往往由于内存限制而失败。代码在\url{https://github.com/hongzhidu/SRHNet}发布。
2021-05-25 cs.CV cs.RO
Single upper limb pose estimation method based on improved stacked hourglass network
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology（华中科技大学人工智能与自动化学院）
目前，大多数高精度的单人位姿估计方法由于网络模型结构复杂，计算复杂性较高，实时性不足。然而，具有高实时性能的单人姿态估计方法也需要提高其准确性，由于网络模型的简单结构。目前在单人姿态估计中难以同时实现高精度和实时性能。针对人机协同操作的特点，提出了一种基于端到端方法的单人上肢姿态估计方法，以实现精确、实时的肢体姿态估计。利用层叠沙漏网络模型，设计了一个单人上肢骨骼关键点检测模型，采用反卷积代替原模型中沙漏模块的上采样操作，解决了特征图粗糙的问题。采用积分回归法计算骨架关键点的位置坐标，减少了量化误差和计算量。实验结果表明，所开发的单人上肢骨骼关键点检测模型具有较高的准确性，基于端到端方法的位姿估计方法具有较高的准确性和实时性。
2020-04-16 cs.CV
Self Adversarial Training for Human Pose Estimation
National Tsing Hua University（台湾清华大学）
本文提出了一种基于深度学习的人体姿态估计方法。我们采用生成对抗网络作为我们的学习范式，其中我们建立了两个具有相同架构的堆叠沙漏网络，一个作为生成器，另一个作为节点。在训练完成后，生成器被用作人体姿势估计器。该算法将地面实况热图与生成的热图区分开来，并将对抗性损失反向传播给生成器。这个过程使生成器能够学习合理的人体配置，并被证明是有用的，用于提高预测精度。
2017-08-15 cs.CV
Single-shot 3D multi-person pose estimation in complex images
CEA LIST（法国原子能与替代能源委员会信息技术与系统实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）；Institute for Intelligent Systems and Robotics（智能系统与机器人研究所）
本文提出了一种新的Single Shot方法，用于复杂图像中多人三维人体姿态估计。该模型共同学习定位图像中的人体关节，估计其3D坐标并将这些预测分组为完整的人体骨架。所提出的方法处理可变数量的人，并且不需要边界框来估计3D姿态。它利用并扩展了堆叠沙漏网络及其多尺度特征学习，以管理多人情况。因此，我们利用一个强大的3D人体姿势制定充分描述几个3D人体姿势，即使在强遮挡或作物的情况下。然后，使用关联嵌入方法对任意数量的人进行联合分组和人体姿态估计。我们的方法在具有挑战性的CMU Panoptic和MuPoTS-3D数据集上以前的Single Shot方法上显着优于现有技术。此外，它导致了良好的结果，从新提出的JTA数据集的复杂和合成图像。
2021-01-07 cs.CV
Knowledge-Guided Deep Fractal Neural Networks for Human Pose Estimation
使用深度神经网络的人体姿态估计旨在将具有大变化的输入图像映射到多个身体关键点，这些身体关键点必须满足由人体模型施加的一组几何约束和相互依赖性。这是一个非常具有挑战性的非线性流形学习过程，在一个非常高维的特征空间。我们认为，深度神经网络，这是一个固有的代数计算系统，是不是最有效的方式来捕捉高度复杂的人类知识，例如那些高度耦合的几何特征和人类姿势中的关键点之间的相互依赖性。在这项工作中，我们建议探索如何有效地表示外部知识并将其注入深度神经网络，以使用施加适当先验的学习投影来指导其训练过程。具体来说，我们使用堆叠沙漏设计和inception-resnet模块来构建分形网络，以将人体姿势图像回归到热图中，而无需显式图形建模。我们用视觉特征编码外部知识，这些视觉特征能够表征人体模型的约束并评估中间网络输出的适应度。然后，我们使用辅助成本函数学习的投影矩阵将这些外部特征注入神经网络。建议的inception-resnet模块的有效性和知识投影的指导学习的好处进行了评估两个广泛使用的基准。我们的方法在两个数据集上都实现了最先进的性能。
2017-08-08 cs.CV
Stacked Dense U-Nets with Dual Transformers for Robust Face Alignment
InsightFace；Imperial College London（帝国理工学院）
在野外拍摄的图像中，面部标志点定位是一个重要且具有挑战性的问题。目前的最新技术围绕着某些类型的深度卷积神经网络（DCNN），如堆叠U网和沙漏网络。在这项工作中，我们创新性地提出了堆叠密集U网来完成这项任务。我们设计了一种新的规模聚合网络拓扑结构和信道聚合模块，在不牺牲计算复杂性和模型规模的前提下提高了模型的容量。借助于堆叠密集U网内部的可变形卷积和外部数据变换的相干损失，我们的模型获得了对任意输入人脸图像空间不变的能力。在大量野外数据集上的实验验证了该方法在极端姿态、夸张表情和严重遮挡情况下的鲁棒性。最后，我们表明，准确的三维人脸对齐可以帮助姿态不变的人脸识别，我们实现了一个新的国家的最先进的CFP-FP的准确性。
2018-12-05 cs.CV
Joint Voxel and Coordinate Regression for Accurate 3D Facial Landmark Localization
Center for Research on Intelligent Perception and Computing (CRIPAC)（智能感知与计算研究中心）；National Laboratory of Pattern Recognition (NLPR)（模式识别国家重点实验室）；Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所）；University of Chinese Academy of Sciences (UCAS)（中国科学院大学）；Center for Excellence in Brain Science and Intelligence Technology (CEBSIT), CAS（中国科学院脑科学与智能技术卓越创新中心）
3D人脸形状比2D人脸形状更具表现力和视点一致性。然而，在一个单一的图像中的3D面部标志定位是具有挑战性的，由于在3D视角下的标志的模糊性。现有的方法通常采用次优的两步策略，执行二维地标定位，然后进行深度估计。在本文中，我们提出了联合体素和坐标回归（JVCR）方法的三维面部标志定位，解决它更有效地在一个端到端的方式。首先，提出了一种紧凑的体积表示来编码每体素的位置是3D地标的可能性。这种表示的维数是固定的，与目标地标的数量无关，从而可以避免维数灾难。然后，采用堆叠沙漏网络从粗到细估计体积表示，然后采用3D卷积网络，将估计的体积作为输入并回归面部形状的3D坐标。以这种方式，可以通过神经网络以更有效的方式学习界标之间的3D结构约束。此外，所提出的流水线实现了端到端的训练，并提高了3D面部标志定位的鲁棒性和准确性。在3DFAW和AFLW 2000 -3D数据集上验证了该方法的有效性。实验结果表明，该方法实现了最先进的性能与现有的方法相比。
2018-01-28 cs.CV
Stacked Spatio-Temporal Graph Convolutional Networks for Action Segmentation
University of Maryland（马里兰大学）；SRI International（SRI国际）
我们提出了一种新的堆叠时空图卷积网络（Stacked-STGCN）用于动作分割，即，预测和定位长视频中的一系列动作。我们扩展了最初为基于动作的动作识别提出的时空图卷积网络（STGCN），以使具有不同特征的节点（例如，场景、演员、物体、动作等），具有不同长度的特征描述符和任意时间边缘连接，以解释通常与复杂活动相关联的大的图形变形。我们进一步将堆叠沙漏架构引入STGCN，以利用编码器-解码器设计的优势，提高泛化性能和定位精度。我们探索了各种描述符，如帧级VGG，段级I3 D，基于RCNN的对象等作为节点描述符，以实现基于综合上下文信息的联合推理的动作分割。我们展示了CAD 120（它提供了预先计算的节点特征和边权重，以便在算法之间进行公平的性能比较）以及更复杂的真实世界活动数据集Charades的结果。我们的Stacked-STGCN在CAD 120上的F1得分和使用VGG功能的Charades上的mAP中的最佳报告结果相比，总体上实现了4.0%的性能改进。
2019-06-02 cs.CV
Object Parsing in Sequences Using CoordConv Gated Recurrent Networks
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）；Robotics Research Center（机器人研究中心）
我们提出了一个单目对象解析框架一致的关键点定位捕获时序数据的时间相关性。在本文中，我们提出了一种新的基于递归网络的体系结构，用于对中间特征之间的远程依赖关系进行建模，这些中间特征在关键点定位和跟踪等任务中非常有用。我们利用流行的堆栈沙漏架构的表现力，并通过在网络的中间层之间采用内存单元来增强它，并在视频帧的各个阶段之间共享权重。我们观察到，这种权重共享方案不仅使我们能够将沙漏架构框架为一个循环网络，而且证明了它在为顺序任务产生越来越精确的估计方面非常有效。此外，我们提出了一种新的存储单元，我们称之为CoordConvGRU，它学习选择性地保持时空相关性，并展示了我们在关键点定位任务上的结果。实验表明，我们的方法是能够模拟帧之间的运动动力学，并显着优于基线沙漏网络。尽管我们的网络是在合成渲染数据集上训练的，但我们观察到，通过对300张真实图像进行最小的微调，我们能够实现与使用相同级别的监督输入训练的各种最先进方法相当的性能。通过使用比其他方法更简单的架构，我们能够在标准GPU上实时的运行它，这对于此类应用程序来说是理想的。最后，我们公开了我们的架构和KITTI数据集中的524个注释序列。
2019-10-02 cs.CV
Towards Adversarially Robust and Domain Generalizable Stereo Matching by Rethinking DNN Feature Backbones
North Carolina State University（北卡罗来纳州立大学）
立体匹配最近使用深度神经网络（DNN）取得了显著进展。但是，他们有多强大？尽管众所周知，DNN经常遭受对抗性漏洞，性能会出现灾难性下降，但在立体匹配中情况更糟。本文首先表明，一种弱白盒攻击可以压倒最先进的方法。该攻击是通过提出的立体约束投影梯度下降（PGD）立体匹配方法学习的。这种观察引起了对基于DNN的立体匹配的部署的严重关注。与对抗性漏洞并行，基于DNN的立体匹配通常在所谓的模拟到现实管道下进行训练，因此域泛化是一个重要问题。本文提出重新考虑可学习的基于DNN的特征骨干，通过完全删除它来进行匹配，从而实现对抗鲁棒性和域泛化的立体匹配。在实验中，该方法在SceneFlow数据集和KITTI2015基准测试中进行了测试，结果令人满意。我们使用经典的多尺度普查变换（即，局部二进制模式），然后是解决匹配问题的堆叠沙漏头子网络。它显著提高了对抗鲁棒性，同时保持了与最先进方法相当的准确性。当不使用微调时，它还显示了从模拟（SceneFlow）到真实（KITTI）数据集的更好的泛化能力。
2021-09-23 cs.AI cs.CV
