Multi-Person Pose Estimation with Enhanced Channel-wise and Spatial Information
Southeast University（东南大学）；ByteDance AI Lab（字节跳动人工智能实验室）
多人姿态估计是计算机视觉中一个重要而又具有挑战性的问题。虽然目前的方法已经取得了显着的进展，通过融合的多尺度特征地图，他们很少注意到增强的通道和空间信息的特征地图。在本文中，我们提出了两个新的模块来执行多人姿态估计的信息的增强。首先，提出了一种通道混洗模块（CSM），对不同层次的特征图进行通道混洗操作，促进金字塔特征图之间的跨通道信息交流。其次，设计了一个空间、通道级注意力残差瓶颈（SCARB），通过注意力机制提升原始残差单元，自适应地突出空间和通道级特征图的信息。我们提出的模块的有效性进行了评估COCO关键点基准，实验结果表明，我们的方法达到了国家的最先进的结果。
2019-05-09 cs.CV
Multi-scale 3D Convolution Network for Video Based Person Re-Identification
Peking University（北京大学）
本文提出了一种双流卷积网络来提取空间和时间线索，用于基于视频的人重新识别（ReID）。该网络中的时间流是通过将若干多尺度3D（M3 D）卷积层插入到2D CNN网络中来构造的。由此产生的M3 D卷积网络将一小部分参数引入到2D CNN中，但获得了多尺度时间特征学习的能力。通过这种紧凑的架构，M3 D卷积网络也比现有的3D卷积网络更高效，更容易优化。时间流进一步涉及剩余注意力层（RAL）来细化时间特征。通过以残差方式联合学习时空注意掩模，RAL识别有区别的空间区域和时间线索。我们网络中的另一个流是用2D CNN实现的，用于空间特征提取。最后融合两个流的空间和时间特征，得到基于视频的人物ReID。对三个广泛使用的基准数据集进行评价，即，MARS，PRID 2011和iLIDS-VID证明了我们的方法相对于现有的3D卷积网络和最先进的方法的实质性优势。
2018-11-19 cs.CV
Residual Pose: A Decoupled Approach for Depth-based 3D Human Pose Estimation
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Idiap Research Institute（Idiap研究所）
我们建议利用卷积神经网络（CNN）在可靠的2D姿态估计方面的最新进展，在多人人机交互（HRI）场景中从深度图像中估计人的3D姿态。我们的方法是基于这样的观察，即使用深度信息从2D身体标志检测中获得3D提升点提供了对真实3D人体姿势的粗略估计，因此仅需要细化步骤。在这方面，我们的贡献是三方面的。(i)我们提出通过解耦2D姿态估计和3D姿态细化来从深度图像执行3D姿态估计;（ii）我们提出了一种深度学习方法，该方法回归提升的3D姿态和真实3D姿态之间的残留姿态;（iii）我们表明，尽管它很简单，我们的方法在两个公共数据集上的准确性和速度方面都取得了非常有竞争力的结果，人的HRI相比，最近的国家的最先进的方法。
2020-11-10 cs.CV
Permutation-Invariant Relational Network for Multi-person 3D Pose Estimation
IRI（工业机器人研究所）；CSIC-UPC（西班牙高等科学研究委员会-加泰罗尼亚理工大学）；Seedtag
从单个RGB图像恢复多人3D姿态是一个严重病态的问题，由于固有的2D-3D深度模糊，人间遮挡和身体截断。为了解决这些问题，最近的工作已经显示出有希望的结果，同时推理不同的人。然而，在大多数情况下，这是通过仅考虑成对的人的交互来完成的，从而阻碍了能够捕获长距离交互的整体场景表示。这通过联合处理场景中的所有人的方法来解决，尽管它们需要将其中一个人定义为参考和预定义的人排序，对这种选择敏感。在本文中，我们克服了这两个限制，我们提出了一种多人3D姿态估计的方法，捕获独立于输入顺序的远程交互。为此，我们建立了一个类似残差的置换不变网络，成功地细化了潜在的损坏的初始3D姿态估计的现成的检测器。残差函数通过Set Transformer块学习，该块对所有初始姿势之间的交互进行建模，而不管它们的顺序或数量。一个彻底的评估表明，我们的方法是能够提高性能的初始估计的3D构成的大幅度，实现国家的最先进的结果标准化的基准。此外，所提出的模块以计算效率高的方式工作，并且可以潜在地用作多人场景中的任何3D姿态检测器的补充。
2022-05-31 cs.CV
VTP: Volumetric Transformer for Multi-view Multi-person 3D Pose Estimation
Hangzhou Dianzi University（杭州电子科技大学）
提出首个用于多视角多人3D姿态估计的3D体积Transformer框架VTP，通过聚合多视角2D关键点特征并结合3D卷积与稀疏Sinkhorn注意力，有效降低内存开销并提升性能，在多个基准上取得优异结果。
2022-05-25 cs.CV
End-to-End Deep Kronecker-Product Matching for Person Re-identification
The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
人物再识别的目标是鲁棒地测量人物图像之间的相似性。人的姿态和视角的显著变化对准确的人重新识别提出了挑战。查询人图像之间的空间布局和对应关系是解决这个问题的重要信息，但被大多数最先进的方法所忽略。在本文中，我们提出了一种新的Kronecker产品匹配模块，用于在端到端可训练的深度神经网络中匹配不同人的特征图。设计了一种新的特征软变形方案，用于根据匹配结果对齐特征图，这对于实现更高的精度至关重要。基于沙漏网络和自剩余注意力的多尺度特征也被利用来进一步提高重识别性能。该方法在Market-1501、CUHK 03和DukeMTMC数据集上的性能优于现有方法，证明了该方法的有效性和泛化能力。
2018-07-30 cs.CV
FedForgery: Generalized Face Forgery Detection with Residual Federated Learning
Xidian University（西安电子科技大学）；Shanghai Key Laboratory of Computer Software Evaluating and Testing（上海市计算机软件评测重点实验室）；Chongqing University of Posts and Telecommunications（重庆邮电大学）
针对人脸伪造检测中数据隐私难集中、不同伪造类型分布差异大的问题，提出基于残差联邦学习的FedForgery方法，结合变分自编码器学习鲁棒残差特征与联邦协同训练，提升了泛化检测性能。
2023-07-21 cs.CV
Bottom-up Pose Estimation of Multiple Person with Bounding Box Constraint
Zhejiang University（浙江大学）
在这项工作中，我们提出了一种新的方法，结合传统的自自底向上的【形】和自顶向下的方法，多人姿态估计。具体来说，我们以自自底向上的【形】的方式执行网络前馈，然后以自上而下的方式解析具有限界框约束的姿势。与以前的自顶向下方法相比，我们的方法是强大的限界框移动和紧密。通过残差网络从原始图像中提取特征，并训练网络学习关节的置信度图和关节之间的连接关系。在测试过程中，预测的置信度图，连接关系和边界框用于解析所有人的姿势。实验结果表明，与自自底向上的【形】和自顶向下的方法相比，该方法能够更准确地学习人体姿态，尤其是在具有挑战性的场景中，并获得更好的时间性能。
2018-07-26 cs.CV
DIR-BHRNet: A Lightweight Network for Real-time Vision-based Multi-person Pose Estimation on Smartphones
Southern University of Science and Technology（南方科技大学）；Research Institute of Trustworthy Autonomous Systems（深圳市可信自主系统研究院）
本文提出轻量级网络DIR-BHRNet，通过DIR模块和BHRNet结构提升精度并降低计算成本，在COCO和CrowdPose上超越SOTA，实现智能手机上超10 FPS的实时多人姿态估计。
2024-07-01 cs.CV
A heterogeneous branch and multi-level classification network for person re-identification
Army Engineering University of PLA（中国人民解放军陆军工程大学）
具有多个分支的卷积神经网络最近被证明在人的重新识别（re-ID）中是非常有效的。研究人员使用零件模型设计多分支网络，但他们总是将有效性归因于多个零件。此外，现有的多分支网络往往存在同构分支，缺乏结构多样性。为了改善这个问题，我们提出了一种新的异构分支和多级分类网络（HBMCN），它是基于预先训练的ResNet-50模型设计的。在SE-Res模块的基础上，提出了一种新的异构分支SE-Res-Branch，它由挤压和激励块和残差块组成。此外，提出了一种新的多级分类联合目标函数的监督学习的HBMCN，从而多层次的功能是从多个高层次的提取和连接代表一个人。基于Market 1501、DukeMTMC-reID和CUHK 03三个公众人物身份识别基准测试的实验结果表明，本文提出的HBMCN在Rank-1中的识别率分别达到94.4%、85.7%和73.8%，在mAP中的识别率分别达到85.7%、74.6%和69.0%，达到了较好的识别效果。进一步的分析表明，专门设计的异构分支比同构分支的性能更好，多层次分类提供了更多的区别性特征相比，单级分类。因此，HBMCN在人员重新识别任务方面提供了实质性的进一步改进。
2020-06-02 cs.CV
Towards Robust Text-to-Image Person Retrieval: Multi-View Reformulation for Semantic Compensation
Beihang University（北航）
本文提出基于大语言模型的语义补偿框架，通过多视图语义重新公式化和特征补偿提升跨模态表示一致性，解决文本到图像检索中的表达漂移问题，实验表明其在三个数据集上表现优异。
2026-04-20 cs.CV
Learning Delicate Local Representations for Multi-Person Pose Estimation
Tsinghua University（清华大学）；Chinese Academy of Sciences（中国科学院）；Beihang University（北京航空航天大学）；Ocean University of China（中国海洋大学）；Megvii Inc.（旷视科技有限公司）
在本文中，我们提出了一种新的方法称为剩余步骤网络（RSN）。RSN有效地聚合具有相同空间大小的特征（层内特征）以获得精细的局部表示，其保留丰富的低层空间信息并导致精确的关键点定位。此外，我们观察到输出功能对最终性能的贡献不同。为了解决这个问题，我们提出了一个有效的注意力机制-姿态优化机（PRM），在输出特征的局部和全局表示之间进行权衡，并进一步细化关键点位置。我们的方法赢得了COCO Keypoint Challenge 2019的第一名，并在COCO和MPII基准测试中取得了最先进的结果，而无需使用额外的训练数据和预训练模型。我们的单个模型在COCO test-dev上获得78.6，在MPII测试数据集上获得93.0。集成模型在COCO测试-开发数据集上获得79.2，在COCO测试-挑战数据集上获得77.1。源代码可在https://github.com/caiyuanhao1998/RSN/上公开获取，以供进一步研究
2020-07-15 cs.CV
3D Human Motion Estimation via Motion Compression and Refinement
Carnegie Mellon University（卡内基梅隆大学）
我们开发了一种技术，从RGB视频序列生成平滑和准确的三维人体姿势和运动估计。我们的方法，我们称之为运动估计通过变分自编码器（MEVA），分解的时间序列的人体运动到一个平滑的运动表示，使用自动编码器为基础的运动压缩和残差表示通过运动细化学习。人体运动的这种两步编码在两个阶段中捕获人体运动：捕获粗略整体运动的一般人体运动估计步骤，以及添加回人特定运动细节的残差估计。实验表明，我们的方法产生平滑和准确的三维人体姿态和运动估计。
2020-10-05 cs.CV
Gaze Estimation Approach Using Deep Differential Residual Network
Guilin University of Electronic Technology（桂林电子科技大学）；Northumbria University（诺森比亚大学）；Ecole de Technologie Superieure（高等工程技术学院）
凝视估计是一种在给定人的完整面部的情况下确定人正在看哪里的方法，是理解人类意图的有价值的线索。类似于计算机视觉的其他领域，深度学习（DL）方法在凝视估计领域中获得了认可。然而，在视线估计领域中仍然存在视线校准问题，从而阻止了现有方法进一步提高性能。一种有效的解决方案是直接预测两个人眼的差异信息，例如差分网络（Diff-Nn）。然而，当仅使用一个推断图像时，该解决方案导致准确性损失。本文提出了一种结合新的损失函数的差分残差模型（DRNet），以充分利用双眼图像的差异信息。我们将差异信息视为辅助信息。我们主要使用两个公共数据集（1）MpiiGaze和（2）Eydiap来评估所提出的模型（DRNet）。仅考虑眼睛特征，DRNet优于最先进的凝视估计方法，使用MpiiGaze和Eydiap数据集时，$angular-error$分别为4.57和6.14。此外，实验结果还表明，DRNet是非常强大的噪声图像。
2022-08-08 cs.AI cs.CV cs.GR
MotionVerse: A Unified Multimodal Framework for Motion Comprehension, Generation and Editing
Key Laboratory of Intelligent Information Processing, Institute of Computing Technology (ICT), Chinese Academy of Sciences (CAS)（智能信息处理重点实验室，计算技术研究所（ICT），中国科学院（CAS））；University of the Chinese Academy of Sciences（中国科学院大学）
提出统一多模态框架 MotionVerse，通过残差量化动作分词器、延迟并行建模和双塔 LLM 架构，实现单人及多人动作的理解、生成与编辑。
2025-09-28 cs.CV
Facial UV Map Completion for Pose-invariant Face Recognition: A Novel Adversarial Approach based on Coupled Attention Residual UNets
Chosun University（朝鲜大学）；Hanoi University of Science and Technology（河内理工大学）；Vietnam Academy of Science and Technology（越南科学技术院）
姿态不变的人脸识别是指通过分析从不同姿态捕获的人脸图像来识别或验证一个人的问题。这个问题是具有挑战性的，由于姿态，照明和面部表情的大变化。一种很有前途的方法来处理姿态变化是实现不完整的UV地图提取在野外的脸，然后附加完成的UV地图到一个合适的3D网格，最后生成不同的2D人脸的任意姿态。合成的人脸增加了用于训练深度人脸识别模型的姿势变化，并减少了测试阶段的姿势差异。在本文中，我们提出了一种新的生成模型，称为Attention ResCUNet-GAN，以提高UV地图完成。我们通过使用几个U网来增强原始的UV-GAN。特别是，每个U-Net内的跳跃连接都是通过注意门来提升的。同时，从两个U-网的特征融合与可训练的标量权重。在Multi-PIE、LFW、CPLWF和CFP数据集上的实验结果表明，该方法具有较好的性能。
2020-11-02 cs.CV
Video-based Person Re-identification with Two-stream Convolutional Network and Co-attentive Snippet Embedding
Xiamen University（厦门大学）
近年来，在视觉监控和人机交互中，人的重新识别的应用急剧增加，这表明了这个问题的关键作用。在本文中，我们提出了一个双流卷积网络（ConvNet）的基础上的竞争相似性聚合方案和共同关注的嵌入策略，基于视频的人的重新识别。通过将长视频序列划分为多个短视频片段，我们设法利用每个片段的RGB帧、光流图和姿态图来促进残差网络，例如，ResNet，用于双流ConvNet中的特征提取。提取的特征嵌入的共同关注的嵌入方法，它允许减少噪声帧的影响。最后，我们融合两个流的输出作为一个片段的嵌入，并应用竞争片段相似性聚合来衡量两个序列之间的相似性。我们的实验表明，所提出的方法显着优于当前国家的最先进的方法在多个数据集。
2019-05-28 cs.CV cs.IR cs.LG
To Perceive or Not to Perceive: Lightweight Stacked Hourglass Network
MBZUAI（穆罕默德·本·扎耶德人工智能大学）
人体姿态估计（HPE）是计算机视觉中的经典任务，其关注于通过识别人的关节的位置来表示人的取向。我们设计了一个轻量级的堆叠沙漏网络模型的性能损失最小。轻量的2堆叠沙漏具有减少数量的通道，其具有可分离的回旋、具有级联的剩余连接以及沙漏的颈部之间的剩余连接。最终模型的性能略有下降，参数数量减少了79%，MAds也有类似的下降
2023-02-09 cs.CV eess.IV
CUPID: Reconstructing UV Texture Maps for Interpretable Person-of-Interest Deepfake Detection
Dipartimento di Elettronica, Informazione e Bioingegneria (DEIB), Politecnico di Milano（米兰理工大学电子、信息与生物工程系（DEIB））
提出CUPID方法，利用3D人脸重建的UV纹理图和掩码自编码器，无需深度伪造视频训练即可检测特定人物深度伪造，并实现可解释性和鲁棒性。
2026-07-13 cs.CV
A Robust Pose Transformational GAN for Pose Guided Person Image Synthesis
Indian Institute of Space Science and Technology（印度空间科学与技术学院）
在任何看不见的姿势中生成人类主体的真实感图像在生成主体的完整外观模型中具有重要的应用。然而，从计算机视觉的角度来看，由于无法对以姿态为条件的数据分布进行建模，因此该任务变得非常具有挑战性。现有的作品使用一个复杂的姿势变换模型与各种额外的功能，如前景分割，人体解析等，以实现鲁棒性，导致计算开销。在这项工作中，我们提出了一个简单而有效的姿势变换GAN，利用残差学习方法，没有任何额外的特征学习，以生成一个给定的人类图像在任何任意姿势。使用有效的数据增强技术和巧妙地调整模型，我们实现了鲁棒性方面的照明，遮挡，失真和规模。我们提出了一个详细的研究，定性和定量，证明我们的模型在两个大型数据集上的现有方法的优越性。
2020-01-05 cs.CV cs.LG eess.IV
Human Pose Regression with Residual Log-likelihood Estimation
Shanghai Jiao Tong University（上海交通大学）；The Chinese University of Hong Kong（香港中文大学）；SenseTime Research（商汤科技研究院）
基于热图的方法通过似然热图对输出分布进行建模，在人体姿态估计领域占主导地位。相比之下，基于回归的方法更有效，但性能较差。在这项工作中，我们探索最大似然估计（MLE）开发一个高效和有效的基于回归的方法。从极大似然估计的角度来看，采用不同的回归损失是对输出密度函数做出不同的假设。更接近真实分布的密度函数导致更好的回归性能。有鉴于此，我们提出了一种新的回归范式与残差对数似然估计（RLE），以捕捉潜在的输出分布。具体地说，RLE学习分布的变化，而不是未引用的底层分布，以促进训练过程。与建议的重新参数化设计，我们的方法是与现成的流动模型兼容。该方法是有效的，高效的和灵活的。我们展示了它的潜力，在各种人体姿态估计任务与全面的实验。与传统的回归范式相比，回归与RLE带来12.4 mAP的改进MSCOCO没有任何测试时间开销。此外，特别是在多人姿态估计方面，我们的回归方法第一次优于基于热图的方法。我们的代码可在https://github.com/Jeff-sjtu/res-loglikelihood-regression上获得
2021-07-31 cs.CV cs.LG
Deep Dual Consecutive Network for Human Pose Estimation
Zhejiang Gongshang University（浙江工商大学）；Nanyang Technological University（南洋理工大学）；Zhejiang University（浙江大学）
复杂环境下的多帧人体姿态估计是一个挑战。虽然国家的最先进的人体关节检测器已经表现出显着的效果，静态图像，他们的表现是短的，当我们将这些模型应用到视频序列。普遍存在的缺点包括无法处理运动模糊、视频散焦或姿势遮挡，这是由于无法捕获视频帧之间的时间依赖性而引起的。另一方面，直接采用传统的递归神经网络在建模空间上下文时会遇到经验困难，特别是在处理姿态遮挡时。在本文中，我们提出了一种新的多帧人体姿态估计框架，利用视频帧之间的丰富的时间线索，以促进关键点检测。在我们的框架中设计了三个模块化组件。姿态时间合并器编码关键点时空上下文以生成有效的搜索范围，而姿态残差融合模块计算双向的加权姿态残差。然后通过我们的姿态校正网络进行处理，以有效地改进姿态估计。我们的方法在大规模基准数据集PoseTrack2017和PoseTrack2018上的多帧人物姿势估计挑战中排名第一。我们已经发布了我们的代码，希望能激发未来的研究。
2021-03-19 cs.CV
Automated detection of corrosion in used nuclear fuel dry storage canisters using residual neural networks
Oak Ridge National Laboratory（橡树岭国家实验室）；North Carolina State University（北卡罗来纳州立大学）；University of California（加利福尼亚大学）；Arizona State University（亚利桑那州立大学）；Presbyterian College（长老会学院）；University of Tennessee（田纳西大学）；Electric Power Research Institute（电力研究院）
无损评估方法在确保许多行业的组件完整性和安全性方面发挥着重要作用。操作员疲劳可能在这种方法的可靠性中起关键作用。这对于检查高价值资产或具有高故障后果的资产（例如航空航天和核部件）非常重要。卷积神经网络的最新进展可以支持和自动化这些检查工作。本文提出了使用残差神经网络（ResNets）的实时检测的腐蚀，包括氧化铁变色，点蚀和应力腐蚀开裂，在干存储不锈钢罐住房用核燃料。所提出的方法将核罐图像裁剪成较小的瓦片，在这些瓦片上训练ResNet，并使用ResNet预测为腐蚀的瓦片的每图像计数将图像分类为腐蚀或完好。结果表明，这种深度学习方法可以通过较小的瓷砖检测腐蚀的位置，同时可以高精度地推断图像是否来自腐蚀的罐。因此，所提出的方法有望自动化和加速核燃料罐检查，以最大限度地减少检查成本，并部分取代人工进行的现场检查，从而减少人员的辐射剂量。
2020-07-13 cs.CV stat.AP stat.ML
A Two-stream Neural Network for Pose-based Hand Gesture Recognition
North University of China（中北大学）；Shandong University（山东大学）；University of Electronic Science and Technology of China（电子科技大学）；University of Wollongong（伍伦贡大学）
基于姿态的手势识别近年来得到了广泛的研究。与全身动作识别相比，手势涉及的关节在空间上分布更紧密，协作性更强。这种性质要求从动作识别到捕获复杂空间特征的不同方法。许多手势类别，例如“抓”和“捏”，具有非常相似的运动或时间模式，这对时间处理提出了挑战。为了解决这些问题，本文提出了一种双流神经网络，其中一个流是基于自注意力的图卷积网络（SAGCN），用于提取短期时间信息和分层空间信息，另一个流是剩余连接增强的双向独立递归神经网络（RBi-IndRNN），用于提取长期时间信息。基于自注意的图卷积网络具有动态的自注意力机制，以自适应地利用除了固定的拓扑结构和GCN中的局部特征提取之外的所有手部关节的关系。另一方面，剩余连接增强的Bi-IndRNN扩展了IndRNN，具有双向处理时间建模的能力。这两个数据流被融合在一起以便识别。动态手势数据集和第一人称手部动作数据集被用来验证其有效性，我们的方法达到了最先进的性能。
2021-01-22 cs.CV cs.LG cs.MM
