首页/论文/2001.11690

arXiv 2001.116902020-01cs.CV

C-DLinkNet：考虑多层次语义特征的人工句法分析

C-DLinkNet: considering multi-level semantic features for human parsing

Yu Lu, Muyan Feng, Ming Wu, Chuang Zhang

摘要：

人类句法分析是语义分割的一个重要分支，语义分割是一种细粒度的语义分割任务，用于识别人类的组成部分。人类句法分析的挑战是提取有效的语义特征来解决变形和多尺度变化。本文在LinkNet的基础上提出了一个端到端的C-DLinkNet模型，该模型在解码器部分引入了一个新的平滑模块来融合多层次特征。C-DLinkNet能够产生具有竞争力的解析性能，与最先进的方法相比，具有较小的输入大小和没有额外的信息，即，在LIP数据集的验证集上达到mIoU=53.05。

英文摘要：

Human parsing is an essential branch of semantic segmentation, which is a fine-grained semantic segmentation task to identify the constituent parts of human. The challenge of human parsing is to extract effective semantic features to resolve deformation and multi-scale variations. In this work, we proposed an end-to-end model called C-DLinkNet based on LinkNet, which contains a new module named Smooth Module to combine the multi-level features in Decoder part. C-DLinkNet is capable of producing competitive parsing performance compared with the state-of-the-art methods with smaller input sizes and no additional information, i.e., achiving mIoU=53.05 on the validation set of LIP dataset.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

OCNet: Object Context Network for Scene Parsing

Microsoft Research Asia（微软亚洲研究院）；Peking University（北京大学）；Institute of Computing Technology, CAS（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）

In this paper, we address the semantic segmentation task with a new context aggregation scheme named \emph{object context}, which focuses on enhancing the role of object information. Motivated by the fact that the category of each pixel is inherited from the object it belongs to, we define the object context for each pixel as the set of pixels that belong to the same category as the given pixel in the image. We use a binary relation matrix to represent the relationship between all pixels, where the value one indicates the two selected pixels belong to the same category and zero otherwise. We p…

2021-03-15cs.CV

探索人体解析器对常见损坏的鲁棒性

Exploring the Robustness of Human Parsers Towards Common Corruptions

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Westlake University（西湖大学）；OPPO；Tsinghua University（清华大学）

本文构建了三个损坏鲁棒性基准，并提出一种模型无关的异构增强增强机制，通过集成图像感知和模型感知的数据增强，有效提升了人体解析模型及语义分割模型在常见图像损坏下的鲁棒性，且在干净数据上保持近似性能。

2023-09-07cs.CV

解析R-CNN用于实例级人体分析

Parsing R-CNN for Instance-Level Human Analysis

Beijing University of Posts and Telecommunications（北京邮电大学）；WiWide Inc.（WiWide公司）

实例级人体分析在现实场景中很常见，有多种表现形式，如人体部位分割、密集姿态估计、人-物交互等，模型需要区分图像面板中不同的人体实例，并学习丰富的特征来表示每个实例的细节。在本文中，我们提出了一个用于解决实例级人类分析的端到端管道，称为Parsing R-CNN。该方法综合考虑了基于区域的方法的特点和人的外貌特征，同时对一组人体实例进行处理，从而实现对实例细节的描述。解析R-CNN非常灵活和高效，适用于人类实例分析中的许多问题。我们的方法在CIHP（人群实例级人类解析），MHP v2.0（多人解析）和DensePose-COCO数据集上的性能优于所有最先进的方法。基于所提出的解析R-CNN，我们在COCO 2018 Challenge DensePose Estimation任务中获得了第一名。代码和模型是公开的。

2018-11-30cs.CV

融合人体解析与姿态网络的人体动作识别

Integrating Human Parsing and Pose Network for Human Action Recognition

Peking University（北京大学）；Sun Yat-sen University（中山大学）；Changchun University of Science and Technology（长春理工大学）；Peng Cheng Laboratory（鹏城实验室）

针对骨骼缺乏外观信息、RGB 含背景噪声的问题，提出双分支 IPP-Net，融合图卷积姿态特征与人体解析特征，并在 NTU RGB+D 系列基准上取得优于现有方法的结果。

2023-07-16cs.CV

用于人类句法分析的学习组合神经信息融合

Learning Compositional Neural Information Fusion for Human Parsing

Inception Institute of Artificial Intelligence（人工智能研究院）；Tianjin University（天津大学）；University of California, Los Angeles（加州大学洛杉矶分校）

这项工作提出将神经网络与人体的组成层次结构相结合，以实现高效和完整的人体解析。我们制定的方法作为一个神经信息融合框架。我们的模型通过层次结构从三个推理过程中收集信息：直接推理（使用图像信息直接预测人体的每个部分），自底向上推理（从组成部分收集知识）和自顶向下推理（利用来自父结点的上下文）。自下而上和自上而下的推理分别明确地模拟了人体的组成和分解关系。此外，多源信息的融合取决于输入，即，通过估计和考虑来源的置信度。整个模型是端到端可区分的，明确地建模信息流和结构。我们的方法在四个流行的数据集上进行了广泛的评估，在所有情况下都优于最先进的技术，具有23fps的快速处理速度。我们的代码和结果已经发布，以帮助简化未来在这个方向的研究。

2020-01-19cs.CV

人类语法分析的自我学习与纠正策略

Self-Learning with Rectification Strategy for Human Parsing

Beijing Institute of Technology（北京理工大学）；Inception Institute of Artificial Intelligence（人工智能起源研究所）

本文解决了人工解析任务中样本短缺的问题。我们从自学习策略开始，它为未标记的数据生成伪标签来重新训练模型。然而，直接使用噪声伪标签会导致错误放大和积累。考虑到人体的拓扑结构，我们提出了一种可训练的图推理方法，该方法在图节点之间建立内部结构连接，以纠正伪标签中的两个典型错误，即，全局结构误差和局部一致性误差。对于全局错误，我们首先将类别特征转换为具有粗粒度结构信息的高级图模型，然后将高级图解耦以重构类别特征。重构后的特征对人体的拓扑结构有较强的表征能力。扩大特征的感受野可以有效地减小局部误差。我们首先将特征像素投影到局部图模型中，以分层图的方式捕获像素之间的关系，然后将关系信息反转回像素。通过全局结构和局部一致性模块，这些错误可以得到纠正，并生成可靠的伪标签以进行重新训练。LIP和ATR数据集上的大量实验证明了我们的全局和局部校正模块的有效性。我们的方法优于其他国家的最先进的方法在监督人类解析任务。

2020-04-17cs.CV

更多相关论文收起更多论文

Med-Query：基于查询嵌入的9自由度医学解剖结构可控解析

Med-Query: Steerable Parsing of 9-DoF Medical Anatomies with Query Embedding

DAMO Academy, Alibaba Group（阿里巴巴集团达摩院）

本文提出Med-Query框架，采用单阶段非层次化表示实现9-DoF医学解剖结构的可控检测、识别与分割，在肋骨、脊柱及腹部器官解析任务中展现出高效性与高精度。

2024-12-20cs.CV

Edge-aware Guidance Fusion Network for RGB Thermal Scene Parsing

Zhejiang University of Science & Technology（浙江科技大学）

RGB thermal scene parsing has recently attracted increasing research interest in the field of computer vision. However, most existing methods fail to perform good boundary extraction for prediction maps and cannot fully use high level features. In addition, these methods simply fuse the features from RGB and thermal modalities but are unable to obtain comprehensive fused features. To address these problems, we propose an edge-aware guidance fusion network (EGFNet) for RGB thermal scene parsing. First, we introduce a prior edge map generated using the RGB and thermal images to capture detailed …

2021-12-09cs.CVeess.IV

W-Net：一种面部特征引导的人脸超分辨率网络

W-Net: A Facial Feature-Guided Face Super-Resolution Network

School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）；Center for Optics Research and Engineering (CORE), Shandong University（山东大学光学研究与工程中心）

针对现有FSR方法重建效率低、先验利用不足的问题，提出面部特征引导的W-Net网络，通过解析块、W形多维度融合及分区权重损失平衡重建效果，在量化指标、视觉质量和下游任务中均表现优异。

2024-06-23cs.CV

Plot2API: Recommending Graphic API from Plot via Semantic Parsing Guided Neural Network

Chongqing University（重庆大学）；Pengcheng Laboratory（鹏城实验室）；Zhejiang University（浙江大学）；Monash University（莫纳什大学）

Plot-based Graphic API recommendation (Plot2API) is an unstudied but meaningful issue, which has several important applications in the context of software engineering and data visualization, such as the plotting guidance of the beginner, graphic API correlation analysis, and code conversion for plotting. Plot2API is a very challenging task, since each plot is often associated with multiple APIs and the appearances of the graphics drawn by the same API can be extremely varied due to the different settings of the parameters. Additionally, the samples of different APIs also suffer from extremely …

2021-04-02cs.AIcs.CVcs.SE

FoMo：面向森林监测的多模态、多尺度与多任务遥感基础模型

FoMo: Multi-Modal, Multi-Scale and Multi-Task Remote Sensing Foundation Models for Forest Monitoring

National Observatory of Athens（雅典国家天文台）；National Technical University of Athens（雅典国家技术大学）；Harokopio University of Athens（哈罗科皮奥大学）；McGill University（麦吉尔大学）

针对森林监测，提出首个统一基准FoMo-Bench（含15个多模态数据集）和预训练框架FoMo-Net，以支持多模态、多尺度、多任务的基础模型开发。

2025-02-24cs.CV

面向遮挡行人重识别的基于师生解码器的部位表示学习

Part Representation Learning with Teacher-Student Decoder for Occluded Person Re-identification

Dalian University of Technology（大连理工大学）；NingBo Institute of Dalian University of Technology（大连理工大学宁波研究院）

针对遮挡行人重识别的遮挡干扰与信息缺失问题，提出结合人体解析与Transformer的师生解码器框架及掩码生成器，同时构建无遮挡查询的新基准，实验验证方法性能更优且新基准具备必要性。

2023-12-15cs.CVcs.LGcs.MM

SOSD-Net: Joint Semantic Object Segmentation and Depth Estimation from Monocular images

Baidu（百度）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）；Tsinghua University（清华大学）；Ryerson University（瑞尔森大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）

Depth estimation and semantic segmentation play essential roles in scene understanding. The state-of-the-art methods employ multi-task learning to simultaneously learn models for these two tasks at the pixel-wise level. They usually focus on sharing the common features or stitching feature maps from the corresponding branches. However, these methods lack in-depth consideration on the correlation of the geometric cues and the scene parsing. In this paper, we first introduce the concept of semantic objectness to exploit the geometric relationship of these two tasks through an analysis of the ima…

2021-01-19cs.CV