用于人类解析的质量感知网络

AIParsing：无锚实例级人工解析

AIParsing: Anchor-free Instance-level Human Parsing

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Georgia Tech Shenzhen Institute, Tianjin University（天津大学佐治亚理工深圳学院）；Sun Yat-sen University（中山大学）；Futurewei Technologies（未来技术公司）；Tsinghua University（清华大学）

大多数最先进的实例级人类句法分析模型采用两阶段基于锚的检测器，因此，不能避免启发式锚盒设计和缺乏像素级的分析。为了解决这两个问题，我们设计了一个实例级的人类解析网络，这是锚免费和解决的像素级。它由两个简单的子网络：一个锚无检测头的限界框预测和一个边缘引导的分析头的人体分割。无锚探测器头继承了像素级的优点，并有效地避免了超参数的敏感性，如在目标检测应用中所证明的。通过引入部分感知的边界线索，边缘引导的解析头能够在单个人体实例中，甚至在重叠的实例中，将相邻的人体部分彼此区分开多达58个部分。同时，一个细化头综合框级得分和部分级的分析质量，以提高分析结果的质量。在两个多人解析数据集上的实验（即，CIHP和LV-MHP-v2.0）和一个视频实例级人工解析数据集（即，VIP）表明，我们的方法实现了最好的全局级和实例级的性能比国家的最先进的一阶段自顶向下的替代品。

2022-07-14cs.CV

部分感知全景分割

Part-aware Panoptic Segmentation

Eindhoven University of Technology（埃因霍温理工大学）；University of Amsterdam（阿姆斯特丹大学）

在这项工作中，我们介绍了新的场景理解任务的部分感知的全景分割（PPS），其目的是了解一个场景在多个层次的抽象，并统一的场景解析和部分解析的任务。对于这个新任务，我们在两个常用的数据集上提供了一致的注释：Cityscapes和Pascal VOC。此外，我们提出了一个单一的指标来评估PPS，称为部分感知泛光质量（PartPQ）。对于这个新任务，使用度量和注释，我们通过合并现有最先进的全景分割和部分分割方法的结果来设置多个基线。最后，我们进行了几个实验，评估在这个单一的任务中，不同层次的抽象的重要性。

2021-06-11cs.CV

循环中透视理解的递归场景分析

Recurrent Scene Parsing with Perspective Understanding in the Loop

University of California, Irvine（加州大学尔湾分校）

物体可能以任意尺度出现在场景的透视图像中，这对以固定分辨率处理图像的识别系统构成了挑战。我们提出了一个深度感知门控模块，根据对象尺度（与深度成反比）自适应地选择卷积网络架构中的池域大小，以便为远处的对象保留小细节，而较大的感受野用于附近的对象。深度选通信号由立体视差提供或直接从单目输入估计。我们将这种深度感知门控集成到一个循环卷积神经网络中，以执行语义分割。我们的循环模块迭代地细化分割结果，利用以前迭代的深度和语义预测。通过在四个流行的大规模RGB-D数据集上的广泛实验，我们证明了这种方法具有竞争力的语义分割性能，模型更加紧凑。我们对这种架构进行了广泛的分析，包括在单目RGB上操作但在训练过程中使用深度作为边信息的变体，无监督门控作为通用注意力机制，以及多分辨率门控。我们发现，联合语义分割和深度的门控池产生定量单目深度估计的最先进的结果。

2017-12-06cs.CV

探索人体解析器对常见损坏的鲁棒性

Exploring the Robustness of Human Parsers Towards Common Corruptions

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Sun Yat-sen University（中山大学）；Westlake University（西湖大学）；OPPO；Tsinghua University（清华大学）

本文构建了三个损坏鲁棒性基准，并提出一种模型无关的异构增强增强机制，通过集成图像感知和模型感知的数据增强，有效提升了人体解析模型及语义分割模型在常见图像损坏下的鲁棒性，且在干净数据上保持近似性能。

2023-09-07cs.CV

基于表面参数化和二维语义分割网络的三维人脸解析

3D Face Parsing via Surface Parameterization and 2D Semantic Segmentation Network

Southeast University（东南大学）；City University of Hong Kong（香港城市大学）

人脸解析是将人脸的语义标记以像素为单位分配给计算机，这是许多先进人脸技术的基础。与二维人脸分析相比，三维人脸分析显示出更大的潜力，以实现更好的性能和进一步的应用，但由于三维网格数据的计算仍然是具有挑战性的。最近的工作介绍了不同的方法用于3D表面分割，但性能仍然有限。本文提出了一种基于“3D-2D-3D”策略的三维人脸分析方法。通过人脸参数化算法将采集到的三维人脸数据转换为包含空间和纹理信息的拓扑圆盘状二维人脸图像，并提出了一种专用的二维网络CPFNet，利用多尺度技术和特征聚合实现二维参数化人脸数据的语义分割。然后将二维语义结果逆映射到三维人脸数据，最终实现三维人脸解析。实验结果表明，CPFNet和“3D-2D-3D”策略都实现了高质量的3D人脸解析，并且在定性和定量比较中优于最先进的2D网络和3D方法。

2022-06-18cs.CV

DeeperLab：单次图像解析器

DeeperLab: Single-Shot Image Parser

MIT（麻省理工学院）；Google Inc.（谷歌公司）；UC Berkeley（加州大学伯克利分校）

我们提出了一个单镜头，自底向上的方法，整个图像解析。整体图像解析也称为全景分割，它概括了“stuff”类的语义分割和“thing”类的实例分割的任务，为图像中的每个像素分配语义和实例标签。最近的方法，整个图像解析通常采用单独的独立模块的组成语义和实例分割任务，并需要多个通道的推理。相反，拟议的DeeperLab图像解析器使用一种明显更简单的全卷积方法执行整个图像解析，该方法以单次方式联合解决语义和实例分割任务，从而形成一个更适合快速处理的流线型系统。对于定量评估，我们使用基于实例的Panoptic质量（PQ）度量和建议的基于区域的解析覆盖（PC）度量，它可以更好地捕捉图像解析质量的“东西”类和较大的对象实例。我们报告了在具有挑战性的Mapillary Vistas数据集上的实验结果，其中我们的单个模型在GPU上实现了31.95%（val）/ 31.6% PQ（测试）和55.26% PC（val），每秒3帧（fps）或接近实时的速度（GPU上为22.6 fps），但精度降低。

2019-03-12cs.CV

基于姿态引导的弱监督半监督人体部位识别

Weakly and Semi Supervised Human Body Part Parsing via Pose-Guided Knowledge Transfer

Shanghai Jiao Tong University（上海交通大学）；Zhejiang University（浙江大学）；University of California, Los Angeles（加州大学洛杉矶分校）；Tencent YouTu（腾讯优图）；SJTU-SenseTime lab（上海交大商汤实验室）；AI research institute of SJTU（上海交大人工智能研究院）

人体部分解析或人体语义部分分割是许多计算机视觉任务的基础。在传统的语义分割方法中，提供了真实分割，并且以端到端方案训练全卷积网络（FCN）。尽管这些方法已经展示了令人印象深刻的结果，但是它们的性能高度依赖于训练数据的数量和质量。在本文中，我们提出了一种新的方法来生成合成的人体部分分割数据，使用容易获得的人体关键点注释。我们的核心思想是利用人体之间的解剖相似性，将一个人的解析结果传递给具有相似姿势的另一个人。使用这些估计的结果作为额外的训练数据，我们的半监督模型优于其强监督对应的PASCAL-Person-Part数据集上的6 mIOU，我们实现了最先进的人类解析结果。我们的方法是通用的，可以很容易地扩展到其他对象/动物的解析任务，假设他们的解剖相似性可以通过关键点注释。建议的模型和附带的源代码可以在https://github.com/MVIG-SJTU/WSHP上获得

2018-05-11cs.CV

Graphonomy：基于图推理和转换的通用图像解析

Graphonomy: Universal Image Parsing via Graph Reasoning and Transfer

Sun Yat-sen University（中山大学）；Hefei University of Technology（合肥工业大学）

现有的高度调整的图像解析模型通常在具有特定语义标签集合的特定领域中进行研究，并且难以适应其他场景（例如，共享差异标签粒度），无需大量重新训练。通过统一来自不同领域或不同粒度级别的标签注释来学习单个通用解析模型是一个重要但很少涉及的主题。这带来了许多基本的学习挑战，例如，发现不同标签粒度之间的底层语义结构或挖掘相关任务之间的标签相关性。为了解决这些挑战，我们提出了一个图推理和迁移学习框架，命名为“Graphonomy”，它将人类知识和标签分类法融入到超越局部卷积的中间图表示学习中。特别地，图形学通过语义感知的图推理和传递来学习多个域中的全局和结构化语义一致性，从而实现跨域解析的共同利益（例如，不同的数据集或共同相关的任务）。Graphonomy包括两个迭代模块：图内推理和图间传输模块。前者提取每个领域的语义图，通过图传播信息来改进特征表示学习;后者利用不同领域的图之间的依赖关系进行双向知识传递。我们将Graphonomy应用于两个相关但不同的图像理解研究主题：人类解析和全景分割，并显示Graphonomy可以通过标准管道很好地处理这两个问题。此外，我们的框架的一些额外的好处被证明，例如，通过跨不同数据集统一注释来生成各种粒度级别的人工解析。

2021-01-26cs.CV

面向人脸解析的质量感知网络

Quality-Aware Network for Face Parsing

Beijing University of Posts and Telecommunications（北京邮电大学）；Institute of Automation Chinese Academy of Sciences（中国科学院自动化研究所）

本文介绍BUPT-CASIA团队在CVPR 2021 PIC挑战赛短视频人脸解析赛道中的方案，通过将最先进的人体解析方法迁移到人脸解析任务，最终以86.84%得分获得第二名。

2023-10-26cs.CV

RepParser：端到端的多人解析

RepParser: End-to-End Multiple Human Parsing with Representative Parts

University of Electronic Science and Technology of China（电子科技大学）

现有的多人句法分析方法通常采用两阶段策略（通常为自上而下和自下而上），该策略要么对先前检测有很强的依赖性，要么在后分组过程中存在很高的计算冗余。在这项工作中，我们提出了一个端到端的多人解析框架，使用代表性的部分，称为RepParser。与主流方法不同的是，RepParser以一种新的单阶段方式解决多人句法分析问题，无需进行人员检测或后分组，将句法分析流水线分为实例感知的内核生成和部件感知的人工句法分析，分别负责实例分离和特定实例的部件分割。特别是，我们授权的解析管道的代表性部分，因为他们的特点是实例感知的关键点，可以用来动态解析每个人的实例。具体地说，代表性的部分是通过联合定位中心的实例和身体部位区域的关键点估计。在此基础上，我们通过典型部位动态预测实例感知卷积核，将人-部位上下文编码到每个核中，负责将图像特征转换为实例特定表示。此外，我们采用多分支结构将每个实例特定表示划分为多个部位感知表示，用于单独的部位分割。RepParser则以典型部件为指导，聚焦于人物实例，直接输出每个人物实例的解析结果，从而消除了对在前检测或在后检测的要求。在两个具有挑战性的基准测试上的大量实验表明，我们提出的RepParser是一个简单而有效的框架，并实现了非常有竞争力的性能。

2022-08-27cs.CV

基于解析的视点感知嵌入网络的车辆再识别

Parsing-based View-aware Embedding Network for Vehicle Re-Identification

University of Chinese Academy of Sciences（中国科学院大学）；Megvii Inc（旷视科技）；University of Science and Technology of China（中国科学技术大学）；Peng Cheng Laboratory（鹏城实验室）；Institute of Microelectronics, Chinese Academy of Sciences（中国科学院微电子研究所）

车辆重新识别是在交叉摄像机场景中从不同视图中找到同一车辆的图像。该任务的主要挑战是由不同视图引起的较大实例内距离和由相似车辆引起的细微实例间差异。在本文中，我们提出了一种基于解析的视图感知嵌入网络（PVEN），以实现车辆ReID的视图感知特征对齐和增强。首先，我们引入一个解析网络来解析一辆车到四个不同的视图，然后对齐的功能，掩码平均池。这种对齐提供了车辆的细粒度表示。其次，为了增强视图感知特征，设计了一种共同可见注意力机制，将注意力集中在共同可见视图上，不仅缩短了实例间的距离，而且扩大了实例间的差异。PVEN有助于在不同视角下捕获稳定的车辆判别信息。在三个数据集上进行的实验表明，我们的模型在很大程度上优于最先进的方法。

2020-04-10cs.CV

FoveaNet：视角感知的城市场景解析

FoveaNet: Perspective-aware Urban Scene Parsing

Tsinghua University（清华大学）；National University of Singapore（新加坡国立大学）；Tencent AI Lab（腾讯人工智能实验室）；University of Trento（特伦托大学）；Adobe Research（Adobe研究院）；AI Institute（360人工智能研究院）

解析城市场景图像有利于许多应用，特别是自动驾驶。目前大多数解决方案采用通用的图像解析模型，平等地对待图像中的所有尺度和位置，而不考虑汽车捕获的城市场景图像的几何属性。因此，他们遭受异构的对象规模所造成的透视投影的相机在实际场景中，不可避免地遇到解析失败的遥远的对象，以及其他边界和识别错误。在这项工作中，我们提出了一个新的FoveaNet模型，以充分利用场景图像的透视几何，并解决通用解析模型的常见故障。FoveaNet通过卷积网络估计场景图像的透视几何形状，该卷积网络集成了来自图像内上下文对象的支持性证据。基于透视几何信息，FoveaNet“撤消”相机透视投影分析区域在实际场景的空间中，从而提供更可靠的解析结果。此外，为了有效地解决识别错误，FoveaNet引入了一种新的密集CRF模型，该模型将透视几何作为先验势。我们在两个城市场景解析数据集Cityspaces和CamVid上评估了FoveaNet，这表明FoveaNet可以超越所有成熟的基线，并提供新的最先进的性能。

2017-08-08cs.CV

用于人类句法分析的亲和压缩扩展网络

Affinity-aware Compression and Expansion Network for Human Parsing

Megvii（旷视科技）

作为一个细粒度的分割任务，人类句法分析仍然面临着两个挑战：部分之间的模糊性和部分内的不一致性，由于模糊的定义和混淆的关系之间的相似的人体部位。针对这两个问题，本文提出了一种新的\textit{Affinity-aware Compression and Expansion}网络（ACENet），它主要由两个模块组成：局部压缩模块（LCM）和全局扩展模块（GEM）。具体地说，LCM压缩部件相关信息，通过结构骨架点，从额外的骨架分支。它可以减少零件间的干涉，加强歧义零件之间的结构关系。此外，GEM通过结合空间相似度和边界引导，将各零件的语义信息扩展为一个完整的块，有效地提高了零件内部的语义一致性。ACENet在具有挑战性的LIP和Pascal-Person-Part数据集上实现了最先进的性能。特别是，在LIP基准上实现了58.1%的平均IoU。

2020-08-24cs.CV

面向人脸分析的边感知图表示学习与推理

Edge-aware Graph Representation Learning and Reasoning for Face Parsing

Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；JD AI Research（京东人工智能研究院）

人脸分析为每个人脸组成部分推断一个像素级的标签，这一点最近引起了人们的广泛关注。以往的方法在人脸分析中表现出了很好的效果，但是忽略了不同人脸区域之间的相关性。这种相关性是关于面部外观、姿势、表情等的关键线索，并且应该被考虑用于面部解析。为此，我们建议通过学习图形表示来建模和推理区域之间的关系，并利用区域之间的边缘信息进行优化抽象。具体来说，我们将面部图像编码到全局图表示上，其中具有相似特征的像素（“区域”）的集合被投影到每个顶点。我们的模型通过在图上的顶点之间传播信息来学习和推理区域之间的关系。此外，我们将边缘信息聚合到顶点上的像素级特征，这强调了边缘周围的功能，沿边缘进行精细分割。最终学习的图形表示被投影回像素网格以进行解析。实验表明，我们的模型在广泛使用的Helen数据集上的性能优于最先进的方法，并且在大规模CelebAMask-HQ和LaPa数据集上也表现出优越的性能。该代码可在https://github.com/tegusi/EAGRNet上获得。

2020-07-22cs.CV

PolarSym：面向CAD平面图解析的极坐标几何感知注意力机制

PolarSym: Polar Geometry-aware Attention for CAD Floorplan Parsing

School of Computer and Information Engineering, Henan University of Economics and Law（河南财经政法大学计算机与信息工程学院）；Third Dimension (Henan) Software Technology（第三维度（河南）软件科技公司）

针对现有Transformer方法在CAD平面图解析中几何对称性建模不足的问题，提出PolarSym极坐标几何感知注意力框架，解耦方向与距离建模，在公开数据集上较SymPoint V2基线实现多项指标提升且收敛更快。

2026-08-13cs.CV

通过现实场景合成和文档感知训练实现真实世界文档解析

Towards Real-World Document Parsing via Realistic Scene Synthesis and Document-Aware Training

Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Tencent（腾讯）；Nankai University（南开大学）；University of Chinese Academy of Sciences（中国科学院大学）；Nanjing University of Science and Technology（南京理工大学）

本文提出数据训练协同框架，通过现实场景合成和文档感知训练提升文档解析的准确性和鲁棒性，构建了Wild-OmniDocBench基准，并在1B参数MLLM中实现了跨扫描/数字和真实世界场景的优异性能。

2026-04-18cs.CV

PVLM：面向零样本深度伪造属性识别的解析感知视觉语言模型

PVLM: Parsing-Aware Vision Language Model with Dynamic Contrastive Learning for Zero-Shot Deepfake Attribution

Faculty of Computer Science and Technology, Qilu University of Technology (Shandong Academy of Sciences)（计算机科学与技术学院，齐鲁工业大学（山东省科学院））；Shandong University of Science and Technology（山东科技大学）；Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)（山东省人工智能研究院，齐鲁工业大学（山东省科学院））；School of Electronics and Information Engineering, Harbin Institute of Technology（电子与信息工程学院，哈尔滨工业大学（深圳））；School of Computer Science and Technology, Shandong University（计算机科学与技术学院，山东大学）

本文提出PVLM模型，通过动态对比学习实现对未知高级生成器的细粒度追踪，利用面部解析特征捕捉伪造表示，提升深度伪造属性识别性能。

2026-05-13cs.CV

Agentar-Fin-OCR：通过跨页整合与难度自适应学习提升金融文档解析精度

LingDT-VL-OCR: Structure-Aware Document-Level Parsing with Fine-Grained Visual Reference

Ant Group（蚂蚁集团）

Agentar-Fin-OCR通过跨页整合与难度自适应学习提升金融文档解析精度，FinDocBench提供评估框架以验证模型性能。

2026-07-08cs.CV

改进R-CNN实现多人精确句法分析

Renovating Parsing R-CNN for Accurate Multiple Human Parsing

Beijing University of Posts and Telecommunications（北京邮电大学）；Noah’s Ark Lab, Huawei Technologies（华为技术有限公司诺亚方舟实验室）

多人分析的目的是分割人体的各个部分，并同时将每个部分与相应的实例相关联。这是一个非常具有挑战性的任务，由于不同的人的外观，不同的身体部位的语义模糊性，和复杂的背景。通过对多个人类句法分析任务的分析，我们观察到以人为中心的全局感知和准确的实例级句法分析评分对于获得高质量的结果至关重要。但大多数最先进的方法都没有对这些问题给予足够的重视。为了扭转这种现象，我们提出了Renovating Parsing R-CNN（RP R-CNN），它将全局语义增强特征金字塔网络和解析重新评分网络引入到现有的高性能管道中。提出的RP R-CNN采用全局语义表示来增强多尺度特征以生成人类解析图，并回归置信度得分来表示其质量。大量的实验表明，RP R-CNN在CIHP和MHP-v2数据集上的表现优于最先进的方法。代码和型号可在www.example.com上获得。

2020-09-20cs.CV

DOCR-Inspector: 基于VLM的文档解析细粒度与自动化评估

DOCR-Inspector: Fine-Grained and Automated Evaluation of Document Parsing with VLM

Peking University（北京大学）；Shanghai AI Laboratory（上海人工智能实验室）；The University of HongKong（香港大学）；Shanghai Jiaotong University（上海交通大学）

DOCR-Inspector通过细粒度错误检测和分析，提供文档解析质量的自动化评估，优于现有商业和开源模型。

2025-12-11cs.CV

RoadFormer+：通过尺度感知信息解耦与高级异构特征融合实现RGB-X场景解析

RoadFormer+: Delivering RGB-X Scene Parsing through Scale-Aware Information Decoupling and Advanced Heterogeneous Feature Fusion

针对RoadFormer在多模态和全类别场景解析中性能下降的问题，本文提出RoadFormer+模型，通过混合特征解耦编码器和双分支多尺度异构特征融合块有效融合RGB-X数据，在多个基准上达到SOTA且参数量减少65%。

2024-08-22cs.CV

基于齐次 Tanh 变换的遮挡感知深度卷积神经网络用于人脸解析

Occlusion-Aware Deep Convolutional Neural Network via Homogeneous Tanh-transforms for Face Parsing

Hunan University（湖南大学）；AthenaEyesCO., LTD.（雅典娜眼睛股份有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Khalifa University of Science and Technology（哈利法科技大学）

针对遮挡人脸解析，本文提出由四个 tanh 变换组成的齐次变换、融合双空间信息的遮挡感知 CNN 与边界损失，并发布清洗数据集，性能超过现有方法。

2024-06-11cs.CVcs.LG

用于弱监督音视频视频解析的多模态不平衡感知梯度调制

Multimodal Imbalance-Aware Gradient Modulation for Weakly-supervised Audio-Visual Video Parsing

Zhengzhou University（郑州大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；Peng Cheng Laboratory（鹏城实验室）

本文针对弱监督音视频视频解析中不同模态特征学习不平衡问题，提出动态梯度调制机制和模态分离决策单元，通过更精确地度量并平衡音频与视觉模态的学习过程，在公开基准上验证了方法的有效性。

2023-07-05cs.CV

边缘感知制导融合网络用于RGB热场景解析

Edge-aware Guidance Fusion Network for RGB Thermal Scene Parsing

Zhejiang University of Science & Technology（浙江科技大学）

RGB热场景解析是近年来计算机视觉领域的研究热点。然而，大多数现有方法都未能对预测地图进行良好的边界提取，并且无法充分利用高级特征。此外，这些方法简单地融合来自RGB和热模态的特征，但无法获得全面的融合特征。为了解决这些问题，我们提出了一个边缘感知的指导融合网络（EGFNet）的RGB热场景解析。首先，我们引入了一个先验边缘图生成的RGB和热图像捕捉预测图中的详细信息，然后嵌入到特征图的先验边缘信息。为了有效地融合RGB和热信息，我们提出了一个多模态融合模块，保证充分的跨模态融合。考虑到高层语义信息的重要性，本文提出了全局信息模块和语义信息模块，从高层特征中提取丰富的语义信息。对于解码，我们使用简单的elementwise除了级联特征融合。最后，为了提高解析的准确性，我们对语义和边界图应用了多任务深度监督。在基准数据集上进行了大量的实验，以证明所提出的EGFNet的有效性和其优越的性能相比，最先进的方法。代码和结果可以在https://github.com/ShaohuaDong2021/EGFNet上找到。

2021-12-09cs.CVeess.IV

渐进式语义感知风格变换在盲人脸恢复中的应用

Progressive Semantic-Aware Style Transformation for Blind Face Restoration

The University of Hong Kong（香港大学）；Harbin Institute of Technology（哈尔滨工业大学）；DAMO Academy Alibaba Group（阿里巴巴达摩院）；Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）

人脸恢复是人脸图像处理中的一个重要问题，近年来得到了广泛的研究。然而，以前的作品往往无法产生合理的高质量（HQ）的结果，为现实世界的低质量（LQ）的人脸图像。在本文中，我们提出了一个新的渐进式语义感知的风格转换框架，命名为PSFR-GAN，人脸恢复。具体来说，而不是使用编码器-解码器框架，如以前的方法，我们制定的恢复LQ人脸图像作为一个多尺度渐进式恢复过程，通过语义感知的风格变换。给定一对LQ人脸图像及其对应的解析图，首先生成输入的多尺度金字塔，然后以语义感知的风格转换方式，从粗到细逐步调制不同尺度的特征。与以前的网络相比，所提出的PSFR-GAN充分利用了来自不同尺度的输入对的语义（解析图）和像素（LQ图像）空间信息。此外，我们还引入了一个语义感知的风格损失，它计算每个语义区域的特征风格损失，以改善人脸纹理的细节。最后，我们预训练了一个人脸解析网络，该网络可以从真实世界的LQ人脸图像中生成像样的解析图。实验结果表明，我们的模型与合成数据训练，不仅可以产生更真实的高分辨率的结果，合成LQ输入，但也更好地推广到自然LQ人脸图像相比，最先进的方法。代码可在https://github.com/chaofengc/PSFRGAN上获得。

2021-03-21cs.CV

使用结构感知形状模板解析几何

Parsing Geometry Using Structure-Aware Shape Templates

Stanford University（斯坦福大学）；Autodesk Inc.（欧特克公司）；TU Munich（慕尼黑工业大学）

现实生活中的人造物体通常表现出强大且易于识别的结构，这是其设计或预期功能的直接结果。结构通常以各个部分及其排列的形式出现。了解对象结构可以是对象识别和场景理解的重要线索-这是各种AR和机器人应用的关键目标。然而，在这些场景中使用的商品RGB-D传感器只产生原始的、无组织的点云，而没有关于捕获场景的结构信息。此外，所生成的数据通常是部分的，并且容易受到伪影和噪声的影响，这使得推断扫描对象的结构具有挑战性。在本文中，我们将大型形状集合组织成参数化的形状模板，以捕获对象的底层结构。模板允许我们将结构信息转移到新的对象和不完整的扫描上。我们采用了一个深度神经网络，它将部分扫描与其中一个形状模板进行匹配，然后将其匹配并拟合到集合中完整和详细的模型。这使我们能够忠实地标记其部件并指导扫描对象的重建。我们通过将其与其他最先进的方法进行比较来展示我们方法的有效性。

2018-09-05cs.CV

具有共现一致性的交互感知表示建模用于中心视角手-物体解析

Interaction-aware Representation Modeling with Co-occurrence Consistency for Egocentric Hand-Object Parsing

The Hong Kong Polytechnic University（香港理工大学）

本文提出交互感知变压器模型，通过动态查询生成、双上下文特征选择和条件共现损失，提升中心视角手-物体解析的准确性和物理一致性。

2026-02-24cs.CV

多人解析

Multiple-Human Parsing in the Wild

National University of Singapore（新加坡国立大学）；Beijing Jiaotong University（北京交通大学）

人工句法分析正引起越来越多的研究关注。在这项工作中，我们的目标是推动人类解析的前沿，在野外引入多人解析的问题。现有的人类解析工作主要是解决单人场景，这偏离了现实世界中的应用程序，其中多个人同时存在交互和遮挡。为了解决多人句法分析问题，我们引入了一个新的多人句法分析（MHP）数据集和一个新的多人句法分析模型MH-Parser。MHP数据集包含在真实世界场景中捕获的多个人，在实例感知设置中具有像素级细粒度语义注释。MH-Parser在新的Graph-GAN模型的帮助下，以自下而上的方式同时生成全局解析映射和人物实例掩码。我们设想，MHP数据集将作为开发新的多人解析模型的宝贵数据资源，MH-Parser提供了一个强大的基线，以推动未来在野外进行多人解析的研究。

2018-03-15cs.CV

基于时间解析Transformer的动作质量评估

Action Quality Assessment with Temporal Parsing Transformer

Durham University（杜伦大学）；Shanghai AI Laboratory（上海人工智能实验室）；University of Warwick（华威大学）；Baidu Inc.（百度公司）

动作质量评估（AQA）对于动作理解和解决任务非常重要，由于细微的视觉差异，任务提出了独特的挑战。现有的最先进的方法通常依赖于整体视频表示的分数回归或排名，这限制了泛化以捕获细粒度的类内变化。为了克服上述限制，我们提出了一个时间解析Transformer分解的整体功能到时间部分级表示。具体来说，我们利用一组可学习的查询来表示特定操作的原子时间模式。我们的解码过程将帧表示转换为固定数量的时间排序的部分表示。为了获得质量分数，我们采用了最先进的对比回归的基础上的部分表示。由于现有的AQA数据集不提供时间部分级别的标签或分区，我们提出了两个新的损失函数的交叉注意响应的解码器：排名损失，以确保可学习的查询，以满足时间顺序的交叉注意和稀疏损失，以鼓励部分表示更具歧视性。大量的实验表明，我们提出的方法优于以前的工作在三个公共AQA基准相当大的利润。

2022-07-19cs.CV

用于肾脏解析的边界感知网络

Boundary-Aware Network for Kidney Parsing

Northwestern Polytechnical University（西北工业大学）

肾脏结构分割是肾癌手术辅助诊断中的一个关键而又具有挑战性的任务。尽管许多深度学习模型在许多医学图像分割任务中取得了显着的成功，但由于肾脏肿瘤的大小可变以及肾脏结构与其周围环境之间的边界模糊，计算机断层扫描血管造影（CTA）图像上肾脏结构的准确分割仍然具有挑战性。在本文中，我们提出了一种边界感知网络（BA-Net），用于在CTA扫描中分割肾脏，肾脏肿瘤，动脉和静脉。该模型包含共享编码器、边界解码器和分割解码器。在两个解码器上都采用了多尺度深度监督策略，这可以减轻由可变肿瘤尺寸引起的问题。边界解码器在每个尺度上产生的边界概率图被用作注意力来增强分割特征图。我们在肾脏PARsing（KiPA）挑战数据集上评估了BA-Net，并使用4重交叉验证在CTA扫描上实现了肾脏结构分割的平均Dice评分为89.65 $\%$。结果表明了BA-Net的有效性。

2022-08-29cs.CVeess.IV

金字塔场景解析网络

Pyramid Scene Parsing Network

The Chinese University of Hong Kong（香港中文大学）；SenseTime Group Limited（商汤集团有限公司）

场景分析是具有挑战性的不受限制的开放词汇和多样化的场景。在本文中，我们利用全局上下文信息的能力，通过我们的金字塔池模块与建议的金字塔场景解析网络（PSPNet）的不同区域为基础的上下文聚合。我们的全球先验表示是有效的，以产生良好的质量结果的场景解析任务，而PSPNet像素级预测任务提供了一个优越的框架。所提出的方法在各种数据集上实现了最先进的性能。它在2016年ImageNet场景解析挑战赛、PASCAL VOC 2012基准测试和Cityscapes基准测试中名列第一。单个PSPNet在PASCAL VOC 2012上产生了mIoU准确率85.4%的新记录，在Cityscapes上的准确率为80.2%。

2017-04-27cs.CV

FairForensics：基于视觉-语言建模的通用公平深度伪造检测——表情感知与人口统计解析

FairForensics: Seeing Expressions and Parsing Demographics via Vision-Language Modeling for Generalizable Fair Deepfake Detection

Shenzhen University（深圳大学）；Shandong Artificial Intelligence Institute（山东省人工智能研究院）；Qilu University of Technology (Shandong Academy of Sciences)（齐鲁工业大学（山东省科学院））；Tianjin University of Technology（天津理工大学）

本文构建人口统计平衡的深度伪造检测基准，提出FairForensics视觉-语言模型，通过表情感知与人口统计正则化实现通用公平检测，在基准上达到泛化与公平性的SOTA。

2026-08-04cs.CV

DROP：针对遮挡行人重识别，利用任务特定特征解耦重识别与人体解析

DROP: Decouple Re-Identification and Human Parsing with Task-specific Features for Occluded Person Re-identification

Tongji University（同济大学）；MSRA（微软亚洲研究院）；University of HongKong（香港大学）

针对遮挡行人重识别任务，本文提出DROP方法，通过解耦ReID与人体解析的任务特征、引入对应分支优化策略，在Occluded-Duke数据集上取得76.8%的Rank-1准确率，优于主流方法。

2024-01-31cs.CV

CREPE：坐标感知的端到端文档解析器

CREPE: Coordinate-Aware End-to-End Document Parser

NAVER Cloud AI（NAVER云人工智能）；LINE WORKS

CREPE 提出一种无 OCR 的端到端文档解析模型，通过特殊标记与标记触发坐标解码同时完成文本解析和坐标提取，并利用弱监督框架降低训练成本，在文档解析及相关理解任务中取得领先性能。

2024-05-01cs.CV

Infinity Parser：面向扫描文档解析的版面感知强化学习

Infinity Parser: Layout Aware Reinforcement Learning for Scanned Document Parsing

INFLY Tech（INFLY科技）；Australian Artificial Intelligence Institute（澳大利亚人工智能研究所）；University of Liverpool（利物浦大学）

针对扫描文档解析中多阶段流水线误差传播和版面适应性不足的问题，提出 layoutRL 强化学习框架与 Infinity-Parser，并基于 Infinity-Doc-55K 在中英文多项任务上达到最先进水平。

2025-10-21cs.AIcs.CLcs.CV

多模态类感知语义增强网络用于音视频视频解析

Multimodal Class-aware Semantic Enhancement Network for Audio-Visual Video Parsing

Hefei University of Technology（合肥工业大学）

针对音视频解析中整体特征语义混合导致干扰的问题，提出类感知特征解耦与细粒度语义增强网络，实现新最先进性能。

2024-12-17cs.CVcs.MM

Guideline2Graph：面向可执行临床决策图的多模态解析

Guideline2Graph: Profile-Aware Multimodal Parsing for Executable Clinical Decision Graphs

Georgia Institute of Technology（佐治亚理工学院）；MetaDialog；Infuse Inc（Infuse公司）

本文提出一种多模态解析方法，通过拓扑感知分块、接口约束分块生成和溯源保留的全局聚合，将完整指南证据转换为可执行临床决策支持图。实验表明，该方法在前列腺指南基准上显著提升了精度和召回率。

2026-04-02cs.CVcs.LG

SciFlow-Bench：通过逆解析评估结构感知的科学图表生成

SciFlow-Bench: Evaluating Structure-Aware Scientific Diagram Generation via Inverse Parsing

Peking University（北京大学）；Shanghai Jiao Tong University（上海交通大学）；Huawei Cloud BU（华为云业务部）；Zhongguancun Academy（中关村学院）；Beijing Key Laboratory of Data Intelligence and Security (Peking University)（北京数据智能与安全重点实验室（北京大学））

提出SciFlow-Bench基准，通过逆解析将生成的图表图像转换为结构化图进行比较，以结构可恢复性而非视觉相似性评估科学图表生成。

2026-09-29cs.AIcs.CV

基于局部神经网络的实例级人工句法分析

Instance-level Human Parsing via Part Grouping Network

Sun Yat-sen University（中山大学）；SenseTime Group (Limited)（商汤集团有限公司）；CVTE Research（视源研究院）

由于缺乏足够的数据资源和在一次通过中解析多个实例的技术困难，面向真实世界人类分析场景的实例级人类解析仍然未被充分探索。几个相关的工作都遵循“检测解析”管道，严重依赖于单独训练的检测模型来定位实例，然后依次对每个实例执行人工解析。然而，检测和解析这两个不一致的优化目标导致了次优的表示学习和最终结果的错误累积。在这项工作中，我们第一次尝试探索一种无检测的部分神经网络（PGN），用于在一次通过中有效地解析图像中的多个人。我们的PGN将实例级人类解析重新制定为两个孪生子任务，可以通过统一的网络共同学习和相互细化：1）语义部分分割，用于将每个像素分配为人类部分（例如，面部、手臂）; 2）实例感知边缘检测，以将语义部分分组为不同的人实例。因此，共享的中间表示将被赋予表征细粒度部分和推断每个部分的实例属性的能力。最后，一个简单的实例划分过程中得到的推理最终结果。我们在PASCAL-Person-Part数据集上进行了实验，我们的PGN优于所有最先进的方法。此外，我们在一个新收集的多人解析数据集（CIHP）上展示了它的优越性，该数据集包括38，280张不同的图像，这是迄今为止最大的数据集，可以促进更高级的人类分析。CIHP基准测试和我们的源代码可以在http://sysu-hcp.net/lip/上获得。

2018-08-01cs.CV

理解拥挤场景中的人类：深度嵌套对抗学习和多人解析的新基准

Understanding Humans in Crowded Scenes: Deep Nested Adversarial Learning and A New Benchmark for Multi-Human Parsing

National University of Singapore（新加坡国立大学）；National University of Defense Technology（中国人民解放军国防科技大学）；Qihoo 360 AI Institute（奇虎360人工智能研究院）

尽管在检测、实例分割和人类解析等感知任务方面取得了显著进展，但计算机在拥挤场景中对人类的视觉理解，如群体行为分析、人员重新识别和自动驾驶等方面仍然表现不尽如人意。为此，模型需要全面感知多人图像中的语义信息和实例之间的差异，最近被定义为多人解析任务。在本文中，我们提出了一个新的大型数据库“多人解析（MHP）”的算法开发和评估，并提出了国家的最先进的理解人类在拥挤的场景。MHP包含25，403张精心注释的图像，具有58个细粒度的语义类别标签，每张图像涉及2-26人，并从各种视角，姿势，遮挡，交互和背景中捕获真实场景。我们进一步提出了一种新的深度嵌套对抗网络（NAN）模型，用于多人解析。NAN由三个生成对抗网络（GAN）类子网组成，分别执行语义显著性预测，实例不可知解析和实例感知聚类。这些子网形成了一个嵌套结构，并经过精心设计，以端到端的方式联合学习。NAN在我们的MHP和其他几个数据集上始终优于现有的最先进的解决方案，并作为一个强大的基线来推动未来的多人解析研究。

2018-07-06cs.CV

用于专业摄影解析与指导的AND-OR模板学习

Learning AND-OR Templates for Professional Photograph Parsing and Guidance

Beijing Electronic Science and Technology Institute（北京电子科技学院）

针对摄影艺术中形成的风格化视觉“模板”，提出学习分层可重构AND-OR图像模板的框架，可用于摄影质量评估、拍摄指导及图像生成引导，效果接近人类评估水平。

2024-10-08cs.CV

SCHNet：SAM 与 CLIP 结合用于人体解析

SCHNet: SAM Marries CLIP for Human Parsing

Ajou University（亚洲大学）；Tiangong University（天津工业大学）；Korea University（高丽大学）

针对人体解析需兼顾细粒度分割与语义理解的问题，提出SCHNet，通过语义细化模块整合SAM与CLIP特征，并设计高效微调模块优化SAM，在LIP、PPP和CIHP数据集上验证了有效性。

2025-03-28cs.CV

端到端线框解析

End-to-End Wireframe Parsing

UC Berkeley（加州大学伯克利分校）

我们提出了一个概念上简单而有效的算法来检测给定图像中的线框。与之前先预测中间热图，然后用启发式算法提取直线的方法相比，我们的方法是端到端可训练的，可以直接输出包含语义上有意义的和几何上突出的结点和直线的矢量化线框。为了更好地理解输出的质量，我们提出了一个新的线框评估指标，惩罚重叠的线段和不正确的线连接。我们进行了广泛的实验，并表明，我们的方法显着优于以前的国家的最先进的线框和线提取算法。我们希望我们简单的方法可以作为未来线框解析研究的基准。代码已在https://github.com/zhou13/lcnn上公开发布。

2021-05-04cs.CV

TEn-CATG：基于多尺度类别感知时间图的文本增强音视频解析

TEn-CATG:Text-Enriched Audio-Visual Video Parsing with Multi-Scale Category-Aware Temporal Graph

Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP），萨里大学）；School of Computer Science and Artificial Intelligence, Wuhan University of Technology（计算机科学与人工智能学院，武汉理工大学）；National Key Laboratory of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（通用人工智能国家重点实验室，北京大学智能科学与技术学院）；College of Information and Electrical Engineering, China Agricultural University（信息与电子工程学院，中国农业大学）

针对弱监督音视频解析中噪声伪标签和均匀注意力导致时间定位不准的问题，提出TEn-CATG框架，通过双向文本融合与类别感知时间图实现语义校准和事件依赖推理，在LLP和UnAV-100上取得最先进结果。

2025-10-27cs.CVcs.MM

结肠镜视频的多标签时序网络语义解析

Semantic Parsing of Colonoscopy Videos with Multi-Label Temporal Networks

Verily Life Sciences（维里生命科学公司）

本文提出一种基于多标签时序网络的结肠镜视频语义解析方法，通过监督与无监督训练，在300多个标注视频上验证了其有效性，并分析了各组件贡献。

2023-08-22cs.CV

视频集的无监督语义解析

Unsupervised Semantic Parsing of Video Collections

Stanford University（斯坦福大学）；Cornell University（康奈尔大学）；Brain of Things Inc.（Brain of Things公司）

人类交流通常有一个基本结构。这反映在以下事实中：在许多用户生成的视频中，可以识别起点、终点和这两者之间的某些客观步骤。在本文中，我们提出了一种方法来解析视频到这样的语义步骤，在无监督的方式。所提出的方法是能够提供一个语义的“故事情节”的视频组成的目标步骤。我们在一个联合生成模型中使用视觉和语言线索来实现这一点。所提出的方法还可以为所识别的语义步骤和视频片段中的每一个提供文本描述。我们在大量复杂的YouTube视频上评估了这种方法，并为这个复杂而有影响力的问题展示了前所未有的质量结果。

2016-01-27cs.CV

人类解析的深度学习：综述

Deep Learning for Human Parsing: A Survey

Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Hong Kong Institute of Science and Innovation, Chinese Academy of Sciences（中国科学院香港创新研究院）

人体分析是图像处理中的一个关键课题，具有许多应用，例如监控分析、人机交互、人物搜索和服装类别分类等。最近，由于深度学习在计算机视觉中的成功，有许多工作旨在使用深度学习模型开发人类解析算法。随着方法的提出，对这一主题的全面调查是非常重要的。在这项调查中，我们提供了一个国家的最先进的人类解析方法的分析，涵盖了广泛的开创性工作的语义人类解析。我们介绍五个有见地的类别：（1）结构驱动的体系结构利用不同人体部分的关系和人体的固有层次结构，（2）基于图的网络捕获全局信息以实现有效和完整的人体分析，（3）上下文感知网络探索所有像素上的有用上下文以表征对应类的像素，（4）基于LSTM的方法可以结合短距离和长距离的空间依赖性，以更好地利用丰富的本地和全局上下文，以及（5）组合辅助信息方法使用相关的任务或监督，以提高网络性能。我们还讨论了每个类别中方法的优点/缺点以及不同类别中方法之间的关系，检查了最广泛使用的数据集，报告性能，并讨论了该领域未来有前途的研究方向。

2023-01-29cs.CV

CPGAN：用于文本到图像合成的全谱内容解析生成对抗网络

CPGAN: Full-Spectrum Content-Parsing Generative Adversarial Networks for Text-to-Image Synthesis

Beihang University（北京航空航天大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）

文本到图像合成的典型方法寻求设计有效的生成架构来直接建模文本到图像的映射。由于跨模态翻译的存在，翻译难度相当大。在本文中，我们绕过这个问题，专注于分析的输入文本和合成图像的内容彻底建模的文本到图像的一致性在语义层面。特别是，我们设计了一个内存结构来解析文本内容，通过探索语义对应词汇表中的每个单词之间的各种视觉上下文相关的图像在文本编码。同时，合成的图像进行解析，学习其语义的对象感知的方式。此外，我们自定义了一个条件映射模型来模拟文字和图像子区域之间的细粒度相关性，以推动文本-图像语义对齐。在COCO数据集上的大量实验表明，我们的模型显着提高了最先进的性能（从35.69到52.73的初始得分）。

2020-07-12cs.CV

布局感知解析与高效LLMs结合：面向简历信息抽取与评估的统一可扩展框架

Layout-Aware Parsing Meets Efficient LLMs: A Unified, Scalable Framework for Resume Information Extraction and Evaluation

Hangzhou City University（杭州市大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（浙江实验室）；Alibaba Cloud（阿里云）；Northeastern University（东北大学）

提出统一可扩展的简历信息抽取与评估框架，结合布局感知解析与高效LLM，在保证高准确率的同时显著降低推理成本，已部署于阿里巴巴智能HR平台。

2025-10-10cs.AIcs.CLcs.CV

面向室内场景解析的3D-to-2D提取

3D-to-2D Distillation for Indoor Scene Parsing

The Chinese University of Hong Kong（香港中文大学）；The University of Hong Kong（香港大学）

室内场景的语义解析从RGB图像是非常具有挑战性的，由于闭塞，对象失真，视点变化。超越利用几何信息（通常是成对的深度图）的现有工作，我们提出了一种新的方法，即3D到2D蒸馏框架，该框架使我们能够利用从大规模3D数据存储库中提取的3D特征（例如，ScanNet-v2）来增强从RGB图像中提取的2D特征。我们的工作有三个新的贡献。首先，我们从预训练的3D网络中提取3D知识，以监督2D网络在训练过程中从2D特征中学习模拟的3D特征，因此2D网络可以在不需要3D数据的情况下进行推断。其次，我们设计了一个两阶段的尺寸归一化方案来校准的2D和3D功能，以更好地集成。第三，我们设计了一个语义感知的对抗训练模型，以扩展我们的框架，用于使用未配对的3D数据进行训练。在ScanNet-V2、S3 DIS和NYU-v2数据集上的大量实验证明了该方法的优越性。此外，实验结果表明，我们的三维到二维蒸馏提高了模型的泛化能力。

2021-04-07cs.CV

语境至关重要：通过VLM动作解析和LLM序列分类进行同伴感知的学生行为参与度测量

Context Matters: Peer-Aware Student Behavioral Engagement Measurement via VLM Action Parsing and LLM Sequence Classification

University of Louisville（路易斯维尔大学）

本文提出一种三阶段框架，通过VLM动作识别和LLM序列分类，结合课堂语境中的同伴行为，有效测量学生参与度。

2026-04-29cs.AIcs.CV

研究人：联合身体解析和姿势估计网络和新基准

Look into Person: Joint Body Parsing & Pose Estimation Network and A New Benchmark

Sun Yat-sen University（中山大学）；Adobe Research（奥多比研究院）

人体解析和姿态估计由于其巨大的应用潜力，最近受到了相当大的关注。然而，现有的数据集具有有限数量的图像和注释，并且缺乏在不受约束的环境中的各种人类外观和具有挑战性的情况下的覆盖。在本文中，我们介绍了一个新的基准命名为“看人（LIP）”，提供了一个显着的进步，在可扩展性，多样性和难度，这是至关重要的未来发展，以人为本的分析。这个全面的数据集包含超过50，000张精心注释的图像，其中包含19个语义部分标签和16个身体关节，这些图像是从广泛的视角、遮挡和背景复杂性中捕获的。使用这些丰富的注释，我们进行了详细的分析，领先的人类解析和姿态估计方法，从而获得这些方法的成功和失败的见解。为了进一步探索和利用这两个任务的语义相关性，我们提出了一种新的联合人类解析和姿势估计网络，以探索高效的上下文建模，它可以同时预测解析和姿势，具有极高的质量。此外，我们通过探索一种新的自监督结构敏感学习方法来简化网络以解决人类解析，该方法将人类姿势结构强加到解析结果中，而无需进行额外的监督。数据集、代码和模型可在http://www.sysu-hcp.net/lip/上获得。

2018-04-05cs.CV

P2TPO：面向全页文档解析的结构对齐页到令牌信用分配

P2TPO: Structure-Aligned Page-to-Token Credit Assignment for Full-Page Document Parsing

Qwen Business Unit, Alibaba（阿里通义千问业务部）；Xidian University（西安电子科技大学）

P2TPO是面向全页文档解析的结构对齐信用分配框架，通过页到令牌的信用分配解决局部错误问题，在六个文档解析基准及不同模型规模下均优于现有策略优化基线。

2026-10-16cs.CLcs.CVcs.LG

使用对抗式解析学习进行时尚编辑

Fashion Editing with Adversarial Parsing Learning

Sun Yat-sen University（中山大学）；Petuum Inc（Petuum公司）；ByteDance AI Lab（字节跳动AI实验室）

交互式服装图像处理是一个很有应用价值的研究课题，它使用户能够用草图和颜色笔画来编辑图像。现有的作品往往把它作为一个一般的修复任务，并没有充分利用语义结构信息的时装图像。此外，它们直接利用传统的卷积和归一化层来恢复不完整的图像，这往往会洗掉草图和颜色信息。在本文中，我们提出了一种新的时尚编辑生成对抗网络（FE-GAN），它能够通过自由形式的草图和稀疏的颜色笔画来操纵时尚图像。FE-GAN由两个模块组成：1）一个自由形式的解析网络，它通过操纵草图和颜色来学习控制人类解析生成; 2）一个解析感知的修复网络，它通过人类解析图的语义指导来渲染详细的纹理。在修复网络的解码器中，进一步在多个尺度上应用新的注意力归一化层，以提高合成图像的质量。在高分辨率时尚图像数据集上的大量实验表明，该方法在图像处理上的性能明显优于现有的方法。

2019-09-28cs.CVeess.IV