Face Parsing with RoI Tanh-Warping
Software School of Xiamen University（厦门大学软件学院）；Microsoft Research（微软研究院）
面部解析计算不同语义分量的逐像素标签映射（例如，头发、嘴、眼睛）。现有的人脸解析文献已经说明了显着的优势，专注于个人的兴趣区域（ROI）的面孔和面部组件。然而，传统的裁剪和调整大小聚焦机制忽略了ROI之外的所有上下文区域，并且因此不适用于组件区域不可预测的情况，例如头发。受人类生理视觉系统的启发，提出了一种新的结合中心视觉和周边视觉的RoI Tanh-warping算子。它解决了一个有限大小的ROI聚焦和周围的周边信息的不可预测的区域之间的困境。为此，我们提出了一种新的混合卷积神经网络的人脸解析。该算法对人脸内部部分采用基于局部的层次化方法，对人脸外部部分采用全局化方法。整个框架简单而有原则，可以端到端地进行训练。为了方便未来的人脸解析研究，我们还手动重新标记了HELEN数据集的训练数据，并将其公开。在HELEN和LFW-PL基准测试上的实验表明，我们的方法优于最先进的方法。
2019-06-04 cs.CV
End-to-End Face Parsing via Interlinked Convolutional Neural Networks
Beijing Forestry University（北京林业大学）；Tsinghua University（清华大学）；CentraleSupélec（中央理工-高等电力学院）
人脸解析是一项重要的计算机视觉任务，需要对人脸部分（如眼睛、鼻子、嘴巴等）进行精确的像素分割，为进一步的人脸分析、修改和其他应用提供了基础。互联卷积神经网络（iCNN）是一种有效的两阶段人脸识别模型。然而，最初的iCNN是在两个阶段分别训练的，这限制了它的性能。为了解决这个问题，我们引入了一个简单的端到端人脸解析框架：STN-aided iCNN（STN-iCNN），它通过在两个隔离的阶段之间添加空间Transformer网络（STNN）来扩展iCNN。STN-iCNN使用该接口提供与原始两阶段iCNN管道的可训练连接，使端到端联合训练成为可能。此外，作为一个副产品，它还提供了比原始裁剪器更精确的裁剪部分。由于这两个优点，我们的方法显着提高了原始模型的准确性。我们的模型在标准人脸解析数据集Helen Dataset上取得了有竞争力的性能。它在CelebAMAsk-HQ数据集上也取得了优异的性能，证明了其良好的泛化能力。我们的代码已在https://github.com/aod321/STN-iCNN上发布。
2020-06-23 cs.CV
Super-Resolving Face Image by Facial Parsing Information
Harbin Institute of Technology（哈尔滨工业大学）
本文提出一种解析图引导的人脸超分辨率网络，通过直接提取人脸先验并结合注意力融合块与多尺度细化块，在定量指标和视觉质量上超越了现有最先进方法。
2023-04-06 cs.CV
Generative Face Parsing Map Guided 3D Face Reconstruction Under Occluded Scenes
Beihang University（北京航空航天大学）；Peng Cheng Laboratory（鹏城实验室）；Qingdao Research Institute of Beihang University（北京航空航天大学青岛研究院）
本文提出一种由关键点引导的完整人脸解析图生成方法，通过估计遮挡区域的二维人脸结构来构建三维纹理，从而在遮挡场景下实现更高质量和更鲁棒的三维人脸重建。
2024-12-25 cs.CV
Edge-aware Graph Representation Learning and Reasoning for Face Parsing
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；JD AI Research（京东人工智能研究院）
人脸分析为每个人脸组成部分推断一个像素级的标签，这一点最近引起了人们的广泛关注。以往的方法在人脸分析中表现出了很好的效果，但是忽略了不同人脸区域之间的相关性。这种相关性是关于面部外观、姿势、表情等的关键线索，并且应该被考虑用于面部解析。为此，我们建议通过学习图形表示来建模和推理区域之间的关系，并利用区域之间的边缘信息进行优化抽象。具体来说，我们将面部图像编码到全局图表示上，其中具有相似特征的像素（“区域”）的集合被投影到每个顶点。我们的模型通过在图上的顶点之间传播信息来学习和推理区域之间的关系。此外，我们将边缘信息聚合到顶点上的像素级特征，这强调了边缘周围的功能，沿边缘进行精细分割。最终学习的图形表示被投影回像素网格以进行解析。实验表明，我们的模型在广泛使用的Helen数据集上的性能优于最先进的方法，并且在大规模CelebAMask-HQ和LaPa数据集上也表现出优越的性能。该代码可在https://github.com/tegusi/EAGRNet上获得。
2020-07-22 cs.CV
Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing
Northwestern Polytechnical University（西北工业大学）；Huawei（华为）；Tsinghua University（清华大学）；Imperial College London（帝国理工学院）
本文探讨了现有人脸分析方法中常见的空间不一致和边界混淆等错误背后的内在原因。为了解决这些问题，我们提出了一种新的解耦多任务学习与循环自我调节（DML-CSR）的人脸分析。具体而言，DML-CSR设计了一个多任务模型，其中包括人脸解析，二进制边缘，类别边缘检测。这些任务只共享低级编码器权重，彼此之间没有高级交互，从而能够在推理阶段将辅助模块与整个网络解耦。为了解决空间不一致性，我们开发了一个动态的双图卷积网络来捕获全局上下文信息，而不使用任何额外的池化操作。为了处理单个和多个人脸场景中的边界混淆，我们利用二进制和类别边缘检测，共同获得通用的几何结构和细粒度的语义线索的人脸。此外，为了防止噪声标签在训练过程中降低模型的泛化能力，提出了循环自调节来自集成多个模型实例以获得新的模型，然后将所得模型用于通过交替迭代自提取后续模型。实验表明，我们的方法在Helen，CelebAMask-HQ和Lapa数据集上实现了新的最先进的性能。源代码可在https://github.com/deepinsight/insightface/tree/master/parsing/dml_csr上获得。
2022-03-28 cs.CV
Mask-FPAN: Semi-Supervised Face Parsing in the Wild With De-Occlusion and UV GAN
University of Copenhagen（哥本哈根大学）；University of Electronic Science and Technology of China（电子科技大学）
Mask-FPAN 框架通过半监督去遮挡模块、3D 可变形人脸模型与 UV GAN 提升野外遮挡和大幅姿态下的人脸解析精度，并发布两个新数据集，MIOU 从 0.7353 提升至 0.9013。
2023-05-30 cs.CV
Face Parsing via a Fully-Convolutional Continuous CRF Neural Network
在这项工作中，我们解决了面部解析任务与全卷积连续CRF神经网络（FC-CNN）架构。与之前数百次应用基于区域的子网络的人脸解析方法相比，我们的FC-CNN是完全卷积的，具有很高的分割精度。为了实现这一目标，FC-CNN将三个子网络，一元网络，成对网络和连续条件随机场（C-CRF）网络集成到一个统一的框架中。跨不同卷积层的高级语义信息和低级细节由一元网络中的卷积和解卷积结构捕获。通过成对网络分支学习语义边缘上下文，以构建像素级亲和力。基于可微超像素池化层和可微C-CRF层，通过一种新的连续CRF网络将一元网络和成对网络相结合，以实现深度神经网络训练和测试过程的空间一致性。对LFW-PL和HELEN数据集的综合评估表明，FC-CNN在具有挑战性的图像上准确标记人脸方面的性能优于其他最先进的技术。
2017-08-12 cs.CV
Efficient Label Refinement for Face Parsing Under Extreme Poses Using 3D Gaussian Splatting
International Institute of Information Technology, Bangalore (IIIT-B)（国际信息技术研究所，班加罗尔（IIIT-B））
本文提出利用3D高斯溅射生成准确分割掩码，通过联合拟合两个模型提升多视角一致性，从而提高极端姿态下的人脸解析精度。
2025-10-09 cs.CV
HP-Capsule: Unsupervised Face Part Discovery by Hierarchical Parsing Capsule Network
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
胶囊网络通过一组部分及其相互关系来呈现物体，这提供了对视觉感知过程的洞察。虽然最近的工作已经表明胶囊网络在数字等简单对象上取得了成功，但具有类似结构的人脸，适合胶囊描述，尚未被探索。在本文中，我们提出了一个层次解析胶囊网络（HP-Capsule）的无监督人脸子部分发现。当浏览没有标签的大规模人脸图像时，网络首先用一组可解释的子部分胶囊对经常观察到的模式进行编码。然后，通过基于转换器的解析模块（TPM）将子部分胶囊组装成部分级胶囊，以学习它们之间的组合关系。在训练过程中，随着面部层次结构的逐步建立和细化，部分胶囊自适应地对具有语义一致性的面部部分进行编码。HP-Capsule将胶囊网络的应用从数字扩展到人脸，并向前迈出了一步，展示了神经网络如何在没有人为干预的情况下理解同源对象。此外，HP-Capsule通过部分胶囊的覆盖区域给出无监督的人脸分割结果，从而实现定性和定量评价。在BP 4D和Multi-PIE数据集上的实验表明了该方法的有效性。
2022-03-21 cs.CV
Interlinked Convolutional Neural Networks for Face Parsing
Tsinghua University（清华大学）；State Key Laboratory of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Tsinghua National Laboratory for Information Science and Technology (TNList)（清华大学信息科学与技术国家实验室（TNList））；Department of Computer Science and Technology（计算机科学与技术系）
人脸识别是人脸图像分析中的一项基本任务。它相当于用适当的面部部位（如眼睛和鼻子）标记每个像素。在本文中，我们提出了一个互连的卷积神经网络（iCNN），以解决这个问题的端到端的方式。它由多个卷积神经网络（CNN）组成，以不同的尺度输入。设计了一个特殊的互连层，允许CNN交换信息，使它们能够有效地集成本地和上下文信息。iCNN的特点是在互连层中广泛使用下采样和上采样，而传统CNN通常只使用下采样。提出了一个两阶段的流水线用于人脸解析，这两个阶段都使用iCNN。第一阶段在尺寸减小的图像中定位面部部分，并且第二阶段标记原始图像中所识别的面部部分中的像素。在基准数据集上，我们获得了比最先进的方法更好的结果。
2018-06-07 cs.CV
RoI Tanh-polar Transformer Network for Face Parsing in the Wild
Imperial College London（伦敦帝国理工学院）
人脸解析的目的是预测图像中目标人脸的面部成分的像素级标签。现有方法通常根据预处理过程中计算出的限界框对输入图像中的目标人脸进行裁剪，因此只能解析出人脸内部的感兴趣区域。将忽略头发等外围区域，而部分包含在限界框中的附近面可能会导致分散注意力。此外，这些方法仅在近正面肖像图像上进行训练和评估，因此它们在野外情况下的性能尚未被探索。为了解决这些问题，本文做了三个贡献。首先，我们介绍了用于野外人脸解析的iBugMask数据集，该数据集由21，866张训练图像和1，000张测试图像组成。训练图像是通过用大的人脸姿态来增强现有的数据集而获得的。测试图像手动注释与$11$面部区域，有很大的变化，大小，姿势，表情和背景。其次，我们提出了ROI Tanh-极坐标变换，该变换将整个图像扭曲为Tanh-极坐标表示，在目标限界框的指导下，面部区域和上下文之间具有固定的比率。新的表示包含了原始图像中的所有信息，并允许卷积神经网络~（CNN）中的旋转等方差。第三，我们提出了一个混合残差表示学习块，称为HybridBlock，它包含Tanh极空间和Tanh-Cartesian空间中的卷积层，允许CNN中不同形状的感受野。通过大量的实验，我们表明，该方法提高了国家的最先进的人脸解析在野外，不需要面部地标对齐。
2021-05-05 cs.CV
FP-Age: Leveraging Face Parsing Attention for Facial Age Estimation in the Wild
Imperial College London（帝国理工学院）
基于图像的年龄估计旨在从面部图像中预测人的年龄。它被用于各种实际应用中。尽管端到端深度模型在基准数据集上的年龄估计方面取得了令人印象深刻的结果，但由于头部姿势、面部表情和遮挡的巨大变化所带来的挑战，它们在野外的性能仍有很大的改进空间。为了解决这个问题，我们提出了一种简单而有效的方法来明确地将面部语义纳入年龄估计，以便模型能够正确地关注未对齐面部图像中信息量最大的面部组件，而不管头部姿势和非刚性变形。为此，我们设计了一个基于人脸解析的网络来学习不同尺度的语义信息，并设计了一个新的人脸解析注意力模块来利用这些语义特征进行年龄估计。为了在野外数据上评估我们的方法，我们还引入了一个新的具有挑战性的大规模基准测试，称为IMDB-Clean。该数据集是通过使用约束聚类方法半自动清理嘈杂的IMDB-WIKI数据集创建的。通过在IMDB-Clean和其他基准数据集上的综合实验，在数据集内和跨数据集评估协议下，我们表明我们的方法始终优于所有现有的年龄估计方法，并实现了新的最先进的性能。据我们所知，我们的工作提出了第一次尝试利用人脸解析注意力来实现语义感知的年龄估计，这可能会启发其他高层次的面部分析任务。代码和数据可在\url{https://github.com/ibug-group/fpage}上获得。
2022-03-04 cs.CV
Towards Fair and Robust Face Parsing for Generative AI: A Multi-Objective Approach
University of Notre Dame（圣母大学）
本文提出一种多目标学习框架，通过基于同伦的损失函数动态平衡准确率、公平性与鲁棒性，提升人脸解析质量，并在Pix2PixHD和ControlNet合成流程中验证其改善生成真实感与人口统计学一致性的效果。
2025-02-06 cs.AI cs.CV
Occlusion-Aware Deep Convolutional Neural Network via Homogeneous Tanh-transforms for Face Parsing
Hunan University（湖南大学）；AthenaEyesCO., LTD.（雅典娜眼睛股份有限公司）；Johns Hopkins University（约翰斯·霍普金斯大学）；Khalifa University of Science and Technology（哈利法科技大学）
针对遮挡人脸解析，本文提出由四个 tanh 变换组成的齐次变换、融合双空间信息的遮挡感知 CNN 与边界损失，并发布清洗数据集，性能超过现有方法。
2024-06-11 cs.CV cs.LG
EasyPortrait -- Face Parsing and Portrait Segmentation Dataset
SberDevices
针对现有肖像分割与人脸解析数据集多样性不足的问题，本文构建了包含4万张视频会议场景图像、9类细粒度标注的EasyPortrait数据集，提出众包标注流程，验证了其在模型训练效果与域泛化能力上的优势，相关资源已公开。
2024-03-07 cs.CV
AGRNet: Adaptive Graph Representation Learning and Reasoning for Face Parsing
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）；JD AI Research（京东AI研究院）
人脸分析为每个人脸组成部分推断一个像素级的标签，这一点最近引起了人们的广泛关注。以前的方法在人脸分析中取得了成功，但忽略了人脸成分之间的相关性。事实上，在判别人脸区域中的模糊像素时，分量关系是一个关键的线索。为了解决这个问题，我们提出了自适应图表示学习和推理的面部组件，旨在学习代表性的顶点，描述每个组件，利用组件的关系，从而产生准确的分析结果对歧义。特别是，我们设计了一个自适应和可微的图形抽象方法来表示通过像素到顶点的预测解析图的初始条件下，在一定的面部区域内的像素特征聚集到一个顶点上的投影图上的组件。此外，我们明确地将图像边缘作为模型中的先验，这有助于在投影过程中区分边缘和非边缘像素，从而导致沿边缘的精细解析结果。然后，我们的模型通过在图上的顶点之间传播信息来学习和推理组件之间的关系。最后，细化的顶点特征被投影回像素网格，用于预测最终的解析图。为了训练我们的模型，我们提出了一个歧视性的损失，惩罚特征空间中的顶点之间的小距离，这导致了不同的顶点具有强语义。实验结果表明，该模型在多个人脸解析数据集上具有较好的性能，并在人工解析任务上进行了验证，证明了该模型的通用性。
2021-09-17 cs.AI cs.CV
DisFaceRep: Representation Disentanglement for Co-occurring Facial Components in Weakly Supervised Face Parsing
School of Computer Science and Software Engineering, Shenzhen University（深圳大学计算机科学与软件工程学院）；School of AI and Advanced Computing, Xi’an Jiaotong-Liverpool University（西安交通大学利物浦大学人工智能与先进计算学院）；Department of Electrical and Electronic Engineering, The Hong Kong Polytechnic University（香港理工大学电子与电气工程系）；Department of Electrical and Computer Engineering, National University of Singapore（新加坡国立大学电子与计算机工程系）；Computer Vision Institute, School of Artificial Intelligence, Shenzhen University（深圳大学人工智能学院计算机视觉研究所）；Guangdong Provincial Key Laboratory of Intelligent Information Processing, Shenzhen University（广东省智能信息处理重点实验室，深圳大学）
针对弱监督人脸解析中面部组件高共现和相似导致的性能下降，提出DisFaceRep框架，通过显式共现解缠策略和文本引导解缠损失分离组件，在三个数据集上显著优于现有方法。
2025-08-02 cs.CV
Progressive Semantic-Aware Style Transformation for Blind Face Restoration
The University of Hong Kong（香港大学）；Harbin Institute of Technology（哈尔滨工业大学）；DAMO Academy Alibaba Group（阿里巴巴达摩院）；Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）
人脸恢复是人脸图像处理中的一个重要问题，近年来得到了广泛的研究。然而，以前的作品往往无法产生合理的高质量（HQ）的结果，为现实世界的低质量（LQ）的人脸图像。在本文中，我们提出了一个新的渐进式语义感知的风格转换框架，命名为PSFR-GAN，人脸恢复。具体来说，而不是使用编码器-解码器框架，如以前的方法，我们制定的恢复LQ人脸图像作为一个多尺度渐进式恢复过程，通过语义感知的风格变换。给定一对LQ人脸图像及其对应的解析图，首先生成输入的多尺度金字塔，然后以语义感知的风格转换方式，从粗到细逐步调制不同尺度的特征。与以前的网络相比，所提出的PSFR-GAN充分利用了来自不同尺度的输入对的语义（解析图）和像素（LQ图像）空间信息。此外，我们还引入了一个语义感知的风格损失，它计算每个语义区域的特征风格损失，以改善人脸纹理的细节。最后，我们预训练了一个人脸解析网络，该网络可以从真实世界的LQ人脸图像中生成像样的解析图。实验结果表明，我们的模型与合成数据训练，不仅可以产生更真实的高分辨率的结果，合成LQ输入，但也更好地推广到自然LQ人脸图像相比，最先进的方法。代码可在https://github.com/chaofengc/PSFRGAN上获得。
2021-03-21 cs.CV
PVLM: Parsing-Aware Vision Language Model with Dynamic Contrastive Learning for Zero-Shot Deepfake Attribution
Faculty of Computer Science and Technology, Qilu University of Technology (Shandong Academy of Sciences)（计算机科学与技术学院，齐鲁工业大学（山东省科学院））；Shandong University of Science and Technology（山东科技大学）；Shandong Artificial Intelligence Institute, Qilu University of Technology (Shandong Academy of Sciences)（山东省人工智能研究院，齐鲁工业大学（山东省科学院））；School of Electronics and Information Engineering, Harbin Institute of Technology（电子与信息工程学院，哈尔滨工业大学（深圳））；School of Computer Science and Technology, Shandong University（计算机科学与技术学院，山东大学）
本文提出PVLM模型，通过动态对比学习实现对未知高级生成器的细粒度追踪，利用面部解析特征捕捉伪造表示，提升深度伪造属性识别性能。
2026-05-13 cs.CV
W-Net: A Facial Feature-Guided Face Super-Resolution Network
School of Information Science and Engineering, Shandong University（山东大学信息科学与工程学院）；Center for Optics Research and Engineering (CORE), Shandong University（山东大学光学研究与工程中心）
针对现有FSR方法重建效率低、先验利用不足的问题，提出面部特征引导的W-Net网络，通过解析块、W形多维度融合及分区权重损失平衡重建效果，在量化指标、视觉质量和下游任务中均表现优异。
2024-06-23 cs.CV
Beyond Alignment: Blind Video Face Restoration via Parsing-Guided Temporal-Coherent Transformer
Xidian University（西安电子科技大学）；Southwest University of Science and Technology（西南科技大学）
提出首个无需预对齐的盲视频人脸恢复方法PGTFormer，通过语义解析引导选择最优先验，结合时空向量量化自编码器和时间保真度调节器，生成时间相干且无伪影的高质量恢复结果，优于现有基线。
2024-04-21 cs.CV cs.MM eess.IV
Generalized Face Anti-Spoofing via Multi-Task Learning and One-Side Meta Triplet Loss
National Tsing Hua University（台湾清华大学）；Microsoft AI R&D Center（微软人工智能研发中心）
随着人脸呈现攻击的多样性，模型泛化成为实际人脸反欺骗系统面临的重要挑战。本文提出了一个广义的人脸反欺骗框架，包括三个任务：深度估计，人脸解析，和生活/欺骗分类。通过人脸解析和深度估计任务的逐像素监督，正则化特征可以更好地区分欺骗人脸。在用元学习技术模拟域转移时，所提出的单侧三元组丢失可以进一步大幅度提高泛化能力。在四个公共数据集上的大量实验表明，所提出的框架和训练策略比以前的工作更有效，可以将模型推广到未知领域。
2022-11-29 cs.CV
Technical Report: Disentangled Action Parsing Networks for Accurate Part-level Action Parsing
University of Electronic Science and Technology of China（电子科技大学）；Zhejiang Lab（之江实验室）
部分级动作解析旨在部分状态解析，以提高视频中的动作识别。尽管在视频分类研究领域取得了巨大的进展，但社区面临的一个严重问题是忽视了对人类行为的详细理解。我们的动机是，解析人类行为需要构建专注于特定问题的模型。我们提出了一个简单而有效的方法，命名为解开动作解析（DAP）。具体来说，我们将部件级动作解析分为三个阶段：1）人物检测，采用人物检测器从视频中检测出所有人物并进行实例级动作识别; 2）部件解析，提出一个部件解析模型，从检测出的人物图像中识别出人体部件;以及3）动作解析，其中，多模态动作解析网络被用于以从先前阶段获得的所有检测结果为条件来解析动作类别。应用这三个主要模型后，我们的DAP方法在2021年动力学-TPS挑战赛中记录了全球平均$0.605$分数。
2021-11-05 cs.CV
Towards Learning Structure via Consensus for Face Segmentation and Parsing
USC Information Sciences Institute（南加州大学信息科学研究所）
人脸分割是根据人脸的语义对人脸上的像素进行密集标记的任务。虽然目前的方法强调开发复杂的架构，使用条件随机场进行平滑，或者更确切地说，使用对抗训练，但我们遵循另一条通往强大的人脸分割和解析的道路。遮挡以及面部的其他部分具有适当的结构，需要在训练期间在模型中传播。与将人脸分割视为独立像素预测问题的最新方法不同，我们认为它应该在相同的对象像素内保持高度相关的输出。因此，我们提供了一种新的学习机制，通过一致性来执行预测中的结构，由一个强大的损失函数引导，迫使像素对象彼此一致。我们的人脸解析器是通过从另一个模型中转移知识来训练的，但它在拟合标签时鼓励空间一致性。与目前的做法不同，我们的方法享有像素预测，但铺平了道路，更少的文物，更少的稀疏掩模，空间相干的输出。
2020-03-28 cs.CV cs.LG eess.IV
Surveillance Video Parsing with Single Frame Supervision
Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；Microsoft Research（微软研究院）
监控视频解析，将视频帧分割成若干标签，例如，面、裤、左腿，有着广泛的应用。然而，逐像素地注释所有帧是乏味且低效的。在本文中，我们提出了一种单帧视频解析（SVP）方法，该方法在训练阶段只需要每个视频一个标记帧。为了解析一个特定帧，联合考虑该帧之前的视频片段。SVP（1）粗略地解析视频片段内的帧，（2）估计帧之间的光流，以及（3）融合由光流变形的粗略解析结果以产生精细解析结果。SVP的三个组成部分，即帧解析，光流估计和时间融合集成在一个端到端的方式。在两个监控视频数据集上的实验结果表明了SVP算法的优越性。
2016-11-29 cs.CV
Memory Based Video Scene Parsing
University of Science and Technology of China（中国科学技术大学）；ByteDance（字节跳动）
视频场景解析是计算机视觉中一项长期存在的具有挑战性的任务，旨在为给定视频中所有帧的像素分配预定义的语义标签。与图像语义分割相比，本课题更注重研究如何利用图像的时间信息来获得更高的预测精度。在这份报告中，我们介绍了我们的解决方案在野外挑战赛中获得第一名的视频场景解析，该解决方案的mIoU为57.44，获得了第二名（我们的团队名称为CharlesBLWX）。
2021-09-01 cs.CV
A Baseline Framework for Part-level Action Parsing and Action Recognition
University of Science and Technology of China（中国科学技术大学）；JD AI Research（京东人工智能研究院）
本技术报告介绍了我们在ICCV DeeperAction研讨会2021中对零件级动作解析的Kinetics-TPS Track的第二名解决方案。我们的入口主要是基于YOLOF例如和部分检测，HRNet用于人体姿态估计，CSN用于视频级动作识别和帧级部分状态解析。我们描述了Kinetics-TPS数据集的技术细节，以及一些实验结果。在竞赛中，我们在Kinetics-TPS的测试集上实现了61.37%的mAP。
2022-09-01 cs.CV
Parameter Efficient Local Implicit Image Function Network for Face Segmentation
Adobe（奥多比）；IIT Madras（印度理工学院马德拉斯分校）
人脸解析是指对包含人脸的图像进行逐像素标记。标签的定义，以确定关键的面部区域，如眼睛，嘴唇，鼻子，头发等，在这项工作中，我们利用人脸的结构一致性，提出了一个轻量级的面部解析方法，使用本地隐函数网络，FP-LIIF。我们提出了一个简单的架构，具有卷积编码器和像素MLP解码器，与最先进的模型相比，使用1/26的参数，但在多个数据集上匹配或优于最先进的模型，如CelebAMask-HQ和LaPa。我们不使用任何预训练，与其他作品相比，我们的网络还可以在不改变输入分辨率的情况下以不同的分辨率生成分割。这项工作使面部分割在低计算或低带宽设备上的使用成为可能，因为它具有更高的FPS和更小的模型尺寸。
2023-03-27 cs.CV
Knowing the Distance: Understanding the Gap Between Synthetic and Real Data For Face Parsing
Datagen（Datagen公司）
使用合成数据训练计算机视觉算法已变得越来越流行，因为它的成本效益，可扩展性和提供准确的多模态标签的能力。虽然最近的研究表明，当仅在合成数据上训练网络时，结果令人印象深刻，但合成数据和真实数据之间仍然存在性能差距，这通常归因于缺乏真实感。本研究的目的是调查的差距更详细的面孔解析任务。我们区分了三种类型的差距：分布差距，标签差距，和照相现实主义差距。研究结果表明，分配差距是造成绩效差距的最大因素，占绩效差距的50%以上。通过解决这一差距并考虑标签差距，我们证明了在合成数据上训练的模型与在类似数量的真实数据上训练的模型取得了相当的结果。这表明，合成数据是真实数据的一种可行的替代方法，特别是当真实数据有限或难以获得时。我们的研究强调了合成数据集中内容多样性的重要性，并挑战了以下观点：照片真实感差距是影响在合成数据上训练的计算机视觉模型性能的最关键因素。
2023-03-27 cs.CV cs.LG
ParseFixer: An Agentic Framework for Document Parsing via Selective Multimodal Correction
Shandong University（山东大学）；Southeast University（东南大学）
提出ParseFixer框架，结合全页骨干解析和智能体选择性校正，通过验证-回滚机制修复高价值解析错误，在DataMFM挑战赛文档解析任务中获得第三名。
2026-06-11 cs.CV
Exploiting Spatial-Temporal Semantic Consistency for Video Scene Parsing
National Laboratory of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；School of Automation and Electrical Engineering, University of Science and Technology Beijing（北京科技大学自动化与电气工程学院）
与图像场景解析相比，视频场景解析引入了时间信息，可以有效提高预测的一致性和准确性。在本文中，我们提出了一个时空语义一致性的方法来捕获类排他的上下文信息。具体地说，我们设计了一个时空一致性损失，以限制在空间和时间维度的语义一致性。此外，我们采用伪标记策略来丰富训练数据集。我们在VSPW的开发（测试部分1）和测试集上分别获得了59.84%和58.85%的mIoU。我们的方法在ICCV2021的VSPW挑战赛中获得第一名。
2021-09-06 cs.CV
Instance-level Human Parsing via Part Grouping Network
Sun Yat-sen University（中山大学）；SenseTime Group (Limited)（商汤集团有限公司）；CVTE Research（视源研究院）
由于缺乏足够的数据资源和在一次通过中解析多个实例的技术困难，面向真实世界人类分析场景的实例级人类解析仍然未被充分探索。几个相关的工作都遵循“检测解析”管道，严重依赖于单独训练的检测模型来定位实例，然后依次对每个实例执行人工解析。然而，检测和解析这两个不一致的优化目标导致了次优的表示学习和最终结果的错误累积。在这项工作中，我们第一次尝试探索一种无检测的部分神经网络（PGN），用于在一次通过中有效地解析图像中的多个人。我们的PGN将实例级人类解析重新制定为两个孪生子任务，可以通过统一的网络共同学习和相互细化：1）语义部分分割，用于将每个像素分配为人类部分（例如，面部、手臂）; 2）实例感知边缘检测，以将语义部分分组为不同的人实例。因此，共享的中间表示将被赋予表征细粒度部分和推断每个部分的实例属性的能力。最后，一个简单的实例划分过程中得到的推理最终结果。我们在PASCAL-Person-Part数据集上进行了实验，我们的PGN优于所有最先进的方法。此外，我们在一个新收集的多人解析数据集（CIHP）上展示了它的优越性，该数据集包括38，280张不同的图像，这是迄今为止最大的数据集，可以促进更高级的人类分析。CIHP基准测试和我们的源代码可以在http://sysu-hcp.net/lip/上获得。
2018-08-01 cs.CV
Semantic Segmentation on VSPW Dataset through Aggregation of Transformer Models
Xiaomi Inc.（小米公司）
语义分割是计算机视觉中的一项重要任务，从中衍生出一些重要的使用场景，如自动驾驶、场景解析等，由于对视频语义分割任务的重视，我们参加了本次大赛。在这份报告中，我们简要介绍了“BetterThing”团队为ICCV 2021-视频场景解析野外挑战赛提供的解决方案。Transformer作为提取视频帧特征的主干，最终结果是SWIN和VOLO两个Transformer模型输出的聚合。该解决方案实现了57.3%的mIoU，在Wild Challenge视频场景解析中排名第三。
2021-09-03 cs.CV
2nd Place Solution to Facebook AI Image Similarity Challenge Matching Track
Samsung Electronics（三星电子）
本文介绍了Facebook AI图像相似性挑战的第二名解决方案：DrivenData上的匹配跟踪。该解决方案基于自监督学习和视觉Transformer（ViT）。主要的突破来自于将查询图像和参考图像连接起来形成一个图像，并要求ViT直接从图像中预测查询图像是否使用参考图像。该解决方案在私人排行榜上获得了0.8291微平均精度。
2021-11-15 cs.CV
KPM-Bench: A Kinematic Parsing Motion Benchmark for Fine-grained Motion-centric Video Understanding
Kuaishou Technology（快手科技）
KPM-Bench通过整合运动学计算与语言解析，构建了一个用于细粒度运动中心视频理解的开源基准，提出MoPE算法以提升运动描述的准确性与可靠性。
2026-02-19 cs.CV
Hierarchical Document Parsing via Large Margin Feature Matching and Heuristics
La Rochelle University（拉罗谢尔大学）
本文提出一种结合大间隔特征匹配、启发式规则与贪心算法的层次化文档解析方法，在 AAAI-25 VRD-IU 挑战赛中以 0.98904 准确率获得第一名。
2025-03-08 cs.CL cs.CV
1st Place Solutions for UG2+ Challenge 2021 -- (Semi-)supervised Face detection in the low light condition
Tomorrow Advancing Life (TAL) Education Group（好未来教育集团）
在这份技术报告中，我们简要介绍了我们的团队“TAL-ai”在CVPR 2021的UG 2+挑战赛中在低光条件下进行（半）监督人脸检测的解决方案。通过对几种常用的图像增强方法和图像变换方法进行实验，将弱光图像和正常图像拉到一个更接近的区域。据观察，使用这些数据进行训练可以获得更好的性能。我们还采用了几种流行的目标检测框架，例如，DetectoRS、Cascade-RCNN和Swin-transformer等大型骨干网。最后，我们集成了几个模型，它们在测试集中达到了mAP 74.89，在最终排行榜上排名第一。
2021-07-02 cs.CV
TeleOCR: Navigating Document Parsing Across Digital and Camera-Captured Documents
China Telecom Artificial Intelligence Technology (Beijing) Co., Ltd.（中国电信人工智能技术（北京）有限公司）
针对现有文档解析方法的两大挑战，本文提出NaviDC-OCR框架，通过形变感知学习、自适应采样及内容-结构解耦学习策略，在多基准测试中取得最优性能并获ICDAR 2026相关挑战第一。
2026-09-11 cs.AI cs.CV
Semi-supervised Video Semantic Segmentation Using Unreliable Pseudo Labels for PVUW2024
ZTE（中兴通讯）
本文提出基于不可靠伪标签的半监督视频语义分割方法，通过集成教师与学生网络生成伪标签并重训学生网络，在CVPR 2024 PVUW挑战赛中取得第一名。
2024-06-02 cs.CV
3rd Place: A Global and Local Dual Retrieval Solution to Facebook AI Image Similarity Challenge
AI Technology Center, Online-Video BU, Tencent（腾讯在线视频事业部AI技术中心）
图像相似性检索作为计算机视觉的一项基本任务，正面临着大规模数据和图像拷贝攻击的挑战。本文介绍了Facebook AI组织的2021年图像相似性挑战赛（ISC）匹配赛道的第三名解决方案。我们提出了一个多分支检索方法相结合的全局描述符和局部描述符，以覆盖所有的攻击情况。具体而言，我们尝试了许多策略来优化全局描述符，包括丰富的数据增强，使用单个Transformer模型的自监督学习，重叠检测预处理。此外，我们引入了鲁棒的SIFT特征和GPU Faiss进行局部检索，弥补了全局检索的不足。最后，使用KNN匹配算法来判断匹配和合并分数。我们展示了我们的方法的一些消融实验，这揭示了全局和局部特征的互补优势。
2021-12-29 cs.CV
EAR: Enhancing Uni-Modal Representations for Weakly Supervised Audio-Visual Video Parsing
School of Intelligent Engineering and Automation, Beijing University of Posts and Telecommunications（智能工程与自动化学院，北京邮电大学）；State Grid Corporation of China（国家电网公司）；School of Artificial Intelligence, Beijing University of Posts and Telecommunications（人工智能学院，北京邮电大学）
本文提出EAR框架，通过增强伪标签生成器和AVVP模型的单模表示，提升视频解析的时序定位性能。
2026-05-09 cs.CV cs.MM
Semantic Segmentation on VSPW Dataset through Contrastive Loss and Multi-dataset Training Approach
China Mobile Research Institute（中国移动研究院）；Xi’an Jiaotong University（西安交通大学）
本文提出 CVPR 2023 VSPW 挑战赛获胜方案，结合对比损失增强时空关联、基于标签映射的多数据集训练及模型输出聚合，在 VSPW 上达到 65.95% mIoU。
2023-06-06 cs.CV
1st Place Winner of the 2024 Pixel-level Video Understanding in the Wild (CVPR'24 PVUW) Challenge in Video Panoptic Segmentation and Best Long Video Consistency of Video Semantic Segmentation
Device Solutions Research America, Samsung Semiconductor, Inc.（三星半导体公司美国设备解决方案研究中心）
本文提出基于DINOv2 ViT-g和DVIS框架的视频理解方案，在PVUW'24挑战赛中获VPS第一名、VSS第三名及VC16第一名。
2024-06-08 cs.CV
GuideMe: A Mobile Application based on Global Positioning System and Object Recognition Towards a Smart Tourist Guide
National School of Computer Sciences（国家计算机科学学院）；University of Manouba（马努巴大学）；Taibah University（塔伊巴大学）；Tunis University（突尼斯大学）
寻找有关旅游景点的信息是人们在访问不同国家时面临的一个具有挑战性的问题。当人们来自不同的国家、说不同的语言、来自社会的各个阶层时，这个问题就更加突出。在这种情况下，游客和朝圣者在访问圣地时面临着寻找适当的doaas的重要问题。在本文中，我们提出了一个移动应用程序，帮助用户找到一个简单直观的方式为一个给定的圣地适当的doaas。开发了三种不同的选项来实现这一目标：1）手动搜索，2）GPS定位以识别圣地及其相应的doaa，以及3）基于深度学习（DL）的方法，通过分析游客拍摄的图像来确定圣地。实验结果显示此行动应用程式在提供适当的到达目的地自动搜寻服务上有良好的表现。
2021-05-27 cs.CV
Layout-Aware Parsing Meets Efficient LLMs: A Unified, Scalable Framework for Resume Information Extraction and Evaluation
Hangzhou City University（杭州市大学）；Alibaba Group（阿里巴巴集团）；Zhejiang Lab（浙江实验室）；Alibaba Cloud（阿里云）；Northeastern University（东北大学）
提出统一可扩展的简历信息抽取与评估框架，结合布局感知解析与高效LLM，在保证高准确率的同时显著降低推理成本，已部署于阿里巴巴智能HR平台。
2025-10-10 cs.AI cs.CL cs.CV
Multi-Modal Face Anti-Spoofing Based on Central Difference Networks
University of Oulu（奥卢大学）；Northwestern Polytechnical University（西北工业大学）；Mininglamp Academy of Sciences, Mininglamp Technology（明略科技集团明略科学院）；Authenmetric（中科博宏）
人脸反欺骗（FAS）在保护人脸识别系统免受呈现攻击方面起着至关重要的作用。现有的多模态FAS方法依赖于堆叠的香草卷积，其在描述来自模态的详细内在信息方面很弱，并且当域移位（例如，交叉攻击和跨种族）。在本文中，我们将中心差分卷积网络（CDCN）\cite{yu2020searching}扩展到多模态版本，旨在捕获三种模态（RGB，深度和红外）之间的固有欺骗模式。同时，对基于单模态的CDCN进行了详细的研究。我们的方法获得了ChaLearn人脸反欺骗攻击检测论坛e@CVPR2020 \cite{liu2020cross}的“跟踪多模态”第一名以及”跟踪单模态（RGB）“第二名。我们最终提交的产品在“Track Multi-Modal”和“Track Single-Modal（RGB）"中分别获得1.02 $\pm$ 0.59\%和4.84 $\pm$ 1.79\% ACER。代码可以在{https：//github.com/ZitongYu/CDCN}上找到。
2020-04-17 cs.CV
Adaptive Identity Anchoring: Closed-Loop Keyframe Placement for Synthetic Paired Supervision in Video Face Swapping
研究视频人脸交换缺乏自然配对监督问题，提出自适应身份锚定（AIA）方法，通过闭环反馈放置锚定并结合现实参考纹理恢复，还给出可证伪实验，有望解决合成身份漂移及过度平滑皮肤问题。
2026-07-24 cs.AI cs.CV
Like Partying? Your Face Says It All. Predicting the Ambiance of Places with Profile Pictures
Yahoo Labs（雅虎实验室）；University of Cambridge（剑桥大学）；University of Texas, Austin（德克萨斯大学奥斯汀分校）
在选择餐馆和咖啡店时，人们越来越依赖社交网站。在Foursquare或Yelp这样的热门网站上，一个地方会有描述和评论，以及经常光顾的人的个人资料照片。描述和评论在数据采掘的研究领域中得到了广泛的研究。相比之下，个人资料图片很少受到关注。以前的研究表明，人们不仅可以通过观察一个地方本身，还可以通过观察游客的个人资料照片来部分猜测一个地方的氛围，客户和活动。在这里，我们通过确定人们可能依赖哪些视觉线索来进行猜测来进一步工作;表明最先进的算法有时可以比人类更准确地进行预测;并证明人们依赖的视觉线索部分不同于算法。
2015-05-28 cs.CV cs.CY cs.HC
Faces: AI Blitz XIII Solutions
Bielefeld University（比勒费尔德大学）
AI Blitz XIII Faces Challenge在www.aicrowd.com平台上举办，由五个问题组成：情感分类，年龄预测，面具预测，人脸识别和人脸去模糊。我们的团队GLaDOS获得了第二名。在这里，我们介绍了我们的解决方案和结果。代码实现：https://github.com/ndrwmlnk/ai-blitz-xiii
2022-04-03 cs.CV cs.LG
SegTalker: Segmentation-based Talking Face Generation with Mask-guided Local Editing
South China University of Technology（华南理工大学）；Zhejiang University（浙江大学）；Huawei Cloud Computing Technologies Co., Ltd（华为云计算技术有限公司）；Peking University（北京大学）；Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
SegTalker通过引入分割作为中间表示，将唇部运动与图像纹理解耦，在保留精细纹理的同时实现掩码引导的面部局部编辑，并在HDTF和MEAD数据集上验证了其优越的唇同步与时间一致性。
2024-09-05 cs.CV cs.MM
