MODNet: Real-Time Trimap-Free Portrait Matting via Objective Decomposition
City University of Hong Kong（香港城市大学）；SenseTime Research（商汤科技研究院）
现有的肖像抠图方法要么需要昂贵的辅助输入，要么涉及计算昂贵的多个阶段，使得它们不太适合实时的【形】应用。在这项工作中，我们提出了一个轻量级的抠图目标分解网络（MODNet）的人像抠图在实时的【形】与一个单一的输入图像。我们高效设计背后的关键思想是通过显式约束同时优化一系列子目标。此外，MODNet还包括两种用于提高模型效率和鲁棒性的新技术。首先，一个有效的Atrous空间金字塔池（e-ASPP）模块被引入到融合多尺度特征的语义估计。其次，提出了一种自监督的子目标一致性（SOC）策略，以适应MODNet的真实世界的数据，以解决常见的trimap自由方法的域转移问题。MODNet很容易以端到端的方式进行训练。它比同时代的方法快得多，在1080Ti GPU上以每秒67帧的速度运行。实验表明，MODNet优于以前的trimap免费方法的Adobe抠图数据集和精心设计的摄影人像抠图（PPM-100）的基准，我们提出了一个很大的保证金。此外，MODNet在日常照片和视频方面取得了显着的成果。我们的代码和模型可以在https：//github.com/ZHKKKe/MODNet上找到，PPM-100基准测试在www.example.com上发布。
2022-03-18 cs.CV
Boosting General Trimap-free Matting in the Real-World Image
University of Chinese Academy of Sciences（中国科学院大学）
本文提出MFC-Net网络及Real-19k数据集，通过定义显著物体为前景并引入图像和谐性，显著提升了真实世界图像的无三分图抠图性能。
2024-05-28 cs.CV
Semantic Image Matting
HKUST（香港科技大学）；Kuaishou Technology（快手科技）
自然图像抠图将前景与背景以分数占用分离，这可能由高度透明的对象、复杂的前景（例如，网或树），和/或包含非常精细细节的对象（例如，头发）。虽然传统的抠图公式可以应用于所有上述情况下，没有以前的工作已经试图理由抠图由于各种前景语义的根本原因。我们将展示如何获得更好的阿尔法蒙版纳入我们的框架语义分类的蒙版区域。具体来说，我们考虑和学习20类抠图模式，并建议将传统的trimap扩展到语义trimap。提出的语义三分图可以通过分析三分图区域内的面片结构自动获得。同时，我们学习了一个多类正则化算法来在语义层面上正则化alpha预测，并学习了内容敏感的权重来平衡不同的正则化损失。在多个基准上的实验表明，我们的方法优于其他方法，并取得了最有竞争力的最先进的性能。最后，我们贡献了一个大规模的语义图像抠图数据集，并仔细考虑了不同语义类之间的数据平衡。
2021-04-16 cs.CV
Disentangled Image Matting
Megvii Technology（旷视科技）；Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）
大多数以前的图像抠图方法需要一个粗略指定的三分图作为输入，并估计分数阿尔法值的所有像素的未知区域的三分图。在本文中，我们认为，直接估计从一个粗糙的trimap的alpha蒙版是以前的方法的一个主要限制，因为这种做法试图解决两个困难的和本质上不同的问题在同一时间：识别真正的混合像素的trimap区域内，并估计准确的alpha值。我们提出了AdaMatting，一个新的端到端的抠图框架，将这个问题分解为两个子任务：trimap适应和alpha估计。Trimap自适应是一个逐像素分类问题，通过识别明确的前景，背景和半透明图像区域来推断输入图像的全局结构。Alpha估计是计算每个混合像素的不透明度值的回归问题。我们的方法在单个深度卷积神经网络（CNN）中分别处理这两个子任务。大量的实验表明，AdaMatting具有额外的结构意识和trimap容错。我们的方法在Adobe Composition-1 k数据集上定性和定量地实现了最先进的性能。它也是目前alphamatting.com在线评估所有常用指标的最佳方法。
2019-09-10 cs.CV
Deep Video Matting via Spatio-Temporal Alignment and Aggregation
HKUST（香港科技大学）；Stanford University（斯坦福大学）；Carnegie Mellon University（卡内基梅隆大学）；Kuaishou Technology（快手科技）
尽管深度学习在自然图像抠图方面取得了重大进展，但由于时间域推理固有的技术挑战和缺乏大规模视频抠图数据集，到目前为止还没有针对视频抠图的深度学习的代表性工作。在本文中，我们提出了一个基于深度学习的视频抠图框架，它采用了一种新颖而有效的时空特征聚合模块（ST-FAM）。由于光流估计在遮片区域内可能非常不可靠，因此ST-FAM被设计为在网络解码器内跨不同空间尺度和时间帧有效地对准和聚合信息。为了消除逐帧的trimap注释，还引入了轻量级交互式trimap传播网络。另一个贡献包括一个大规模的视频抠图数据集，其中包含用于定量评估的groundtruth alpha抠图和用于定性评估的真实世界高分辨率视频。定量和定性的实验结果表明，我们的框架显着优于传统的视频抠图和深度图像抠图方法应用于视频中存在的多帧时间信息。
2021-04-22 cs.CV
Background Matting: The World is Your Green Screen
University of Washington（华盛顿大学）
我们提出了一种方法来创建一个哑光-每像素的前景色和阿尔法-一个人通过拍摄照片或视频在日常设置与手持相机。大多数现有的遮片方法需要绿屏背景或手动创建的三重图来产生良好的遮片。自动的、无三重图的方法正在出现，但质量不可比。在我们的trimap免费方法中，我们要求用户在拍摄时拍摄一张没有主题的背景照片。这一步需要少量的预见，但比创建一个trimap耗时少得多。我们训练一个有对抗性损失的深度网络来预测问题。我们首先训练一个抠图网络与监督损失的地面真实数据与合成复合材料。为了将域间隙与没有标记的真实图像连接起来，我们训练另一个由第一个网络和判断复合材料质量的神经网络引导的抠图网络。我们在各种各样的照片和视频上展示了结果，并显示出对最先进技术的显着改进。
2020-04-10 cs.CV
Towards Label-Efficient Human Matting: A Simple Baseline for Weakly Semi-Supervised Trimap-Free Human Matting
NAVER Cloud（NAVER云）；KAIST（韩国科学技术院）；Chung-Ang University（中央大学）
本文提出弱半监督人像抠图范式WSSHM及Matte Label Blending训练方法，利用少量抠图标签和大量分割标签降低标注成本并解决合成数据的领域泛化问题，在实时模型上实现高精度与328 FPS推理速度。
2024-04-01 cs.CV
Deep Image Matting with Flexible Guidance Input
Shanghai University（上海大学）
图像抠图是一个重要的计算机视觉问题。现有的许多抠图方法需要手工制作的三重图来提供辅助信息，这是非常昂贵的，并限制了现实世界的使用。最近，已经提出了一些trimap自由的方法，完全摆脱任何用户输入。然而，由于缺乏指导信息，它们的性能远远落后于基于trimap的方法。在本文中，我们提出了一种抠图方法，使用灵活的指导输入作为用户提示，这意味着我们的方法可以使用trimap，scribblemap或clickmap作为指导信息，甚至没有任何指导输入。为了实现这一点，我们提出了渐进三重图变形（PTD）方案，随着训练步长的增加，逐渐缩小前景和背景的三重图的面积，最终成为一个涂鸦。为了使我们的网络对任何用户的涂鸦和点击都具有鲁棒性，我们在前景和背景上随机采样点并执行曲线拟合。此外，我们提出了语义融合模块（SFM），利用特征金字塔增强模块（FPEM）和联合金字塔上采样（JPU）在抠图任务的第一次。实验结果表明，与现有的基于trimap和无trimap的方法相比，我们的方法可以达到最先进的结果。
2021-10-21 cs.CV cs.LG
TransMatting: Tri-token Equipped Transformer Model for Image Matting
University of Chinese Academy of Sciences（中国科学院大学）；Technology and Engineering Center for Space Utilization, Chinese Academy of Sciences（中国科学院空间应用工程与技术中心）
图像抠图的目的是预测自然图像中复杂的不确定区域的alpha值，如头发，烟雾和蜘蛛网。然而，现有的方法在面对高度透明的前景对象时表现不佳，这是由于预测的不确定性区域很大，卷积网络的接收域很小。为了解决这个问题，我们提出了一个基于transformer的网络（transmarting）来建模具有长距离特征的透明对象，并收集透明对象的高分辨率抠图数据集（Transparent-460）进行性能评估。具体来说，为了灵活有效地利用trimap中的语义信息，我们还将trimap重新设计为三个可学习的令牌，称为tri-token。Transformer和卷积抠图模型都可以从我们提出的三令牌设计中受益。通过用我们的三标记替换传统的三图连接策略，现有的抠像方法可以在SAD方面实现约10%的改进，在MSE方面实现20%的改进。配备了新的三令牌设计，我们提出的TransMatting优于目前最先进的方法在几个流行的抠图基准和我们新收集的透明460。
2023-03-11 cs.CV
Image matting with normalized weight and semi-supervised learning
Guizhou Normal University（贵州师范大学）
图像抠图是一个重要的视觉问题。主流的方法是基于采样的方法和基于传播的方法相结合。在本文中，我们处理的组合与归一化加权参数，它可以很好地控制之间的相对关系，从采样和传播的信息。基于标准基准数据集的统计数据，给出了该参数的合理值范围。通过引入半监督学习迭代来进一步改进抠图，该迭代在没有用户交互的情况下自动细化三重图。这在三重图粗糙时尤其有益。在标准基准数据集上的实验结果表明，归一化加权参数和半监督学习迭代都能显著提高抠图性能。
2017-10-27 cs.CV
A Hierarchical Image Matting Model for Blood Vessel Segmentation in Fundus images
Shantou University（汕头大学）；South China University of Technology（华南理工大学）；Nanjing University of Aeronautics and Astronautics（南京航空航天大学）；Soochow University（苏州大学）
本文提出了一种层次图像抠图模型，用于眼底图像血管提取。更具体地说，利用视网膜血管的连续性和可扩展性的分层策略被集成到用于血管分割的图像抠图模型中。通常抠像模型需要用户指定的三重图，它将输入图像手动分为三个区域：前景，背景和未知区域。然而，由于创建用户指定的三分图是一个繁琐和耗时的任务，血管的区域特征来自动生成三分图在本文中。该模型具有较低的计算复杂性，并优于许多其他国家的最先进的监督和无监督的方法在准确性方面，它实现了96：0%，95：7%和95：1%的血管分割准确率在平均时间为10：72秒，15：74秒和50：71秒的图像从三个公开可用的眼底图像数据集DRIVE，STARE和CHASE DB 1，分别。
2017-10-09 cs.CV
PP-Matting: High-Accuracy Natural Image Matting
Baidu Inc.（百度公司）
自然图像抠图是一项基本的、具有挑战性的计算机视觉任务。它在图像编辑和合成中有许多应用。最近，基于深度学习的方法在图像抠图方面取得了很大的改进。然而，它们中的大多数需要用户提供的三重图作为辅助输入，这限制了在现实世界中的抠图应用。虽然已经提出了一些无trimap的方法，但与基于trimap的方法相比，其抠图质量仍然不能令人满意。如果没有三重图的指导，抠图模型容易遭受前景-背景模糊，并在过渡区域产生模糊的细节。在这项工作中，我们提出了PP-抠图，trimap自由架构，可以实现高精度的自然图像抠图。我们的方法应用了高分辨率细节分支（HRDB），该分支在保持特征分辨率不变的情况下提取前景的细粒度细节。此外，我们提出了一个语义上下文分支（SCB），采用了语义分割子任务。该方法避免了由于语义上下文缺失而导致的局部模糊。此外，我们在两个著名的基准测试上进行了广泛的实验：Composition-1 k和Distinctions-646。实验结果证明了PP-Matting算法的优越性。此外，我们提供了一个定性的评价，我们的方法对人体抠图，这表明其在实际应用中的出色表现。代码和预训练模型将在PaddleSeg：https://github.com/PaddlePaddle/PaddleSeg上提供。
2022-04-20 cs.AI cs.CV
Background Matting
Trinity College Dublin（都柏林三一学院）；ADAPT Centre（ADAPT中心）
当前最先进的alpha抠图方法主要依赖于三重图作为估计alpha的辅助和唯一指导。本文研究了在α计算过程中利用背景信息和三重图的效果。为了实现这一目标，采用了最先进的方法AlphaGan，并对其进行了修改，以将背景信息作为额外的输入通道进行处理。进行了大量的实验，以分析图像和视频抠图中的背景信息的效果，如轻度和严重失真的背景训练。基于对Adobe Composition-1 k数据集进行的定量评估，所提出的管道显着优于使用AlphaMatting基准度量的最先进方法。
2020-02-11 cs.CV
Matte Anything: Interactive Natural Image Matting with Segment Anything Models
School of Electronic Information and Communications, Huazhong University of Science and Technology（华中科技大学电子信息与通信学院）
本文提出交互式自然图像抠图模型 MatAny，结合 SAM、开放词汇检测器与预训练抠图模型自动生成伪 trimap，无需额外训练，并在 MSE 和 SAD 上显著达到 SOTA。
2024-02-28 cs.CV
Privileged Prior Information Distillation for Image Matting
Beijing University of Posts and Telecommunications（北京邮电大学）；OPPO Research Institute（OPPO研究院）；Xmotors；University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
当试图解耦确定性和不确定性区域时，无三重图的图像抠图方法的性能是有限的，特别是在前景语义模糊、无色度或高透射率的场景中。在本文中，我们提出了一种新的框架命名为图像抠图（PPID-IM），可以有效地转移特权先验环境感知信息，以提高学生在解决硬前景的表现。trimap的先验信息在训练阶段只调节教师模型，而在实际推理过程中不被馈送到学生网络。为了实现有效的特权跨模态（即三重图和RGB）的信息蒸馏，我们引入了一个跨层次的语义蒸馏（CLSD）模块，加强了三重图免费的学生更有知识的语义表示和环境感知信息。我们还提出了一个注意力引导的本地蒸馏模块，有效地将特权本地属性从基于trimap的教师转移到无trimap的学生，以指导本地区域优化。大量的实验表明，我们的PPID框架上的图像抠图任务的有效性和优越性。此外，我们的无trimap的IndexNet-PPID大大超过了其他竞争对手的最先进的方法，特别是在无色度，弱纹理或不规则对象的情况下。
2022-11-25 cs.CV cs.MM
Boosting Robustness of Image Matting with Context Assembling and Strong Data Augmentation
The University of Adelaide（阿德莱德大学）；Adobe Inc.（Adobe公司）；Zhejiang University（浙江大学）
深度图像抠图方法已经在基准上取得了越来越好的结果（例如，组成-1 k/alphamatting.com）。然而，鲁棒性，包括对三重映射的鲁棒性和对来自不同领域的图像的泛化，仍然是探索不足。虽然有些作品提出要么细化的trimaps或通过额外的数据增强的算法，以适应现实世界的图像，他们都没有考虑到这两个，更不用说显着的性能恶化的基准，而使用这些数据增强。为了填补这一空白，我们提出了一种图像抠图方法，通过多级上下文组装和强大的数据增强目标抠图，实现更高的鲁棒性（RMat）。具体来说，我们首先通过在编码器中使用Transformer块对充足的全局信息进行建模，并在解码器中结合卷积层以及低级别特征组装注意力块来关注细节，从而构建一个强大的抠图框架。在此基础上，分析了现有的数据增强方法，并探索了一种简单有效的强数据增强方法，以增强基线模型，并给出了一种更具有通用性的抠图方法。与以前的方法相比，该方法不仅在Composition-1 k基准测试中取得了最先进的结果（SAD提高了11%，Grad提高了27%），模型尺寸更小，而且在其他基准测试中，在真实世界的图像上，以及在我们广泛的实验中，从粗到细的不同trimap上，都表现出了更强大的泛化结果。
2022-01-18 cs.CV
Highly Efficient Natural Image Matting
在过去的几年里，基于深度学习的方法在自然图像抠图方面取得了显著的改进。然而，仍然有两个缺点，阻碍了图像抠图的广泛应用：依赖于用户提供的trimap和沉重的模型尺寸。在本文中，我们提出了一个轻量级模型的无trimap的自然图像抠图方法。通过一个轻量级的基本卷积块，我们构建了一个两阶段的框架：分割网络（SN）旨在捕获足够的语义并将像素分类为未知，前景和背景区域;抠图细化网络（MRN）旨在捕获详细的纹理信息并回归准确的alpha值。提出的跨层次融合模块（CFM），SN可以有效地利用多尺度特征，以较少的计算成本。MRN中的高效非局部注意模块（ENA）可以有效地对不同像素之间的相关性进行建模，并帮助回归高质量的alpha值。利用这些技术，我们构建了一个非常轻的加权模型，它实现了相当的性能与流行的自然图像抠图基准的大模型的~1\%的参数（344 k）。
2021-10-25 cs.CV
RenderMatte: Exact-Alpha Rendering and Group-Relative Alignment for Image Matting
本文提出RenderMatte框架，通过微调FLUX.1 Kontext实现精确Alpha渲染，引入组相对Alpha对齐优化，并构建专属数据集，在抠图基准测试中取得最优性能，解决开放世界场景的抠图难题。
2026-08-11 cs.CV
Towards Enhancing Fine-grained Details for Image Matting
Nanyang Technological University（南洋理工大学）
近年来，通过将高级上下文特征提取到模型中，深度自然图像抠图得到了快速发展。然而，目前大多数方法仍然难以处理微小的细节，如头发或毛皮。在本文中，我们认为，恢复这些微观细节依赖于低层次，但高清晰度的纹理特征。然而，{在当前基于编码器-解码器的模型中，这些特征在非常早期的阶段被下采样，导致微观细节的丢失}。为了解决这个问题，我们设计了一个深度图像抠图模型{来增强细粒度的细节。我们的模型由两条并行路径组成：一条传统的编码器-解码器语义路径和一条独立的无下采样纹理补偿路径（TCP）。提出了TCP算法，提取原始图像中的线条、边缘等细粒度细节，大大提高了预测精度。同时，为了充分利用高层上下文的优势，我们提出了一个特征融合单元（FFU），用于融合语义路径中的多尺度特征，并将其注入TCP。此外，我们已经观察到，注释不佳的trimap严重影响模型的性能。因此，我们进一步提出了一个新的损失函数和trimap生成方法，以提高我们的模型的鲁棒性的trimap。实验表明，我们的方法优于以前的最先进的方法上的Composition-1 k数据集。
2021-01-22 cs.CV
Adaptive Human Matting for Dynamic Videos
Microsoft（微软）
本文提出自适应视频人物抠图框架 AdaM，结合编码器-解码器与 transformer 的长短时注意力机制，在无三分图条件下同时分离前景并捕捉 alpha 细节，显著提升复杂视频中的抠图真实感和时间一致性。
2023-04-12 cs.CV
High-Resolution Deep Image Matting
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe研究院）；University of Oregon（俄勒冈大学）
图像抠图是图像和视频编辑合成的关键技术。传统上，深度学习方法采用整个输入图像和相关联的三重图来使用卷积神经网络推断阿尔法遮片。这样的方法在图像抠图中设置了最先进的技术;然而，由于硬件限制，它们可能在现实世界抠图应用中失败，因为用于抠图的现实世界输入图像大多具有非常高的分辨率。在本文中，我们提出了HDMatt，这是第一种基于深度学习的高分辨率输入图像抠图方法。更具体地说，HDMatt以基于补丁的裁剪和缝合方式为高分辨率输入运行抠图，并采用新颖的模块设计来解决不同补丁之间的上下文依赖性和一致性问题。与香草补丁为基础的推理，独立计算每个补丁相比，我们明确的跨补丁上下文依赖模型与新提出的跨补丁上下文模块（CPC）的指导下，给定的trimap。大量的实验证明了该方法的有效性和高分辨率输入的必要性。我们的HDMatt方法还在Adobe Image Matting和AlphaMatting基准测试中设置了最先进的性能，并在更真实的高分辨率图像上产生令人印象深刻的视觉效果。
2021-01-15 cs.CV
Attention-guided Temporally Coherent Video Object Matting
Zhejiang University（浙江大学）；Alibaba Group（阿里巴巴集团）；Damo Academy, Alibaba Group（阿里巴巴集团达摩院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出了一种新的基于深度学习的视频对象抠图方法，可以实现时间上一致的抠图结果。它的关键组件是一个基于注意力的时间聚合模块，最大限度地提高图像抠图网络的视频抠图网络的强度。该模块计算特征空间中沿时间轴彼此相邻的像素的时间相关性，这对运动噪声是鲁棒的。我们还设计了一个新的损失项训练的注意力权重，这大大提高了视频抠图性能。此外，我们展示了如何有效地解决trimap生成问题，通过微调一个国家的最先进的视频对象分割网络与稀疏的用户注释的关键帧集。为了便于视频抠图和trimap生成网络的训练，我们构建了一个大规模的视频抠图数据集，其中包含80个训练和28个验证前景视频剪辑，并使用地面真实alpha抠图。实验结果表明，我们的方法可以生成高质量的阿尔法蒙版的各种视频具有外观变化，遮挡，快速运动。我们的代码和数据集可以在https://github.com/yunkezhang/TCVOM上找到
2021-07-29 cs.CV
DiffusionMat: Alpha Matting as Sequential Refinement Learning
The University of Hong Kong（香港大学）；Singapore Management University（新加坡管理大学）；Shanghai AI Laboratory（上海人工智能实验室）
本文提出DiffusionMat框架，将图像抠图视为序列细化学习过程，通过扩散模型对trimap迭代去噪生成精细alpha matte，并引入校正模块和Alpha Reliability Propagation技术保证结构一致性与简化校正任务，在多个基准上优于现有方法。
2023-11-22 cs.CV
Adaptive Background Matting Using Background Matching
由于抠图问题的求解比较困难，很多方法都是通过某种辅助手段来获得高质量的alpha抠图。绿幕遮片方法依赖于物理设备。基于Trimap的方法将手动交互作为外部输入。基于背景的方法需要预先捕获的静态背景。这些方法不够灵活和方便，不能广泛使用。Trimap自由的方法是灵活的，但不稳定的复杂的视频应用。为了在实际应用中具有稳定性和灵活性，我们提出了一种自适应背景抠图方法。用户首先自由地拍摄他们的视频，移动相机。然后，用户随后捕获背景视频，大致覆盖先前捕获的区域。我们使用动态的背景视频，而不是静态的背景，准确的抠图。该方法不受静止摄像机和背景的限制，适用于任何场景。为了实现这一目标，我们使用背景匹配网络从动态背景中逐帧找到最佳匹配的背景。然后，使用鲁棒语义估计网络来估计粗阿尔法蒙版。最后，我们根据粗糙的alpha蒙版裁剪和缩放目标区域，并估计最终的精确alpha蒙版。在实验中，所提出的方法是能够执行对国家的最先进的抠图方法。
2022-03-14 cs.CV
MatteFormer: Transformer-Based Image Matting via Prior-Tokens
Seoul National University（首尔国立大学）；NAVER WEBTOON AI（NAVER WEBTOON人工智能部门）
在本文中，我们提出了一种基于变换的图像抠图模型MatteFormer，它充分利用了Transformer块中的三分图信息。我们的方法首先引入了一个先验标记，它是每个trimap区域（例如前景，背景和未知）的全局表示。这些先验令牌被用作全局先验，并参与每个块的自注意力机制。编码器的每一级都由PAST（Prior-Attentive Swin Transformer）块组成，PAST块基于Swin Transformer块，但在几个方面有所不同：1）它具有PA-WSA（Prior-Attentive Window Self-Attention）层，不仅使用空间令牌而且使用先验令牌执行自注意。2)它具有先前存储器，其从先前块累积保存先前令牌，并将其传输到下一个块。我们在常用的图像抠图数据集上评估我们的MatteFormer：Composition-1 k和Distinctions-646。实验结果表明，我们提出的方法实现了国家的最先进的性能与大的裕度。我们的代码可在https://github.com/webtoon/matteformer上获得。
2022-03-29 cs.CV
Object-Aware Video Matting with Cross-Frame Guidance
Huazhong University of Science and Technology（华中科技大学）；School of Artificial Intelligence and Automation（人工智能与自动化学院）
提出无trimap的对象感知视频抠图框架OAVM，通过跨帧引导的OGCR模块聚合对象级信息至像素级特征，并设计序列前景合并增强策略，仅需初始粗掩码即达到SOTA性能。
2025-03-03 cs.CV
Privacy-Preserving Portrait Matting
The University of Sydney（悉尼大学）；JD Explore Academy（京东探索研究院）
最近，人们越来越关注在机器学习中使用个人身份信息所引起的隐私问题。然而，以前的肖像抠图方法都是基于可识别的肖像图像。为了填补这一空白，我们在本文中提出了P3 M-10 k，这是第一个用于隐私保护肖像抠图的大规模匿名基准。P3 M-10 k包含10，000张高分辨率面部模糊肖像图像以及高质量的Alpha遮罩。我们在P3 M-10 k上系统地评估了无trimap和基于trimap的抠图方法，发现现有的抠图方法在遵循隐私保护训练（PPT）设置时表现出不同的泛化能力，即，在面部模糊图像上训练和在任意图像上测试。为了设计一个更好的无trimap的肖像抠图模型，我们提出了P3 M-Net，它利用了语义感知和细节抠图的统一框架的力量，并特别强调了它们与编码器之间的交互，以促进抠图过程。在P3 M-10 k上进行的大量实验表明，P3 M-Net在客观指标和主观视觉质量方面都优于最先进的方法。此外，它在PPT设置下显示出良好的泛化能力，证实了P3 M-10 k的价值，以促进未来的研究和实现潜在的现实世界的应用。源代码和数据集可在https://github.com/JizhiziLi/P3M上获得
2021-07-29 cs.AI cs.CV
Towards Natural Image Matting in the Wild via Real-Scenario Prior
East China University of Science and Technology（华东理工大学）；vivo Mobile Communication Co., Ltd（维沃移动通信有限公司）；Singapore Management University（新加坡管理大学）
针对合成数据训练的抠图模型泛化性差及现有SAM基抠图方法未充分挖掘预训练潜力的问题，本文构建了含38251个人体实例的COCO-Matting真实场景抠图数据集，提出SEMat方法改进网络架构与训练目标，在7个数据集上取得了更优的交互式自然图像抠图性能。
2024-10-09 cs.CV
Training Matting Models without Alpha Labels
The Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）
针对深度抠图标注困难，提出仅用三分图监督，通过方向距离一致性损失传播 alpha 值，在 AM-2K 和 P3M-10K 上达到与精细标签相当甚至更优的性能。
2024-08-20 cs.CV
Robust High-Resolution Video Matting with Temporal Guidance
University of Washington（华盛顿大学）；ByteDance Inc.（字节跳动有限公司）
我们介绍了一个强大的，实时的，高分辨率的人类视频抠图方法，实现了新的国家的最先进的性能。我们的方法比以前的方法要轻得多，可以在Nvidia GTX 1080Ti GPU上以76 FPS的速度处理4K，以104 FPS的速度处理高清。与大多数现有的方法，执行视频抠图帧作为独立的图像，我们的方法使用了一个经常性的架构，利用视频中的时间信息，并取得了显着的改善时间的连贯性和抠图质量。此外，我们提出了一种新的训练策略，可以在抠图和分割目标上执行我们的网络。这大大提高了我们模型的鲁棒性。我们的方法不需要任何辅助输入，如trimap或预先捕获的背景图像，因此它可以广泛应用于现有的人类抠图应用。
2021-08-25 cs.CV
Attention based Memory video portrait matting
Nanyang Technological University（南洋理工大学）
提出了一种基于注意力机制的无三重图视频抠像方法。根据问题的性质，大多数现有的方法使用多个计算扩展模块或复杂的算法来充分利用时间信息。我们设计了一个时间聚合模块来计算当前帧和它的前两个帧之间的时间相干性。
2022-03-21 cs.CV cs.LG
Foreground segmentation based on multi-resolution and matting
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
提出了一种前景分割算法，在不同尺度下进行前景提取，并通过抠图对结果进行细化。首先，对输入图像进行滤波并重新采样为5种不同的分辨率。然后，他们中的每一个被分割的自适应图形-背景分类和最佳分割是自动选择的评价分数，最大化前景和背景之间的差异。该分割被上采样到原始大小，并且构建对应的三重图。采用闭合形式的抠图来标记边界区域，并通过最终的图形-背景分类来细化结果。实验结果表明，该方法在处理复杂背景图像和适应松散初始边界盒方面是成功的。
2014-02-10 cs.CV
Inductive Guided Filter: Real-time Deep Image Matting with Weakly Annotated Masks on Mobile Devices
Shanghai Jiao Tong University（上海交通大学）；Versa
最近，在深度图像抠图方面取得了重大进展。经典的抠图方法大都需要一个理想的三重图，而且计算时间长，在实际应用中很难得到。在移动应用中，需要一种高效的基于弱标注模板的图像抠图方法。在本文中，我们提出了一种基于深度学习和引导滤波的新方法，称为感应引导滤波器，它可以解决移动设备上的实时的【形】一般图像抠图任务。我们设计了一个轻量级的沙漏网络来参数化原始的Guided Filter方法，该方法将图像和弱注释的掩码作为输入。此外，使用Gabor损失提出了训练网络的复杂纹理图像抠图。此外，我们创建了一个图像抠图数据集MAT-2793与各种前景对象。实验结果表明，我们提出的方法大大减少了运行时间与鲁棒的准确性。
2019-05-16 cs.CV
Mask Guided Matting via Progressive Refinement Network
The Johns Hopkins University（约翰霍普金斯大学）；Adobe（Adobe公司）
我们提出了一个强大的抠图框架，需要一个通用的粗掩模作为指导的掩模引导（MG）抠图。MG Matting利用网络（PRN）设计，鼓励抠图模型提供自我指导，通过解码过程逐步细化不确定区域。在训练中还引入了一系列的制导模板扰动操作，以进一步增强其对外部制导的鲁棒性。我们表明，PRN可以推广到看不见的类型的指导面具，如三重图和低质量的阿尔法哑光，使其适用于各种应用程序的管道。此外，我们重新审视了抠图的前景色预测问题，并提出了一个令人惊讶的简单改进来解决数据集问题。对真实和合成基准的评估表明，MG Matting使用各种类型的制导输入实现了最先进的性能。代码和模型可在https://github.com/yucornetto/MGMatting上获得。
2021-04-02 cs.CV
POBEVM: Real-time Video Matting via Progressively Optimize the Target Body and Edge
针对视频抠图中目标边缘模糊的问题，提出分别优化主体和边缘的SOBE模块与边缘L1损失函数，构建了轻量级实时无trimap方法POBEVM，在多个数据集上显著提升了边缘优化效果。
2024-02-15 cs.CV cs.IR
Deep Automatic Natural Image Matting
The University of Sydney（悉尼大学）；JD Explore Academy, JD.com（京东探索研究院）
自动抠图是指在不需要像三分图这样的辅助输入的情况下，从任意的自然图像中估计出柔和的前景，这对图像编辑很有用。之前的方法试图学习语义特征来帮助抠像过程，但仅限于具有明显不透明前景的图像，例如人类和动物。在本文中，我们调查的困难时，将其扩展到自然图像与显着的透明/细致的前景或非显着的前景。为了解决这个问题，提出了一种新的端到端抠图网络，它可以预测上述类型的任何图像作为一个统一的语义表示的广义trimap。同时，所学习的语义特征通过注意力机制引导抠图网络聚焦于过渡区域。我们还构建了一个测试集AIM-500，其中包含500个不同的自然图像，涵盖所有类型以及手动标记的阿尔法蒙版，使其成为可行的基准AIM模型的泛化能力。实验结果表明，我们的网络训练可用的复合抠图数据集优于现有的方法，客观和主观。源代码和数据集可在https://github.com/JizhiziLi/AIM上获得。
2021-07-15 cs.AI cs.CV
In-Context Matting
Huazhong University of Science and Technology（华中科技大学）
我们介绍了在上下文抠图，一种新的图像抠图任务设置。给定特定前景的参考图像和引导先验（诸如点、涂鸦和遮罩），上下文内抠图使得能够在相同前景类别的一批目标图像上进行自动阿尔法估计，而无需额外的辅助输入。此设置结合了基于辅助输入的抠图的良好性能和自动抠图的易用性，从而在自定义和自动化之间找到了良好的平衡。为了克服准确前景匹配的关键挑战，我们引入了IconMatting，这是一种基于预训练的文本到图像扩散模型的上下文抠图模型。IconMatting以内部和内部相似性匹配为条件，可以充分利用参考上下文来生成准确的目标alpha蒙版。为了对任务进行基准测试，我们还引入了一个新的测试数据集ICM- $57$，覆盖了57组真实世界的图像。ICM-57测试集上的定量和定性结果表明，IconMatting可以与基于trimap的抠图的准确性相媲美，同时保留了类似于自动抠图的自动化水平。代码可在https://github.com/tiny-smart/in-context-matting上获得
2024-03-23 cs.CV
Temporally Coherent Person Matting Trained on Fake-Motion Dataset
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）
我们提出了一种新的基于神经网络的方法来执行抠图的视频描绘的人，不需要额外的用户输入，如trimaps。我们的架构通过使用基于运动估计的图像分割算法输出平滑，结合U-Net跳过连接上的卷积LSTM模块，实现了所产生的alpha蒙版的时间稳定性。我们还提出了一种假运动算法，该算法可以为视频抠图网络生成训练剪辑，给出具有地面真实阿尔法抠图和背景视频的照片。我们将随机运动应用于照片及其蒙版，以模拟人们在真实视频中发现的运动，并将结果与背景剪辑合成。它允许我们在没有大型注释视频数据集的情况下训练对视频进行操作的深度神经网络，并提供地面实况训练剪辑前景光流，用于损失函数。
2021-09-10 cs.CV
SGM-Net: Semantic Guided Matting Net
Beijing University of Posts and Telecommunications（北京邮电大学）
人体抠图是指从自然图像中提取高质量的人体部分，包括头发、眼镜、帽子等人体细节信息，这项技术在电影工业中的图像合成和视觉效果中起着至关重要的作用。当绿屏不可用时，现有的人体抠图方法需要额外输入的帮助（如三重图、背景图像等），或者是计算量大、网络结构复杂的模型，这给人体抠图在实际中的应用带来了很大的困难。为了缓解这类问题，现有的方法（如MODNet）大多使用多分支来通过分割为抠图铺平道路，但这些方法没有充分利用图像的特征，只是利用网络的预测结果作为指导信息。因此，我们提出了一个模块来生成前景概率图，并将其添加到MODNet，以获得语义引导抠图网（SGM-Net）。在只有一幅图像的情况下，可以实现人体抠像任务。我们在P3 M-10 k数据集上验证了我们的方法。与基准相比，该方法在各项评价指标上都有显著提高。
2022-08-16 cs.CV
Fast Deep Matting for Portrait Animation on Mobile Phone
National Lab of Pattern Recognition, Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所模式识别国家重点实验室）；University of Chinese Academy of Sciences（中国科学院大学）；Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所）；North China University of Technology（北方工业大学）
图像抠图在图像和视频编辑中起着重要的作用。然而，图像抠图的公式化本质上是不适定的。传统的抠图方法通常采用交互的方式来处理图像的三重图和笔画问题，无法在手机上实时运行。在本文中，我们提出了一个实时的自动深抠图方法的移动设备。通过利用密集连接的块和扩张卷积，设计了一个轻型全卷积网络来预测肖像图像的粗糙二进制掩码。并进一步设计了一个边缘保持和自适应抠图的羽化块，用于学习引导滤波器并将二值掩模转换为alpha抠图。最后，在移动设备上搭建了一个基于快速深度抠图的人像自动动画系统，该系统无需任何交互，可以实现15 fps的实时抠图。实验结果表明，该方法取得了可比的结果与国家的最先进的抠图求解器。
2017-07-26 cs.CV
Exploring the Interactive Guidance for Unified and Effective Image Matting
Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Sun Yat-Sen University（中山大学）；HKUST (Guangzhou)（香港科技大学（广州））
本文提出统一交互式图像抠图方法 UIM，通过多类型交互确定目标，并将抠图解耦为前景分割与透明度预测，结合多尺度注意力融合提升透明及不透明物体抠图效果。
2023-12-07 cs.CV cs.MM
Matting Anything
Georgia Tech（佐治亚理工学院）；Oregon（俄勒冈大学）；UIUC（伊利诺伊大学厄巴纳-香槟分校）；Picsart AI Research (PAIR)（Picsart人工智能研究院）
在本文中，我们提出了Matting Anything Model（MAM），这是一个高效且通用的框架，用于估计图像中任何实例的Alpha Matte，并提供灵活的交互式视觉或语言用户提示指导。与以往的专门的图像抠图网络相比，MAM具有以下几个显著的优点：（i）MAM能够处理各种类型的图像抠图，包括语义抠图、实例抠图和仅用单个模型的引用抠图;（ii）MAM利用来自分段任意模型（SAM）的特征图，并采用轻量级遮罩到遮罩（M2M）模块来通过迭代细化预测alpha遮罩，它只有270万个可训练参数。(iii)通过整合SAM，MAM简化了交互式使用从三重图到框、点或文本提示的图像抠图所需的用户干预。我们评估了MAM在各种图像抠图基准上的性能，实验结果表明，MAM在每个基准上的不同指标下达到了与最先进的专业图像抠图模型相当的性能。总体而言，MAM表现出优越的泛化能力，可以有效地处理各种图像抠图任务，使用较少的参数，使其成为一个实用的解决方案，统一的图像抠图。我们的代码和模型在https://github.com/SHI-Labs/Matting-Anything上开源。
2023-11-16 cs.CV
MODNet-V: Improving Portrait Video Matting via Background Restoration
City University of Hong Kong（香港城市大学）；Dalian University of Technology（大连理工大学）
为了更精确地解决具有挑战性的人像视频抠图问题，现有的作品通常应用一些抠图先验，需要额外的用户努力来获得，例如带注释的三重图或背景图像。在这项工作中，我们观察到，而不是要求用户显式地提供背景图像，我们可以从输入视频本身恢复它。为此，我们首先提出了一种新的背景恢复模块（BRM）从输入视频动态恢复背景图像。BRM非常轻巧，可以很容易地集成到现有的垫子模型中。通过将BRM与最近的图像抠图模型MODNet相结合，我们提出了用于人像视频抠图的MODNet-V。得益于BRM提供的强背景先验，MODNet-V的参数只有MODNet的1/3，但性能相当甚至更好。我们的设计允许MODNet-V在单个NVIDIA 3090 GPU上以端到端的方式进行训练。最后，我们引入了一个新的补丁细化模块（PRM），使MODNet-V适应高分辨率视频，同时保持MODNet-V的轻量级和快速。
2021-09-24 cs.CV
TransMatting: Enhancing Transparent Objects Matting with Transformers
University of Chinese Academy of Sciences（中国科学院大学）；Chinese Academy of Sciences（中国科学院）
图像抠图是指从自然图像中预测未知前景区域的alpha值。现有方法集中于将阿尔法值从已知区域传播到未知区域。然而，并不是所有的自然图像都具有特定的已知前景。透明物体的图像，如玻璃，烟雾，网络等，很少或没有已知的前景。在本文中，我们提出了一个基于transformer的网络，transmarting，建模透明的物体与一个大的感受野。具体来说，我们重新设计的三重图作为三个可学习的三令牌引入先进的语义功能的自我注意力机制。提出了一种小型卷积网络，利用全局特征和非背景掩模来引导从编码器到解码器的多尺度特征传播，以保持透明对象的纹理。此外，我们创建了一个高分辨率的抠图数据集的透明对象与小的已知前景区域。在多个抠图基准上的实验证明了我们所提出的方法比当前最先进的方法的优越性。
2022-09-04 cs.CV
Parallax Portrait Matting
Multimedia Laboratory, The Chinese University of Hong Kong（香港中文大学多媒体实验室）；Adobe NextCam；Shanghai AI Laboratory（上海人工智能实验室）；CPII under InnoHK（创新香港研发平台下的CPII）
针对图像抠图难题，提出视差人像抠图方法，利用连拍摄影中相机小幅度运动产生的前景-背景视差，通过估计trimap和前景/背景运动构建对齐视图预测，能恢复更精细细节和准确前景颜色。
2026-07-14 cs.CV
Deep Image Matting
Beckman Institute for Advanced Science and Technology（贝克曼先进科学技术研究所）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Adobe Research（Adobe 研究院）
图像抠像是一个基本的计算机视觉问题，并且有许多应用。当图像具有相似的前景和背景颜色或复杂的纹理时，以前的算法性能较差。主要原因是现有方法1）仅使用低级特征，2）缺乏高级上下文。在本文中，我们提出了一种新的基于深度学习的算法，可以解决这两个问题。我们的深度模型有两个部分。第一部分是深度卷积编码器-解码器网络，它将图像和相应的三重图作为输入，并预测图像的alpha蒙版。第二部分是一个小的卷积网络，它细化了第一个网络的alpha蒙版预测，以获得更准确的alpha值和更清晰的边缘。此外，我们还创建了一个大规模的图像抠图数据集，包括49300张训练图像和1000张测试图像。我们评估我们的算法上的图像抠图基准，我们的测试集，和各种各样的真实图像。实验结果清楚地表明，我们的算法优于以前的方法。
2017-04-11 cs.CV
Smart Scribbles for Image Mating
Dalian University of Technology（大连理工大学）；Beijing Technology and Business University（北京工商大学）；South China University of Technology（华南理工大学）；Peng Cheng Laboratory（鹏城实验室）；City University of Hong Kong（香港城市大学）
图像抠图是一个不适定的问题，通常需要额外的用户输入，如三重图或涂鸦。绘制fne trimap需要大量的用户努力，而对于非专业用户来说，使用scribbles很难获得令人满意的alpha mattes。最近一些基于深度学习的抠图网络依赖于大规模复合数据集进行训练以提高性能，导致在处理自然图像时偶尔出现明显的伪影。在这篇文章中，我们探讨了用户输入和alpha蒙版之间的内在关系，并在用户的努力和alpha蒙版的质量之间取得平衡。特别是，我们提出了一个交互式的框架，称为智能涂鸦，引导用户在输入图像上绘制一些涂鸦，以产生高质量的阿尔法蒙版。它首先推断图像的信息量最大的区域，用于绘制涂鸦以指示不同的类别（前景、背景或未知），然后传播这些涂鸦（即，类别标签）通过我们精心设计的两阶段传播到图像的其余部分。在传播过程中，既考虑了相邻的低层亲缘关系，又考虑了高层语义特征。该方法无需大规模的抠图数据集即可进行优化，在实际应用中具有更强的普适性。大量的实验表明，智能涂鸦可以产生更准确的阿尔法蒙版减少额外的输入，相比国家的最先进的抠图方法。
2021-03-31 cs.CV
Disentangled Pre-training for Image Matting
University of Technology Sydney（悉尼科技大学）；Tencent（腾讯）；Beijing Jiaotong University（北京交通大学）；University of Birmingham（伯明翰大学）
针对图像抠图依赖昂贵像素级标注的问题，提出基于随机 trimap 与 alpha matte 的自监督解耦预训练方法，显著提升下游抠图性能并具备跨骨干网络鲁棒性。
2023-12-10 cs.CV
Self-supervised Automatic Matting
Huazhong University of Science and Technology（华中科技大学）；Beijing Normal University（北京师范大学）；Waseda University（早稻田大学）
研究能否仅用RGB图像训练自动抠图模型。提出自监督框架SSMatte，将问题分解为语义锚定和细节抠图，通过特定损失生成提示并优化网络。该方法性能优，推动自动抠图进入完全无标注范式。
2026-07-14 cs.CV
Alpha Matte Generation from Single Input for Portrait Matting
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Istanbul Technical University（伊斯坦布尔理工大学）；Carnegie Mellon University（卡内基梅隆大学）
在肖像抠图中，目标是预测一个alpha抠图，以识别每个像素对前景主题的影响。传统的方法和大多数现有的工作利用了额外的输入，例如，trimap，背景图像，以预测alpha蒙版。然而，（1）提供额外的输入并不总是可行的，（2）模型对这些额外的输入过于敏感。为了解决这些问题，在本文中，我们引入了一种额外的免输入方法来执行肖像抠图。我们将任务分为两个子任务，分割和alpha matte预测。我们首先从输入图像中生成一个粗略的分割图，然后通过利用图像和分割图来预测alpha蒙版。此外，我们提出了一个分割编码块的粗分割图下采样，并提供有用的特征表示的残留块，因为使用一个单一的编码器导致的分割信息的消失。我们在四个不同的基准数据集上测试了我们的模型。所提出的方法优于同样采用单个输入的MODNet和MGMatting方法。此外，我们得到了与BGM-V2和FBA方法，需要额外的输入可比的结果。
2022-04-25 cs.CV
Boosting Semantic Human Matting with Coarse Annotations
Alibaba Group（阿里巴巴集团）；Tsinghua University（清华大学）
语义人体抠图的目的是估计前景人体区域的每像素不透明度。这是相当具有挑战性的，通常需要用户交互式三重图和大量的高质量注释数据。注释此类数据是劳动密集型的，需要超出普通用户的技能，特别是考虑到人类非常详细的头发部分。相比之下，粗略注释的人类数据集更容易从公共数据集中获取和收集。在本文中，我们建议使用粗注释数据和细注释数据来增强端到端的语义人类抠像，而无需三图作为额外输入。具体来说，我们训练一个掩码预测网络来估计使用混合数据的粗语义掩码，然后提出一个质量统一网络来统一以前的粗掩码输出的质量。抠图细化网络接受统一的遮罩和输入图像来预测最终的alpha抠图。收集的粗注释数据集大大丰富了我们的数据集，可以为真实图像生成高质量的alpha蒙版。实验结果表明，该方法对国家的最先进的方法进行了验证。此外，该方法可用于粗标注公共数据集的细化，也可用于语义分割方法，从而在很大程度上降低了标注高质量人类数据的成本。
2020-04-10 cs.CV cs.LG eess.IV
Dual-Context Aggregation for Universal Image Matting
本文提出通用抠图框架 DCAM，通过语义主干、全局与局部双上下文聚合及抠图解码器，在无引导或任意引导下实现稳健 alpha 遮罩估计，并在五个数据集上优于现有方法。
2024-02-28 cs.CV
End-to-End Human Instance Matting
Harbin Institute of Technology（哈尔滨工业大学）；Guangxi Normal University（广西师范大学）；Shandong Technology and Business University（山东工商学院）
本文提出端到端 E2E-HIM 框架，通过联合语义引导一次预测多个人体实例 alpha 遮罩，并构建 HIM-100K 数据集，显著提升精度与速度。
2024-03-03 cs.AI cs.CV
Rethinking Portrait Matting with Privacy Preserving
The University of Sydney（悉尼大学）；Adobe Inc.（奥多比公司）
本文提出首个隐私保护人像抠图基准P3M-10k及统一模型P3M-Net，并设计P3M-CP复制粘贴策略，通过借用公开面部信息提升跨域泛化能力，在多个基准上验证了方法的优越性。
2023-04-17 cs.AI cs.CV
