基于假运动数据集的时间相干人抠图
Temporally Coherent Person Matting Trained on Fake-Motion Dataset
摘要：
我们提出了一种新的基于神经网络的方法来执行抠图的视频描绘的人，不需要额外的用户输入，如trimaps。我们的架构通过使用基于运动估计的图像分割算法输出平滑，结合U-Net跳过连接上的卷积LSTM模块，实现了所产生的alpha蒙版的时间稳定性。我们还提出了一种假运动算法，该算法可以为视频抠图网络生成训练剪辑，给出具有地面真实阿尔法抠图和背景视频的照片。我们将随机运动应用于照片及其蒙版，以模拟人们在真实视频中发现的运动，并将结果与背景剪辑合成。它允许我们在没有大型注释视频数据集的情况下训练对视频进行操作的深度神经网络，并提供地面实况训练剪辑前景光流，用于损失函数。
英文摘要：
We propose a novel neural-network-based method to perform matting of videos depicting people that does not require additional user input such as trimaps. Our architecture achieves temporal stability of the resulting alpha mattes by using motion-estimation-based smoothing of image-segmentation algorithm outputs, combined with convolutional-LSTM modules on U-Net skip connections. We also propose a fake-motion algorithm that generates training clips for the video-matting network given photos with ground-truth alpha mattes and background videos. We apply random motion to photos and their mattes to simulate movement one would find in real videos and composite the result with the background clips. It lets us train a deep neural network operating on videos in an absence of a large annotated video dataset and provides ground-truth training-clip foreground optical flow for use in loss functions.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
