4D-Editor：通过语义蒸馏实现动态神经辐射场中的交互式对象级编辑
4D-Editor: Interactive Object-level Editing in Dynamic Neural Radiance Fields via Semantic Distillation
AI总结：
针对动态神经辐射场场景对象级编辑能力不足的问题，提出4D-Editor交互式编辑框架，通过混合语义特征蒸馏、递归选择细化及多视图重投影修复技术，实现动态NeRF的照片级真实感对象编辑。
摘要：
本文针对动态场景中的交互式对象级编辑（如删除、重新着色、变换、合成）展开研究。近期，一些针对神经辐射场（NeRF）表示的静态场景进行灵活编辑的方法已展现出出色的合成质量，但这类能力在时变动态场景中仍十分有限。为解决该问题，我们提出4D-Editor，这是一种交互式语义驱动编辑框架，支持用户在单帧上通过笔触编辑动态NeRF中的多个对象。我们对原始动态NeRF进行扩展，引入混合语义特征蒸馏，以维持编辑后的时空一致性。此外，我们设计了递归选择细化（Recursive Selection Refinement）方法，显著提升了动态NeRF内的对象分割精度，为编辑过程提供辅助。我们还开发了多视图重投影修复（Multi-view Reprojection Inpainting）技术，用于填补编辑后因场景采集不完整产生的孔洞。在真实场景上开展的大量实验与编辑示例表明，4D-Editor可在动态NeRF上实现照片级真实感的编辑效果。项目页面：https://patrickddj.github.io/4D-Editor
英文摘要：
This paper targets interactive object-level editing (e.g., deletion, recoloring, transformation, composition) in dynamic scenes. Recently, some methods aiming for flexible editing static scenes represented by neural radiance field (NeRF) have shown impressive synthesis quality, while similar capabilities in time-variant dynamic scenes remain limited. To solve this problem, we propose 4D-Editor, an interactive semantic-driven editing framework, allowing editing multiple objects in a dynamic NeRF with user strokes on a single frame. We propose an extension to the original dynamic NeRF by incorporating a hybrid semantic feature distillation to maintain spatial-temporal consistency after editing. In addition, we design Recursive Selection Refinement that significantly boosts object segmentation accuracy within a dynamic NeRF to aid the editing process. Moreover, we develop Multi-view Reprojection Inpainting to fill holes caused by incomplete scene capture after editing. Extensive experiments and editing examples on real-world demonstrate that 4D-Editor achieves photo-realistic editing on dynamic NeRFs. Project page: https://patrickddj.github.io/4D-Editor
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
