InstructHumans: 基于指令的可动画3D人体纹理编辑
InstructHumans: Editing Animated 3D Human Textures with Instructions
AI总结：
InstructHumans通过改进的SDS-E方法实现基于指令的3D人体纹理编辑，提升编辑一致性与细节保真度。
摘要：
我们提出了InstructHumans，一种新的框架，用于指令驱动的可动画3D人体纹理编辑。现有的基于文本的3D编辑方法往往直接应用Score Distillation Sampling（SDS）。SDS是为生成任务设计的，无法考虑编辑的核心要求——与源角色保持一致。本工作表明，直接使用SDS会损害编辑效果，因为它可能会破坏一致性。我们提出了一种改进的SDS用于编辑（SDS-E），该方法在扩散时间步中选择性地整合SDS的子项。我们进一步通过空间平滑正则化和基于梯度的视角采样来增强SDS-E，以实现具有锐利和高保真的细节编辑。将SDS-E整合到3D人体纹理编辑框架中，使我们能够超越现有的3D编辑方法。我们的角色忠实反映了文本编辑，同时与原始角色保持一致。项目页面：https://jyzhu.top/instruct-humans/。
英文摘要：
We present InstructHumans, a novel framework for instruction-driven {animatable} 3D human texture editing. Existing text-based 3D editing methods often directly apply Score Distillation Sampling (SDS). SDS, designed for generation tasks, cannot account for the defining requirement of editing -- maintaining consistency with the source avatar. This work shows that naively using SDS harms editing, as it may destroy consistency. We propose a modified SDS for Editing (SDS-E) that selectively incorporates subterms of SDS across diffusion timesteps. We further enhance SDS-E with spatial smoothness regularization and gradient-based viewpoint sampling for edits with sharp and high-fidelity detailing. Incorporating SDS-E into a 3D human texture editing framework allows us to outperform existing 3D editing methods. Our avatars faithfully reflect the textual edits while remaining consistent with the original avatars. Project page: https://jyzhu.top/instruct-humans/.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
