论文导读
科奇大学、曼彻斯特大学研究人员提出草图到三维服装的生成流程:星星指定亮处,月亮指定阴影,再配一段材质描述,得到带独立光源的服装网格。在366张留出渲染测试中,光源方向平均误差为22.9度,低于固定方向基线的47.5度,让草图中的光影意图成为可编辑的三维场景条件。
阴影不该只是衣服上画了一块黑
设计师在草图上画出一条暗褶,希望表达布料向里凹,挡住了光。生成器如果直接把那条阴影当作黑色纹理,换个灯的位置,黑条还会粘在衣服上。
这项研究把意图拆开处理:哪里该亮、哪里该暗,由稀疏的星月标记指示;衣服本身的颜色与纹理由文字描述。输出还保留明确的方向光源,使场景生成后可以重新打光。
图:同一裙装线稿换标记与材质描述后,得到两种花纹和褶皱光影的三维输出
星与月并不是凭空决定的。团队向28名参与者征集亮处和阴影的符号,星形与月形分别是相应类别中最常见的提议。不过参与者来自同一机构的艺术学生,不能据此说所有专业设计师都会选择同一套标记。
亮处决定光从哪来,暗处还要改变表面
系统先根据带标记的草图推断照明分布和光源方向。另一条路径从干净线稿与文字生成服装颜色,避免把所有明暗意图混进材质颜色里。
三维重建之后,阴影控制还没有结束。模型根据月亮位置产生表面位移,使衣服在那些位置形成凹陷,并在附近建立挡光的起伏。这样产生的暗处来自几何与光照关系,而不只是画面变黑。
图:三行裙装移动月亮标记,依次显示初始表面、位移场与变形后的结果
位移仍受衣服厚度等条件约束,不能想压多深就压多深。系统还使用规则安排局部凸起的位置和范围,文章不能把整套几何处理都描述成网络自由学出来的结果。
论文做了两类直观比较:固定月亮只移动星星,观察预测光线如何变;固定星星移动月亮,复用同一初始网格,检查表面变形是否跟着阴影要求走。
先测光向,再看标记处有没有真正变暗
定量实验从DeepFashion3D服装渲染出合成草图,按服装划分训练、验证与测试。光向预测评价覆盖366张留出图,平均角误差22.9度,中位数20.0度;固定光方向基线平均为47.5度。
这些角度测的是方向估计,不是整件三维服装的重建误差。手绘草图在论文中有定性展示,但没有与合成草图同等规模的量化测试。
图:两行上衣移动星星位置,对照预测照明与渲染输出中的亮暗方向
位移测试又是另一组条件。作者剔除朝向或轮廓明显不对的重建后,留下340张渲染评价阴影变化;79%的月亮标记位置变得更暗,未标记的控制区域为44%。这不能被写成79%的整件服装生成成功。
研究还专门在原本平坦、没有褶皱帮助的位置放标记,检查位移能否新增暗处。这个比较试图分清模型是否只加深了已有折痕,还是能按新要求塑造表面。
当前场景假设只有一个方向光源,没有复杂面积光、透明材质和多次反射。灯光移动后,几何褶皱仍在,阴影却不一定继续压住原来的每一个标记。输出所提供的,是光源、材质与网格能分开修改的场景结构。
参考资料
https://arxiv.org/abs/2610.21865