arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

500块真布料换着光拍,AI重建织物不再只贴照片

作者:arXivDaily编辑部 论文中文资料arXiv 2610.21090 cs · cs.CV · cs.GR

论文导读

西蒙菲莎大学、西湖大学、都灵大学等机构构建RoboCloth,用机械臂控制相机和灯光,采集500种真实布料,每种约580帧。团队再用这些测量训练织物反射先验,在独立系统采集的12种材料上取得平均36.76dB的重建PSNR,让虚拟布料能够保留随视角和光照变化的外观。

布料换个光,颜色和纹理就不一样

给沙发贴上一张布料照片,照片里的亮处也被一起贴上去了。等场景光源换到另一边,那块亮斑可能还留在原位。绒面、编织纹路和细小纱线的反光,难以靠一张正面照片表达。

RoboCloth因此先去测量真布。一只机械臂带相机,另一只带灯,布样固定在转台上。相机、灯光和样品相对方向变化后,同一片布就会呈现不同亮暗和纹理。

图:左侧双机械臂控制相机和灯,右侧显示将学习到的布料用于沙发与靠垫

这些照片不只是供人挑颜色。每帧还配有相机与光源位置、校准信息,以及与空间表面点对应的观测,使模型能学习从某个方向照、从另一个方向看时,表面应当怎样反射。

500种材料,先共学再单独拟合

数据集包含500种实布料,公开训练与测试划分为400与100。每种约580张高动态范围图像,采集一个材料约需20分钟。单帧观测保留在线性亮度空间,避免把显示用的颜色处理误当成实际反射强度。

团队先让所有训练材料共同学习一个反射解码器,积累织物如何响应光照的先验。到了新材料,再固定这个解码器,为目标布料优化专门的高分辨率表示。

图:多个材料共享反射解码器,同时优化各表面点的潜在表示、法线与切线

可以把它理解为先学一套布料反光规律,再为某块具体布匹调整细节。模型还要处理纱线随视角改变而出现的细小位移;同一个纹理位置在不同观察方向下,并不总对应同一可见表面。

这种表示最终服务重新打光。它不是把原照片原封不动铺到物体上,而是依据光源、观察方向和材料信息重新计算外观。

外部12种材料,平均36.76dB

为比较数据本身的价值,作者保持解码器结构、渲染和后续拟合流程一致,只改变最初使用哪套材料数据训练。这样才有机会把差异主要归因到先验来源,而不是不同模型大小。

在独立的UBO2014采集系统中,团队随机抽取12种材料测试。RoboCloth训练的先验平均PSNR为36.76dB,Bonn训练先验为32.27dB,解析PBR拟合对照为33.05dB。

图:相同场景中五列布料渲染对照,展示织物纹理和颜色在不同先验下的差别

PSNR衡量预测与参考图像的误差,不能直接换成“真实感提高多少百分比”。12种样本也不是整个数据集上的全面验证。论文还抽取其他数据来源的少量材料,检查同域重建和跨域迁移。

高分辨率拟合仍然昂贵,作者报告单个材料可能在RTX 6000 Ada上优化长达一天,这也是测试材料数量受限的原因。输入500块布,不等于每次为新布料生成结果都能实时完成。

项目提供可更换室内家具材质的展示,研究数据还包含原始图像、校准与训练测试列表,采用CC BY 4.0许可。对复现实验而言,最有用的是能同时拿到布料外观和形成这个外观的相机、光照条件。

参考资料

https://arxiv.org/abs/2610.21090

https://arxiv.org/html/2610.21090

https://arxiv.org/pdf/2610.21090

https://theialab.github.io/robocloth/

https://github.com/theialab/robocloth

https://huggingface.co/datasets/theialab/RoboCloth

↑