Diffusion Knows Transparency: Repurposing Video Diffusion for Transparent Object Depth and Normal Estimation
扩散知道透明:将视频扩散用于透明物体深度和法线估计
机构 * Beijing Academy of Artificial Intelligence(北京人工智能研究院) ; University of Southern California(南加州大学) ; Tsinghua University(清华大学) ; Beihang University(北航) ; Wuhan University(武汉大学) ; Shanghai Jiao Tong University(上海交通大学) ; European Institute of Innovation and Technology Ningbo(创新与技术欧洲研究所宁波) ; FNii, The Chinese University of Hong Kong, Shenzhen(FNii,香港中文大学(深圳)) ; National University of Singapore(新加坡国立大学)
AI总结 本文提出DKT模型,利用视频扩散模型估计透明物体的深度和法线,实现零样本SOTA,提升现实和合成视频中的透明感知性能。
Comments Project Page: https://daniellli.github.io/projects/DKT/; Code: https://github.com/Daniellli/DKT; Dataset: https://huggingface.co/datasets/Daniellesry/TransPhy3D