arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

七台4K相机抓住一瞬水花,谷歌微软把真实飞溅重建成3D

作者:arXivDaily编辑部 arXiv 2609.20818 cs · cs.CV · cs.GR

论文导读

谷歌、苏黎世联邦理工学院、微软和洛桑联邦理工学院团队提出SplashSplat,并建立真实飞溅液体基准:20个场景由七台同步4K相机以60fps拍摄。系统把短暂水流重建成可从新视角观看的动态3D,还能做时间插值和无需重新优化的风格迁移。

水花难重建,因为每一帧都快变成另一件东西

刚被倒出的液体会拉成薄片,再断成细丝和水滴;表面几乎没有稳定纹理,还会反射周围环境。烟雾、缓慢变形物体或合成液体的重建方法,很难直接追踪这种快速断裂和合并。

团队搭建七机位同步采集系统,全部相机经过标定,以4K、60fps记录20个真实场景。数据从连续水柱到剧烈飞溅,并为每个视角手工细化液体和容器掩码。它仍是一套受控多机位装置,不适用于随手拍的一段单目手机视频。

图1:项目主图展示七机位采集、液体掩码、新视角、插帧、风格迁移和速度场。

观测能约束多少,物理结构就加多少

每一帧的多视角掩码先融合成液体有符号距离场,给出大致三维几何。相邻两帧距离场经过水平集输运,产生粗略速度场;系统再放入随流运动的拉格朗日载体,预测下一刻位置。

新一帧到来后,载体会按实际观测纠偏,覆盖不足的区域重新播种,失效载体则停用。每个载体最终解码出局部高斯,用可微渲染从目标视角合成图像。这个组合避免为每滴水强行建立长期对应关系。

图2:方法先估计液体几何与速度,再校正载体并解码局部高斯。

新视角、插帧和换颜色用同一套表示

论文在真实采集和合成基准上与动态高斯泼溅方法比较,报告更高的重建指标、更符合液体运动的结果和更低训练成本。项目页把输入相机视角、未见视角和时间插值帧放在一起,水流位置与容器接触关系可以连续观察。

图3:论文源码图按方法汇总真实场景的重建结果,用于比较水流形态与渲染质量。

同一载体表示还能在不重新优化几何的情况下修改液体颜色,或在两个采样时刻之间补帧。风格迁移只改变外观,不代表系统预测了不同黏度液体的真实物理行为;插帧也建立在同步相机和已有序列之上。

从研究装置走向影视和科学采集

这套方法更接近影视特效、实验记录和动态数字资产制作:先用多机位抓住一次难以复现的飞溅,再从不同视角重放或补齐中间时刻。下一步可减少人工掩码、降低相机数量,并检验透明容器、泡沫、高黏度液体与更大空间飞溅。只有采集门槛继续下降,真实液体重建才可能进入更日常的制作流程。

真实制作还需要统一相机同步、颜色标定和容器扫描工具,让一次采集能直接进入后期管线。

参考资料

https://arxiv.org/abs/2609.20818

https://arxiv.org/html/2609.20818

https://niko-creater.github.io/splashsplat-web/