arXivDaily arXiv每日学术速递 周一至周五更新

PAPERDAILY REPORTS

水花飞溅也能3D定格!谷歌微软联合打造SplashSplat,高斯泼溅攻克流体重建

作者:arXivDaily编辑部 arXiv 2609.20818 cs · cs.CV · cs.GR

论文导读

谷歌、苏黎世联邦理工学院与微软等机构联合推出流体动态三维重建框架SplashSplat,攻克了高速飞溅液体难以高保真建模的视觉难题。研究团队采用7台同步4K相机阵列采集真实流体数据,通过观测驱动的几何约束与动态三维高斯泼溅技术,精准还原液体折射与极速拓扑形变。该方法不仅实现了飞溅瞬间的4K高画质任意视角漫游与慢动作插帧,还支持流体着色迁移与三维速度场提取。

视觉建模死穴:飞溅水花为何难以3D重建

在计算机视觉与三维重建领域,流体历来是最具挑战性的对象之一。与具有固定几何拓扑的刚体或准刚体相比,液体在倾倒、碰撞和飞溅过程中形态瞬息万变。无数细小水珠在毫秒间经历剧烈的断裂、聚合与飞溅,导致传统的对应点匹配算法彻底失效。

更棘手的是流体的光学特性。水体本身高度透明,缺乏丰富的表面纹理,且伴随复杂的镜面反射与光线折射。过往基于神经辐射场或传统动态高斯泼溅的方案,往往将高频高光误判为空间几何伪影,导致渲染出的水滴周围漂浮着大量毛刺雾块,在时间维度上产生严重的剧烈闪烁。

图:涵盖新视角合成、时间慢动作插帧、流体着色重光照以及速度场估计效果

观测约束几何:动态高斯驯服流体拓扑形变

为了解决无纹理透明流体的几何漂移,联合团队构建了一套严谨的物理观测约束流水线。系统首先利用7台经过严格空间标定的4K同步相机,在20个真实流体交互场景中记录高帧率多视角视频。研究人员引入预先扫描的容器三维几何网格,并将画面精细切分为背景容器与动态流体前景双层掩码。

在底层表征上,SplashSplat摒弃了对复杂不可微流体动力学方程的强拟合,转而采用以观测数据为核心的动态三维高斯泼溅架构。通过自适应时空变形场与光度一致性损失联合优化,高斯基元能够顺滑跟随微观水滴的高速运动轨迹,在不依赖人工物理先验的前提下自然重现连续形变。

图:从多视角同步视频输入到流体掩码分割及动态高斯泼溅变形场联合优化

对比基线与特效应用:不仅能看更能二次编辑

在与主流动态高斯及神经隐式表征方案的定性与定量对比中,SplashSplat在峰值信噪比和结构相似度上均取得明显优势。渲染画面不仅边界锐利清晰、透明折射质感逼真,而且彻底消除了空间漂浮物伪影。通过时间维度的高阶插值,系统能够将一段极短的倾倒水花转化为平滑细腻的4K超级慢动作定格镜头。

图:在复杂水花拓扑变化与半透明折射区域与基线方法的渲染细节对比

除了高质量新视角合成,SplashSplat还展现了优秀的下游可编辑性。得益于明确捕捉到的高斯基元时空轨迹,系统能够直接解耦并重构出三维物理流速场矢量分布。创作者无需重新运行昂贵耗时的流体动力学解算,即可直接为原本透明的水流注入蓝色或棕色染料质感,实现实时风格迁移。

图:展示水体染料颜色变换与基于高斯运动轨迹估算的三维物理速度矢量场

影视特效与数字孪生落地:真实流体资产应用展望

SplashSplat的提出打破了影视后期长期依赖纯人工物理动画模拟的局限,提供了一条从现实世界低成本复刻真实流体三维资产的全新路径。

研究人员表示,后续将进一步提高系统对强漫反射浑浊液体与多相混合流体的捕捉精度,并将多视角重建流程进一步轻量化,探索利用便携多摄设备完成现场级实时流体定格。

参考资料

https://arxiv.org/abs/2609.20818

https://github.com/splashsplat/splashsplat