论文导读
亚利桑那州立大学、约翰斯·霍普金斯大学提出TileSkipper,为已经训练好的3D高斯场景预先分配不同渲染阈值。在3840像素宽的固定策略扫描中,数据集宏平均加速达到1.238倍,平均PSNR变化为负0.023分贝。导出策略每个高斯只增加1字节,运行时无需重新训练或逐帧预测策略。它用事先校准的误差界限跳过贡献很小的计算,让已有三维场景更快显示。
一片平面和一条细边,不必一样处理
3D高斯渲染把场景表示为许多带颜色和透明度的高斯,再判断它们会影响哪些屏幕小块。大量高斯与小块配对后,还要排序和混合,形成最终像素。
常见渲染器用整个场景统一的贡献阈值决定哪些配对可以省略。平坦区域可能容忍更激进的删减,物体边缘和细节区域则需要保留更多贡献,统一规则无法区分这两种需求。
TileSkipper针对冻结的场景检查点做离线校准。它测量不同阈值能节省多少配对、产生多大画面差异,再为不同区域选择静态配置,不更新原来训练好的高斯参数。
图:同一室内视图各区域可接受阈值的色块示意(Figure 7)。
先测影响,再用独立视角确认完整画面
系统把高斯分成64组,根据校准渲染分配阈值。单独删除某项贡献时的误差估计,只用于寻找候选,最终仍需完整渲染检查。
配置选择使用与校准分开的训练视角,测试视角不参与选择。完整画面的质量门槛确认候选可用后,策略被导出成每个高斯一个字节,加上阈值查找表。
运行时,渲染器在枚举屏幕小块时读取这个字节。后续投影、排序和混合流程保持原样,没有每帧再调用一个网络判断该省哪里,也没有给每帧追加策略推理。
4K加速1.238倍,收益按渲染路径分开
实验包含Mip-NeRF 360等三个数据集的13个场景。在固定策略AccuTile扫描中,标准分辨率的宏平均加速1.088倍,3840像素宽达到1.238倍,平均PSNR分别下降0.007和0.023分贝。
PSNR比较渲染画面与参考图像,数值变化很小仍然属于测量到的质量变化,不能写成数学意义上的完全无损。区域图与差异放大图用来检查哪些地方产生变化,不代替完整指标。
图:渲染局部、网格残差和边界相位的对照(Figure 8)。
六种原本已经使用透明度感知边界的集成路径,策略本身加速范围为1.009至1.121倍。另四类路径还包含先前精确边界优化的收益;例如原生3DGS总加速1.493倍,其中边界转换贡献1.454倍,策略进一步贡献1.027倍。
所以1.493倍不能全部归给TileSkipper。在带神经网络计算的Scaffold-GS中,网络部分占总延迟很大比例,减少光栅化工作也无法同样缩短那部分计算。
论文还给出了玩具工程车场景的多个视角,分别放大背景和织物局部,并用放大20倍的差异图显示两种渲染之间的残差。
图:玩具工程车视图的参考、两种渲染和放大差异(Figure 9)。
未来应用:根据实际瓶颈选择优化组合
论文还检查预先剔除不可见区域与静态阈值策略如何配合。有的配置剔除成本比节省时间还多,把两个优化叠在一起反而更慢;选择应依据净收益,而不是只统计跳过了多少对象。
分辨率升高时,同一场景的配对和排序工作占比增加,为这类策略提供更多空间。不同显卡、检查点和后端的瓶颈不一样,作者测得的加速范围不能直接套到任意设备。
现有实现可以与压缩检查点和其他光栅化优化组合。继续部署时,可先在目标场景上离线校准,再用未参与选择的视角检查质量、按目标分辨率测量延迟,保留每条路径的增量收益记录。
参考资料
https://arxiv.org/abs/2610.09343