使用八叉树和球谐高速渲染场景(3000x 原始NeRF),同时也减小了训练时间。图像质量不下降的前提下,FPS达到150。
体渲染成为隐式场景表达的主流,因为其可微分的特性。近期有用显隐式结合来减少MLP推理次数,从而加速模型推理速度的做法。为了保证显式结构(grid)不要太大,通常采用八叉树结构来保证稀疏性。但是上述这些成果,仍然需要光线方向作为输入进行采样,使得网络必须保留有一小部分的MLP,对存储在顶点的特征,加上光线方向进行解码。本文工作在球谐函数的加持下,不再需要方向输入,从而可以完全避免神经网络,做到渲染0推理。
去除了方向输入和MLP推理,表达场景和优化的部分全变为稀疏的八叉树(PlenOctrees)。训练的部分直接为顶点上的密度和球谐系数。本文工作将原始NeRF改造为输出球谐系数的NeRF变体,并且说明该NeRF变体不需要完整训练,将其结果baking到PlenOctree结构后,后续的优化过程则直接在PlenOctrees上进行,本文实证这种方法的优化收敛速度和渲染质量都要比训练完整NeRF变体好。
本文的贡献:
球谐系数K$k$$R^3$向量,代表RGB。球谐代表球面的辐照积分,因此NeRF-SH不再需要光线方向作为输入。
$S$是sigmoid函数,将颜色归一到01之间。球谐函数 $Y_l^m(d)$需要方向作为输入,也就是方向的需要仅在最终的渲染阶段,而不在网络的推理阶段。推理优化结束后,可以在任意方向进行渲染。同样可以用蒙特卡洛采样将原始NeRF转化为球谐系数输出,但这很花费时间,同时造成2db的质量损失。
$P_l^m(cos\theta)e^{im\phi}$是相关勒让德多项式。