任务

快速且高质量的自由视点渲染，使用八叉树保存局部特征。渲染速度是原始NeRF的10倍。

背景

神经隐式表征是平滑且连续的，可以进行高分辨率表示。但是，现有的方法存在几个问题：

• 经常由于网络容量有限或者难以找到光线与几何表面的准确交点而出现模糊或伪影。
• 进行高分辨率图像渲染往往十分耗时，需要网络多次前向推理。
• 使用这些方法无法进行直接的场景编辑和合成。

基于表面的渲染经常出现上述的第一个问题，而体渲染经常出现上述的第二个问题，无论是表面渲染还是体渲染都会出现第三个问题。

为了解决上述三个问题，本文提出神经稀疏体素场（NSVF），使用八叉树存储场景中的局部特征，并使用三线性插值和较为轻量的MLP进行解码，得到对应点的几何形状和外观。

八叉树的显式表征可以加速场景的渲染。通过对空区域稀疏体素的剪枝和从粗到细的训练策略，光线追踪可以跳过大部分空白的区域，到包含物体的区域中进行采样。

保存局部特征的结构，将解码过程改造为conditioned MLP，使得解码过程与场景绝对位置解耦。对场景的编辑或者合成，只需将对应的八叉树进行移动，而无需对MLP进行修改。这样不仅方便了场景编辑与合成，也让MLP可以训练多个物体或者场景（初始化不同的八叉树，共享MLP解码），使得其泛化性较于原始NeRF有所提高。

Pipeline

八叉树空间立方体顶点的存储特征维数为32。

渲染

• Self-Pruning

${p_j}_{j=1}^G$是在体素$V_i$内部均匀采样的点（$G=16^3$），不是沿光线方向，而是空间内部的均匀采样。如果满足公式条件（采样点最大$\sigma<0.3$），则认为该区域不包含场景内容，将其剔除。

• Progressive Training