任务

自适应平面分布、考虑图像多尺度信息的单张图像新颖视图合成。

背景

NeRF只能做per-scene的建模，泛化性很差。MPI这种分层结构可以做到更好的泛化性，但是MPI的平面深度分布都是固定的，而不同场景的深度分布会有所不同，尤其是室外场景。这就经常导致大量空白区域的过参数化和占用场景的欠参数化。

基于此，本工作提出了自适应深度分布平面的方法，通过transformer自动学习场景的深度分布，并将其反映到平面深度分布上。为此本文还提出Hierarchical Refinement Branch，学习多尺度的场景信息，将其嵌入到自适应MPI的学习中。

PipeLine

1. 图像经过Encoder-Decoder获得图像特征$f$，该特征会经过HRB模块获得coarse-to-fine的多阶特征$f_1,f_2,…,f_L$。 $f_L$是经过Long Skip Connection后上采样的特征，为了让网络更加关注场景富有信息的细节。
2. 为了学习自适应平面深度分布，按照AdaBins、Binsformer，随机初始化N个可学习的bin queries，$f_b$。
3. 以$f$和$f_b$的concate作为query，以$f_i$作为key和value，经过多层的transformer layer，最终过一层MLP，得到每一层平面对应的深度宽度$b_i$和平面信息$(c_i,\alpha_i)$。通过下列公式得到平面的深度：

1. 使用MPI的warping和体渲染得到目标视图图像。

Loss

• Adaptive-bins loss

强迫MPI平面的深度分布贴近图像深度的真实值（所以使用了深度图作为监督信号？）

• Synthesis loss