任务

使用单张RGB图像，进行场景表达和视图合成。

背景

实时性地渲染高质量、空间一致的新视图是一件困难的任务。本工作使用MPI（Multiplane Image）进行场景表达，并且只使用一张图片作为输入（区别于之前一篇使用MPI的论文《Stereo Magnification: Learning view synthesis using multiplane images》）。

使用多视角输入虽然能够产生更好的视图合成效果，但是条件较为苛刻，应用范围也没有单张图片作为输入大。本文想通过网络学习到单张图片的场景关系，不需要借助多视图之间带有的场景几何信息，也不希望从别的视图看到被遮挡的场景信息。本文的方法可以对被遮挡的场景进行inpaint，从而避免新视图物体边缘造成的拉伸和伪影。MPI的设置也隐式加入了空间一致的先验，使得连续视角变化过程中场景视图变化也是连续的。

单张图片缺乏尺度信息，所以本文方法加入了SLAM和Sfm方法采集出的点集，从而生成尺度比例因子 $\sigma$，被称为尺度不变视图合成。

MPI表达形式

Layer1在远平面，LayerD在近平面，深度排布方式按照均匀视差。每个平面的分辨率是一致的（$W\times H$），并且包含RGB信息c和透明度信息$\alpha$：

Pipeline

视图变换公式：

渲染公式/视差图渲染公式：

$\sigma$生成：