StreetSurf: Extending Multi-view Implicit Surface Reconstruction to Street Views

https://github.com/pjlab-ADG/neuralsim

（暂未开源）

StreetSurf.pptx

主要贡献：

1. 在街道场景显式引入几何概念，重建场景不依赖于雷达作为GT。
2. 针对街道场景深度差距很大的特点，合理地分配网络资源——近景（NeuS）、远景（NeRF++）、Sky（directional MLP）。
3. 针对街道场景宽幅、纵深的特点，设计长方体包围盒划分近景、远景和天空，同时使用逆长方体变换对远景进行采样。
4. 近景使用3D multi-resolution hash grid，远景使用4D multi-resolution hash grid。
5. RGB监督由photometric完成，SDF监督由MonoSDF获得的单目Depth、Normal完成。
6. 为了加深远近景的”明确性“，不产生模糊边界。提出了三种优化：
   • SDF初始化：符合街道室外开放集假设，沿路面初始化，不设置闭合胶囊
   • 熵正则损失：尽量使得尽量不模糊或者全模糊
   • 天空Mask：区分天空和近远景，即约束非天空的不透明度。
7. 使用六种损失联合优化
8. 使用NGP+NeuS的联合精细采样策略
9. 针对室外场景的传感器误差和图像误差进行修正

缺点：

1. 仍然需要单目模型的信息作为GT
2. 不涉及街道自动驾驶数据集中动态前景带来的问题

seg102751_no_lidar.mp4

seg153495_with_lidar.mp4