Atlas：基于姿态图像的端到端三维场景重建

CONDA INSTALL-y pytorch=1.5.0 torchvision=0.6.0cudatoolkit=10.2-c pytorchconda install opencvpip install\open3d>；=0.10.0.0\triesh>；=3.7.6\pyquaternion&>t；=0.9.5\pytorch-lightning&>t；=0.8.5\pyender&>；=0.1.43python-m pip install distron2-f https://dl.fbaipublicfiles.com/detectron2/wheels/cu102/torch1.5/index.html。

(如果您在运行代码时遇到问题，请尝试使用指定的确切版本...。例如，pytorch-lightning API还没有稳定下来)。

为了便于下载和快速推理，我们提供了一个小的样例场景，将数据下载并提取到DATAROOT中。目录结构应如下所示：

DATAROOT└───Sample│└───Sample1││Intrinsics.txt│└───COLOR│││00000001.jpg│││00000002.jpg│││...│└───Pose││00000001.txt││00000002.txt││...。

接下来，运行我们的数据准备脚本，该脚本将原始数据格式解析为我们常用的json格式(请注意，我们将分离的数据存储在一个单独的文件夹METAROOT中，以防止原始数据受到污染)。

按照http://www.scan-net.org/.The提供的说明下载并解压缩扫描程序。目录结构应如下所示：

DATAROOT└───SCANNET│└───扫描│|└───scene0000_00│|└───COLOR│|││0.jpg│|││1.jpg│|││...│|│...│└───SCANS_TEST│└───COLOR│││0.jpg│││1.jpg│││...││...。

接下来，运行我们的数据准备脚本，该脚本将原始数据格式解析为我们常用的json格式(请注意，我们将分离的数据存储在一个单独的文件夹METAROOT中，以防止原始数据受到污染)。该脚本还使用TSDF Fusion生成基本事实TSDF。

这将需要一段时间(乘坐8台Quadro RTX6000需要几个小时)……。如果您有多个GPU，则可以使用--i和--n标志并行运行。

Python Prepare_data.py--path DATAROOT--path_meta METAROOT--DataSet scannet--i 0--n 4&；python preare_data.py--path DATAROOT--path_meta METAROOT--DataSet scannet--i 1--n 4&；python preare_data.py--path DATAROOT--path_meta METAROOT--DataSet scannet。

请注意，如果您不打算进行培训，您可以使用--test标志只准备测试集。

要使用您自己的数据，您需要将其放在与示例数据相同的格式中，或者实现您自己版本的类似sample.py的内容。之后，您可以修改prepare_data.py以准备数据。请注意，预先训练的模型使用Z-up度量坐标进行训练，并且不会泛化到其他坐标(这意味着在使用姿势之前必须解决SFM方向模糊性的比例和2个轴)。

一旦您下载并准备好数据(如上所述)，您就可以使用我们预先训练的模型(下载)或通过培训您自己的模型(见下文)来运行推理。

如果您的GPU没有足够的内存，您可以减少voxel_dim(以可能剪切场景为代价)。

请注意，使用默认3D网络时，voxel_dim的值必须可以被8整除。

请注意，valuate.py使用pyender从预测网格渲染深度贴图以进行2D求值。如果使用无头渲染，还必须设置环境变量PYOPENGL_PLATFORM=osmesa(有关详细信息，请参见pyender)。

除了下载和准备数据(如上所述)之外，您还需要下载我们预先训练好的resnet50权重(从Detectron2移植)并解压缩它。

通过混合使用config.yaml文件和命令行参数来控制配置。我们在configs/中提供了本文中使用的几个示例配置文件。实验名称由TRAINER.NAME和TRAINER.VERSION指定，它们默认为atlas和default。有关参数的完整列表，请参见config.py。

我们还提供了使用COLMAP运行推理和评估的脚本。请注意，您必须安装COLMAP(包含在我们的docker映像中)。

@inProcestions{murez2020atlas，title={Atlas：根据姿势图像进行端到端3D场景重建}，作者={扎克·穆雷斯和塔伦斯·范阿斯以及詹姆斯·巴托洛齐和阿扬·辛哈以及维杰·巴德里纳拉亚南和安德鲁·拉比诺维奇}，书名={eccv}，年份={2020年}，url={https://arxiv.org/abs/2003.10432}}