基于单幅图像的高分辨率三维人体数字化

[2020/06/15]Google Colab演示(包括。可视化)可用！请查看Twitter上的#pifuhd，了解许多用户测试的结果！

此存储库包含用于高分辨率3D人体数字化的多级像素对齐隐式函数的pytorch实现。

如果您没有运行PIFuHD的GPU环境，我们提供Google Colab演示。您还可以上传自己的图像，并与可视化一起重建3D几何图形。使用以下笔记本试用我们的Colab演示：

运行以下脚本以下载预先训练好的模型。检查点保存在./checkpoints/下。

生成的obj文件和渲染将保存在./result中。您可以使用MESHLAB(http://www.meshlab.net/))来可视化3D网格输出(OBJ文件)。

运行以下脚本以获取用于测试的每个图像的关节(关节仅用于图像裁剪)。确保正确设置OpenPose二进制文件的位置。或者，CoLab演示提供了更轻量级的裁剪矩形估计，而不需要openpose。

运行以下脚本以运行重建代码。确保将--input_path设置为path_of_image，将--out_path设置为要转储结果的位置，并将--ckpt_path设置为检查点。请注意，与PIFU不同，PIFuHD不需要分段掩码作为输入。但是，如果您观察到严重的瑕疵，您可以尝试使用诸如removebg之类的现成工具来删除背景。如果您有{image_name}_rect.txt而不是{image_name}_keypoints.json，请添加--use_rect标志。作为参考，您可以查看CoLab演示。

或者，也可以通过使用以下脚本仅保留网格重建中最大的连接组件来移除瑕疵。(警告：脚本将覆盖原始obj文件。)

要使用转台呈现结果，请运行以下代码。渲染的动画(.mp4)将存储在{path_of_objs}下。

python-m apps.ender_Turntable-f{path_of_objs}-ww{rending_width}-hh{rending_high}#add-g用于几何体渲染。默认值为法线可视化。

@inProcestions{saito2020pifuhd，title={PIFuHD：用于高分辨率3D人体数字化的多级像素对齐隐式函数}，作者={Saito，Shunsuke and Simon，Tomas and Saragih，Jason and Joo，Hanbyul}，booktitle={CVPR}，Year={2020}}。

PIFU：用于高分辨率衣着人体数字化的像素对齐隐式函数(ICCV 2019)斋藤俊介*，曾黄*，夏目龙田*，森岛茂，金泽昂卓，李浩。

像素对齐隐式函数用于几何和纹理重建，统一了单视图和多视图方法。

学习在没有3D监督的情况下推断隐式曲面(NeurIPS 2019)刘士晨、斋藤俊介、陈伟凯、李浩。

我们回答了这样的问题：如果我们没有三维地面真实感，我们如何学习隐函数呢？

SiCloPe：基于剪影的衣人(CVPR 2019，最佳论文决赛)Ryota Natsume*，Shunsuke Saito*，曾煌，陈伟凯，马重阳，郝丽，森岛茂

我们首次尝试从一张图像中重建具有纹理的3D衣物人体！

ARCH：动画重建衣人(CVPR 2020)曾煌，徐元禄，克里斯托夫·拉斯纳，郝丽，托尼·董。

健壮3D秒拍自画像(CVPR 2020)李哲、陶宇、潘传宇、郑泽荣、刘业斌。

来自非常稀疏多视点性能捕获(ECCV 2018)的深度体积视频曾煌、李天业、陈伟凯、赵亚杰、星俊、克洛伊·勒让德、罗林杰、马重阳、李浩