使用电话并采用二进制编码的调制LED进行3D重建

获取引文复制引文艾玛·勒·弗朗索瓦（Emma Le Francois），约翰内斯·赫恩斯多夫（Johannes Herrnsdorf），乔纳森·J·麦克肯德里（JD McKendry），劳伦斯·布德本特（Laurence Broadbent），格林（Glynn Wright），马丁·道森（Martin D.发光二极管和移动设备，＆＃34;选择。快递29，1502-1515（2021）

出口引文

说明了使用自上而下的照明光度立体成像设置和手持移动电话设备对对象进行三维重建的过程。通过将白色发光二极管的二进制编码调制用于场景照明，此方法与标准照明基础结构兼容，并且无需光源和相机的时间同步即可操作。三维重建对于未经调制的背景光具有鲁棒性。对于在42厘米的距离和48毫米的尺寸成像的对象，报告的误差为2.69毫米。我们还演示了具有25 fps有效离线重构率的运动物体的三维重构。

光度立体（PS）成像[1]是用于室内场景的最常见3D成像方法之一。它可以比结构照明成像[2-4]或最先进的激光扫描仪[5]获得更好的分辨率，提供快速的图像计算[6]，并且可以处理运动和无纹理区域中的物体[7、8]。与立体视觉[9，10]相比，只需要校准一台摄像机，这降低了计算重建速度，占地面积和成本[10]。 PS成像依赖于具有一个固定的摄像机视角和不同的照明方向以3D形式对对象进行成像。这项技术假设拍摄对象的完全扩散（朗伯型）表面[1]，确定捕获图像每个像素的表面法线矢量和表面反照率。然后可以整合表面法线组件以恢复3D形状。除PS成像外，大多数关于PS的工作都是结合多种方法开发的，例如多视图PS成像[11]，非校准PS成像[12]或自校准PS成像[13]。所有技术均在毫米范围内[11、12、14]报告了良好的重建精度，并包括实时重建[15]。

即使当前有关PS成像的工作解决了诸如未校准PS成像[13]和非朗伯PS成像[16-19]之类的主要挑战，但是大多数PS方法仍无法证明易于部署的成像技术可以在已有建筑物中显示成像应用基础设施。如果实现了这一目标，则PS成像可以为在工业环境中用于过程控制和机器人导航，在公共场所用于安全和监视应用以及用于结构监视的3D成像提供有吸引力的途径。

有两个主要的障碍阻碍了PS成像在这些方面的广泛使用，即PS专用照明与室内或室外照明设备的兼容性以及使多个照明器彼此之间以及与摄像机同步所需的电缆连接。可能是移动的。通常，摄像机和照明设备放置在同一平面上，并且特别常见的配置是采用四个围绕摄像机的照明设备，它们以顶部/底部/左侧/右侧或X形配置[5、8、14]。尽管已知这种设置可提供高保真的成像结果，但它与将照明器安装在天花板上以提供室内照明，壁挂式或移动摄像机从侧面观看场景的应用场景不兼容（请参见图1（a））。当前的PS系统使用摄像机和照明设备之间的电缆来实现同步，这在改装到现有照明设备时是不希望的复杂情况。使用WiFi或经过光学编码的时钟信号可以是去除电缆的解决方案，尽管需要额外的基础设施来实现这一点，并且发射机，摄像机和时钟信号必须同步。使用“自计时”实现同步曼彻斯特编码调制方案使此处描述的方法易于使用，不需要其他基础结构，并且可以在无法使用WiFi的环境中工作。最后，传统的PS成像通常具有强烈的视觉闪烁和照明低占空比，这不利于室内或室外照明。

在这项工作中，我们将努力使PS成像免于同步，减少闪烁，并展示与天花板照明以及壁挂式和移动式摄像机的兼容性。在这种情况下，PS成像将与保真度（LiFi）网络[20]或可见光定位（VLP）[21]共存，并可能为所有这些功能使用相同的发光二极管（LED）灯具[22]以及一般照明。

Warning: Can only detect less than 5000 characters

对于MEB-FDMA，类似于FDMA，可以将任何DC偏移添加到接收信号，而不会影响解码结果。这是将该方案应用于LED照明的先决条件，因为强度调制的LED发射仅具有正值。此外，它允许安装另外的照明器材，这些照明器材既不携带调制信号，也不携带更高频率的信号，例如高频。用于LiFi。

另一个显着的特性是发送器和接收器可以使用相同的采样率。这是令人惊讶的，因为该方案使用曼彻斯特编码，并且奈奎斯特定理要求以2倍进行过采样才能可靠地识别每个曼彻斯特编码位。然而，通过要求调制满足严格标准Eq。 （1），该方案是隐式设计的，因此并非每个曼彻斯特位都需要单独识别。该方案的这种特性意味着LED调制的频率与相机帧频相同，因此闪烁现象得到了大大减少。

MEB-FDMA中单个帧所需的OOK位的数量与发射器的数量成指数比例。因此，此调制方案适用于照明摄像机视场的适度调制发射器，在我们建议的应用中通常为4-6个发射器。

我们的设置中PS成像的处理流程如图2所示，其中包括MEB-FDMA调制和解调，PS处理和表面法线集成。

传输的信号被编码为时钟信号，因此不需要触发信号即可开始采集。因此，仅在按下移动电话的录音按钮时开始采集。在实践中，LED的占空比为$ 50 \％$，并且由于每个LED的已知光学指纹，可以创建解码矩阵（请参阅附录1）。因此，使用解码矩阵对接收到的图像堆栈进行解调，可对每个像素进行解码。每个图像，请参见图2.在解调结束时，将检索与四个不同照明方向相对应的四个图像。

然后使用已建立的方法[1，14，27]处理检索到的四个图像，以在假定朗伯表面的情况下获得表面法线分量$ N_x $，$ N_y $，$ N_z $和反照率$ A $（参见图2）。当我们将工作重点放在新的调制方案上时，我们决定使用常规的校准PS方法确定表面法线贴图，因此需要每个LED相对于物体位置的坐标来确定照明矢量。

重建程序的下一步是对表面法线向量进行积分以获得对象的形貌。表面整合是一个众所周知的挑战，文献中有多种方法可以解决[28-30]。在这项工作中，表面法线矢量与快速行进方法集成在一起[31-35]，以利用其重建速度。该算法在Matlab中实现，并根据Yvain Queau的数据集进行了评估[36]，请参见补编1中的详细信息。重建过程需要几分钟才能在台式PC上运行。

Warning: Can only detect less than 5000 characters