新的成像系统通过测量时间来创建图像

2020-07-31 11:53:52

一种激进的新成像方法,利用人工智能将时间转化为3-D空间的视觉,可以帮助汽车、移动设备和健康监视器发展360度感知。照片和视频通常是通过用数字传感器捕捉光子-光的构件-来产生的。例如,数码相机由数百万个像素组成,这些像素通过检测空间中每个点的光的强度和颜色来形成图像。然后,可以通过在对象周围放置两个或多个相机从多个角度拍摄对象,或者使用光流扫描并在三维中重建对象,来生成3D图像。无论哪种方式,图像只能通过收集场景的空间信息来构建。

在今天发表在“光学”杂志上的一篇新论文中,英国、意大利和荷兰的研究人员描述了一种全新的制作动画3D图像的方法:通过捕捉光子的时间信息,而不是它们的空间坐标。

他们的过程从一个简单、廉价的单点探测器开始,该探测器被调谐成一种光子的秒表。与相机不同,探测器测量颜色和强度的空间分布,只记录瞬间激光脉冲产生的光子从任何给定场景中的每个物体反弹并到达传感器所需的时间。物体距离越远,每个反射光子到达传感器所需的时间就越长。

关于场景中反射的每个光子的时间的信息-研究人员称之为时间数据-被收集在一个非常简单的图表中。

然后,在复杂的神经网络算法的帮助下,这些图形被转换成3-D图像。研究人员通过向算法展示数千张团队在实验室内移动和携带物体的传统照片,以及单点探测器同时捕获的时间数据来训练算法。

最终,该网络已经充分了解了时间数据如何与照片相对应,从而能够仅从时间数据创建高度精确的图像。在原理证明实验中,研究小组设法从时间数据中构建出每秒约10帧的运动图像,尽管所使用的硬件和算法有可能每秒生成数千张图像。

格拉斯哥大学计算科学学院开尔文·亚当·史密斯勋爵(Lord Kelvin Adam Smith)数据科学研究员亚历克斯·特平(Alex Turpin)博士与丹尼尔·法西奥(Daniele Faccio)教授一起领导了该大学的研究团队,并得到了米兰理工大学和代尔夫特理工大学(Delft University Of Technology)同事的支持。

特平博士说:我们手机里的摄像头使用数百万像素形成图像。如果我们只考虑空间信息,仅用一个像素创建图像是不可能的,因为单点探测器没有空间信息。然而,这样的探测器仍然可以提供关于时间的有价值的信息。我们已经设法找到了一种新的方法,将一维数据--一种简单的时间度量--转化为运动图像,它代表了任何给定场景中的三维空间。与传统图像制作不同的最重要的方式是,我们的方法能够将光从整个过程中完全解耦出来。虽然这篇论文的大部分内容讨论了我们是如何使用脉冲激光从场景中收集时间数据的,但它也展示了我们是如何设法将雷达波用于同样的目的。我们相信,该方法可以适用于任何能够探测短脉冲场景并精确测量返回回波的系统。这真的只是用时间而不是光来可视化世界的一种全新方式的开始。

目前,神经网络创建图像的能力仅限于它所接受的训练,以便从研究人员创建的场景的时间数据中挑选出来。然而,通过进一步的训练,甚至通过使用更先进的算法,它可以学习可视化各种场景,从而拓宽了它在现实世界中的潜在应用。

特平博士补充说:收集时间数据的单点探测器体积小、重量轻、价格便宜,这意味着它们可以很容易地添加到现有系统中,比如自动驾驶汽车的摄像头,以提高它们寻路的准确性和速度。或者,他们可以在像Google Pixel4这样的移动设备上增加现有的传感器,它已经有了一个基于雷达技术的简单的手势识别系统。我们未来几代的技术甚至可能被用来监测医院里病人胸部的起伏,提醒工作人员注意他们呼吸的变化,或者跟踪他们的动作,以符合数据的方式确保他们的安全。在医院里,我们的技术甚至可以用来监测病人胸部的起伏,提醒工作人员注意他们呼吸的变化,或者跟踪他们的动作,以确保他们的安全。我们对我们开发的系统的潜力感到非常兴奋,我们期待着继续发掘它的潜力。我们的下一步是致力于开发一种自给自足、便携的箱内系统,我们热衷于利用商业合作伙伴的投入,开始审视我们进一步研究的各种选择。(工业和信息化部电子科学技术情报研究所陈皓)。

该团队的论文名为“来自时间数据的空间图像”,发表在“光学”杂志上。更多信息:Alex Turpin等人。来自时间数据的空间图像,光学(2020)。DOI:10.1364/OPTICA.392465