通过单像素检测器进行对象分类

机器视觉系统有许多应用，包括自驾驶汽车，智能制造，机器人手术和生物医学成像，其中包括许多其他车辆。这些机器视觉系统中的大多数使用基于镜头的相机，并且在捕获图像或视频之后，通常每帧百万像素，用于执行机器学习任务，例如对象分类和场景分割。这种传统的机器视觉架构遭受了几个缺点。首先，大量数字信息使得难以高速实现图像/视频分析，特别是使用移动和电池供电的设备。另外，捕获的图像通常包含冗余信息，该信息压倒了具有高计算负担的数字处理器，从而在功率和存储器要求方面产生效率低下。此外，超出了光的可见波长，制造高像素计数图像传感器，例如我们在手机相机中拥有的，是具有挑战性和昂贵的，这限制了标准机器视觉方法在更长的波长（例如Terahertz）中的应用。部分的频谱。 UCLA研究人员报告了一种新的单像素机器框架，提供了一种解决传统机器视觉系统的缺点和效率低下的解决方案。它们利用深入学习来设计由连续衍射表面产生的光网络，以执行计算和统计推断，因为输入光通过这些专门设计的和3D制造的层。与基于常规透镜的相机不同，这些衍射率设计用于在所选波长下处理输入的光，其目的是通过单像素检测器收集到衍射光的频谱上的输入到衍射光的光谱上。不同的对象类型或数据类被分配给不同的光波长。输入对象是光学自动分类的，仅使用由单个像素检测的输出频谱，绕过对图像传感器阵列或数字处理器的需要。这种全光学推断和机器视觉能力通过耦合到衍射网络的单像素检测器，在帧速率，存储器要求和功率效率方面提供变换性优势，这对于移动计算应用尤为重要。

在科学推进的一项研究中，UCLA研究人员通过使用单个像素检测器和3D印刷的衍射层对手写数字的图像进行分类来证明其框架在太赫兹波长的成功。基于十个波长中的最大信号执行输入对象（手写数字）的光学分类，该最大信号是分配给不同的手写数字（0到9）。尽管使用单像素检测器，但达到了超过96％的光学分类精度。具有3D印刷衍射层的-of概念研究显示了与数值模拟的密切一致，表明单像素机器视觉框架用于构建低延迟和资源有效的机器学习系统的功效。除了对象分类之外，研究人员还通过简单浅的电子神经网络连接了相同的单像素衍射光网络，仅基于在10个不同波长的电源中快速重建输入对象的图像，展示任务 - 特定图像减压。

这种单像素对象分类和图像重建框架可以为开发新机器视觉系统的方式铺平，该系统利用对象信息的光谱编码，以资源有效的方式实现特定推理任务，具有低延迟，低功耗和低像素计数。该新框架也可以扩展到各种光谱域测量系统，例如光学相干断层扫描，红外光谱学和其他谱图，以创建基本上新的3D成像和传感方式，与差异网络的频谱和空间信息的编码集成在一起。更多信息：京西李等人。科学推进（2021），光谱编码的单像素机器视觉。 DOI：10.1126 / sciadv.abd7690