屏幕抓取和TinyML可以将任何拨号转换为API

该图显示了传统的水表，已使用廉价的ESP32相机和机器学习功能将其转换为网络API，以了解表盘和数字。我预计在未来十年中将部署数十亿台这样的设备，不仅用于水表，而且用于任何具有刻度盘，计数器或显示器的旧设备。我已经从多个团队那里听说过，他们需要在老式炼油厂，农田，办公楼，汽车和房屋等各种环境中监控旧硬件。其中一些设备已有数十年的历史，因此直到现在，启用远程监视和数据收集的唯一选择是将系统完全替换为更现代的版本。这通常太昂贵，费时或破坏性，无法考虑。指向一个小型的电池供电的相机会带来很多好处。由于相机和所监控的转盘之间有气隙，因此可以保证不会影响系统的其余部分，并且可以轻松地部署为实验并反复进行改进。

如果您曾经使用过旧版软件系统，则可能看起来有些熟悉。屏幕抓取是一种常见的技术，当您没有一个真正的API可用时，如果您无法轻松更改需要从中提取信息的系统，就可以使用屏幕抓取。您将查询的用户界面结果作为文本，HTML甚至是图像，忽略标签，按钮和其他您不关心的元素，然后尝试提取所需的值。始终最好使用适当的API，因为仅提取所需信息的代码可能很难编写，并且通常对接口的细微变化非常脆弱，但这是一种非常普遍的技术。

我们没有看到更多采用这种等效方法进行物联网的最大原因是，很难在嵌入式系统上训练和部署机器学习模型。如果您已完成任何深度学习教程，您就会知道，使用MNIST识别数字是最容易训练的模型之一。随着TensorFlow Lite Micro（上面的示例显然使用了该示例，尽管我在该存储库中找不到设备上的代码）之类的框架以及其他框架的广泛使用，它开始变得越来越容易部署在廉价的电池供电设备上，因此，我希望我们会看到更多此类应用程序出现。我希望看到的是一些中间件，该中间件可以理解常见的显示类型，例如表盘，物理或LED数字或状态指示灯。这样，拥有想要监视设备的人就可以在这些构建模块的基础上构建它，而不必从头开始训练全新的模型。

我知道自己会喜欢使用类似的东西。我会使用连接电池的设备来查看电缆调制解调器的状态，所以我会知道连接何时不稳定，我会用仪表板上的东西看着速度表来跟踪里程和效率。 ，里程表和煤气表，用我自己的方式来监视电表，气表和水表将是很棒的，完成后我会给洗衣机发短信给我。我不知道如何进行物理设置，但是我总是对打开炉子抱有幻想，因此看着燃气表盘的东西会让我放心。

现实世界中存在大量信息，这些信息无法随时间进行远程监视或分析，并且很多信息都通过刻度盘和显示器进行显示。等待所有涉及的系统被连接的版本替换可能需要数十年的时间，这就是为什么我对这种渐进式方法感到非常兴奋的原因。就像搜索引擎能够获取为人们阅读而设计的非结构化网页并将它们编入索引，以便我们可以找到和使用它们一样，此屏幕抓取的物理版本将显示针对人类的显示并将其转换为可在任何地方使用的信息。廉价，功能强大的硬件，广泛的IoT数据网络，软件改进以及所有这些技术的民主化，汇集了许多不同的趋势来使之成为可能。我很高兴能尽全力帮助实现这一目标，而且我迫不及待地想看到你们所有人提出的所有应用程序，请让我知道您的想法！