蜻蜓迷你-2000公里任务

2020-07-31 00:32:24

我们Stratiteq喜欢探索新技术,看看它们如何应用到现实生活中。这是我们最近的一个项目的故事。

该项目的灵感来自美国国家航空航天局(NASA)去年宣布的蜻蜓飞行任务,该任务将于2026年发射,目标是探索土星最大的卫星泰坦(Titan)。蜻蜓将成为一个类似于无人机的航天器,在大小上就像火星漫游车一样,它将是有史以来第一个能够将其整个科学研究有效载荷从泰坦表面的一个地方转移到另一个地方进行物质分析的飞行器。蜻蜓并不是唯一一个不会使用无人机技术的任务。将于明天(2020年7月30日)发射的火星毅力月球车还将搭载火星直升机前往火星,以便在另一个世界首次测试这项技术。

我们的项目,蜻蜓迷你,是一种由漫游车和无人机组成的自主车辆系统。漫游车由一台名为NVIDIA Jetson Nano的小型计算机驱动,这是一台能够处理不同AI算法的小型超级计算机。它可以自主移动,但也可以进行远程控制。它配备了摄像头和手机,可以作为连接互联网的智能接入点。此外,我们不仅是一个通信设备,我们还可以对它进行远程控制。它配备了一个摄像头和一部手机,用作连接互联网的一个无线接入点。此外,我们还可以作为一个通信设备,我们还可以对它进行远程控制。它配备了一个摄像头和一部手机,用作连接互联网的智能接入点。此外,我们还可以作为一种通信设备,我们还可以对它进行远程控制。这让它可以更好地了解周围地区。收集到的数据通过Jetson Nano进行处理,数据点被上传到微软的Azure云中。

为了测试我们的漫游车,我们决定去冰岛旅行。除了能够在良好的环境中录制,冰岛距离我们在马尔默的总部超过2000公里,我们认为这是一个足够令人印象深刻的距离,可以测试这个项目。测试是在冰岛南部进行的,我们小心翼翼地只在允许的地区进行测试,因为你可能知道,冰岛的苔藓是受保护的,如果受到破坏,需要数年时间才能恢复。如果你正在计划一个类似的实验,请记住这一点。请随时查看下面的视频,看看参与该项目的人对此有何评论。

为了更好地执行这个项目,有不同的挑战。我们必须弄清楚的第一件事是如何移动月球车。我们为Jetson Nano配备了智能摄像头,并通过深度学习对其进行了障碍检测的培训。

避撞在办公室工作得很好,但在现实世界中有未知的障碍,所以我们决定在ios手机上使用FcRN(完全卷积残差网络)模型,如前所述,我们将其添加到漫游车中,以便能够连接互联网。有了苹果的Core ML,我们能够很容易地做出深度预测。

手机也被用来提供来自传感器的数据,所以我们在Azure云中建立了一个API服务器,在那里我们可以发送GPS位置、海拔、指南针数据和其他数据点。数据按会话组织,并在Power BI报告中可视化。

Ryze和Tello的无人机系统似乎不像是我们使用案例的理想无人机,因为它重量轻,可编程。这款无人机拥有强大的Python SDK,可以轻松连接Jetson Nano。

为了能够手动控制月球车,我们在一个新的仪表盘上创建了一个新的仪表盘,并在上面添加了一些手动控制。我们决定使用MQTT,这是一种用于小型物联网设备的轻量级传输协议。除了控件,我们还添加了最新的数据,以及用Core ML创建的摄像头快照和深度估计图片,使用Azure Application Insights对整个通信进行了实时监控。

冰岛是北大西洋海雀的故乡,这种小鸟的喙颜色非常鲜艳。这些鸟只生活在北大西洋北部,它们在冰岛北部受到保护。到目前为止,我们已经在几个使用案例中看到了人工智能如何帮助追踪濒危物种,我们第一个使用案例的灵感就来自于此。我们决定重新培训一款能够检测海雀的定制型号,并用我们录制的视频在Jetson Nano上对该型号进行了测试。我们还决定探索搜救场景的可能用途,因为无人机不能覆盖广阔的区域。

还有许多其他用例可以使用这种技术。我们的暑期实习生塞西莉亚·伦德伯格写了一篇博客文章,讲述了她在Stratiteq做的一个项目,展示了如何使用这种技术来测量社会距离,你可以在这里阅读到关于它的所有信息。

我们将继续致力于这个项目,我们将发布一系列技术博文,介绍我们在建设这个项目时是如何解决具体挑战的;如果您愿意了解更多信息,我们可以随时在Dev.to上关注我们。

特别感谢夏洛特、埃利亚斯、埃里克、弗兰克、约尔根、约瑟芬、金、保罗、拉斯穆斯、西尼萨和尤尔代尔,并感谢所有其他帮助完成这个项目的Stratiteq员工。