来认识一下帮助微软打造飞行模拟器世界的初创公司

其中之一是来自格拉茨的奥地利小型初创公司Blackshark.ai，该公司只有大约50人的团队，在人工智能和云中的海量计算资源的帮助下，重建了世界上的每个城镇。

在新的飞行模拟器发布之前，我们与黑鲨联合创始人兼首席执行官迈克尔·普茨(Michael Putz)坐下来讨论了与微软的合作以及公司更广泛的愿景。

黑鲨实际上是从游戏工作室Bongfish剥离出来的，Bongfish是《坦克世界：前线》、《摩托越野疯狂》和《激燃的滑雪板》系列游戏的制造商。正如普茨告诉我的那样，实际上是因为受到了刺激，公司才走上了后来成为黑鲨的道路。

他解释说：“我们在2007年推出的首批游戏之一是一款名为Stoked and S Stoked Bigger Edition的滑雪板游戏，这是首批拥有360度全景山峰的游戏之一，在这款游戏中，你可以使用直升机四处飞行，降落，然后坠落。”“这座山本身是按程序建造和描述的--植被、其他滑雪板运动员和小动物的障碍物的放置也是按程序完成的。然后我们更多地研究了赛车、射击、驾驶类型，但我们的脑海中仍然有这个位置放置和描述的想法。“。

当Bongfish在“坦克世界”中工作时，它又回到了这个想法，仅仅是因为制作一张如此巨大的地图，其中每一块石头都是手工放置的，是多么耗时。

基于这一经验，Bongfish开始建立一个内部的AI团队。该团队使用了许多机器学习技术来构建一个系统，该系统可以学习设计师如何构建地图，然后在某个时候构建自己的人工智能创建的地图。实际上，在微软介入之前，该团队最终在其一些项目中使用了这一点。

“一个偶然的机会，我遇到了一个微软的人，他正在寻找一个工作室来帮助他们开发新的飞行模拟器。新的飞行模拟器模拟器的核心思想是使用必应地图作为一个游戏场，作为一个地图，作为一个背景，“Putz解释说。

但是，必应地图的摄影测量数据只能准确地得出400个城市的1：1复制品-尽管对于地球上的绝大多数地区来说，这些数据并不存在。微软和Asobo Studios需要一个系统来建造剩下的部分。

这就是黑鲨的用武之地。对于飞行模拟器，工作室根据2D卫星图像重建了15亿座建筑。

现在，虽然Putz说他是偶然遇到微软团队的，但这件事还有更多的内容。当时，在格拉茨有一个必应地图团队，他们开发了第一批相机和3D版本的必应地图。虽然谷歌地图赢得了市场，但必应地图实际上凭借其3D地图击败了谷歌。微软随后在格拉茨成立了一个研究中心，当该中心关闭时，亚马逊和其他公司纷纷进来抢购当地的人才。

普茨说：“因此，我们很容易填补屋顶重建博士这样的职位。”“我甚至不知道这个东西的存在，但这正是我们需要的--我们找到了其中两个。

“很容易理解为什么从2D地图重建3D建筑会很困难。即使是弄清楚一座建筑的确切轮廓也不是一件容易的事。

普茨说：“我们在飞行模拟器中基本上做的是观察区域、2D区域，然后找出建筑物的足迹，这实际上是一项计算机视觉任务。”“但如果一栋建筑被树影遮挡，我们实际上需要机器学习，因为那样就不再清楚哪些是建筑的一部分，哪些不是，因为阴影的重叠-但然后机器学习就完成了建筑的其余部分。”这是一个超级简单的例子。“。

虽然黑鲨还可以依赖其他一些数据，包括照片、传感器数据和现有的地图数据，但它必须根据非常少的信息来确定建筑的高度和一些特征。

下一个显而易见的问题是计算建筑物的高度。如果有现有的GIS数据，那么这个问题很容易解决，但是对于世界上的大多数地区来说，这些数据根本不存在或不容易获得。对于这些区域，研究小组拍摄2D图像，并在图像中寻找暗示，如阴影。要根据阴影确定建筑物的高度，您需要一天中的时间，而Bing地图图像实际上没有时间戳。对于该公司正在处理的其他用例，BlackShark就有这一点，这让事情变得容易得多。这就是机器学习再次发挥作用的地方。

“机器学习走的是一条略有不同的道路，”Putz指出。“我们认为，它也看着影子--因为它是一个黑匣子，我们不知道它在做什么。而且，如果你看看平坦的屋顶，比如摩天大楼和购物中心。两者的屋顶大多是平的，但摩天大楼的屋顶家具与购物中心的不同。当你给它贴上正确的标签时，这有助于人工智能学习。“

然后，如果系统知道给定区域内购物中心的平均高度通常是三层，它就可以使用它。

黑鲨非常开放的一件事是，它的系统会出错-如果你买了飞行模拟器，你会发现一些建筑的布置有明显的错误。事实上，Putz告诉我，他认为该项目中最困难的挑战之一是说服公司的开发合作伙伴和微软允许他们使用这种方法。

“你说的是15亿栋建筑。在这些数字下，你不能再做传统的问答了。如果你像人工智能那样在统计基础上开发，那么传统的指指点点，比如光环级别，或者你说‘这个像素不好，解决它’之类的东西是不会真正起作用的。因此，可能有20%的建筑被关闭--我猜实际上就是飞行模拟器的情况--但没有其他方法来应对这一挑战，因为将15亿座手模建筑外包给人工模型，仅从后勤层面和预算层面来看，都是不可行的。“。

随着时间的推移，该系统也会不断改进，而且由于微软将大量数据从Azure流式传输到游戏中，用户肯定会看到随着时间的推移而发生的变化。

然而，贴标签仍然是团队仅仅为了培训模型就必须做的事情，这实际上是黑鲨取得了很大进步的一个领域，尽管普茨不愿对此说太多，因为这是该公司的秘密武器，也是为什么它只用大约50个人就能做到所有这些的主要原因之一。

“数据标签对我们的合作伙伴来说并不是优先事项，”他说。“因此，我们使用我们自己的现场标签，基本上是由两三个人给整个星球贴上标签[…]。它将一个非常强大的工具和用户界面交到了数据分析师手中。基本上，如果数据分析师想要检测一艘船，他会告诉学习算法这艘船是什么，然后他就会在样本图像中立即得到检测到的船的输出。“。

从那里，分析师可以训练算法，以便更好地检测特定对象，如本例中的船或飞行模拟器中的商场。Putz还指出，其他地理空间分析公司倾向于专注于特定的利基市场，而该公司的工具与正在分析的内容类型无关。

这就是黑鲨更宏大的愿景的用武之地。因为尽管该公司现在因与微软的合作而获得好评，例如，BlackShark也与其他公司在重建自动驾驶模拟的城市场景方面进行了合作。

“我们更宏伟的愿景是我们星球的近乎实时的数字孪生兄弟，特别是地球表面，这开启了一万亿的使用案例，在这些案例中，像谷歌地球或苹果地图这样的传统摄影测量是无济于事的，因为它们只是简化了关于简单几何结构的照片。”为此，我们有我们的周期，我们一直在从航空数据中提取情报，这些数据可能是2D图像，但也可能是3D点数，这已经在做另一个项目了。然后我们把语义形象化。“。

这些语义非常精确地描述了建筑的细节，与摄影测量学相比有一个主要的优势：阴影和光线信息基本上被烘焙到图像中，使得很难真实地重新照亮场景。因为黑鲨知道它正在建造的建筑的一切，它还可以在这些建筑中放置窗户和灯光，这就在飞行模拟器中创造了令人惊讶的逼真夜景。

飞行模拟器中没有使用的点云，是黑鲨目前关注的另一个领域。对于人类来说，点云是很难读懂的，特别是当你离得很近的时候。BlackShark使用其人工智能系统来分析点云，以找出一座建筑有多少层。

“整个公司建立在这样一个理念上，即我们需要在技术上拥有巨大的优势才能实现这一目标，特别是来自视频游戏，像”刺客信条“或”GTA“这样的巨型游戏现在已经达到了容量极限，有数千人参与其中，这很难扩大，很难跨大洲管理，很难及时交付产品。”“刺客信条”或“GTA”等巨型游戏现在已经达到了容量极限，很难规模化，很难跨大洲管理，很难及时交付产品。对我们来说，很明显，要做到这一点，需要更多的自动化或半自动化步骤。“。

虽然黑鲨是从游戏领域起步的，虽然它正在与微软和Asobo Studios合作，但它实际上并不专注于游戏，而是专注于自动驾驶和地理分析等事情。Putz指出，另一个很好的例子是虚幻引擎，它最初是一个游戏引擎，现在无处不在。

Putz说：“对我来说，在游戏行业工作了很长一段时间，看到这一点非常鼓舞人心，因为当你开发游戏时，你就知道这项技术与其他行业相比有多么突破性。”“当你看模拟器时，无论是军用模拟器还是工业模拟器，与我们驾驶游戏中的模拟器相比，它们总是看起来有点像屎。游戏技术走出游戏堆栈，帮助所有其他行业的时候已经到来。我认为“黑鲨”就是使这成为可能的例子之一。“