深度加强学习将改变制造业，因为我们知道它

Chris Nicholson是Pathmind的创始人兼首席执行官，该公司将深入加强学习应用于工业运营和供应链。

大多数机器学习算法在街道上喊叫。他们表现了一个人可以在一秒钟内完成的看法任务。但另一种艾美 - 深入加强学习 - 是战略性的。它学会如何采取一系列行动以达到目标。这是强大而聪明的 - 它会改变很多行业。

AI转化尖端的两种行业是制造和供应链。我们制造和运输物品的方式严重依赖于工作的机器组，这些机器的效率和弹性是我们经济和社会的基础。没有他们，我们不能购买我们生活和工作所需的基础知识。

像协变量一样的初创公司，Ocado的亲属和明亮的机器正在使用机器学习和加固学习，改变机器如何控制工厂和仓库，解决困难的挑战，例如让机器人检测和拾取各种尺寸和形状的物体，其中。他们正在攻击巨大的市场：去年工业控制和自动化市场价值为1520亿美元，而物流自动化价值超过500亿美元。

作为技术人士，您需要很多事情来制作深入的加强学习工作。第一份想想的是你将如何让你的深度加强学习代理能够练习你想要的技能。只有两种方式 - 使用真实数据或通过模拟。每种方法都有自己的挑战：必须收集和清洁数据，而必须构建和验证模拟。

一些例子将说明这意味着什么。 2016年，Googlex宣传其机器人“ARM农场” - 装满了机器人武器的空间，这些空间正在学习掌握物品并教授其他人如何做到这一点 - 这是加强学习算法在真实环境中练习其移动的一个早期方法并衡量其行动的成功。对目标导向的算法所需的反馈循环是学习的：它必须进行顺序决策，并查看它们的领先位置。

在许多情况下，构建强化学习算法可以学习的物理环境是不可行的。假设您希望测试不同策略，以便将数千名卡车从许多工厂移动到许多零售店的队伍。测试所有可能的策略将是非常昂贵的，这些测试不仅会花钱运行，但失败的运行将导致许多不满意的客户。

对于许多大型系统，唯一可能的方法可以使用仿真。在这些情况下，您必须创建要理解的物理系统的数字模型，以便生成数据强化学习需求。这些型号称为，交替，数字双胞胎，模拟和加强学习环境。它们本质上都意味着制造和供应链应用中的同样的东西。

重新创建任何物理系统需要了解系统如何运作的域专家。这对于单个履行中心的系统来说，这可能是一个问题，因为这是建造这些系统的人可能已经离开或死亡，并且他们的继任者学会了如何运行但不重建它们。

许多仿真软件工具提供低码接口，使域专家能够创建这些物理系统的数字模型。这很重要，因为域专业知识和软件工程技能往往无法在同一个人中找到。

为什么你会在一个算法遍及所有这些麻烦？由于深度加强学习始终产生其他机器学习和优化工具的结果。当然，Deepmind使用它来击败世界棋盘游戏的世界冠军。强化学习是算法的一部分，这是实现挑战结果与国际象棋，蛋白质折叠和atari游戏实现突破性结果。同样，Openai训练有素的深度加强学习，在Dota 2击败最好的人类团队。

就像深度人工神经网络开始在2010年中期找到商业应用，在Geoffrey Hinton被Google和Yann Lecun聘请的Facebook之后，因此，深度加固学习将对产业产生越来越大。当我们用Go看时，它将导致机器人自动化和系统控制的量子改进。这将是我们最好的，并且长期射门。

这些收益的后果将是巨大的效率和制造产品和运营供应链节省成本的增加，导致碳排放和工地事故减少。并且，要清楚地，物理世界的窒息和挑战是我们周围的。就在去年，由于Covid，锁定，苏伊士运河崩溃和极端天气事件，我们的社会受到多种供应链中断的击中。

在Covid上放大，即使在发达和批准之后，许多国家也遇到了困难并迅速分发。这些是制造和供应链问题，涉及我们无法为历史数据做好准备的情况。他们需要模拟来预测会发生什么，以及在他们最近的书中所示的迈克尔刘易斯在“预防”中所示的迈克尔刘易斯时，我们如何如何解决危机。

正是这种制约因素和新挑战的组合，在工厂和供应链中发生的加强学习和仿真可以帮助我们更快地解决。 我们肯定会在未来面对更多。