为了解决全球能源危机，研究人员长期以来一直在寻找清洁、无限的能源来源。为宇宙恒星提供动力的核聚变反应就是一个竞争者。通过粉碎和熔化海水中的一种常见元素氢，这一强大的过程会释放出大量能量。在地球上，科学家重新创造这些极端条件的一种方法是使用托卡马克，一种被磁线圈包围的环形真空，用来容纳比太阳核心更热的氢等离子体。然而，这些机器中的等离子体本质上是不稳定的，因此维持核聚变所需的过程是一个复杂的挑战。例如，控制系统需要协调托卡马克'；它有许多磁性线圈，并每秒调整其上的电压数千次，以确保等离子体不会接触容器壁，从而导致热量损失和可能的损坏。为了帮助解决这个问题，作为DeepMind推进科学的任务的一部分，我们与位于EPFL的瑞士等离子体中心合作开发了第一个深度强化学习（RL）系统，以自主发现如何控制这些线圈，并在托卡马克中成功控制等离子体，开辟推进核聚变研究的新途径。
在今天发表在《自然》杂志上的一篇论文中，我们描述了如何通过在瑞士洛桑的可变配置托卡马克（TCV）上构建和运行控制器来成功地控制核聚变等离子体。使用一种结合深度RL和模拟环境的学习架构，我们制作了控制器，既能保持等离子体稳定，又能用于精确地将其雕刻成不同的形状。这一“等离子体雕刻”表明，RL系统成功地控制了过热物质，而且——重要的是——允许科学家研究等离子体在不同条件下的反应，提高了我们对聚变反应堆的理解。
在过去的两年里，DeepMind已经展示了人工智能在加速科学进步和开辟生物学、化学、数学以及现在的物理学的全新研究途径方面的潜力。"
这项工作是另一个有力的例子，说明了机器学习和专家社区如何能够联合起来应对重大挑战，加速科学发现。我们的团队正在努力将这种方法应用到量子化学、纯数学、材料设计、天气预报等领域，以解决基本问题，确保人工智能造福人类。
核聚变的研究目前受到研究人员进行实验能力的限制。虽然全世界有几十台活动托卡马克，但它们都是昂贵的机器，需求量很大。例如，TCV只能在一次实验中维持等离子体长达三秒，之后需要15分钟冷却并重置，然后再进行下一次尝试。不仅如此，多个研究小组经常共用托卡马克，进一步限制了实验时间。
鉴于目前进入托卡马克的障碍，研究人员已经转向模拟器来帮助推进研究。例如，我们在EPFL的合作伙伴建立了一套强大的模拟工具，对托卡马克的动力学进行建模。我们能够使用这些来让我们的RL系统在模拟中学习控制TCV，然后在真实TCV上验证我们的结果，表明我们可以成功地将等离子体雕刻成所需的形状。虽然这是一种更便宜、更方便的方式来培训我们的控制器；我们仍然需要克服许多障碍。例如，等离子体模拟器速度很慢，需要很多小时的计算机时间来模拟一秒钟的实时性。此外，TCV的状况每天都可能发生变化，这要求我们开发物理和模拟的算法改进，并适应硬件的实际情况。
现有的等离子体控制系统非常复杂，TCV的19个磁线圈都需要单独的控制器。每个控制器使用算法实时估计等离子体的特性，并相应地调整磁铁的电压。相比之下，我们的体系结构使用单个神经网络一次控制所有线圈，自动学习直接从传感器获得等离子体配置的最佳电压。
作为演示，我们首先展示了我们可以用一个控制器操纵等离子体的许多方面。
在上面的视频中，我们看到在我们的系统控制的瞬间，TCV顶部的等离子体。我们的控制器首先根据所要求的形状对等离子体进行整形，然后将等离子体向下移动，并将其从壁上分离，将其悬浮在容器的两条腿中。等离子体保持静止，这是测量等离子体特性所需的。最后，等离子体被引导回容器顶部并安全销毁。
然后，我们创造了一系列等离子体形状，等离子体物理学家正在研究它们在产生能量方面的有用性。例如，我们制作了一个带有许多“支腿”的“雪花”形状，通过将排气能量分散到容器壁上的不同接触点，可以帮助降低冷却成本。当EPFL正在进行实验以预测ITER中等离子体的行为时，我们还展示了一个接近ITER（正在建造的下一代托卡马克）提议的形状。我们甚至做了以前在TCV中从未做过的事情，通过稳定一个“液滴”，其中容器内同时有两个等离子体。我们的单一系统能够为所有这些不同的条件找到控制器。我们只是改变了我们要求的目标，我们的算法自动地找到了一个合适的控制器。
与我们在将人工智能应用于其他科学领域时看到的进展类似，托卡马克控制的成功演示表明了人工智能在加速和辅助核聚变科学方面的力量，我们预计人工智能的使用将越来越复杂。这种自主创建控制器的能力可用于设计新型托卡马克，同时设计控制器。我们的工作也为复杂机器控制中的强化学习指出了光明的前景。考虑AI可以增加人类专业知识的领域，特别是令人兴奋的是，作为一种工具来发现新的和创造性的方法来解决真实的现实问题。我们预测，强化学习将在未来几年成为工业和科学控制应用的一种变革性技术，其应用范围从能源效率到个性化医疗。
研究副总裁科雷·卡武科库奥卢（Koray Kavukcuoglu）讨论了为什么现在应对现实世界的挑战有助于推动。。。
在一项重大的科学进步中，AlphaFold被认为是解决蛋白质折叠问题的方法。