发现强大的自组织能力"；代理"；梯度下降和课程学习：细胞自动机环境中的个性、自我维持和感觉多样性
最近，人工生命（ALFE）领域引入了一类新的细胞自动机（CA），它能够根据局部更新规则生成高度多样性的复杂自组织模式。这些模式可以显示生物系统的某些特性，例如空间局部组织、定向或旋转运动等。事实上，CA与生物学有着长期的关系，尤其是生命/认知的起源，因为它是一个自组织系统，可以作为此类理论的计算试验台和玩具模型，也可以作为灵感的来源，启发人们理解"；生活"；。然而，虽然在环境中体现的概念，个性：信息/物理结构保持连贯性、完整性和自我维护的能力自我维护：结构修改其与环境其他部分的相互作用以保持其完整性的能力在理论生物学中，尤其是在代理（例如Maturana&Varela，Varela），目前尚不清楚这些机制和属性如何从CA中的一组本地更新规则中产生。在这篇博客文章中，我们提出了一种方法，能够学习能够对环境引起的扰动做出反应的自组织代理，即具有感觉运动能力的健壮代理。我们提供了一种基于课程学习、多样性搜索和可微CA上的梯度下降的方法，能够发现导致此类生物出现的规则。获得的生物仅使用局部更新规则，在处理障碍物或其他生物时，能够再生并保持其完整性和结构。它们还表现出很强的泛化能力，对规模变化、随机更新或训练期间未看到的环境扰动具有鲁棒性。我们相信，人工智能领域可以从自组织系统的这些能力中受益，从而使强大的智能系统能够快速适应新环境和扰动。
在从生物学、化学到进化科学的各个学科中，理解是什么导致了我们在生物体中观察到的生命、认知和自然能动性的出现，是主要的科学探索之一。在人工生命（ALife）和人工智能（AI）等学科中，实用主义互补问题的核心是：我们能否设计出必要的成分，以发现功能生命和认知的形式，就像在人工基质中一样？关于建筑代理的实际目标，关键的挑战是人工环境的建模：定义空间、时间、物理状态和规律的系统，主体的特征体现：规范和必要条件的集合，这些规范和条件将主体定义为一个自治的统一体。我们可以将主体与其他主体和认知能力/领域分开。认知能力/领域：主体能够在其环境中实现和调节的性能集合，定义为"；一个统一体可以参与而不解体的互动领域"；在这样的环境中；以及找到（强有力地）符合这些标准的代理人。根据研究的重点，文献中的方法可分为机械论和颁布论观点。机械论观点已经假定了一个主体的具体化，而是侧重于理解更高层次的认知互动是如何产生的，通常寻求能够感知运动适应性的主体：感知运动协调，使主体能够对环境扰动做出反应，掌握各种行为技能，适应未知环境。在制定者看来，"；身体构造的问题在概念上先于对认知子系统的任何特定功能性描述。个体性和自我维持的先决条件是由制定者创造的，是决定代理人的必要条件；它的存在和生存。鉴于机械方面的考虑"；跳过"；使有机体得以生存的生物过程（生命/认知的原始形式），制定者的考虑仍然是#34；落后"；展示更高层次的感觉运动适应过程（高级形式的生命/认知）。人工智能和ALife的未来工作能否弥合这两个框架之间的差距？
在机械论的观点中，机器人和其他虚拟代理被称为"；具体化"；如果他们能通过物理界面（身体）在环境（外部世界）中建立起自己的感觉运动能力，允许直接体验世界（感觉输入），并通过内部输入输出信息处理（大脑）作用于世界（运动输出）。这里的具体化与计算性的非具体化观点相反，在这种观点中，内部表示，或者是基于"的符号表示；好的旧时尚AI"；或基于"的神经网络；互联网人工智能"；，与外部世界脱钩，缺乏位置感。然而，在机械建模框架内，什么使一个主体成为一个主体，甚至什么使一个身体成为一个身体，都是毋庸置疑的：我们假设已经有一个身体通过预定义的传感器和执行器与环境交互。主体的个性是明确的：它是一个单独的整体（右图上的黄色框），其状态和动态可以与环境其他部分的状态和动态明确区分。代理人的自我维护通常不是问题，因为代理人的身体不会随着时间的推移而改变，除了真实世界或人为引起的退化（例如机器人损坏、电池/能量水平）的罕见情况外，而且只有大脑（右图上的白框）适应环境。该框架中的一个更核心的问题是agent的感觉运动适应能力：如何找到能够进行各种感觉运动行为/技能（如运动、物体操纵或工具使用）的agent，以及能够将学习到的行为适应未知环境条件的agent？为了在实践中解决这个问题，一种常见的方法是生成环境分布（任务和奖励），以培训代理人#39；让大脑掌握并概括这些任务，通常采用深度强化学习等学习方法。虽然重点是在主体行为层面，但为什么主体行为首先应该在大脑中实例化，为什么不应该在身体甚至外部世界中实例化，仍有待批评。
机械论框架中明确的身体/大脑/环境区别与无脑生物利用身体感知和计算决策的生物学例子几乎没有相似之处。植物移动以获得更多的阳光，黏菌利用环境的机械线索来选择向哪个方向扩展，成群结队的细菌可以做出群体决定，以避免抗生素墙，而a"的概念尚不清楚；大脑"；在这些生命形式中。Pfeifer及其同事介绍了形态计算的概念，认为身体的所有物理过程（不仅是大脑中的电路，还有形态生长和身体重构）都是认知的组成部分，可以在没有"的情况下实现高级形式的计算；大脑"；。（人工）形态计算的一个著名例子是被动双足步行器，它通过简单利用机器人机械系统的自然动力学来管理感觉运动协调和逼真的运动行为。
不存在代理实施例的预定义概念，而是认为代理体必须通过低级别元素的协调而存在，并且必须在不稳定的条件下操作
然而，关于具体化的制定观点植根于生物世界中活生物体自下而上的组织原则。建模框架通常使用动力学和复杂系统理论的工具，其中人工系统（环境）由物质的低级元素（称为原子、分子或细胞）组成，这些元素由其内部状态（例如能级）描述，并通过类似物理的规则进行局部交互（元素内部的物质和能量流动）。没有关于代理实施例的预定义概念，而是认为代理的主体必须通过低层元素的协调来存在，并且必须在不稳定的条件下运行不稳定的条件：主体不断受到干扰和故障的想法。在该建模框架内，个性的条件是自组织结构（环境的子部分）保持和传播某种时空统一性的能力，使其在其存在的领域中成为一个可区分的连贯实体（在中称为自动生成系统）。自我维持的条件是自组织结构在面对动力系统状态或规则的外部变化（扰动）时，为保持其完整性（目标），修改其内部和交互的物质和能量交换（行动）的能力。有趣的是，这个"；自动生成系统的自主性构成了它的最小认知。
尽管机械论和行为主义框架都认为主体是具有某种形式的目标导向性和对外部扰动的行为反应的实体，但我们可以看到，自组织系统中主体的表征是如何非直觉的，在实践中非常具有挑战性。最近的一些著作提出了基于信息论工具的严格的个性量化测量方法。R.D.Beer的其他作品试图通过列举对时空结构（如滑翔机和生命游戏或原细胞模型中的其他模式）的所有可能扰动的反应，将其自我维持/认知域的特征形式化，这些扰动可能来自于其直接结构环境然而，到目前为止，这些工具在识别代理形式方面的实际应用仅限于具有小状态网格和简单动力学的玩具模型，因为它们的算法实现需要穷尽搜索，难度也需要扩展到更复杂的动力学系统。当然，由于这些实际挑战，更高层次的问题，即是什么使一个主体感觉运动和适应性，以及这些实体如何在制定者框架中出现，据我们所知，在文献中没有得到很好的解决。
是否有可能找到子部分可能存在/出现并被称为a"的环境；感觉运动剂"；？
在本文介绍的工作中，遵循颁布者的建模框架，我们最初只假设由原子元素和物理定律构成的环境，并试图回答以下科学问题：是否有可能找到子部分可能存在/出现并被称为a"的环境；感觉运动剂"；？为了做到这一点，我们使用一个叫做Lenia的连续细胞自动机作为我们的人工#34；世界"；。与Lenia和CA之前的工作相比，我们在方法学上的贡献是在搜索过程中有效地促进强健的感觉运动代理的出现，集成了（i）基于梯度下降和课程驱动的目标探索的双层优化方法，以及（ii）通过指定环境动力学。博客帖子的组织如下。
在第一部分中，我们将解释如何使Lenia框架尽可能易于区分，以便高效地搜索CA规则。最近在细胞自动机或所谓的神经CA（neural CA，NCA）的背景下提出了向可微动力学的过渡。通过展开NCA随时间的动态并在其中反向传播，使用深度学习和可微编程工具可以有效地找到导致复杂模式的CA规则。提出了图像、风格内容和分类损失等不同的训练损失。受更传统的（非具体化的）深度学习框架的启发，他们展示了复杂的模式生成（形态发生）和计算（自分类）过程如何在这些系统中出现。然而，使用这样的工具来有效地搜索导致"；感觉运动因子"；至今仍是一个尚未探索的研究方向。
在第二部分，我们提出了一种基于梯度下降和课程学习的方法，结合内在动机的目标探索过程（IMGEP IMGEP：旨在发现动力系统中行为多样性的算法过程。它生成了一系列实验，通过针对自我生成目标的多样性来探索动力系统的参数。这里我们使用基于群体的版本，并与之前的论文相比，引入了两个新的元素：使用梯度下降法进行局部优化，以及处理动力系统随机性的能力。，多样性搜索算法的一种有效形式，可与梯度下降（gradient descent）相结合，自动搜索CA规则的参数，该规则可以自组织空间局部空间局部模式：存在于某些（模糊）边界内的模式，即空间范围有限的模式，而不是具有无限增长和移动模式移动模式：在Lenia中移动和传播空间信息的空间局部模式。虽然在Lenia中已经观察到了许多复杂的行为，其中一些可以被称为感觉运动行为，如侧边视频中所示，但到目前为止，它们已经被发现#34；碰巧"；由于耗时的人工搜索或简单的进化算法。在这项工作中，我们定义了一个外部探索循环（训练目标/损失的生成）和一个内部优化循环（目标条件策略），允许我们自动学习导致基本感觉运动结构系统化出现的CA规则。
在第三部分中，我们将解释我们的环境如何#39；s的物理规则既可以集成预定的特定属性，也可以集成可学习的属性。那"；把戏"；通过控制环境物理学的子部分，我们可以建立一个任务课程，以优化环境中可学习的部分，其中我们正在搜索参数，这些参数可以自组织感觉运动代理对环境约束的随机变化具有鲁棒性。环境设计通过塑造搜索过程，使我们能够发现更高级形式的感觉运动能力，如自我维持和适应环境。
最后，在最后一节中，我们研究了所发现的感觉运动代理对训练期间未遇到的几种分布外扰动的（零射击）泛化。令人印象深刻的是，尽管这些代理在某些配置中仍然无法保持其完整性，但它们对大多数测试变量表现出非常强的鲁棒性。这些代理能够在看不见的、更困难的环境配置中导航，同时自我维持其个性。当受到外部干扰时，这些代理不仅能够恢复其个性，而且在受到内部干扰时也能够恢复个性：它们抵抗形态发生过程的变化，例如细胞更新的频率较低、尺度的剧烈变化以及初始化的变化。此外，当在多实体初始化中进行测试时，尽管单独接受了培训，但这些代理不仅能够保持其个性，而且还表现出协调互动的形式（吸引力和繁殖），这种互动被称为交流互动："；实体-实体干扰，使实体在其各自的认知领域内适应新的行动可能性"。
在细胞水平上寻找规则，以便在生物体水平和生物体群体水平上产生更高水平的认知过程，为人工智能中的具体化方法的发展提供了许多令人兴奋的机会。
我们的研究结果表明，与（仍然占主导地位的）关于化身的机械论观点相反，受生物启发的实施化身可以为具有很强的一致性和普遍性的代理人铺平道路，以应对分布外的变化，模仿生命系统的非凡鲁棒性，在环境和身体不稳定的情况下维持特定功能。在细胞水平上寻找规则，以便在生物体水平和生物体群体水平上产生更高水平的认知过程，为人工智能中的具体化方法的发展提供了许多令人兴奋的机会。
细胞自动机的经典形式是"；细胞"\（A=\{A_x\}\）通过本地和#34在时间上进化\（A^{t=1}\rightarrow\dots\rightarrow A^{t=t}\）；物理学如"；法律。更准确地说，单元根据其相邻单元的状态顺序更新其状态：\（a_x^{t+1}=f（a_x^t，mathcal{N}（a_x^t））），其中\（x\in\mathcal{x}\）是单元在网格上的位置，\（a_x\）是单元的状态，\（\mathcal{N}（a_x^t）\）是单元的邻域。因此，CA的动态完全由初始化\（A^{t=1}\）（网格中单元的初始状态）和更新规则\（f\）（单元如何基于其邻居进行更新）定义。但是，由于它们的混沌动力学，预测它们的长期行为是一个困难的挑战，即使对于简单的动物也是如此。
生命的游戏是一个具有二元状态的细胞自动机的例子，在二元状态下，细胞既可以是死的（\（a_x=0\）也可以是活的（\（a_x=1\）。尽管它的规则非常简单（f），但其中可能会出现非常复杂的结构。生命游戏中研究的一种主要模式是稳定的空间局部化模式（SLP）：具有一种空间边界的模式，这种边界将整体与其他部分分开。运动模式的子类别，SLP，在经过一些时间步后周期性地回到它们的状态，但在空间中移动，是特别令人感兴趣的。如右图所示，这架著名的滑翔机甚至被提议作为一个自动生成系统的计算模型。
我们在这项工作中研究的细胞自动机是Lenia，它具有连续C维状态的特殊性（\（a_x\ in[0,1]^C\）。更准确地说，Lenia是一类细胞自动机，其中每个实例都是一个细胞自动机（CA）。CA实例由一组参数\（\theta\）定义，这些参数决定其"；物理学"；使更新规则\（f\）参数化：\（a_x^{t+1}=f_{\theta}（a_x^t，\mathcal{N}（a_x^t））\）。例如，《生命的游戏》可以被视为莱尼亚的一个特殊例子。通过将这些更新规则参数化，可以搜索具有规则的CA环境，这些规则可以导致出现有趣的模式，包括SLP和移动模式。违背
......