关于良好判断力及其培养的几点思考

判断力，我粗略地定义为“权衡复杂信息并得出校准结论的能力”，显然是一项有价值的技能。

在我们使用美国劳工统计局(Bureau Of Labor Statistics)的数据对哪些技能最适合就业的简单分析中，“判断和决策”位居榜首(尽管其含义比我们更广泛)。

我的猜测是，当目标是产生积极影响时，良好的判断力更加重要。

原因之一是缺乏反馈。我们永远不能完全确定哪些问题最紧迫，或者哪些干预措施最有效。即使在像全球卫生这样的领域-我们对什么是有效的有相对较好的数据-也存在着关于即使是像驱虫这样的直接干预措施的成本效益的巨大辩论。决定是否专注于驱虫需要判断。

当我们努力降低生存风险或帮助长期未来时，这种反馈的缺乏变得更加紧迫，而采取更“基于打击”的方法来产生影响的努力就变得更加紧迫。事关生存的风险只会发生一次，所以我们可以掌握的关于降低风险的数据是有限的，我们必须主要依靠判断。1个。

减少生存风险和我们关注的其他一些领域也是新的研究领域，所以我们甚至没有建立启发式或被广泛接受的知识，人们可以简单地学习和应用，而不是使用他们的判断。

你可能不需要自己做出这些判断-但你至少需要有足够好的判断力，才能选择另一个判断力很好的人来听。

相反，在其他领域，更容易避免依赖判断。例如，在营利性初创公司的世界里，可以(在某种程度上)尝试一些东西，通过了解什么创造了收入来获得反馈，并从中进行改进。判断力一般的人可以使用其他方法来追求好的战略。

其他领域有其他方法来避免评判。在工程学中，您可以使用完善的量化规则来计算出什么是有效的。当你有大量数据时，你可以使用统计模型。即使在人类学等更多的定性研究中，也有标准的“最佳实践”研究方法可供人们使用。在其他领域，你可以遵循体现了几个世纪的实践经验的传统和规范。

我得到的印象是，许多有效利他主义的人都同意，判断力是一个关键特征。在2020年EA领袖论坛(EALF)的调查中，受访者被问及他们最希望在未来五年看到新社区成员的哪些特质，判断力以相当高的优势位居榜首。

同样值得注意的是，另外两个最令人向往的特质--分析性智力和独立思考--也与我们所说的“良好思维”有关。(不过请注意，这个问题只涉及“特质”，而不是技能/专业知识或其他特质。)。

我认为这是有道理的。拥有异常良好和值得信赖的判断力的人可以决定一个组织的战略应该是什么，或者提供大笔拨款。一般说来，这是有价值的，尽管由于资金过剩，社区似乎也特别受到现在能够做这类工作的人的限制。现时社会所面对的很多瓶颈，也涉及研究，这需要很大的判断力。当我们研究了在优先发展道路上取得成功所需要的特质时，良好的判断力通常显得非常重要。

良好判断力的一个有希望的特点是，比起原始的智力，它似乎更有可能提高。那么，什么-更实际地-是好的判断，人们如何才能获得它呢？

我在上面介绍了一个粗略的定义，但是对于好的判断到底是什么，有很多不同的意见，所以值得多说一点。许多常见的定义似乎过于宽泛，使得判断力几乎从定义上看就是一个核心特征。例如，剑桥词典将其定义为：

考虑潜在行动的相对成本和收益，选择最合适的行动。

我更倾向于关注我在开始时介绍的粗略的狭义定义(我在上面提到的调查中使用了这个定义)，这使得判断更明显地有别于其他认知特征：

在回答这些问题时，使用好的启发式方法综合多种形式的弱证据，并对证据进行适当的权衡。

欧文·科顿-巴拉特写下了他对良好判断力的理解，将其分为“理解”和“启发式”。他的观念比我的宽泛一点。

基思·斯坦诺维奇(Keith Stanovich)关于“理性”的研究，似乎有点像某人避免认知偏差的能力，与智力有约0.7的相关性(因此，密切相关，但并不完全相同)。

菲利普·泰洛克(Philip Tetlock)的著作中使某人成为优秀“超级预言家”的一系列特质(稍后列出)(泰洛克还声称，智力与成为超级预言家的相关性不大)。

智力：我认为这更像是“处理速度”--你建立联系、洞察力和解决明确问题的能力。智力有助于良好的判断--因为它能让你建立更多的联系--但这两者似乎分道扬镳了。我们都认识一些人，他们非常聪明，但似乎经常做出愚蠢的决定。这可能是因为他们过于自信或有偏见，尽管他们很聪明。

战略思维：好的战略思维包括能够确定最重要的优先事项，并制定朝着这些优先事项努力的良好计划，并随着时间的推移改进计划。好的判断对战略有很大的帮助，但好的战略也可以减少判断的必要性(例如，通过制定一个好的后备计划，你可以将判断错误的风险降到最低)。

专业知识：在其他条件相同的情况下，这个主题的知识是有用的，但泰洛克的工作(下面将详细介绍)表明，许多专家并没有特别准确的判断。

决策：好的决策取决于以上所有因素：战略、智慧和判断力。

如何提高判断力是一个悬而未决的问题。关于目前已知的情况，我找到的最好的概述是开放慈善机构对卢克·米尔豪斯(Luke Muelhauser)对提高员工判断力的方法的研究的评论。以下建议与他们得出的结论是一致的。

特别值得一提的是，这些建议借鉴了菲尔·泰洛克(Phil Tetlock)对如何改进预测的研究。在提高判断力方面，这是我所知道的唯一最好的研究机构。

他开发了一种定量衡量判断力的方法，通过跟踪人们预测时事事件的准确性。

他从中学到的东西被用来创建一个培训计划，然后在随机对照试验中进行测试，而大多数改善决策技术的方法都没有经过严格的测试。

泰洛克对他的研究写了一篇很受欢迎的总结“超级预测”。我们在播客上对这本书进行了总结，并对他进行了采访(随后进行了第二次采访)。

你可以看到由AI Impact准备的对Tetlock工作的更全面的审查，有很多令人着迷的数据。例如，培训计划被发现将准确率提高了约10%，效果持续了几年。

预测并不完全等同于好的判断，但似乎密切相关--它至少需要“权衡复杂的信息并得出校准的结论”，尽管它可能还需要其他能力。这就是说，我也会很好地判断，包括“选择正确的问题”，这是预测没有涵盖的。

总而言之，我认为有足够的重叠，如果你在预测方面有所改进，你很可能也会提高你的总体判断力。我没有介绍其他提高判断力的方法，因为我认为他们没有那么多证据支持。

良好的校准是判断的重要输入，我在开始时提到这是我对判断的简短定义的一部分。这意味着能够量化你的不确定性，这样，如果你说你对一句话有80%的信心，你5次中就有4次是正确的。

这一点很重要，因为20%和80%的信心之间有很大的差异，但在自然语言中，这两者都很容易被称为“可能”。

有证据表明，人们可以在短短一个小时的训练中提高他们的校准能力，而且这种能力有可能跨域传播。2个。

为此，开放慈善委托了一款校准培训应用程序，你可以在这里试用。

和任何技能一样，提高的最好方法就是实际练习。为了提高你的预测能力，你可以练习做预测--特别是如果你在做预测的同时还开始应用下一节介绍的一些技巧的话。

养成一年一次或每季度一次预测的习惯(斯科特·亚历山大、Vox和Open Philolopy也是如此)，并跟踪你的准确性。您可以使用预测簿进行跟踪。

加入好判断项目或Metaculus的预测竞赛，或注册成为安全与新兴技术中心的预测试点项目Foretell的预报员。

关于预测的研究的一个弱点是，它没有涵盖如何首先关注正确的问题。这是我们与Tetlock的第二个播客中简要介绍的一个活跃研究领域。

记住，调整好总体判断并不是唯一重要的思维习惯。在一个团队中，你可能需要一些人产生创造性的新想法，即使他们可能是错误的，也会为他们辩护，或者即使他们可能是正确的，也会挑战共识。如果你过于自信，这可能会更容易做到，所以在什么习惯最有利于个人判断和什么习惯对集体判断最有帮助之间可能会存在紧张关系。

开放慈善机构的卢克列出了一些提高判断力的技巧，这些技巧在研究中得到了一定的支持：

训练概率推理：在一项特别令人信服的研究中(Chang等人。2016)，单一小时的概率推理培训显著提高了预测精度。在一些早期的研究中，类似的训练提高了判断的准确性，有时也包括在校准训练中。

激励准确性：在许多领域，对准确性的激励被其他方面更强的激励所压倒，比如表现出自信、娱乐性或表明团队忠诚度的激励。一些研究表明，仅仅通过提供足够强大的精确度激励，如金钱或同行的认可，就可以提高精确度。

想一想替代方案：一些研究表明，通过促使受试者考虑替代假设，可以提高判断的准确性。

结合多个判断：通常，多个受试者的判断加权(有时是“极端”)的组合比任何一个人的判断都要好。

以下是Tetlock的10条预测戒律(外加一条元命令)，由人工智能的影响总结出来：

分类：不要把时间浪费在那些“时钟状”(经验法则可以让你非常接近正确答案)或“云状”(即使是花哨的模特也不能击败投掷飞镖的黑猩猩)的问题上。

将看似棘手的问题分解成容易处理的子问题：这就是费米估计的工作原理。与此相关的一条建议是“小心不要意外地用容易的问题代替难的问题”，例如用“以色列愿意暗杀亚西尔·阿拉法特吗？”因为“阿拉法特体内是否至少有一项钋检测结果呈阳性？”

在内部视图和外部视图之间取得适当的平衡：特别是首先锚定外部视图，然后使用内部视图进行调整。

在对证据反应不足和反应过度之间取得恰当的平衡：“超级预测者不是完美的贝叶斯预测者，但他们比我们大多数人要好得多。”通常会做很多小更新，但偶尔也会在情况需要时进行大更新。注意不要轻信那些看似很好的证据，但事实并非如此；记住要考虑P(E|H)/P(E|~H)；记住要避免基准率谬误。

在每个问题中寻找相互冲突的因果力量：这就是“蜻蜓眼视角”，这是你试图做人群的一种心理智慧的地方：拥有大量不同的因果模型，并聚合他们的判断。使用“魔鬼代言人”的推理。如果你认为P，努力说服自己不是P。你应该发现自己在说‘一方面，…。另一方面，…。在第三只手上，…‘。很多。

在问题允许的情况下，尽量区分不同程度的怀疑，但不能更多。

把别人最好的一面带出来，让别人把你最好的一面带出来：这本书花了整整一章来讨论这一点，用德国国防军作为好的团队组织的延伸案例研究。一个普遍的指导原则是“不要告诉人们怎么做，告诉他们你想要完成什么，他们会用他们的聪明才智让你大吃一惊。”另一个普遍的指导原则是“培养一种鼓励人们--甚至是下属--持不同意见和反驳的文化。”

掌握差错平衡自行车：这辆应该叫练习，练习，练习。泰洛克说，阅读新闻和产生概率是不够的；你需要实际给你的预测打分，这样你才知道你错得有多离谱。

不要把戒律当作戒律：泰洛克在这里的观点很简单，就是你应该用你的判断力来判断是否遵守戒律；有时它们应该被推翻。

判断力最好的人似乎也有一定的心态。卢克再说一遍：

根据我所见过的一些关于预测准确性的最有说服力的研究，好的预测能力的相关因素包括“像狐狸一样思考”(即避免大理论以关注许多混乱的细节)，强大的领域知识，一般的认知能力，以及“需要认知”、“积极开放的思维”和“认知反思”量表的高分。

聪明且知识渊博，有“认知需求”：求知欲强；喜欢猜谜和智力挑战。

好的直觉型心理学家：意识到检查认知和情感偏差思维的价值。

我还没有看到任何关于这方面的研究，但我认为-就像许多技能和心态一样-提高的最好方式是花时间与其他具有这些技能和心态的人在一起。

花时间和有很好判断力的人在一起，可以帮助你几乎自动地进步，给你行为建模，让练习变得容易和有趣，给你即时的反馈，等等。

据我所知，很多人都说，与其他有良好判断力的人辩论难题，对提高他们的判断力最有帮助。

尽管专家往往不是最好的预测者，但在其他条件相同的情况下，更多的领域知识似乎会有所帮助。开放慈善机构的卢克：

几项研究表明，拥有(或获得)领域专业知识可以提高准确性。一个普遍存在的假设，我认为这在直觉上似乎是合理的，那就是校准培训对改进校准特别有帮助，而领域专业知识有助于提高分辨率。

泰洛克工作的另一个教训是，将多个预测结合起来通常会提高准确性，而且许多预测的平均值比大多数人都要好。这表明，做出更好判断的另一种方式是寻求他人的估计，有时使用这些估计，而不是你的个人印象。

与你自己的观点相比，到底应该把平均估计值放在多大的权重上是一个很难回答的问题。对于像你的职业选择这样的话题，你有很多别人没有的信息，更多地依靠你自己的评估是有意义的。对于更广泛的问题，我们仍然需要人们努力发展他们的个人印象，这样普通的观点才能得到充分的信息(如果每个人都听从其他人的意见，就永远不会做任何研究)。同样重要的是要记住，只要利大于弊，持有反向头寸往往仍然是值得的。

我希望在另一篇文章中写更多关于如何平衡判断力和独立思考的文章(目前，我推荐阅读格雷格·刘易斯(Greg Lewis)所著的为认识论谦虚辩护的文章和评论)。