按指标管理使我们误入歧途

2021-01-21 15:55:17

首先是MRR,其次是其他。我会无情地削减所有不会导致可衡量的MRR增长的活动。例如,我将不再像您当前正在阅读的博客文章那样撰写博客文章。我当然不会创建有趣的项目,例如“如何发推”或“花时间进行非事务性的Zoom通话”。

我将专注于我的创收项目,提高广告投放机制,并尽我所能想到的一切可能增加我的MRR。我非常有信心在年底之前达到1万MRR。但是以什么价格?

Google的搜索结果以广告为主,许多用户现在使用变通方法来查找所需的内容(“最佳耳机reddit”)。 LinkedIn看起来像扫雷艇。 Facebook是结识朋友的好地方。而且,如果您在亚马逊上搜索电子产品,您会立即感觉自己处在深圳中部的跳蚤市场,这是由于数百项决策是短期关注特定指标(例如收入)的结果和点击率。尽管这些决策最有可能优化了指标,但它们却使用户体验变得更糟。

问题是我们没有测量正确事物的技术。也许“正确的事情”本质上是无法衡量的。

或者,那是我个人的最爱,我们正在处理薛定ding猫般的情况。只要我们不尝试对其进行优化,“正确的事情”就是正确的事情。这就是古德哈特定律。 “当一项措施成为目标时,它就不再是一项好的措施。”

与其提供一些无聊的历史例子(有很多例子,只需阅读“像一个国家一样看”),我将通过谈论当前正在发生的事情来为事情加点趣味。恰好有一件事正在发生:Covid-19。

政客们试图通过关注“ R数”等指标来管理局势。至少在德国这里的座右铭是:不惜一切代价降低R值。事实证明,该策略的成本非常高。只是无法立即进行测量。

例如,由于所有体育馆和体育俱乐部都关闭,每个人都变得越来越胖。大多数人正在养成不健康的饮食习惯,因为别无选择。尽管每个人都知道社交关系对于人类福祉的重要性,但社交关系正在迅速瓦解。

我不是医生,也不在互联网上玩游戏,但是我可以轻松想象当前的锁定政策还会带来许多其他意想不到的后果。例如,由于大多数人现在将大部分时间都花在室内,离开家时戴口罩,因此他们的免疫系统不会像往常一样经常受到压力。因此,一旦由于免疫系统减弱而导致封锁结束后,如果很多人会染上其他疾病,我不会感到惊讶。

需要澄清的是,我全心全意对待Covid。实际上,自2009年以来,我就一直在mask积口罩。2009年夏天,我和一群朋友在滨海略雷特(Lloret de Mar)(西班牙的聚会热点)度过了正好是猪流感的新闻。长话短说,由于我和我的女友戴着口罩,我们这个小组中的每个人都生病了(超过20人),这是因为我们一直戴着口罩。现在最著名的例子就是如何关注指标会带来不健康的后果,就是眼镜蛇效应。我只引用维基百科的话:

“眼镜蛇效应一词起源于一个轶事,它描述了在英国统治下印度发生的事件。英国政府对德里的毒眼镜蛇数量感到担忧。因此,政府为每只死眼镜蛇提供悬赏。最初,这是一个成功的策略;大量的蛇被杀死以获取奖励。最终,有进取心的人们开始为获得收入而养殖眼镜蛇。当政府意识到这一点时,奖励计划就被取消了。当眼镜蛇饲养者放开他们现在毫无价值的蛇时,野生眼镜蛇的数量进一步增加。”

当话题出现时,我总是不得不再谈论一个例子:学术界。

停滞的辩护律师们喜欢争辩说,科学上缺乏进步仅仅是由于所有低下的果实都消失了这一事实的结果。

那完全是胡说八道。仍然有很多低落的果实。只是每个人都在忙于追求毫无意义的指标,以至于看不到它们。

在学术界,选择标准通常与引用次数有关。但是,就像Google的反向链接驱动算法(实际上受学术界的引文指标启发)很快被精明的网站站长所玩,学术界的算法也被职业主义者所玩。

我不是在这里谈论少数人。如果要在学术界生存,则必须玩引文游戏。如果每个人都在作弊,那么至少您必须做同样的事情才能有机会。

您必须与他人合作,因为五个人可以写五倍的论文。您同意不断互相引用。同样,您将重点放在已建立的想法的增量添加上,因为这是定期发布新出版物的最安全方法。您正在从事其他所有人正在从事的工作,因为您还将如何获得引用?

像瘟疫一样,您绝对必须避免的一件事是冒险和深入的研究,这会导致该领域的真正进展。

问题不在于引文不是一个糟糕的指标,我们需要提出更聪明的引文。取而代之的是,这只是古德哈特的法律。每次管理学术界的尝试都会使情况变得更糟。

一旦引入了新的指标,它将误导科学家将注意力转移到玩游戏上,而不是推动科学发展。

我谈到了三个方面,但是几乎到处都有相同的模式。例如,只记得何时每个人都开始将饮食中的脂肪减至最少,或者如何使用等级来衡量“学习”。

至关重要的是,问题不在于所使用的特定指标。不论采用什么新指标,Goodhart的法律很快都会使它失效。指标游戏将始终类似于Whac-A-Mole。

现在这在哪里离开我们?如果按指标管理不起作用,该怎么办?

首先,我认为查看指标会有所帮助。他们只是不应该作为衡量标准的唯一标准。

尽管地图永远不会成为领土,但您考虑的指标越多,您正在查看的图片就越准确。例如,如果政客们不仅考虑R数,而且考虑数百种衡量人口福祉各个方面的指标,那么决策会更好。

显而易见的问题是,如果您考虑多个指标,则决策将变得更加困难。

但更重要的是,有太多因素我们无法衡量,因此仍应考虑在内。

我思考得越多,我就越确信所有这些都归结为与人交谈。

我说的不是将几千个标准化“对话”分解为少数数字的问卷调查,或者是一些行为类似的分析工具。我说的是真正的一对一互动。

试想一下,如果杰夫·贝佐斯(Jeff Bezos)每个月会与数百名真实的(未经预先审查的)亚马逊客户交谈,并认真对待他在这些对话中听到的话。或者,如果政治家会与生活各方面的普通人进行长期对话。或者,学术委员会是否会在根据引用指标将其筛选出来之前与申请人实际进行交谈。

在我们的超理性世界中,很难根据您从几次对话中得到的直觉来为决策辩护。但这正是人们应该做的。

参与度指标永远不会告诉您用户在使用您的产品时是否真的满意。但是会进行一些真正的对话。

简历永远不会告诉您一个人是否真的有兴趣发现关于自然的未知真理。但是会进行30分钟的对话。

是的,如果您只是聘用引用率最高的候选人或实施将在下一季度带来最大收入增长的功能,那么达成共识就容易得多。但是,尽管这是最简单的决定,但通常不是最佳决定。

我认为这不仅适用于管理组织,也适用于管理自己。

仅仅听自己的身体,如果我睡得好,我就会比其他健身追踪器更了解,如果我的饮食健康,那么我将比任何血液检查都更好,而如果我感到幸福的话,我将比银行账户更了解。 我不会使用健身追踪器,进行定期血液检查或检查我的银行帐户。 但是我当然不会允许他们决定我的决定。 我将仔细研究所有事实,并吸收所有东西,甚至是无法衡量的东西,然后我会随心所欲。 附言 如果您想关注我的冒险经历,我现在也在Twitter上。 或者,您可以在下面输入您的电子邮件地址,每当我发布新内容时,我偶尔都会向您发送一封简短的电子邮件。