只有谷歌真的被允许爬网

任何写过网络爬虫的人都知道GoogleBot比其他人获得更多的访问权限。我们是一群厌倦了谷歌滥用这一特权的关节队。多年来，我们一直在研究和争夺谷歌未经检查的网络爬行垄断。我们在国会发布的大型技术反托拉斯报告中被引用，我们的研究刚刚在纽约时报推出。我们一直在帮助世界各地的政府了解如何以及为什么应对谷歌反抗。我们邀请您加入俱乐部，并加入我们为更美好世界的斗争。

搜索引擎取决于一个名为Web爬网的过程。爬行网站是您编写一堆计算机的地方，以跨越互联网，并保存他们在那里找到的一切的副本。然后处理这些副本，以便搜索引擎可以稍后使用这些文档来应答用户的查询。所以，如果你无法抓取网络，那么你就无法运行一个搜索引擎。

带宽成本金钱，因此网站运营商将让他们的网站爬出的数量和频率如何，这是一个限制。这个限制意味着网站运营商是挑剔的，他们让他们爬网的网站。只允许选择少量爬虫，允许访问整个网络，谷歌是额外的特殊权限。这不是非法的，这不是谷歌的错，但这种对网络爬行的垄断是自然出现的网络爬行可以防止任何其他公司能够在搜索引擎市场中有效地与谷歌竞争。

搜索引擎市场上的所有谷歌的竞争对手都以自己的方式失败，但大多数人都在努力抱怨谷歌在网络爬行方面有这种优势。我们认为，在这一市场上显然失败，政府干预必须打破谷歌的持有爬行网络的自然垄断。

Knucklesheads俱乐部是一个相信我们应该比谷歌控制的互联网更好的人的家。没有人来找我们 - 所以我们所有人都必须为开放的网络而战。加入俱乐部意味着加入这一斗争为一个更美好的世界。