#刮板

注意：这是我在Stack Overflow上答案的扩展版本，我将其放在GitHub上，因为它太长了（最多30k个字符，超过40k个字符）。 从本质上讲，阻止抓取意味着您需要使脚本和计算机难以从网站上获取所需数据，而对实际用户和搜索引擎则不那么困难。 不幸的是，这很困难，您将需要在防止抓取和降低真实用户和搜索引......