#crawler

一个推特遗迹的应用程序想法
A Twitter crawler for app ideas(iwishtherewas.app)
2021-4-9 3:1
一个推特遗迹的应用程序想法
Web爬网延迟实验
Web Crawler Latency Experiment(sites.google.com)
2021-3-13 14:27
所以我们在那里。 谷歌知道的任何地方都没有effeeeneEneemeeeeeeeeeeeee。 下面，我将举行一系列事情。 但是，有些事情要想到： 1.这一页面是在谷歌上托管的事实，以歪斜答案吗？ （嗯，我们＆＃39; ll看到，赢得＆＃39; t we？）真正确定，我们＆＃39; ll需要一个托管在其他地方的网......
一个Facebook爬虫每天向我愚蠢的网站发出700万次请求
A Facebook crawler was making 7M requests per day to my stupid website(coding.napolux.com)
2020-6-12 1:10
我有一个小网站，我用来做一些搜索引擎优化实验。当然，每个帖子都有一些内容和一个Facebook分享按钮。 该网站非常小，只能在单个控制器的PHP应用程序+400kb的SQLite数据库上运行，但可以生成数千个不同的页面。 所有东西都托管在一个便宜的DigitalOcean机器+免费的CloudFlare计划上(连同一......